最近大模型很火，各種各樣的大模型層出不窮，但是絕大多數(shù)人只能站這旁邊看個(gè)熱鬧，因?yàn)檫@東西玩起來(lái)還是要點(diǎn)門(mén)檻的。技術(shù)上的門(mén)檻就不說(shuō)了，不會(huì)可以學(xué)，但是硬件門(mén)檻就要點(diǎn)麻煩，畢竟不是每個(gè)人都買(mǎi)得起4090的。
那沒(méi)有GPU怎么玩大模型？今天就來(lái)介紹一個(gè)使用門(mén)檻很低，而且可以用CPU跑大模型的好東西：Ollama！
什么是Ollama？Ollama是一個(gè)可以快速部署的跨平臺(tái)的開(kāi)源大模型服務(wù)，提供了類(lèi)似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通過(guò)接口使用。支持熱加載模型文件,無(wú)需重新啟動(dòng)即可切換不同的模型。Ollama目前可以支持mac、linux和windows（windwos需要win10以后的版本），今天說(shuō)下windows下面怎么玩。
首先打開(kāi)官網(wǎng)：ollama.com
然后點(diǎn)擊Download來(lái)到下載頁(yè)面
選擇windows，點(diǎn)擊Download for windows開(kāi)始下載。瀏覽器會(huì)自動(dòng)開(kāi)始下載一個(gè)羊駝圖標(biāo)的exe文件，名叫OllamaSetup.exe。
下載完成后雙擊打開(kāi)。有些windows可能會(huì)提示程序有風(fēng)險(xiǎn)之類(lèi)的，無(wú)視風(fēng)險(xiǎn)繼續(xù)安裝。
點(diǎn)擊Install繼續(xù)
安裝完畢屏幕右下角會(huì)出現(xiàn)一個(gè)羊駝圖標(biāo)，意思就是安裝完成了。
然后打開(kāi)cmd或者powershell，輸入ollama回車(chē)，看見(jiàn)下圖這樣的顯示就說(shuō)明是安裝成功了。
現(xiàn)在可以準(zhǔn)備開(kāi)始運(yùn)行大模型了，首先需要下載一個(gè)大模型，這里使用通義千問(wèn)的qwen1.5 7B模型進(jìn)行演示。
輸入ollama pull qwen:7b，開(kāi)始下載模型。
下載完成后可以使用ollama list查看已存在的模型
可以看到我們已經(jīng)下載了qwen1.5的7B模型，然后使用ollama run qwen:7b就可以運(yùn)行了。
出現(xiàn)這樣的界面就說(shuō)明已經(jīng)跑起來(lái)了。
好了，可以開(kāi)始愉快的玩耍了。
PS：我的電腦是5800H+24G內(nèi)存，理論上可以跑14B的模型，但是考慮到運(yùn)行速度，這里只使用了7B的模型，如果你的電腦配置更低，可以考慮運(yùn)行4B、1.8B甚至0.5B的模型來(lái)保證運(yùn)行速度。
再PS：ollama目前支持幾十種大模型，可以在官網(wǎng)看到支持列表，下載自己需要的模型來(lái)運(yùn)行。
暫無(wú)評(píng)論，快來(lái)評(píng)論吧!