最近大模型很火，各種各樣的大模型層出不窮，但是絕大多數(shù)人只能站這旁邊看個(gè)熱鬧，因?yàn)檫@東西玩起來還是要點(diǎn)門檻的。技術(shù)上的門檻就不說了，不會(huì)可以學(xué)，但是硬件門檻就要點(diǎn)麻煩，畢竟不是每個(gè)人都買得起4090的。
那沒有GPU怎么玩大模型？今天就來介紹一個(gè)使用門檻很低，而且可以用CPU跑大模型的好東西：Ollama！
什么是Ollama？Ollama是一個(gè)可以快速部署的跨平臺(tái)的開源大模型服務(wù)，提供了類似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通過接口使用。支持熱加載模型文件,無(wú)需重新啟動(dòng)即可切換不同的模型。Ollama目前可以支持mac、linux和windows（windwos需要win10以后的版本），今天說下windows下面怎么玩。
首先打開官網(wǎng)：ollama.com
然后點(diǎn)擊Download來到下載頁(yè)面
選擇windows，點(diǎn)擊Download for windows開始下載。瀏覽器會(huì)自動(dòng)開始下載一個(gè)羊駝圖標(biāo)的exe文件，名叫OllamaSetup.exe。
下載完成后雙擊打開。有些windows可能會(huì)提示程序有風(fēng)險(xiǎn)之類的，無(wú)視風(fēng)險(xiǎn)繼續(xù)安裝。
點(diǎn)擊Install繼續(xù)
安裝完畢屏幕右下角會(huì)出現(xiàn)一個(gè)羊駝圖標(biāo)，意思就是安裝完成了。
然后打開cmd或者powershell，輸入ollama回車，看見下圖這樣的顯示就說明是安裝成功了。
現(xiàn)在可以準(zhǔn)備開始運(yùn)行大模型了，首先需要下載一個(gè)大模型，這里使用通義千問的qwen1.5 7B模型進(jìn)行演示。
輸入ollama pull qwen:7b，開始下載模型。
下載完成后可以使用ollama list查看已存在的模型
可以看到我們已經(jīng)下載了qwen1.5的7B模型，然后使用ollama run qwen:7b就可以運(yùn)行了。
出現(xiàn)這樣的界面就說明已經(jīng)跑起來了。
好了，可以開始愉快的玩耍了。
PS：我的電腦是5800H+24G內(nèi)存，理論上可以跑14B的模型，但是考慮到運(yùn)行速度，這里只使用了7B的模型，如果你的電腦配置更低，可以考慮運(yùn)行4B、1.8B甚至0.5B的模型來保證運(yùn)行速度。
再PS：ollama目前支持幾十種大模型，可以在官網(wǎng)看到支持列表，下載自己需要的模型來運(yùn)行。
暫無(wú)評(píng)論，快來評(píng)論吧!