之前介紹了沒(méi)有GPU怎么在windows下玩大模型，這篇說(shuō)說(shuō)沒(méi)有GPU怎么在linux下玩大模型（畢竟大部分人還是缺GPU的……吧）。
還是使用ollama，這東西確實(shí)方便，而且可以根據(jù)使用者的硬件條件選擇使用CPU還是GPU。
這次我們使用更簡(jiǎn)單的玩法：docker
隨便幾行代碼就跑起來(lái)了：
1、使用docker運(yùn)行ollama
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
2、下載大模型
docker exec ollama ollama pull qwen:0.5b（我的linux服務(wù)器只有2核1g，所以勉強(qiáng)跑個(gè)0.5b的模型演示一下）
3、模型下載完成了，命令行執(zhí)行：docker exec -it ollama ollama run qwen:0.5b即可運(yùn)行模型
如果還要把界面也加上的話：
還是使用chatbot-ollama，先下載源碼，然后編譯鏡像，運(yùn)行
過(guò)分高估了服務(wù)器的性能，編譯一個(gè)鏡像花了快一個(gè)小時(shí)……
容器運(yùn)行起來(lái)以后就可以從服務(wù)器的3000端口進(jìn)行訪問(wèn)了，界面跟之前windows部署的是一樣的，就不重復(fù)發(fā)圖了。
PS：這服務(wù)器的性能其實(shí)跑0.5B都很勉強(qiáng)的感覺(jué)，可能還不如我的arm盒子，等有空再試試看arm平臺(tái)能不能跑吧。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
暫無(wú)評(píng)論，快來(lái)評(píng)論吧!