無需GPU也能運(yùn)行的大模型-ollama3部署
航一
發(fā)布于 云南 2024-04-25 · 3.8w瀏覽 2贊

       目前在開源大模型領(lǐng)域,Llama3 無疑是最強(qiáng)的!這次Meta不僅免費(fèi)公布了 8B和70B兩個(gè)性能強(qiáng)悍的大模型,400B也即將發(fā)布,這是可以和GPT-4對打的存在!今天就來介紹下本地部署方法,簡單易懂,非常適合新手!

1、首先去ollama官網(wǎng)下載安裝程序:https://ollama.com/download

根據(jù)系統(tǒng)選擇版本,然后點(diǎn)擊進(jìn)行安裝即可

安裝完成后右下角會有提示ollama正在運(yùn)行

2、接著將Windows上的WSL功能打開,勾選后點(diǎn)擊保存安裝完成然后重啟電腦

3、在電腦上下載docker桌面版并安裝Docker Desktop:https://www.docker.com/products/docker-desktop/

安裝完成需要重啟電腦,然后運(yùn)行軟件并進(jìn)行注冊登錄,在進(jìn)行注冊登錄時(shí)請做好全局科學(xué)上網(wǎng)。

4、接下來通過本地命令行安裝webUI

按快捷鍵或在搜索輸入cmd ,打開終端然后輸入命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待鏡像拉取完成安裝ollama的webUI程序

 

拉取完成允許安裝

當(dāng)看到注冊登錄界面表示已經(jīng)安裝成功了

點(diǎn)擊sign up進(jìn)行注冊登錄,并修改語言為中文簡體

5、接下來需要下載模型

拉取模型地址可以點(diǎn)擊這里,打開地址:https://ollama.com/library/llama3:8b,選擇一個(gè)8B的模型進(jìn)行安裝

下載完成后點(diǎn)擊新聊天,選擇下載好的模型,然后就可以進(jìn)行對話了

航一
因何生,因何起。
瀏覽 3.8w
2
相關(guān)推薦
最新評論
贊過的人 2
評論加載中...

暫無評論,快來評論吧!