上一篇在本地跑起了通義千問大模型,但是使用命令行的方式訪問好像有點不爽。再來搞一個像chat-gpt那樣的聊天界面。
在gayhub上搜了一圈,找到一個叫chatbot-ollama的項目,是使用nodejs開發(fā)的聊天機器人前端項目,后端使用的就是ollama,正好滿足需要。
這個項目支持docker部署和源代碼部署兩種方式,這里使用源代碼,畢竟windwos下面跑docker不方便(其實是因為我用了vmware的虛擬機,無法同時開啟windows的wsl)。
先下載源代碼:
然后進入源代碼目錄,安裝依賴:npm ci
差點忘了說,這個項目需要nodejs18.17以上的版本,我這里使用的是v18.19.1。
nodejs安裝也很簡單,訪問官網(wǎng)nodejs.org,然后在下載頁面找想要的版本下載即可,推薦使用帶LTS(長期支持版)的版本。
windwos下載下來的是一個以版本號命名的msi文件,直接雙擊打開安裝即可,這里就不詳細介紹了。
好了,依賴安裝完畢,可以啟動項目了。
在命令行輸入 npm run dev
然后這瀏覽器打開http://localhost:3000/就能看到界面了,如果本地環(huán)境是中文的話還會自動跳轉(zhuǎn)中文界面。
需要說明一下的是有了這個界面就不需要再去命令行執(zhí)行ollama run qwen:7b了,只要屏幕右下角的羊駝圖標在(也就是說只要ollama服務處于啟動狀態(tài))就行了。如果圖標不在,只需要在開始菜單搜ollama找到那個小羊駝,運行它就行了。
模型這里可以選擇當前電腦上已經(jīng)存在的模型。
系統(tǒng)提示這里可以輸入提示詞
生成溫度用來調(diào)整輸出結(jié)果的隨機性
設(shè)置提示詞以后
好了,開始愉快的玩耍吧。





暫無評論,快來評論吧!