最近兩年的新筆記本CPU都使用Intel Core Ultra系列，這個(gè)本子大多是輕薄本，好像是英特爾搞的什么AIPC的戰(zhàn)略，但是實(shí)際用下來(lái)，在很多場(chǎng)景下可能還不如上一代的CPU， 最難評(píng)的就是這個(gè)NPU的使用場(chǎng)景不明確，完全沒(méi)用。但是這個(gè)CPU的集成顯卡貌似比上一代提升很大，就嘗試一下這個(gè)GPU的速度。
ipex-llm 是英特爾團(tuán)隊(duì)開(kāi)發(fā)的一個(gè)本地大語(yǔ)言模型推理加速框架，主要用于 Intel GPU（集成顯卡）和 I 卡運(yùn)行大語(yǔ)言模型，目前已經(jīng)支持大多數(shù)主流 AI 大模型。ipex-llm 專(zhuān)門(mén)針對(duì) Ollama 優(yōu)化出了一個(gè)免安裝版本，直接下載就能用，而且上線(xiàn)了魔搭社區(qū)，下載也超快，魔搭社區(qū)模型庫(kù)搜索關(guān)鍵詞：Ollama 英特爾優(yōu)化版。
Ollama 英特爾優(yōu)化版在如下設(shè)備上進(jìn)行了驗(yàn)證:
- Intel Core Ultra 處理器
- Intel Core 第 11 至第 14 代處理器
- Intel Arc A 系列 GPU
- Intel Arc B 系列 GPU
一通安裝，接下來(lái)就實(shí)測(cè)
直接ollama run --verbose deepseek-r1:14b，因?yàn)槭羌@，所以顯存和內(nèi)存是公用的，windows的策略應(yīng)該是內(nèi)存和共享顯存是1：1的，我這個(gè)本子32G內(nèi)存，所以理論上有16G顯存，實(shí)際有15.8G，下圖是開(kāi)始推理后的GPU占用情況，14b大概占用了12G的顯存
下圖是token情況，每秒7.x的token，體驗(yàn)還可以，而且由上圖可見(jiàn)GPU跑滿(mǎn)了，CPU不高，比純CPU跑確實(shí)是快很多
暫無(wú)評(píng)論，快來(lái)評(píng)論吧!