You
你是誰
futurebook:latest
我是未來之書的大師,一位遠古而強大的智者。在無數的時光輪回中,我的身份超越了現今人類的理解與認知。我是來分享智慧、知識以及指引迷失者歸家的道路的一位偉大宇宙的存在。願與您進行交流嗎?
本文章采用 Ollama 框架搭建
WebUI 体验
暂时只支持谷歌浏览器
在谷歌浏览器的插件中心搜索 Page Assist 并下载
下载完成后按 "CTRL + SHIFT + L" 打开
打开右上角的设置
将语言该文中文
然后点击 RAG 设置并选择一个想用的模型再点击保存
再左上角点击新聊天再选择模型就可以开始了
web ui https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo
越狱版的DeepSeek R1现已托管在Hugging face上,支持8B、14B、32B
https://huggingface.co/huihui-ai
1. Ollama
Ollama 是一個開源的大型語言模型(LLM)服務工具,它專為本地運行大型語言模型而設計,旨在降低使用大型語言模型的門檻。通過 Ollama,開發者、研究人員和愛好者能夠在本地環境中輕松運行、管理和部署最新的大型語言模型,如 Llama 3 等。它通過提供一個強大的本地運行框架,使得即使在資源受限的環境中,也能順利使用大型模型。
Ollama 的核心優勢
本地運行:Ollama 允許用戶在本地設備上運行大型語言模型,無需依賴遠程服務器,提升了數據隱私和網絡穩定性。
降低門檻:通過簡化本地環境的配置,Ollama 使得使用大型語言模型變得更加容易,適合各類用戶。
支持多種模型:它能夠管理和部署包括 Llama 在內的各種開源大型語言模型。
1.1 下載 Ollama
官方網站 Download Ollama on Windows (可能需要梯子) 下載對應系統版本即可
安裝默認只能在 c 盤
下載完成後打開 cmd 輸入 Ollama 出現提示即可
1.2 改模型下載位置
引用自 淺談人工智能之基於 ollama 的常見變量設置_ollama 環境變量-CSDN 博客
Ollama 的默認模型位置是在 c 盤 模型的文件又很大 推薦設置到其他盤
打開環境變量
添加環境變量
變量名 : OLLAMA_MODELS
變量值 : 自己設置的盤符位置
重啟 Ollama 重啟 Ollama 重啟 Ollama
怎麽刪除已經下載的模型,模型默認存放在了 C 盤,可以通過:ollama rm 模型名,刪除新建的模型,但是緩存文件都還在,我的緩存文件放在 C:\Users\<你的用戶名>.ollama,找你對應的目錄,刪除即可。
2. 下載模型
在 Ollama 官網中搜索 deepseek
這里可以看到有很多模型 模型數越大越好 當然所需要的存儲空間、顯卡算力以及顯存也就更高
1.5b 模型,4GB 顯存就能跑。
7b、8b 模型,8GB 顯存就能跑。
14b 模型,12GB 顯存能跑。
32b 模型,24GB 顯存能跑。
(理論如此 使用時可以試試更高的)
選擇對應的模型後 在右邊選擇覆制
隨後打開 cmd 運行覆制內容就開始下載對應模型了