deepseek部署到本地的步骤
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。新建聊天进行测试,在聊天窗口要记得点击右下角知识,选择刚才搭建的知识库名称,然后在上方看到就可以了。DeepSeek R1提供多个版本,参数量越大,模型通常越强大,但也需要更多的计算资源。我们还可以通过浏览器插件来访问
现在有越来越多的开源模型,可以让你在自己的电脑或服务器上运行。使用本地模型有许多优势:
- 完全离线运行,保护隐私数据安全
- 无需支付在线 API 费用
- 完全离线,服务稳定,无网络延迟
- 可以自由调整和定制模型参数
下面让我们来在本地环境下学习如何部署deepseek吧。
1. 本地安装deepseek
1.1 ollama本地化部署: windows机器下载OllamaSetup.exe后直接安装
1.2 点击Models,我们就可以看到deepseek-r1模型

点击deepseek-r1 可以看到详细内容

DeepSeek R1提供多个版本,参数量越大,模型通常越强大,但也需要更多的计算资源。
比如1.5b代表有15亿个参数。具体选择哪个模型,要根据我们的计算机配置和性能决定。
1.3 安装deepseek命令:ollama run deepseek-r1:14b
出现success,代表安装成功。

1.4 输入一个问题,测试一下

1.5 下次如何打开deepseek. 在命令行中使用与安装时同样的命令:ollama run deepseek-r1:14b

至此,您本地的deepseek就部署好了。我们可以基于命令行的客户端进行使用了。但是如果觉得不如网页版方便的话,我们继续进行下一个步骤:安装网页端。
2. deepseek+chatbox网页端
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。本地使用Ollama部署完成后,可以使用Chatbox进行调用。
如何将 Chatbox 连接到远程 Ollama 服务:逐步指南 - Chatbox 帮助中心:指南与常见问题
2.1环境变量配置
默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
在 Windows 上,Ollama 会继承你的用户和系统环境变量。
1、通过任务栏退出 Ollama。
2、打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。
3、点击编辑你账户的环境变量。
4、为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *。
点击确定/应用以保存设置。从 Windows 开始菜单启动 Ollama 应用程序。
2.2 chatbox设置
1、打开官网:https://chatboxai.app/zh,选择启动网页版。
2. 选择本地模型,如果找不到,点击左侧的设置按钮。


5、点击DISPLAY,选择简体中文,点击保存按钮。
6. 输入问题进行测试

2.3 搭配GPTs使用
1、点击左侧我的搭档
2、选择一个你喜欢的应用,本示例选择软件工程师
3 DeepSeek知识库搭建
我们还可以通过浏览器插件来访问本地部署的大模型,这个插件还支持本地知识库搭建。
1、安装插件Page Assist,搜索插件后添加至Chrome

2、选择本地搭建的模型,点击配置按钮,设置中文

3、RAG设置,模型选择本地搭建的。

4、点击左侧管理知识,可以添加本地知识库。
填写知识标题及上传文件,点击提交按钮。
状态为已完成就可以使用了。


新建聊天进行测试,在聊天窗口要记得点击右下角知识,选择刚才搭建的知识库名称,然后在上方看到就可以了。
对模型进行测试,看看是否可以根据知识库进行回答。
我问了一下知识库中的《量子纠缠通信:未来通信的革命》 价格是多少?

更多推荐


所有评论(0)