DeepSeek+Dify部署本地大模型
deepseek+dify本地部署.
所有工作分为5个部分:
- 安装Docker Desktop;
- 安装dify;
- 安装ollama;
- 下载大模型;
- dify中配置本地大模型;
一、安装Docker Desktop
1.进入官网(Docker: Accelerated Container Application Development)
选择需要的安装版本
安装完成后,第一次启动可能会遇到如下问题:

这时win+r输入cmd打开命令提示符,输入wsl --update等待下载完成就可以重新启动Docker Desktop了。
此时完成搭载第一步,容器已经搭建好了;
二、下载dify
1、进入GitHub官网(https://github.com/)
搜索dify,下载CODE;

下载完成放到自己文件夹加压后,打开docker文件夹:

输入CMD进入命令提示符,输入 docker compose up -d 下载docker启动必要的组件;
这是正常下载的情况,如果出现爆红,可以挂个梯子试试;
此时打开我们的Docker desktop可以看到服务已经开始启动了;

现在进入我们的dify文件夹中,将.env.example文件修改为.env,或者直接复制一个修改为.env:
用记事本打开:


输入http://127.0.0.1/作为本地启动入口;
在文档组后添加以下代码,稍后用于ollama链接:
#用于自定义模型
CUSTOM_MODEL_ENABLED=true
#指定ollama的API地址;
OLLAMA_API_BASE_URL=host.docker.internal:11434

三、安装ollama
1.进入ollama官网(Download Ollama on macOS)

下载后直接安装,右下角出现小羊驼图标即可。
四、下载大模型
1.下载deepseek-r1
根据自己电脑需求,下载对应参数版本的大模型,不清楚需要多大参数的,可以将内存、显存、存储空间问GPT为你推荐。
进入ollama官网,检索自己所需要的大模型:
根据参数,选取对应参数的大模型,复制右边代码(如ollama run deepseek-r1):

再win+R输入cmd直接执行命令,开始大模型的下载,因为默认是C盘,后续需要修改路径的话,可以参考该文章(https://zhuanlan.zhihu.com/p/27286614924):
由于deepseek-r1属于推理模型,我们这里再下载一个beg-m3,用于数据输入的预处理模型:

同样,再win+R输入cmd直接执行命令:

大模型下载就完成了;
五、dify中配置本地大模型
1.打开本地部署的dify
浏览器输入:127.0.0.01,进入dify,首次进入会设置邮箱等信息,注册完成后,进入设置:

点击模型供应商,因为我已经安装了ollama,没法删除,这里在下方选取ollama进行安装,如果之前下载的不是ollama而是其他供应商的话,在这里选取对应的就行了。

点击添加模型,模型名称为自己下载的推理大模型,基础URL为上述配置的url+http://即可。


嵌入大模型也是如此,这里我们就配置了两个基础的大模型,一个推理大模型deepseek和嵌入大模型,处理输入数据的bge-m3:
创建知识库
推出大模型设置后,创建知识库
上传文件后进入下图所示页面,选取我们的嵌入模型(embedding),下滑确认,知识库就已经搭建好了。进入床
进入工作室创建聊天助手:

添加我们刚创建的知识库,选择我们配置的大模型即可开始使用。
到此,我们的配置就已经结束了,如果存在大模型加载不出来的,刷新即可。
更多推荐

所有评论(0)