前几天写了纯离线部署dify纯离线(无网络环境)下部署dify,来看这篇,但是有朋友私信我问既然离线部署了dify,那么你怎么在无网络环境的情况下部署模型呢?

因为使用dify就是为了方便使用大模型,而且创建知识库、聊天等这些操作肯定是要使用TEXT EMBEDDING、RERANK、LLM这些模型的,如何部署使用呢?

这篇文章咱们来详细操作下无网络环境下部署ollama。这边我以我Ubuntu系统为例。

图片

服务器为内网环境,无法上网。

1、github下载安装包

找台电脑,从github上面下载安装包

https://github.com/ollama/ollama/releases

图片

ubuntu系统下载Linux 版本的。复制到服务器上面。后台回复“ollama”可拿到Linux安装包和脚本文件

2、修改官网下载的脚本文件。

我这边已经下载好了,并且已经修改过了,后台回复“ollama”可拿到Linux安装包和脚本文件。

3、安装

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

安装好这个安装包后其实就可以执行一些ollama的命令了。

图片

显示ollama没有运行,但是已经识别ollama命令了

图片

别着急,还有脚本文件没有安装呢

sudo bash install.sh

图片

等待安装完成。

记得刷新配置、重启ollama

sudo systemctl daemon-reloadsudo systemctl enable ollamasudo systemctl start ollama

查看ollama状态

sudo systemctl status ollama

图片

现在是已经启动的状态了。

4、复制模型

咱们先来看下模型列表

ollama list

图片

找到我本地linux服务器上面以前下载的ollama模型,然后复制到这个没网络的服务器上面。模型加载默认路径为/usr/share/ollama/.ollama/models下面。

注:刚开始我将模型文件复制错地方了,导致一直找不到模型文件,我复制到/home/user/.ollama下面了,只想着找到.ollama文件,复制到下面,没想到复制错了。

复制好后查看模型。

图片

5、运行

图片

图片

接着去添加dify即可,记得dify的网络要跟ollama的网络互通,可以将两个应用部署到同一台服务器上面。

所谓投资,无非是用现在的资源换取未来的资源。活在未来的人一定比活在当下的人拥有更多的财富。真正的安全感 是来自对未来清楚的思考。---财富自由之路

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐