离线部署ollama与使用模型
找到我本地linux服务器上面以前下载的ollama模型,然后复制到这个没网络的服务器上面。注:刚开始我将模型文件复制错地方了,导致一直找不到模型文件,我复制到/home/user/.ollama下面了,只想着找到.ollama文件,复制到下面,没想到复制错了。所谓投资,无非是用现在的资源换取未来的资源。接着去添加dify即可,记得dify的网络要跟ollama的网络互通,可以将两个应用部署到同一
前几天写了纯离线部署dify纯离线(无网络环境)下部署dify,来看这篇,但是有朋友私信我问既然离线部署了dify,那么你怎么在无网络环境的情况下部署模型呢?
因为使用dify就是为了方便使用大模型,而且创建知识库、聊天等这些操作肯定是要使用TEXT EMBEDDING、RERANK、LLM这些模型的,如何部署使用呢?
这篇文章咱们来详细操作下无网络环境下部署ollama。这边我以我Ubuntu系统为例。

服务器为内网环境,无法上网。
1、github下载安装包
找台电脑,从github上面下载安装包
https://github.com/ollama/ollama/releases

ubuntu系统下载Linux 版本的。复制到服务器上面。后台回复“ollama”可拿到Linux安装包和脚本文件
2、修改官网下载的脚本文件。
我这边已经下载好了,并且已经修改过了,后台回复“ollama”可拿到Linux安装包和脚本文件。
3、安装
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
安装好这个安装包后其实就可以执行一些ollama的命令了。

显示ollama没有运行,但是已经识别ollama命令了

别着急,还有脚本文件没有安装呢
sudo bash install.sh

等待安装完成。
记得刷新配置、重启ollama
sudo systemctl daemon-reloadsudo systemctl enable ollamasudo systemctl start ollama
查看ollama状态
sudo systemctl status ollama

现在是已经启动的状态了。
4、复制模型
咱们先来看下模型列表
ollama list

找到我本地linux服务器上面以前下载的ollama模型,然后复制到这个没网络的服务器上面。模型加载默认路径为/usr/share/ollama/.ollama/models下面。
注:刚开始我将模型文件复制错地方了,导致一直找不到模型文件,我复制到/home/user/.ollama下面了,只想着找到.ollama文件,复制到下面,没想到复制错了。
复制好后查看模型。

5、运行


接着去添加dify即可,记得dify的网络要跟ollama的网络互通,可以将两个应用部署到同一台服务器上面。
所谓投资,无非是用现在的资源换取未来的资源。活在未来的人一定比活在当下的人拥有更多的财富。真正的安全感 是来自对未来清楚的思考。---财富自由之路
更多推荐


所有评论(0)