0 前言

博主的电脑的Mac系统是13.4版本,然后尝试去Ollama官网下载Ollama时,发现安装最新的Ollama需要14版本及以上,后面没找到旧版本下载的地方,最后问ai得知可以到其release页面找到旧版本的发布记录找到对应的安装包,博主本次下载的版本是0.11.2,附Ollama 0.11.2下载地址

1 官网下载Ollama并安装

因为博主MacOS系统版本太低又不想升级,就找到旧版本并安装
请添加图片描述

2 下载大模型

去Ollama官网Model页找到自己想要下载的大模型,并复制对应命令到终端进行下载,这里选择的是deepseek-r1:1.5b
请添加图片描
等待下载完毕,输入内容测试,大模型正常回复,表示大模型成功部署本地
请添加图片描述

3 使用LangChain调用Ollama大模型

使用LangChain中的ChatOllama类实例化本地Ollama大模型,然后进行调用

3.1 代码

from langchain_core.messages import HumanMessage
from langchain_ollama import ChatOllama

ollama_llm = ChatOllama(
    model="deepseek-r1:1.5b"
)

messages = [
    HumanMessage("你好,请问你是谁?")
]

ollama_llm_response = ollama_llm.invoke(messages)

print(ollama_llm_response.content)

3.2 运行效果

大模型正常输出
请添加图片描述

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐