简单介绍ollama就相当于大模型的docker

sudo apt update && sudo apt upgrade -y

安装ollama

curl -fsSL https://ollama.com/install.sh | sh

ollama --version

systemd服务：安装脚本会自动将 Ollama 设置为系统服务（systemd），并默认开机自启。你可以用 systemctl status ollama 来查看它的运行状态

关于“No NVIDIA GPU detected”警告：如果你的机器没有 NVIDIA 显卡，安装过程可能会显示这条警告。这很正常，Ollama 会自动切换到 CPU 模式运行，模型依然可以正常工作

Ollama 的模型库非常丰富，支持 Llama、Mistral、DeepSeek 等众多主流开源模型

拉取（下载）模型：
用 ollama pull 命令下载你想要的模型。这里以 Meta 的 Llama 3.2（一个轻量高效的模型）为例
ollama pull llama3.2

运行并对话：
下载完成后，用 ollama run 命令启动模型，你会直接进入一个交互式的命令行对话界面

ollama run llama3.2

现在，你就可以像和 ChatGPT 聊天一样，直接在终端里输入问题，和这个本地大模型对话了

硬件要求：运行大模型比较吃内存。通常建议至少 8GB 内存来运行 7B 参数级别的模型，16GB 或以上体验会更好

模型选择：除了上面提到的模型，你也可以去 Ollama 官网的模型库 寻找其他你感兴趣的模型，比如阿里巴巴的 Qwen（通义千问）系列等

API 服务：Ollama 默认会在后台开启一个 API 服务（地址是 http://localhost:11434），方便你通过编程方式来调用模型能力

from langchain_ollama import ChatOllama

# 1. 初始化模型
llm = ChatOllama(
    model="llama3.2",
    base_url="http://localhost:11434",  # 默认值，可省略
    temperature=0.7,
    num_predict=512,
)

# 2. 直接调用
response = llm.invoke("请用一句话介绍什么是人工智能")
print(response.content)

如果你在安装或下载过程中遇到了问题，比如网络连接失败，可以随时把具体的报错信息告诉我，我来帮你分析。