Ollama是一个开源的本地大语言模型（LLM）运行工具，它的目标是让用户能像运行Docker容器一样，简单、快速地在自己电脑上部署和运行各种AI模型。

核心特点

• 开箱即用，极其简单：这是Ollama最大的亮点。你不需要懂Python、不需要配置复杂的PyTorch或CUDA环境，只需在命令行输入一条指令，它就会自动下载并运行模型。

• 跨平台支持：原生支持 macOS、Linux 和 Windows，无论你用MacBook还是台式机，都能无缝使用。

• 丰富的模型库：内置了海量主流开源模型的下载源，包括：

  • Meta的Llama系列（Llama 2、Llama 3、Llama 3.1）

  • 阿里Qwen（通义千问）

  • Mistral、Phi、Gemma（Google）等。

  • 你可以通过 ollama pull <模型名> 一键下载。

• 性能优化：自动利用GPU加速（支持NVIDIA CUDA和AMD ROCm），并针对Apple Silicon（M系列芯片）做了特别优化，运行效率很高。

• 提供兼容OpenAI格式的API：启动后，它会提供一个本地HTTP服务（默认端口11434），接口格式与OpenAI API兼容。这意味着你可以直接用任何调用GPT的客户端（如ChatBox、Dify、Continue等）无缝连接到Ollama，无需修改代码。

工作原理

1. 模型管理：从官网仓库拉取模型文件（通常是量化后的GGUF格式，占用空间小）。

2. 推理引擎：基于llama.cpp等底层高性能C++库，在本地CPU/GPU上执行推理。

3. 服务接口：启动一个RESTful API服务器，供其他应用调用。

常用命令速览

# 下载并运行一个模型（首次自动下载）
ollama run llama3.1

# 仅下载模型，不运行
ollama pull qwen2

# 查看已下载的模型列表
ollama list

# 以服务模式启动（后台运行API）
ollama serve

# 删除本地模型
ollama rm llama2

适用场景

• 隐私敏感场景：代码、文档等数据无需上传云端，完全本地处理。

• 开发测试：为你的AI应用（如本地知识库、AI编程助手）提供免费的本地后端。

• 学习研究：快速切换不同模型进行效果对比。

• 离线环境：下载一次后，即可在没有网络的环境下使用。

局限与注意事项

• 硬件要求：运行大模型非常消耗内存和显存。7B-8B参数模型大约需要8GB内存，70B级别模型则需要32GB以上。

• 性能不如云端：受限于个人电脑的算力，推理速度（每秒生成token数）远不如GPT-4等云端商业模型。

• 中文能力：原生Llama等模型中文能力偏弱，建议使用Qwen、ChatGLM或经过中文微调的变体模型。

如何快速开始？

1. 访问 Ollama官网 下载对应系统的安装包。

2. 安装完成后，打开终端（或CMD）输入：

   ollama run llama3.1

3. 等待下载完成，即可直接在命令行中对话。