1. 环境准备与模型获取

在纯CPU环境下运行大语言模型听起来像是天方夜谭？其实通过量化技术完全可行。我最近就在一台老旧的i5笔记本上成功部署了13B参数的模型，整个过程比想象中简单得多。先来看看我们需要准备哪些东西：

首先是硬件要求。虽然说是纯CPU运行，但内存建议至少16GB起步。我实测运行13B参数的Q5量化模型时，内存占用在10-12GB左右。如果只有8GB内存，可以考虑更小的7B模型或更低精度的量化版本（比如Q4）。

模型文件方面，GGUF格式已经成为CPU端运行大语言模型的事实标准。这个格式特别为CPU优化过，支持各种量化级别。我推荐从HuggingFace的TheBloke仓库下载现成的GGUF模型，比如：

• WizardCoder-Python-13B-V1.0-GGUF
• Llama-2-7B-Chat-GGUF
• Mistral-7B-v0.1-GGUF

下载命令很简单：

git lfs install
git clone https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF

2. Ollama安装与配置

Ollama真是个神器，它让本地运行大模型变得像搭积木一样简单。安装过程根据系统不同有所区别：

Windows用户：

1. 从GitHub下载两个文件：
   • OllamaSetup.exe（安装器）
   • ollama-windows-amd64.exe（主程序）
2. 先运行OllamaSetup.exe完成基础安装
3. 把ollama-windows-amd64.exe放在方便的位置（建议新建个专用目录）

Linux/macOS用户更简单：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，我建议先测试下基础功能：

ollama list

如果看到空列表就说明安装成功了。

3. 模型导入与验证

有了模型文件和Ollama，接下来就是最关键的模型导入环节。这里有个小技巧：在模型文件同级目录创建Modelfile文件。

比如我的模型放在：

D:\models\wizardcoder-13b-Q5\wizardcoder-python-13b-v1.0.Q5_K_M.gguf

那么就在同目录创建Modelfile.txt，内容只需一行：

FROM D:\models\wizardcoder-13b-Q5\wizardcoder-python-13b-v1.0.Q5_K_M.gguf

然后运行导入命令：

ollama-windows-amd64.exe create wizardcoder-13b -f D:\models\wizardcoder-13b-Q5\Modelfile.txt

导入成功后，可以用Python快速验证：

import ollama

response = ollama.generate(
    model='wizardcoder-13b',
    prompt='用Python写个快速排序'
)
print(response['response'])

第一次运行会稍慢，因为要加载模型到内存。我实测13B模型在i5-1135G7上首次加载约2分钟，后续调用响应时间在5-10秒左右。

4. RESTful API封装实战

让模型跑起来只是第一步，更重要的是如何集成到现有系统中。我用Flask封装了一个生产可用的API方案：

from flask import Flask, request, jsonify
import ollama
from threading import Lock

app = Flask(__name__)
model_lock = Lock()

@app.route('/v1/chat/completions', methods=['POST'])
def chat_completion():
    try:
        data = request.json
        messages = data.get('messages', [])
        
        with model_lock:  # 防止并发请求
            response = ollama.chat(
                model='wizardcoder-13b',
                messages=messages,
                options={
                    'temperature': 0.7,
                    'top_p': 0.9
                }
            )
            
        return jsonify({
            'choices': [{
                'message': response['message']
            }]
        })
    
    except Exception as e:
        return jsonify({'error': str(e)}), 500

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000, threaded=True)

这个实现有几个关键点：

1. 采用OpenAI兼容的API格式，方便现有应用迁移
2. 加入线程锁避免并发问题
3. 支持完整的对话历史（messages数组）
4. 可调节的温度参数控制生成随机性

启动API服务后，可以用curl测试：

curl -X POST http://localhost:5000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "messages": [
    {"role": "user", "content": "解释下量子计算的基本原理"}
  ]
}'

5. 性能优化技巧

在CPU环境下运行大模型，性能调优至关重要。经过多次测试，我总结出几个实用技巧：

线程数配置： 在Modelfile中加入：

PARAMETER num_threads 8

一般设置为CPU物理核心数。我的i5是4核8线程，设置8线程后推理速度提升约40%。

批处理优化： 对于API服务，可以批量处理请求：

responses = ollama.generate(
    model='wizardcoder-13b',
    prompts=['问题1', '问题2', '问题3'],
    batch_size=3
)

内存管理： 如果遇到内存不足，可以在Modelfile中限制缓存：

PARAMETER mmap off
PARAMETER mlock on

量化级别选择： 不同量化级别的性能对比：

量化级别	模型大小	内存占用	推理速度
Q4_0	最小	最低	最快
Q5_K_M	中等	中等	平衡
Q8_0	较大	较高	最精确

对于大多数场景，Q5_K_M是最佳平衡点。我在32GB内存的机器上可以同时运行两个13B的Q5模型。

6. 常见问题排查

在实际部署过程中，我踩过不少坑，这里分享几个典型问题的解决方法：

问题1：Ollama服务无法启动

• 检查是否有其他进程占用了11434端口
• 确保ollama-windows-amd64.exe有执行权限
• 查看日志文件（Windows在%LOCALAPPDATA%\Ollama\logs）

问题2：模型加载失败

• 确认GGUF文件完整（可以用md5校验）
• 检查Modelfile路径是否正确（建议使用绝对路径）
• 确保磁盘有足够空间（模型加载需要临时空间）

问题3：API响应慢

• 尝试降低量化级别（从Q5降到Q4）
• 减少max_tokens参数值
• 关闭stream模式（虽然用户体验稍差，但整体响应更快）

问题4：内存不足

• 添加虚拟内存（至少设置为物理内存的1.5倍）
• 使用内存更小的模型（如7B版本）
• 在Modelfile中添加PARAMETER low_vram on

遇到其他问题时，可以先用命令行直接测试模型：

ollama run wizardcoder-13b

这样能快速定位是模型问题还是API封装问题。