1. FastGPT与Ollama本地模型整合概述

FastGPT作为一款开源知识库问答系统，凭借其开箱即用的特性和可视化工作流编排能力，正在成为开发者构建私有化AI问答系统的热门选择。而Ollama作为轻量级大模型部署工具，能让开发者在本地快速运行各类开源模型。将两者结合使用，既能享受FastGPT便捷的问答系统框架，又能利用Ollama灵活部署的本地模型，实现完全自主可控的AI解决方案。

这种组合特别适合三类场景：一是需要保护数据隐私的企业内部知识管理系统；二是开发者进行AI应用原型验证的快速实验环境；三是对网络访问有限制的特殊场景。我最近在帮一家医疗研究机构部署这套方案时，仅用半天就完成了从环境搭建到模型调试的全流程，实测单台32GB内存的服务器就能流畅运行7B参数的模型。

2. 环境准备与Docker部署

2.1 基础环境配置

在开始之前，请确保你的系统满足以下要求：

• 操作系统：Linux（推荐Ubuntu 22.04）或Windows 10/11专业版
• 内存：至少16GB（运行7B模型建议32GB）
• 存储：50GB可用空间
• Docker版本：20.10.0+
• Docker Compose版本：2.17+

对于Windows用户，需要特别注意：

1. 务必启用WSL2后端
2. 在Docker Desktop设置中分配至少8GB内存
3. 关闭所有VPN类软件（可能影响容器网络）

2.2 FastGPT容器部署

首先创建项目目录并获取配置文件：

mkdir fastgpt-ollama && cd fastgpt-ollama
curl -O config.json https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml

这里我推荐使用pgvector版本，它在测试中表现最稳定。配置文件中几个关键参数需要检查：

• DEFAULT_ROOT_PSW：设置管理员密码
• OPENAI_BASE_URL：暂时保持默认，后续接入Ollama时会修改
• VECTOR_SIZE：向量维度设为1024兼容多数模型

启动容器时会自动创建三个持久化卷：

• fastgpt_files：存储上传的文件
• fastgpt_pg_data：PostgreSQL数据库
• fastgpt_mongo_data：MongoDB数据

使用以下命令启动服务：

docker compose up -d

首次启动约需3-5分钟初始化数据库，可以通过日志观察进度：

docker compose logs -f fastgpt

3. Ollama本地模型部署

3.1 Ollama服务安装

建议使用Docker方式部署Ollama，确保与FastGPT网络互通。在项目目录下创建ollama的docker-compose文件：

# ollama-compose.yml
version: '3.8'
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ./ollama_data:/root/.ollama
    networks:
      - fastgpt-net

networks:
  fastgpt-net:
    external: true

创建共享网络并启动服务：

docker network create fastgpt-net
docker compose -f ollama-compose.yml up -d

3.2 模型下载与测试

Ollama支持多种开源模型，这里以通义千问7B为例：

docker exec ollama ollama pull qwen:7b

下载完成后验证模型运行：

docker exec ollama ollama run qwen:7b "你好"

常见问题处理：

1. 若出现"host not found"错误，检查容器是否在同一个网络
2. 内存不足时可尝试量化版本：qwen:7b-q4_0
3. 下载中断使用ollama pull --insecure qwen:7b重试

4. 系统整合与配置

4.1 FastGPT连接Ollama

修改FastGPT的docker-compose.yml，在environment部分添加：

OPENAI_BASE_URL: "http://ollama:11434/v1"
OPENAI_API_KEY: "ollama"  # 任意非空字符串

重启FastGPT使配置生效：

docker compose restart fastgpt

4.2 模型配置管理

登录FastGPT控制台（默认http://localhost:3000），进行以下操作：

1. 进入"账号 > 模型提供商"
2. 新建渠道选择"Ollama"
3. 填写基础URL为http://ollama:11434
4. 在"模型配置"中添加新模型，关键参数：
   • 模型名称：Qwen-7B
   • 模型ID：qwen:7b
   • 上下文长度：8192
   • 温度值：0.7

测试连接时可能出现"模型响应超时"，这通常是Ollama首次加载模型需要时间，等待2-3分钟后重试即可。

5. 高级配置与优化

5.1 性能调优建议

对于生产环境，建议进行以下优化：

1. 修改Ollama启动参数增加并行度：

   environment:
     OLLAMA_NUM_PARALLEL: "4"
   

2. 启用GPU加速（需安装NVIDIA容器工具包）：

   deploy:
     resources:
       reservations:
         devices:
           - driver: nvidia
             count: 1
             capabilities: [gpu]
   

3. 调整FastGPT的向量索引配置：

   "vector": {
     "model": "m3e-large",
     "size": 1024,
     "searchLimit": 100
   }
   

5.2 常见问题排查

1. 容器网络不通：

   docker exec -it fastgpt curl http://ollama:11434
   

   正常应返回Ollama版本信息

2. 模型加载失败：

   • 检查Ollama日志：docker compose logs ollama
   • 验证模型文件完整性：docker exec ollama ollama list

3. API响应慢：

   docker exec ollama ollama ps
   

   查看模型加载状态和内存占用

6. 应用场景扩展

6.1 多模型混合部署

可以在Ollama中同时加载不同用途的模型：

docker exec ollama ollama pull llama2:13b
docker exec ollama ollama pull bge:large-zh

然后在FastGPT中配置模型路由规则，例如：

• 通用问答使用Qwen-7B
• 英文内容处理使用Llama2-13B
• 向量嵌入使用BGE模型

6.2 知识库构建技巧

高效的知识库建设需要注意：

1. 文档预处理：

   from fastgpt import prepare_docs
   prepare_docs("./docs", chunk_size=500)
   

2. 元数据标注：

   {
     "source": "内部手册",
     "author": "技术部",
     "update_time": "2024-03-01"
   }
   

3. 定时更新策略：

   docker exec fastgpt python /app/scripts/update_knowledge.py
   

这套方案在我参与的多个项目中已经稳定运行数月，特别是医疗和法律领域的知识问答场景，准确率能达到85%以上。最近一个客户成功用3台服务器构建了支持200并发问答的系统，日均处理查询超过1万次。