## 前言

你有没有遇到过这种纠结——

公司有一批项目文档、需求文件、财务报表，你想用AI来检索、总结、提炼关键信息。但一想到要把这些文件上传到ChatGPT、Kimi、智谱清言，心里就打了个鼓：**这些数据会不会被存到别人的服务器？会不会泄露？**

传，不放心；不传，效率低。

这个问题，本地知识库可以彻底解决。

**阅读收益：**

- 了解本地知识库的核心原理（5分钟搞懂RAG）

- 掌握 Ollama + AnythingLLM 的完整安装配置流程

- 对比个人使用与小团队内网部署两种方案

- 附：安装前后检查清单，避免踩坑

---

## 一、为什么本地知识库越来越火

### 1.1 痛点真实存在

项目经理的日常文档包括：

- 项目需求文档（PRD）、技术方案

- 项目周报、月报、复盘文档

- 会议纪要、客户反馈记录

- 财务报表、数据分析需求文档

这类文档有几个共同特点：**内容敏感、不适合外传、但又非常需要被检索和理解。**

云端AI工具体验好，但数据要先上传到第三方服务器。本地知识库则完全不同——文件全程留在你自己的电脑上，AI只能"看到"你指定给它的那部分内容。

### 1.2 核心技术原理：RAG是什么

本地知识库的背后是 **RAG（检索增强生成）** 技术，用一句话解释：

> **先从你的文档里找到相关片段，再让AI根据这些片段生成回答。**

对比一下更清楚：

| 对比维度 | 通用AI对话 | 本地RAG知识库 |

|---------|-----------|-------------|

| 数据来源 | 训练时学到的知识 | 你自己上传的文档 |

| 回答准确性 | 可能"编造"内容（幻觉） | 基于你的文档内容回答 |

| 数据安全 | 文件上传到第三方服务器 | 文件全程在本地 |

| 适用场景 | 通用问题、创意写作 | 文档检索、领域问答 |

本地知识库的工作流程是这样的：

```

上传文档 → 切分段落 → 向量化存储 → 用户提问 → 检索相关片段 → AI综合回答

```

整个过程中，你的文件只存在于本地，不会上传到任何外部服务器。

---

## 二、方案选择：为什么推荐 Ollama + AnythingLLM

目前搭建本地知识库的工具有很多，这里选 **Ollama + AnythingLLM** 组合，原因是：

- **Ollama**：一行命令装好本地大模型，不需要写代码，跨平台支持好

- **AnythingLLM**：开箱即用的知识库前端，支持直接拖文件进去，不需要配置数据库

- 两者都是开源免费，数据完全私有

---

## 三、操作步骤：个人自用（最简单方案）

以下以 **Windows 系统** 为例，全程不需要写代码。

### 3.1 第一步：安装 Ollama

**下载地址：** [https://ollama.com/download](https://ollama.com/download)

下载 Windows 版本安装包（OllamaSetup.exe），一路点击"下一步"完成安装。

安装完成后，打开 PowerShell 或 CMD，验证是否安装成功：

```bash

ollama --version

```

如果显示版本号，说明安装成功。Ollama 安装后会默认在后台运行，监听端口 **11434**。

### 3.2 第二步：下载大模型

Ollama 本身只是一个运行模型的"壳"，你需要从中选择并下载模型。

**模型怎么选？** 结合中文能力、推理能力、硬件要求三个维度：

| 模型 | 推荐命令 | 最低内存要求 | 中文能力 | 推荐场景 |

|------|---------|------------|---------|---------|

| **DeepSeek-R1** | `ollama run deepseek-r1:7b` | 8GB | 强（国产） | **首选**，逻辑推理能力强，适合分析类问题 |

| **Qwen3.5** | `ollama run qwen3.5:4b` | 6GB | 强（国产） | 机器配置较低，追求轻量运行 |

以 DeepSeek-R1:7b 为例，打开终端执行：

```bash

ollama run deepseek-r1:7b

```

首次运行会自动下载模型（约 4GB），下载完成后进入交互模式，就可以直接对话了：

```

>>> 你好

```

输入 `/bye` 可退出交互模式。

> **小提示：** 如果下载速度较慢，可以配置代理，或者等待深夜网络较好时下载。模型文件默认存放在 `C:\Users\你的用户名\.ollama\models`，也可以通过环境变量 `OLLAMA_MODELS` 自定义存储路径。

### 3.3 第三步：安装 AnythingLLM 桌面版

**下载地址：** [https://anythingllm.com/download](https://anythingllm.com/download)

下载 Windows 版本，安装包运行后按指引完成安装。

首次打开 AnythingLLM，需要进行基础配置：

**Step 1：配置 LLM**

打开设置（Settings），在 LLM Provider（语言模型提供商）中选择 **Ollama**。

然后在模型下拉框中，选择你在上一步下载的模型，例如 `deepseek-r1:7b` 或 `qwen3.5:4b`。

**Step 2：配置嵌入模型（Embedding）**

嵌入模型的作用是把文档内容转换成"向量"，用于后续的相似度检索。

推荐使用 Ollama 内置的嵌入模型，执行以下命令下载：

```bash

ollama pull nomic-embed-text

```

然后在 AnythingLLM 设置中选择 **Ollama Embedding**，选择 `nomic-embed-text` 模型。

> AnythingLLM 默认使用 **LanceDB** 向量数据库，存储在本地，不需要额外安装。

### 3.4 第四步：创建工作区，上传文档

AnythingLLM 的核心概念是 **Workspace（工作区）**——每个工作区对应一组文档和一段独立的对话上下文。

**创建工作区：**

- 点击左侧菜单的 **"+"**，新建一个工作区

- 建议按项目或用途命名，例如：`项目A需求库`、`财务文档库`

**上传文档：**

- 进入工作区，直接把文件拖入窗口，或者点击上传按钮

- 支持的文件格式包括：**PDF、Word（.docx）、TXT、Markdown、CSV、Excel**

上传完成后，AnythingLLM 会自动完成以下步骤：

1. 读取文档内容

2. 将长文档切分成小段落

3. 将每段内容转换为向量，存入本地向量数据库

这个过程只需要执行一次，之后就可以反复提问了。

### 3.5 第五步：提问，验证效果

进入工作区，在对话框中输入与文档相关的问题，例如：

- "这个项目的主要功能有哪些？"

- "列出所有的非功能需求"

- "这个需求文档里的风险点是什么？"

AI 会基于你上传的文档内容进行回答，不会胡编乱造。

---

## 四、方案对比：小团队内网部署

上面的方案适合个人自用。如果要给小团队（5-10人）搭建内网知识库，有以下几个关键差异：

| 维度 | 个人使用（桌面版） | 小团队内网部署 |

|------|------------------|---------------|

| **安装方式** | 桌面应用，各自装在自己电脑上 | Ollama + AnythingLLM 部署在团队共享服务器 |

| **数据存储** | 各自分别上传文档 | 服务器统一存储，全团队共享 |

| **多用户支持** | 不支持 | 支持多用户、工作区权限隔离 |

| **硬件要求** | 个人电脑 8GB+ 内存 | 服务器 32GB+ 内存，8GB+ 显存 GPU |

| **Ollama 配置** | 默认配置即可 | 需设置 `OLLAMA_HOST=0.0.0.0:11434` 允许局域网访问 |

小团队部署的核心区别是：**把 Ollama 和 AnythingLLM 部署在一台团队共享的服务器上**，其他成员通过浏览器访问。AnythingLLM 支持 Docker 部署，适合有一定IT基础的团队操作。

如果你是个人使用，或者团队规模在3人以内，桌面版方案已经足够，不需要额外折腾服务器。

---

## 五、真实案例：项目经理如何用本地知识库

**场景：** 项目经理小李维护着 5 份项目文档，包括需求文档、技术方案、测试报告、周报汇总。

以前要找某个需求的具体描述，得逐个文件 Ctrl+F 搜索。现在他用 AnythingLLM 建了一个工作区，把这 5 份文档全部上传进去。

**提问示例：**

> **Q：哪些功能涉及到数据权限控制？**

>

> AI 回答：据文档内容，涉及数据权限控制的功能包括：

>

> 1. 财务报表查看（按部门权限隔离）

> 2. 指标自定义配置（仅管理员可操作）

> 3. 数据导出功能（区分普通用户和管理员）

>

> **Q：这个项目的最大风险是什么？**

>

> AI 回答：根据技术方案文档，项目的主要风险点为：

>

> 1. 历史数据迁移可能影响现有报表准确性（高风险）

> 2. 第三方支付接口的稳定性（中风险）

> 3. 用户培训成本超预期（低风险）

这就是本地知识库的核心价值：**把你的知识资产变成可检索、可对话的AI助手。**

---

## 六、安全要点：数据真的不出本地吗？

本地知识库在安全上已经比云端方案好很多，但仍有几个地方需要注意：

**✅ 真正安全的前提：**

- Ollama 默认只监听 `127.0.0.1:11434`（本机），不会对外暴露

- AnythingLLM 桌面版所有文档处理都在本地完成

- 向量数据库（LanceDB）也是本地存储

**⚠️ 需要注意的风险：**

1. **不要主动开放 Ollama 端口**：如果改了 `OLLAMA_HOST` 配置，让 Ollama 监听 `0.0.0.0`，同一局域网内的其他人就可以访问你的模型了。如果不需要局域网访问，保持默认配置。

2. **涉密文件另说**：本地知识库适合处理公司内部、非公开但非涉密的项目文档。如果公司有合规要求（等保、分保等），请遵循公司信息安全制度，不要用个人工具处理涉密内容。

3. **模型本身不"记忆"文档**：每次对话，AI 只能检索到你在 AnythingLLM 里上传的内容。关闭会话后，模型不会保留任何信息。

---

## 七、总结 + 一键检查清单

### 安装前检查清单

- [ ] Windows 10 22H2 或更新版本

- [ ] 内存 8GB 以上（7B 模型）；16GB 以上（14B 模型更流畅）

- [ ] NVIDIA 显卡（可选，有则用 GPU 加速，没有则用 CPU 运行，速度稍慢）

- [ ] 已安装 NVIDIA 驱动（如果使用 GPU）

### 安装后验证清单

- [ ] `ollama --version` 能显示版本号

- [ ] `ollama run deepseek-r1:7b` 能正常启动对话

- [ ] AnythingLLM 能识别并连接本地 Ollama

- [ ] 文档上传后，出现 "Ready" 状态（表示向量处理完成）

- [ ] 提问后，AI 回答与文档内容相关（而非通用回答）

### 常用 Ollama 命令速查

| 命令 | 作用 |

|------|------|

| `ollama run <模型名>` | 启动交互式对话 |

| `ollama pull <模型名>` | 下载模型 |

| `ollama list` | 查看已下载模型 |

| `ollama ps` | 查看正在运行的模型及使用 GPU/CPU |

| `ollama stop <模型名>` | 停止运行中的模型 |

---

本地知识库搭建并不复杂，核心就是三步：**装 Ollama → 装 AnythingLLM → 拖文件进去问问题。**

对于项目经理来说，这个工具特别实用——把你的项目文档变成可以对话的知识库，找需求、查风险、理流程，不用再逐个文件翻，AI 直接帮你定位到相关内容。

> **下一篇预告：** 如果你想用 AI 自动生成项目周报、月报，而不是自己手动整理，可以关注后续文章《用AI生成周报/月报全流程》。

---

**相关资源：**

- Ollama 官网：[https://ollama.com](https://ollama.com)

- AnythingLLM 下载：[https://anythingllm.com/download](https://anythingllm.com/download)

- Ollama 支持的模型库：[https://ollama.com/library](https://ollama.com/library)