Langchain-Chatchat 镜像部署实战：打造企业级离线文档智能问答系统

在金融、医疗、法律等行业，数据安全是不可逾越的红线。尽管公有云上的大模型服务功能强大，但将敏感文档上传至第三方平台始终令人担忧。有没有一种方式，既能享受 AI 的智能问答能力，又能确保所有数据“不出内网”？答案正是 Langchain-Chatchat —— 一个专为本地化部署设计的知识库问答框架。

它不是简单的聊天机器人，而是一套完整的 RAG（检索增强生成）解决方案：从私有文档中提取信息，建立语义索引，在用户提问时精准召回相关内容，并结合本地运行的大语言模型生成自然语言回答。整个过程无需联网，完全自主可控。

这套系统的魅力在于它的“端到端闭环”。想象一下，HR 员工不再需要翻找几十份制度文件来回答“年假如何计算”，只需在内部系统输入问题，3 秒内就能获得准确答复，且每条答案都能追溯到原始文档出处。这种效率跃迁的背后，是 LangChain 框架、向量数据库和本地 LLM 的精密协作。

---

我们先来看一个典型场景：某企业希望搭建一个支持 PDF 手册、Word 制度文件和 TXT 技术文档的智能客服系统。传统做法是让员工记住各类流程或依赖人工转答；而现在，通过 Langchain-Chatchat，我们可以实现自动化处理。

这一切的核心逻辑其实并不复杂——当用户提出问题时，系统并不会直接让大模型“凭空作答”，而是先去自己的知识库里查找相关证据。这个“查找”动作不是基于关键词匹配，而是语义级别的相似度搜索。比如你问“怎么报销差旅费？”，系统能理解这与文档中“费用结算流程”段落高度相关，即使两者用词完全不同。

实现这一能力的关键组件有三个：LangChain 框架负责流程编排，向量数据库用于高效检索，本地 LLM 完成最终的回答生成。它们各司其职，又紧密配合。

以 LangChain 为例，它本质上是一个“胶水层”，把原本分散的技术模块粘合在一起。你可以把它看作流水线的调度员：接收用户问题 → 调用嵌入模型将问题转为向量 → 查询向量数据库获取 Top-K 最相似文本块 → 将这些块拼接进提示词模板 → 发送给本地大模型生成回答 → 返回结果并附带来源依据。

from langchain.chains import RetrievalQA
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from langchain.llms import ChatGLM

# 初始化中文嵌入模型
embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5")

# 加载已构建好的向量库
vectorstore = FAISS.load_local("vectordb", embeddings, allow_dangerous_deserialization=True)

# 连接本地部署的 ChatGLM 接口
llm = ChatGLM(
    endpoint_url="http://localhost:8000",
    max_token=8192,
    temperature=0.7
)

# 构建标准 RAG 链条
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore.as_retriever(search_kwargs={"k": 4}),
    return_source_documents=True
)

# 执行一次真实查询
query = "新员工入职需要准备哪些材料？"
result = qa_chain({"query": query})

print("回答:", result["result"])
print("参考文档:", [doc.metadata.get('source') for doc in result["source_documents"]])

这段代码看似简单，实则涵盖了整个系统的主干流程。其中 HuggingFaceEmbeddings 使用的是专为中文优化的 BGE 模型，相比通用英文模型，在术语理解和句意捕捉上表现更优。而 FAISS 作为 Facebook 开源的近似最近邻搜索库，能在百万级向量中实现毫秒级响应，非常适合对延迟敏感的企业应用。

值得注意的是，这里的 ChatGLM 并非调用云端 API，而是指向本地启动的服务接口。这意味着模型权重、推理过程、中间数据全部运行在企业自有服务器上，彻底规避了数据泄露风险。对于追求合规性的机构来说，这一点至关重要。

那么，大模型本身又是如何在有限资源下高效运行的呢？

目前主流方案是使用量化技术降低显存占用。例如，原生精度的 ChatGLM3-6B 模型约需 13GB 显存，而经过 INT4 量化后可压缩至 6~7GB，使得消费级显卡如 RTX 3060/4090 也能胜任推理任务。以下是加载本地量化模型的实际操作：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = "/models/chatglm3-6b-int4"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True
).eval()

def generate_answer(context: str, question: str) -> str:
    prompt = f"请根据以下上下文回答问题，若无法找到答案请说明：\n\n{context}\n\n问题：{question}"
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            temperature=0.7,
            top_p=0.9,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id
        )

    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    # 移除输入部分，仅保留生成内容
    return response[len(prompt):].strip()

这里有几个关键点值得强调：
- device_map="auto" 可自动分配模型层至多 GPU 或 CPU，提升资源利用率；
- torch.float16 启用半精度计算，显著减少显存消耗；
- max_new_tokens 控制输出长度，防止无限生成导致性能瓶颈；
- 温度值设置为 0.7 是经验性选择，在创造性和稳定性之间取得平衡。

当然，LLM 并非完美无缺。最令人头疼的问题之一就是“幻觉”——即模型可能自信地编造虚假信息。为此，RAG 架构提供了一种天然的缓解机制：所有回答都必须基于检索到的真实文档片段。即便模型试图“自由发挥”，也会因缺乏上下文支撑而难以生成脱离事实的内容。此外，返回源文档路径也让使用者可以快速验证答案可信度。

再来看看另一个核心环节：向量数据库的构建与优化。

很多人误以为只要把文档丢进去就能自动变聪明，但实际上，前期的数据预处理决定了系统的上限。一份扫描版 PDF 如果含有大量噪声、页眉页脚或错乱表格，直接分块会导致语义断裂。因此，合理的文本清洗和分片策略尤为关键。

Langchain 提供了 RecursiveCharacterTextSplitter，它会按照预设的分隔符优先级进行切分，尽可能保持句子完整性。例如：

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n", "\n", "。", "！", "？", "；", " ", ""]
)

texts = text_splitter.split_documents(documents)

在这个配置中，系统首先尝试按段落分割（\n\n），其次是换行、句号等标点。重叠部分（overlap）的存在是为了避免关键信息被截断，比如某个政策条款恰好跨两个块时，仍能保证至少在一个块中完整出现。

至于向量存储引擎的选择，则需根据规模和性能需求权衡。小团队可选用轻量级的 Chroma，单文件即可运行；中大型系统推荐 Milvus 或 Weaviate，支持分布式部署和高并发查询。以下是以 Chroma 构建持久化数据库的示例：

from langchain.vectorstores import Chroma

vectordb = Chroma.from_documents(
    documents=texts,
    embedding=embeddings,
    persist_directory="./chroma_db"
)
vectordb.persist()  # 确保数据落地

创建完成后，该数据库可反复加载使用，无需每次重建索引，极大提升了运维效率。

整个系统的典型架构如下所示：

+------------------+       +--------------------+
|   用户界面       |<----->|   后端服务          |
| (Web/API/CLI)    | HTTP  | (FastAPI + LangChain)|
+------------------+       +----------+---------+
                                       |
                  +-------------------v------------------+
                  |     本地大语言模型 (LLM)               |
                  | (e.g., ChatGLM3-6B-INT4 on GPU)        |
                  +----------------------------------------+
                                       ^
                                       |
                  +-------------------v------------------+
                  |     向量数据库                         |
                  | (Chroma/Milvus + Embedding Model)      |
                  +----------------------------------------+
                                       ^
                                       |
                  +-------------------v------------------+
                  |     私有文档知识源                     |
                  | (PDF/TXT/DOCX -> Text -> Chunks)       |
                  +----------------------------------------+

所有组件均运行于本地环境，通过 Docker 容器化部署后，甚至可以在一台高性能工作站上完成全套服务的搭建。Dockerfile 示例简化如下：

FROM python:3.10-slim

WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

COPY . .

EXPOSE 8000
CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8000"]

配合 docker-compose.yml 统一管理 LLM 服务、向量库和前端应用，真正实现“一键启动”。

在实际落地过程中，还有一些工程层面的最佳实践值得关注：
- 中文嵌入模型优先选型 BGE-ZH 或 M3E，它们在中文语义匹配任务中显著优于通用英文模型；
- chunk_size 不宜过大或过小，建议控制在 256~512 token 范围内，视文档类型微调；
- 定期更新知识库，新增制度发布后应及时重新索引，保持知识新鲜度；
- 监控检索命中率，若多数查询返回空结果，可能需调整相似度阈值或优化分词逻辑；
- 启用日志记录与反馈机制，收集低满意度问题用于后续迭代优化。

这套系统带来的价值远不止节省人力成本。更重要的是，它帮助企业实现了知识资产的结构化沉淀。过去散落在各个角落的经验、流程、规范，现在变成了可检索、可复用的数字资产。新人培训周期缩短，重复咨询下降，组织记忆不再依赖个别员工留存。

未来，随着小型化模型（如 Phi-3、TinyLlama）和专用 NPU 芯片的发展，这类系统有望进一步下沉至笔记本电脑甚至移动端，真正实现“每个人的私人知识助理”。而在当下，Langchain-Chatchat 已经为我们打开了一扇门：无需牺牲安全，也能拥抱 AI 浪潮。

这种高度集成的设计思路，正引领着企业智能化迈向更可靠、更高效的未来。