Nanbeige4.1-3B开源生态整合：对接LangChain、LlamaIndex与RAG检索增强

又可乐

818人浏览 · 2026-03-12 01:12:34

又可乐 · 2026-03-12 01:12:34 发布

Nanbeige4.1-3B开源生态整合：对接LangChain、LlamaIndex与RAG检索增强

你刚刚用vLLM部署好了Nanbeige4.1-3B，也通过Chainlit的界面和它聊了几句，感觉这个3B参数的小模型还挺聪明。但你可能在想，除了简单的问答，它还能做什么？比如，能不能让它读我自己的文档，然后基于文档内容来回答问题？或者，能不能把它集成到我现有的应用里，让它成为一个更智能的助手？

答案是肯定的。今天，我们就来聊聊如何让Nanbeige4.1-3B这个小巧但强大的模型，真正融入现代AI应用的开源生态。我们将重点探索如何将它无缝对接两大流行的AI应用框架——LangChain和LlamaIndex，并在此基础上实现RAG（检索增强生成）能力，让它从“一个聪明的聊天伙伴”升级为“一个懂你知识的专业顾问”。

1. 为什么需要生态整合？从单机模型到智能应用

在深入技术细节之前，我们先搞清楚一个问题：为什么费劲去整合这些框架？直接用HTTP API调用模型不行吗？

当然可以，但那就像你有一台高性能发动机，却只用来驱动一辆手推车。LangChain和LlamaIndex这类框架，提供的是构建复杂AI应用所需的“底盘”、“传动系统”和“控制系统”。

LangChain：像一个乐高工具箱。它提供了大量标准化、可复用的“组件”（如模型调用、提示词模板、记忆管理、工具调用链）。你可以用这些组件快速搭建出各种复杂的AI工作流，比如一个能联网搜索、查数据库、然后生成报告的智能体。
LlamaIndex：专注于数据与AI的桥梁。它擅长将你的私有数据（文档、数据库、API）进行索引、处理，并高效地提供给大模型使用。它是实现RAG的利器，核心解决“如何让模型理解并使用它没学过的知识”。
RAG（检索增强生成）：这是当前让大模型落地应用的关键技术。简单说，当用户提问时，系统先从你的知识库（比如公司文档、产品手册）中快速找到相关段落，然后把“问题+相关段落”一起交给模型来生成答案。这样生成的答案不仅更准确、更有依据，还能有效避免模型“胡编乱造”。

将Nanbeige4.1-3B与这些生态整合，意味着：

解锁复杂能力：轻松实现多步骤推理、工具调用、记忆对话等。
利用私有知识：让模型基于你的专属数据作答，实用性倍增。
提升开发效率：利用框架的抽象，避免重复造轮子，快速构建原型和生产应用。

接下来，我们分三步走，看看如何具体实现。

2. 基础连接：将Nanbeige4.1-3B接入LangChain

你的模型已经通过vLLM在本地（或服务器）跑起来了，并提供了类OpenAI的API接口。接入LangChain非常简单，因为LangChain原生支持OpenAI兼容的API。

首先，确保你安装了必要的Python包：

pip install langchain langchain-community

然后，你可以用以下代码创建一个连接到你的Nanbeige4.1-3B模型的LangChain ChatModel 实例：

from langchain_openai import ChatOpenAI
import os

# 假设你的vLLM服务运行在本地，端口为8000（这是vLLM的默认端口）
# 如果你的环境不同，请修改 base_url
model = ChatOpenAI(
    model="nanbeige-4.1-3b", # 这里可以任意填写，vLLM服务端不校验此名称
    openai_api_key="not-needed", # vLLM服务不需要真实的API Key，但需要提供一个非空值
    openai_api_base="http://localhost:8000/v1", # 指向你的vLLM服务地址
    temperature=0.1, # 控制生成随机性，值越低输出越确定
    max_tokens=512, # 控制生成的最大长度
)

# 现在，你可以像使用OpenAI模型一样使用它了
from langchain_core.messages import HumanMessage

messages = [HumanMessage(content="你好，请介绍一下你自己。")]
response = model.invoke(messages)
print(response.content)

这段代码的核心是 ChatOpenAI 类。虽然它名字里有“OpenAI”，但只要设置 openai_api_base 指向你的vLLM服务端点，它就能与任何提供兼容API的模型服务通信。

成功接入后，你就拥有了一个LangChain版的Nanbeige4.1-3B。 这意味着你可以立刻使用LangChain丰富的功能，比如：

提示词模板：标准化你的提问方式。
输出解析器：让模型的结构化输出自动转换成Python对象。
简单链（Chain）：将模型调用与其他步骤组合。

3. 知识赋能：基于LlamaIndex构建RAG系统

现在，我们让模型变得更“博学”。我们将使用LlamaIndex来加载你的本地文档，建立索引，并创建一个RAG查询引擎。这个引擎会在回答问题时，自动检索相关文档片段。

假设你有一些关于你公司产品的Markdown或PDF文档放在 ./data 目录下。

首先，安装LlamaIndex及相关依赖：

pip install llama-index llama-index-llms-langchain

llama-index-llms-langchain 这个包很重要，它允许我们在LlamaIndex中使用上一步创建的LangChain模型。

接下来，是构建RAG系统的核心代码：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.core.node_parser import SentenceSplitter
from llama_index.llms.langchain import LangChainLLM
from langchain_openai import ChatOpenAI
import os

# 1. 配置LLM (使用我们之前创建的LangChain模型)
langchain_llm = ChatOpenAI(
    model="nanbeige-4.1-3b",
    openai_api_key="not-needed",
    openai_api_base="http://localhost:8000/v1",
    temperature=0.1,
    max_tokens=512,
)
# 将LangChain的LLM包装成LlamaIndex可用的LLM
Settings.llm = LangChainLLM(llm=langchain_llm)

# 2. 配置文本分割器（将长文档切成适合模型处理的片段）
Settings.text_splitter = SentenceSplitter(chunk_size=512, chunk_overlap=50)

# 3. 加载文档
documents = SimpleDirectoryReader("./data").load_data()
print(f"已加载 {len(documents)} 篇文档")

# 4. 构建向量索引（这是实现快速检索的核心）
# 默认使用内存存储，生产环境可配置Chroma、Pinecone等向量数据库
index = VectorStoreIndex.from_documents(documents)

# 5. 创建查询引擎
query_engine = index.as_query_engine(similarity_top_k=3) # 检索最相关的3个片段

# 6. 进行查询
query = "我们产品的主要优势是什么？"
response = query_engine.query(query)
print(f"问题：{query}")
print(f"回答：{response.response}")
print("\n--- 引用的来源 ---")
for i, source_node in enumerate(response.source_nodes):
    print(f"[片段 {i+1}]: {source_node.text[:200]}...") # 打印前200个字符

这段代码完成了以下工作：

初始化：配置了LLM（Nanbeige4.1-3B）和文本处理方式。
加载与分割：读取你的文档，并将其智能地分割成小块（“节点”）。
索引：为这些文本块创建向量索引。简单理解，就是为每段话计算一个“数学指纹”，方便后续快速查找语义相似的段落。
查询：当你提问时，系统会先根据问题在索引中查找最相关的几个文本片段，然后将“问题+这些片段”一起送给Nanbeige4.1-3B，让它生成最终答案。

现在，你的模型回答将基于你提供的文档内容，而不仅仅是它的原始知识。 这对于构建客服机器人、知识库问答系统等场景至关重要。

4. 高级集成：在LangChain中调用RAG能力

LangChain和LlamaIndex并非互斥，我们可以强强联合。一种常见模式是在LangChain的智能体（Agent）或复杂链（Chain）中，将LlamaIndex构建的RAG查询引擎作为一个“工具”来调用。

这赋予了LangChain智能体访问私有知识的能力。下面是一个简化示例：

from langchain.agents import Tool, initialize_agent, AgentType
from langchain_openai import ChatOpenAI
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.llms.langchain import LangChainLLM

# 1. 创建LLM (同上)
llm_for_agent = ChatOpenAI(
    model="nanbeige-4.1-3b",
    openai_api_key="not-needed",
    openai_api_base="http://localhost:8000/v1",
    temperature=0.1,
    max_tokens=512,
)

# 2. 创建并封装一个RAG查询函数作为工具
def query_company_knowledge(question: str) -> str:
    """一个用于查询公司内部知识库的工具。输入是一个问题，输出是基于文档的答案。"""
    # 这里简化了索引加载过程，实际应用中索引应被持久化并复用
    from llama_index.core import Settings
    Settings.llm = LangChainLLM(llm=llm_for_agent)
    documents = SimpleDirectoryReader("./data").load_data()
    index = VectorStoreIndex.from_documents(documents)
    query_engine = index.as_query_engine()
    response = query_engine.query(question)
    return response.response

# 3. 将函数定义为LangChain可用的工具
tools = [
    Tool(
        name="CompanyKnowledgeBase",
        func=query_company_knowledge,
        description="当需要回答关于公司产品、政策或流程的具体问题时使用此工具。输入应是一个清晰的问题。"
    ),
]

# 4. 创建带有工具的智能体
agent = initialize_agent(
    tools,
    llm_for_agent,
    agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, # 使用一种经典的推理代理类型
    verbose=True, # 打印代理的思考过程，便于调试
    handle_parsing_errors=True,
)

# 5. 运行智能体
result = agent.run("根据公司知识库，我们的旗舰产品支持哪些操作系统？")
print(result)

在这个例子中，我们创建了一个名为 CompanyKnowledgeBase 的工具。当LangChain智能体判断用户的问题需要查询公司内部知识时，它就会自动调用这个工具。工具内部使用我们之前构建的LlamaIndex RAG系统来获取答案，然后智能体再综合所有信息给出最终回复。

这种模式非常强大，你可以继续添加其他工具，比如“计算器”、“搜索引擎API”、“数据库查询”，从而打造一个真正全能、且懂得利用私有知识的AI助手。

5. 总结

通过以上三步，我们完成了对Nanbeige4.1-3B模型的开源生态整合：

基础接入：利用LangChain的 ChatOpenAI 兼容层，我们轻松地将vLLM服务的Nanbeige4.1-3B模型变成了一个标准的LangChain LLM组件。
知识增强：通过LlamaIndex，我们为模型装上了“外部大脑”，使其能够基于我们提供的私有文档进行检索增强生成（RAG），回答更专业、更准确。
能力融合：我们将LlamaIndex构建的RAG系统封装成LangChain的工具，使得这个“知识专家”可以成为更复杂的AI智能体工作流的一部分。

这套组合拳的优势在于：