目录

RAG 系统评估指南：从入门到实战

为什么要评估 RAG 系统

核心评估方法

评估输入及指标

检索评估指标

响应评估指标

常用 RAG 评估工具

1. RAGas

2. TruLens

总结

---

RAG 系统评估指南：从入门到实战

随着信息检索和问答系统的发展，RAG（检索增强生成，Retrieval-Augmented Generation） 已成为很多知识问答应用的核心技术。但上线后常常会遇到一个问题：“系统表现到底怎么样？”

---

为什么要评估 RAG 系统

1. 输出的不确定性
   即便是表现良好的生成系统，也可能给出不准确或偏离主题的内容。评估可以量化这种不确定性。

2. 持续优化的需求
   系统上线后会不断迭代，评估帮助快速、科学地衡量改进效果。

3. 知识库动态更新
   RAG 系统依赖的知识库会不断变化，新知识可能影响旧有答案，需要评估保证稳定性。

4. 底层模型选择
   不同模型在生成质量和检索匹配上差异明显，评估可以指导选择。

---

核心评估方法

RAG 系统主要由两大部分构成：

• 检索器（Retriever）：负责从知识库中找到最相关的文档。

• 生成器（Generator）：根据检索到的文档生成最终答案。

从目标来看，评估主要有两个角度：

1. 检索评估：关注上下文相关性、精度、召回率

2. 响应评估：关注生成答案的准确性与相关性

---

评估输入及指标

评估时，一般需要以下信息：

• 输入问题（question）：用户提问

• 生成答案（answer）：系统输出的回答

• 上下文（context）：检索返回的文档

• 参考答案（reference_answer）：人工标注的正确答案

检索评估指标

指标	含义	公式/说明
上下文相关性（Context Relevancy）	检索文档与问题匹配程度	文档中与问题相关内容比例
上下文精度（Context Precision）	检索内容中有多少是真正有用的信息	相关信息数量 / 上下文总信息量
上下文召回率（Context Recall）	检索内容是否覆盖问题所需关键信息	检索到的关键信息数量 / 参考答案关键信息数量

响应评估指标

指标	含义
忠实度（Faithfulness）	系统生成答案是否能从检索上下文推导出来
答案相关性（Answer Relevancy）	答案是否完整、精准地回答了问题

---

常用 RAG 评估工具

1. RAGas

• 支持 LangChain 和 LlamaIndex

• 评估检索质量：context_precision、context_recall

• 评估生成质量：faithfulness、answer_relevancy

2. TruLens

• 独立工具，可与现有开发框架集成

• 支持程序化反馈，快速量化效果

• 可分析相关性、适用性及潜在问题

---

总结

RAG 系统评估不仅是技术手段，更是产品质量保障的关键。通过合理的评估策略，我们可以：

• 量化检索和生成效果

• 快速定位系统瓶颈

• 为知识库和模型选择提供依据