【AI Agent面试题】检索 rerank 为什么重要，怎么做？

从"向量召回不够准"讲到召回 + 精排两阶段 · 面向做 RAG 的开发者

做 RAG 时经常遇到这样的怪事：把 top-k 从 5 调到 20，答案反而更差了。检查召回，正确的那段其实在里面，但排在第 12 位，被前面一堆"看起来相关、实际没用"的片段淹没了。面试里这道题常被问：既然向量检索已经能召回，为什么还要 rerank？它到底解决什么、又是怎么做的？核心答案就一句：用"召回 + 精排"两阶段，把粗筛的量和精排的准分开做。

为什么单靠向量召回不够

向量检索（dense retrieval）的做法是：离线把每段文档用 embedding 模型压成一个固定长度的向量存进向量库；在线时把 query 也编码成向量，用近似最近邻（ANN）搜相似的片段。它最大的优点是快——百万级文档也能毫秒级返回。但快的代价是"糊"：

• query 和文档是分开编码的

：这叫 bi-encoder（双塔），两边各自压成向量后只做一次点积/余弦。文档在入库时并不知道将来会被什么 query 检索，只能编码成一个"平均意义上都还行"的向量。

• 一个向量装不下全部语义

：一段几百字的文档被压成 768 维，细粒度匹配信号（某个关键实体、某种否定关系）在压缩中被抹平。

• 相似 ≠ 相关

：向量相似度衡量的是"整体语义接近"，但"接近"的片段未必真能回答问题。近义词、同话题但答非所问的段落，分数经常虚高。

结果就是：向量召回擅长"把可能相关的都捞上来"（高召回），却不擅长"把最该在前面的排到前面"（精度有限）。真正有用的那一两段，常常排在中游。

解法：召回 + 精排两阶段

rerank 的核心思想是分工——不追求一个模型既快又准，而是拆成两级流水线：

1. 召回（retrieve / 粗排）

：用便宜的向量检索（或再叠加 BM25 关键词检索）从海量文档里快速捞出一批候选，比如 top-50 或 top-100。这一步只求"别漏"，宽进。
2. 精排（rerank）

：用一个更强但更慢的模型，对这几十个候选逐一和 query 做精细打分，重新排序，取最终 top-3 或 top-5 喂给大模型。这一步只求"排准"，严出。

为什么要分两步而不是直接用精排模型扫全库？因为精排模型太贵，扫百万文档根本跑不动。让向量检索把候选从百万砍到几十，精排就只需处理几十条——又快又准，各取所长。

# 两阶段检索的典型流程
candidates = vector_search(query, top_k=50)      # 阶段一：粗召回，宽进
scored = cross_encoder.rank(query, candidates)   # 阶段二：精排打分
context = scored[:5]                              # 严出：只留最相关的几条

精排怎么做：cross-encoder 是关键

精排能"更准"，靠的不是更大的向量，而是换了一种模型结构——cross-encoder（交叉编码器）。

它和召回用的 bi-encoder 最本质的区别在于：把 query 和候选文档拼在一起，一次性送进模型，让两者从第一层就开始做逐词的交叉注意力（cross-attention），最后直接输出一个相关性分数。

# bi-encoder（召回）：两边分开编码，事后算相似度
score = cos( encode(query), encode(doc) )

# cross-encoder（精排）：拼在一起送进模型，直接出分
score = model( "[CLS] " + query + " [SEP] " + doc )

因为 query 的每个词都能直接"看到"文档的每个词，cross-encoder 能捕捉 bi-encoder 丢掉的细粒度信号：否定、限定条件、实体是否精确对上、问题和答案的逻辑对应。这也是它更准的根本原因。

但代价同样明确：它无法预先离线编码——每来一个 query，都得把它和每个候选现算一遍，没法像向量那样建索引。所以 cross-encoder 只能用在"已经被砍到几十条"的候选上，绝不能扫全库。这恰好和两阶段架构互补：bi-encoder 负责规模，cross-encoder 负责精度。

维度	召回 · Bi-encoder（双塔）	精排 · Cross-encoder（交叉）
输入方式	query 与 doc 分开编码	query 与 doc 拼接后一起送入
能否离线建索引	能，文档向量可预存	不能，每次 query 现算
速度	快，百万级毫秒返回	慢，只能处理几十条候选
精度	有限，细粒度信号被压平	高，逐词交叉注意力
定位	第一阶段，宽进保召回	第二阶段，严出保精度

落地时的实用要点

• 召回宽度要够

：精排只能重排它拿到的候选，召回漏了就补不回来。top-k 召回建议给到 50~100，用 rerank 后再收窄到 3~5。宁可粗召回多捞，也别在第一步就漏掉答案。

• 混合召回更稳

：向量检索 + BM25 关键词检索并联（hybrid），能同时覆盖"语义相近"和"字面命中"两类情况，再统一交给 rerank，比单路召回鲁棒得多。

• rerank 是延迟大头

：cross-encoder 一次要跑几十次前向，是整条链路里最慢的一环。可以选轻量 rerank 模型、控制候选数量，或用现成的 rerank API（如 Cohere Rerank、BGE-reranker、Jina Reranker）平衡效果与延迟。

• 别把 rerank 当万能药

：它只能在召回结果里排序。如果召回本身质量差、正确片段根本没进候选，rerank 也无能为力——问题得回到切分策略、embedding 模型和召回宽度上解决。

一句判断：如果你发现"答案其实召回到了，但排在中游被噪声挤下去"，那正是 rerank 的用武之地；如果"答案压根没被召回"，那要修的是召回，不是精排。

一句话总结

向量召回快但糊，bi-encoder 分开编码只能保召回、保不了精度；rerank 用召回 + 精排两阶段破局——先用向量检索宽进捞出几十个候选，再用 cross-encoder 把 query 和文档拼在一起逐词精算重排，取最准的几条。规模交给召回，精度交给精排，各司其职，这就是 rerank 重要且好用的原因。

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型实战项目&项目源码👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

为什么分享这些资料?

只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】![
这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】