1. 项目概述：为什么我们需要一个专门的政策文本评估基准？

如果你最近关注过大语言模型（LLM）的评测，会发现榜单上充斥着MMLU、GPQA这类通用知识问答，或是数学、代码等专项测试。这些基准固然重要，但它们很少触及一个关键领域：政策文本理解。政策文件，无论是中国的“十四五”规划纲要，还是美国的《基础设施投资和就业法案》，都是一种高度结构化、充满法律术语、蕴含复杂制度逻辑和利益博弈的特殊文本。模型能背出“碳中和”的定义，但它能理解“3060目标”背后产业转型、能源安全与国际博弈的多重考量吗？它能从一份《数据安全管理办法》中，准确识别出监管机构、平台企业、个人用户三方的权责边界吗？

这正是我们构建PolicyBench的出发点。在实验室里跑分很高的模型，一旦面对真实世界中的政策文件，表现往往大打折扣。常见的错误包括：混淆语义相近的法律术语（比如“监督”和“监管”）、误解政策背后的意识形态导向、无法进行基于条款的简单计算，更别提在复杂场景下进行合规性推演了。这些不足，在通用基准上是看不见的。PolicyBench的目标，就是把这层“皇帝的新衣”揭下来，为社区提供一个能真实、细致评估模型政策理解能力的“显微镜”和“压力测试场”。

这个基准的核心价值在于其 系统性 和 真实性 。它不仅仅是一堆问答题，而是构建了一个从数据源头（中美官方政策文件）到任务设计（三级认知体系）的完整评估框架。无论你是大模型的研究者，希望提升模型在专业领域的表现；还是政策分析、法律科技领域的从业者，想寻找靠谱的AI工具辅助工作；甚至是关注AI治理与合规的决策者，PolicyBench都能提供一个量化的、可解释的评估视角。接下来，我将带你深入这个项目的内部，拆解我们从数据收集、任务设计到模型评估的全流程，并分享其中踩过的坑和总结出的实战经验。

2. 数据基石：如何构建一个高质量、无噪声的政策文本语料库？

构建任何评估基准，数据质量是生命线。对于政策文本而言，挑战尤为突出：来源分散、格式不一、充斥着大量非实质性的公告和冗余信息。我们的目标是构建一个干净、有代表性、能支撑深度理解任务的数据集。这个过程，远比简单地用爬虫抓取网页要复杂得多。

2.1 混合式数据采集：在“官网迷宫”中精准导航

我们的数据采集时间跨度从2015年1月到2025年3月，核心语料包括721份中国政策文件和603份美国政策文件。采集策略上，我们放弃了追求全自动化的幻想，采用了 “人工主导、脚本辅助”的混合模式 。

为什么以人工为主？ 政府网站的结构往往复杂且不统一，充满了动态加载、反爬机制、以及复杂的导航和会话系统。更重要的是，一份政策的核心正文与其附件（如解读、图解、配套清单）通常是分离的链接。标准爬虫很难理解这种语义关联，容易只抓到主文件而遗漏关键附件。例如，一份《关于促进平台经济规范健康发展的指导意见》，其价值一半在正文，另一半可能在随附的《重点任务分工方案》和《专家解读》里。我们的研究员需要像真正的政策查阅者一样，手动浏览、定位并打包下载这些关联文件，确保数据集的完整性。

自动化脚本用在何处？ 对于少数结构极其规整的源，比如某些政府网站的“新闻发布”或“政策汇编”专栏，页面列表清晰、链接规则，我们使用Python的Selenium库编写了定向抓取脚本。它的作用主要是批量下载，节省人力，但下载后的初步筛选和关联工作仍需人工介入。这里的一个关键技巧是： 自动化脚本只负责“搬运”，不负责“判断” 。所有关于文件是否有效、是否相关的决策，都留给后续的、标准化的过滤流水线。

实操心得：数据源的权威性与平衡性 在选择数据源时，我们严格限定于中美两国中央/联邦政府及其主要部委的官方网站（部分来源见后文表格）。这保证了政策的权威性和代表性。同时，我们有意涵盖了经济、环境、社会、科技、外交等多个政策领域（如图6所示），避免基准偏向某一特定议题，确保评估的广度。

2.2 三级过滤流水线：从海量数据到精炼语料

原始抓取的数据是粗糙的矿石，我们的过滤流水线就是一套精炼工艺，旨在剔除所有杂质，只留下最有价值的“政策文本实体”。这个流水线是顺序执行的，每一步都卡得很死。

第一阶段：去重（Duplicate Removal） 政策文件常有多个版本（草案、征求意见稿、正式版）或在不同平台重复发布。我们的去重不是简单的文件名比对，而是 基于内容的语义去重 。

1. 标题初筛 ：首先用模糊匹配算法（如Levenshtein距离）识别标题高度相似的文件。
2. 内容核验 ：对标题相似的文件，用TF-IDF或更现代的嵌入模型（如BGE）计算文本向量相似度。我们设定了一个较高的阈值（例如，余弦相似度>0.95）。超过阈值，则判定为重复。
3. 保留策略 ：保留其中发布最晚、格式最完整（如包含所有附件）的版本。这一步自动处理了政策文件的更新问题。

第二阶段：实质性内容过滤（Substantive Content Filtering） 这是最关键的一步，目的是剔除那些“看起来像政策但不是政策”的文件。我们定义了一套明确的排除规则，任何文件触达以下任一条件即被过滤：

• 纯行政性文件 ：例如“XX部关于召开XX会议的通知”、“XX领导职务任免公示”、“国庆节放假安排”。这类文件不包含可被“理解”的政策实质内容。
• 目录或封面页 ：只有标题和章节名，没有具体条款内容的文件。
• 标题关键词黑名单 ：我们维护了一个包含“通知”、“公示”、“议程”、“摘要”、“简报”等词汇的黑名单。如果文档标题主要由这些词构成，则直接排除。这一步用简单的规则过滤掉了大量噪音，效率极高。

第三阶段：时效性与相关性过滤（Temporal and Relevancy Filtering） 为了保证基准的现代意义，我们设定了时效性门槛：

• 明确废止 ：如果文件正文或官方索引中明确声明已被新文件取代，则剔除旧版。
• 年代 cutoff ：我们设定2000年为一个历史分界线，剔除在此之前颁布的政策。这是因为2000年后的政策语言、治理框架和数字技术环境与当代更具可比性。当然，对于研究历史政策学的模型，这个 cutoff 可以调整，但作为通用评估基准，我们聚焦于当代政策语境。

经过这三层过滤，我们最终得到了一个“高纯度”的政策文本集合。这个过程淘汰了超过60%的原始数据，但换来了评估信度的根本保障。

表：中美政策数据主要来源示例

语言/内容类型	主要采集网站/平台
美国 - 官方政策	transportation.gov, hhs.gov, va.gov, commerce.gov, usda.gov, energy.gov, doi.gov, ed.gov, treasury.gov, state.gov, dhs.gov, hud.gov
美国 - 补充材料	cnn.com, foxnews.com, reuters.com (用于获取政策背景、舆论报道)
中国 - 官方政策	gov.cn/zhengce/zhengcewenjianku/ (中国政府网政策文件库)
中国 - 补充材料	xuexi.cn, people.com.cn (用于获取官方解读、新闻报道)

3. 任务设计哲学：从记忆到应用的三级认知阶梯

有了高质量的数据，下一步是如何设计评估任务。我们受教育学中“布鲁姆分类法”的启发，但将其具体化到政策文本理解这一特定领域，构建了三个逐级递进的认知层级：记忆（Memorization）、理解（Understanding）、应用（Application）。这三级不是随意划分的，它们对应着政策分析工作中实际需要的三种核心能力。

3.1 Level-1：事实记忆——模型的“政策记忆力”测试

Level-1 评估模型最基础的能力：对政策文本中白纸黑字写明的事实信息的记忆与提取。这听起来简单，但在政策语境下别有挑战。

任务形式与生成方法 ： 我们主要采用 完形填空（Cloze）和判断题（True/False） 。例如：

• 完形填空：“根据《XX条例》，企业年度碳排放配额需在每年 【6月30日】 前完成清缴。”（要求填入日期）
• 判断题：“《YY办法》规定，个人数据出境必须事先获得国家网信部门批准。”（判断对错）

这些题目不是人工编写的，而是 利用大语言模型自动从政策原文中生成 。具体流程如下：

1. 实体识别与掩码 ：我们使用模型（如GPT-4）扫描政策句子，自动识别出关键事实实体，如日期、金额、机构名称、法律条款编号、特定术语定义等，并将其掩码（[MASK]）。
2. 转化为选择题 ：将掩码后的句子作为题干，正确答案就是被掩码的原文内容。然后，需要生成具有迷惑性的干扰项。
3. 多模型生成干扰项 ：这是保证题目质量的关键。我们不会只用一个模型（比如只用GPT-4）来生成所有干扰项，因为单个模型可能有其固有的偏见和模式。我们的做法是，将题干同时发给多个不同的模型（例如Claude、Gemini、Qwen），让它们各自独立生成几个错误的选项。然后，我们从这些选项中挑选出 语义上最接近正确答案、但细节上有误 的选项。例如，正确答案是“市场监督管理局”，干扰项可以是“国家市场监管总局”、“工商行政管理局”或“商务部”。这种方法能有效避免题目过于简单，更能测试模型对细微差别的辨别力。

踩坑记录：干扰项的质量控制 最初我们尝试用规则（如同义词替换）或单模型生成干扰项，结果要么太生硬，要么模式单一。采用多模型并行生成后，干扰项的“迷惑性”和多样性显著提升。但随之而来的问题是，有时模型会生成完全不合逻辑或脱离语境的选项。因此，我们增加了一道人工抽样审核工序，确保所有干扰项在政策语境下是“合理的错误”。

3.2 Level-2：深层理解——透视政策的“思想、利益与制度”

Level-1 考的是“是什么”，Level-2 则要考“为什么”和“谁”。政策文本的精髓往往不在具体条文，而在其背后的价值取向、利益分配和制度设计。为此，我们引入了政策研究中的经典 “3I框架” （Ideas, Interests, Institutions）作为我们题目设计的理论基石。

• Ideas（理念） ：政策背后的指导思想、价值观和意识形态。例如，一项产业政策是更强调“市场主导”还是“政府引导”？一项环保政策体现了“绿色发展”还是“增长优先”的理念？
• Interests（利益） ：政策影响或涉及哪些利益相关者（Stakeholders）？他们的权力、资源和诉求如何？例如，一项数据法规，涉及个人用户、平台企业、监管机构三方，各自的权责利如何界定？
• Institutions（制度） ：政策通过什么样的规则、组织和程序来实施？例如，审批流程、监管机构、争端解决机制等。

题目生成流程 ：

1. 3I框架标注 ：专家（我们的博士研究员）会精读政策文本，从3I维度进行标注。例如，在一份《金融租赁公司管理办法》中，标注出“服务实体经济”（Ideas）、“缓解中小企业融资难”（Interests: 中小企业）、“银保监会负责监管”（Institutions: 监管机构）等关键点。
2. 基于标注生成问题 ：利用LLM，基于这些标注点生成理解性问题。例如：“该办法强调金融租赁服务实体经济，这主要体现了哪一种政策理念？（A. 风险防控 B. 金融创新 C. 供给侧结构性改革 D. 脱虚向实）”
3. 转化为选择题 ：同样，采用多模型生成干扰项，确保选项都围绕同一主题，但只有一项最精准地对应3I框架下的深层逻辑。

这个层级的问题，模型很容易“想当然”。例如，看到“金融租赁”就联想到“金融创新”，但实际上该政策文本通篇强调的是“回归本源、服务实体”（即“脱虚向实”）。这要求模型必须紧扣文本细节，理解上下文中的价值排序。

3.3 Level-3：实际应用——在复杂场景中做决策

Level-3 是最高阶的挑战，模拟政策分析师或执行者面临的真实情境：给你一个具体的、可能未在原文中明确提及的场景，要求你运用政策精神进行推理、计算或决策。

场景与题目来源 ： 这些题目无法完全自动生成，必须 深度融合领域知识 。我们的做法是：

1. 构建真实场景 ：我们收集政策的补充材料（官方解读、媒体报道、案例研究），基于这些材料构思出贴近现实的微型案例。例如，根据一份《土地出让收入用于乡村振兴的意见》，设计一个场景：“某市2023年土地出让收入1000亿元，收益200亿元。若该市选择按收入计提资金，且当年要求达到8%的比例，请问至少需计提多少资金用于农业农村？”
2. 专家手工命题 ：这类需要数值计算、多步骤推理或价值权衡的题目，由公共政策、法律专业的博士研究员手动编写。他们确保场景合理、解题所需信息均隐含或明确存在于政策文本中。
3. 多样化题型 ：包括 政策计算 （如上例）、 场景决策 （“根据《志愿者管理办法》，志愿者拒绝签署信息授权书，应如何处理？”）、 流程执行 （“企业与国家技术创新中心合作，需遵循哪些制度原则？”）以及 政策逻辑阐述 （开放问答题）。

Level-3 题目直接暴露了当前LLM的软肋： 数值推理能力弱、对程序性条款执行顺序把握不准、容易进行无依据的泛化（幻觉） 。例如，在志愿者拒绝签署文件的案例中，政策明确规定应启动“纪律处分程序”，而许多模型直接跳到了“立即终止”，忽略了程序正义的中间步骤。

4. 评估实施与模型表现深度分析

我们利用构建好的PolicyBench，对当前一系列前沿的大语言模型进行了系统性评估，包括闭源的GPT-4o、Claude-3.7-Sonnet、Gemini系列，以及开源的QwQ-32B、DeepSeek-V3、LLaMA-3等。评估结果揭示了一些通用基准难以发现的、有趣的模式。

4.1 整体表现：理解与应用是普遍短板

一个清晰的趋势是：所有模型在Level-1（记忆）任务上的表现都显著优于Level-2（理解）和Level-3（应用）。平均来看，顶级闭源模型在记忆任务上的准确率可以超过85%，但在理解任务上会降至70%左右，在应用任务上可能只有60%甚至更低。这表明， 记住政策条文相对容易，但读懂字里行间的“潜台词”并在新情境中正确运用，对现有模型而言仍是巨大挑战 。

开源模型与闭源模型的差距在Level-2和Level-3被进一步拉大。闭源模型凭借更强的推理能力和指令遵循能力，在理解政策意图和进行简单推理时表现更稳定。而许多开源模型则更容易在干扰项上“翻车”，或给出脱离文本的臆测性答案。

4.2 典型错误模式拆解

我们对大量错误案例进行了定性分析，总结出以下几个高频错误模式：

1. 语义混淆与“想当然”错误（多见于Level-1/2） 政策语言中充满了近义词，但法律效力或行政含义可能天差地别。例如，模型经常混淆“ 监督 ”和“ 监管 ”。在行政语境中，“监督”更泛化，可能包括社会监督、舆论监督；而“监管”特指政府监管机构的行政管理行为，带有强制力。模型如果没有深入理解文本上下文（比如主语是“社会公众”还是“主管部门”），很容易选错。同样，在理解“供给侧结构性改革”和“一带一路”倡议时，模型如果只依赖训练数据中的词频关联（“改革”更常出现），就可能忽略文本中明确将金融租赁与“一带一路”进行绑定的表述，从而错误判断政策的核心意识形态导向。

2. 数值与程序推理失败（多见于Level-3） 这是当前LLM的结构性弱点。面对“土地出让收入1000亿，按8%计提，求金额”这样的简单计算，部分模型会给出完全错误的答案，或者试图进行不必要的复杂推理。更严重的是 程序性推理 错误。例如，在关于志愿者拒绝签署文件的案例中，政策手册明确规定了“拒绝签署→面临纪律处分（可能包括解职）”的流程。但许多模型直接输出“立即解职”，跳过了“纪律处分程序”这一关键环节。这反映出模型对制度文本中“程序优先”原则缺乏理解，习惯于给出一个看似合理的直接结果。

3. 幻觉与过度泛化（多见于Level-3开放题） 当被问及“根据政策，双方合作需遵循哪些原则”时，模型倾向于生成一套放之四海而皆准的“正确废话”，如“创新导向、公平合作、知识产权保护、安全合规、透明公开”。虽然这些原则本身没错，但问题要求的是 提取该特定政策文本中明确提及的原则 。例如，在某份《国家合成生物技术创新中心建设函》中，明确的原则是“理事会领导下的主任负责制”、“构建利益共享、风险共担的创新共同体”等。模型给出的泛化答案，看似全面，实则未能忠实于原文，这是检索增强生成（RAG）技术可以重点发力的地方。

4.3 引入专家基线：天花板在哪里？

为了确定PolicyBench的难度上限，我们进行了一项关键实验： 邀请四位公共政策、社会学领域的专家（博士候选人和教授），在开卷（允许查阅政策原文）的条件下回答Level-2和Level-3的问题 。

结果非常有说服力：人类专家在Level-2和Level-3任务上的表现远超市面上最好的大模型，平均准确率高出20-30个百分点。这清晰地表明：

1. PolicyBench的题目是有效的 ，它确实测量了政策理解所需的深层认知能力，而不仅仅是记忆。
2. 当前的大语言模型在政策深度理解上，距离人类专家水平还有很长的路要走 。模型的表现瓶颈不在于信息检索，而在于深度的逻辑分析、价值权衡和场景化推理。

这个“人类天花板”的设立，为模型研发提供了一个明确的追赶目标。

5. 面向未来的探索：PolicyMoE与领域自适应微调

评估是为了改进。基于PolicyBench揭示的模型短板，我们探索了一种针对性的模型优化方案： PolicyMoE（Policy Mixture of Experts） ，即政策专家混合模型。其核心思想是，政策理解的不同认知层级可能需要不同的“专家”来处理。

5.1 PolicyMoE架构设计

我们没有从头训练一个模型，而是采用 高效微调 的方式，在一個较强的基座模型（我们选用的是Qwen2.5-7B-Instruct）上构建MoE架构。

1. 专家划分 ：我们定义了三个专家，分别对应PolicyBench的三个层级：
   • 记忆专家 ：专注于事实抽取、实体识别、术语匹配。
   • 理解专家 ：专注于分析文本的3I框架（理念、利益、制度），进行因果和逻辑推理。
   • 应用专家 ：专注于数值计算、程序推演和场景化决策。
2. 训练数据 ：使用PolicyBench中不同层级的题目及其对应的政策原文片段，作为训练各自专家的数据。
3. 高效微调 ：每个专家模块使用 LoRA（Low-Rank Adaptation） 进行微调，这是一种参数高效的微调方法，只更新模型中的一小部分参数（我们针对注意力层的投影矩阵进行适配，秩r=16）。这样既能让专家学到领域知识，又避免了过拟合和灾难性遗忘。
4. 路由器（Router）训练 ：我们训练了一个轻量级的二层MLP作为路由器。它的任务是，对于任何一个输入的政策问题，判断它属于哪个认知层级（记忆、理解、应用），然后将问题路由给最擅长的那个专家来处理。路由器在专家微调完成后，用标注了任务层级的数据进行单独训练。

5.2 初步结果与启示

实验表明，PolicyMoE在PolicyBench上的综合表现优于同等参数规模下进行全域微调（对所有任务一起微调）的基线模型。特别是在其“专业对口”的任务上（例如，应用专家处理计算题），提升更为明显。

这给我们带来的启示是： 对于政策文本理解这类复杂的、分层级的任务，采用“分而治之”的专家化思路可能是有效的 。一个“全才”模型或许难以在所有层面都做到极致，但一组分工明确的“专家”团队可以通过协作达到更好的效果。这为未来开发专业领域的政策分析AI工具提供了可行的技术路径。

技术细节与避坑指南 ：

• 专家数据隔离 ：训练记忆专家时，只使用Level-1的数据，避免理解类信息“污染”其事实检索的纯粹性。
• 路由器设计 ：路由器不宜过于复杂。我们尝试过更深的网络，但容易过拟合。一个简单的MLP配合GELU激活函数和LayerNorm，在区分三个层级的任务上已经足够。
• 序列长度 ：处理政策文本需要长上下文。我们将专家训练的最大序列长度设为2048个词元，以确保能容纳较长的政策原文片段。路由器训练则使用512词元，因为其输入通常是问题本身，长度较短。

6. 总结与展望：PolicyBench的价值与挑战

构建和运行PolicyBench的整个过程，是一次将政策科学需求与AI评估技术深度结合的实践。这个基准的价值已经超出了单纯的“跑分”范畴。

首先，它提供了一个诊断工具 。就像医院的CT机能看到骨骼和内脏，PolicyBench能让研发者清晰地看到自己的模型在政策理解这个“器官”上，哪里是健康的（记忆），哪里存在病灶（理解模糊、应用幻觉）。这种细粒度的诊断，是指引模型改进最宝贵的反馈。

其次，它定义了一个能力标准 。在AI for Social Science（AI4SS）和政策智能领域，我们需要明确：一个合格的、能辅助人类工作的政策AI，应该具备哪些最基本的能力？PolicyBench提出的三级认知体系，就是一个初步的、可量化的答案。它推动整个领域从“模型能聊政策话题”的模糊印象，走向“模型能准确完成特定政策分析任务”的精确要求。

当然，挑战依然存在 。PolicyBench目前只涵盖了中英双语和两国政策，未来需要扩展到更多法律体系和文化语境。Level-3的应用任务虽然已经贴近现实，但距离真正的、多文档交叉引用、长链条的政策分析和撰写还有差距。此外，如何将基准评估与模型的持续学习、人类反馈强化学习（RLHF）结合起来，让模型不仅能被评估，还能利用评估结果进行自我提升，是下一个值得探索的方向。

从我个人的实践来看，最大的体会是： 让领域专家深度参与到AI评估的每一个环节——从数据筛选、任务设计到结果分析——是项目成功的关键 。没有政策学者的深度介入，我们设计出的题目很可能流于表面，无法触及政策文本真正的复杂性和精髓。AI与人文社科的交叉，不是简单的工具应用，而是需要从问题定义阶段就开始的深度融合。PolicyBench只是这个漫长征程中的一步，但它迈出的方向，我相信是正确的。