作者：Shibani Basava & Carlos Castro
排版：Alan Wang
深入了解 GitHub Copilot 智能体运行框架如何在多项基准测试中取得出色表现，并实现行业领先的 Token 使用效率，同时保持灵活性，让开发者能够在 20 多种模型之间自由选择。

虽然模型提供了底层智能，但真正决定这些智能能否高效发挥作用的，是智能体运行框架。GitHub Copilot 智能体运行框架是 GitHub Copilot SDK 的统一共享组件，为 GitHub Copilot CLI、GitHub Copilot App、Copilot Code Review，以及 GitHub 和微软生态中的众多 AI 开发体验提供支撑。对这一运行框架的任何改进，都将惠及所有基于它构建的产品和功能。

工具调用、上下文管理以及工作流编排均由这一运行框架统一协调。一个优秀的智能体运行框架应具备响应迅速、Token 使用高效且行为可预测等特性，而这正是 GitHub Copilot 智能体运行框架的设计目标。

本文将通过一系列数据，展示 GitHub Copilot 智能体运行框架在各类智能体软件工程任务中的性能表现与运行效率。

持续进行的优化

为了充分发挥每一个 Token 的价值，我们持续优化上下文管理和模型路由。此外，我们还分享了在任务委派方面的实验与优化成果，以及这些改进如何帮助开发者进一步提升开发效率。

我们如何借助基准测试持续迭代

我们持续结合公开基准测试和内部自研基准测试，对 GitHub Copilot 智能体运行框架的能力与效率进行评估。公开基准测试采用行业通用标准，而部分内部基准测试则基于 GitHub 和微软的大型代码库构建。此外，我们还结合真实世界指标和在线实验，不仅评估运行框架在受控环境下的表现，也验证其在实际智能体问题求解和任务完成中的效果。

为了公平比较 GitHub Copilot 智能体运行框架与模型厂商原生运行框架的性能，我们尽可能控制所有变量，包括：

• 使用相同的模型

• 使用相同的基准测试任务

• 统一上下文窗口

• 保持一致的推理强度

• 使用相同的工具选择

• 使用相同的 MCP Server 配置

下面展示的是我们持续跟踪的部分基准测试在四款主流模型上的最新结果，包括 Claude Sonnet 4.6、Claude Opus 4.7、GPT-5.4 和 GPT-5.5。

基准测试	测试领域	测试目的
SWE-bench Verified	来自开源 Python 仓库的 500 个经过人工验证的 Bug 修复任务	业界公认的 Coding Agent 标准基准测试
SWE-bench Pro	更复杂的多步骤软件工程任务，需要更深入的推理和更大范围的代码修改	更真实地反映复杂的软件工程场景
SkillsBench	智能体利用技能完成任务的能力	评估智能体的可扩展性，以及技能调用和触发能力
TerminalBench	基于终端的开发任务	衡量智能体在命令行开发工作流中的表现
Win-Hill	GitHub 内部基于 Windows 容器运行的测试基准	验证运行框架的性能能否跨操作系统和不同运行环境保持一致

在整个评测过程中，我们将 GitHub Copilot CLI 与模型厂商针对相应模型提供的原生智能体运行框架进行了对比：Claude Sonnet 4.6 和 Claude Opus 4.7 对比 Claude Code，GPT-5.4 和 GPT-5.5 对比 Codex CLI。

Token 效率

在保持模型和任务不变的情况下，通过多个基准测试结果可以看到，GitHub Copilot 智能体运行框架在任务完成率方面与其他模型厂商提供的运行框架基本持平，同时在大多数配置下表现出更低的 Token 消耗。

任务解决能力

Token 效率只有在任务真正完成时才有意义。

在固定模型和基准任务的条件下，GitHub Copilot 智能体运行框架在这些基准测试中的任务解决率与模型厂商提供的运行框架基本持平。这意味着，开发者既可以充分发挥底层模型的能力，也能够获得多模型支持、Token 效率优化，以及更强的记忆和上下文管理能力。

这些结果体现了两者之间的有效平衡。由于模型本身具有随机性，测试结果在不同运行之间存在自然波动，因此不同运行框架之间的性能差异均处于合理变化范围内，可以认为二者表现基本相当。

TerminalBench：Token 效率、任务完成率与运行波动

为了持续提升 GitHub Copilot 智能体运行框架在任务完成能力和 Token 效率方面的表现，我们会定期基于多个基准测试进行深入分析。下面展示的是 TerminalBench 2.0 的方差分析示例。该分析不仅体现了 GitHub Copilot 在任务完成率和 Token 效率方面的优势，也展示了此类智能体基准测试中固有的运行间波动。

图中的每一个点代表 TerminalBench 2.0 中一种智能体与模型组合配置。纵轴表示任务解决率，横轴表示每个任务的美元成本，每个点周围的椭圆表示 ±1σ（一个标准差）的运行波动范围，展示该配置在多次运行之间的稳定程度。

三个关键发现：

1. GitHub Copilot 智能体运行框架在任务完成和成本控制方面达到或超过其他智能体。 在评估的多种配置中，GitHub Copilot 智能体运行框架在任务完成率和单任务成本方面，与其他智能体相比表现相当甚至更优。图中的紫色点（代表 Copilot）与同模型下的竞争方案，在几乎所有模型配置中都处于相互重叠的椭圆范围内，说明两者差异处于运行波动范围之内。Copilot 在任务完成率上从未低于竞争方案，同时在成本方面也没有更高的消耗。

2. 运行间的波动性。 我们针对每一种智能体-模型组合至少运行了五次测试。图中的椭圆表示这些运行结果的 1σ 波动范围：更紧凑的椭圆表示结果更加稳定、更容易复现；更宽的椭圆表示不同运行之间的任务完成率和成本存在更大的波动。

3. GitHub Copilot 多模型选择带来的优势。 图表展示了不同模型之间真实存在的权衡关系：GPT 系列模型（图中偏左区域）提供了最佳性价比：以最低成本实现较高任务解决率；Claude Opus（图中右上区域）能够达到最高任务解决率，但成本更高。GitHub Copilot 同时支持多种模型选择，因此开发者可以根据不同任务需求，在效率优先和最高质量之间自由选择。对于简单任务，可以选择更高性价比的模型；对于复杂任务，则可以选择更强大的模型以获得最佳结果。

一个运行框架，多种模型

GitHub Copilot 智能体运行框架支持 20 多种前沿模型，覆盖 GPT、Claude、Gemini 和 MAI 模型系列，同时支持通过自带密钥使用开源模型和本地模型。开发者可以根据不同任务的能力需求和成本特征，选择最适合的模型；也可以使用 Auto 模型选择功能，由系统自动完成模型匹配，在理解任务意图和评估模型状态的基础上，优化 Token 使用效率。

多模型架构还赋予了 GitHub Copilot 运行框架层面的独特能力，这些能力是单一模型厂商的运行框架无法提供的。例如，Rubber Duck 通过跨模型家族的协作评审机制，让一个模型对另一个模型的输出进行审查和改进，从而获得超越单一模型独立运行时的效果。

结论

基准测试只是衡量能力的众多指标之一。我们持续通过基准测试、真实使用数据指标以及线上实验，不断提升 GitHub Copilot 的质量表现，同时致力于更高效地利用每一个 Token。

GitHub Copilot 凭借多模型架构，在多个配置场景下能够以更少的 Token 消耗，实现与领先模型厂商运行框架相当的任务解决能力，同时避免开发者被单一模型绑定。对于开发者而言，这意味着可以用更低的 Token 成本完成相近的任务，同时仍然可以根据具体任务需求，选择最适合的模型。

亲自体验

你可以使用自己选择的模型体验 GitHub Copilot，比较不同方案在日常开发任务中的表现，并观察不同模型和智能体策略在你的实际工作环境中的效果。

进一步了解：

• GitHub Copilot CLI

• GitHub Copilot App

• GitHub Copilot SDK

这些体验背后均由同一个智能体运行框架提供支持。我们将持续提升其质量、效率和灵活性。

方法论

为了让对比结果尽可能公平、可控且可复现，我们在不同模型、任务和运行环境中，采用等效配置运行每个智能体。

所有测试运行：

• 超时时间统一设置为 2 小时；

• 所有智能体均采用非交互式单轮模式运行；

• 禁用 Web 工具；

• 开放所有可用工具。

TerminalBench2 分析：为智能体启用默认设置，推理强度设置为 medium（例如，Claude Code 启用了工具搜索功能，而 Copilot CLI 使用 GitHub MCP Server）。Codex 和 Claude Code 使用 Anthropic 和 OpenAI 的官方直连接口。为了确保结果完整且可靠，任何缺失数据或与基础设施相关的失败都会重新运行，直到所有 89 个 TerminalBench2 任务均产出结果。由模型生成的错误会被保留，不会从分析中排除。每个模型均经过五次独立运行评估，同时 Copilot 进行了两批独立评估，以便与 Claude Code 和 Codex 进行对比。

所有基准测试：所有智能体-模型组合均标准化为相同的上下文窗口大小、相同的 Prompt Token 限制、相同的推理强度（medium）和测试设置——不启用工具搜索，不使用 MCP Server。保留运行框架默认内置工具。为了确保公平比较，所有智能体在基准测试中的基础设施相关异常和网络访问影响均被排除。为了降低运行间差异对较小规模基准测试（<100 个实例）的影响，测试进行了五次独立运行，并报告其中得分最高的一次结果。所有指标均以 pass@1 形式呈现。这些标准化处理意味着测试结果会与公开基准测试提交结果有所不同，因为公开基准测试通常会采用更高的推理强度以及其他经过调优的设置。