LLM-in-Sandbox：让大语言模型通过代码沙盒激发通用智能

AAI机器之心

674人浏览 · 2026-02-28 11:29:55

AAI机器之心 · 2026-02-28 11:29:55 发布

如何让大语言模型进一步突破能力边界？这篇论文提出了一种全新的范式——LLM-in-Sandbox，通过为LLM提供代码沙盒（即虚拟计算机）访问权限，激发其在非代码领域的通用智能。研究发现，强模型无需额外训练即可自发利用沙盒解决数学、物理、化学、生物医学等复杂任务；而通过LLM-in-Sandbox强化学习，弱模型也能显著提升探索能力，实现跨领域泛化。

论文标题：LLM-in-Sandbox Elicits General Agentic Intelligence
来源：arXiv:2601.16206v1 [cs.CL] | https://arxiv.org/abs/2601.16206

文章核心

研究背景

大语言模型的能力演进经历了多个范式：in-context learning展示模型无需任务特定微调即可泛化到新任务；chain-of-thought prompting通过引导模型分解问题步骤来激发推理能力；agentic frameworks则赋予模型跨多轮利用多种工具的能力。沿着这一轨迹，如何进一步解锁模型潜力？作者提出LLM-in-Sandbox——让LLM在代码沙盒内探索——作为这条轨迹上的有前景的下一步。代码沙盒本质上是具有终端能力的虚拟计算机，虽然通常用于软件工程，但作者认为其潜力远超编码范围。计算机或许是最通用的平台——几乎任何任务都可以通过它完成，这种通用性源于三个元能力：外部资源访问（如互联网）、文件管理和代码执行。

研究问题

1. 现有LLM在非代码领域任务上的能力受限于纯文本生成范式，无法充分利用计算环境的强大功能
1. 强模型虽具备推理能力，但缺乏有效探索和利用计算环境的能力
1. 弱模型在沙盒环境中往往表现不佳，甚至不如直接生成模式，需要提升探索效率

主要贡献

1. 提出LLM-in-Sandbox范式，证明强agent模型无需额外训练即可利用代码沙盒处理非代码任务，在数学、物理、化学、生物医学、长上下文理解和指令遵循等6个领域实现性能提升，最大增益达+24.2%
1. 提出LLM-in-Sandbox Reinforcement Learning，仅使用通用非agent数据训练模型探索沙盒环境，显著增强跨领域泛化能力
1. 从计算和系统角度分析LLM-in-Sandbox的效率，证明其在长上下文场景下token消耗减少8倍，作为Python包开源以促进实际部署

方法论精要

LLM-in-Sandbox的核心思想是赋予LLM访问计算机的能力，使其能够自由操作以完成用户指定的任务。计算机具备三个元能力：外部资源访问、文件管理和代码执行。作者假设将LLM的强大推理和agent能力与代码沙盒结合可能解锁其通用智能潜力。

代码沙盒设计：代码沙盒是虚拟化计算环境，通常是基于Ubuntu的Docker容器实现，为LLM提供终端访问和完整系统能力。在此环境中，LLM可以执行任意bash命令、创建和修改文件、访问网络资源。容器化特性确保与宿主系统隔离。与现有代码agent系统相比，LLM-in-Sandbox采用轻量级通用设计，仅配备标准Python解释器和基础科学计算库（如NumPy、SciPy），将领域特定工具获取委托给模型自身。这种设计提供两个优势：通用性和可扩展性。

在代码沙盒内，模型配备三个基础工具：execute_bash用于执行任意终端命令，str_replace_editor用于文件创建、查看和编辑，submit用于指示任务完成。

LLM-in-Sandbox工作流程：工作流程基于ReAct框架，模型基于环境反馈迭代推理和行动。每轮模型生成工具调用，从沙盒接收执行结果，决定下一步行动。这种多轮交互持续到模型调用submit或达到最大轮数限制。为适应通用任务的多样化场景，工作流程鼓励自由探索并支持灵活输入/输出处理。

探索性提示设计：系统提示指导模型充分利用沙盒。首先，鼓励模型利用计算工具而非通过自然语言执行计算。其次，强调通过程序执行而非直接硬编码结果得出答案。第三，告知模型沙盒是安全隔离环境，可自由探索多样化方法完成任务。

任务输入/输出处理：利用沙盒文件系统灵活处理多样化输入/输出格式。对于输入，内容不仅可通过模型提示提供，还可通过文件提供。对于长上下文理解任务，可将文档放置在/testbed/documents/。对于输出，指示模型将最终结果放在指定位置（如/testbed/answer.txt）。

LLM-in-Sandbox强化学习：为在沙盒范式中进一步解锁模型潜力，作者提出LLM-in-Sandbox Reinforcement Learning，在沙盒内的通用上下文任务上训练模型。训练采用基于上下文的任务：每个任务包含背景材料和必须基于这些材料完成的任务目标。由于完成目标取决于提供的材料，模型必须主动探索沙盒查找相关信息。数据源涵盖多样化领域包括百科全书、小说、专家材料、学术测试、新闻等。

沙盒配置：任务上下文存储为沙盒环境内的文件。为丰富上下文并增加任务难度，采用多种策略：多文档或长上下文分割为独立文件；单文件上下文补充干扰项，鼓励模型导航和过滤相关信息。

实验洞察

作者在六个非代码领域评估LLM-in-Sandbox：数学、物理、化学、生物医学、长上下文理解和指令遵循。评估模型包括Claude-Sonnet-4.5-Thinking、GPT-5、DeepSeek-V3.2-Thinking、MiniMax-M2等。

主要结果：如[Figure 1]所示，强agent模型一致受益于LLM-in-Sandbox，在所有评估领域观察到改进——从计算密集型任务（数学）到知识密集型任务（化学、生物医学）到通用能力（指令遵循、长上下文）。最大增益达+24.2%（Qwen3-Coder在数学上）。然而弱模型如Qwen3-4B-Instruct未能受益甚至表现更差。

沙盒利用分析：通过案例研究和定量分析分析模型如何利用沙盒环境。聚焦沙盒的三个核心能力：外部资源访问、文件管理和代码执行。

案例研究展示强agent模型如何利用沙盒核心能力解决非代码任务。外部资源访问示例：化学任务中模型自主通过apt-get安装Java运行时并下载OPSIN库将化学名称转换为分子结构。文件管理示例：长上下文任务中模型使用grep和sed等shell工具定位相关部分，然后编写Python脚本系统提取信息。计算示例：指令遵循任务中模型编写Python脚本计数字符、检测词重叠并迭代优化候选句子。

定量分析如[Figure 2]显示强模型适应使用模式到任务需求。数学因高计算频率受益最多（43.4%）；化学显示最高外部资源频率（18.4%）因模型安装领域特定包；生物医学显示较不稳定改进且探索最短（6.5轮）。长上下文任务显示高文件操作频率且最少外部资源使用，表明模型专注于理解本地上下文。如[Table 3]所示，存储在沙盒中产生显著平均增益。如[Table 4]所示，强模型有效利用所有三个能力且使用率高（6-21%），弱模型使用率低得多（❤️%）尽管轮数近两倍。

LLM-in-Sandbox-RL实验：从两个基础模型训练：Qwen3-4B-Instruct-2507（agent能力较弱）和Qwen3-Coder-30B-A3B（代码专用模型）。评估基准除前述六个非代码领域外，还评估软件工程任务SWE-bench Verified。

如[Table 6]所示，LLM-in-Sandbox-RL沿三个轴显示广泛泛化：（1）领域：训练仅使用通用基于上下文的数据，但LLM-in-Sandbox-RL改进所有领域性能；（2）模型能力：对于弱模型，LLM-in-Sandbox模式在大多数任务上显著优于LLM模式；对于强模型，LLM-in-Sandbox-RL仍在所有领域产生一致增益；（3）推理模式：虽然仅在LLM-in-Sandbox模式训练，LLM-in-Sandbox-RL也改进LLM模式，甚至在大多数任务上优于LLM-RL，表明agent技能可传回非agent生成。

如[Table 7]所示，比较四种LLM-in-Sandbox-RL变体（Math、SWE、Gen. in Prompt、Gen. in Sandbox），所有变体实现某种程度的跨域泛化。Gen. Sandbox实现最佳整体性能。

泛化分析如[Table 8]和[Table 9]显示，训练后模型在所有三个维度显示增加的沙盒能力使用。弱模型显示更大改进：能力使用率大幅增加而平均轮数从23.7急剧降至7.0。两个模型训练后显示增加的结构组织和验证行为。

效率和基础设施分析：如[Table 10]所示，对于长上下文任务，LLM-in-Sandbox通过将内容存储在本地文件而非提示中大幅减少令牌。Qwen的减少达8倍（100K→13K tokens）。所有任务汇总时，LLM-in-Sandbox仅消耗LLM模式总令牌的0.5-0.8倍。

如[Table 11]所示，环境令牌构成轨迹的37%-51%，但环境执行占总时间不到4%。使用QPM测量端到端查询吞吐量，MiniMax实现2.2倍加速，其他范围从0.6倍到1.1倍。

如[Table 12]所示，基础设施开销显示，LLM-in-Sandbox使用跨所有任务共享的单个Docker镜像（约1.1GB）。对于内存，每个沙盒容器仅消耗约50 MB空闲和约200 MB峰值。

超越文本生成：LLM-in-Sandbox也实现独立LLM根本不可能的能力：跨模态能力——处理和生成图像、视频、音频；文件级操作——直接产生实际文件；自主工具获取——自主发现、安装和学习使用任意软件库。

如[Figure 5]所示，案例研究展示这些能力：（1）旅行规划→交互式地图：产生具有可点击标记和逐日可视化的完全功能map.html；（2）事件规范→会议海报：输出专业poster.svg和poster.png文件；（3）主题配置→动画视频：产生11秒birthday_countdown.mp4；（4）风格描述→原创音乐：通过midiutil创作旋律，通过FluidSynth渲染音频。