一、导读

在强化学习（Reinforcement Learning, RL）领域，尤其是在稀疏奖励环境下，智能体因面临严峻的探索挑战而导致样本效率低下。课程学习（Curriculum Learning）为这一问题提供了解决思路，但如何自动生成最优课程仍是一个开放性问题。本文提出了一种名为CURATE的自动课程学习算法，其核心思想是“通过利用进行探索”（exploration by exploitation）。CURATE动态地调整任务难度以匹配智能体的当前能力（competence），通过在相对简单的任务中学习到的能力，来提升在更困难任务中的探索效率。该算法通过在课程空间中进行策略搜索，学习一个对应于“最简单未解决任务”的任务分布。随着智能体能力的增长，课程也自适应地调整，形成一个近似从易到难的序列，最终高效地训练出能够解决目标任务的智能体。实验证明，CURATE在解决目标任务时，相较于当前先进算法具有更高的样本效率，尤其在最优任务序列不明确的多维课程空间中展现了巨大潜力。

二、论文基本信息

基本信息

• 论文标题: Exploration by Exploitation: Curriculum Learning for Reinforcement Learning Agents through Competence-Based Curriculum Policy Search

• 作者: Tabitha Edith Lee, Nan Rosemary Ke, Sarvesh Patil, Annya Dahmani, Eunice Yiu, Esra’a Saleh, Alison Gopnik, Oliver Kroemer, Glen Berseth

• 作者单位: Mila & Université de Montréal, Carnegie Mellon University, Univ. of California, Berkeley

摘要精炼

本文旨在解决强化学习智能体在稀疏奖励和困难目标任务下的自动课程学习问题。为此，论文提出了一种名为CURATE的算法。该算法的核心技术贡献在于，它将课程生成问题建模为在课程空间中的策略搜索。CURATE维护一个课程策略（一个关于环境参数的高斯分布），并基于智能体的当前能力对其进行优化。其优化目标是寻找“最简单且尚未解决”的任务分布，从而实现一种“通过利用进行探索”的机制：智能体利用在已掌握的简单任务上学到的能力，去探索更具挑战性的新任务。关键结论是，CURATE生成的课程在样本效率上优于多种基线方法，包括双课程设计（Dual Curriculum Design, DCD）框架下的SOTA算法。虽然在简单的一维课程中，手动设计的增量式课程表现更佳，但CURATE在最优序列不直观的二维课程环境中显示出尤其优越的性能。

➔➔➔➔点击查看原文，获取更多大模型相关资料https://mp.weixin.qq.com/s/Ejp-Q153trjvRbVs2zhoaw

三、研究背景与相关工作

研究背景

深度强化学习虽在序列决策任务中取得了显著成就，但无模型（model-free）的深度RL算法在缺少专家轨迹或稠密奖励的情况下，样本效率极低。这源于其固有的探索挑战：初始阶段智能体的随机行为很难获得有效奖励，导致学习停滞。课程学习被认为是解决此问题的有效途径，它通过结构化地组织训练数据来引导训练过程，提升学习效率和鲁棒性。然而，如何自动设计最优的课程序列仍然是一个悬而未决的核心问题。现有的课程大多依赖于领域专家手动设计，缺乏通用性。因此，研究一种能为任意领域自动生成高效课程的通用方法，对于推动强化学习的应用具有重要意义。

相关工作

相关工作主要围绕如何为强化学习自动生成课程展开。一类方法是隐式课程（implicit curricula），课程由智能体与环境的交互自发涌现，如通过共同演化智能体和环境（POET），或基于学习目标的自监督方法，例如无监督环境设计（Unsupervised Environment Design, UED）框架下的PAIRED算法及其变种（REPAIRED, ACCEL）。另一类是显式课程（explicit curricula），外部“教师”算法根据任务参数明确地安排任务序列，如ALP-GMM在环境参数空间中维护一个高斯混合模型。有理论研究指出，在特定假设下，从易到难的课程序列是最优的。本文提出的CURATE算法与这些工作紧密相关：它类似于ALP-GMM，在参数化环境中维护一个任务分布；但其更新机制旨在寻找“最简单未解决任务”，从而生成一个近似从易到难的课程，与Li等人提出的最优性理论相呼应。

四、主要贡献与创新

• 提出CURATE算法: 提出了一种新颖的自动课程学习算法CURATE，通过“利用式探索”机制，动态调整任务难度以匹配智能体的当前能力，有效解决了稀疏奖励环境下的探索难题。

• 基于能力进行课程策略搜索: 将课程生成形式化为在环境参数空间中的策略搜索问题。通过优化一个特定设计的课程奖励函数，使课程策略自动聚焦于对智能体来说“最简单但尚未解决”的任务区域，实现了高效的学习前沿推进。

• 优越的样本效率: 实验证明，在多个基准环境中（包括一维和二维课程空间），CURATE在训练智能体解决困难目标任务时，其样本效率显著高于Domain Randomization以及DCD框架下的SOTA算法（如PLR⊥, ACCEL）。

• 在多维课程中的潜力: 论文发现，尽管在简单的一维课程中，手工设计的增量式课程表现最好，但在最优序列不直观的二维课程空间中，CURATE展现出与手工课程相媲美甚至更优的性能，证明了其在复杂场景下发现非平凡（non-obvious）有效学习路径的能力。

五、研究方法与原理

总体框架与核心思想

CURATE的整体框架建立在欠定局部可观测马尔可夫决策过程（Underspecified POMDP, UPOMDP）之上，该过程通过一组环境参数 θ 定义了一个任务分布。

核心思想: CURATE的核心是“通过利用进行探索”（exploration by exploitation）。它不直接让智能体在困难的目标任务上挣扎，而是通过一个可学习的课程策略 π_c 来动态地提供难度适中的训练任务。这个课程策略 π_c 是一个在环境参数 θ 空间上的高斯分布 N(μ_θ, Σ_θ)。算法通过周期性地进行策略搜索来更新 π_c，使其指向对当前智能体来说“最简单但尚未解决”的任务区域。随着智能体在这些任务上获得成功，π_c 会逐渐向更困难的任务区域移动，从而形成一个从易到难的、自适应的课程，最终引导智能体掌握解决目标任务的能力。

关键实现与评估原理

关键实现细节

CURATE的关键实现是UPDATECURRICULUM过程 (见论文中Algorithm 2)，这是一个在环境参数空间中进行的非线性优化。

• 课程奖励设计: 为了找到“最简单未解决的任务”，算法设计了一个独特的课程奖励 ν_j。对于一个评估任务，如果其回报 R_j 低于预设的任务解决阈值（solved threshold） R_S，则课程奖励为 R_j / R_S，并附加一个正则化项；如果 R_j 超过了 R_S（即任务已解决），则课程奖励为0。这个设计激励策略探索那些回报高但又未被完全掌握的任务。

• 课程策略更新: 算法从当前课程策略 π_c 中采样一批环境参数 θ_j，评估智能体在对应任务上的表现并计算课程奖励 ν_j。然后，使用相对熵策略搜索（Relative Entropy Policy Search, REPS）算法，根据收集到的 (θ_j, ν_j) 对来更新 π_c 的均值 μ_θ 和协方差 Σ_θ。REPS能够在最大化期望课程奖励的同时，将新旧策略的KL散度限制在一定范围内，保证了更新的稳定性。

• 更新触发机制: 课程更新并非在每次策略迭代后都进行，而是在满足特定条件时触发：1) 当智能体在当前课程任务上的平均训练回报 R_D 超过了 R_S，表明智能体已掌握当前难度的任务，可以进入下一阶段。2) 如果长时间（达到一个最大帧数间隔）没有触发课程更新，也会强制更新，以防止智能体在过难的任务上停滞不前。

核心评估原理与指标

• 核心评估指标: 本文的核心评估指标是样本效率（sample efficiency），具体量化为：训练智能体达到在目标任务分布 M_{θ_t} 上获得不低于 R_S 的回报所需的总训练帧数。帧数越少，代表样本效率越高。

• 评估流程: 在整个训练过程中，每次更新完智能体的控制策略 π 后，都会在固定的目标任务 M_{θ_t} 上进行一次评估。一旦评估回报 R_t 达到或超过 R_S，训练就成功终止。如果达到最大训练帧数仍未成功，则视为失败。

六、实验结果与分析

实验设置

• 数据集:

  • MiniGrid MultiRoom: 1维课程空间，任务是导航通过N个房间（θ_1=[1, 4]）。

  • Procgen Curriculum Suite: 3个游戏（Leaper, Climber, BossFight），均为2维课程空间，使用图像观测。例如，Leaper的课程维度是道路和水道的数量。

• 评估指标:

  • 成功率（Success Rate）: 在最大训练帧数内成功解决目标任务的试验比例。

  • 样本效率（Frames）: 成功解决目标任务所需的训练总帧数（百万帧）。

• 对比基线:

  • 隐式课程: Robust PLR (PLR⊥), ACCEL。

  • 显式/无学习课程: Domain Randomization (DR, 随机课程), Incremental Curriculum (IC, 手动设计的从易到难的线性课程), Target (NC, 无课程，直接训练目标任务)。

• 关键超参: 使用PPO算法训练智能体。CURATE的关键超参包括REPS的相对熵界限 ε，正则化系数 λ_θ，以及每次课程更新的采样轮数 N_r 和每轮样本数 N_s。

核心实验与结论

本文最能体现其贡献的核心实验是在二维课程空间（Procgen Curriculum Suite）上的表现，因为它展示了CURATE在最优路径不明确的复杂场景下的能力。

• 实验目的: 该实验旨在验证在具有高维观测和二维课程空间的复杂环境中，CURATE相较于其他基线方法（特别是手动设计的IC课程）的样本效率。

• 关键结果: 实验结果如表3所示。在Leaper, Climber, 和BossFight三个游戏中，CURATE均成功解决了目标任务，并且所需的训练帧数（分别为9.37M, 22.54M, 40.11M）全面优于所有隐式课程基线（PLR⊥, ACCEL均失败）和随机课程（DR）。更重要的是，CURATE的样本效率也优于手动设计的增量式课程IC（分别为12.35M, 24.71M, 53.74M）。图8、图10、图12直观展示了不同方法生成的课程路径，CURATE的路径（a）显示出一种非线性的、自适应的探索模式，而非IC那样（e）的直线路径。

• 作者结论: 作者基于此得出结论：CURATE在多维课程空间中表现出强大的性能。与一维情况不同，在多维空间中，“最短路径”（如IC所近似的）不一定是“最易学习路径”。CURATE能够根据智能体的实际能力动态地发现学习阻力最小的路径，从而在这些更复杂的场景中超越了直观的手动设计课程，这证明了其自动发现非平凡课程的能力和潜力。

七、论文结论与启示

总结

本文提出了自动课程学习算法CURATE，旨在解决强化学习在稀疏奖励环境中的探索难题。通过“利用式探索”的核心思想，CURATE将课程生成问题转化为在环境参数空间中的策略搜索。它通过优化一个专门设计的课程奖励函数，动态地为智能体提供难度恰好位于其能力前沿的任务，从而形成一个自适应的、从易到难的课程。实验结果表明，CURATE在样本效率上超越了多种SOTA基线，尤其在最优学习路径不明确的多维课程空间中，展现了比手动设计课程更优的性能，验证了其自动发现高效学习路径的有效性。

展望

论文指出了当前工作的局限性与未来的研究方向：

• 放宽假设: 当前CURATE要求课程空间是预先定义、可访问且结构化的。未来的工作可以探索如何将该方法扩展到课程轴线未定义或需要自动发现的环境中。

• 提升效率: CURATE的运行时间与任务评估次数相关。在更高维度的课程空间中，需要研究更高效的探索策略，以减少评估次数，提升算法的可扩展性。

• 扩展应用领域: 将CURATE应用于连续控制领域（如机器人控制），并与其他先进的探索算法（如RND）和课程学习算法（如ALP-GMM, PAIRED）进行更广泛的比较。

• 交叉学科启发: 探索如何将认知心理学中关于人类课程学习的见解融入CURATE的未来版本，并利用从CURATE中获得的经验反哺无监督环境设计领域的新算法开发。

➔➔➔➔点击查看原文，获取更多大模型相关资料https://mp.weixin.qq.com/s/Ejp-Q153trjvRbVs2zhoaw