原博链接：https://lilianweng.github.io/posts/2023-06-23-agent/

1. Agent关键组件
   

(1) 规划(Planning)

• 任务分解
  • 思维链Chain of thought (CoT; Wei et al. 2022) ：逐步思考能力
  • 思维树Tree of Thoughts (Yao et al. 2023)：广度优先搜索(BFS)、深度优先搜索(DFS)
• 自我反思：纠正以前错误，迭代改进
  • ReAct (Yao et al. 2023)将动作空间扩展为特定于任务的离散动作和语言空间的组合
  • Reflexion (Shinn & Labash 2023)是一个为Agent提供动态记忆和自我反思能力以提高推理能力的框架
  • Chain of Hindsight (CoH; Liu et al. 2023)鼓励模型通过显式地呈现一系列过去的输出来改进自己的输出，每个输出都有反馈注释

(2) 记忆(Memory)

• 人脑中的记忆类型：感觉记忆、短期记忆、长期记忆
  

  外部记忆可以缓解注意力持续时间有限的限制。标准做法是将信息的嵌入表示保存到支持快速最大内积搜索(MIPS)的矢量存储数据库中。为了优化检索速度，通常的选择是近似最近邻(ANN)算法。

(3) 工具使用(Tool use)

• MRKL (Karpas et al. 2022)
• TALM (Tool Augmented Language Models; Parisi et al. 2022)
• Toolformer (Schick et al. 2023)
• HuggingGPT (Shen et al. 2023)：1) 任务规划 2)模型选择 3)任务执行 4)响应生成
• API-Bank (Li et al. 2023)

2. 挑战

• 有限的上下文长度
• 长期计划和任务分解中的挑战
• 自然语言接口的可靠性