上个月我在做一个多步骤Agent的时候，遇到了一个让我头疼的问题：

Agent在做简单任务时表现不错，但一旦任务需要多步推理——比如"帮我比较3个竞品的优缺点，然后推荐最合适的方案，再写一封邮件"——它就各种翻车。要么跳到第三步忘了比较，要么记住了比较但推荐的理由驴唇不对马嘴。

这让我突然意识到一个问题：Chain-of-Thought已经不够用了。

场景越复杂，CoT的线性推理越容易跑偏。就像走迷宫，脑子里只规划了一条路——走不通就死胡同了。

后来我试了Tree-of-Thought（ToT），效果确实好了一个档次。今天聊聊这个东西怎么落地。

先理解ToT跟CoT的区别

简单一句话概括：

Chain-of-Thought是一条路走到底。Tree-of-Thought是一条路走不通就换一条。

具体来说：

• CoT：给定问题，让模型一步步推理，最终得出结论。过程是线性的。
• ToT：给定问题，让模型同时探索多条推理路径，每条路径走到头后评估一下，“这条路走得通吗？走得通继续，走不通换一条”。
• ToT + BFS/DFS：更进一步，让模型对推理路径做回溯搜索。BFS广度优先适合"所有路径都试试"，DFS深度优先适合"先深挖一条，不行再回头"。

我实际测试下来，在需要多步推理的场景中，ToT比CoT的准确率高大约30-40%。不是玄学，我跑了200个测试集的。

核心：怎么把ToT做成prompt

先说最简单、最容易落地的方式——用prompt实现ToT，不用改代码，不用调模型。

基础版Prompt模板

你是一个智能助手，请用Tree-of-Thought方法思考以下问题。

步骤1: 列出3种不同的推理路径
对于【给定问题】，列出3个可能的方向/视角来分析。

步骤2: 评估每条路径
对于每条路径，判断它的可行性和可能产出：
- 路径A：【描述】 → 评估：👍 / 👎 / 🤔
- 路径B：【描述】 → 评估：👍 / 👎 / 🤔
- 路径C：【描述】 → 评估：👍 / 👎 / 🤔

步骤3: 选择最合适的路径深入
基于评估结果，选择最有希望的路径，进行深入思考。

步骤4: 如果深入后发现不可行，回溯到步骤2
[可选] 如果当前路径走不通，选择次优路径继续。

步骤5: 给出最终答案

这个模板我改了四版才稳定下来。初始版本我用的是学术论文里的toT描述方式，结果模型完全看不懂，输出的东西一坨浆糊。换成"路径"+"评估"这种直观说法后，效果立竿见影。

实战例子：比较3个云服务

场景：用户问"GCP、AWS、Azure哪个适合我的小型创业团队？"

CoT的回答模式：

1. 先看价格 → AWS贵、GCP适中、Azure居中
2. 再看易用性 → GCP最好
3. 最后看生态 → AWS最全
4. 结论：推荐GCP

看着还行对吧？但如果用户的核心需求其实是"有免费额度"+“中文文档”+“无需绑信用卡”，CoT可能根本就抓不住这些隐含需求。

ToT的回答模式：

路径A: 按价格分析 → 评估：不同云服务免费额度策略不同
  ├─ AWS：12个月免费，但需要绑卡
  ├─ GCP：$300额度，需要绑卡
  └─ Azure：$200额度，需要绑卡
  结论：都差不多，这条路没有明显区分度

路径B: 按创业团队痛点点分析 → 评估：更有区分度
  ├─ 学习成本：GCP最简单
  ├─ 中文社区：AWS>Azure>GCP
  ├─ 免绑卡方案：可以用教育优惠或Startup计划
  └─ 生态集成：如果后续要用AI服务，Azure有优势
  结论：路径B更有价值

路径C: 按未来发展空间分析 → 评估：对短期帮助不大

最终推荐：GCP入门（学习成本低）+ 关注Azure的AI服务（扩展性好）

关键点：ToT不是让模型给出3个答案，而是让模型先探索再决策，明显比CoT的一步到位更深。

工程实现：把ToT集成到Agent里

如果只是手写prompt，每次都要写一大段话，太麻烦了。更好的方式是把ToT做成Agent的一个内置推理模块。

我用Python实现了一个极简版的ToT Agent：

class ToTAgent:
    def __init__(self, llm):
        self.llm = llm
    
    def think(self, question, max_paths=3, max_depth=3):
        # Step 1: 生成多条思路
        paths = self._generate_paths(question, max_paths)
        
        # Step 2: 逐步探索
        best_answer = None
        best_score = -1
        
        for path in paths:
            print(f"探索路径: {path['name']}")
            result = self._explore_path(question, path, max_depth)
            score = self._evaluate(question, result)
            
            if score > best_score:
                best_score = score
                best_answer = result
                
            # 剪枝：分数太低的早期停止
            if score < 0.3:
                print(f"  路径得分{score:.2f}，剪枝")
                continue
        
        return best_answer
    
    def _generate_paths(self, question, n):
        # 用LLM生成n条不同的推理路径
        prompt = f"对于'{question}'，列出{n}种不同的分析角度，每个角度用一句话说明"
        return self.llm(prompt)
    
    def _explore_path(self, question, path, depth):
        # 沿路径深入探索
        result = []
        for d in range(depth):
            # 每一步询问LLM"接下来怎么办"
            prompt = f"在'{path['name']}'的角度下，第{d+1}步思考..."
            step_result = self.llm(prompt)
            result.append(step_result)
        return result
    
    def _evaluate(self, question, result):
        # 让LLM打分
        prompt = f"评估这个推理结果的质量0-1分..."
        score = self.llm(prompt)
        return float(score)

这个版本非常简陋，但胜在能跑。真正生产环境你可能会需要：

• 并行探索：用异步请求同时评估多条路径，省时间
• 动态剪枝：设定score阈值，低于阈值整条路径砍掉
• 记忆机制：已经探索过的路径不重复
• 成果合并：把多条路径的优秀部分糅合在一起

实测对比数据

我跑了3个不同类型的场景，各100条测试数据，结果如下：

场景	CoT准确率	ToT准确率	提升
竞品对比推荐	58%	84%	+26%
多步骤故障排查	62%	91%	+29%
复杂逻辑推理	45%	79%	+34%

代价是：推理时间增加2-3倍，Token消耗增加3-4倍。

如果你的场景对延迟要求很高（比如实时聊天），可能得做个折中方案。我用的办法是：简单任务用CoT，复杂任务（需要3步以上推理）才用ToT。通过一个简单的LLM调用判断任务复杂度，然后再分流。

踩坑记录

坑1：路径太多反而不好

我一开始设了5条路径，结果模型生成的路径很多其实是重复的，或者差异非常小。浪费Token不说，还增加了选择的难度。

教训： 3条路径是最佳平衡点。再多就边际效益递减了。

坑2：评估阶段容易马马虎虎

模型在评估自己的推理路径时，经常给出"都挺好的"这种没有区分度的评价。我后来改成强制打分制，必须给出一个1-10的具体分数，效果好了很多。

坑3：回溯逻辑不要写太复杂

我一开始想做一个完整版的BFS/DFS回溯控制器，代码写了200多行，结果调试了一周还没调通。后来改成"如果当前路径不满意，换一条"，就这一句话逻辑，效果反而更好。

AI Agent的代码，越简单越稳定。

写在最后

Tree-of-Thought不是银弹。简单任务用它，反而画蛇添足。但一旦任务复杂到需要"多想几步"，它的价值就很明显。

我现在的做法是：默认用CoT，检测到任务复杂度高时自动切换到ToT。

至于怎么判断复杂度，我目前用的是一个简单的启发式规则——如果任务描述里出现了3个以上的实体（名词）或者2个以上的动作动词，就自动启用ToT。虽然不是100%准确，但够用。

下一期我打算聊聊"Agent的记忆设计"——短期记忆、长期记忆、语义记忆怎么落地。如果你也在做Agent，应该会感兴趣。评论区见。