近期，大语言模型（LLM）驱动的智能体（MA）取得了显著进展，集体智能表现出超越单个智能体能力的优势，主要归功于精心设计的智能体间通信拓扑。然而，现有的多智能体系统在性能上的提升是以大量的token开销和经济成本为代价的，这使得大规模部署面临挑战。为应对这一问题，该文章提出了一种经济、简洁且强大的多智能体通信优化框架——AgentPrune，它能够无缝集成到主流多智能体系统中，并剪枝冗余的通信信息，使得MA中的Agent能“少说废话”（cut the crap）。

研究背景&动机

现有大模型多智能体系统（LLM-MA）中的通信机制主要分为两种：

• Intra-dialogue communication: 多个Agent在同一轮对话中的互动方式。（例：合作、教学、竞争…）

• Inter-dialogue communication: 跨对话轮次的信息传递和参考。（例：总结、复制、过滤…）

存在的问题和挑战：

• Muti-agent在performance上的提升是以大量的token消耗为代价的。

• 目前依赖大量的token消耗的Muti-agent在部署上有限，边缘智能设备无法支持这样的token消耗。

发现&方法

首先，作者将LLM-MA定义为时空图，主要的定义为：发现：

• Spatial（同一轮内）使用全连接图，例如MacNet（OpenBMB）；Temporal（跨轮次）类似LLM-Debate（MIT），每个agent会收到上一轮的所有回复作为输入。

• 使用4个GPT-3.5作为agents，随机裁剪20-30%，性能会提升。

• 因此将Communication Redundancy定义为LLM-MA图中不必要的边，去掉这些边，性能变化小于一个可以接受的阈值。

Intra-dialogue communication使用全连接图：Inter-dialogue communication中每个agent接收上一轮的所有回复：

方法：

• AgentPrune的目标是找到一个表现很好的子图，这个子图的目标是：近似分布，低秩稀疏性。

• 过程就是先通过“一次性剪枝”，进行K’次，构建高质量的子图。再利用该子图，进行之后K-K’轮的推理（K远大于K’）。

• 在邻接矩阵中，保留TopK通信边，与原有向无环图相比，信息进一步高质量压缩。

实验

• 性能表现：使用5个GPT-4作为agent，与之前的baseline相比效果较好。

• Token花费：花费的token更少，并且与其他已有的MA系统结合能降低token数。

• 对抗攻击：

通过在六个基准测试上的实验结果，证明了AgentPrune的有效性：

1. 在较低的成本下，能够与现有最先进的拓扑达到相当的效果。

2. 在现有多智能体框架中无缝集成，实现28.1% ~ 72.8%的token减少。

3. 成功防御两种类型的智能体对抗攻击，并带来3.5% ~ 10.8%的性能提升。

一些个人思考

作为第一个提出对Agent通信拓扑剪枝提高性能、效率、鲁棒性（对抗攻击）的MA系统，重点在定义MA系统通信机制中的冗余和观察到存在冗余的现象，消除冗余的方法还是简单和容易理解的，也给后续工作了一些启发和优化空间。

• 泛化性：关于“一次性剪枝”操作以及剪枝标准，还是可以继续优化，增强泛化性。例如在GSM8K，MMLU等场景“一次性剪枝”需要进行的训练轮次分别为8，47，分别占总测试数据的7%和18%，如果可以自适应调整的选择“一次性剪枝”的轮次，可能会减少很多前期的参数调整。以及对不同Agent数量组成的MA系统的自适应调整策略，期待后续工作可以进一步优化。

• 效率优化：剪枝操作之外，可以参考之前针对SC（自一致性）的减少Token花费的相关策略，以及与cache share等工作的进一步结合，优化需要很多轮次的更复杂的场景中的推理策略。

---

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓