超酷的AI多智能体框架！阿里开源，AI搜索能力再升级，像人类一样理解和获取深度信息！

原创 痕小子 开源星探 2025年01月22日 07:03 湖北

在AI领域，大型语言模型（LLM） 已经展现出了强大的语言理解和生成能力，但其知识通常是固定的，无法实时更新。

尽管 检索增强生成（RAG） 技术能帮助模型获取最新信息，但传统搜索引擎的横向搜索方式，限制了对信息的深度挖掘。

为解决这一问题，阿里和东南大学共同研发了 WebWalker，一个多智能体框架，专注于模拟人类的网络浏览和搜索行为，让LLM能够自动点击链接、阅读网页、理解信息，最终给出更精准、更深层次的答案。

项目简介

WebWalker 是一个通过explorer-critic范式模拟人类网页导航的multi-agent框架。

通过引入Web Traversal任务，让LLM系统性地遍历网页，从而挖掘隐藏的信息。

它有两个代理助手组成：

• • 探测代理（explorer agent）：模拟人在网页中点击按钮跳转页面的过程。

• • 裁判代理（critic agent）：负责存储搜索过程中的信息，在探测代理点击的过程中，保存对查询有用的信息，并判断何时能够停止探测代理的探索。

同时也提出了 WebWalkerQA 的概念，一个旨在评估LLM执行网页遍历能力的基准，它评估LLM系统性地遍历网站子页面以获取对应信息的能力。

主要特性

• • 多智能体协作：系统包含两个智能体，一个是“探测助手”，负责模拟人点击链接、浏览网页内容；另一个是“裁判助手”，负责评估找到的信息是否足够，是否需要继续搜索。

• • 垂直搜索能力：WebWalker 能够深入多个网页，系统性地揭露隐藏在其中的信息，找到传统搜索引擎无法揭示的深层次信息。

• • RAG 二维探索能力：通过对横向搜索和纵向页面挖掘进行结合，提升复杂问题的处理能力，实现更智能的信息检索。

实验结果

WebWalkerQA使用不同方法的代理性能结果。可以发现即使是最好的模型gpt-4o在这个任务也表现较差，任务中可能涉及到多跳推理和对文本的推理的能力。

在close book 设置下和目前较好的开源及商用RAG系统上的性能。在源及商用RAG系统上，最好的效果也只有40，即使很多闭源的RAG系统使用了query改写或者agentic的操作，但是还是没有一步到位定位到的需要的web information source。

快速使用

如果想直接快速体验，官方在魔搭和抱抱脸上都部署了线上体验项目，可一键体验。

如果想要将该项目部署到本地或私有服务器，可以参照以下步骤进行：

① 创建 Python 项目虚拟环境

conda create -n webwalker python=3.10
conda activate webwalker

② 克隆项目到本地

git clone https://github.com/alibaba-nlp/WebWalker.git
cd WebWalker

③ 安装依赖

pip install -e .
# Install requirements
pip install -r requirement.txt

④ crawl4ai 设置及验证安装

由于该项目依赖于crawl4ai，一个基于LLM的异步爬虫工具，所以需要进行一个初始化操作。

# Run post-installation setup
crawl4ai-setup
# Verify your installation
crawl4ai-doctor

⑤ 运行

cd src
streamlit run app.py

如果需要在WebWalkerQA上运行RAG系统，请运行以下命令：

cd src
python rag_system.py --api_name [API_NAME] --output_file [OUTPUT_PATH]

评估脚本运行命令：

cd src
python evaluate.py --input_path [INPUT_PATH]--output_path [OUTPUT_PATH]

要配置API密钥，请修改src/app.py中的第44-53行代码。

应用场景

WebWalker 的引入，为现有的AI问答系统带来了新的可能性。它能够帮助AI系统更智能地处理复杂查询，深入挖掘网络信息，为用户提供更精准和详尽的答案。

• • 复杂问题解答：在法律、医学、科技等领域，WebWalker能深入挖掘相关信息，为用户提供详细解答。

• • 知识库更新：为企业和机构自动更新知识库，确保信息的实时性和准确性。

• • 增强RAG系统：结合WebWalker和RAG技术，提升AI系统对复杂问题的处理能力。

写在最后

WebWalker 通过模拟人类的搜索行为，实现了 LLM 的深层次信息挖掘能力。

不仅弥补了传统搜索的不足，还为智能问答系统、商业情报、新闻媒体等领域提供了强大的技术支持。

过引入多智能体协作和 Web Traversal 任务，WebWalker 展示了其在处理复杂信息时的卓越表现。

GitHub 项目地址：

https://github.com/Alibaba-NLP/WebWalker

HuggingFace 体验地址：

https://huggingface.co/spaces/callanwu/WebWalker

魔搭平台体验地址：

https://www.modelscope.cn/studios/jialongwu/WebWalker

● 一款改变你视频下载体验的神器：MediaGo

● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star

● 最新最全 VSCODE 插件推荐（2023版）

● Star 50.3k！超棒的国产远程桌面开源应用火了！

● 超牛的AI物理引擎项目，刚开源不到一天，就飙升到超9K Star！突破物理仿真极限！