随着llm的能力越来越强，基于LLM的多模态AI agent框架和桌面工具越来越接近实用。

这里收集这些开源的ai agent框架和桌面助手工具，主要为CUA(computer use agent)工具。

1 工具

pyautogui 

pyautogui 是一个能够模拟鼠标、键盘等输入操作的 Python 库，可以轻松实现自动化操作。

https://zhuanlan.zhihu.com/p/23356032557

ACU

Awesome Agents for Computer Use，收集Computer Use的研究论文

https://github.com/trycua/acu

2 框架

computer_use

字节开源的computer use框架

https://github.com/volcengine/ai-app-lab/tree/main/demohouse/computer_use

openclaw

OpenClaw核心在于其类人化交互模式。

不同于需要专用客户端AI工具，OpenClaw通过消息适配器直接接入WhatsApp、钉钉。

用户只需在聊天窗口发送指令即可触发任务执行，这种设计让技术操作更接近日常对话。

当预定餐厅失败时，系统会自动切换电话预约策略，并实时反馈进展寻求确认。

这种动态交互彻底改变了AI被动响应的传统模式。

https://open-claw.org.cn/guide/getting-started

​​​​​​https://github.com/openclaw/openclaw

OpenManus

Manus的开源平替

https://github.com/mannaandpoem/OpenManus_Archive/tree/main

https://blog.csdn.net/liliang199/article/details/156061307

https://github.com/FoundationAgents/OpenManus

OWL

OWL是Manus和OpenManus的完美平替。

OWL注重自主规划与执行。能够启动Ubuntu容器，自动挂载数据、制定并执行任务计划。

https://github.com/camel-ai/owl

https://blog.csdn.net/liliang199/article/details/156107488

UFO

微软开源的CUA工具，包括UFO2、UFO3等。

https://github.com/microsoft/UFO/

langmanus

字节开源，Manus另一个开源平替

https://github.com/Darwin-lfl/langmanus

operator

openai发布的CUA工具operator

https://openai.com/index/introducing-operator/

NeoAI

NeoAI无需编写代码，让 AI 用简单的自然语言指令接管你的电脑，支持文件管理、任务自动化、定时操作和跨平台设备控制，并内置安全保护。

https://github.com/TheD0ubleC/NeoAI

OmniParser-V2

通过一句话让DeepSeek LLM控制电脑的框架。

OmniParser: Screen Parsing tool for Pure Vision Based GUI Agent

https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/

https://github.com/microsoft/OmniParser/tree/master

PC-Agent

一种能使用LLM控制桌面工作的开源工具。

https://github.com/X-PLUG/MobileAgent/tree/main/PC-Agent

https://github.com/X-PLUG/MobileAgent/tree/main

OpenCUA/CUA

一个用于构建和扩展 CUA（使用计算机的智能体）的完全开源的框架。具体来说，该框架包括：

• 一个用于捕获人类使用计算机的演示的注释工具
• AgentNet，首个涵盖 3 个操作系统和 200 多个应用程序/网站的大规模数据集
• 一个将演示转化为具有长思维链推理的「状态-动作」对的工作流程

https://arxiv.org/abs/2508.09123

https://github.com/trycua/cua

https://github.com/xlang-ai/OpenCUA

https://zhuanlan.zhihu.com/p/1890889365196109726

Cradle

Cradle 是BAAI‑Agents开源的一款面向 通用计算机控制（GCC） 的多模态 AI Agent 框架，可以让大型多模态模型，通过截图输入和键鼠输出，像人一样使用各种软件和游戏。

• 通用目标：支持任意本地软件（如游戏、Office、图像/视频编辑工具）

• 多模态输入：以截图为输入，支持键盘鼠标操作输出

• 自主能力：内置“认知反思+技能更新”模块，能不断自我优化

• 模块化设计：兼顾高可控性和扩展性，轻松适配新环境

https://github.com/BAAI-Agents/Cradle

NeuralAgent

NeuralAgent​ 是一款革命性的桌面AI助手，真正能够在用户桌面上执行操作。

与传统AI对话系统不同，NeuralAgent能够实际控制鼠标、键盘，操作浏览器，填写表单，发送邮件，真正实现"思考即执行"的智能化体验。

https://github.com/mosdehcom/neuralagent

Open-Interpreter

Open-Interpreter是可以联网的 ChatGPT 代码解释器。

https://github.com/OpenInterpreter/open-interpreter

3 测试集

收集computer use的benchmark测试集。

AppWorld

AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents

https://arxiv.org/abs/2407.18901

https://github.com/stonybrooknlp/appworld

GAIA

GAIA: a benchmark for General AI Assistants

https://arxiv.org/abs/2311.12983

https://huggingface.co/papers/2311.12983

https://huggingface.co/collections/gaia-benchmark/gaia-release

refernece

---

计算机使用智能体CUA与场景应用融合探讨

https://blog.csdn.net/liliang199/article/details/156243330

ACU - Awesome Agents for Computer Use

https://github.com/trycua/acu

使用Python实现鼠标与键盘自动化操作：从基础到实战应用

https://zhuanlan.zhihu.com/p/23356032557

Cradle：颠覆AI Agent 操作本地软件，AI驱动的通用计算机控制框架，如何让基础模型像人一样操作你的电脑？ 

https://www.cnblogs.com/xiaohuatongxueai/p/19017467

港大联手月之暗面等开源OpenCUA：人人可造专属电脑智能体

https://zhuanlan.zhihu.com/p/1939274895700784967

Cua：Mac用户狂喜！这个开源框架让AI直接接管你的电脑，快速实现AI自动化办公

https://zhuanlan.zhihu.com/p/1890889365196109726

OmniParser V2: Turning Any LLM into a Computer Use Agent

https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/

 AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents

https://arxiv.org/abs/2407.18901

🦉 OWL: Optimized Workforce Learning for General Multi-Agent Assistance in Real-World Task Automation

https://github.com/camel-ai/owl

大模型操作桌面完成数据采集任务示例 - OWL

https://blog.csdn.net/liliang199/article/details/156107488

Introducing Operator

https://openai.com/index/introducing-operator/

能控制手机屏幕的开源agent多模态工具

https://blog.csdn.net/liliang199/article/details/156911089

OpenClaw是什么？OpenClaw能做什么？2026年OpenClaw详细介绍及部署教程

https://zhuanlan.zhihu.com/p/2001059709017408863