将LLM（大语言模型）作为“大脑”来控制计算机完成任务，正在从概念验证快速走向实际应用。

这不仅仅是简单的自动化，而是朝着创建通用AI助理/代理的方向发展。

以下是对这个领域的进一步探索，涵盖不同层次、现有工具、技术挑战和未来展望。

1  现有工具与项目

1.1. 以编码和文本操作为核心

这类工具主要利用LLM的代码生成能力。

1）Cursor、Windsurfer、Codeium等AI IDE

本质上，它们让LLM（如GPT-4）通过编辑代码文件来“控制”计算机。你描述需求，它修改代码，然后**由开发者手动或通过IDE内置命令执行**。控制是间接的、回合制的。

2）Aider、GPT Engineer

命令行代码助手。你可以要求它们创建、修改整个项目。它们通过读写文件系统来控制项目状态，但仍需用户运行代码。

3）Shell/AutoHotkey脚本生成

让LLM生成可以直接在终端或Windows自动化工具中运行的脚本。这是最原始但有效控制形式。

1.2. 操作系统级“动作空间”

为LLM提供更接近人类用户的交互能力，如模拟键鼠、操控GUI、调用系统API。

1）OpenAI的GPTs + 自定义Action

通过API，GPT可以调用外部工具（如日历、邮件、智能家居API），但这更多是网络服务调用，而非直接控制本地计算机。

2）开源代理框架

这些项目为LLM提供了“工具使用”的框架，可以集成本地操作。

LangChain / LlamaIndex：核心是“工具调用”能力。开发者可以为其创建自定义工具，例如`read_file`, `execute_command`, `click_button`。这构成了自主代理的基础。

Microsoft AutoGen：支持创建多代理协作系统，代理可以调用Python函数来执行几乎任何计算机操作（只要有对应的库）。

3）专用桌面控制代理：

Cline：一个命令行助手，可以直接在终端中执行它生成的命令（需用户授权），实现了从自然语言到命令行操作的闭环。

OpenAI计算机使用研究：OpenAI曾演示过让GPT-4通过视觉（屏幕截图）和键盘鼠标指令来控制电脑，完成如整理发票等任务。这揭示了“视觉-动作”的终极路径。

开源实现如`WebArena`、`MiniWoB++` 提供了浏览器/简单桌面环境，用于训练和评估AI代理完成具体任务。

1.3 多模态与具身智能

这是最接近“贾维斯”的愿景。

1）多模态模型作为“眼睛

使用GPT-4V、Gemini Vision、开源VLM（如LLaVA）来理解屏幕内容（截图）、图标、界面布局。这是实现通用GUI操作的前提。

2）“动作空间”抽象化

不再局限于模拟键鼠，而是构建更高级的指令集。例如：

UI元素树操作：通过可访问性API（如Windows的UI Automation, macOS的Accessibility）直接获取按钮、文本框列表，并对其进行“点击”、“输入”等操作。这比视觉识别更稳定。

应用特定API：直接为Agent提供如`photoshop.open_image()`、`excel.sort_range()`等高级函数。

3）研究项目

Voyager (Minecraft)：在《我的世界》中，一个LLM驱动的Agent能够通过代码不断探索、学习并掌握游戏技能。这展示了在受限环境中的终身学习能力。

Robotic Transformer (RT系列)：将自然语言指令转化为机器人动作，其原理（视觉-语言-动作映射）与计算机控制高度相通。

2 核心技术挑战与瓶颈

2.1 可靠性

LLM的输出具有不确定性。一个错误命令（如`rm -rf /`）可能造成灾难。需要构建安全的“沙箱”环境和确认机制。

2.2 长程任务规划与记忆

处理复杂、多步骤任务（如“为我准备季度报告”）时，Agent需要记住上下文、分解任务、从失败中恢复。这涉及工作记忆、长期记忆和反思机制。

2.3 有限的“动作空间”

计算机环境极其复杂。如何为Agent设计一套既通用又高效的动作指令集？是模拟像素点击，还是操作DOM/UI树？各有利弊。

2.4 评估与调试

如何评估一个自主Agent的表现？当它失败时，如何像调试程序一样调试它的“思考过程”？

2.5 计算成本与延迟

持续截图并用VLM分析，或频繁调用大模型进行决策，成本高昂且速度慢，难以实时交互。

3 未来方向探索

3.1 探索方向

1）混合架构

“慢思考”LLM负责高层规划，“快思考”小模型或规则系统负责低级、重复性操作。

2）从演示中学习

记录人类操作计算机的过程（屏幕录像+动作流），训练Agent模仿（模仿学习）。这比纯指令驱动更自然。
3）强化学习

让Agent在计算机环境中通过试错获得奖励（如成功完成任务），从而自我优化策略。

4）操作系统原生集成

未来的操作系统可能内置一个AI代理层，提供安全、标准化的API供AI调用，从根本上解决动作空间和安全问题。

5）垂直领域深化

通用AI助理难度极大，但编码助手、数据分析助手、设计助手等垂直工具已经非常实用且正在快速进化。

3.2 探索切入点

如果想开始探索或构建这类工具：

1）从API开始

用LangChain定义简单的工具（如搜索文件、发送邮件），构建一个能调用工具的聊天机器人。

2）探索UI自动化库

学习pyautogui（像素级）、playwright/selenium（浏览器）、pywinauto/Appium（桌面/移动App）。将它们封装成工具给LLM调用。

3）引入视觉

尝试用`GPT-4V`或`LLaVA`分析截图，让Agent“看到”屏幕内容。

4）始终牢记安全

在沙箱（虚拟机、容器）中测试，为危险操作（文件删除、系统设置修改）设置严格确认流程。

3.3 探索展望

LLM控制计算机正从辅助编程走向辅助通用操作，并最终可能发展为自主数字代理。

目前正处于爆发初期，技术栈快速演变。其核心在于将LLM的推理和规划能力，与稳定、安全的环境感知和动作执行模块相结合。虽然离电影中的全能AI管家尚有距离，但在特定、结构化的场景中，实用的AI生产力助手已经触手可及。

reference

---

大模型操作计算机完成数据采集任务示例 - OWL

https://blog.csdn.net/liliang199/article/details/156107488

能控制计算机桌面的多模态AI agent

https://blog.csdn.net/liliang199/article/details/156018145

deepseek

https://chat.deepseek.com/