OpenClaw浏览器自动化：ollama-QwQ-32B驱动的智能表单填写系统

1. 为什么需要浏览器自动化助手

每次遇到需要重复填写的网页表单时，我都会感到一阵烦躁。上周帮公司行政部处理300份员工信息录入时，这种烦躁达到了顶峰——机械地复制粘贴、点击提交、等待页面刷新，整整耗费了我6个小时。这种低效的重复劳动，正是OpenClaw这类自动化工具的最佳应用场景。

与传统爬虫或RPA工具不同，OpenClaw的独特之处在于它结合了大模型的认知能力。当表单结构变化时，传统工具需要重新编写规则，而我的ollama-QwQ-32B驱动方案可以理解页面语义，自动适应调整。这个方案的核心价值在于：

• 认知型操作：不仅能执行点击/输入，还能理解"姓名栏应该填什么"
• 动态适应：当表单字段顺序变化时仍能正确识别
• 上下文生成：自动生成符合字段要求的合理内容

2. 系统架构与核心组件

2.1 技术选型思考

在搭建这个系统前，我对比过几种方案。Selenium需要精确的XPath定位，Playwright虽然强大但缺乏认知能力，而直接调用浏览器API又太底层。最终选择的OpenClaw+ollama组合，在易用性和智能程度之间取得了平衡：

graph LR
    A[用户自然语言指令] --> B(OpenClaw主控)
    B --> C[ollama-QwQ-32B决策引擎]
    C --> D{操作类型判断}
    D -->|表单填写| E[浏览器自动化模块]
    D -->|内容生成| F[大模型文本生成]
    E --> G[结果验证与反馈]

2.2 关键配置要点

在~/.openclaw/openclaw.json中，我特别优化了模型调用参数：

{
  "models": {
    "providers": {
      "ollama-qwq": {
        "baseUrl": "http://localhost:11434",
        "api": "openai-completions",
        "models": [
          {
            "id": "QwQ-32B",
            "temperature": 0.3,
            "top_p": 0.9,
            "maxTokens": 1024
          }
        ]
      }
    }
  }
}

这里将temperature设为0.3是关键——既保持生成内容的多样性，又确保表单数据的准确性。过高的随机性会导致生成假邮箱或乱码地址，这点在早期测试中踩过坑。

3. 实现智能表单填写的三大阶段

3.1 页面元素识别策略

最初我尝试用传统的CSS选择器定位元素，但当遇到动态生成的表单时频繁失败。后来改用视觉+语义双重识别方案：

1. 视觉特征提取：通过OpenClaw的截图模块获取页面渲染结果
2. DOM结构分析：提取input/textarea元素的placeholder、label等语义线索
3. 模型决策：将上述信息传给ollama-QwQ-32B判断字段类型

# 伪代码示例：字段类型识别
def identify_field(screenshot, dom_info):
    prompt = f"""根据以下信息判断表单字段类型：
    - 视觉特征：{screenshot.description} 
    - HTML属性：{dom_info}
    可能是：姓名/电话/地址/邮箱/日期/其他"""
    response = ollama.generate(prompt)
    return parse_response(response)

3.2 内容生成的艺术

为不同字段生成合理内容需要精细控制。我的经验法则是：

• 基础字段：使用确定性规则（如邮箱必须含@）
• 复杂字段：结合模板与生成（如地址："{城市}市{区}区"+模型生成详细路段）
• 验证字段：保持前后一致性（如两次密码输入相同）

// 示例：联动字段生成
function generate_credit_card() {
    const cardType = ollama("生成信用卡类型：Visa/MasterCard/银联");
    return {
        number: generate_with_luhn(cardType), 
        expiry: `${randInt(1,12)}/${new Date().getFullYear()+3}`
    };
}

3.3 提交与验证机制

最令我头疼的是提交后的验证环节。有些网站会用隐藏的蜜罐字段检测机器人，有些会要求短信验证。目前的解决方案是：

1. 预提交检查：对比原始页面与提交后页面的DOM变化
2. 异常检测：监控网络请求中的异常状态码
3. 人工干预点：在关键环节设置暂停等待人工确认

4. 实战案例：招聘网站自动投递

以某招聘网站为例，完整流程如下：

1. 登录阶段：

   • 识别验证码类型（文字/滑块）
   • 对简单文字验证码调用OCR技能
   • 复杂验证码触发人工介入

2. 表单填写：

   # 安装招聘专用技能包
   clawhub install job-form-filler
   

   • 工作经历部分使用Markdown格式生成
   • 期望薪资根据职位要求自动调整范围

3. 智能提交：

   • 检测到"提交成功"字样后截图存档
   • 失败时自动重试最多2次
   • 连续失败转人工处理

5. 避坑指南与优化建议

在三个月实际使用中，我总结了这些经验：

• 性能优化：将常用字段（如省市列表）预加载到内存，减少模型调用
• 安全防护：在虚拟机中运行高风险操作，定期清理浏览器指纹
• 错误处理：为每种异常情况编写fallback方案，比如：
  • 当模型无法确定字段类型时，高亮该区域等待人工标注
  • 遇到CAPTCHA时自动暂停并播放提示音

最有效的调试方法是启用执行日志：

openclaw gateway --log-level=debug

6. 效果评估与未来可能

这套系统目前每天帮我处理约50份表单，错误率在3%左右。最大的惊喜是它能处理一些非标准表单——比如那种把输入框伪装成div的"反爬"设计。当然也有局限，比如无法处理需要真人视频验证的场景。

一个有趣的发现是：当表单结构足够规范时，其实可以不用大模型，传统方法更高效；但当面对各种"野生"表单时，这种认知型自动化才真正显现价值。这也让我重新思考AI自动化的适用边界——不是所有场景都需要上大模型，但在混乱的现实世界中，这种灵活性往往至关重要。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。