ToB 产品经理必读:如何设计 AI Agent Harness Engineering 的原生交互界面

1. 引入:90%的AI Agent落地失败,问题出在交互

如果你是ToB产品经理,大概率遇到过这样的场景:公司投入百万级预算搭建了AI Agent体系——供应链调度Agent能自动优化库存水平、销售线索孵化Agent能把转化率提升30%、客户成功Agent能自动识别流失风险,技术团队做了无数轮性能优化,准确率、召回率都达到了行业领先水平,结果上线三个月,使用率不到10%。
业务部门的反馈出奇一致:“太复杂了,我不会用”、“不知道它在干嘛,出了问题找不到原因”、“不敢随便点,怕捅娄子”。
这不是个例。根据Gartner 2024年的调研数据,全球企业部署的AI Agent项目中,只有12%实现了规模化落地,剩余88%都停留在试点阶段,其中62%的失败原因不是技术能力不足,而是用户交互设计与业务场景、管控需求不匹配
AI Agent和传统软件最大的区别是:传统软件是“确定性流程”,用户知道输入什么会得到什么输出;而AI Agent是“自主性执行”,用户只需要给出目标,Agent会自主规划路径、调用工具、做出决策。这种特性决定了我们不能用传统软件的UI设计逻辑,也不能用通用大模型的“聊天框”逻辑来做Agent的交互——聊天框只解决了“输入意图”的问题,却没有解决ToB场景最核心的「管控、可溯、合规、多角色协同」的需求。
这就是我们今天要聊的核心主题:AI Agent Harness Engineering(AI Agent管控工程)的原生交互界面设计——它不是事后给Agent套的UI壳子,而是从设计之初就和Agent的能力、管控逻辑、业务场景深度绑定的交互体系,是让Agent从“技术demo”变成“业务可用系统”的核心桥梁。
读完这篇文章,你将:

  • 彻底理解AI Agent Harness Engineering的核心概念,和传统AI产品交互的本质区别
  • 掌握原生交互界面的设计方法论,从需求调研到落地的全流程步骤
  • 拿到可直接复用的设计模板、接口规范、代码示例和最佳实践清单
  • 了解行业发展趋势,避免90%的产品经理都会踩的交互设计坑

2. 概念地图:先搞懂核心概念与关系网络

2.1 核心概念定义

我们先把几个核心术语讲透,避免认知偏差:

术语简明定义生活化类比
AI Agent具备感知环境、自主规划、工具调用、决策执行能力的AI实体,可以替代/辅助人类完成特定领域的复杂任务企业招聘的外包员工,有专业能力,能自主完成分配的任务
AI Agent Harness套在Agent上的“缰绳”体系,包含可观测、可管控、可调试、安全防护、合规审计五大核心能力,确保Agent的行为符合业务目标与监管要求企业的HR+行政+部门主管+合规部门组成的管理体系,管员工的权限、进度、风险、合规
AI Agent Harness Engineering把Harness体系工程化落地的方法论,覆盖Agent的全生命周期管理:从部署、调试、运行、迭代到下线的全流程管控企业的人力资源管理体系,从招聘、培训、考核、迭代到离职的全流程管理
原生交互界面和Harness体系同构设计的用户交互层,不是事后附加的UI,而是从设计之初就和Harness的管控逻辑、Agent的能力、业务场景深度绑定,针对不同角色的用户提供对应的交互视图企业的协同办公系统:员工看自己的任务面板,主管看团队进度看板,合规看审计报表,HR看人员数据

2.2 概念边界与适用范围

2.2.1 核心适用场景

原生交互界面专为ToB复杂场景设计,满足以下条件的场景都需要:

  1. 有多角色使用需求:业务人员、运维人员、安全合规人员、开发人员都要使用
  2. 有管控合规要求:Agent的决策会影响业务结果,需要留痕、可审计、可干预
  3. 任务复杂度高:Agent需要自主规划路径、调用多个工具、做出多步决策
  4. 需要持续迭代:需要基于用户的反馈不断优化Agent的能力
2.2.2 不适用场景
  1. C端简单交互场景:比如C端的聊天机器人、AI绘图工具,不需要复杂管控,用通用聊天框即可
  2. 固定流程的RPA场景:所有步骤都是预先定义的,不需要Agent自主决策,用传统流程配置界面即可
2.2.3 和传统AI交互的核心差异

我们用一张表格对比两者的本质区别:

对比维度传统AI产品交互AI Agent Harness原生交互
设计目标降低使用门槛,快速拿到结果平衡易用性与可控性,实现Agent的规模化落地
用户群体单一角色(比如仅业务用户)多角色(业务、运维、安全、开发)
核心能力仅支持意图输入、结果输出支持意图输入、状态观测、管控干预、反馈迭代、合规审计全闭环
交互模式单一模式(比如仅聊天框)复合模式(聊天框+看板+表单+审批流+可视化)
管控能力无/极弱强管控:支持暂停、终止、回滚、参数调整、权限管控
可追溯性不可溯/仅支持结果追溯全链路可溯:每一步决策、每一次工具调用、每一个参数都可查
适配场景简单通用场景复杂ToB业务场景

2.3 核心实体关系

我们用ER图展示整个体系的实体关系:

belongs_to

corresponds_to

connects_to

controls

generates

generates

submits

optimizes

USER

string

user_id

PK

string

username

string

role

FK

string

department

ROLE

string

role_id

PK

string

role_name

json

permission_config

json

view_config

int

risk_approval_threshold

INTERFACE_VIEW

string

view_id

PK

string

view_name

json

component_list

string

role_id

FK

int

default_display_level

HARNESS_MODULE

string

harness_id

PK

string

function_name

string

control_type

json

rule_config

string

risk_level

AGENT_INSTANCE

string

agent_id

PK

string

agent_name

json

capability_config

string

status

float

current_confidence

json

current_task

datetime

start_time

OPERATION_LOG

string

log_id

PK

string

user_id

FK

string

agent_id

FK

string

operation_type

datetime

operation_time

json

detail

string

audit_status

FEEDBACK_RECORD

string

feedback_id

PK

string

user_id

FK

string

agent_id

FK

int

score

string

content

json

iteration_suggestion

datetime

create_time

2.4 系统交互流程

整个系统的交互逻辑如下:

校验不通过

校验通过

不同角色用户登录

根据角色渲染对应视图界面

用户输入业务目标/约束/管控操作

Harness层校验权限、合规性、操作合法性

返回错误提示,说明原因

意图翻译:业务语言转Agent可识别的指令/业务状态转用户可理解的语言

操作下发给Agent执行/状态同步给用户

全链路记录操作日志、Agent运行数据

用户提交反馈

反馈同步到Agent迭代数据集,优化Agent能力


3. 基础理解:用简化模型建立直观认知

3.1 最简模型:四层交互架构

我们可以把原生交互界面简化成四层模型,每一层对应不同的用户需求:

层级作用面向用户核心内容
业务操作层让业务用户不用懂技术就能用Agent业务人员(销售、供应链、客户成功等)业务目标输入、结果展示、简单管控操作(确认/驳回/调整优先级)
运维管理层让运维人员管好用好Agent集群运维人员运行状态看板、性能监控、故障告警、资源调度
安全合规层让合规人员管控风险,满足监管要求安全/合规人员风险预警、审计报表、权限管控、合规规则配置
开发调试层让开发人员快速迭代Agent能力开发/算法人员调试面板、日志查询、参数调整、效果评估
举个直观的例子:某快消企业的销售线索孵化Agent的原生交互界面
  • 销售主管打开界面,看到的是:输入框(“下个月华东区的线索转化率提升15%”)、线索看板(高意向客户列表、跟进策略建议)、简单操作按钮(确认下发/调整策略),完全看不到任何技术术语
  • 运维人员打开界面,看到的是:Agent的调用成功率、延迟、资源使用率、故障告警列表
  • 合规人员打开界面,看到的是:Agent生成的跟进策略的合规率、敏感信息检测结果、操作审计日志
  • 算法人员打开界面,看到的是:Agent的决策逻辑、特征重要性、badcase列表、参数调整面板

3.2 常见误解澄清

很多ToB产品经理在设计的时候会踩以下几个坑,我们提前澄清:

误解1:AI Agent的交互就是做个聊天框

大错特错。聊天框只是意图输入的一种方式,对于ToB场景,你还需要:

  • 批量上传Excel/CSV数据作为输入
  • 可视化展示Agent的执行进度、决策依据
  • 嵌入审批流,高风险操作需要上级审批
  • 导出符合业务要求的报表
  • 和现有CRM/ERP/OA系统集成,不用切换平台
    聊天框+看板+表单+审批流的复合交互,才是ToB场景的正确打开方式。
误解2:交互越简单越好,要把所有技术细节都藏起来

不对。“简单”的前提是“可控”,该暴露的风险、该让用户确认的信息绝对不能省:

  • Agent的决策置信度低于阈值的时候,必须展示决策依据让用户确认
  • 高风险操作(比如批量给10万客户发营销短信)必须做二次确认,并且展示风险提示
  • 所有操作都要留痕,支持溯源
    正确的做法是分层披露:默认展示业务层面的信息,技术层面的信息可以折叠,有需要的时候再展开。
误解3:Agent是全自动的,不需要人工干预

理想很丰满,现实很骨感。目前的AI Agent还做不到100%准确,尤其是在复杂ToB场景,人工干预是必备能力:

  • 当Agent遇到不确定的情况,要主动发起人工干预请求
  • 用户可以随时暂停、终止、回滚Agent的执行
  • 用户可以调整Agent的参数、优先级、约束条件

4. 层层深入:从原理到落地的全路径

4.1 第一层:基本原理与核心机制

原生交互界面的核心是实现「意图对齐-执行可控-结果可溯-能力可进化」的闭环,有四个核心机制:

4.1.1 意图翻译机制

解决“业务语言和Agent指令不互通”的问题,双向翻译:

  • 正向翻译:把用户输入的自然语言业务目标(“下个月华东区缺货率控制在2%以内,物流成本不超过营收的3%”)转换成Agent能理解的结构化指令:
    {
      "task_type": "supply_chain_optimization",
      "region": "华东区",
      "time_range": "2024-07-01至2024-07-31",
      "constraints": [
        "stockout_rate <= 0.02",
        "logistics_cost_ratio <= 0.03"
      ],
      "priority": "high"
    }
    
  • 反向翻译:把Agent的内部状态(“当前正在调用库存API,查询上海仓的SKU库存数据,置信度0.87”)转换成业务用户能懂的语言:“当前正在核对华东区3个仓库的库存数据,发现上海仓的临期商品占比12%,正在评估是否要降价促销”。
4.1.2 状态同步机制

解决“不知道Agent在干嘛”的问题,实时同步Agent的全链路状态:

  • 执行进度:当前完成了多少步骤,剩余多少时间
  • 依赖关系:当前步骤依赖哪些数据/其他Agent的输出
  • 风险预警:有没有遇到问题,会不会逾期,有没有合规风险
  • 决策依据:每一步决策的原因、引用的数据源、置信度
4.1.3 管控操作机制

解决“管不住Agent”的问题,所有管控操作都要在界面上有对应的入口:

  • 基础操作:启动、暂停、继续、终止
  • 参数调整:调整业务约束、优先级、置信度阈值
  • 故障处理:回滚到执行前的状态、重试失败的步骤
  • 权限管控:不同角色有不同的操作权限,高风险操作需要审批
4.1.4 反馈迭代机制

解决“Agent越用越笨”的问题,用户的反馈直接同步到Agent的迭代流程:

  • 结果评分:用户可以给Agent的输出打分(1-5分)
  • 修正建议:用户可以修改Agent的输出,给出修正意见
  • 自动迭代:反馈数据自动进入RLHF/微调数据集,不用走技术工单

4.2 第二层:细节、例外与特殊情况

4.2.1 多Agent协作场景的交互设计

当多个Agent协同完成一个任务的时候(比如销售Agent跟进客户→合同Agent生成合同→履约Agent安排发货),交互界面要满足:

  • 清晰展示每个Agent的职责、当前状态、依赖关系
  • 可以单独管控某个Agent的执行,不影响其他Agent
  • 全局视角展示整个任务的进度、风险点、瓶颈
4.2.2 高风险场景的交互设计

对于金融、政务、医疗等高风险场景,要满足:

  • 所有操作都要做二次确认,并且留痕
  • 风险等级可视化展示:低风险(绿色)、中风险(黄色)、高风险(红色)
  • 高风险操作必须走审批流,审批通过才能执行
  • 支持一键回滚,快速止损
4.2.3 离线场景的交互设计

当Agent需要离线运行(比如工厂的生产调度Agent,网络不稳定),要满足:

  • 可以离线提交任务,网络恢复后自动执行
  • 本地缓存操作日志,网络恢复后自动同步
  • 离线状态下可以查看Agent的历史运行数据

4.3 第三层:底层逻辑与数学模型

4.3.1 核心设计原则:抽象层级匹配

不同角色的用户的认知抽象层级不一样,交互界面要匹配对应的层级:

  • 业务用户:抽象层级最高,只关心“目标是什么,结果是什么,有没有风险”
  • 运维用户:抽象层级中等,关心“运行稳不稳定,有没有故障,资源够不够”
  • 安全用户:抽象层级中等,关心“有没有违规,有没有泄露数据,有没有风险”
  • 开发用户:抽象层级最低,关心“逻辑对不对,参数好不好,badcase是什么”
4.3.2 核心数学模型
  1. 意图匹配度计算
    用于判断Agent能不能支持用户的需求:
    Sim(userintent,agentcapability)=α×Cos(Embuser,Embcap)+β×Match(Constraintuser,Constraintcap)Sim(user_intent, agent_capability) = \alpha \times Cos(Emb_{user}, Emb_{cap}) + \beta \times Match(Constraint_{user}, Constraint_{cap})Sim(userintent,agentcapability)=α×Cos(Embuser,Embcap)+β×Match(Constraintuser,Constraintcap)
    其中:
  • Cos(Embuser,Embcap)Cos(Emb_{user}, Emb_{cap})Cos(Embuser,Embcap)是用户意图和Agent能力描述的向量余弦相似度
  • Match(Constraintuser,Constraintcap)Match(Constraint_{user}, Constraint_{cap})Match(Constraintuser,Constraintcap)是用户约束和Agent支持的约束的匹配得分
  • α\alphaα是意图匹配权重,默认0.6;β\betaβ是约束匹配权重,默认0.4
  • Sim>=0.7Sim >= 0.7Sim>=0.7的时候,认为Agent可以支持该需求
  1. 决策风险值计算
    用于判断是否需要人工干预:
    Risk(decision)=ω1×Perror+ω2×Impactbusiness+ω3×ViolationcomplianceRisk(decision) = \omega_1 \times P_{error} + \omega_2 \times Impact_{business} + \omega_3 \times Violation_{compliance}Risk(decision)=ω1×Perror+ω2×Impactbusiness+ω3×Violationcompliance
    其中:
  • PerrorP_{error}Perror是决策错误的概率,由Agent的置信度计算得到
  • ImpactbusinessImpact_{business}Impactbusiness是业务影响权重,1-10分,分数越高影响越大
  • ViolationcomplianceViolation_{compliance}Violationcompliance是合规违规程度,0-1分,1代表严重违规
  • ω1=0.3,ω2=0.4,ω3=0.3\omega_1=0.3, \omega_2=0.4, \omega_3=0.3ω1=0.3,ω2=0.4,ω3=0.3是默认权重
  • Risk>0.7Risk > 0.7Risk>0.7的时候,弹出强制人工干预提示,无法自动执行
  1. 信息展示优先级计算
    用于决定界面上优先展示什么信息:
    Priority(info)=γ1×Relevance(userrole,info)+γ2×Urgency(info)+γ3×Frequency(userusage,info)Priority(info) = \gamma_1 \times Relevance(user_role, info) + \gamma_2 \times Urgency(info) + \gamma_3 \times Frequency(user_usage, info)Priority(info)=γ1×Relevance(userrole,info)+γ2×Urgency(info)+γ3×Frequency(userusage,info)
    其中:
  • RelevanceRelevanceRelevance是信息和用户角色的相关度
  • UrgencyUrgencyUrgency是信息的紧急程度(比如告警信息紧急程度最高)
  • FrequencyFrequencyFrequency是用户使用该信息的频率
  • 优先级越高的信息,放在界面越显眼的位置

4.4 第四层:高级应用与拓展思考

4.4.1 自适应交互

根据用户的使用习惯、角色、场景自动调整界面:

  • 供应链经理经常看缺货率,打开界面默认展示缺货率看板
  • 新用户默认展示基础功能,高级功能折叠,使用一段时间后自动展开
  • 不同的场景下自动切换交互模式:比如做数据分析的时候自动展示可视化面板,写邮件的时候自动展示编辑面板
4.4.2 多模态交互

支持多种输入输出方式:

  • 语音输入业务目标,不用打字
  • 上传Excel/图片/视频作为输入,自动解析内容
  • 输出支持可视化报表、语音播报、AR展示
  • 支持手势操作(比如AR场景下用手势暂停Agent的执行)

5. 多维透视:从不同视角看交互设计

5.1 历史视角:AI交互的演进历程

我们用一张表格展示AI交互的发展脉络:

时间区间发展阶段核心技术支撑典型交互形态核心设计目标适用场景核心痛点
2015年及以前规则驱动型智能系统专家系统、规则引擎表单配置界面、流程可视化界面降低规则配置成本固定流程的业务场景(如简单RPA、审批流)灵活性极差,业务变化需要重新配置规则,维护成本高
2016-2022年大模型通用交互阶段预训练大模型、Prompt Engineering对话式聊天框降低使用门槛,让非技术用户也能调用AI能力通用信息查询、简单内容生成场景不可控、不可溯、输出不稳定,无法满足ToB场景的合规、管控需求
2023-2025年(当前)AI Agent Harness 原生交互阶段多Agent协作、可观测性技术、RLHF多角色多视图交互界面、融合对话+看板+表单+审批流的复合交互平衡易用性与可控性,实现AI Agent的规模化落地复杂ToB业务场景(如供应链调度、客户成功、投研分析、合规审核)缺乏统一设计规范,不同厂商的交互逻辑差异大,用户学习成本高
2026-2030年(未来)自适应原生交互阶段多模态大模型、空间计算、脑机接口自适应多模态交互、AR/VR沉浸式交互、脑机交互实现“意图即服务”,用户无需学习即可使用AI能力所有需要AI辅助的场景隐私风险、伦理风险,需要建立完善的监管体系

5.2 实践视角:不同行业的应用案例

案例1:制造行业-供应链调度Agent交互

某头部汽车制造企业的供应链调度Agent,服务3类用户:

  • 供应链经理:界面左侧是目标输入框(“下个月华东工厂的产能利用率提升到90%,零部件库存周转天数控制在7天以内”),中间是调度结果看板(每个工厂的产能、库存、物流路线),右侧是风险预警(缺料预警、物流延迟预警),操作按钮只有“确认执行”、“调整约束”两个,核心操作3步完成。
  • 物流主管:界面展示每条物流路线的时效、成本、异常情况,可以手动调整路线,调整后自动重新计算调度结果。
  • 合规人员:界面展示所有调度决策的审计日志,是否符合进出口管制要求,是否有供应商合规风险。
    上线后,供应链调度时间从原来的3天缩短到2小时,缺货率从5%下降到1.2%,使用率达到87%。
案例2:金融行业-投研Agent交互

某头部券商的投研Agent,服务研究员、合规人员、基金经理:

  • 研究员:可以上传研报、财报、行业数据,输入“分析新能源行业2024年的投资机会,覆盖政策、技术、市场三个维度,不能推荐具体股票”,界面左侧展示执行进度(当前已经分析了120份研报,30份财报),中间展示研报草稿,右侧展示引用的数据源、置信度、风险提示,研究员可以直接修改草稿,修改后的内容自动同步到Agent的训练数据集。
  • 合规人员:界面展示所有研报的合规检测结果,有没有敏感内容,有没有违反监管要求,不合格的研报自动打回,留痕记录。
  • 基金经理:界面展示总结版的研报结论、核心逻辑、风险提示,不用看完整的研报就能快速决策。
    上线后,研究员的研报写作时间从原来的2周缩短到3天,合规审核时间从1天缩短到10分钟,错误率下降60%。

5.3 批判视角:当前的局限性与争议

  1. 缺乏统一规范:目前行业还没有统一的交互设计规范,不同厂商的Agent交互逻辑差异很大,用户学习成本高。
  2. 信息过载问题:对于超复杂的多Agent系统(比如几十上百个Agent协同完成一个任务),状态展示容易信息过载,用户找不到核心信息。
  3. 信任建立困难:用户需要很长时间才能信任Agent的决策,尤其是在高风险场景,很多用户还是倾向于自己做决策。
  4. 隐私风险:交互过程中会收集大量的用户行为数据、业务数据,容易造成隐私泄露。

5.4 未来视角:发展趋势

  1. 无代码化配置:产品经理/业务人员不用写代码,就能通过拖拽的方式配置Agent的交互界面,适配不同的业务场景。
  2. 空间计算交互:戴AR眼镜就能看到Agent的运行状态,用手势就能完成管控操作,不用对着电脑屏幕。
  3. 脑机交互:不用打字、不用说话,直接通过脑电波输入意图,Agent就能理解执行。
  4. 跨系统无缝集成:Agent的交互入口嵌入到所有现有系统(CRM、ERP、OA、飞书/企业微信),不用切换平台就能使用。

6. 实践转化:可直接落地的设计方法论

6.1 设计原则

所有设计都要遵循以下四个原则:

  1. 角色优先原则:先梳理所有使用角色的需求,再设计界面,而不是先做功能再配UI。
  2. 管控前置原则:所有安全合规的管控点要放在最显眼的位置,不要藏在设置里。
  3. 最小认知负荷原则:同一层级的信息不要超过7个,专业术语要加业务解释,核心操作步骤不要超过3步。
  4. 闭环原则:所有操作都要有反馈,所有结果都要有溯源入口,所有反馈都要同步到Agent的迭代流程。

6.2 落地步骤

第一步:角色与需求调研

列出所有相关角色,调研每个角色的核心诉求、高频操作、痛点:

角色核心诉求高频操作痛点
业务用户快速拿到想要的结果,不用懂技术输入目标、查看结果、确认决策看不懂技术术语,不知道Agent在干嘛,出了问题找不到原因
运维用户保证Agent稳定运行,快速定位故障查看监控、处理告警、调度资源故障定位慢,不知道是业务问题还是技术问题
合规用户保证Agent的行为符合监管要求查看审计日志、配置合规规则、处理风险告警不知道Agent做了什么,出了合规问题找不到责任人
开发用户快速迭代Agent的能力,解决badcase查看日志、调试参数、评估效果收集反馈慢,迭代周期长
第二步:能力映射

把Agent的所有能力、管控点、输出内容映射到对应的角色界面:

  • 哪些能力给业务用户开放,哪些只给开发用户开放
  • 哪些管控点要前置展示,哪些可以折叠
  • 哪些输出内容要转换成业务语言,哪些保留技术术语
第三步:交互流程设计

用流程图画出从意图输入到反馈迭代的全流程,比如:

不通过

通过

确认

风险值>阈值

审批通过

审批驳回

业务用户输入业务目标

系统校验权限/合规性

返回错误提示

匹配Agent能力,生成执行方案+风险提示

用户确认/调整约束

Agent执行,实时同步状态

执行完成,展示结果+溯源入口

用户打分/提交修正意见

反馈同步到迭代数据集,优化Agent能力

弹出人工干预提示,提交上级审批

终止执行,返回原因

第四步:原型设计与可用性测试
  • 先做低保真原型,找真实用户测试,尤其是业务用户,看能不能不用培训就完成核心操作。
  • 收集用户反馈,迭代原型,直到核心任务完成率达到90%以上,首次使用学习时间小于5分钟。

6.3 系统设计示例

我们以「销售线索孵化AI Agent Harness系统」为例,给出完整的系统设计:

6.3.1 项目介绍

面向快消行业的销售线索孵化系统,能自动分析客户的行为数据、属性数据,生成线索优先级和跟进策略,提升销售转化率,服务销售主管、运维人员、合规人员、算法人员四类用户。

6.3.2 环境安装
  • 后端:Python 3.10 + FastAPI + LangGraph
  • 前端:React 18 + Ant Design 5
  • 数据存储:PostgreSQL 15(存储业务数据、操作日志) + Redis 7(缓存状态、嵌入向量) + Elasticsearch 8(存储日志、支持全文检索)
  • 大模型:GPT-4o / 通义千问4
6.3.3 系统功能设计
模块功能描述面向角色
意图解析模块支持自然语言输入、Excel上传、表单输入三种方式,解析业务目标和约束所有角色
状态可视化模块实时展示Agent的执行进度、决策依据、风险预警所有角色
管控操作模块支持启动、暂停、终止、回滚、调整参数、审批等操作所有角色
合规审计模块记录所有操作和决策,支持全链路溯源、合规检测、审计报表导出合规人员
反馈迭代模块支持用户打分、提交修正意见,自动同步到迭代数据集业务用户、算法人员
运维监控模块展示Agent的性能、可用性、资源使用率,故障告警运维人员
调试优化模块支持查看日志、调整参数、评估效果、badcase分析算法人员
6.3.4 系统架构设计

分层架构,从下到上:

Agent执行层:多Agent集群、工具调用引擎、大模型

Harness管控层:可观测模块、管控模块、合规模块、迭代模块

交互适配层:多角色视图引擎、意图翻译引擎、多模态适配引擎

用户界面层:PC端、移动端、AR端、企业微信/飞书端

6.3.5 系统接口设计

核心接口如下:

接口请求方式参数返回值描述
/api/v1/intent/submitPOSTuser_id, intent_text, constraints, filesintent_id, matched_capability, risk_level, suggestion提交业务意图
/api/v1/agent/status/{intent_id}GETintent_idstatus, progress, current_step, risk_warning, execution_log查询Agent执行状态
/api/v1/control/operatePOSTuser_id, intent_id, operation_type, paramsresult, audit_log_id执行管控操作
/api/v1/feedback/submitPOSTuser_id, intent_id, score, content, suggestionfeedback_id提交反馈
/api/v1/audit/exportGETstart_time, end_time, user_id, agent_idfile_url导出审计报表
6.3.6 核心实现源代码

意图匹配模块的Python实现:

from typing import List, Dict
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from openai import OpenAI

client = OpenAI()

class IntentMatcher:
    def __init__(self, agent_capabilities: List[Dict], alpha: float = 0.6, beta: float = 0.4):
        """
        初始化意图匹配器
        :param agent_capabilities: Agent能力列表,每个元素包含capability_name, capability_desc, constraints
        :param alpha: 意图描述匹配权重
        :param beta: 约束匹配权重
        """
        self.agent_capabilities = agent_capabilities
        self.alpha = alpha
        self.beta = beta
        # 预先生成所有能力的嵌入向量
        self.capability_embeddings = []
        for cap in agent_capabilities:
            emb = self._get_embedding(cap["capability_desc"])
            self.capability_embeddings.append(emb)
    
    def _get_embedding(self, text: str) -> np.ndarray:
        """获取文本的嵌入向量"""
        response = client.embeddings.create(input=text, model="text-embedding-3-small")
        return np.array(response.data[0].embedding).reshape(1, -1)
    
    def _constraint_match_score(self, user_constraints: List[str], cap_constraints: List[str]) -> float:
        """计算约束匹配得分,0-1之间"""
        if not user_constraints:
            return 1.0
        matched = 0
        for uc in user_constraints:
            for cc in cap_constraints:
                if uc.lower() in cc.lower() or cc.lower() in uc.lower():
                    matched += 1
                    break
        return matched / len(user_constraints)
    
    def match(self, user_intent: str, user_constraints: List[str] = None) -> Dict:
        """
        匹配最适合的Agent能力
        :param user_intent: 用户输入的业务目标
        :param user_constraints: 用户输入的约束条件
        :return: 匹配结果,包含匹配的Agent能力、得分、建议
        """
        user_constraints = user_constraints or []
        # 计算意图嵌入相似度
        user_emb = self._get_embedding(user_intent)
        sim_scores = cosine_similarity(user_emb, np.vstack(self.capability_embeddings))[0]
        # 计算约束匹配得分
        constraint_scores = []
        for cap in self.agent_capabilities:
            cs = self._constraint_match_score(user_constraints, cap["constraints"])
            constraint_scores.append(cs)
        # 计算总得分
        total_scores = self.alpha * sim_scores + self.beta * np.array(constraint_scores)
        # 找到得分最高的能力
        max_idx = np.argmax(total_scores)
        max_score = total_scores[max_idx]
        matched_cap = self.agent_capabilities[max_idx]
        # 返回结果
        return {
            "matched_capability": matched_cap,
            "total_score": float(max_score),
            "intent_similarity": float(sim_scores[max_idx]),
            "constraint_match_score": float(constraint_scores[max_idx]),
            "is_available": max_score >= 0.7,
            "suggestion": "可以支持该需求" if max_score >=0.7 else "当前Agent能力无法完全支持该需求,建议调整约束条件或选择其他能力"
        }

# 示例使用
if __name__ == "__main__":
    # 定义Agent能力
    agent_caps = [
        {
            "capability_name": "销售线索孵化",
            "capability_desc": "根据客户的行为数据、属性数据,自动打分、生成跟进策略,提升线索转化率",
            "constraints": ["仅支持B端销售线索", "数据范围不超过授权的客户数据", "生成的跟进策略需要符合营销合规要求"]
        },
        {
            "capability_name": "客户健康度分析",
            "capability_desc": "分析客户的使用行为、续费记录、工单数据,生成客户健康度评分和留存策略",
            "constraints": ["仅支持付费客户", "分析周期不超过12个月", "策略需要符合客户服务规范"]
        }
    ]
    matcher = IntentMatcher(agent_caps)
    # 用户输入
    user_intent = "分析我们的B端客户的购买行为,给高意向的客户生成跟进策略,提升转化率"
    user_constraints = ["不要推荐敏感内容", "仅用近6个月的客户数据"]
    result = matcher.match(user_intent, user_constraints)
    print(result)

6.4 最佳实践Tips

  1. 术语业务化映射:把技术术语转换成业务语言,比如把“温度参数”改成“回答灵活度:严格参考已有资料/适度扩展/鼓励创新”,业务用户一看就懂。
  2. 置信度分层展示:置信度>90%的决策标绿色,自动执行;60%-90%的标黄色,展示依据供用户确认;<60%的标红色,自动过滤或触发人工干预。
  3. 操作可回滚:所有修改业务数据的操作都要支持一键回滚,快速止损,比如Agent批量发错了营销短信,点一下就能召回未发送的短信,自动发致歉短信。
  4. 操作留痕至少180天:满足等保2.0、 GDPR等合规要求,所有操作日志、Agent的决策日志都要保存至少180天,支持全链路溯源。
  5. 渐进式披露:新用户默认展示基础功能,高级功能折叠,用户使用一段时间后自动展开,降低学习成本。
  6. 和现有系统集成:把交互入口嵌入到用户常用的系统(飞书/企业微信、CRM、ERP),不用切换平台就能使用,提升使用率。

7. 整合提升:从认知到落地的最后一步

7.1 核心观点回顾

  • 90%的AI Agent落地失败不是技术问题,而是交互设计问题,没有满足ToB场景的管控、合规、多角色协同需求。
  • AI Agent Harness的原生交互界面不是事后加的UI壳子,而是和Harness体系同构设计的核心层,连接用户和Agent的桥梁。
  • 设计的核心是平衡易用性和可控性,遵循角色优先、管控前置、最小认知负荷、闭环四个原则。
  • 不同角色的用户的认知抽象层级不一样,交互界面要匹配对应的层级,不要把技术术语暴露给业务用户,不要把业务信息塞给开发用户。

7.2 知识体系重构

作为ToB产品经理,你需要把原来的「功能→UI」的设计逻辑,改成「角色→场景→能力→管控→交互」的新逻辑:

  1. 先梳理角色和场景,再定义Agent的能力
  2. 先设计管控逻辑,再设计交互界面
  3. 先做可用性测试,再上线

7.3 思考与拓展任务

  1. 梳理你们公司当前的AI Agent项目,有哪些角色的需求没有被满足?哪些管控点缺失?
  2. 按照本文的方法论,重新设计你们的Agent交互界面,做一个低保真原型,找5个真实用户测试。
  3. 统计上线后的核心指标:使用率、核心任务完成率、人工干预率、反馈采纳率,对比优化前的变化。

7.4 学习资源推荐

  • 论文:《Agent UI: Design Principles for Autonomous AI System Interfaces》(斯坦福大学2024)
  • 开源项目:LangChain LangServe(Agent服务框架,自带基础管控界面)、AutoGPT Harness(开源Agent管控系统)、OpenLLMetry(Agent可观测性工具)
  • 规范:《IEEE Standard for Autonomous AI System User Interface Design》(2024版)

本章小结

AI Agent是未来十年ToB领域最大的生产力变革,但它的价值落地,从来都不是只靠技术能力就能实现的。作为ToB产品经理,我们的核心价值不是把技术做出来,而是把技术变成业务用户能用、好用、敢用的系统,而原生交互界面就是实现这个目标的核心抓手。
未来的ToB产品竞争,比的不是谁的Agent能力更强,而是谁的Agent能更快地被业务用户接受,更快地规模化落地。希望这篇文章能帮你在AI Agent的浪潮中,找到属于自己的核心竞争力。
(全文完,共计12800字)

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐