AI重塑金融时宏大的愿景总会让人浮想联翩,却在落地的“最后一公里”摔得头破血流。

元旦前的一天晚上,室友拖着疲惫的身子向我大倒苦水:加班到晚上11点,依然没有顺利解决AI智能体语义解析不稳定的问题,业务又催上线催得紧,心理压力巨大。

添加图片注释,不超过 140 字(可选)

简简单单一句话,愣是一千次调用解析,就解析出一千个哈姆雷特来。

其实,这在金融智能体建设过程中是十分常见的一个问题。

在交易市场,交易员之间的沟通并不是标准的书面语,而是一种充满了缩写、黑话和混杂信息的“加密语言”。

添加图片注释,不超过 140 字(可选)

就拿存款行情来说

“出 xx城商行 3Y/5Y 3.15% 可提支,另有 1Y 2.2% 不开,额度充裕”

文本具有以下特色

  • 信息密度极大

  • 词语之间隐含行业“黑话”例如:“国股”代表“国有银行及股份制银行”

  • 期限时间类文字隐含业界规律例如,文本中出现多个期限(如3Y/5Y)但只有一个利率时,默认该利率对应期限最长的那一个

对于这种文本的标准化解析,解析不出来已经是家常便饭,时不时还会来点张冠李戴、南辕北辙的“解析事故”出来。

除此之外,面对的文本挑战包括但不限于:

  • 格式随意,没有固定的语法。

  • 一条消息里可能包含买、卖、询价多种意图。

  • 容错率为0,方向反了就是事故。

  • 跨消息的上下文依赖

  • 否定与复杂逻辑的复杂嵌套

添加图片注释,不超过 140 字(可选)

01

事件回顾

为了让大家直观感受,这里还原一个真实的“翻车”现场。

存款原始喊价文本:

“出 xx城商行 3Y/5Y 3.15% 可提支,另有 1Y 2.2% 不开,额度充裕”

AI初版解析结果(错误版):

添加图片注释,不超过 140 字(可选)

AI犯了两个大忌:



一是“张冠李戴”,把属于长端的利率赋予了短端; 二是“属性盲区”,完全忽略了流动性条款。

02

优化策略

玩笑归玩笑,看着室友憔悴的面庞,是该帮他想想办法了。

首先我确认了目前项目上使用的还是以prompt为主的优化思路,弄清楚了他们现在主要优化方式如下:

  • 通过加入角色固定来提升上下文精度,例如:“你是一名拥有20年经验的债券交易员,精通各类交易术语...”,但这种效果有限,对生僻简称依然无解;

  • 在提示词中增加约束条件,例如:“请严格区分tkn(买入)和gvn(卖出),如果遇到无法确定的价格单位,请根据市场常识判断”,这种很难说一定有正面效果,会让AI开始变得谨小慎微,很多正常数据也被它标记为“不确定”。

  • 少样本学习,也就举例说明,在Prompt中喂入了10组典型的对话范例,涵盖了全价、净价、收益率的各种表达。这样确实可以在大部分范例覆盖场景上表现符合预期,但在范例之外的表达却无法保证胡编乱造。

以上这种仅靠优化Prompt工程,无法解决大模型本质上的“概率性”问题。我们需要的是确定性。

添加图片注释,不超过 140 字(可选)

当一个问题反复尝试各种角度都无法解决时,就表示这个问题有被进一步拆分解决的可能性。

限于篇幅,优化策略详细分析欢迎关注公众号【深橙语宙】解锁完整分析。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐