项目简介

1688严选智能客服是基于1688消息开放能力并结合大语言模型构建的AI采购助理。此项目以严选大店客服的定位来回答用户关于商品、商家服务履约能力、平台规则等问题,通过升级前台用户咨询接待策略让AI往前站,以此来降低上架接待成本,提升接待响应率。同时以打造智能助理的心智,提升买家对严选服务、品质的认知,深化平台背书体感。

本文将整体阐述项目的背景、设计流程及成果,并将从算法侧、服务端、客户端等多角度介绍产品的设计思路。

背景

严选介绍

首先整体介绍一下1688的严选项目。1688严选是CBU平台内品质升级和商业化营收的重要阵地。从国内宏观环境看,整体消费模式出现升级,从单纯追求低价走向质价比需求,而且近几年疫情影响下,中高消费力人群更趋于理性消费,关注性价比。从1688站内交易数据看,低价格带区间商品采购需求萎缩,中高价格带区间需求增长明显。所以1688站内需要组织一盘有价格竞争力的品质货盘来承接这部分消费需求,通过品类升级形成新的增长动力。另一方面,对平台商业化营收表现也有了更高的要求。原厂货通模式已建立了抽佣的新商业模式,但是由于后期交易萎缩,营收增速放缓。需要另外的增长曲线或刺激老抽佣模式的新生命力。基于此背景,1688推出了严选项目来满足用户对更高品质商品的需求以及寻找新的营收增长方式。

现状问题

询盘场景是严选商家接待用户的重要阵地,能否在接待时给买家提供良好的询盘体验也成了严选商家的一个重要课题。经过一段时间的运营之后,我们发现严选品的商家在接待询盘过程中仍然存在许多痛点,包括但不限于:

商家接待服务成本高

商家在每天处理大量的买家咨询时,常常面临着高昂的服务成本。对于用户而言,如果在购物过程中遇到问题或需要更多信息,却找不到想要的答案时,通常会选择向商家发送消息咨询。

虽然有一些商家已经将买家咨询最多的问题整理成“常见问题”或“商家答疑”,但这些答案仍然不够全面和详尽,无法完全满足用户的需求。

制造型商家服务消费者的客服能力普遍较弱

制造型的1688商家电商客服能力普遍较弱,消费者与商家上班时间不匹配,影响用户购物体验和即时下单转化。7月份统计的近30天旺旺咨询满意率均值,严选旗舰店商家84.60%,无严选品商家82.94%,非严选旗舰店但有严选品商家82.38%,严选旗舰店商家 > 无严选品商家 > 非严选旗舰店但有严选品商家。可以看到越是中小的商家服务能力是越弱的,针对这部分商家需要提供更强的客服能力

商家在旺旺沟通过程中有引导下翻的倾向

商家在跟买家沟通的过程中,有引导线下交易,规避平台抽佣的倾向。7月,预估交易下翻流失GMV,相比5、6月,跑单流失GMV和佣金一直在减少(高置信口径),说明在商家侧做出警告提示、旺旺沟通过程中实时警告商家、以及搜索侧的处罚分高的商品清退等,是有一定的治理效果的。我们通过数据统计,观察出严选在咨询率和大盘持平的情况下,咨询转化率远低于大盘,一定程度上说明了在有严选IPV的背景下,交易下翻问题较为突出,因此全量严选商品询盘都路由到官方客服,可以更大程度上减少交易下翻的可能性,提升客服响应率。

解决思路

以上痛点通过简单的通过知识库给商家提供自动回复能力或引导回复能力并不能很好地被解决,这时我们就需要想办法引入一些新的思路。

当下互联网最火热的技术莫过于大语言模型了,各大公司都在研发自己的大语言模型,它根据提问自动生成文本以及多轮对话的能力正好也和我们严选的询盘场景相吻合。因此,我们希望通过全视角看待用户的咨询求助体验,识别用户咨询求助背后的意图,将“信息型”咨询求助交由AI来解决。通过大模型能力的问答能力,对买家做有效、拟人、结构化的回复,来解答一些品类的标准化的问题或买家高频咨询的问题,以此来降低商家接待成本,提升接待响应率,并提升买家对严选服务、品质的认知。

如下图,升级接待策略后,优先让AI采购助理接待严选用户的咨询求助,以严选大店客服的定位来回答用户关于商品、商家服务履约能力、平台规则等问题。

此举既能解决用户咨询商家响应慢的问题,也能解决商家客服投入成本高、回复时间与用户咨询时间不匹配的问题。此外,若通过AI采购助理能解决大部分的用户咨询求助,用户降低了跟商家直面沟通的需求,也能在一定程度上减少商家引导买家线下交易的机会,特别是严选商家。

技术方案

设计流程

严选智能采购助手的设计流程如下图

客户端域内通过聊天页面的开放能力为买家提供多种交互能力,依托消息发送能力与服务端进行问答,再通过丰富的旺旺卡片提供回复;在服务侧监听到提问的消息后,首先进行问题的风险检测,随后判断是否能命中知识库,无法命中时再交由算法引擎进行处理;算法侧先通过对用户输入进行意图识别,对不同意图进行不同业务处理。进行意图路由后,会根据识别的结果通过业务数据库或向量数据库进行prompt构造,再通过LLM大模型给出相应答案。

设计思路

算法

从算法侧来看,目前基于LLM构建智能问答应用,主要有以下三种方案:

  1. Fine-Tuning微调

  2. 将特定领域的知识组织成相应Prompt提供给LLM,然后给出答案

  3. 与常规召回方式(向量搜索)结合,根据召回结果使用LLM进行阅读理解并给出答案

结论先行,经过多方调研和权衡,1688基于LLM的旺旺智能客服,在结合传统AI模型做前置语义识别的基础上,综合使用了上述方案2和方案3。 整个方案流程和功能示意如下:

核心的模块包括:

1.意图识别

模块任务:

  • 由传统AI算法完成问题的意图识别

设置该模块的主要考量有:

  • 通过性能好的传统AI模型做前置意图过滤,可以大大节省LLM的算力成本。

  • 当问题有明确电商意图的情况下,通过API拉取对应的业务数据,组装好Prompt提供给LLM,然后给出答案(也即上述方案二)。这样在诸如商品属性问答的场景下,可以避免将平台全量商品做知识库向量化,节省成本的情况下,也可以提升答案精度。

  • 除了上述问题解答场景外,在问题解决方案场景下,识别的意图可以给二方业务消费,由业务方给出意图的解决方案(如智能售后应用)。

模块方案:

  • 端侧方案:结合端实时用户特征,在端侧做意图模型推理,在去中心化算力和超实时方面有收益。端计算已在特征加工、语义情感化识别、CV识别等任务中得到验证,在意图类推理方向还需要进一步尝试。

  • 云侧方案:上云借助云端算法能力进行意图识别并路由服务,同下节介绍。

2.意图路由

模块任务:

  • 将识别的问题路由给不同模块消费。

模型方案:复用7*24小时训练语义模型(15个一级意图,86个叶子意图,准确率较高85%-92% 、人工标注数据、Context-aware model)

3.在线知识库问答

模块任务:

  • 当问题有明确电商意图的情况下,通过API拉取对应的业务数据(在线知识库),组装好Prompt提供给LLM,然后给出答案。

4.向量知识库问答方案

向量知识库问答在整个方案中起到了十分重要的作用,核心工作流程如下:

服务端
  • 旺旺作为基础产品,会对接各个业务方,各个业务方都会产生对旺旺的依赖,比如 ISV开放IM能力、 找工厂完美询盘业务、场景金融(诚意赊)定制化营销。每次业务开发需要大量服务端资源。现在通过沉淀出各业务逻辑的抽象实现,可以大大降低服务端开发成本,使IM 服务端只关心平台基础能力的实现,上层业务方需求通过spi、标准动作来配置实现对应的需求

  • 严选官方号是在旺旺开放平台基础上进行开发(包含买家意图下发、官方客服消息路由等)

客户端
  • 底层运用端基础能力以及聊天的基础组件,实现端侧不同的交互能力

  • 端页面根据各业务搭建出不同场景,通过不同的入口进入区分不同场景;同时提供快速搭建定制新场景的能力,方便快速接入

  • 聊天场景对接智能引擎服务,依托 IM 即时通讯能力可快速对用户进行答复,给予用户更好的询盘体验

预期效果

严选智能客服一期希望能在规模化、回答准确性及买家体验满意度方面达到预期的效果。

1.规模化

  • 严选客服助手买家日均 pv 达 10000

  • 智能客服消息回复量日均达 50000 条

2.回答准确性

  • 近30天官方客服满意度 = 近30天官方客服咨询满意量 / 近30天官方客服咨询服务评价量 > 50%

  • 近30天1min内转人工率 = 近30天1分钟内点击转人工量 / 近30天点击转人工量 < 50%

3. 买家体验

  • 严选业务询盘反馈声量下降 20%

当前成果

1. 当前在端侧已沉淀完整、可复用的智能问答交互形态

  • 【智能助手场景搭建】顶部导航栏交互的变化,透传更强的品牌心智。消息流和输入区有了更多的定制实践,可快速复用到其他智能问答场景。

  • 【旺旺互动卡片升级】为业务提供更丰富的交互能力和玩法。客户端旺旺卡片已上线事件链能力,支持mtop请求、跳转、toast、更新等,结合服务端实时更新卡片的能力,可以实现卡片UI和交互动态化。

  • 【半屏浮窗聊天页交互】更轻量的半屏聊天页交互,带来沉浸式的智能问答交互体验。调用简单、方便,可以复用到其他业务场景。

2. 服务端沉淀了基于LLM智能问答服务的工程能力

  • 【LLM整体链路】从场景识别、意图识别、Prompt Engine、LLM请求、风控csi识别、模型结果下发、用户反馈整体链路建设完成,整个链路做了标准化和业务解耦,可快速复用到其他基于LLM的智能问答应用中。

  • 【意图识别/动线信息】建设了旺旺消息意图的识别和路由,结合动线上下文信息,可给Prompt Engine提供丰富的上下文。

  • 【旺旺互动卡片升级】互动卡片支持操作交互使用自定义mtop解析以及卡片的更新,服务端只需要在发送卡片消息时,把接口、入参、结果反馈放入模板字段参数,服务端实现该mtop服务即可,客户端理论无需关心接口实现。

3. 算法侧

一期实现了商品属性相关的回答:在识别出问题意图来源自商品属性后,通过在线知识库结合LLM来实现答案的输出。

未来优化

算法

一、增强意图识别模块准确性

1.在原有意图识别基础上,重新训练模型,获得较好的F1 score,具体方案包括:

训练数据来源:

  • 原有7*24小时标注数据

  • 线上意图模型分类的旺旺会话数据

训练标注:

  • ChatGPT标注大类

  • 人工标注叶子类目

意图重构:

  • 精简类目

  • 缩减类目层级到二级

  • 去除无用类目

  • 增加类目(比如商品对比等)

2.扩充支持的意图类目

目前看有些意图类目在整个LLM应用中,有很大价值,比如:

  • 商品推荐、导购

  • 商品比较

二、商品属性答案扩充

  • 在“意图识别”问题解决后,针对传入LLM的“商品属性”信息量过少的问题,可以将OD的图片(含有大量有用信息)做OCR,提取文字,一同传入大模型

  • 扩充商品知识图谱

三、 LLM扩充意图回答范围

除商品属性回答外,后续LLM模型还可以扩充以下类型问题的回答

  • 商品导购能力

  • 商家资质服务、平台规则

  • 交易相关信息

  • 问候互动

服务端

一、持续迭代买家其他意图大模型回复,比如商品比较、商家推荐等;

二、严选平台知识库不断迭代,结合大模型进行问题回复;

三、大模型回复支持更多物料,比如商详页图片文本识别等。

客户端

一、入口优化

后续可针对严选智能助手的场景,在OD 设置一个“商品问答助手”的浮层入口,替代原有阻断旺旺的严选智能客服的交互,这样能以更轻量化的方式给到严选用户,同时商品问答的心智也更强。

二、补全端交互能力

  1. 微动效效果优化:列表滑动、智能客服回答时模拟真人输入等细节。

  2. 工具栏功能拓展:探索更多智能采购可能性。

  3. 升级交互形态为“微群聊”:由智能客服和商家同时服务买家(二对一),解决目前请商家回答需跳转的问题。

三、转交聊天记录能力

目前在严选页点击转人工进入客服聊天页之后,只能发送之前买家和严选智能助手聊天的最后一条消息,无法转交整段会话。后续会开发完整的聊天消息会话卡片,将用户和严选智能客服之间完整的一轮会话通过卡片形式发送给真实商家, 使得真实商家可以了解之前聊天的上下文内容。同时,可以通过算法能力将之前的一轮完整对话概括成一段话,方便商家快速理解。

总结

大语言模型的不断演化使得机器可以给更好地理解和生成人类语言,从而在机器与人的交互中提供给人更佳的体验。而大语言模型是通用的,并且具有强大的泛化能力,因此在构建好工程链路后,可以以较低的成本实现更多业务的接入。

在严选智能客服项目中,我们利用大模型能力,将特定领域的知识组织成相应Prompt提供给LLM,同时与常规召回方式(向量搜索)结合,根据召回结果使用LLM进行阅读理解并给出答案,构建出了严选智能客服这一产品。借由此机会,我们也对客户端和服务端旺旺消息模块的整体架构进行了升级,使之可以更具效率地、更富功能性地为对接业务提供支持。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐