Dialer3.0智能拨号器 - 本地AI语音应答配置手册

  • 一、方案的工作原理

手机中插入USB蓝牙,USB蓝牙连接手机自带的蓝牙,使用HFP协议的方式获取手机电话通话的声音。应用App通过加载ASR模块,从电话语音中提取出关键字,匹配到当前播放节点的意图并触发预设的动作,将“SayHello开场白-语音交互-触发动作-语音输出-电话通话意向评定”这些行为串接起来,完成【意图判断型AI】的自动应答效果。

工作模式如下图示所示:

  • 二、产品依赖的配件

1、安卓手机

2、USB蓝牙模块

3、与手机USB接口配套的转接口(Type-C转USB、Micro转USB等)

4、SIM手机卡

  • 三、工作环境

当前应用支持Andoroid4.1及以上版本,手机自带蓝牙模块、SIM模块(单卡或双卡双待等)、带USB插口。

手机离线ASR模块需加载SenseVoice的语音模型和运行库,占用约500MB的运行内存。

  • 四、应用AI入口简介

应用运行后,需等待加载SenseVoice的语音模型,并开启悬浮窗权限。

由于ASR模型文件较大,建议预先安装并运行一次http://120.78.211.195:8060/asr.apk。asr.apk(175MB)运行后会将大模型文件和运行库拷贝到手机sd卡。避免每个手机都要网络下载。(asr.apk可以电脑下载后单独拷贝到每个手机,再去手机里面直接安装即可)

如需启用“AI转人工坐席”的功能,须在APP设置中开启并配置人工坐席的SIP账号。如未配置SIP坐席,则流程中触发“转人工”的指令时,将转到手机听筒/扬声器进行接听。

  • 五、应用的使用操作

1、AI语音应答的开启方式

1)APP默认不开启本地AI语音应答的开关,使用前需手动进入APP设置里开启;

2)APP需手动开启ASR语音文本识别的开关,预先加载SenseVoice的语音模型;

3)在【意图判断型AI】的电话呼叫前,应预先根据业务的话术,填写并修改APP中“知识库”的意图关键字和“AI应答逻辑”的语音片段和行为动作。如需对配置的话术节点流程进行测试验证,可通过【AI应答测试】入口进行。如下图所示:

2、AI知识库简介

应用APP主要靠【从关键字匹配,聚合为用户意图】,根据意图触发对应行为并播放语音节点的预先录制的声音片段,来完成意图判断型AI的语音交互。

用户可自行根据自身的业务,修订自己的意图列表、以及意图中关键字的列表。使文字识别更加准确,更加贴合自身的业务场景。如下图所示:

(另外,SenseVoice大模型目前支持

【简体中文-zh、英语-en、日语-ja、韩语-ko、粤语-yue】

这5种语言的语音转文字的能力,关键字需要用户根据自身业务和语言习惯补充修订。)

3、话术与AI应答逻辑

用户需要根据自身业务的话术和业务场景构建AI交互分层的语音节点,包括开场白、不同的意图事件、语音片段配音、触发的行为等属性。

将对话交互的具体话术片段添加到下图的【AI应答逻辑】列表中。

用户可以将话术拆分为多个分支场景,逐个场景进行详细话术的拆解,并对语音节点进行配音,以及对后续触发动作进行设置。

AI应答逻辑的语音节点列表中,每个节点都可以添加子节点,用于当“等待用户响应”时,根据电话对方说话的关键字意图来决定要转入哪个流程子节点。也即:子节点是由父节点播放后电话对方进一步的意图来决定的。仅当父节点的【后续动作】属性为“等待用户响应”时,才会触发子节点的执行。

用户需要对每个语音节点进行配音,并选择后续动作。使对话和交互能正常预期完成。

用户配置完【AI知识库】和【AI应答逻辑】后,可使用【AI应答测试】的窗口对配置的各个语音分支节点进行验证。验证无误后再插入USB配件到手机上,进行实际电话通话语音的接入和使用。

智能拨号器APP中,同一用户多个手机的AI数据同步采用登录账号的方式进行覆盖保存。多个手机可以登录同一个登录账号,配置完上述AI逻辑后,使用【上传AI逻辑】和【拉取AI逻辑】这两个按钮进行多个手机之间的数据和语音片段的同步,如上图的界面所示。

4、最终打电话的效果

手机插入USB配件后,AI对话流程由手机电话的接通事件触发,并将交互的过程展现到APP的悬浮窗上。用户可直观的在手机界面上对通话的交互过程和文字内容进行快速查阅,如下图所示:

5、常见问题和解决

常见问题主要分为两类:ASR大模型和运行库的下载问题、关键字和话术节点配置问题。下面分别描述这些场景的一般解决办法:

1)ASR模型和运行库下载慢,通常建议先安装并初次运行asr.apk,它自动将模型文件拷贝到手机sd卡里面存放和使用。

2)关键字配置识别不准确:自己去【AI知识库】里面修改意图中的关键字列表内容。

  • 六、版本的介绍

应用APP于版本1006016中将本地【意图判断型AI】的功能引入,由于本次ASR识别和意图判断的处理完全使用手机本身的算力,进行对话和交互处理。且Android电话通话声音需要插入USB配件后才能正常的取到声音,因此将继续保持原有的授权体系进行使用。

【意图判断型AI】的功能不产生额外的费用。

由于当前发布的应用APP属于非特权、非特定设备的常规应用,其版本发布和应用升级,由应用启动时进行界面版本提醒和用户操作更新,与普通应用一致。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐