一种智能外呼场景下实时语音助理检测方法及系统与流程

摘要: 本技术涉及人工智能,尤其涉及一种智能外呼场景下实时语音助理检测方法及系统。背景技术:1、随着智能外呼在金融、运营商、政府服务等行业的大规模应用,如何在通话接通后...
一种智能外呼场景下实时语音助理检测方法及系统与流程

本技术涉及人工智能,尤其涉及一种智能外呼场景下实时语音助理检测方法及系统。

背景技术:

1、随着智能外呼在金融、运营商、政府服务等行业的大规模应用,如何在通话接通后迅速判断接听方是否为语音助理成为关键问题。

2、现有方案一般依赖关键词识别技术实现,关键词识别技术是指:预先构建语音助理常用话术的关键词库,在通话中对被叫音频流进行自动语音识别(asr),通过匹配预设关键词的出现频率或特定话术模板来判断接听方是否为机器人(即语音助理)。

3、然而,关键词识别需要累积足够长的语音片段才能获得匹配结果,并且检测角度单一,存在准确性较差的问题,难以满足外呼场景下的业务需求。

技术实现思路

1、本技术实施例提供一种智能外呼场景下实时语音助理检测方法及系统,以解决智能外呼场景下语音助理检测效果较差的问题。

2、第一方面,本技术实施例提供一种智能外呼场景下实时语音助理检测方法,方法包括:实时接收智能外呼平台与被叫方通话时的实时传输协议rtp语音包,并重组为被叫音频流;被叫音频流对应于至少一个rtp语音包;按照预设窗口长度及预设步长滑动切分被叫音频流,得到至少一个短时音频片段;其中,每个短时音频片段对应于一个短时窗口;在形成新的短时窗口对应的短时音频片段后,基于至少一个短时音频片段对应的声学特征、文本特征及通话行为特征,判断被叫方的接听对象是否为语音助理;将被叫方判定结果回传至智能外呼平台。

3、在一种可能的实现方式中,基于至少一个短时音频片段对应的声学特征、文本特征及通话行为特征,判断被叫方的接听对象是否为语音助理,包括以下循环执行的s1-s4:s1:确定检测是否超时,以及,确定所有短时窗口的窗口数是否小于最大窗口数;在未超时且窗口数小于最大窗口数的情况下,跳转至s2,在已超时或者窗口数不小于最大窗口数的情况下,跳转至s4;s2:计算当前短时音频片段的多模态得分,并基于多模态得分更新累计融合得分;其中,当前短时音频片段对应于当前短时窗口;多模态得分是基于短时音频片段对应的声学特征、文本特征及通话行为特征确定的;累计融合得分更新前的初始值为0;s3:在累计融合得分大于或者等于预设阈值的情况下,判定被叫方的接听对象为语音助理,并结束循环;在累计融合得分小于预设阈值的情况下,跳转至s1;s4:根据当前的累计融合得分确定被叫方的接听对象,并结束循环。

4、在一种可能的实现方式中,基于多模态得分更新累计融合得分,包括:计算所有短时窗口对应的多模态得分的平均值,得到新的累计融合得分;或者,在窗口数小于或者等于第一窗口数量的情况下,计算所有短时窗口对应的多模态得分的平均值,得到新的累计融合得分;在窗口数大于第一窗口数量的情况下,计算目标短时窗口对应的多模态得分的平均值,得到新的累计融合得分;其中,第一窗口数量小于最大窗口数,目标短时窗口包括以新的短时窗口为末尾窗口、向前连续选取的第一窗口数量个短时窗口。

5、在一种可能的实现方式中,计算当前短时音频片段的多模态得分,包括:将当前短时音频片段输入至声学模型,以使声学模型基于当前短时音频片段的声学特征输出声学得分;其中,声学得分等于当前短时音频片段是由语音助理发出的概率值;将当前短时音频片段转写为文本内容,并将文本内容输入至文本模型,以使文本模型提取文本特征并输出文本得分;其中,文本得分等于文本内容是由语音助理发出的概率值;将当前短时音频片段对应的通话行为信息输入至行为模型,以使行为模型基于通话行为信息对应的通话行为特征输出通话行为得分;其中,通话行为得分等于当前短时音频片段的通话行为符合语音助理行为的概率值或置信度;对声学得分、文本得分及通话行为得分进行加权求和,得到多模态得分。

6、在一种可能的实现方式中,将当前短时音频片段输入至声学模型之前,还包括:对当前短时音频片段进行电话网络增强处理,电话网络增强处理包括以下至少一种:重采样至8khz、带通滤波、编解码仿真补偿。

7、在一种可能的实现方式中,声学模型是基于以下步骤训练得到的:采集真人通话音频与语音助理生成音频作为训练样本;对训练样本进行电话域数据扩增处理,电话域数据扩增处理包括以下至少一种:重采样至8khz、带通滤波、编解码仿真补偿、噪声混响添加;对扩增后的训练样本进行标签标注,并对不同类别的样本进行类别均衡处理;利用标注并均衡处理后的训练样本对初始声学模型进行训练,得到声学模型;其中,编解码仿真补偿包括以下步骤:将训练样本转换为线性pcm格式;将转换后的训练样本输入至至少一种电话网络编码器进行编码处理,得到编码后的比特流;电话网络编码器包括g.711、amr或opus中的一种或多种;对编码后的比特流执行解码操作,还原为pcm音频信号,并将其作为新的训练样本。

8、在一种可能的实现方式中,声学模型、文本模型和/或行为模型均为经过反欺骗微调的模型,反欺骗微调的步骤包括:冻结初始模型的特征提取层参数,训练其分类头;对特征提取层进行逐层解冻,并在每次解冻后对全部层参数进行整体微调。

9、在一种可能的实现方式中,按照预设窗口长度及预设步长滑动切分被叫音频流,得到至少一个短时音频片段之前,还包括:对被叫音频流进行预处理,预处理包括去除振铃音、静音段及非语音段;利用vad静音检测算法,提取预处理后的被叫音频流中的有效语音区域,得到新的被叫音频流。

10、第二方面,本技术实施例还提供一种智能外呼场景下实时语音助理检测方法,应用于智能外呼平台;方法包括:与被叫方建立会话初始协议sip通话连接,并基于sip通话连接建立rtp媒体传输通道;将rtp媒体传输通道中的rtp语音包进行镜像复制,并将复制后的rtp语音包实时转发至语音助理检测系统;语音助理检测系统用于执行前述第一方面及其各个实现方式的智能外呼场景下实时语音助理检测方法;接收语音助理检测系统回传的被叫方判定结果,并基于被叫方判定结果执行对应的外呼策略,外呼策略包括以下至少一种:继续通话、挂断呼叫、转接人工座席、切换外呼交互策略并继续与被叫方的通话。

11、第三方面,本技术实施例还提供一种智能外呼场景下实时语音助理检测系统,系统包括:实时接收模块,被配置为:实时接收智能外呼平台与被叫方通话时的实时传输协议rtp语音包,并重组为被叫音频流;被叫音频流对应于至少一个rtp语音包;短窗切片模块,被配置为:按照预设窗口长度及预设步长滑动切分被叫音频流,得到至少一个短时音频片段;其中,每个短时音频片段对应于一个短时窗口;判断模块,被配置为:在形成新的短时窗口对应的短时音频片段后,基于至少一个短时音频片段对应的声学特征、文本特征及通话行为特征,判断被叫方的接听对象是否为语音助理;回传模块,被配置为:将被叫方判定结果回传至智能外呼平台。

12、第四方面,本技术实施例还提供一种智能外呼场景下实时语音助理检测系统,系统包括:通信模块,被配置为:与被叫方建立会话初始协议sip通话连接,并基于sip通话连接建立rtp媒体传输通道;语音转发模块,被配置为:将rtp媒体传输通道中的rtp语音包进行镜像复制,并将复制后的rtp语音包实时转发至语音助理检测系统;语音助理检测系统用于执行前述第一方面及其各个实现方式的智能外呼场景下实时语音助理检测方法;决策模块,被配置为:接收语音助理检测系统回传的被叫方判定结果,并基于被叫方判定结果执行对应的外呼策略,外呼策略包括以下至少一种:继续通话、挂断呼叫、转接人工座席、切换外呼交互策略并继续与被叫方的通话。

13、由以上内容可知,本技术实施例提供一种智能外呼场景下实时语音助理检测方法及系统,方法包括:实时接收智能外呼平台与被叫方通话时的实时传输协议rtp语音包,并重组为被叫音频流;被叫音频流对应于至少一个rtp语音包;按照预设窗口长度及预设步长滑动切分被叫音频流,得到至少一个短时音频片段;其中,每个短时音频片段对应于一个短时窗口;在形成新的短时窗口对应的短时音频片段后,基于至少一个短时音频片段对应的声学特征、文本特征及通话行为特征,判断被叫方的接听对象是否为语音助理;将被叫方判定结果回传至智能外呼平台。可见,该方法可以在外呼通话过程中通过多模态特征迅速判断被叫方的接听对象,从而有效提升语音助理检测的实时性和准确性,为智能外呼平台提供可靠的决策依据,避免因误判导致的资源浪费或业务中断。