智能语音交互控制方法、设备、介质、计算机程序产品和智能外呼系统与流程
本技术涉及智能语音交互,特别是涉及一种智能语音交互控制方法、设备、介质、计算机程序产品和智能外呼系统。
背景技术:
1、在当今数字化通信时代,ai(artificial intelligence,人工智能)外呼系统已成为企业客户服务和营销的重要工具。然而,现有的ai外呼系统在语音交互处理方面存在诸多技术挑战。传统的外呼系统多采用预设的业务规则和简单的语音识别技术,难以实现真正智能化的对话交互。
2、然而,传统方式存在明显技术问题:传统方式采用半双工交互,需等待用户完整说话、获取全量asr(automatic speech recognition,自动语音识别)结果后才启动语义分析与回复生成,导致对话延迟高,用户体验不高。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够接收流式asr识别的中间结果,实现实时语义理解和动态内容生成,达到毫秒级响应延迟,提升用户体验的智能语音交互控制方法、设备、介质、计算机程序产品和智能外呼系统。
2、第一方面,本技术提供了一种智能语音交互控制方法,应用于智能外呼系统,所述智能外呼系统包括流式控制管理模块和智能语义处理模块,所述方法包括:
3、通过所述流式控制管理模块接收外呼平台事件,所述外呼平台事件包括新对话通知、自动语音识别中间结果、从文本到语音合成结果中的至少一种;
4、通过所述流式控制管理模块对所述外呼平台事件进行分类封装,为当前对话分配唯一标识并完成事件编排;
5、通过所述流式控制管理模块基于所述自动语音识别中间结果,实时检测播放状态并匹配对应所述播放状态的打断策略,在满足预设条件的情况下生成智能播放控制指令;
6、通过所述智能语义处理模块对语音文本执行流式分析,通过结合嵌入向量相似度匹配和大语言模型语义理解的双重语义分析算法动态生成回复内容;
7、通过所述流式控制管理模块将所述回复内容以流式推送至外呼平台,同步从文本到语音的分段合成,基于所述唯一标识对合成音频按序管理并根据所述智能播放控制指令执行播放控制。
8、在所述方法的一些实施例中,所述播放状态包括未触达状态、部分触达状态、正常触达状态中的至少一种,所述实时检测播放状态并匹配对应所述播放状态的打断策略,在满足预设条件的情况下生成智能播放控制指令,包括:
9、在所述播放状态为未触达状态的情况下,所述打断策略为禁止打断;
10、在所述播放状态为部分触达状态的情况下,所述打断策略为仅在高优先级指令下打断;
11、在所述播放状态为正常触达状态的情况下,所述打断策略为在高优先级指令和/或中优先级指令和/或低优先级指令下打断。
12、在所述方法的一些实施例中,所述实时检测播放状态并匹配对应所述播放状态的打断策略,在满足预设条件的情况下生成智能播放控制指令,还包括:
13、通过通用语义向量模型对用户语音进行意图检测,所述意图检测包括无意义检测、重复检测、机器人检测中的至少一种;
14、通过基于transformer的双向编码器表征模型根据所述用户语音判断用户语句是否结束;
15、在意图检测通过且判断用户语句结束的情况下,实时检测播放状态并匹配对应所述播放状态的打断策略,在满足预设条件的情况下生成智能播放控制指令。
16、在所述方法的一些实施例中,所述通过所述智能语义处理模块对语音文本执行流式分析,通过结合嵌入向量相似度匹配和大语言模型语义理解的双重语义分析算法动态生成回复内容,包括:
17、并行执行嵌入向量相似度匹配与大语言模型语义理解,所述嵌入向量相似度匹配用于在预先构建的知识库中进行相似度检索,所述大语言模型语义理解用于异步调用大语言模型执行语义理解。
18、在所述方法的一些实施例中,所述并行执行嵌入向量相似度匹配与大语言模型语义理解,包括:
19、在嵌入向量相似度匹配结果的可靠度高于预设可靠度阈值的情况下,根据所述嵌入向量相似度匹配结果生成回复内容;
20、在嵌入向量相似度匹配结果的可靠度低于预设可靠度阈值的情况下,在预设时间内等待大语言模型生成结果,根据所述大语言模型生成结果生成回复内容;在所述大语言模型生成结果生成超时或所述大语言模型生成结果不在合法集合内的情况下,根据所述嵌入向量相似度匹配结果生成回复内容。
21、在所述方法的一些实施例中,所述嵌入向量相似度匹配采用结合远程向量库检索和内存/缓存向量库检索的两级检索增强生成模型,所述远程向量库检索用于在生成的相似度分数大于等于预设相似度阈值的情况下判定检索命中,所述内存/缓存向量库检索用于在生成的距离值小于等于预设距离阈值的情况下判定检索命中;
22、其中,所述预设相似度阈值和所述预设距离阈值的和为1。
23、根据本公开实施例的第二方面,提供一种智能外呼系统,所述系统包括:
24、流式控制管理模块,用于接收外呼平台事件,所述外呼平台事件包括新对话通知、自动语音识别中间结果、从文本到语音合成结果中的至少一种;
25、所述流式控制管理模块还用于对所述外呼平台事件进行分类封装,为当前对话分配唯一标识并完成事件编排;
26、智能语义处理模块,用于基于所述自动语音识别中间结果,实时检测播放状态并匹配对应所述播放状态的打断策略,在满足预设条件的情况下生成智能播放控制指令;
27、所述智能语义处理模块还用于对语音文本执行流式分析,通过结合嵌入向量相似度匹配和大语言模型语义理解的双重语义分析算法动态生成回复内容;
28、所述流式控制管理模块还用于将所述回复内容以流式推送至外呼平台,同步从文本到语音的分段合成,基于所述唯一标识对合成音频按序管理并根据所述智能播放控制指令执行播放控制。
29、根据本公开实施例的第三方面,提供一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
30、通过所述流式控制管理模块接收外呼平台事件,所述外呼平台事件包括新对话通知、自动语音识别中间结果、从文本到语音合成结果中的至少一种;
31、通过所述流式控制管理模块对所述外呼平台事件进行分类封装,为当前对话分配唯一标识并完成事件编排;
32、通过所述流式控制管理模块基于所述自动语音识别中间结果,实时检测播放状态并匹配对应所述播放状态的打断策略,在满足预设条件的情况下生成智能播放控制指令;
33、通过所述智能语义处理模块对语音文本执行流式分析,通过结合嵌入向量相似度匹配和大语言模型语义理解的双重语义分析算法动态生成回复内容;
34、通过所述流式控制管理模块将所述回复内容以流式推送至外呼平台,同步从文本到语音的分段合成,基于所述唯一标识对合成音频按序管理并根据所述智能播放控制指令执行播放控制。
35、根据本公开实施例的第四方面,提供一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
36、通过所述流式控制管理模块接收外呼平台事件,所述外呼平台事件包括新对话通知、自动语音识别中间结果、从文本到语音合成结果中的至少一种;
37、通过所述流式控制管理模块对所述外呼平台事件进行分类封装,为当前对话分配唯一标识并完成事件编排;
38、通过所述流式控制管理模块基于所述自动语音识别中间结果,实时检测播放状态并匹配对应所述播放状态的打断策略,在满足预设条件的情况下生成智能播放控制指令;
39、通过所述智能语义处理模块对语音文本执行流式分析,通过结合嵌入向量相似度匹配和大语言模型语义理解的双重语义分析算法动态生成回复内容;
40、通过所述流式控制管理模块将所述回复内容以流式推送至外呼平台,同步从文本到语音的分段合成,基于所述唯一标识对合成音频按序管理并根据所述智能播放控制指令执行播放控制。
41、根据本公开实施例的第五方面,提供一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
42、通过所述流式控制管理模块接收外呼平台事件,所述外呼平台事件包括新对话通知、自动语音识别中间结果、从文本到语音合成结果中的至少一种;
43、通过所述流式控制管理模块对所述外呼平台事件进行分类封装,为当前对话分配唯一标识并完成事件编排;
44、通过所述流式控制管理模块基于所述自动语音识别中间结果,实时检测播放状态并匹配对应所述播放状态的打断策略,在满足预设条件的情况下生成智能播放控制指令;
45、通过所述智能语义处理模块对语音文本执行流式分析,通过结合嵌入向量相似度匹配和大语言模型语义理解的双重语义分析算法动态生成回复内容;
46、通过所述流式控制管理模块将所述回复内容以流式推送至外呼平台,同步从文本到语音的分段合成,基于所述唯一标识对合成音频按序管理并根据所述智能播放控制指令执行播放控制。
47、本技术实施例提供的智能语音交互控制方案,相较于传统的半双工模式,可以基于asr中间结果提前启动语义分析与回复生成,首句响应延迟降至毫秒级,对话流畅度接近人类交流;可以结合播放状态与打断策略在信息的完整传递与用户即时响应之间实现平衡,执行智能播放控制与打断判决,实现毫秒级别的播放控制与自然流畅的人机交互;能够基于唯一标识机制确保tts分段音频不混乱,事件状态可追踪,确保整个通话流程的有序进行。
48、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com