一种智能电话助手的处理方法及相关设备与流程
本发明涉及音频处理,尤其涉及一种智能电话助手的处理方法及相关设备。
背景技术:
1、在传统的电话自助服务系统中采用的是交互式语音应答(ivr)技术,此类系统基本上是通过预先录制多层级的语音菜单,进而在实际应用过程中,用户在拨通电话后需要根据语音提示通过按键或简单语音指令逐一选择相应功能节点。
2、然而,这种基于预设菜单树的交互方式,需要用户全程遵循固定的导航路径,无法处理自然语言表达的多样化请求,导致操作繁琐且响应僵化。
技术实现思路
1、本发明实施例的主要目的在于提出一种智能电话助手的处理方法、装置、电子设备、存储介质及程序产品,旨在解决现有技术的至少一种问题。
2、为实现上述目的,本发明实施例的一方面提出了一种智能电话助手的处理方法,方法包括:
3、响应于目标对象通过通讯设备发起的呼叫,建立语音通道;
4、采集目标对象通过语音通道传输的语音,进而通过语音转写得到完整转写文本;
5、基于完整转写文本,利用大语言模型输出分类结果;分类结果包括普通问答类或意图类,意图类关联有意图类型;
6、当分类结果为普通问答类,基于完整转写文本在预先构建的知识库中检索得到目标文档片段,利用大语言模型根据完整转写文本和目标文档片段生成答案文本;
7、当分类结果为意图类,调用与意图类型对应的应用程序接口执行目标操作,进而根据目标操作的结果生成响应文本;
8、通过语音合成模型根据答案文本或者响应文本合成目标语音,通过语音通道向目标对象播放目标语音。
9、在一些实施例中,采集目标对象通过语音通道传输的语音,进而通过语音转写得到完整转写文本,包括以下步骤:
10、以固定帧长通过语音通道从通讯设备持续获取音频包;
11、将音频包送入语音活性检测模型,得到每个时间点对应的语音活性检测结果;其中,语音活性检测结果包括语音或非语音;
12、响应于语音活性检测结果由非语音转变为语音的时间点确定语音起始时,从语音起始时开始持续缓存音频包,直至语音活性检测结果转变为非语音,生成音频数据;
13、将音频数据送入语音识别模型进行流式识别,得到完整转写文本。
14、在一些实施例中,方法还包括以下步骤:
15、若语音活性检测结果从检测开始持续为非语音的时长达到第一时间阈值;
16、通过语音通道向目标对象播放预设语音提示;
17、若语音活性检测结果仍然持续为非语音,每隔第一时间阈值对应的时长播放一次预设语音提示;
18、若预设语音提示的播放次数达到预设次数阈值,关闭语音通道。
19、在一些实施例中,基于完整转写文本,利用大语言模型输出分类结果,包括以下步骤:
20、将完整转写文本与预设的提示词模板组合后输入大语言模型,以获得大语言模型输出的结构化的分类结果;
21、其中,提示词模板包含指示大语言模型进行普通问答或者意图识别的第一指令以及采用预设字段表示不同意图类型的第二指令。
22、在一些实施例中,基于完整转写文本在预先构建的知识库中检索得到目标文档片段,利用大语言模型根据完整转写文本和目标文档片段生成答案文本,包括以下步骤:
23、利用嵌入模型将完整转写文本转化为问题向量;
24、通过相似度检索在预先通过文档向量化构建的知识库中检索与问题向量匹配的目标文档片段;
25、将完整转写文本与检索到的目标文档片段拼接后输入大语言模型,以使得大语言模型处理生成答案文本;
26、若知识库中未检索与问题向量匹配的目标文档片段,将预设的提示回复文本作为答案文本。
27、在一些实施例中,意图类型包括转接、查询电话号码和通知,调用与意图类型对应的应用程序接口执行目标操作,进而根据目标操作的结果生成响应文本,包括以下步骤:
28、若意图类型为转接,调用电话转接接口并传入目标号码以执行转接拨号的目标操作;
29、若意图类型为查询电话号码,调用通讯录查询接口并传入姓名以执行号码查询的目标操作;
30、若意图类型为通知,调用通知接口并传入通知内容及对象以执行内容通知的目标操作;
31、其中,目标号码、姓名或者通知内容及对象从完整转写文本提取得到;
32、获取目标操作的执行状态,根据执行状态映射生成响应文本;
33、其中,响应文本包括操作成功的确认信息或者操作失败的原因描述。
34、在一些实施例中,通过语音通道向目标对象播放目标语音的步骤之后,方法还包括以下步骤:
35、返回执行采集目标对象通过语音通道传输的语音的步骤,以实现多轮语音交互。
36、为实现上述目的,本发明实施例的另一方面提出了一种智能电话助手的处理装置,装置包括:
37、第一模块,用于响应于目标对象通过通讯设备发起的呼叫,建立语音通道;
38、第二模块,用于采集目标对象通过语音通道传输的语音,进而通过语音转写得到完整转写文本;
39、第三模块,用于基于完整转写文本,利用大语言模型输出分类结果;分类结果包括普通问答类或意图类,意图类关联有意图类型;
40、第四模块,用于当分类结果为普通问答类,基于完整转写文本在预先构建的知识库中检索得到目标文档片段,利用大语言模型根据完整转写文本和目标文档片段生成答案文本;
41、第五模块,用于当分类结果为意图类,调用与意图类型对应的应用程序接口执行目标操作,进而根据目标操作的结果生成响应文本;
42、第六模块,用于通过语音合成模型根据答案文本或者响应文本合成目标语音,通过语音通道向目标对象播放目标语音。
43、为实现上述目的,本发明实施例的另一方面提出了一种电子设备,电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现前面的方法。
44、为实现上述目的,本发明实施例的另一方面提出了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现前面的方法。
45、为实现上述目的,本发明实施例的另一方面提出了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现前面的方法。
46、本发明实施例至少包括以下有益效果:本发明提供一种智能电话助手的处理方法、装置、电子设备、存储介质及程序产品,该方案通过响应于目标对象通过通讯设备发起的呼叫,建立语音通道;采集目标对象通过语音通道传输的语音,进而通过语音转写得到完整转写文本;基于完整转写文本,利用大语言模型输出分类结果;分类结果包括普通问答类或意图类,意图类关联有意图类型;当分类结果为普通问答类,基于完整转写文本在预先构建的知识库中检索得到目标文档片段,利用大语言模型根据完整转写文本和目标文档片段生成答案文本;当分类结果为意图类,调用与意图类型对应的应用程序接口执行目标操作,进而根据目标操作的结果生成响应文本;通过语音合成模型根据答案文本或者响应文本合成目标语音,通过语音通道向目标对象播放目标语音。本发明实施例通过将语音交互、自然语言理解、知识检索及操作执行整合为一整套的智能电话助手的处理流程,具体利用大语言模型对完整转写文本进行问答与意图的统一分类,能够区分普通知识咨询和需执行具体通信操作的意图,进而可以避免规则匹配的局限性;其中,当请求为普通问答时,通过知识库检索目标文档片段并结合原始语音文本的问题生成答案文本,可以有效保障回答的准确性和知识覆盖度;而当请求为意图类时,则直接调用对应的应用程序接口执行目标操作并生成响应文本,能够无切换信息查询与通话控制进而可以大幅提升操作效率;最终,通过语音合成将答案文本或响应文本转换为目标语音播放以形成完整的语音闭环,全流程中用户仅需语音说明而无需任何手动介入,能够显著简化交互流程并有效增强系统的智能化和实时性体验。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com