面向银行网点的多模态语音交互方法、装置、设备及介质与流程

本申请涉及智能交互，尤其涉及一种面向银行网点的多模态语音交互方法、装置、设备及存储介质。

背景技术：

1、随着银行业数字化转型的深入，数字人柜员与智能语音交互终端在营业网点的部署日益普及。然而，银行网点的实际服务环境对语音交互技术提出了远高于一般室内场景的要求。网点大厅人流量大，背景噪声来源多样，包括叫号广播声、多位客户同时交谈声与自助设备等机电设备运行声，传统单一音频降噪技术难以在保留目标人声的前提下有效过滤上述噪声，导致语音识别准确率大幅下降。大厅内多人同时讲话的场景极为常见，传统拾音设备无法精准区分主讲话人与背景杂音，容易将旁人的谈话误识别为交互指令造成误触发，或者在目标客户讲话时因竞争声源过强而漏识别。此外，现有技术中的语音交互系统中，音频采集、声源定位、降噪处理、语音识别、语义理解与结果输出等环节相互独立运行，各环节之间缺乏状态共享与信息反馈，声源定位的结果不用于指导降噪波束的指向，视觉感知即使存在也仅用于简单的人脸检测，不参与音频处理，识别引擎接收的仍是未经说话人确认的混合音频，整个系统缺乏从感知到认知的完整协同链路，导致任一环节的短板都会直接传导至最终交互结果。

2、因此，如何使语音交互系统在银行网点的嘈杂环境中精准锁定主讲人、滤除噪声干扰并正确理解客户语义，已成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、鉴于以上内容，本申请提供一种面向银行网点的多模态语音交互方法、装置、设备及存储介质，其目的在于解决上述技术问题。

2、第一方面，本申请提供一种面向银行网点的多模态语音交互方法，所述方法包括：

3、对银行网点环境进行远场音频采集与声源定位，获得声源定位结果；

4、对所述网点环境进行人脸检测与距离估计操作，获得人脸目标；

5、将所述声源定位结果与所述人脸目标进行时空对齐与校验操作，确定所述人脸目标中的主讲人；

6、对所述主讲人的唇部进行唇动特征提取，获得所述主讲人的唇动特征；

7、根据所述唇动特征和所述远场音频采集所得音频信号的声学特征进行融合降噪，得到目标音频；

8、对所述目标音频进行语音识别，获得目标文本；

9、根据预设的金融术语库对所述目标文本的进行语义解析的解析结果，确定待执行的业务技能与目标用户进行交互。

10、第二方面，本申请提供一种面向银行网点的多模态语音交互装置，该面向银行网点的多模态语音交互装置包括：

11、定位模块：用于对银行网点环境进行远场音频采集与声源定位，获得声源定位结果；

12、检测模块：用于对所述网点环境进行人脸检测与距离估计操作，获得人脸目标；

13、确定模块：用于将所述声源定位结果与所述人脸目标进行时空对齐与校验操作，确定所述人脸目标中的主讲人；

14、提取模块：用于对所述主讲人的唇部进行唇动特征提取，获得所述主讲人的唇动特征；

15、融合模块：用于根据所述唇动特征和所述远场音频采集所得音频信号的声学特征进行融合降噪，得到目标音频；

16、识别模块：用于对所述目标音频进行语音识别，获得目标文本；

17、交互模块：用于根据预设的金融术语库对所述目标文本的进行语义解析的解析结果，确定待执行的业务技能与目标用户进行交互。

18、第三方面，本申请提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

19、存储器，用于存放计算机程序；

20、处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的面向银行网点的多模态语音交互方法的步骤。

21、第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的面向银行网点的多模态语音交互方法的步骤。

22、本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

23、通过将远场音频采集与声源定位、视觉主讲人锁定、视听融合降噪、多语种识别与金融语义解析整合为一条协同工作的完整链路，使声源定位结果引导波束指向与视觉搜索，视觉主讲人锁定结果控制拾音对象选择，唇动信息辅助音频降噪，金融术语库校正语义解析，各环节前后衔接且状态共享，解决了现有系统各环节独立运行导致交互体验差的问题。本申请能够在嘈杂环境中精准锁定主讲人并滤除背景噪声与旁人干扰，确保数字人对客户语音的准确获取与正确响应，同时唇动特征复用于端点检测使得识别边界更加准确，金融术语库的热词增强提升了专业术语的识别准确率，使得在银行网点的嘈杂环境中精准锁定主讲人、滤除噪声干扰并正确理解主讲人语义，从而保证业务办理的正确性与客户满意度。

1.一种面向银行网点的多模态语音交互方法，其特征在于，所述方法包括：

2.如权利要求1所述的面向银行网点的多模态语音交互方法，其特征在于，所述将所述声源定位结果与所述人脸目标进行时空对齐与校验操作，确定所述人脸目标中的主讲人，包括：

3.如权利要求1所述的面向银行网点的多模态语音交互方法，其特征在于，所述对所述主讲人的唇部进行唇动特征提取，获得所述主讲人的唇动特征，包括：

4.如权利要求1所述的面向银行网点的多模态语音交互方法，其特征在于，所述根据所述唇动特征和所述远场音频采集所得音频信号的声学特征进行融合降噪，得到目标音频，包括：

5.如权利要求4所述的面向银行网点的多模态语音交互方法，其特征在于，所述将所述唇动特征与从所述第二音频中提取的声学特征进行融合处理后作用于所述第二音频，得到目标音频，包括：

6.如权利要求1所述的面向银行网点的多模态语音交互方法，其特征在于，对所述目标音频进行语音识别，获得目标文本，包括：

7.如权利要求1所述的面向银行网点的多模态语音交互方法，其特征在于，所述根据预设的金融术语库对所述目标文本进行语义解析的解析结果，确定待执行的业务技能与目标用户进行交互，包括：

8.一种面向银行网点的多模态语音交互装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的面向银行网点的多模态语音交互方法。