语音识别方法、装置、移动设备及计算机可读存储介质与流程

本技术实施例涉及自动语音识别，涉及但不限于一种语音识别方法、装置、移动设备及计算机可读存储介质。

背景技术：

1、在移动设备行驶过程中，语音识别能够在不干扰驾驶的前提下完成对移动设备的控制，还能将交互从机械命令升级为自然对话，从而提升移动设备的安全性及体验感。但在相关技术中，语音识别结果中仍然存在其他乘客的语音、电子设备外放的音频、移动设备的提示音、环境反射声等多种干扰源。因此，语音识别存在准确性低下以及稳定性差的问题。

技术实现思路

1、有鉴于此，本技术实施例提供的语音识别方法、装置、移动设备计算机可读存储介质，可以提升语音识别的准确性及可靠性。本技术实施例提供的语音识别方法、装置、移动设备、计算机可读存储介质及计算机程序产品是这样实现的：

2、本技术实施例的第一方面，提供一种语音识别方法，应用移动设备，该方法包括：

3、基于所述移动设备采集的第一音频信息，确定位于所述移动设备内部空间的至少一个目标音区，以及所述至少一个目标音区中每一目标音区对应的第二音频信息；所述移动设备的内部空间被划分为多个音区，且不同音区对应所述内部空间中不同的子空间；

4、针对每一所述目标音区，基于所述目标音区对应的第二音频信息和第一视频信息，确定所述目标音区的第一识别结果。

5、本技术实施例例所提供的语音识别方法，由于第二音频信息属于音频模态，第一视频信息属于视频模态，而音频模态和视频模态属于不同的模态，因此，本技术实施例是基于音频模态和视频模态这两种不同模态的信息，来确定第一识别结果。也即通过多模态信息进行语音识别，从而提升语音识别的准确性。另一方面，本技术实施例先筛选出包含第二音频信息的目标音区，接着再对目标音区进行多模态的语音识别，而无需对不包含第二音频信息的非目标音区进行多模态的语音识别，从而简化语音识别过程，降低计算复杂度，提升语音识别的可靠性和效率。

6、在一些实施例中，所述第一视频信息包括多张视频帧，且每张视频帧包括至少一个候选对象；所述基于所述目标音区对应的第二音频信息和第一视频信息，确定所述目标音区的第一识别结果，包括：基于所述多张视频帧分别对所述至少一个候选对象的每个候选对象进行发声识别，将处于发声状态的候选对象确定为目标对象；将所述第二音频信息中与目标对象对应的音频信息，确定为所述目标音区的第一识别结果。

7、上述多模态识别过程是通过“视觉”、“听觉”联合建模，在复杂的移动设备内部环境中实现精准的声源分离与定向识别。利用视频帧进行唇动或面部动作检测，能有效区分谁在真正发声，从而在多人同时说话或强背景噪声（如胎噪、音乐）下，准确锁定目标说话人，抗干扰强，提升音频分离的鲁棒性。将“发声状态”作为硬性筛选条件，避免了单纯依赖音频波束成形时可能出现的方位误判，确保最终的第一识别结果只包含目标音区中实际说话人的语音，实现精准交互，降低副驾或后排无关语音的误触发。视觉信息提供了时间同步的“发声证据”，可辅助音频处理模块在极端低信噪比下仍能维持较高的识别准确率，实现音视频互补，并为进一步的唇语增强、说话人追踪等高级功能奠定基础。

8、在一些实施例中，所述每张视频帧还包括所述至少一个候选对象的检测框；所述基于所述多张视频帧分别对所述至少一个候选对象的每个候选对象进行发声识别，将处于发声状态的候选对象确定为目标对象，包括：针对所述至少一个候选对象中的每个候选对象，从所述多张视频帧中获取所述候选对象的检测框对应的图像信息；基于所述候选对象的多个检测框对应的图像信息进行发声识别，得到所述候选对象的第二识别结果；在所述第二识别结果表征所述候选对象处于发声状态的情况下，将所述候选对象确定为所述目标对象。

9、上述确定目标对象的过程，是将视觉发声识别从“全局模糊判断”精炼为“个体局部时序验证”，提升了目标锁定的精准度和鲁棒性。通过提取检测框内的图像信息，系统能屏蔽背景杂波（如车内其他乘客的身体动作或窗外景物变化），将视觉注意力强制集中在目标对象的嘴部及面部区域，在空间维度上实现精准抗干扰，提升发声特征（如唇动）的信噪比。基于“多个检测框标识”进行跨帧连续识别，而非依赖单张静态图像。这能有效避免因“张嘴打哈欠”“转头瞬间”等瞬时非发声动作带来的单帧误判，在时间维度上实现时序动态验证，通过动态序列确认持续发声状态。对每个候选对象独立执行“获取、识别、判定”闭环，实现了音区与个体的精准一对一映射。即便多个候选对象在画面中重叠或位置变动，各对象的发声状态也可独立追踪，为最终将音频归属到唯一正确目标对象提供了强逻辑闭环。

10、在一些实施例中，所述基于所述候选对象的多个检测框对应的图像信息进行发声识别，得到所述候选对象的第二识别结果，包括：针对所述多个检测框对应的图像信息中的每一图像信息，对所述图像信息进行特征提取，得到图像特征；在所述图像特征表征所述候选对象的预设部位处于运动状态的情况下，将所述图像信息对应的视频帧的标识确定为运动标识；得到所述多张视频帧的标识；在所述多张视频帧的标识连续为所述运动标识的数量大于数量阈值的情况下，得到表征所述候选对象处于发声状态的第二识别结果。

11、通过“持续运动检测”以及“阈值判定”的双重机制，将发声识别从“单帧直觉”升级为“时序逻辑验证”，提升了抗误触能力和判定可信度。不依赖单张图片的瞬间状态（如张嘴打哈欠、转头说话），而是通过连续多帧的运动特征累积判断。有效过滤瞬时干扰，这种“连续运动计数”机制能精准剔除因面部表情突变或光线闪烁导致的偶发误判。增强语音识别的鲁棒性。提取的是预设部位（如嘴部区域）的运动特征，而非整张人脸的高维细节，减少了特征提取的计算量。同时，“运动标识”仅记录“是否运动”这一二值状态，内存占用极小，降低计算与存储开销，适合车载芯片的实时处理。引入“连续运动数量大于阈值”作为发声依据，开发者可根据实际场景（如车速、噪音频段）动态调整阈值，也即判定标准可调可控。阈值越高，抗噪性越强；阈值越低，灵敏度越高，实现了工程精度与应用场景的灵活适配。提高语音识别的灵活性。通过该逻辑确认的“发声状态”具有时序连续性，可作为高置信度的视觉佐证，为音视频归属提供强证据链，确保后续音频归属时不会因一帧画面偏差而错误绑定到非目标说话人。

12、在一些实施例中，所述将所述第二音频信息中与目标对象对应的音频信息，确定为所述目标音区的第一识别结果，包括：将所述多张视频帧中标识连续为所述运动标识的多张视频帧，确定为目标视频帧序列；将所述目标视频帧序列中首个视频帧以及末个视频帧对应的时间戳，确定为所述目标对象的运动时间戳；基于所述运动时间戳对所述第二音频信息进行截断处理，得到所述目标音区的第一识别结果。

13、通过上述确定第一识别结果的过程，利用视觉确定的“起止时间戳”对音频进行截断，能精确切除目标说话人开口前后的所有环境噪音、静音段及其他干扰声，实现精准对齐与背景纯净，确保送入语音识别引擎的音频片段恰好对应发声期，提升输入质量。同时还提高语音识别的信噪比。直接用视觉判决替代语音活动检测算法这一计算密集型环节，省去音频端点检测，在车载芯片上节省了算力开销，同时降低了因噪声误判语音活动检测门限带来的截断误差。“首个视频帧”与“末个视频帧”提供了精准的时间锚点，解决了音频流因混响或延时导致的边界模糊问题。时间边界明确无歧义，这确保了最终的第一识别结果在时间归属上与视觉事件严格一一对应，为后续将识别文本精准反馈给对应音区（如主驾）提供了无可辩驳的时序证据链。

14、在一些实施例中，所述目标对象包括第一对象和第二对象；所述基于所述目标对象的运动时间戳对所述第二音频信息进行截断处理，得到所述目标音区的第一识别结果，包括：基于所述第一对象的运动时间戳对所述第二音频信息进行截断处理，得到所述第一对象的音频信息；基于所述第二对象的运动时间戳对所述第二音频信息进行截断处理，得到所述第二对象的音频信息；所述第一对象的运动时间戳与所述第二对象的运动时间戳不重叠；将所述第一对象的音频信息和所述第二对象的音频信息，确定为所述目标音区的第一识别结果。

15、通过上述确定第一识别结果的过程，在同一个音区内实现“多人分时发言”的精准分离与无冲突拼接，确保无论该区域有几位说话人，都能各自输出纯净且完整的人机交互内容。在第二音频信息仅包含单一音区（如后排整体麦克风）但存在两位乘客先后说话时，本技术实施例利用视觉时间戳将音频按人切分为独立片段，有效区分同区多说话人，从根本上解决了“多人共用一路音频”时无法区分发言归属的难题。由于两者的运动时间戳不重叠，说明各自发声时段在时间轴上天然错开，时间不重叠保障物理截断的可行性，这为纯音频分割提供了坚实的依据，避免了处理语音混叠（两人同时说话）的复杂算法，使截断操作具备先天的防冲突保障。将截取后的第一对象音频与第二对象音频按时间先后作为整体结果输出，保留完整语义顺序，既保留了各自独立清晰的发音片段，又完整呈现了该音区内对话的前后逻辑顺序，为后续语音识别或语义理解提供结构化的时序数据。可扩展到“第一对象、第二对象……第n对象”，具备良好的泛化能力。同时，每位说话人的音视频证据相互独立，即使某一路特征提取出现短暂异常，也不影响其他对象的正常截断处理。支持语音识别的动态扩展，并提升语音识别的鲁棒性。

16、在一些实施例中，在所述基于所述目标音区对应的第二音频信息和第一视频信息，确定所述目标音区的第一识别结果之前，所述方法还包括：获取与所述第一音频信息处于同一时间段的第二视频信息；所述第二视频信息中的每张视频帧包括至少一个待识别对象的检测框；对所述第二视频信息进行音区映射，得到所述目标音区对应的第一视频信息；所述第一视频信息中的每张视频帧包括至少一个候选对象的检测框，所述候选对象为处于所述目标音区的待识别对象。

17、通过上述音区与视频的对齐过程，在“音区”层面实现视觉特征的“空间降维”与“精准隔离”，确保后续音视频融合处理的输入数据在物理空间上严格对齐。通过音区映射，将全局视频中属于其他音区（如副驾、后排左侧）的所有待识别对象检测框全部过滤掉。这有效避免了主驾在说话时，副驾人员面部动作对发声识别算法造成的跨区视觉干扰，确保视觉特征只服务于正确的物理区域。相较于对全局视频的每一帧进行全量对象检测和发声分析，映射后的第一视频仅包含该目标音区内的候选对象。这减少了后续“逐对象发声识别”所需的计算量和内存占用，缩减计算资源，为车载低算力芯片提供了实时处理的可能。保证了“第二音频信息”（由麦克风阵列波束成形聚焦该音区）与“第一视频信息”（由摄像头画面裁剪映射该音区）在物理空间上描述的是同一个三维区域。这种“听哪就只看哪”的硬性对齐，消除了因摄像头广角畸变或麦克风拾音延时带来的空间错位隐患，为后续精确的“音视归属判定”奠定了坚实时空基础。

18、在一些实施例中，所述第一音频信息是基于所述移动设备的麦克风阵列获得的；所述基于所述移动设备采集的第一音频信息，确定位于所述移动设备内部空间的至少一个目标音区，以及所述至少一个目标音区中每一目标音区对应的第二音频信息，包括：对所述第一音频信息进行预处理，得到处理后音频信息；对所述处理后音频信息进行声源定位，得到所述处理后音频信息的位置信息；对所述位置信息进行音区映射，得到所述至少一个目标音区；并从所述第一音频信息中提取所述至少一个目标音区中每一目标音区对应的第二音频信息。

19、通过上述目标音区级第二音频信息的确定过程，利用麦克风阵列的物理优势，将原始多通道音频转化为“按空间区域划分”的结构化音频流，实现声学空间与物理座舱的精准映射。通过降噪、去混响、回声消除等预处理操作，有效抑制车内胎噪、风噪和多媒体回声，提升音频信号质量，为后续声源定位和音区提取提供高信噪比的纯净输入，从源头保障定位准确性。利用声源定位算法（如到达时间差、波束成形）计算声源方位，再将物理角度映射为“主驾、副驾、后排左/右”等语义音区。这种“定位、映射”两步走策略，使得麦克风阵列的硬件能力与座舱功能域灵活解耦，同一套阵列可适配不同车型的座椅布局。从原始第一音频信息中精确分离出每个目标音区的第二音频信息，为后续每个音区独立进行“视觉-听觉”融合识别准备好了私有化的音频通道。这使得主驾、副驾等不同位置的语音可被并行处理，互不干扰，是实现“全车多音区独立交互”的关键基座。

20、在一些实施例中，所述第一识别结果包括目标音频信息；在所述基于所述目标音区对应的第二音频信息和第一视频信息，确定所述目标音区的第一识别结果之后，所述方法还包括：确定所述目标音频信息对应的操作指令；在所述操作指令的操作类型属于所述目标音区对应的预设类型集的情况下，执行所述操作指令。

21、通过引入基于音区的“权限管控”与“功能隔离”机制，使语音交互从“全域可执行”升级为“分区精细化管控”，提升了安全性、精准性和用户体验。通过预设类型集严格限制不同座位的执行权限（如主驾可执行导航、驾驶模式切换等高优先级指令，副驾或后排则被禁止），规避误操作风险，从根本上防止儿童或副驾乘客误触发出危险指令，保障行车安全。确保识别出的操作指令精准作用于发出音区（如后排说“调高温度”只调节后排空调分区，副驾说“打开座椅按摩”只启动副驾座椅），体验专属，贴合分区个性化，避免误控全车或干扰驾驶位，符合各座乘客的直观预期。在操作指令执行前快速校验操作类型是否属于该音区的“白名单”，有效过滤掉该位置无权发出的请求（如后排试图取消导航路由）。这既减轻了系统后续执行模块的计算压力，也避免了因频繁拒绝或错误执行带来的交互困惑，让人车对话更流畅且符合规则，提升用户体验。

22、本技术实施例的第二方面，还提供一种语音识别装置，该装置包括：第一确定模块和第二确定模块；

23、第一确定模块，用于基于移动设备采集的第一音频信息，确定位于所述移动设备内部空间的至少一个目标音区，以及所述至少一个目标音区中每一目标音区对应的第二音频信息；所述移动设备的内部空间被划分为多个音区，且不同音区对应所述内部空间中不同的子空间；

24、第二确定模块，用于针对每一所述目标音区，基于所述目标音区对应的第二音频信息和第一视频信息，确定所述目标音区的第一识别结果。

25、本技术实施例的第三方面，提供的一种移动设备，该移动设备包括存储器和处理器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时实现本技术实施例的语音识别方法。

26、本技术实施例的第四方面，提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术实施例提供的语音识别方法。

27、本技术实施例的第五方面，提供的计算机程序产品，包括计算机程序或计算机可执行指令，计算机程序或计算机可执行指令被处理器执行时实现本技术实施例提供的语音识别方法。