一种基于多语种音视频的关键词识别方法及系统与流程

本技术属于人工智能领域，具体涉及一种基于多语种音视频的关键词识别方法及系统。

背景技术：

1、随着多媒体通信与人工智能技术的融合发展，关键词识别作为语音信号处理领域的重要分支，在智能安防监控、自动化会议记录及人机交互系统中发挥着关键作用。音视频多模态信息的联合应用能够有效弥补单一模态在复杂环境下的感知局限，显著提升系统对特定语义指令的捕捉精度。特别是在高噪声或多语言混杂的复杂交互场景中，利用视觉唇动特征辅助声学信号进行关键词检索，已成为保障信息处理可靠性与准确性的核心技术手段。

2、其中，基于音视频融合的关键词识别技术旨在通过提取音频谱图特征与视频唇部动作序列，实现对目标词汇的跨模态语义解析。该技术的基本原理在于将高频采样的声学信号与低帧率的图像序列进行深度耦合，通过挖掘音视频流在时间维度与空间维度的关联性，构建具备语义一致性的融合特征表示。随着全球化应用场景的不断增多，系统对于多语种环境下声韵特征与视觉动态特征的协同分析能力以及时序对齐的精准度提出了更高要求。

3、然而，传统特征融合方法多采用简单的特征拼接方式，难以处理音频采样频率与视频帧率之间存在的显著时间尺度不匹配问题。由于硬件采集设备的同步性限制或编解码处理过程的差异，音视频流极易产生非线性的时序偏移，导致模型无法精准关联声学音素与对应的唇部视觉动态特征。同时，在涉及多语种切换的应用场景下，不同语系的音节时长与发音规律差异巨大，传统识别机制缺乏对音视频异构数据动态嵌入与时序路径优化的能力，导致系统识别鲁棒性降低且难以排除环境噪声引起的瞬时干扰，形成了亟待解决的技术难题。因此，期望一种基于多语种音视频的关键词识别方法及系统。

技术实现思路

1、本发明的目的在于提供一种一种基于多语种音视频的关键词识别方法及系统，可以有效解决上述背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、一种基于多语种音视频的关键词识别方法，包括以下具体步骤：

4、获取音频流和视频流，通过硬件同步脉冲对音频流和视频流的采集进行物理层同步，以使音频流与视频流的同步误差被控制在预设时钟周期内；

5、分别对同步后的音频流和视频流进行特征提取，生成第一特征序列和第二特征序列；

6、通过亚帧级重采样算法，将第一特征序列与第二特征序列映射至统一时间轴，以修正音频特征与视频特征在时间尺度上的失配；

7、构建跨模态注意力机制，将经重采样对齐后的第一特征序列通过第一线性变换矩阵投影至查询空间得到音频查询向量，将经重采样对齐后的第二特征序列通过第二线性变换矩阵和第三线性变换矩阵分别投影至键空间和值空间得到视觉键向量和视觉值向量，计算音频查询向量与视觉键向量的点积相似度，并通过归一化指数函数计算得到注意力权重矩阵，利用注意力权重矩阵对视觉值向量进行加权求和，生成增强视觉特征，将增强视觉特征与第一特征序列进行特征级联，形成融合特征向量；

8、对融合特征向量进行时序路径优化，并与预设的多语种关键词模板序列进行匹配，输出关键词识别结果。

9、进一步地，通过硬件同步脉冲对音频流和视频流的采集进行物理层同步，包括：

10、采用现场可编程门阵列实现主时钟发生器，向音频采集单元中的模数转换器与视频采集单元中的图像传感器同时发送边沿触发脉冲，使模数转换器与图像传感器的模数转换操作在同一时钟周期内启动，以实现硬件级的采集同步。

11、进一步地，通过亚帧级重采样算法，将第一特征序列与第二特征序列映射至统一时间轴，包括：

12、确定与视频特征序列的帧率对齐的目标时间轴；

13、引入硬件传输延迟修正因子与编解码缓存时间补偿，修正由底层协议栈导致的时序偏移；

14、采用三次样条插值技术，对于目标时间轴上的每个时间点，通过构建邻近帧之间的分段三次多项式函数，计算出在该时间点处的虚拟特征值，实现亚帧级精度的重采样，使两个模态的特征点在时间维度上达到等间距分布。

15、进一步地，通过亚帧级重采样算法，将第一特征序列与第二特征序列映射至统一时间轴，还包括：

16、针对多语种环境下音节长度不一的特点，对第一特征序列进行语速检测，根据检测到的语速动态调整重采样过程中的插值窗口宽度：当语速高于预设阈值时，减小插值窗口宽度以捕捉瞬态变化；当语速低于预设阈值时，增大插值窗口宽度以减少计算开销。

17、进一步地，分别对同步后的音频流和视频流进行特征提取，生成第一特征序列和第二特征序列，包括：

18、对于音频流，提取对数梅尔谱图特征，生成第一特征序列；

19、对于视频流，通过检测人脸关键点定位唇部感兴趣区域，并利用三维卷积神经网络从连续的唇部图像序列中提取唇部运动的时空特征，生成第二特征序列。

20、进一步地，利用三维卷积神经网络从连续的唇部图像序列中提取唇部运动的时空特征，包括：

21、将归一化后的连续多帧唇部图像序列输入三维卷积神经网络，三维卷积神经网络包含多个三维卷积层，每个三维卷积层后跟随批量归一化层和relu激活函数，最后通过全局平均池化层输出视觉特征向量；

22、三维卷积神经网络在训练时采用三元组损失函数与分类损失函数联合监督的策略，三元组损失函数用于使同一发音类别的特征向量在特征空间中相互靠近，不同发音类别的特征向量相互远离。

23、进一步地，将增强视觉特征与第一特征序列进行特征级联，形成融合特征向量之后，还包括：

24、将融合特征向量输入至双向长短期记忆网络中进行深层时序建模，双向长短期记忆网络的前向层捕获过去的上下文信息，后向层捕获未来的上下文信息，将前向层与后向层的输出进行拼接，得到具有双向上下文信息的融合特征向量。

25、进一步地，对融合特征向量进行时序路径优化，并与预设的多语种关键词模板序列进行匹配，包括：

26、将待识别的融合特征向量序列作为测试序列，与预设的多语种关键词模板序列进行匹配；

27、构建测试序列与模板序列之间的距离矩阵，采用动态规划算法求解从矩阵起点至终点的最优路径，并计算最小累计距离；

28、引入搜索窗口约束，将动态规划算法的搜索范围限制在预设窗口宽度内，以降低计算复杂度；

29、将最小累计距离与预设激活阈值进行比较，当最小累计距离低于激活阈值时，判定当前音视频段包含目标关键词。

30、进一步地，预设的多语种关键词模板序列通过以下方式构建：

31、采集多名说话人对同一关键词的多次发音样本，对每个样本进行特征提取和融合处理，得到对应的融合特征向量序列；

32、将所有样本的融合特征向量序列通过动态时间规整算法进行对齐后取平均值，生成该关键词的标准模板序列；

33、激活阈值通过非关键词发音样本与标准模板序列的最小累计距离的统计分布确定，具体为取所有非关键词样本距离的均值加上两倍标准差。

34、一种基于多语种音视频的关键词识别系统，包括：

35、采集同步模块，用于获取音频流和视频流，并通过硬件同步脉冲对音频流和视频流的采集进行物理层同步，以使音频流与视频流的同步误差被控制在预设时钟周期内；

36、特征提取模块，用于分别对同步后的音频流和视频流进行特征提取，生成第一特征序列和第二特征序列；

37、亚帧级对齐模块，用于通过亚帧级重采样算法，将第一特征序列与第二特征序列映射至统一时间轴，以修正音频特征与视频特征在时间尺度上的失配；

38、跨模态融合模块，用于构建跨模态注意力机制，将经重采样对齐后的第一特征序列通过第一线性变换矩阵投影至查询空间得到音频查询向量，将经重采样对齐后的第二特征序列通过第二线性变换矩阵和第三线性变换矩阵分别投影至键空间和值空间得到视觉键向量和视觉值向量，计算音频查询向量与视觉键向量的点积相似度，并通过归一化指数函数计算得到注意力权重矩阵，利用注意力权重矩阵对视觉值向量进行加权求和，生成增强视觉特征，将增强视觉特征与第一特征序列进行特征级联，形成融合特征向量；

39、识别输出模块，用于对融合特征向量进行时序路径优化，并与预设的多语种关键词模板序列进行匹配，输出关键词识别结果。

40、综上所述，本技术包括以下至少一种有益技术效果：

41、1、本发明通过引入亚帧级重采样算法，从底层逻辑上解决音频高采样率与视频低帧率之间的时间尺度失配问题。相比于传统的直接特征拼接方式，本发明能够在统一的时间轴上实现两种异构数据的精密映射。结合跨模态注意力机制，系统能够精确捕捉到声学音素与微观唇动特征之间的非线性对应关系，有效补偿硬件采集延迟及编解码引入的时序偏移，使得音视频融合的精度得到显著提升，实现对关键语义信息的精准锁定。

42、2、本发明通过动态时间规整算法对融合特征进行路径优化，表现出极强的抗干扰性能。在多语种混杂的应用场景中，针对不同语系音节时长剧烈变化的问题，动态时间规整算法能够通过非线性时间伸缩实现特征序列与模板的柔性匹配。同时，系统利用视觉唇动特征作为声学特征的辅助验证，在高噪声或多语混叠场景下，能够有效排除环境杂音对语音识别的瞬时干扰，误识率较单一模态技术显著降低。

43、3、本发明构建的跨模态注意力机制具备自适应权重分配功能，能够根据实时采集环境的变化自动调整音频与视频信息的贡献度。针对多语种环境下发音规律与视觉动态的差异性，本发明通过深度学习模型提取的高维抽象特征具备良好的泛化性能。配合预设的多语种关键词模板库，系统能够实现对多种语言关键词的快速切换与准确识别，识别响应时间极短，满足智能安防、自动化会议等实时交互场景对高效性和准确性的严苛需求。