基于自监督对齐的多模态同步翻译方法及系统与流程

本发明涉及多模态翻译，具体涉及基于自监督对齐的多模态同步翻译方法及系统。

背景技术：

1、当前跨境商务、多语言会议及远程医疗问诊等场景中，待翻译数据通常同时包含音频、视频及唇形动作等多模态信息。传统的文本翻译工具无法直接处理唇形与语音的同步对齐，而实时场景如同声传译要求端到端延迟极低，但级联式架构存在音频、视频、唇形等模态割裂、误差累积的问题，多模态数据标注成本高昂，特别是唇形与语音的高精度同步对齐难度较大。

2、现有公开号为cn120218091a的专利申请公开了基于多模态大模型的实时视频翻译与音画同步方法及系统，该方法包括：获取源视频；基于所述多模态大模型对所述源视频进行提取，得到多模态特征；通过跨模态注意力机制对所述多模态特征进行融合，生成上下文语义向量；基于所述上下文语义向量实时翻译为目标语言文本，并基于所述多模态特征处理翻译语言文本，得到翻译语言音源；基于所述翻译语言音源对所述源视频进行口型调整，并将所述翻译语言音源和口型动画视频进行合并，得到音画同步的实时翻译视频。该技术方案突破传统单一模态翻译的局限，通过多模态特征，结合跨模态注意力机制动态对齐上下文信息，提升翻译的语义准确性。

3、尽管现有基于多模态大模型的实时视频翻译与音画同步方法及系统，实现了视频内容跨语种翻译、替换原声并生成适配口型画面，但存在跨境音视频翻译中唇形与翻译语音时序错位、同步性差、观感不佳的问题。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供基于自监督对齐的多模态同步翻译方法及系统，获取多模态基准时间映射表，建立源语音音素、唇形运动关键帧与视频场景切换帧的基准时序对应关系，以多模态基准时间映射表为硬时序约束，生成目标语言文本序列及音素级时序标注序列，通过动态时长规划调整目标音素时长，利用多模态基准时间映射表约束目标音素与视觉事件的对应关系，输出目标语言语音波形序列，计算时序偏差，在时序偏差大于预设偏差阈值时触发双向局部校准与帧级融合，形成多模态同步翻译音视频流，解决唇形与翻译语音时序错位、同步性差的问题，提升跨境多语言内容传播的视听体验。

2、为实现上述目的，本发明提供了如下技术方案：

3、基于自监督对齐的多模态同步翻译方法，包括：

4、获取多模态音视频流经预处理形成多模态特征序列，建立基准时序对应关系，生成多模态基准时间映射表；

5、构建多模态时序翻译模型，以多模态基准时间映射表为硬时序约束，从多模态特征序列中提取多源特征进行跨模态融合，生成目标语言文本并输出目标音素的时序概率分布，经约束搜索确定最大概率时间起止点，生成目标语言文本序列及音素级时序标注序列；

6、构建多模态对齐权重矩阵，通过动态时长规划对合成语音的目标音素进行时间缩放，利用多模态基准时间映射表进行约束，输出目标语言语音波形序列；

7、基于目标语言语音波形序列计算时序偏差，当时序偏差大于预设偏差阈值时，触发双向局部校准并进行帧级融合，形成多模态同步翻译音视频流。

8、具体地，构建多模态时序翻译模型的具体步骤包括：

9、基于自监督对比学习策略构建多模态时序翻译模型，包括输入层、特征投影层、时序融合编码层、双分支解码层与输出层；

10、输入层，接收多模态特征序列与多模态基准时间映射表，通过特征维度校验与全局时间戳索引对齐，统一语音、视频、唇形三类模态特征的时序基准，输出标准化的多模态时序特征组；

11、特征投影层，接收多模态时序特征组，通过对应模态的线性投影矩阵与特征归一化处理，将三类模态特征映射至统一维度的公共特征空间，输出维度对齐的多模态特征序列。

12、具体地，构建多模态时序翻译模型的具体步骤还包括：

13、时序融合编码层，接收维度对齐的多模态特征序列，以多模态基准时间映射表为硬时序约束，通过软硬结合注意力机制进行多模态特征融合，得到多模态时序特征序列并提取全局语义时序特征；

14、双分支解码层，由文本生成分支与时序预测分支构成，基于全局语义时序特征，文本生成分支通过transformer解码单元逐词解码，输出目标语言词表概率分布；时序预测分支通过时序感知全连接头与概率归一化层，输出音素全局时间概率分布；

15、输出层，接收目标语言词表概率分布与音素全局时间概率分布，利用维特比算法结合音素时长先验进行约束搜索，确定最大概率时间起止点，生成目标语言文本序列及音素级时序标注序列。

16、具体地，生成目标语言文本序列及音素级时序标注序列的具体步骤包括：

17、在训练阶段，根据人工标注的目标语言文本与音素时序真值，结合多模态特征序列、多模态基准时间映射表构成多模态对齐样本集；

18、根据预设比例将多模态对齐样本集划分为训练集与验证集，结合联合损失函数与adam优化器，对多模态时序翻译模型进行端到端训练；

19、训练完成后，实时输入待翻译的多模态特征序列与多模态基准时间映射表至多模态时序翻译模型，生成目标语言文本序列及音素级时序标注序列。

20、具体地，构建多模态对齐权重矩阵的具体步骤包括：

21、从多模态基准时间映射表中提取全部唇形运动关键帧与视频场景切换帧的时间戳，按时间戳升序合并得到视觉事件时间序列；

22、基于目标语言文本序列与音素级时序标注序列，选取每个目标音素初始合成时序对应的起止时间构成目标时间区间，整合形成目标时间区间序列；

23、对视觉事件时间序列中的每个视觉事件，遍历目标时间区间序列计算视觉事件的时间戳与各目标时间区间的最短时间距离，遍历所有目标音素和视觉事件的组合得到最短时间距离表；

24、设置敏感度权重与显著度权重，结合最短时间距离表计算每对目标音素与视觉事件的综合同步代价权重；

25、以目标音素为行、视觉事件为列、综合同步代价权重为矩阵元素，构建多模态对齐权重矩阵。

26、具体地，通过动态时长规划对合成语音的目标音素进行时间缩放的具体步骤包括：

27、通过动态时长规划对合成语音的目标音素进行时间缩放，基于多模态对齐权重矩阵搜索目标音素与视觉事件的最优对齐路径；

28、定义状态为已处理前i个目标音素并已匹配到第j个视觉事件时的最小累积代价，通过三种转移策略进行状态转移；三种转移策略包括第一转移策略、第二转移策略与第三转移策略；

29、动态规划从前向后递推，逐状态比较三种转移策略的累积代价选取最小累积代价并记录状态转移路径，从最后一个目标音素和最后一个视觉事件的状态反向回溯得到最优对齐路径；

30、根据最优对齐路径确定每个目标音素调整后的起始时间和持续时间，得到调整后的音素级时序标注序列。

31、具体地，输出目标语言语音波形序列的具体步骤包括：

32、将调整后的音素级时序标注序列作为强制时长条件，输入预训练的文本语音合成引擎；

33、利用多模态基准时间映射表，查询与每个目标音素时间对齐的源视频唇形运动关键帧，提取对应唇部关键点运动特征作为视觉条件，通过交叉注意力机制融入声学特征解码器，生成与唇形动作同步的梅尔频谱；

34、通过神经声码器重建，输出目标语言语音波形序列。

35、具体地，基于目标语言语音波形序列计算时序偏差的具体步骤包括：

36、采用滑动窗口机制，以固定窗长和固定步长分别截取目标语言语音波形序列的短时语音片段与唇形视觉特征序列的时间同步片段；

37、基于目标语言语音波形序列计算时序偏差，对每个窗口内的短时语音片段提取梅尔频率倒谱系数特征序列；

38、对时间同步片段提取唇部关键点运动轨迹特征，形成唇部关键点运动轨迹特征序列，结合梅尔频率倒谱系数特征序列进行归一化互相关计算得到互相关响应曲线；

39、以互相关响应曲线峰值对应的时间偏移量为局部第一时序偏差，对所有窗口的局部第一时序偏差进行统计分析得到第一时序偏差；

40、采用相同的滑动窗口机制与统计分析计算第二时序偏差。

41、具体地，形成多模态同步翻译音视频流的具体步骤包括：

42、当第一时序偏差或第二时序偏差大于预设偏差阈值时，触发包含前向预校准与后向回溯校准的双向局部校准，并通过第一时序偏差与第二时序偏差的加权和确定总补偿量；

43、基于波形相似叠加的动态时长微调算法对目标语言语音波形序列进行偏差补偿，得到偏差补偿后的目标语言语音波形序列；

44、基于总补偿量、第一时序偏差与第二时序偏差，对唇形视觉特征序列进行时间轴偏移校正与插值重采样，得到偏差补偿后的唇形视觉特征序列；

45、对全局视频特征序列执行同步的时间轴补偿处理，得到偏差补偿后的全局视频特征序列；

46、对齐偏差补偿后的三类特征序列，提取同步语音编码为音频流，提取同步唇形特征与同步视频内容渲染合成为视频画面，形成多模态同步翻译音视频流。

47、基于自监督对齐的多模态同步翻译系统，包括：多模态时序对齐模块、时序约束翻译模块、多模态同步合成模块与同步偏差校准模块；

48、所述多模态时序对齐模块，用于获取多模态音视频流经预处理形成多模态特征序列，建立基准时序对应关系，生成多模态基准时间映射表；

49、所述时序约束翻译模块，用于构建多模态时序翻译模型，以多模态基准时间映射表为硬时序约束，从多模态特征序列中提取多源特征进行跨模态融合，生成目标语言文本并输出目标音素的时序概率分布，经约束搜索确定最大概率时间起止点，生成目标语言文本序列及音素级时序标注序列；

50、所述多模态同步合成模块，用于构建多模态对齐权重矩阵，通过动态时长规划对合成语音的目标音素进行时间缩放，利用多模态基准时间映射表进行约束，输出目标语言语音波形序列；

51、所述同步偏差校准模块，用于根据目标语言语音波形序列计算时序偏差，当时序偏差大于预设偏差阈值时，触发双向局部校准并进行帧级融合，形成多模态同步翻译音视频流。

52、本发明的有益效果：

53、1.本发明根据多模态基准时间映射表建立源语音、唇形关键帧、视频场景帧统一时序基准，将多模态基准时间映射表作为硬约束融入多模态时序翻译模型，结合自监督对比学习强化同时刻语音、唇形、视频特征时序绑定；文本生成分支与时序预测分支同步输出目标语言词表概率分布与音素全局时间概率分布，采用维特比算法结合音素时长先验生成目标语言文本序列及音素级时序标注序列，从翻译源头规避音素时序预测偏差；区别于仅在后期进行补偿的传统方案，本发明在翻译建模阶段完成时序对齐约束，从根源减少翻译语音与唇形的时序偏移，改善跨境翻译音视频唇音错位、同步性差的缺陷。

54、2.本发明构建多模态对齐权重矩阵，通过动态时长规划匹配音素与唇形、视频视觉事件的最优对齐路径，合成语音时引入唇部关键点特征约束声学生成；同时采用滑动窗口实时计算第一时序偏差与第二时序偏差，超大于预设偏差阈值时触发双向局部校准，基于波形相似叠加的动态时长微调算法进行偏差补偿，得到偏差补偿后的目标语言语音波形序列、唇形视觉特征序列与全局视频特征序列；本发明实现了时序偏差修正，避免造成语音失真，改善了跨境翻译音视频唇音不同步带来的观感差问题并兼顾语音自然度与画面同步观感。