面向低带宽跨境场景的音视频分层编码翻译方法及系统与流程

本发明涉及音视频通信与跨语言翻译，具体涉及一种面向低带宽跨境场景的音视频分层编码翻译方法及系统。

背景技术：

1、随着跨国远程会议、跨境在线教育等跨语言实时通信场景的快速发展，实时音视频翻译技术已成为支撑跨国无障碍沟通的重要基础。受跨境传输链路距离长、路由节点复杂等因素影响，跨境通信普遍存在带宽受限、时延波动剧烈、丢包率偏高等问题，对音视频翻译服务的稳定性与鲁棒性提出了严苛要求。现有技术普遍采用音视频可伸缩编码结合分层传输的方案，通过基本层保障最低通信质量，增强层按需适配带宽富余场景，部分方案还引入感兴趣区域编码策略，优先保障人脸区域的画面清晰度。但现有优化体系多围绕人眼观看体验设计，翻译核心任务仍高度依赖声学单模态输入，视频中蕴含的视觉发音信息未被纳入翻译链路的冗余保障机制，当网络恶化导致音频信号受损时，语音识别与翻译质量会出现明显下降，极端场景下服务连续性难以保障，因此现有技术存在不足。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种面向低带宽跨境场景的音视频分层编码翻译方法及系统，通过内容分析预处理得到预处理数据包，基于独立可伸缩分层编码生成分层码流集合，根据网络反馈信息执行优先级分层传输调度得到发送数据包集合，经分层解码、时间对齐与跨模态融合翻译得到视频帧序列，实现了面向翻译任务的多模态分层自适应传输架构，解决了跨境低带宽高丢包场景下翻译过度依赖音频单模态、网络波动时翻译质量急剧退化的问题，提高了极端带宽受限条件下翻译服务的可用性与系统整体抗波动能力。

2、为实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种面向低带宽跨境场景的音视频分层编码翻译方法，包括：

4、获取原始音频数据和原始视频帧数据，通过内容分析预处理得到预处理数据包；

5、基于所述预处理数据包，通过独立可伸缩分层编码得到分层码流集合；

6、基于分层码流集合和网络反馈信息，通过优先级分层传输调度得到发送数据包集合；

7、基于发送数据包集合，通过分层解码、时间对齐与跨模态融合翻译得到视频帧序列。

8、进一步地，获取原始音频数据和原始视频帧数据，通过内容分析预处理得到预处理数据包，包括：

9、获取原始音频数据和原始视频帧数据；

10、基于原始音频数据和原始视频帧数据，通过并行的视频分析与音频检测得到唇部灰度图像序列、面部边界框坐标与语音帧标记序列；

11、基于原始音频数据、原始视频帧数据、唇部灰度图像序列、面部边界框坐标及语音帧标记序列，通过时间戳对齐与数据封装得到预处理数据包。

12、进一步地，所述基于原始音频数据和原始视频帧数据，通过并行的视频分析与音频检测得到唇部灰度图像序列、面部边界框坐标与语音帧标记序列，包括：

13、基于所述原始视频帧数据，通过轻量级人脸检测网络和唇部特征点回归模型，得到唇部灰度图像序列与面部边界框坐标；

14、基于所述原始音频数据，通过语音活动检测算法得到包含语音帧与静音帧的语音帧标记序列。

15、进一步地，所述基于所述预处理数据包，通过独立可伸缩分层编码得到分层码流集合，包括：

16、基于原始音频数据和原始视频帧数据，通过关闭帧间依赖的音频编码器分层编码得到包含音频基本层码流与音频增强层码流的音频分层码流；

17、基于原始视频帧数据与面部边界框坐标，通过对面部区域降低量化参数的可伸缩视频编码得到包含视频基本层码流与视频增强层码流的视频分层码流；

18、基于唇部灰度图像序列，通过视觉语音特征提取网络与两级残差矢量量化分层编码，得到包含视觉语音基本层码流和视觉语音增强层码流的视觉语音层数据包序列；

19、基于音频分层码流、视频分层码流及视觉语音层数据包序列，通过按类型组织封装得到分层码流集合。

20、进一步地，所述基于唇部灰度图像序列，通过视觉语音特征提取网络与两级残差矢量量化分层编码，得到包含视觉语音基本层码流和视觉语音增强层码流的视觉语音层数据包序列，包括：

21、基于唇部灰度图像序列，通过三维时空卷积与双向长短时记忆网络级联的视觉语音特征提取网络，得到视觉语音特征向量序列；

22、基于视觉语音特征向量序列，通过第一级残差矢量量化进行粗量化，得到视觉语音基本层码流及第一级量化残差向量序列；

23、基于第一级量化残差向量序列，通过第二级残差矢量量化进行细量化得到视觉语音增强层码流；

24、基于视觉语音基本层码流与视觉语音增强层码流，通过时间戳对齐到所覆盖音频帧范围得到视觉语音层数据包序列。

25、进一步地，所述基于分层码流集合和网络反馈信息，通过优先级分层传输调度得到发送数据包集合，包括：

26、基于网络反馈信息，通过时延梯度与丢包率联合估计的拥塞控制算法得到可用带宽估计值；

27、基于分层码流集合，通过翻译任务优先级分类规则得到优先级发送标记；

28、基于优先级发送标记与可用带宽估计值，通过优先级分层传输调度得到发送数据包集合。

29、进一步地，所述基于发送数据包集合，通过分层解码、时间对齐与跨模态融合翻译得到视频帧序列，包括：

30、基于发送数据包集合，通过分层解码与时间对齐得到解码音频pcm信号、解码视频帧序列及视觉语音特征序列；

31、基于解码音频pcm信号与视觉语音特征序列，通过声学特征提取、鲁棒视听融合识别与神经机器翻译得到目标语言翻译文本；

32、基于解码视频帧序列、视觉语音特征序列及目标语言翻译文本，通过口型生成模型对缺失帧进行唇部平滑插值得到视频帧序列。

33、进一步地，所述基于发送数据包集合，通过分层解码与时间对齐得到解码音频pcm信号、解码视频帧序列及视觉语音特征序列，包括：

34、基于发送数据包集合，通过opus标准解码器得到解码音频pcm信号；

35、基于发送数据包集合，通过h.264可伸缩视频解码器得到解码视频帧序列；

36、基于发送数据包集合，通过残差矢量量化解码器得到解码视觉语音特征向量序列；

37、基于解码视觉语音特征向量序列及其音频帧时间范围信息，通过线性插值将特征帧率扩展至与音频帧率一致，得到视觉语音特征序列。

38、进一步地，所述基于解码音频pcm信号与视觉语音特征序列，通过声学特征提取、鲁棒视听融合识别与神经机器翻译得到目标语言翻译文本，包括：

39、基于解码音频pcm信号，通过梅尔滤波器组分析得到声学特征序列；

40、基于声学特征序列与视觉语音特征序列，通过双编码器加融合解码器架构与训练时引入模态丢弃策略的视听融合识别模型，得到源语言识别文本序列；

41、基于源语言识别文本序列，通过神经机器翻译得到目标语言翻译文本。

42、第二方面，本发明提供一种面向低带宽跨境场景的音视频分层编码翻译系统，包括：

43、数据预处理模块：用于获取原始音频数据和原始视频帧数据，通过内容分析预处理得到预处理数据包；

44、分层编码模块：基于所述预处理数据包，通过独立可伸缩分层编码得到分层码流集合；

45、传输调度模块：基于分层码流集合和网络反馈信息，通过优先级分层传输调度得到发送数据包集合；

46、融合翻译模块：基于发送数据包集合，通过分层解码、时间对齐与跨模态融合翻译得到视频帧序列。

47、与现有技术相比，本发明所达到的有益效果：

48、本发明基于音视频内容分析预处理与独立可伸缩分层编码，通过优先级分层传输调度动态适配跨境链路带宽变化，根据分层解码与时间对齐结果完成跨模态融合翻译，实现了具备多模态冗余能力的自适应音视频翻译传输体系，解决了低带宽跨境场景下翻译过度依赖声学单模态、网络劣化时服务质量急剧下降的问题，提高了极端网络条件下翻译功能的持续可用性与系统抗波动能力，提高了翻译系统的鲁棒性和跨语言通信的连续性。