基于深度学习的沉浸式游戏音频自适应调校方法及系统与流程

本发明涉及沉浸式音频处理与智能音频调校，具体为基于深度学习的沉浸式游戏音频自适应调校方法及系统。

背景技术：

1、在沉浸式游戏音频渲染情形中，头显、耳机与近耳拾音组件会共同影响双耳声场的还原效果，而用户头部转动、耳机佩戴松动以及舱内环境噪声和反射声变化，又会使左右耳声压分布、声路传递特性和空间定位效果持续波动，因此音频渲染链路的调校精度依赖于对佩戴状态、声学环境及双耳物理特征的实时感知与稳定控制能力；

2、传统的方式中，沉浸式音频系统多采用出厂固定参数、首次校准参数或者基于少量瞬时特征的规则补偿方式完成均衡、定位和反射处理，在用户姿态连续变化、环境噪声波动或者耳机贴合状态改变后，难以及时准确地跟踪声路变化并同步修正渲染参数，会导致低频泄漏增大、左右耳不平衡、定位偏差上升以及参数振荡等技术缺陷，致使沉浸式游戏音频的自适应调校稳定性较低。

技术实现思路

1、本发明的目的在于提供基于深度学习的沉浸式游戏音频自适应调校方法及系统，解决以下技术问题：现有沉浸式音频系统在面对用户姿态变化、环境噪声波动及耳机贴合改变时，未能实现声路跟踪与参数同步修正，本发明提出一种能实时感知多维物理特征、精准自适应调校并稳定控制渲染链路的方法及系统。本发明的目的可以通过以下技术方案实现：

2、基于深度学习的沉浸式游戏音频自适应调校方法，在沉浸式游戏音频渲染输出链路中叠加低能量探测信号，利用近耳麦克风、舱内参考麦克风和惯性测量单元获取左右耳声压数据、环境声压数据和头部姿态数据；基于环境声压数据提取环境噪声声压级和频段噪声能量，基于当前节目音频提取当前节目响度值，并在首个探测周期采用初始化参数组作为上一周期执行参数，在后续探测周期采用上一探测周期的执行参数作为上一周期执行参数；

3、基于探测信号和左右耳声压数据估计左右声路传递函数，对当前周期与上一周期的传递函数幅频响应差值进行差分，得到各频段升高或降低的即时变化方向，并提取左右耳低频泄漏量、高频定位偏差、左右耳不平衡量、早期反射量和麦克风置信量；

4、将所述物理特征、头部姿态数据、环境噪声、当前节目响度值和上一周期执行参数组成输入数据序列，输入离线训练后在线推理的时序深度学习模型，输出初始调校参数，并仅保留与所述即时变化方向对应补偿方向一致的初始调校参数作为候选参数；

5、根据当前周期调校误差及连续至少三个探测周期的误差序列确定误差变化趋势，并结合低频泄漏量、头部角速度和误差变化趋势对候选参数进行联合约束，得到最终执行参数，其中调校误差为根据当前周期的左右耳低频泄漏量相对目标低频泄漏量的偏差、当前左右耳不平衡量相对目标不平衡量的偏差、综合高频定位偏差以及当前音频处理时延相对预设时延阈值的超出量分别归一化后加权求和得到的误差值，所述目标低频泄漏量、目标不平衡量和预设时延阈值均来自初始化参数组；

6、将最终执行参数作用于自适应均衡单元、头相关传递函数融合单元、双耳时间差修正单元、双耳声级差修正单元和反射补偿单元，对当前音频帧进行处理得到左右耳输出，并在后续探测周期中基于新的左右耳声压数据计算调校误差和误差变化量，以修正后续周期的参数输出权重、参数更新速率，并在误差持续上升时回退至上一稳定参数组或初始化参数组，完成沉浸式游戏音频的自适应调校。

7、优选的，在正常节目音频播放过程中叠加所述低能量探测信号；通过左右耳机内侧靠近耳道入口10毫米至20毫米处设置的近耳麦克风获取左耳声压数据和右耳声压数据；通过舱内参考麦克风获取环境噪声和反射声压数据；通过头显集成的惯性测量单元获取头部偏航角、俯仰角、横滚角及对应角速度；将头部姿态数据的时间戳与音频帧时间戳按照同一系统时钟进行对齐。

8、优选的，所述低能量探测信号为18千赫兹至22千赫兹的短时高频探测音，或者为在探测时段内其声压级低于当前节目音频平均声压10分贝至25分贝、且在对应频段的短时平均声压级低于当前节目音频同频段短时平均声压级10分贝至25分贝的短时扫频信号；所述探测信号持续时间为二十毫秒，探测周期为300毫秒；所述惯性测量单元的采样率为五百赫兹；所述初始化参数组为出厂标定参数组或首次佩戴校准记录参数组。

9、优选的，分别根据探测信号与左耳声压数据、右耳声压数据估计左声路传递函数和右声路传递函数；基于左声路传递函数和右声路传递函数提取左右耳在80赫兹至300赫兹频段的低频泄漏量、左右耳在四千赫兹至一万二千赫兹频段的高频定位偏差以及左右耳在五百赫兹至六千赫兹频段的不平衡量；

10、其中，所述低频泄漏量表示所述频段内实测传递增益相对基准传递增益的平均衰减量，所述高频定位偏差表示所述频段内左右声路幅频响应相对基准幅频响应的平均绝对偏差量，所述不平衡量表示所述频段内左右耳声压差的平均绝对值，所述基准传递增益和基准幅频响应均来自初始化参数组；将左右耳高频定位偏差合成为综合高频定位偏差。

11、优选的，对连续五个探测窗对应的左右声路传递函数进行指数滑动平均处理；去除探测信号对应频段信噪比低于六分贝的频段数据；基于处理后的频段数据提取左右耳低频泄漏量、左右耳高频定位偏差、左右耳不平衡量、早期反射量和麦克风置信量；

12、其中，所述早期反射量表示探测窗内直达声能量与预设早期反射时窗内反射声能量的比值或者差值，所述预设早期反射时窗为相对于直达声到达时刻延迟一毫秒至二十毫秒的时间窗；所述麦克风置信量基于探测频段信噪比、失真度和连续性分别归一化后加权求和确定，取值范围为零至一，所述连续性表示连续相邻探测窗中对应频段传递函数幅值变化的稳定程度。

13、优选的，输入所述时序深度学习模型的数据序列由最近八个探测周期对应时刻的输入数据组成，多源数据经时间对齐后重采样至探测周期时基；每个探测周期的输入数据包括左右耳低频泄漏量、左右耳高频定位偏差、左右耳不平衡量、早期反射量、环境噪声声压级和频段噪声能量、头部姿态数据、头相关传递函数模板标识、当前节目响度值、麦克风置信量以及上一周期执行参数；

14、其中，所述头相关传递函数模板标识为预存头相关传递函数模板的编号或者索引；所述上一周期执行参数包括均衡补偿增益、头相关传递函数融合比例、双耳时间差修正量、双耳声级差修正量和平滑系数；所述初始调校参数包括均衡补偿增益、头相关传递函数融合比例、双耳时间差修正量、双耳声级差修正量、反射补偿量、参数输出权重和参数可信度；

15、其中，所述参数输出权重表示当前周期模型输出参数对最终执行参数的贡献比例，所述参数可信度表示模型输出参数的可信程度，取值范围为零至一；所述时序深度学习模型为循环神经网络模型、时序卷积网络模型或变换器时序模型中的一种。

16、优选的，当左耳低频泄漏量或右耳低频泄漏量中任一者大于零点四五时，限制80赫兹至300赫兹频段的均衡补偿增益不高于正四分贝；当左耳低频泄漏量和右耳低频泄漏量中的较大者大于0.65时，停止低频补偿，并将参数可信度限制为不高于零点二；

17、当综合高频定位偏差大于八分贝时，限制四千赫兹至一万二千赫兹频段的均衡补偿增益变化率不高于每一百毫秒两分贝，并仅保留预期综合高频定位偏差的降低量大于或等于预设改善阈值的候选参数，所述预设改善阈值为初始化参数组中记录的高频定位偏差改善阈值；

18、当头部偏航角角速度的绝对值大于每秒一百二十度时，保持最近一次同时满足参数可信度大于零点八和调校误差连续下降两个周期的头相关传递函数融合比例，将音频缓冲长度限制在一百二十八个采样点以内，并仅更新双耳时间差修正量、双耳声级差修正量和平滑系数；

19、当连续三个探测周期的调校误差上升时，依次降低参数输出权重、降低参数更新速率、冻结反射补偿量和高频均衡补偿增益，并在误差继续上升时回退至最近一次使调校误差低于预设误差阈值的上一稳定参数组，所述预设误差阈值来自初始化参数组或者出厂配置参数。

20、优选的，根据最终执行参数对待渲染声源信号依次进行均衡处理、头相关传递函数融合、双耳时间差修正、双耳声级差修正和反射补偿，得到左右耳输出；最终执行参数按照当前周期的候选参数与上一周期执行参数进行平滑更新，所述平滑更新由平滑系数控制。

21、优选的，所述调校误差基于左右耳低频泄漏量相对目标低频泄漏量的偏差、当前左右耳不平衡量相对目标不平衡量的偏差、综合高频定位偏差及当前音频处理时延相对预设时延阈值的超出量分别归一化后加权求和确定；

22、所述目标低频泄漏量、目标不平衡量和预设时延阈值均来自初始化参数组；所述误差变化趋势根据连续至少三个探测周期的调校误差序列确定为上升、下降或稳定；当当前调校误差小于上一周期调校误差且下降幅度达到第一预设阈值时，提高参数输出权重；当当前调校误差相对上一周期变化幅度的绝对值小于或等于第二预设阈值时，保持参数输出权重；

23、当连续三个探测周期的调校误差上升时，暂停所述时序深度学习模型的计算，将平滑系数降至0.01，并切换至初始化参数组；当探测信号对应频段信噪比大于六分贝且左耳低频泄漏量和右耳低频泄漏量均小于零点二五时，恢复自适应调校；其中，所述第一预设阈值、第二预设阈值由初始化参数组或者出厂配置参数给出。

24、基于深度学习的沉浸式游戏音频自适应调校系统，包括探测感知模块、特征提取模块、参数确定模块、约束执行模块、音频渲染执行模块和误差反馈模块；所述探测感知模块用于在音频渲染输出链路中叠加低能量探测信号，并获取左右耳声压数据、环境声压数据和头部姿态数据；

25、所述特征提取模块用于基于探测信号和左右耳声压数据估计左右声路传递函数，基于环境声压数据提取环境噪声声压级和频段噪声能量，基于当前节目音频提取当前节目响度值，并提取左右耳低频泄漏量、左右耳高频定位偏差、左右耳不平衡量、早期反射量和麦克风置信量；

26、所述参数确定模块包括预先训练的时序深度学习模型，用于基于特征提取模块输出的数据、环境噪声、当前节目响度值以及上一周期执行参数生成初始调校参数；所述约束执行模块用于基于所述初始调校参数，并结合低频泄漏量、头部角速度和误差变化趋势进行联合约束，得到最终执行参数；

27、所述音频渲染执行模块包括自适应均衡单元、头相关传递函数融合单元、双耳时间差修正单元、双耳声级差修正单元和反射补偿单元，用于将最终执行参数作用于音频渲染链路；所述误差反馈模块用于基于后续探测周期获取的左右耳声压数据重新计算调校误差和误差变化量，并据此修正后续周期的参数输出权重、参数更新速率以及回退至上一稳定参数组或初始化参数组的动作。

28、与现有技术相比，本发明具备以下有益效果：

29、1.本发明通过在音频渲染链路叠加低能量探测信号提取多维声学特征，并将时序特征序列输入预训练的时序深度学习模型生成初始调校参数；结合头部角速度、误差变化趋势等规则约束得到最终执行参数，有效克服了传统方法难以同步修正声路变化及容易引发参数振荡的缺陷，显著提升了调校稳定性；

30、2.针对佩戴松动引起的声场劣化，本方法基于实测声路传递函数精准提取低频泄漏量、高频定位偏差及不平衡量；通过约束机制对异常泄漏进行截断，并动态修正均衡补偿增益、头相关传递函数融合比例以及双耳时间差与声级差，有效抑制了低频泄漏增大和左右耳不平衡，实现了双耳声场的高精度还原；

31、3.本发明引入了完善的误差反馈与状态回退机制；当检测到头部剧烈转动或连续多个周期调校误差上升时，系统自动通过限制均衡增益变化、冻结反射补偿量、降低参数更新速率或回退至上一稳定参数组及初始化参数组来进行应对；在复杂噪声波动工况下维持音频输出参数的连续性，保障了音频渲染链路的稳定性。