音频处理方法及相关装置与流程

本技术涉及移动终端音频处理，尤其涉及一种音频处理方法及相关装置。

背景技术：

1、随着移动终端的多媒体功能日益丰富，用户在同一设备上同时运行多个音频应用的场景愈发常见，系统需要对各路音频进行合理的管理与协调。

2、现有的音频管理系统主要依赖应用主动声明的音频用途或内容类型进行优先级仲裁，或基于音频信号的声学特征进行粗分类后切换预设音效模式，部分方案还结合屏幕亮灭等单一传感数据调整音量或通知策略。

3、然而，上述管理方式存在以下不足。第一，内容识别粒度过粗，现有方案仅能区分音乐、语音等宽泛类别，无法识别播客、有声书、asmr等细粒度内容类型，导致系统无法根据内容的实际语义场景做出合理的处理决策。第二，现有系统在处理音频焦点时完全不考虑用户当前的实际状态，相同的通知音在用户专注聆听与背景播放两种场景下应有不同的处理方式，但现有方案无法做出区分。上述问题的根源在于，现有方案缺乏对音频内容语义的精细感知与对用户注意力状态的客观推断，更缺乏将二者联合建模以驱动音频处理决策的机制，导致音频处理策略与用户真实意图之间产生系统性偏差。

技术实现思路

1、鉴于现有技术存在的音频处理策略与用户真实意图不匹配的问题，本技术提供了一种音频处理方法及相关装置，以实现基于细粒度内容语义与用户注意力状态的联合决策，使音频处理策略能够动态适配用户的真实使用场景的目的。具体方案如下：

2、本技术第一方面提供一种音频处理方法，包括：

3、获取正在播放的第一音频流的细粒度内容类型标识，所述细粒度内容类型标识表征所述第一音频流所属的语义场景类别；

4、获取基于非音频传感数据融合生成的连续注意力状态表征，所述连续注意力状态表征反映用户对当前设备的注意力投入程度；

5、基于所述细粒度内容类型标识和所述连续注意力状态表征，确定所述第一音频流的音频处理策略。

6、在一种可能的实现中，所述获取正在播放的第一音频流的细粒度内容类型标识，包括：

7、提取所述第一音频流的音频帧频谱特征；

8、通过端侧分类模型对所述音频帧频谱特征进行分类，输出多维内容类型标签向量；

9、对连续音频帧的所述多维内容类型标签向量施加时序平滑处理，得到所述细粒度内容类型标识。

10、在一种可能的实现中，所述多维内容类型标签向量包含至少十个细粒度类别的置信度，所述细粒度类别包括语音内容类、音乐内容类以及提示与音效类；

11、所述时序平滑处理包括：在预设时间窗口内对所述多维内容类型标签向量进行滑动平均或多数表决，当平滑后的主导类别发生改变且持续超过预设保持时间时，更新所述细粒度内容类型标识。

12、在一种可能的实现中，所述获取基于非音频传感数据融合生成的连续注意力状态表征，包括：

13、采集多维非音频传感数据，所述多维非音频传感数据包括设备交互状态数据和上下文状态数据；

14、对所述多维非音频传感数据进行加权融合，所述加权融合包括一阶加权项以及所述多维非音频传感数据间的交叉项；

15、通过非线性映射将融合结果归一化，生成取值在预设连续区间内的所述连续注意力状态表征。

16、在一种可能的实现中，所述设备交互状态数据包括屏幕状态和预设时间窗口内的触摸交互频率，所述上下文状态数据包括前台应用类型、加速度计输出及环境光强度；

17、所述加权融合通过非线性激活函数对一阶加权项与交叉项的加权和进行非线性映射，其中所述一阶加权项为各归一化后的非音频传感数据与其对应权重的乘积之和，所述交叉项为任意两个非音频传感数据的乘积与其对应权重的乘积之和；

18、所述一阶加权项的权重和所述交叉项的权重基于历史用户行为与音频处理效果的关联度进行在线增量更新。

19、在一种可能的实现中，所述方法还包括：

20、响应于检测到第二音频流的播放请求，基于所述第一音频流和所述第二音频流各自的细粒度内容类型标识，确定二者之间的内容兼容性关系；当所述内容兼容性关系为互补关系时，将所述第一音频流和所述第二音频流分别配置为主音频流和辅音频流，并基于所述主音频流的实时能量分布，对所述辅音频流执行频域选择性动态衰减。

21、在一种可能的实现中，所述基于所述主音频流的实时能量分布，对所述辅音频流执行频域选择性动态衰减，包括：

22、提取所述主音频流在当前帧的活跃频段，所述活跃频段为能量超过自适应阈值的频点集合；

23、对所述辅音频流在所述活跃频段对应的频点施加动态陷波衰减，所述动态陷波衰减的衰减深度与所述主音频流在对应频点的能量正相关；

24、当所述主音频流在当前帧处于静默状态时，将所述辅音频流的全频段增益恢复为不衰减状态。

25、在一种可能的实现中，所述提取所述主音频流在当前帧的活跃频段，包括：对所述主音频流进行短时傅里叶变换，获取各频点的能量，将能量超过该帧平均能量与预设倍数因子之积的频点确定为活跃频点；

26、所述对所述辅音频流在所述活跃频段对应的频点施加动态陷波衰减，包括：根据所述主音频流在对应频点的能量、所述辅音频流在对应频点的能量以及最大衰减系数，计算所述辅音频流在各频点的增益，所述增益与所述主音频流在对应频点的能量呈负相关关系。

27、在一种可能的实现中，所述基于所述第一音频流和所述第二音频流各自的细粒度内容类型标识，确定二者之间的内容兼容性关系，包括：

28、基于预设的互斥矩阵和互补矩阵，判定所述第一音频流和所述第二音频流的细粒度内容类型标识之间的关系；

29、当判定为互斥关系时，将所述第二音频流的播放请求延迟至所述第一音频流播放结束或加入排队队列；

30、当判定为互补关系时，基于预设的优先级规则将所述第一音频流和所述第二音频流分别分配为主音频流和辅音频流。

31、在一种可能的实现中，所述方法还包括：

32、响应于所述细粒度内容类型标识或所述连续注意力状态表征发生变化导致所述音频处理策略改变，对音频处理参数进行插值渐变切换。

33、在一种可能的实现中，所述方法还包括：

34、采集用户对自动应用所述音频处理策略后的操作反馈，当检测到用户在预设时间内的反向手动操作时，将其记录为负反馈信号；

35、基于所述负反馈信号，对生成所述连续注意力状态表征的融合权重以及确定所述音频处理策略的决策模型进行在线增量更新。

36、在一种可能的实现中，所述方法还包括：

37、当所述细粒度内容类型标识指示当前播放内容为沉浸类内容，且所述连续注意力状态表征大于预设注意力阈值时，将系统通知的输出方式从音频播放切换为触觉反馈或屏幕视觉提示；所述反向手动操作包括用户手动调高被系统自动降低的音量，或手动恢复被系统自动抑制的通知提示音。

38、本技术第二方面提供一种音频处理装置，包括：

39、细粒度内容类型标识获取单元，用于获取正在播放的第一音频流的细粒度内容类型标识，所述细粒度内容类型标识表征所述第一音频流所属的语义场景类别；

40、连续注意力状态表征获取单元，用于获取基于非音频传感数据融合生成的连续注意力状态表征，所述连续注意力状态表征反映用户对当前设备的注意力投入程度；

41、处理策略确定单元，用于基于所述细粒度内容类型标识和所述连续注意力状态表征，确定所述第一音频流的音频处理策略。

42、本技术第三方面提供一种计算机程序产品，包括计算机可读指令，当所述计算机可读指令在电子设备上运行时，使得所述电子设备实现上述第一方面或第一方面任一实现方式的音频处理方法。

43、本技术第四方面提供一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：

44、所述存储器用于存储计算机程序；

45、所述处理器用于执行所述计算机程序，以使所述电子设备能够实现上述第一方面或第一方面任一实现方式的音频处理方法。

46、本技术第五方面提供一种计算机可读存储介质，所述存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被电子设备执行时，能够使所述电子设备实现上述第一方面或第一方面任一实现方式的音频处理方法。

47、借由上述技术方案，本技术提供的音频处理方法及相关装置，通过获取表征第一音频流所属语义场景类别的细粒度内容类型标识，并结合基于非音频传感数据融合生成的反映用户注意力投入程度的连续注意力状态表征，构建了内容语义与用户状态二维联合的决策机制。该机制使得音频处理策略的确定不再依赖于粗粒度的声学分类或单一的应用声明，而是能够精准感知当前音频内容对用户的实际意义以及用户当下的真实收听意图，从而实现了音频处理策略与用户真实场景的动态适配，有效克服了传统方案中策略与场景割裂、处理逻辑一刀切的技术缺陷。