一种音频传输方法、终端设备与存储介质与流程

本技术涉及数据传输，尤其涉及一种音频传输方法、终端设备与存储介质。

背景技术：

1、随着人工智能技术的快速发展，机器听觉任务（如语音活动检测、唤醒词识别、声音事件分类、机械故障诊断、医疗听诊等）在智能终端、工业物联网、智慧医疗等领域得到广泛应用。

2、但是，目前传输音频时，编码端按照预设的码率分配方案传输音频数据，不区分下游任务类型。无论下游执行的是语音唤醒、故障检测还是咳嗽识别，编码端均传输相同的频段组合，导致传输资源浪费在与任务无关的频段上，也无法根据任务的实际运行状态动态调整后续传输内容。

3、因此，需要一种可以根据下游机器听觉任务的实际执行状态动态调整需要传输的音频的方案。

技术实现思路

1、有鉴于此，本技术实施例提供一种音频传输方法、终端设备与存储介质，用于根据下游机器听觉任务的实际执行状态，动态反馈以使编码端调整需要传输的音频。

2、第一方面，本技术实施例提供一种音频传输方法，包括：

3、获取由编码端发送并经解码端恢复的多个频段的音频数据；

4、基于多个频段的音频数据，执行机器听觉任务，输出用于反映任务执行结果可靠性的任务状态量；

5、基于任务状态量，确定反馈控制信息；反馈控制信息用于指示下一周期传输的目标频段，目标频段为需要补充传输的频段、需要停止传输的频段以及保持传输的频段中的一种或多种组合；

6、将反馈控制信息发送至编码端，以使编码端基于反馈控制信息，确定下一周期传输给解码端的频段。

7、在一些实施例中，基于任务状态量，确定反馈控制信息，包括：在任务状态量满足以下一项或多项的情况下，确定反馈控制信息指示的目标频段仅包括需要补充传输的频段，并将与任务状态量相关联的频段确定为需要补充传输的频段：任务状态量中置信度的下降量大于或等于第一阈值；置信度用于表征任务执行结果的可信程度；任务状态量中错误率的上升量大于或等于第二阈值；错误率用于表征任务执行结果中错误输出的比例；任务状态量中目标类别的混淆率大于或等于第三阈值；混淆率用于表征任务执行结果的预测类别与其他类别间的混淆程度；任务状态量中异常分数与告警阈值之间的距离小于或等于第四阈值；异常分数用于表征当前输入频段的音频数据偏离正常状态的程度。

8、在一些实施例中，基于任务状态量，确定反馈控制信息，包括：在任务状态量同时满足以下条件的情况下，确定反馈控制信息指示的目标频段仅包括保持传输的频段，并将当前频段集合确定为保持传输的频段：任务状态量中置信度的平均值大于或等于第五阈值；任务状态量中置信度的标准差小于或等于第六阈值；任务状态量中错误率小于或等于第七阈值。

9、在一些实施例中，基于任务状态量，确定反馈控制信息，包括：在任务状态量中异常分数的平均值小于或等于第八阈值，且任务状态量中异常分数的标准差小于或等于第九阈值的情况下，确定反馈控制信息指示的目标频段仅包括需要停止传输的频段，且将除保留频段之外的其他频段确定为需要停止传输的频段；保留频段为机器听觉任务对应的核心频段，或为历史贡献分数最高的频段，历史贡献分数基于各频段对机器听觉任务的贡献大小确定。

10、第二方面，本技术实施例提供一种音频传输方法，应用于编码端，该方法包括：

11、接收反馈控制信息；反馈控制信息用于指示下一周期传输的目标频段，目标频段为需要补充传输的频段、需要停止传输的频段以及保持传输的频段中的一种或多种组合；

12、获取权限限制信息和机器听觉任务的任务优先级；

13、基于权限限制信息，从反馈控制信息指示的目标频段中剔除禁止频段；

14、基于任务优先级，以及剔除禁止频段后各个目标频段的综合选择分数，确定下一周期实际传输的目标频段；

15、将实际传输的目标频段对应的子码流发送至解码端。

16、在一些实施例中，基于任务优先级，以及剔除禁止频段后各个目标频段的综合选择分数，确定下一周期实际传输的目标频段，包括：在任务优先级为第一优先级的情况下，将与机器听觉任务对应的必要频段确定为必要保留频段；基于剔除禁止频段后且属于必要保留频段的目标频段的综合选择分数，确定下一周期实际传输的目标频段；该方法还包括：在任务优先级为第二优先级的情况下，降低综合选择分数的选择阈值；基于剔除禁止频段后各个目标频段的综合选择分数，以及选择阈值，确定下一周期实际传输的目标频段；在任务优先级为第三优先级的情况下，将最小可用频段确定为下一周期实际传输的目标频段；最小可用频段为机器听觉任务对应的核心频段中数量最少的频段；其中，第一优先级高于第二优先级，第二优先级高于第三优先级。

17、在一些实施例中，基于剔除禁止频段后各个目标频段的综合选择分数，以及选择阈值，确定下一周期实际传输的目标频段，包括：将综合选择分数大于或等于第一选择阈值的目标频段，确定为下一周期实际传输的目标频段；该方法还包括：将综合选择分数小于第二选择阈值且大于或等于第三选择阈值的目标频段，确定为备选补传频段，备选补传频段用于在资源允许时补充传输；将综合选择分数小于第四选择阈值的目标频段，确定为不传输频段；其中，第一选择阈值大于第二选择阈值，第二选择阈值大于第三选择阈值，第三选择阈值大于第四选择阈值。

18、在一些实施例中，目标频段的综合选择分数基于以下一项或多项计算得到：目标频段对机器听觉任务的正向贡献、目标频段对降低误检或类别混淆的错误补偿作用、目标频段对应的任务优先级增益以及传输目标频段的码率或数据量代价。

19、第三方面，本技术实施例提供一种音频传输装置，包括：

20、获取模块，用于获取由编码端发送并经解码端恢复的多个频段的音频数据；

21、任务执行模块，用于基于多个频段的音频数据，执行机器听觉任务，输出用于反映任务执行结果可靠性的任务状态量；

22、反馈处理模块，用于基于任务状态量，确定反馈控制信息；反馈控制信息用于指示下一周期传输的目标频段，目标频段为需要补充传输的频段、需要停止传输的频段以及保持传输的频段中的一种或多种组合；

23、发送模块，用于将反馈控制信息发送至编码端，以使编码端基于反馈控制信息，确定下一周期传输给解码端的频段。

24、第四方面，本技术实施例提供一种音频传输装置，包括：

25、接收模块，用于接收反馈控制信息；反馈控制信息用于指示下一周期传输的目标频段，目标频段为需要补充传输的频段、需要停止传输的频段以及保持传输的频段中的一种或多种组合；

26、获取模块，用于获取权限限制信息和机器听觉任务的任务优先级；

27、筛除模块，用于基于权限限制信息，从反馈控制信息指示的目标频段中剔除禁止频段；

28、选择模块，用于基于任务优先级，以及剔除禁止频段后各个目标频段的综合选择分数，确定下一周期实际传输的目标频段；

29、发送模块，用于将实际传输的目标频段对应的子码流发送至解码端。

30、第五方面，本技术实施例提供一种终端设备，包括处理器和存储器，存储器存储有计算机程序，处理器用于执行计算机程序以实施第一方面或第二方面中任一种音频传输方法。

31、第六方面，本技术实施例提供一种计算机可读存储介质，其存储有计算机程序，计算机程序在处理器上执行时，实施第一方面或第二方面中任一种音频传输方法。

32、本技术的实施例具有如下有益效果：

33、基于任务状态量确定反馈控制信息，反馈控制信息用于指示下一周期传输的目标频段（需要补充传输/需要停止传输/保持传输）。这使得传输频段的调整直接取决于机器听觉任务的实际执行状态——任务性能良好时保持当前频段，任务性能不足时请求补充相关频段，从而实现传输策略与任务性能的动态联动，避免编码端不感知任务需求导致的传输资源浪费。

34、并且，反馈控制信息指示的是目标频段，而非整体传输码率或全局传输策略的调整，能够在频段粒度上精确表达传输需求——哪些频段需要补充、哪些频段需要停止、哪些频段继续保持，从而实现音频传输资源的精细调度。

35、编码端接收到反馈控制信息后，基于权限限制信息从反馈控制指示的目标频段中剔除禁止频段，再基于任务优先级和综合选择分数确定实际传输的目标频段，兼顾权限保护与任务重要程度响应差异。编码端的频段选择不再是固定策略或经验判断，而是有明确量化依据（综合选择分数）和约束条件（权限限制、任务优先级）的可计算决策。