一种音频数据处理系统及方法与流程

本发明涉及数字音频处理，具体而言，涉及一种音频数据处理系统及方法。

背景技术：

1、随着数字音乐的广泛普及，音频数据的存储和传输需求不断攀升。传统音频数据压缩技术，主要通过对音频频谱进行分析与压缩来减少音频数据量，从而实现音频数据的压缩。通常利用人耳的听觉掩蔽效应，根据音频频谱将音频信号转换到频域，并去除人耳不易察觉的频率成分，从而达到压缩目的。

2、在相关技术中，对于音质要求较高的音频数据，例如高品质的音乐的音频数据，传统的音频数据压缩技术仅依靠音频频谱的单一模态特征进行压缩，导致在压缩过程中容易丢失音乐数据的大量音乐细节，使得恢复后的音乐出现失真的现象，无法满足用户对高保真音乐的需求。

技术实现思路

1、本发明解决的问题是如何在保证解压后的音质的情况下，提高对音频数据的压缩效果。

2、为解决上述问题，本发明提供一种音频数据处理系统及方法。

3、第一方面，本发明的一种音频数据处理系统，包括：

4、特征提取单元，用于获取音频数据，并对所述音频数据进行多模态特征提取，得到所述音频数据的多个模态特征；

5、特征编码单元，用于通过预设降维算法根据每个模态的所述模态特征进行降维处理，并对降维后的所述模态特征进行编码，得到每个模态对应的特征码流；

6、压缩策略单元，用于通过深度学习模型根据每个模态特征的所述特征码流进行预测，得到每个模态特征的所述特征码流的复杂度值；根据所述特征码流的所述复杂度值结合所述音频数据的压缩要求，确定所述模态特征的信息损失风险值；根据所述信息损失风险值，动态调整所述音频数据中每个模态特征的压缩率；根据所有所述模态特征的所述压缩率，得到所述音频数据的压缩策略；

7、数据处理单元，用于根据所述压缩策略对每个模态特征的特征码流进行压缩，得到所述音频数据的压缩文件。

8、可选地，所述特征提取单元具体用于：

9、获取原始音频数据，并对所述原始音频数据执行预处理操作，得到预处理后的所述原始音频数据，并将预处理后的所述原始音频数据作为所述音频数据；

10、通过短时傅里叶变换，将所述音频数据从时域转换为频域，得到所述音频数据的频谱特征；

11、根据所述音频数据进行过零率计算，得到所述音频数据的节奏特征；

12、通过音高检测算法提取所述音频数据的音高序列，并根据所述音高序列，确定所述音频数据的旋律特征；

13、根据所述音频数据进行和弦识别，得到所述音频数据的和声特征；

14、将所述频谱特征、所述节奏特征、所述节奏特征、所述旋律特征以及所述和声特征作为所述模态特征。

15、可选地，所述特征编码单元，具体用于：

16、分别对每个模态特征进行标准化处理，得到标准化后的所述模态特征；

17、对标准化后的所述模态特征进行主成分分析，得到所述模态特征的协方差矩阵；

18、根据所述模态特征的协方差矩阵进行投影，得到降维后的所述模态特征；

19、分别对降维后的所述模态特征进行概率计算，得到每个模态特征中每个特征值的出现概率；

20、根据所述出现概率，得到所述模态特征的概率分布；

21、根据所述概率分布构建哈夫曼树，通过为每个所述特征值分配哈夫曼编码，得到所述模态特征对应的所述特征码流。

22、可选地，所述深度学习模型包括长短期记忆层和全连接层，所述压缩策略单元，具体用于：

23、将每个模态特征的特征码流按照所述深度学习模型的窗口大小划分为多个输入序列；

24、通过所述长短期记忆层对每个所述输入序列进行长期依赖关系捕捉，得到所述输入序列的隐藏状态序列，并将所述隐藏状态序列作为所述长短期记忆层的输出序列；

25、通过所述全连接层对所有所述输出序列进行特征整合和非线性变换，得到所述特征码流的复杂度值。

26、可选地，所述压缩策略单元，具体还用于：

27、根据所述特征码流的所述复杂度值进行映射，得到所述模态特征的初始信息损失风险值；

28、根据所述压缩要求，确定所述初始信息损失风险值的校准系数；

29、根据所述校准系数更新所述初始信息损失风险值，得到所述模态特征的信息损失风险值。

30、可选地，所述压缩策略单元，具体还用于：

31、根据所述压缩要求，确定所述音频数据的通用压缩率；

32、根据每个模态特征的所述信息损失风险值，确定所述模态特征在所述音频数据中的重要性权重；

33、根据每个模态特征的所述重要性权重，结合所述通用压缩率，得到每个模态特征的压缩率。

34、可选地，所述压缩策略单元，具体还用于：

35、根据所有所述模态特征的所述压缩率，得到每个模态特征对应的压缩子策略；

36、将所有所述模态特征的所述压缩子策略进行整合，得到所述音频数据的压缩策略。

37、可选地，所述数据处理单元，具体用于：

38、通过分布式网络，根据所述压缩策略对每个模态特征的特征码流进行压缩，得到所述音频数据的压缩文件，所述分布式网络包括多个节点；

39、其中，分别为每个所述节点分配不同所述模态特征的所述特征码流；

40、通过每个所述节点，根据所述节点对应的所述模态特征的所述压缩子策略进行压缩，得到压缩后的所述模态特征对应的压缩文件；

41、将每个模态特征对应的所述压缩文件进行整合，得到所述音频数据的所述压缩文件。

42、可选地，所述系统还包括恢复单元，所述恢复单元用于：

43、根据所述音频数据中每个模态特征的所述压缩率，对每个模态特征的所述压缩文件进行解压缩并解码，得到解压缩并解码后的模态特征；

44、通过音频合成模型对所有解压缩并解码后的模态特征进行重构，得到恢复后的所述音频数据。

45、第二方面，本发明提供一种音频数据处理方法，包括：

46、获取音频数据，并对所述音频数据进行多模态特征提取，得到所述音频数据的多个模态特征；

47、通过预设降维算法根据每个模态的所述模态特征进行降维处理，并对降维后的所述模态特征进行编码，得到每个模态对应的特征码流；

48、通过深度学习模型根据每个模态特征的所述特征码流进行预测，得到每个模态特征的所述特征码流的复杂度值；

49、根据所述特征码流的所述复杂度值结合所述音频数据的压缩要求，确定所述模态特征的信息损失风险值；

50、根据所述信息损失风险值，动态调整所述音频数据中每个模态特征的压缩率；

51、根据所有所述模态特征的所述压缩率，得到所述音频数据的压缩策略；

52、根据所述压缩策略对每个模态特征的特征码流进行压缩，得到所述音频数据的压缩文件。

53、本发明的音频数据处理系统中，特征提取单元为特征编码单元提供了丰富的多样化的特征，传统的音频数据压缩技术仅依赖音频频谱这单一模态特征进行压缩，容易丢失大量音乐细节。而本发明引入特征提取单元，能够获取音频数据的多个模态特征，相当于多个角度来观察和理解音频数据，而不再局限于频谱这一个方面，从而保留了更多的音乐细节信息。例如，除了频谱特征，还能提取音频的节奏特征（如节拍、节奏模式）和音色特征（如不同乐器的音色差异）等。特征编码单元利用这些多模态特征进行降维处理和编码，将高维复杂的特征转换为特征码流。多模态特征的提取使得降维和编码能够更精准地保留关键信息。例如，对于包含丰富和声的音乐，音色特征的提取可以帮助在编码过程中保留不同乐器间细微的音色差异，从而在后续解码恢复时，能更真实地还原音乐的丰富层次。这为后续的压缩策略提供了高质量的、信息丰富的特征码流基础。

54、特征编码单元生成的特征码流作为压缩策略单元的输入，对于每个模态的特征，通过特征编码单元利用预设降维算法进行降维处理后再编码得到特征码流。降维操作可以去除冗余信息，在一定程度上为后续的压缩做准备，同时编码过程能够将特征转化为更适合压缩处理的形式。压缩策略单元通过深度学习模型对特征码流的复杂度进行预测，复杂度值反映了该模态特征在特征码流中所包含的信息量和复杂程度。例如，对于包含复杂旋律变化的音乐，其旋律模态特征的特征码流复杂度值可能较高。然后，结合音频数据的压缩要求，如目标压缩率、音质损失阈值等，确定信息损失风险值，相当于对每个模态特征的特征码流进行风险评估，如果一个模态特征的特征码流复杂度高且压缩要求严格（如要求音质损失很小），那么它的信息损失风险值就高。压缩策略单元根据这个风险值动态调整每个模态特征的压缩率。对于复杂度高、信息损失风险高的特征码流，分配较低的压缩率，以减少信息丢失；对于复杂度低、信息损失风险低的特征码流，可以分配较高的压缩率。本技术通过基于风险的动态压缩率调整使得整个压缩过程更加精细和高效。例如，对于背景噪声的模态特征（通常复杂度低、信息损失风险低），可以采用较高的压缩率进行压缩，而对于音乐主旋律的模态特征（复杂度高、信息损失风险高），采用较低的压缩率，这样在保证整体压缩效果的同时，最大程度地保留了音乐的主要细节，减少了失真现象。

55、数据处理单元最终根据压缩策略对每个模态特征的特征码流进行实际的压缩操作，输出压缩后的音频文件。确保了最终的压缩效果不仅在理论上满足了高质量和高效率的要求，而且在实际的文件大小和音质恢复方面都能达到预期。例如，经过多模态提取、编码和策略调整后的特征码流，在数据处理单元的作用下，被压缩成一个符合用户期望的文件，既能快速存储和传输，又能在解压缩后提供高品质的音乐体验。通过各个技术特征之间的紧密关联，本发明实现了在提高压缩效率的同时，显著提升音质保真度，有效地解决了传统音频数据压缩技术中存在的问题。

56、本技术的技术方案，从数据压缩效率角度来看，通过多模态特征提取和后续的针对性压缩，能够在保证音质的前提下，有效减少音频数据的存储量和传输带宽。相比传统单一模态压缩技术，可以实现更高的压缩率。例如，对于高品质音乐文件，传统方法可能只能达到一定的压缩比例，而本发明可以在不明显降低音质的情况下，进一步提高压缩比例，使音频文件更小，便于存储和快速传输。并且，充分考虑了多模态特征，动态调整压缩率以降低信息损失风险，恢复后的音乐音质能够得到更好的保障。它能够保留更多的音乐细节，如乐器的细微音色变化、人声的nuances等。用户在播放经过本发明压缩后的音频时，能够感受到更接近原始高品质音乐的听觉体验，满足用户对高保真音乐的需求。该系统可以根据不同的音频数据和压缩要求，动态调整压缩策略。对于不同类型的音频（如古典音乐、流行音乐、电子音乐等），其模态特征和对压缩的敏感性可能不同，本发明针对这些差异，灵活地为每种音频确定合适的压缩方式，提高了音频的压缩效果，并且还具有很强的适应性。