一种音频编解码方法和装置

1.本技术涉及音频编解码技术领域，尤其涉及一种音频编解码方法和装置。


背景技术：

2.三维音频技术是对真实世界中的声音事件和三维声场信息进行获取、处理、传输和渲染回放的音频技术。三维音频技术使声音具有强烈的空间感、包围感及沉浸感，给人以“声临其境”的非凡听觉体验。高阶立体混响(higher order ambisonics，hoa)技术具有在录制、编码与回放阶段与扬声器布局无关的性质和hoa格式数据的可旋转回放特性，在进行三维音频回放时具有更高的灵活性，因而也得到了更为广泛的关注和研究。
3.为了实现更好的音频听觉效果，hoa技术需要大量的数据量用于记录更详细的声音场景的信息。虽然这种基于场景的三维音频信号采样和存储更加利于音频信号空间信息的保存和传输，但随着hoa阶数的增加将会产生更多的数据，大量的数据造成传输和存储的困难，因此需要对hoa信号进行编解码。
4.目前存在一种多声道数据的编解码方法，包括：在编码端，通过核心编码器(例如16声道的编码器)直接对原始场景音频信号的每一个声道进行编码，然后输出码流。在解码端，通过核心解码器(例如16声道的解码器)对码流进行解码，以得到解码场景音频信号的每一个声道。
5.上述多声道编解码方法，需要根据原始场景音频信号的声道数适配相应的编解码器，且随着声道数增加，压缩码流存在数据量大、带宽占用高的问题。


技术实现要素：

6.本技术实施例提供了一种音频编解码方法和装置，用于减少编解码的数据量，以提高编解码效率。
7.为解决上述技术问题，本技术实施例提供以下技术方案：
8.第一方面，本技术实施例提供一种音频编码方法，包括：
9.根据第一场景音频信号从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器；
10.根据所述第一场景音频信号和所述第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号；
11.使用所述第一目标虚拟扬声器的属性信息和所述第一虚拟扬声器信号获得第二场景音频信号；
12.根据所述第一场景音频信号和所述第二场景音频信号生成残差信号；
13.对所述第一虚拟扬声器信号和所述残差信号进行编码，并写入码流。
14.在本技术实施例中，首先根据第一场景音频信号从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器；然后根据第一场景音频信号和第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号；接下来使用第一目标虚拟扬声器的属性信息和第一虚拟扬声器信号获得第二场景音频信号；根据第一场景音频信号和第二场景音频信号生成残差信号；最
后对第一虚拟扬声器信号和残差信号进行编码，并写入码流。由于本技术实施例中可以根据第一场景音频信号和第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号，另外，音频编码端还可以通过第一虚拟扬声器信号和第一目标虚拟扬声器的属性信息获得残差信号，音频编码端对该第一虚拟扬声器信号和残差信号进行编码，而不再直接对第一场景音频信号进行编码，本技术实施例中根据第一场景音频信号选择出第一目标虚拟扬声器，基于该第一目标虚拟扬声器生成的第一虚拟扬声器信号可以表示空间中听音人所在的位置声场，该位置声场尽可能的接近录制第一场景音频信号时的原始声场，保证了音频编码端的编码质量，且对第一虚拟扬声器信号和残差信号进行编码以得到码流，该第一虚拟扬声器信号的编码数据量与第一目标虚拟扬声器有关，而且第一虚拟扬声器信号的编码数据量与第一场景音频信号的声道个数无关，减少了编码数据量，提高编码效率。
15.在一种可能的实现方式中，所述方法还包括：
16.根据所述虚拟扬声器集合从所述第一场景音频信号中获取主要声场成分；
17.所述根据第一场景音频信号从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器，包括：
18.根据所述主要声场成分从所述虚拟扬声器集合中选择出所述第一目标虚拟扬声器。
19.在上述方案中，虚拟扬声器集合中的每个虚拟扬声器对应一个声场成分，则根据主要声场成分从虚拟扬声器集合中选择出第一目标虚拟扬声器，例如主要声场成分对应的虚拟扬声器就是编码端选择出的第一目标虚拟扬声器。本技术实施例中，编码端通过主要声场成分可以选择出第一目标虚拟扬声器，解决了编码端需要确定第一目标虚拟扬声器的问题。
20.在一种可能的实现方式中，所述根据所述主要声场成分从所述虚拟扬声器集合中选择出所述第一目标虚拟扬声器，包括：
21.根据所述主要声场成分从高阶立体混响hoa系数集合中选择出与所述主要声场成分对应的hoa系数，所述hoa系数集合中的hoa系数与所述虚拟扬声器集合中的虚拟扬声器一一对应；
22.确定所述虚拟扬声器集合中与所述主要声场成分对应的hoa系数对应的虚拟扬声器为所述第一目标虚拟扬声器。
23.在上述方案中，编码端中根据虚拟扬声器集合预先配置hoa系数集合，hoa系数集合中的hoa系数与虚拟扬声器集合中的虚拟扬声器之间的一一对应关系，因此根据主要声场成分选择出hoa系数之后，再根据上述一一对应关系从虚拟扬声器集合中查找与主要声场成分对应的hoa系数对应的目标虚拟扬声器，该查找出的目标虚拟扬声器即为第一目标虚拟扬声器，解决了编码端需要确定第一目标虚拟扬声器的问题。
24.在一种可能的实现方式中，所述根据所述主要声场成分从所述虚拟扬声器集合中选择出所述第一目标虚拟扬声器，包括：
25.根据所述主要声场成分获取所述第一目标虚拟扬声器的配置参数；
26.根据所述第一目标虚拟扬声器的配置参数生成所述第一目标虚拟扬声器对应的hoa系数；
27.确定所述虚拟扬声器集合中所述第一目标虚拟扬声器对应的hoa系数对应的虚拟
扬声器为所述第一目标虚拟扬声器。
28.在上述方案中，编码端在获取到主要声场成分之后，可以根据该主要声场成分可用于确定第一目标虚拟扬声器的配置参数，例如主要声场成分是多个声场成分中取值最大的一个或几个声场成分，或主要声场成分可以是多个声场成分中方向占优的一个或几个声场成分，该主要声场成分可用于确定出第一场景音频信号匹配的第一目标虚拟扬声器，第一目标虚拟扬声器配置有相应的属性信息，使用第一目标虚拟扬声器的配置参数都可以生成该第一目标虚拟扬声器的hoa系数，hoa系数的生成过程可以通过hoa算法来实现，此处不再详细说明。虚拟扬声器集合中每个虚拟扬声器都对应有hoa系数，因此可以根据每个虚拟扬声器对应的hoa系数从虚拟扬声器集合中选择出第一目标虚拟扬声器，解决了编码端需要确定第一目标虚拟扬声器的问题。
29.在一种可能的实现方式中，所述根据所述主要声场成分获取所述第一目标虚拟扬声器的配置参数，包括：
30.根据音频编码器的配置信息确定所述虚拟扬声器集合中的多个虚拟扬声器的配置参数；
31.根据所述主要声场成分从所述多个虚拟扬声器的配置参数中选择出所述第一目标虚拟扬声器的配置参数。
32.在上述方案中，编码端从虚拟扬声器集合中获取多个虚拟扬声器的配置参数，对于每个虚拟扬声器而言，都存在相应的虚拟扬声器配置参数，每个虚拟扬声器配置参数包括且不限于：虚拟扬声器的hoa阶数、虚拟扬声器的位置坐标等信息。使用每个虚拟扬声器的配置参数都可以生成该虚拟扬声器的hoa系数，hoa系数的生成过程可以通过hoa算法来实现，此处不再详细说明。针对虚拟扬声器集合中的每个虚拟扬声器分别生成一个hoa系数，虚拟扬声器集合中所有虚拟扬声器分别配置的hoa系数构成hoa系数集合，解决了编码端需要确定虚拟扬声器集合中每个虚拟扬声器的hoa系数的问题。
33.在一种可能的实现方式中，所述第一目标虚拟扬声器的配置参数包括：所述第一目标虚拟扬声器的位置信息和hoa阶数信息；
34.所述根据所述第一目标虚拟扬声器的配置参数生成所述第一目标虚拟扬声器对应的hoa系数，包括：
35.根据所述第一目标虚拟扬声器的位置信息和hoa阶数信息确定所述第一目标虚拟扬声器对应的hoa系数。
36.在上述方案中，虚拟扬声器集合中的每个虚拟扬声器的配置参数都可以包括该虚拟扬声器的位置信息以及该虚拟扬声器的hoa阶数信息。同样的，第一目标虚拟扬声器的配置参数包括：第一目标虚拟扬声器的位置信息和hoa阶数信息。例如可以按照局部等距的虚拟扬声器空间分布方式确定虚拟扬声器集合中每个虚拟扬声器的位置信息，局部等距的虚拟扬声器空间分布方式是指多个虚拟扬声器在空间中按照局部等距的方式进行分布，例如局部等距可以包括：均匀分布或者不均匀分布。使用每个虚拟扬声器的位置信息和hoa阶数信息都可以生成该虚拟扬声器的hoa系数，hoa系数的生成过程可以通过hoa算法来实现，解决了编码端需要确定第一目标虚拟扬声器的hoa系数的问题。
37.在一种可能的实现方式中，所述方法还包括：
38.对所述第一目标虚拟扬声器的属性信息进行编码，并写入所述码流。
39.在上述方案中，编码端除了对虚拟扬声器进行编码，还可以对第一目标虚拟扬声器的属性信息进行编码，并将编码后的第一目标虚拟扬声器的属性信息写入到码流中，此时得到的码流中可以包括：编码后的虚拟扬声器和编码后的第一目标虚拟扬声器的属性信息。本技术实施例中码流中可以携带编码后的第一目标虚拟扬声器的属性信息，使得解码端通过解码码流，就可以确定出第一目标虚拟扬声器的属性信息，便于解码端的音频解码。
40.在一种可能的实现方式中，所述第一场景音频信号，包括：待编码高阶立体混响hoa信号；所述第一目标虚拟扬声器的属性信息包括所述第一目标虚拟扬声器的hoa系数；
41.所述根据所述第一场景音频信号和所述第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号，包括：
42.对所述待编码hoa信号和所述第一目标虚拟扬声器的hoa系数进行线性组合，以得到所述第一虚拟扬声器信号。
43.在上述方案中，以第一场景音频信号为待编码hoa信号为例，编码端首先确定第一目标虚拟扬声器的hoa系数，例如编码端根据主要声场成分从hoa系数集合中选择出hoa系数，该选择出的hoa系数就是第一目标虚拟扬声器的hoa系数，编码端获取到待编码hoa信号和第一目标虚拟扬声器的hoa系数之后，根据待编码hoa信号和第一目标虚拟扬声器的hoa系数可以生成第一虚拟扬声器信号，其中，待编码hoa信号可以采用第一目标虚拟扬声器的hoa系数进行线性组合得到，第一虚拟扬声器信号的求解可以被转换为对线性组合的求解问题。
44.在一种可能的实现方式中，所述第一场景音频信号包括：待编码高阶立体混响hoa信号；所述第一目标虚拟扬声器的属性信息包括所述第一目标虚拟扬声器的位置信息；
45.所述根据所述第一场景音频信号和所述第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号，包括：
46.根据所述第一目标虚拟扬声器的位置信息获取所述第一目标虚拟扬声器对应的hoa系数；
47.对所述待编码hoa信号和所述第一目标虚拟扬声器对应的hoa系数进行线性组合，以得到所述第一虚拟扬声器信号。
48.在上述方案中，编码端获取待编码hoa信号以及第一目标虚拟扬声器的hoa系数之后，编码端对待编码hoa信号和第一目标虚拟扬声器的hoa系数进行线性组合，即编码端将待编码hoa信号和第一目标虚拟扬声器的hoa系数组合在一起，可以得到线性组合矩阵，接下来编码端可以对线性组合矩阵进行求最优解，得到的最优解就是第一虚拟扬声器信号。
49.在一种可能的实现方式中，所述方法还包括：
50.根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器；
51.根据所述第一场景音频信号和所述第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号；
52.对所述第二虚拟扬声器信号进行编码，并写入所述码流；
53.相应地，所述使用所述第一目标虚拟扬声器的属性信息和所述第一虚拟扬声器信号获得第二场景音频信号包括：
54.根据所述第一目标虚拟扬声器的属性信息、所述第一虚拟扬声器信号、所述第二
目标虚拟扬声器的属性信息和所述第二虚拟扬声器信号获得所述第二场景音频信号。
55.在上述方案中，编码端可以获取第一目标虚拟扬声器的属性信息，该第一目标虚拟扬声器为虚拟扬声器集合中用于回放第一虚拟扬声器信号的虚拟扬声器。编码端可以获取第二目标虚拟扬声器的属性信息，该第二目标虚拟扬声器为虚拟扬声器集合中用于回放第二虚拟扬声器信号的虚拟扬声器。第一目标虚拟扬声器的属性信息可以包括第一目标虚拟扬声器的位置信息和第一目标虚拟扬声器的hoa系数。第二目标虚拟扬声器的属性信息可以包括第二目标虚拟扬声器的位置信息和第二目标虚拟扬声器的hoa系数。编码端获取到第一虚拟扬声器信号和第二虚拟扬声器信号之后，编码端根据第一目标虚拟扬声器的属性信息、第二目标虚拟扬声器的属性信息进行信号重建，通过信号重建可以得到第二场景音频信号。
56.在一种可能的实现方式中，所述方法还包括：
57.对所述第一虚拟扬声器信号和所述第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号；
58.相应地，所述对所述第二虚拟扬声器信号进行编码包括：
59.对所述对齐后的第二虚拟扬声器信号进行编码；
60.相应地，所述对所述第一虚拟扬声器信号和所述残差信号进行编码，包括：
61.对所述对齐后的第一虚拟扬声器信号和所述残差信号进行编码。
62.在上述方案中，编码端获取到对齐后的第一虚拟扬声器信号之后，可以对对齐后的第一虚拟扬声器信号和残差信号进行编码，本技术实施例中通过将第一虚拟扬声器信号的各声道间重新调整对齐，增强了声道间相关性，有利于核心编码器对第一虚拟扬声器信号的编码处理。
63.在一种可能的实现方式中，所述方法还包括：
64.根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器；
65.根据所述第一场景音频信号和所述第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号；
66.相应地，所述对所述第一虚拟扬声器信号和所述残差信号进行编码，包括：
67.根据所述第一虚拟扬声器信号和所述第二虚拟扬声器信号获得下混信号和第一边信息，所述第一边信息用于指示所述第一虚拟扬声器信号和所述第二虚拟扬声器信号之间的关系；
68.对所述下混信号、所述第一边信息以及所述残差信号进行编码。
69.在上述方案中，编码端在获取到第一虚拟扬声器信号和第二虚拟扬声器信号之后，编码端还可以根据第一虚拟扬声器信号和第二虚拟扬声器信号进行下混处理，以生成下混信号，例如对第一虚拟扬声器信号和第二虚拟扬声器信号进行幅度上的下混处理，以得到下混信号。另外还可以根据第一虚拟扬声器信号和第二虚拟扬声器信号生成第一边信息，第一边信息用于指示第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系，该关系具有多种实现方式，该第一边信息可以用于解码端针对下混信号进行上混，以恢复出第一虚拟扬声器信号和第二虚拟扬声器信号。例如第一边信息包括信号信息丢失分析参数，以使得解码端通过信号信息丢失分析参数恢复出第一虚拟扬声器信号和第二虚拟扬声器信
号。又如第一边信息具体可以是第一虚拟扬声器信号和第二虚拟扬声器信号的相关性参数，例如，可以是第一虚拟扬声器信号和第二虚拟扬声器信号的能量比例参数。以使得解码端通过上述相关性参数或者能量比例参数恢复出第一虚拟扬声器信号和第二虚拟扬声器信号。
70.在一种可能的实现方式中，所述方法还包括：
71.对所述第一虚拟扬声器信号和所述第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号；
72.相应的，所述根据所述第一虚拟扬声器信号和所述第二虚拟扬声器信号获得下混信号和第一边信息，包括：
73.根据所述对齐后的第一虚拟扬声器信号和所述对齐后的第二虚拟扬声器信号获得所述下混信号和所述第一边信息；
74.相应的，所述第一边信息用于指示所述对齐后的第一虚拟扬声器信号和所述对齐后的第二虚拟扬声器信号之间的关系。
75.在上述方案中，编码端在生成下混信号之前，可以先执行虚拟扬声器信号的对齐操作，在完成对齐操作之后，再生成下混信号和第一边信息。本技术实施例中通过将第一虚拟扬声器信号和第二虚拟扬声器的各声道间重新调整对齐，增强了声道间相关性，有利于核心编码器对第一虚拟扬声器信号的编码处理。
76.在一种可能的实现方式中，在根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器前，所述方法还包括：
77.根据编码速率和/或所述第一场景音频信号的信号类型信息确定是否需要获取除所述第一目标虚拟扬声器以外的目标虚拟扬声器；
78.若需要获取除所述第一目标虚拟扬声器以外的目标虚拟扬声器，才根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器。
79.在上述方案中，编码端还可以进行信号选择，以确定是否需要获取第二目标虚拟扬声器，在需要获取第二目标虚拟扬声器的情况下，编码端可以生成第二虚拟扬声器信号，在不需要获取第二目标虚拟扬声器的情况下，编码端可以不生成第二虚拟扬声器信号。其中，编码器可以根据音频编码器的配置信息和/或第一场景音频信号的信号类型信息进行决策，以确定在选择出第一目标虚拟扬声器之外是否还需要选择别的目标虚拟扬声器。例如，若编码速率高于预设的阈值，则确定需要获取两个主要声场成分对应的目标虚拟扬声器，则在确定出第一目标虚拟扬声器之外，还可以继续确定第二目标虚拟扬声器。又如，根据第一场景音频信号的信号类型信息确定需要获取包含声源方向占优的两个主要声场成分对应的目标虚拟扬声器，则在确定出第一目标虚拟扬声器之外，还可以继续确定第二目标虚拟扬声器。相反的，若根据编码速率和/或第一场景音频信号的信号类型信息确定只需要获取一个目标虚拟扬声器，则在确定第一目标虚拟扬声器之后，就确定不再获取除第一目标虚拟扬声器以外的目标虚拟扬声器。本技术实施例中通过信号选择，可以减少编码端进行编码的数据量，提高编码效率。
80.在一种可能的实现方式中，所述残差信号包括至少两个声道的残差子信号，所述方法还包括：
81.根据音频编码器的配置信息和/或所述第一场景音频信号的信号类型信息从所述
至少两个声道的残差子信号确定需要编码的至少一个声道的残差子信号；
82.相应的，所述对所述第一虚拟扬声器信号和所述残差信号进行编码，包括：
83.对所述第一虚拟扬声器信号和所述需要编码的至少一个声道的残差子信号进行编码。
84.在上述方案中，编码器可以根据音频编码器的配置信息和/或第一场景音频信号的信号类型信息，对残差信号进行决策，例如，残差信号包括至少两个声道的残差子信号，则编码端可以选择残差信号中哪个或哪些声道的残差子信号需要编码，哪个或哪些声道的残差子信号不需要编码。例如，根据音频编码器的配置信息选择残差信号中能量占优的残差子信号进行编码，又如，根据第一场景音频信号的信号类型信息选择残差信号中由低阶hoa声道计算得到的残差子信号进行编码。通过针对残差信号的声道选择，可以减少编码端进行编码的数据量，提高编码效率。
85.在一种可能的实现方式中，若所述至少两个声道的残差子信号中包括不需要编码的至少一个声道的残差子信号，所述方法还包括：
86.获取第二边信息，所述第二边信息用于指示所述需要编码的至少一个声道的残差子信号和所述不需要编码的至少一个声道的残差子信号之间的关系；
87.将所述第二边信息写入所述码流。
88.在上述方案中，编码端进行信号选择时，可以确定需要编码的残差子信号以及不需要编码的残差子信号。本技术实施例中对需要编码的残差子信号进行编码，不需要编码的残差子信号不进行编码，可以减少编码端进行编码的数据量，提高编码效率。由于编码端进行信号选择，会产生信息丢失，因此需要对不传输的残差子信号进行信号补偿。信号补偿可以选择且不限于信息丢失分析，能量补偿，包络补偿，噪声补偿等。补偿的方法可以选择线性补偿或非线性补偿等。信号补偿之后可以生成第二边信息，该第二边信息可以被写入码流中。第二边信息用于指示需要编码的残差子信号和不需要编码的残差子信号之间的关系，该关系具有多种实现方式，例如第二边信息包括信号信息丢失分析参数，以使得解码端通过信号信息丢失分析参数恢复出需要编码的残差子信号和不需要编码的残差子信号。又如第二边信息具体可以是需要编码的残差子信号和不需要编码的残差子信号的相关性参数，例如，可以是需要编码的残差子信号和不需要编码的残差子信号的能量比例参数。以使得解码端通过上述相关性参数或者能量比例参数恢复出需要编码的残差子信号和不需要编码的残差子信号。本技术实施例中，解码端可以通过码流得到第二边信息，解码端可以根据第二边信息进行信号补偿，从而提高解码端的解码信号质量。
89.第二方面，本技术实施例还提供一种音频解码方法，包括：
90.接收码流；
91.解码所述码流以获得虚拟扬声器信号和残差信号；
92.根据目标虚拟扬声器的属性信息、所述残差信号以及所述虚拟扬声器信号获得重建的场景音频信号。
93.在本技术实施例中，首先接收码流，然后解码码流以获得虚拟扬声器信号和残差信号，最后根据目标虚拟扬声器的属性信息、残差信号和虚拟扬声器信号获得重建的场景音频信号。本技术实施例中音频解码端执行与音频编码端的编码过程相逆的解码过程，可以从码流中解码得到虚拟扬声器信号和残差信号，通过目标虚拟扬声器的属性信息、残差
信号和虚拟扬声器信号得到了重建的场景音频信号。本技术实施例中，获取到的码流中携带虚拟扬声器信号和残差信号，减少了解码的数据量，提高了解码效率。
94.在一种可能的实现方式中，所述方法还包括：
95.解码所述码流以获得所述目标虚拟扬声器的属性信息。
96.在上述方案中，编码端除了对虚拟扬声器进行编码，还可以对目标虚拟扬声器的属性信息进行编码，并将编码后的目标虚拟扬声器的属性信息写入到码流中，例如可以通过码流获取到第一目标虚拟扬声器的属性信息。本技术实施例中码流中可以携带编码后的第一目标虚拟扬声器的属性信息，使得解码端通过解码码流，就可以确定出第一目标虚拟扬声器的属性信息，便于解码端的音频解码。
97.在一种可能的实现方式中，所述目标虚拟扬声器的属性信息包括所述目标虚拟扬声器的高阶立体混响hoa系数；
98.所述根据目标虚拟扬声器的属性信息、所述残差信号以及所述虚拟扬声器信号获得重建的场景音频信号，包括：
99.对所述虚拟扬声器信号和所述目标虚拟扬声器的hoa系数进行合成处理，得到合成的场景音频信号；
100.使用所述残差信号对所述合成的场景音频信号进行调整，以获得所述重建的场景音频信号。
101.在上述方案中，解码端首先确定目标虚拟扬声器的hoa系数，例如解码端中可以预先存储目标虚拟扬声器的hoa系数，解码端获取到虚拟扬声器信号和目标虚拟扬声器的hoa系数之后，根据虚拟扬声器信号和目标虚拟扬声器的hoa系数可以得到合成的场景音频信号。最后，再使用残差信号对合成的场景音频信号进行调整，从而提高重建的场景音频信号的质量。
102.在一种可能的实现方式中，所述目标虚拟扬声器的属性信息包括所述目标虚拟扬声器的位置信息；
103.所述根据目标虚拟扬声器的属性信息、所述残差信号以及所述虚拟扬声器信号获得重建的场景音频信号，包括：
104.根据所述目标虚拟扬声器的位置信息确定所述目标虚拟扬声器的hoa系数；
105.对所述虚拟扬声器信号和所述目标虚拟扬声器的hoa系数进行合成处理，得到合成的场景音频信号；
106.使用所述残差信号对所述合成的场景音频信号进行调整，以获得所述重建的场景音频信号。
107.在上述方案中，目标虚拟扬声器的属性信息可以包括：目标虚拟扬声器的位置信息。解码端预先存储虚拟扬声器集合中每个虚拟扬声器的hoa系数，解码端还存储有每个虚拟扬声器的位置信息，例如解码端可以根据虚拟扬声器的位置信息和该虚拟扬声器的hoa系数之间的对应关系确定出目标虚拟扬声器的位置信息对应的hoa系数，或者解码端可以根据目标虚拟扬声器的位置信息计算出目标虚拟扬声器的hoa系数。因此解码端可以通过目标虚拟扬声器的位置信息确定目标虚拟扬声器的hoa系数。解决了解码端需要确定目标虚拟扬声器的hoa系数的问题。
108.在一种可能的实现方式中，所述虚拟扬声器信号是根据第一虚拟扬声器信号和第
二虚拟扬声器信号下混获得的下混信号，所述方法还包括：
109.解码所述码流以获得第一边信息，所述第一边信息用于指示所述第一虚拟扬声器信号和所述第二虚拟扬声器信号之间的关系；
110.根据所述第一边信息和所述下混信号获得所述第一虚拟扬声器信号和所述第二虚拟扬声器信号；
111.相应的，所述根据目标虚拟扬声器的属性信息、所述残差信号以及所述虚拟扬声器信号获得重建的场景音频信号，包括：
112.根据所述目标虚拟扬声器的属性信息、所述残差信号、所述第一虚拟扬声器信号和所述第二虚拟扬声器信号获得所述重建的场景音频信号。
113.在上述方案中，编码端根据第一虚拟扬声器信号和第二虚拟扬声器信号进行下混处理时生成下混信号，编码端还可以针对下混信号进行信号补偿，以生成第一边信息，该第一边信息可以被写入码流中，解码端可以通过码流得到第一边信息，解码端可以根据第一边信息进行信号补偿，以得到第一虚拟扬声器信号和第二虚拟扬声器信号，因此在进行信号重建时，可以使用第一虚拟扬声器信号和第二虚拟扬声器信号，以及前述的目标虚拟扬声器的属性信息、残差信号，从而提高解码端的解码信号质量。
114.在一种可能的实现方式中，所述残差信号包括第一声道的残差子信号，所述方法还包括：
115.解码所述码流以获得第二边信息，所述第二边信息用于指示所述第一声道的残差子信号和第二声道的残差子信号之间的关系；
116.根据所述第二边信息和所述第一声道的残差子信号获得所述第二声道的残差子信号；
117.相应的，所述根据目标虚拟扬声器的属性信息、所述残差信号以及所述虚拟扬声器信号获得重建的场景音频信号，包括：
118.根据所述目标虚拟扬声器的属性信息、所述第一声道的残差子信号，所述第二声道的残差子信号以及所述虚拟扬声器信号获得重建的场景音频信号。
119.在上述方案中，编码端进行信号选择时，可以确定需要编码的残差子信号以及不需要编码的残差子信号。由于编码端进行信号选择，会产生信息丢失，编码端生成第二边信息，该第二边信息可以被写入码流中，解码端可以通过码流得到第二边信息，假设码流中携带的残差信号包括第一声道的残差子信号，解码端可以根据第二边信息进行信号补偿，以得到第二声道的残差子信号。例如解码端使用第一声道的残差子信号以及第二边信息恢复出第二声道的残差子信号，第二声道独立于第一声道。因此在进行信号重建时，可以使用第一声道的残差子信号，第二声道的残差子信号，以及前述的目标虚拟扬声器的属性信息、虚拟扬声器信号，从而提高解码端的解码信号质量。
120.在一种可能的实现方式中，所述残差信号包括第一声道的残差子信号，所述方法还包括：
121.解码所述码流以获得第二边信息，所述第二边信息用于指示所述第一声道的残差子信号和第三声道的残差子信号之间的关系；
122.根据所述第二边信息和所述第一声道的残差子信号获得所述第三声道的残差子信号以及所述第一声道的更新后的残差子信号；
123.相应的，所述根据目标虚拟扬声器的属性信息、所述残差信号以及所述虚拟扬声器信号获得重建的场景音频信号，包括：
124.根据所述目标虚拟扬声器的属性信息、第一声道的更新后的残差子信号、所述第三声道的残差子信号以及所述虚拟扬声器信号获得重建的场景音频信号。
125.在上述方案中，编码端进行信号选择时，可以确定需要编码的残差子信号以及不需要编码的残差子信号。由于编码端进行信号选择，会产生信息丢失，编码端生成第二边信息，该第二边信息可以被写入码流中，解码端可以通过码流得到第二边信息，假设码流中携带的残差信号包括第一声道的残差子信号，解码端可以根据第二边信息进行信号补偿，以得到第三声道的残差子信号，第三声道的残差子信号不同于第一声道的残差子信号，根据第二边信息和第一声道的残差子信号获得第三声道的残差子信号时，需要对第一声道的残差子信号进行更新，以得到第一声道的更新后的残差子信号。例如解码端使用第一声道的残差子信号以及第二边信息生成了第三声道的残差子信号和第一声道的更新后的残差子信号。因此在进行信号重建时，可以使用第三声道的残差子信号，第一声道的更新后的残差子信号以及前述的目标虚拟扬声器的属性信息、虚拟扬声器信号，从而提高解码端的解码信号质量。
126.第三方面，本技术实施例提供一种音频编码装置，包括：
127.获取模块，用于根据第一场景音频信号从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器；
128.信号生成模块，用于根据所述第一场景音频信号和所述第一目标虚拟扬声器的属性信息生成虚拟扬声器信号；
129.所述信号生成模块，用于使用所述第一目标虚拟扬声器的属性信息对所述第一虚拟扬声器信号获得第二场景音频信号；
130.所述信号生成模块，用于根据所述第一场景音频信号和所述第二场景音频信号生成残差信号；
131.编码模块，用于对所述虚拟扬声器信号和所述残差信号进行编码，以得到码流。
132.在一种可能的实现方式中，所述获取模块，用于根据所述虚拟扬声器集合从所述第一场景音频信号中获取主要声场成分；根据所述主要声场成分从所述虚拟扬声器集合中选择出所述第一目标虚拟扬声器。
133.在一种可能的实现方式中，所述获取模块，用于根据所述主要声场成分从高阶立体混响hoa系数集合中选择出与所述主要声场成分对应的hoa系数，所述hoa系数集合中的hoa系数与所述虚拟扬声器集合中的虚拟扬声器一一对应；确定所述虚拟扬声器集合中与所述主要声场成分对应的hoa系数对应的虚拟扬声器为所述第一目标虚拟扬声器。
134.在一种可能的实现方式中，所述获取模块，用于根据所述主要声场成分获取所述第一目标虚拟扬声器的配置参数；根据所述第一目标虚拟扬声器的配置参数生成所述第一目标虚拟扬声器对应的hoa系数；确定所述虚拟扬声器集合中所述第一目标虚拟扬声器对应的hoa系数对应的虚拟扬声器为所述第一目标虚拟扬声器。
135.在一种可能的实现方式中，所述获取模块，用于根据音频编码器的配置信息确定所述虚拟扬声器集合中的多个虚拟扬声器的配置参数；根据所述主要声场成分从所述多个虚拟扬声器的配置参数中选择出所述第一目标虚拟扬声器的配置参数。
136.在一种可能的实现方式中，所述第一目标虚拟扬声器的配置参数包括：所述第一目标虚拟扬声器的位置信息和hoa阶数信息；
137.所述获取模块，用于根据所述第一目标虚拟扬声器的位置信息和hoa阶数信息确定所述第一目标虚拟扬声器对应的hoa系数。
138.在一种可能的实现方式中，所述编码模块，还用于对所述第一目标虚拟扬声器的属性信息进行编码，并写入所述码流。
139.在一种可能的实现方式中，所述第一场景音频信号，包括：待编码高阶立体混响hoa信号；所述第一目标虚拟扬声器的属性信息包括所述第一目标虚拟扬声器的hoa系数；
140.所述信号生成模块，用于对所述待编码hoa信号和所述第一目标虚拟扬声器的hoa系数进行线性组合，以得到所述第一虚拟扬声器信号。
141.在一种可能的实现方式中，所述第一场景音频信号包括：待编码高阶立体混响hoa信号；所述第一目标虚拟扬声器的属性信息包括所述第一目标虚拟扬声器的位置信息；
142.所述信号生成模块，用于根据所述第一目标虚拟扬声器的位置信息获取所述第一目标虚拟扬声器对应的hoa系数；对所述待编码hoa信号和所述第一目标虚拟扬声器对应的hoa系数进行线性组合，以得到所述第一虚拟扬声器信号。
143.在一种可能的实现方式中，所述获取模块，用于根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器；
144.所述信号生成模块，用于根据所述第一场景音频信号和所述第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号；
145.所述编码模块，用于对所述第二虚拟扬声器信号进行编码，并写入所述码流；
146.相应地，所述信号生成模块，用于根据所述第一目标虚拟扬声器的属性信息、所述第一虚拟扬声器信号、所述第二目标虚拟扬声器的属性信息和所述第二虚拟扬声器信号获得所述第二场景音频信号。
147.在一种可能的实现方式中，所述信号生成模块，用于对所述第一虚拟扬声器信号和所述第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号；
148.相应的，所述编码模块，用于对所述对齐后的第二虚拟扬声器信号进行编码；
149.相应的，所述编码模块，用于对所述对齐后的第一虚拟扬声器信号和所述残差信号进行编码。
150.在一种可能的实现方式中，所述获取模块，用于根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器；
151.所述信号生成模块，用于根据所述第一场景音频信号和所述第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号；
152.相应地，所述编码模块，用于根据所述第一虚拟扬声器信号和所述第二虚拟扬声器信号获得下混信号和第一边信息，所述第一边信息用于指示所述第一虚拟扬声器信号和所述第二虚拟扬声器信号之间的关系；
153.相应的，所述编码模块，用于对所述下混信号、所述第一边信息以及所述残差信号进行编码。
154.在一种可能的实现方式中，所述信号生成模块，用于对所述第一虚拟扬声器信号
和所述第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号；
155.所述编码模块，用于根据所述对齐后的第一虚拟扬声器信号和所述对齐后的第二虚拟扬声器信号获得所述下混信号和所述第一边信息；
156.相应的，所述第一边信息用于指示所述对齐后的第一虚拟扬声器信号和所述对齐后的第二虚拟扬声器信号之间的关系。
157.在一种可能的实现方式中，所述获取模块，用于在根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器前，根据编码速率和/或所述第一场景音频信号的信号类型信息确定是否需要获取除所述第一目标虚拟扬声器以外的目标虚拟扬声器；若需要获取除所述第一目标虚拟扬声器以外的目标虚拟扬声器，才根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器。
158.在一种可能的实现方式中，所述残差信号包括至少两个声道的残差子信号，
159.所述信号生成模块，用于根据音频编码器的配置信息和/或所述第一场景音频信号的信号类型信息从所述至少两个声道的残差子信号确定需要编码的至少一个声道的残差子信号；
160.相应的，所述编码模块，用于对所述第一虚拟扬声器信号和所述需要编码的至少一个声道的残差子信号进行编码。
161.在一种可能的实现方式中，所述获取模块，用于若所述至少两个声道的残差子信号中包括不需要编码的至少一个声道的残差子信号，获取第二边信息，所述第二边信息用于指示所述需要编码的至少一个声道的残差子信号和所述不需要编码的至少一个声道的残差子信号之间的关系；
162.相应的，所述编码模块，用于将所述第二边信息写入所述码流。
163.在本技术的第三方面中，音频编码装置的组成模块还可以执行前述第一方面以及各种可能的实现方式中所描述的步骤，详见前述对第一方面以及各种可能的实现方式中的说明。
164.第四方面，本技术实施例提供一种音频解码装置，包括：
165.接收模块，用于接收码流；
166.解码模块，用于解码所述码流以获得虚拟扬声器信号和残差信号；
167.重建模块，用于根据目标虚拟扬声器的属性信息、所述残差信号以及所述虚拟扬声器信号获得重建的场景音频信号。
168.在一种可能的实现方式中，所述解码模块，还用于解码所述码流以获得所述目标虚拟扬声器的属性信息。
169.在一种可能的实现方式中，所述目标虚拟扬声器的属性信息包括所述目标虚拟扬声器的高阶立体混响hoa系数；
170.所述重建模块，用于对所述虚拟扬声器信号和所述目标虚拟扬声器的hoa系数进行合成处理，得到合成的场景音频信号；使用所述残差信号对所述合成的场景音频信号进行调整，以获得所述重建的场景音频信号。
171.在一种可能的实现方式中，所述目标虚拟扬声器的属性信息包括所述目标虚拟扬声器的位置信息；
172.所述重建模块，用于根据所述目标虚拟扬声器的位置信息确定所述目标虚拟扬声器的hoa系数；对所述虚拟扬声器信号和所述目标虚拟扬声器的hoa系数进行合成处理，得到合成的场景音频信号；使用所述残差信号对所述合成的场景音频信号进行调整，以获得所述重建的场景音频信号。
173.在一种可能的实现方式中，所述虚拟扬声器信号是根据第一虚拟扬声器信号和第二虚拟扬声器信号下混获得的下混信号，所述装置还包括：第一信号补偿模块，其中，
174.所述解码模块，用于解码所述码流以获得第一边信息，所述第一边信息用于指示所述第一虚拟扬声器信号和所述第二虚拟扬声器信号之间的关系；
175.所述第一信号补偿模块，用于根据所述第一边信息和所述下混信号获得所述第一虚拟扬声器信号和所述第二虚拟扬声器信号；
176.相应的，所述重建模块，用于根据所述目标虚拟扬声器的属性信息、所述残差信号、所述第一虚拟扬声器信号和所述第二虚拟扬声器信号获得所述重建的场景音频信号。
177.在一种可能的实现方式中，所述残差信号包括第一声道的残差子信号，所述装置还包括：第二信号补偿模块，其中，
178.所述解码模块，用于解码所述码流以获得第二边信息，所述第二边信息用于指示所述第一声道的残差子信号和第二声道的残差子信号之间的关系；
179.所述第二信号补偿模块，用于根据所述第二边信息和所述第一声道的残差子信号获得所述第二声道的残差子信号；
180.相应的，所述重建模块，用于根据所述目标虚拟扬声器的属性信息、所述第一声道的残差子信号，所述第二声道的残差子信号以及所述虚拟扬声器信号获得重建的场景音频信号。
181.在一种可能的实现方式中，所述残差信号包括第一声道的残差子信号，所述装置还包括：第三信号补偿模块，其中，
182.所述解码模块，用于解码所述码流以获得第二边信息，所述第二边信息用于指示所述第一声道的残差子信号和第三声道的残差子信号之间的关系；
183.所述第三信号补偿模块，用于根据所述第二边信息和所述第一声道的残差子信号获得所述第三声道的残差子信号以及所述第一声道的更新后的残差子信号；
184.相应的，所述重建模块，用于根据所述目标虚拟扬声器的属性信息、第一声道的更新后的残差子信号、所述第三声道的残差子信号以及所述虚拟扬声器信号获得重建的场景音频信号。
185.在本技术的第四方面中，音频解码装置的组成模块还可以执行前述第二方面以及各种可能的实现方式中所描述的步骤，详见前述对第二方面以及各种可能的实现方式中的说明。
186.第五方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面所述的方法。
187.第六方面，本技术实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面所述的方法。
188.第七方面，本技术实施例提供一种通信装置，该通信装置可以包括终端设备或者
芯片等实体，所述通信装置包括：处理器，可选的，所述通信装置还包括存储器；所述存储器用于存储指令；所述处理器用于执行所述存储器中的所述指令，使得所述通信装置执行如前述第一方面或第二方面中任一项所述的方法。
189.第八方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持音频编码装置或者音频解码装置实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存音频编码装置或者音频解码装置必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
190.第九方面，本技术提供一种计算机可读存储介质，包括如前述第一方面中任一项所述的方法所生成的码流。
附图说明
191.图1为本技术实施例提供的音频处理系统的组成结构示意图；
192.图2a为本技术实施例提供的音频编码器和音频解码器应用于终端设备的示意图；
193.图2b为本技术实施例提供的音频编码器应用于无线设备或者核心网设备的示意图；
194.图2c为本技术实施例提供的音频解码器应用于无线设备或者核心网设备的示意图；
195.图3a为本技术实施例提供的多声道编码器和多声道解码器应用于终端设备的示意图；
196.图3b为本技术实施例提供的多声道编码器应用于无线设备或者核心网设备的示意图；
197.图3c为本技术实施例提供的多声道解码器应用于无线设备或者核心网设备的示意图；
198.图4为本技术实施例中音频编码装置和音频解码装置之间的一种交互流程示意图；
199.图5为本技术实施例提供的编码端的一种结构示意图；
200.图6为本技术实施例提供的解码端的一种结构示意图；
201.图7为本技术实施例提供的编码端的一种结构示意图；
202.图8为本技术实施例提供的一种球面上近似均匀分布的虚拟扬声器的示意图；
203.图9为本技术实施例提供的编码端的一种结构示意图；
204.图10为本技术实施例提供的一种音频编码装置的组成结构示意图；
205.图11为本技术实施例提供的一种音频解码装置的组成结构示意图；
206.图12为本技术实施例提供的另一种音频编码装置的组成结构示意图；
207.图13为本技术实施例提供的另一种音频解码装置的组成结构示意图。
具体实施方式
208.本技术实施例提供了一种音频编解码方法和装置，用于减少编解码的数据量，提高编解码效率。
209.下面结合附图，对本技术的实施例进行描述。
210.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
211.本技术实施例的技术方案可以应用于各种的音频处理系统，如图1所示，为本技术实施例提供的音频处理系统的组成结构示意图。音频处理系统100可以包括：音频编码装置101和音频解码装置102。其中，音频编码装置101可用于生成码流，然后该音频编码码流可以通过音频传输通道传输给音频解码装置102，音频解码装置102可以接收到码流，然后执行音频解码装置102的音频解码功能，最后得到重建后的信号。
212.在本技术的实施例中，该音频编码装置可以应用于各种有音频通信需要的终端设备、有转码需要的无线设备与核心网设备，例如音频编码装置可以是上述终端设备或者无线设备或者核心网设备的音频编码器。同样的，该音频解码装置可以应用于各种有音频通信需要的终端设备、有转码需要的无线设备与核心网设备，例如音频解码装置可以是上述终端设备或者无线设备或者核心网设备的音频解码器。例如，音频编码器可以包括无线接入网、核心网的媒体网关、转码设备、媒体资源服务器、移动终端、固网终端等，音频编码器还可以是应用于虚拟现实技术(virtual reality，vr)流媒体(streaming)服务中的音频编解码器。
213.在申请实施例中，以适用于虚拟现实流媒体(vr streaming)服务中的音频编解码模块(audio encoding及audio decoding)为例，端到端对音频信号的处理流程包括：音频信号a经过采集模块(acquisition)后进行预处理操作(audio preprocessing)，预处理操作包括滤除掉信号中的低频部分，可以是以20hz或者50hz为分界点，提取信号中的方位信息，之后进行编码处理(audio encoding)打包(file/segment encapsulation)之后发送(delivery)到解码端，解码端首先进行解包(file/segment decapsulation)，之后解码(audio decoding)，对解码信号进行双耳渲染(audio rendering)处理，渲染处理后的信号映射到收听者耳机(headphones)上，可以为独立的耳机也可以是眼镜设备上的耳机。
214.如图2a所示，为本技术实施例提供的音频编码器和音频解码器应用于终端设备的示意图。对于每个终端设备都可以包括：音频编码器、信道编码器、音频解码器、信道解码器。具体的，信道编码器用于对音频信号进行信道编码，信道解码器用于对音频信号进行信道解码。例如，在第一终端设备20中可以包括：第一音频编码器201、第一信道编码器202、第一音频解码器203、第一信道解码器204。在第二终端设备21中可以包括：第二音频解码器211、第二信道解码器212、第二音频编码器213、第二信道编码器214。第一终端设备20连接无线或者有线的第一网络通信设备22，第一网络通信设备22和无线或者有线的第二网络通信设备23之间通过数字信道连接，第二终端设备21连接无线或者有线的第二网络通信设备23。其中，上述无线或者有线的网络通信设备可以泛指信号传输设备，例如通信基站，数据交换设备等。
215.在音频通信中，作为发送端的终端设备首先进行音频采集，对采集到的音频信号
进行音频编码，再进行信道编码后，通过无线网络或者核心网进行在数字信道中传输。而作为接收端的终端设备根据接收到的信号进行信道解码，以得到码流，然后经过音频解码恢复出音频信号，由接收端的终端设备进音频回放。
216.如图2b所示，为本技术实施例提供的音频编码器应用于无线设备或者核心网设备的示意图。其中，无线设备或者核心网设备25包括：信道解码器251、其他音频解码器252、本技术实施例提供的音频编码器253、信道编码器254，其中，其他音频解码器252是指除音频解码器以外的其他音频解码器。在无线设备或者核心网设备25内，首先通过信道解码器251对进入该设备的信号进行信道解码，然后使用其他音频解码器252进行音频解码，然后使用本技术实施例提供的音频编码器253进行音频编码，最后使用信道编码器254对音频信号进行信道编码，完成信道编码之后再传输出去。其中，其他音频解码器252是对信道解码器251解码后的码流进行音频解码。
217.如图2c所示，为本技术实施例提供的音频解码器应用于无线设备或者核心网设备的示意图。其中，无线设备或者核心网设备25包括：信道解码器251、本技术实施例提供的音频解码器255、其他音频编码器256、信道编码器254，其中，其他音频编码器256是指除音频编码器以外的其他音频编码器。在无线设备或者核心网设备25内，首先通过信道解码器251对进入该设备的信号进行信道解码，然后使用音频解码器255对接收到的音频编码码流进行解码，然后使用其他音频编码器256进行音频编码，最后使用信道编码器254对音频信号进行信道编码，完成信道编码之后再传输出去。在无线设备或者核心网设备中，如果需要实现转码，则需要进行相应的音频编解码处理。其中，无线设备指的是通信中的射频相关的设备，核心网设备指的是通信中核心网相关的设备。
218.在本技术的一些实施例中，该音频编码装置可以应用于各种有音频通信需要的终端设备、有转码需要的无线设备与核心网设备，例如音频编码装置可以是上述终端设备或者无线设备或者核心网设备的多声道编码器。同样的，该音频解码装置可以应用于各种有音频通信需要的终端设备、有转码需要的无线设备与核心网设备，例如音频解码装置可以是上述终端设备或者无线设备或者核心网设备的多声道解码器。
219.如图3a所示，为本技术实施例提供的多声道编码器和多声道解码器应用于终端设备的示意图，对于每个终端设备都可以包括：多声道编码器、信道编码器、多声道解码器、信道解码器。该多声道编码器可以执行本技术实施例提供的音频编码方法，该多声道解码器可以执行本技术实施例提供的音频解码方法。具体的，信道编码器用于对多声道信号进行信道编码，信道解码器用于对多声道信号进行信道解码。例如，在第一终端设备30中可以包括：第一多声道编码器301、第一信道编码器302、第一多声道解码器303、第一信道解码器304。在第二终端设备31中可以包括：第二多声道解码器311、第二信道解码器312、第二多声道编码器313、第二信道编码器314。第一终端设备30连接无线或者有线的第一网络通信设备32，第一网络通信设备32和无线或者有线的第二网络通信设备33之间通过数字信道连接，第二终端设备31连接无线或者有线的第二网络通信设备33。其中，上述无线或者有线的网络通信设备可以泛指信号传输设备，例如通信基站，数据交换设备等。音频通信中作为发送端的终端设备对采集到的多声道信号进行多声道编码，再进行信道编码后，通过无线网络或者核心网进行在数字信道中传输。而作为接收端的终端设备根据接收到的信号，进行信道解码，以得到多声道信号编码码流，然后经过多声道解码恢复出多声道信号，由作为接
收端的终端设备进回放。
220.如图3b所示，为本技术实施例提供的多声道编码器应用于无线设备或者核心网设备的示意图，其中，无线设备或者核心网设备35包括：信道解码器351、其他音频解码器352、多声道编码器353、信道编码器354，与前述图2b类似，此处不再赘述。
221.如图3c所示，为本技术实施例提供的多声道解码器应用于无线设备或者核心网设备的示意图，其中，无线设备或者核心网设备35包括：信道解码器351、多声道解码器355、其他音频编码器356、信道编码器354，与前述图2c类似，此处不再赘述。
222.其中，音频编码处理可以是多声道编码器中的一部分，音频解码处理可以是多声道解码器中的一部分，例如，对采集到的多声道信号进行多声道编码可以是将采集到的多声道信号经过处理后得到音频信号，再按照本技术实施例提供的方法对得到的音频信号进行编码；解码端根据多声道信号编码码流，解码得到音频信号，经过上混处理后恢复出多声道信号。因此，本技术实施例也可应用于终端设备、无线设备、核心网设备中的多声道编码器和多声道解码器。在无线或者核心网设备中，如果需要实现转码，则需要进行相应的多声道编解码处理。
223.本技术实施例提供的音频编解码方法可以包括：音频编码方法和音频解码方法，其中，音频编码方法由音频编码装置执行，音频解码方法由音频解码装置执行，音频编码装置和音频解码装置之间可以进行通信。接下来基于前述的系统架构以及音频编码装置和音频解码装置，对本技术实施例提供的音频编码方法和音频解码方法进行说明。如图4所示，为本技术实施例中音频编码装置和音频解码装置之间的一种交互流程示意图，其中，下述步骤401至步骤403可以由音频编码装置(如下简称编码端)执行，下述步骤411至步骤413可以由音频解码装置(如下简称解码端)执行，主要包括如下过程：
224.401、根据第一场景音频信号从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器。
225.其中，编码端获取第一场景音频信号，该第一场景音频信号是指对空间中麦克风所在位置的声场进行采集得到的音频信号，第一场景音频信号也可以称为原始场景音频信号。例如第一场景音频信号可以是通过高阶立体混响(higher order ambisonics，hoa)技术得到的音频信号。
226.本技术实施例中，编码端可以预先配置虚拟扬声器集合，该虚拟扬声器集合中可以包括多个虚拟扬声器，场景音频信号在实际回放时，可以通过耳机回放，也可以通过布置在房间中的多个扬声器回放。使用扬声器回放时，基本方法是通过多个扬声器的信号进行叠加，使得空间中某点(听音人所在的位置)声场在某个标准下尽可能的接近录制场景音频信号时的原始声场。本技术实施例中使用虚拟扬声器计算场景音频信号对应的回放信号，使用该回放信号作为传输信号，并进而生成压缩后的信号。虚拟扬声器表示的是在空间声场中虚拟存在的扬声器，该虚拟扬声器可以实现在编码端的场景音频信号的回放。
227.本技术实施例中，虚拟扬声器集合中包括多个虚拟扬声器，这多个虚拟扬声器中每个虚拟扬声器对应有虚拟扬声器配置参数(简称配置参数)。虚拟扬声器配置参数包括且不限于：虚拟扬声器的个数，虚拟扬声器的hoa阶数、虚拟扬声器的位置坐标等信息。编码端获取到上述的虚拟扬声器集合之后，根据第一场景音频信号从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器，第一场景音频信号是待编码的原始场景音频信号，该第一目标
虚拟扬声器可以是虚拟扬声器集合中的某一个虚拟扬声器，例如可以使用预先配置的目标虚拟扬声器选择策略从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器。目标虚拟扬声器选择策略是从虚拟扬声器集合中选择与第一场景音频信号匹配的目标虚拟扬声器的策略，例如按照每个虚拟扬声器从第一场景音频信号中获取的声场成分来选择第一目标虚拟扬声器。又如，按照每个虚拟扬声器的位置信息从第一场景音频信号中选择第一目标虚拟扬声器。其中，第一目标虚拟扬声器为虚拟扬声器集合中用于回放第一场景音频信号的虚拟扬声器，即编码端可以从虚拟扬声器集合中选择出可回放第一场景音频信号的目标虚拟编码器。
228.不限定的是，本技术实施例中，通过步骤401选择出第一目标虚拟扬声器之后，可以执行后续针对第一目标虚拟扬声器的处理过程，如后续步骤402至步骤405。本技术实施例不仅可以选择出第一目标虚拟扬声器，还可以选择出更多的目标虚拟扬声器，例如还可以选择出第二目标虚拟扬声器，针对第二目标虚拟扬声器，同样需要执行与后续步骤402至405相类似的过程，详见后续实施例的说明。
229.在本技术实施例中，编码端选择出第一目标虚拟扬声器之后，编码端还可以获取第一目标虚拟扬声器的属性信息，第一目标虚拟扬声器的属性信息包括与第一目标虚拟扬声器的属性相关的信息，该属性信息可以根据具体应用场景设置，例如第一目标虚拟扬声器的属性信息包括：该第一目标虚拟扬声器的位置信息，或者该第一目标虚拟扬声器的hoa系数。其中，第一目标虚拟扬声器的位置信息可以是该第一目标虚拟扬声器在空间的分布位置，也可以是该第一目标虚拟扬声器在虚拟扬声器集合中相对于其它虚拟扬声器的位置的信息，具体此处不做限定。虚拟扬声器集合中每个虚拟扬声器都对应有hoa系数，该hoa系数也可以称为ambisonic系数，接下来对虚拟扬声器对应的hoa系数进行说明。
230.例如，hoa阶数可以为2阶至10阶中的其中1个阶数，录制音频信号时的信号采样率为48至192千赫兹(khz)，采样深度为16或者24比特(bit)，通过虚拟扬声器的hoa系数和场景音频信号可以生成hoa信号，hoa信号的特点是带有声场的空间信息，hoa信号是描述空间某点声场信号一定精度的信息。因此，可以考虑使用另一种表示形式描述某一位置点的声场信号，这种描述方法能够使用更少的数据量对空间位置点的信号达到同样精确度的描述，从而能达到信号压缩的目的。空间声场可以分解为多个平面波的叠加。因此，理论上可以将hoa信号表达的声场，重新使用多个平面波的叠加来表达，每个平面波使用一个声道的音频信号和一个方向向量表示。平面波叠加的表示形式能够使用更少的声道数目准确的表达原始声场，以达到信号压缩的目的。
231.在本技术的一些实施例中，编码端除了执行前述步骤401，本技术实施例提供的音频编码方法还包括如下步骤：
232.a1、根据虚拟扬声器集合从第一场景音频信号中获取主要声场成分。
233.其中，步骤a1中的主要声场成分也可以称为第一主要声场成分。
234.在执行步骤a1的场景下，前述步骤401根据第一场景音频信号从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器，包括：
235.b1、根据主要声场成分从虚拟扬声器集合中选择出第一目标虚拟扬声器。
236.其中，编码端获取虚拟扬声器集合，编码端使用该虚拟扬声器集合对第一场景音频信号进行信号分解，以得到第一场景音频信号对应的主要声场成分。其中，主要声场成分
表示的是第一场景音频信号中的主要声场所对应的音频信号。例如虚拟扬声器集合中包括多个虚拟扬声器，根据多个虚拟扬声器可以从第一场景音频信号中获取多个声场成分，即每个虚拟扬声器可以从第一场景音频信号中获取一个声场成分，接下来从多个声场成分中选择出主要声场成分，例如主要声场成分可以是多个声场成分中取值最大的一个或几个声场成分，或主要声场成分可以是多个声场成分中方向占优的一个或几个声场成分。虚拟扬声器集合中的每个虚拟扬声器对应一个声场成分，则根据主要声场成分从虚拟扬声器集合中选择出第一目标虚拟扬声器，例如主要声场成分对应的虚拟扬声器就是编码端选择出的第一目标虚拟扬声器。本技术实施例中，编码端通过主要声场成分可以选择出第一目标虚拟扬声器，解决了编码端需要确定第一目标虚拟扬声器的问题。
237.不限定的是，本技术实施例中，编码端具有多种方式选择出第一目标虚拟扬声器，例如编码端可以预设指定位置的虚拟扬声器作为第一目标虚拟扬声器，即按照虚拟扬声器集合中每个虚拟扬声器的位置选择出符合指定位置的虚拟扬声器作为第一目标虚拟扬声器。
238.其中，在本技术的一些实施例中，前述步骤b1根据主要声场成分从虚拟扬声器集合中选择出第一目标虚拟扬声器，包括：
239.根据主要声场成分从高阶立体混响hoa系数集合中选择出与主要声场成分对应的hoa系数，hoa系数集合中的hoa系数与虚拟扬声器集合中的虚拟扬声器一一对应；
240.确定虚拟扬声器集合中与主要声场成分对应的hoa系数对应的虚拟扬声器为第一目标虚拟扬声器。
241.其中，编码端中根据虚拟扬声器集合预先配置hoa系数集合，hoa系数集合中的hoa系数与虚拟扬声器集合中的虚拟扬声器之间的一一对应关系，因此根据主要声场成分选择出hoa系数之后，再根据上述一一对应关系从虚拟扬声器集合中查找与主要声场成分对应的hoa系数对应的目标虚拟扬声器，该查找出的目标虚拟扬声器即为第一目标虚拟扬声器，解决了编码端需要确定第一目标虚拟扬声器的问题。举例说明如下，hoa系数集合中包括hoa系数1、hoa系数2、hoa系数3，虚拟扬声器集合中包括虚拟扬声器1、虚拟扬声器2、虚拟扬声器3，其中，hoa系数集合中的hoa系数与虚拟扬声器集合中的虚拟扬声器一一对应，例如：hoa系数1与虚拟扬声器1对应，hoa系数2与虚拟扬声器2对应，hoa系数3与虚拟扬声器3对应。若根据主要声场成分从hoa系数集合中选择出hoa系数3，则可以确定第一目标虚拟扬声器为虚拟扬声器3。
242.其中，在本技术的一些实施例中，前述步骤b1根据主要声场成分从虚拟扬声器集合中选择出第一目标虚拟扬声器，还包括：
243.c1、根据主要声场成分获取第一目标虚拟扬声器的配置参数；
244.c2、根据第一目标虚拟扬声器的配置参数生成第一目标虚拟扬声器对应的hoa系数；
245.c3、确定虚拟扬声器集合中第一目标虚拟扬声器对应的hoa系数对应的虚拟扬声器为第一目标虚拟扬声器。
246.其中，编码端在获取到主要声场成分之后，可以根据该主要声场成分可用于确定第一目标虚拟扬声器的配置参数，例如主要声场成分是多个声场成分中取值最大的一个或几个声场成分，或主要声场成分可以是多个声场成分中方向占优的一个或几个声场成分，
该主要声场成分可用于确定出第一场景音频信号匹配的第一目标虚拟扬声器，第一目标虚拟扬声器配置有相应的属性信息，使用第一目标虚拟扬声器的配置参数都可以生成该第一目标虚拟扬声器的hoa系数，hoa系数的生成过程可以通过hoa算法来实现，此处不再详细说明。虚拟扬声器集合中每个虚拟扬声器都对应有hoa系数，因此可以根据每个虚拟扬声器对应的hoa系数从虚拟扬声器集合中选择出第一目标虚拟扬声器，解决了编码端需要确定第一目标虚拟扬声器的问题。
247.其中，在本技术的一些实施例中，步骤c1根据主要声场成分获取第一目标虚拟扬声器的配置参数，包括：
248.根据音频编码器的配置信息确定虚拟扬声器集合中的多个虚拟扬声器的配置参数；
249.根据主要声场成分从多个虚拟扬声器的配置参数中选择出第一目标虚拟扬声器的配置参数。
250.其中，音频编码器中可以预先存储多个虚拟扬声器各自的配置参数，每个虚拟扬声器的配置参数可以是通过音频编码器的配置信息确定，音频编码器是指前述的编码端，该音频编码器的配置信息，包括且不限于：hoa阶数、编码比特率等。音频编码器的配置信息可以用于确定虚拟扬声器的个数，以及每个虚拟扬声器的位置参数，解决了编码端需要确定虚拟扬声器的配置参数的问题。举例说明如下，若编码比特率较低时可以配置较少数量的虚拟扬声器，若编码比特率较高时可以配置多个数量的虚拟扬声器。又如虚拟扬声器的hoa阶数可以等于音频编码器的hoa阶数。不限定的是，本技术实施例中，除了通过音频编码器的配置信息确定多个虚拟扬声器各自的配置参数之外，还可以根据用户自定义信息多个虚拟扬声器各自的配置参数，例如，用户可以自定义虚拟扬声器的位置、hoa阶数、虚拟扬声器的个数等。
251.编码端从虚拟扬声器集合中获取多个虚拟扬声器的配置参数，对于每个虚拟扬声器而言，都存在相应的虚拟扬声器配置参数，每个虚拟扬声器配置参数包括且不限于：虚拟扬声器的hoa阶数、虚拟扬声器的位置坐标等信息。使用每个虚拟扬声器的配置参数都可以生成该虚拟扬声器的hoa系数，hoa系数的生成过程可以通过hoa算法来实现，此处不再详细说明。针对虚拟扬声器集合中的每个虚拟扬声器分别生成一个hoa系数，虚拟扬声器集合中所有虚拟扬声器分别配置的hoa系数构成hoa系数集合，解决了编码端需要确定虚拟扬声器集合中每个虚拟扬声器的hoa系数的问题。
252.其中，在本技术的一些实施例中，第一目标虚拟扬声器的配置参数包括：第一目标虚拟扬声器的位置信息和hoa阶数信息；
253.前述步骤c2根据第一目标虚拟扬声器的配置参数生成第一目标虚拟扬声器对应的hoa系数，包括：
254.根据第一目标虚拟扬声器的位置信息和hoa阶数信息确定第一目标虚拟扬声器对应的hoa系数。
255.其中，虚拟扬声器集合中的每个虚拟扬声器的配置参数都可以包括该虚拟扬声器的位置信息以及该虚拟扬声器的hoa阶数信息。同样的，第一目标虚拟扬声器的配置参数包括：第一目标虚拟扬声器的位置信息和hoa阶数信息。例如可以按照局部等距的虚拟扬声器空间分布方式确定虚拟扬声器集合中每个虚拟扬声器的位置信息，局部等距的虚拟扬声器
空间分布方式是指多个虚拟扬声器在空间中按照局部等距的方式进行分布，例如局部等距可以包括：均匀分布或者不均匀分布。使用每个虚拟扬声器的位置信息和hoa阶数信息都可以生成该虚拟扬声器的hoa系数，hoa系数的生成过程可以通过hoa算法来实现，解决了编码端需要确定第一目标虚拟扬声器的hoa系数的问题。
256.另外，本技术实施例中针对虚拟扬声器集合中的每个虚拟扬声器分别生成一组hoa系数，多组hoa系数构成前述的hoa系数集合。虚拟扬声器集合中所有虚拟扬声器分别配置的hoa系数构成hoa系数集合，解决了编码端需要确定虚拟扬声器集合中每个虚拟扬声器的hoa系数的问题。
257.402、根据第一场景音频信号和第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号。
258.其中，编码端获取到第一场景音频信号和第一目标虚拟扬声器的属性信息之后，编码端可以进行第一场景音频信号的回放，编码端根据第一场景音频信号和第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号，该第一虚拟扬声器信号即为第一场景音频信号的回放信号。第一目标虚拟扬声器的属性信息描述了与第一目标虚拟扬声器的属性相关的信息，该第一目标虚拟扬声器是编码端选择出的可回放第一场景音频信号的虚拟扬声器，因此通过第一目标虚拟扬声器的属性信息对第一场景音频信号进行回放，可以得到第一虚拟扬声器信号。该第一虚拟扬声器信号的数据量大小与第一场景音频信号的声道数无关，该第一虚拟扬声器信号的数据量大小与第一目标虚拟扬声器有关。例如，本技术实施例中，第一虚拟扬声器信号相比于第一场景音频信号，采用较少的声道进行表示，例如第一场景音频信号为3阶hoa信号，该hoa信号为16个声道，本技术实施例中可以将16个声道压缩为4个声道，4个声道分别为编码端生成的虚拟扬声器信号占用的2个声道，以及残差信号占用的2个声道，例如编码端生成的虚拟扬声器信号可以包括前述的第一虚拟扬声器信号和第二虚拟扬声器信号等，编码端生成的虚拟扬声器信号的声道数与第一场景音频信号的声道数无关。通过后续步骤描述可知，码流中可以携带2个声道的虚拟扬声器信号和2个声道的残差信号，相应的，解码端接收该码流，解码该码流得到的虚拟扬声器信号为2个声道，以及残差信号为2个声道，解码端通过2个声道的虚拟扬声器信号以及2个声道的残差信号可以重建出16个声道的场景音频信号，且保证了重建的场景音频信号与原始的场景音频信号相比时，具有主观和客观质量相当的效果。
259.可以理解的是，前述步骤401和步骤402具体可以由空间编码器来实现动态图像专家组(moving picture experts group，mpeg)空间编码器来实现。
260.在本技术的一些实施例中，第一场景音频信号可以包括：待编码hoa信号；第一目标虚拟扬声器的属性信息包括第一目标虚拟扬声器的hoa系数；
261.步骤402根据第一场景音频信号和第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号，包括：
262.对待编码hoa信号和第一目标虚拟扬声器的hoa系数进行线性组合，以得到第一虚拟扬声器信号。
263.其中，以第一场景音频信号为待编码hoa信号为例，编码端首先确定第一目标虚拟扬声器的hoa系数，例如编码端根据主要声场成分从hoa系数集合中选择出hoa系数，该选择出的hoa系数就是第一目标虚拟扬声器的hoa系数，编码端获取到待编码hoa信号和第一目
标虚拟扬声器的hoa系数之后，根据待编码hoa信号和第一目标虚拟扬声器的hoa系数可以生成第一虚拟扬声器信号，其中，待编码hoa信号可以采用第一目标虚拟扬声器的hoa系数进行线性组合得到，第一虚拟扬声器信号的求解可以被转换为对线性组合的求解问题。
264.例如，第一目标虚拟扬声器的属性信息可以包括：第一目标虚拟扬声器的hoa系数。编码端通过解码第一目标虚拟扬声器的属性信息可以获取到第一目标虚拟扬声器的hoa系数。编码端对待编码hoa信号和第一目标虚拟扬声器的hoa系数进行线性组合，即编码端将待编码hoa信号和第一目标虚拟扬声器的hoa系数组合在一起，可以得到线性组合矩阵，接下来编码端可以对线性组合矩阵进行求最优解，得到的最优解就是第一虚拟扬声器信号。其中，该最优解与对线性组合矩阵进行求解时采用的算法有关。本技术实施例解决了编码端需要生成第一虚拟扬声器信号的问题。
265.在本技术的一些实施例中，第一场景音频信号包括：待编码高阶立体混响hoa信号；第一目标虚拟扬声器的属性信息包括第一目标虚拟扬声器的位置信息；
266.步骤402根据第一场景音频信号和第一目标虚拟扬声器的属性信息生成第一虚拟扬声器信号，包括：
267.根据第一目标虚拟扬声器的位置信息获取第一目标虚拟扬声器对应的hoa系数；
268.对待编码hoa信号和第一目标虚拟扬声器对应的hoa系数进行线性组合，以得到第一虚拟扬声器信号。
269.其中，第一目标虚拟扬声器的属性信息可以包括：第一目标虚拟扬声器的位置信息，编码端预先存储虚拟扬声器集合中每个虚拟扬声器的hoa系数，编码端还存储有每个虚拟扬声器的位置信息，虚拟扬声器的位置信息和该虚拟扬声器的hoa系数之间存在对应关系，因此编码端可以通过第一目标虚拟扬声器的位置信息确定第一目标虚拟扬声器的hoa系数。若属性信息包括hoa系数时，编码端通过解码第一目标虚拟扬声器的属性信息可以获取到第一目标虚拟扬声器的hoa系数。
270.编码端获取待编码hoa信号以及第一目标虚拟扬声器的hoa系数之后，编码端对待编码hoa信号和第一目标虚拟扬声器的hoa系数进行线性组合，即编码端将待编码hoa信号和第一目标虚拟扬声器的hoa系数组合在一起，可以得到线性组合矩阵，接下来编码端可以对线性组合矩阵进行求最优解，得到的最优解就是第一虚拟扬声器信号。
271.举例说明如下，第一目标虚拟扬声器的hoa系数用矩阵a表示，用矩阵a可以线性组合出待编码hoa信号，其中可以采用最小二乘方法求得理论的最优解w，即为第一虚拟扬声器信号，例如可以采用如下计算式：
272.w＝a-1
x，
273.其中，a-1
代表矩阵a的逆矩阵，矩阵a的大小为(m
×
c)，c为第一目标虚拟扬声器个数，m为n阶的hoa系数的声道个数，a表示第一目标虚拟扬声器的hoa系数，例如，
[0274][0275]
，其中，x代表待编码hoa信号，矩阵x的大小为(m
×
l)，m为n阶的hoa系数的声道个
数，l为采样点数，x表示待编码hoa信号的系数，例如，
[0276][0277]
本技术实施例中，为了使解码端能够准确的获取到编码端的第一虚拟扬声器信号，编码端还可以执行如下步骤403和步骤404以生成残差信号。
[0278]
403、使用第一目标虚拟扬声器的属性信息和第一虚拟扬声器信号获得第二场景音频信号。
[0279]
其中，编码端可以获取第一目标虚拟扬声器的属性信息，该第一目标虚拟扬声器在解码侧可以为虚拟扬声器集合中用于回放第一虚拟扬声器信号的虚拟扬声器。第一目标虚拟扬声器的属性信息可以包括第一目标虚拟扬声器的位置信息和第一目标虚拟扬声器的hoa系数。编码端获取到第一虚拟扬声器信号之后，编码端根据第一目标虚拟扬声器的属性信息进行信号重建，通过信号重建可以得到第二场景音频信号。
[0280]
在本技术的一些实施例中，步骤403使用第一目标虚拟扬声器的属性信息和第一虚拟扬声器信号获得第二场景音频信号，包括：
[0281]
确定第一目标虚拟扬声器的hoa系数；
[0282]
对第一虚拟扬声器信号和第一目标虚拟扬声器的hoa系数进行合成处理。
[0283]
其中，编码端首先确定第一目标虚拟扬声器的hoa系数，例如编码端中可以预先存储第一目标虚拟扬声器的hoa系数，编码端获取到第一虚拟扬声器信号和第一目标虚拟扬声器的hoa系数之后，根据第一虚拟扬声器信号和第一目标虚拟扬声器的hoa系数可以生成重建的场景音频信号。
[0284]
举例说明如下，第一目标虚拟扬声器的hoa系数用矩阵a表示，矩阵a的大小为(m
×
c)，c为第一目标虚拟扬声器个数，m为n阶的hoa系数的声道个数。第一虚拟扬声器信号用矩阵w表示，矩阵w的大小为(c
×
l)，其中，l为信号采样点个数。通过如下计算式得到重建的hoa信号：
[0285]
t＝aw，
[0286]
通过上述计算式得到的t即为第二场景音频信号。
[0287]
404、根据第一场景音频信号和第二场景音频信号生成残差信号。
[0288]
在本技术实施例中，编码端通过信号重建(也可以称为本地解码)得到第二场景音频信号，第一场景音频信号是原始的场景音频信号，因此对第一场景音频信号和第二场景音频信号可以计算残差，以生成残差信号，该残差信号可以表示使用第一目标虚拟扬声器生成的第二场景音频信号与原始的场景音频信号(即第一场景音频信号)之间的差值。
[0289]
在本技术的一些实施例中，根据第一场景音频信号和第二场景音频信号生成残差信号，包括：
[0290]
对第一场景音频信号和第二场景音频信号进行差值计算，以得到残差信号。
[0291]
其中，第一场景音频信号和第二场景音频信号都可以表示为矩阵形式，将两个场景音频信号分别对应的矩阵进行差值计算，可以得到残差信号。
[0292]
405、对第一虚拟扬声器信号和残差信号进行编码，以得到码流。
[0293]
本技术实施例中，编码端在生成第一虚拟扬声器信号和残差信号之后，编码端可以对第一虚拟扬声器信号和残差信号进行编码，以得到码流。例如编码端具体可以是核心编码器，核心编码器对第一虚拟扬声器信号进行编码，以得到码流。该码流也可以称为音频信号编码码流。本技术实施例编码端对该第一虚拟扬声器信号和残差信号进行编码，而不再对场景音频信号进行编码，通过选择出的第一目标虚拟扬声器，使得空间中听音人所在的位置声场尽可能的接近录制场景音频信号时的原始声场，保证了编码端的编码质量，且第一虚拟扬声器信号的编码数据量与场景音频信号的声道数无关，减少编码场景音频信号的数据量，提高编解码效率。
[0294]
在本技术的一些实施例中，编码端执行上述的步骤401至步骤405之后，本技术实施例提供的音频编码方法还包括如下步骤：
[0295]
对第一目标虚拟扬声器的属性信息进行编码，并写入码流。
[0296]
其中，编码端除了对虚拟扬声器进行编码，还可以对第一目标虚拟扬声器的属性信息进行编码，并将编码后的第一目标虚拟扬声器的属性信息写入到码流中，此时得到的码流中可以包括：编码后的虚拟扬声器和编码后的第一目标虚拟扬声器的属性信息。本技术实施例中码流中可以携带编码后的第一目标虚拟扬声器的属性信息，使得解码端通过解码码流，就可以确定出第一目标虚拟扬声器的属性信息，便于解码端的音频解码。
[0297]
需要说明的是，前述步骤401至步骤405中描述了从虚拟扬声器集合中选择出第一目标扬声器的情况下，基于该第一目标虚拟扬声器生成第一虚拟扬声器信号，并根据第一虚拟扬声器进行信号重建、生成残差信号以及信号编码的过程。不限定的是，本技术实施例中，编码端不仅可以选择出第一目标虚拟扬声器，还可以选择出更多的目标虚拟扬声器，例如还可以选择出第二目标虚拟扬声器，针对第二目标虚拟扬声器，同样需要执行与前述步骤402至405相类似的过程，接下来进行详细的说明。
[0298]
在本技术的一些实施例中，编码端除了执行前述步骤之外，本技术实施例提供的音频编码方法还包括：
[0299]
d1、根据第一场景音频信号从虚拟扬声器集合中选择出第二目标虚拟扬声器；
[0300]
d2、根据第一场景音频信号和第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号；
[0301]
d3、对第二虚拟扬声器信号进行编码，并写入码流。
[0302]
其中，步骤d1的实现方式与前述步骤401相类似，第二目标虚拟扬声器是编码端选择出的与第一目标虚拟编码器不相同的另一个目标虚拟扬声器。第一场景音频信号是待编码的原始场景音频信号，该第二目标虚拟扬声器可以是虚拟扬声器集合中的某一个虚拟扬声器，例如可以使用预先配置的目标虚拟扬声器选择策略从预设的虚拟扬声器集合中选择出第二目标虚拟扬声器。目标虚拟扬声器选择策略是从虚拟扬声器集合中选择与第一场景音频信号匹配的目标虚拟扬声器的策略，例如按照每个虚拟扬声器从第一场景音频信号中获取的声场成分来选择第二目标虚拟扬声器。
[0303]
在本技术的一些实施例中，本技术实施例提供的音频编码方法还包括如下步骤：
[0304]
e1、根据虚拟扬声器集合从第一场景音频信号中获取第二主要声场成分。
[0305]
在执行步骤e1的场景下，前述步骤d1根据第一场景音频信号从预设的虚拟扬声器
集合中选择出第二目标虚拟扬声器，包括：
[0306]
f1、根据第二主要声场成分从虚拟扬声器集合中选择出第二目标虚拟扬声器。
[0307]
其中，编码端获取虚拟扬声器集合，编码端使用该虚拟扬声器集合对第一场景音频信号进行信号分解，以得到第一场景音频信号对应的第二主要声场成分。其中，第二主要声场成分表示的是第一场景音频信号中的主要声场所对应的音频信号。例如虚拟扬声器集合中包括多个虚拟扬声器，根据多个虚拟扬声器可以从第一场景音频信号中获取多个声场成分，即每个虚拟扬声器可以从第一场景音频信号中获取一个声场成分，接下来从多个声场成分中选择出第二主要声场成分，例如第二主要声场成分可以是多个声场成分中取值最大的一个或几个声场成分，或第二主要声场成分可以是多个声场成分中方向占优的一个或几个声场成分。根据第二主要声场成分从虚拟扬声器集合中选择出第二目标虚拟扬声器，例如第二主要声场成分对应的虚拟扬声器就是编码端选择出的第二目标虚拟扬声器。本技术实施例中，编码端通过主要声场成分可以选择出第二目标虚拟扬声器，解决了编码端需要确定第二目标虚拟扬声器的问题。
[0308]
其中，在本技术的一些实施例中，前述步骤f1根据第二主要声场成分从虚拟扬声器集合中选择出第二目标虚拟扬声器，包括：
[0309]
根据第二主要声场成分从hoa系数集合中选择出与第二主要声场成分对应的hoa系数，hoa系数集合中的hoa系数与虚拟扬声器集合中的虚拟扬声器一一对应；
[0310]
确定虚拟扬声器集合中与第二主要声场成分对应的hoa系数对应的虚拟扬声器为第二目标虚拟扬声器。
[0311]
其中，上述实现与前述实施例中确定第一目标虚拟扬声器的过程相类似，此处不再赘述。
[0312]
其中，在本技术的一些实施例中，前述步骤f1根据第二主要声场成分从虚拟扬声器集合中选择出第二目标虚拟扬声器，还包括：
[0313]
g1、根据第二主要声场成分获取第二目标虚拟扬声器的配置参数；
[0314]
g2、根据第二目标虚拟扬声器的配置参数生成第二目标虚拟扬声器对应的hoa系数；
[0315]
g3、确定虚拟扬声器集合中第二目标虚拟扬声器对应的hoa系数对应的虚拟扬声器为第二目标虚拟扬声器。
[0316]
其中，上述实现与前述实施例中确定第一目标虚拟扬声器的过程相类似，此处不再赘述。
[0317]
其中，上述实现与前述实施例中确定第一目标虚拟扬声器的过程相类似，此处不再赘述。
[0318]
其中，在本技术的一些实施例中，步骤g1根据第二主要声场成分获取第二目标虚拟扬声器的配置参数，包括：
[0319]
根据音频编码器的配置信息确定虚拟扬声器集合中的多个虚拟扬声器的配置参数；
[0320]
根据第二主要声场成分从多个虚拟扬声器的配置参数中选择出第二目标虚拟扬声器的配置参数。
[0321]
其中，上述实现与前述实施例中确定第一目标虚拟扬声器的配置参数的过程相类
似，此处不再赘述。
[0322]
其中，在本技术的一些实施例中，第二目标虚拟扬声器的配置参数包括：第二目标虚拟扬声器的位置信息和hoa阶数信息；
[0323]
前述步骤g2根据第二目标虚拟扬声器的配置参数生成第二目标虚拟扬声器对应的hoa系数，包括：
[0324]
根据第二目标虚拟扬声器的位置信息和hoa阶数信息确定第二目标虚拟扬声器对应的hoa系数。
[0325]
其中，上述实现与前述实施例中确定第一目标虚拟扬声器对应的hoa系数的过程相类似，此处不再赘述。
[0326]
在本技术的一些实施例中，第一场景音频信号，包括：待编码hoa信号；第二目标虚拟扬声器的属性信息包括第二目标虚拟扬声器的hoa系数；
[0327]
步骤d2根据第一场景音频信号和第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号，包括：
[0328]
对待编码hoa信号和第二目标虚拟扬声器的hoa系数进行线性组合，以得到第二虚拟扬声器信号。
[0329]
在本技术的一些实施例中，第一场景音频信号包括：待编码高阶立体混响hoa信号；第二目标虚拟扬声器的属性信息包括第二目标虚拟扬声器的位置信息；
[0330]
步骤d2根据第一场景音频信号和第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号，包括：
[0331]
根据第二目标虚拟扬声器的位置信息获取第二目标虚拟扬声器对应的hoa系数；
[0332]
对待编码hoa信号和第二目标虚拟扬声器对应的hoa系数进行线性组合，以得到第二虚拟扬声器信号。
[0333]
其中，上述实现与前述实施例中确定第一虚拟扬声器信号的过程相类似，此处不再赘述。
[0334]
在本技术实施例中，编码端生成第二虚拟扬声器信号之后，编码端还可以执行步骤d3，对第二虚拟扬声器信号进行编码，并写入码流。其中，编码端所采用的编码方法与步骤405相类似，使得码流可以携带第二虚拟扬声器信号的编码结果。
[0335]
相应地，在前述执行步骤d1至d3的实现场景下，前述步骤403使用第一目标虚拟扬声器的属性信息和第一虚拟扬声器信号获得第二场景音频信号包括：
[0336]
h1、根据第一目标虚拟扬声器的属性信息、第一虚拟扬声器信号、第二目标虚拟扬声器的属性信息和第二虚拟扬声器信号获得第二场景音频信号。
[0337]
其中，编码端可以获取第一目标虚拟扬声器的属性信息，该第一目标虚拟扬声器为虚拟扬声器集合中用于回放第一虚拟扬声器信号的虚拟扬声器。编码端可以获取第二目标虚拟扬声器的属性信息，该第二目标虚拟扬声器为虚拟扬声器集合中用于回放第二虚拟扬声器信号的虚拟扬声器。第一目标虚拟扬声器的属性信息可以包括第一目标虚拟扬声器的位置信息和第一目标虚拟扬声器的hoa系数。第二目标虚拟扬声器的属性信息可以包括第二目标虚拟扬声器的位置信息和第二目标虚拟扬声器的hoa系数。编码端获取到第一虚拟扬声器信号和第二虚拟扬声器信号之后，编码端根据第一目标虚拟扬声器的属性信息、第二目标虚拟扬声器的属性信息进行信号重建，通过信号重建可以得到第二场景音频信
号。
[0338]
在本技术的一些实施例中，步骤h1根据第一目标虚拟扬声器的属性信息、第一虚拟扬声器信号、第二目标虚拟扬声器的属性信息和第二虚拟扬声器信号获得第二场景音频信号，包括：
[0339]
确定第一目标虚拟扬声器的hoa系数、第二目标虚拟扬声器的hoa系数；
[0340]
对第一虚拟扬声器信号和第一目标虚拟扬声器的hoa系数进行合成处理，对第二虚拟扬声器信号和第二目标虚拟扬声器的hoa系数进行合成处理。
[0341]
其中，编码端首先确定第一目标虚拟扬声器的hoa系数，例如编码端中可以预先存储第一目标虚拟扬声器的hoa系数，编码端确定第二目标虚拟扬声器的hoa系数，例如编码端中可以预先存储第二目标虚拟扬声器的hoa系数，编码端根据第一虚拟扬声器信号和第一目标虚拟扬声器的hoa系数、第二虚拟扬声器信号和第二目标虚拟扬声器的hoa系数以生成重建的场景音频信号。
[0342]
其中，在本技术的一些实施例中，编码端执行的音频编码方法还可以包括如下步骤：
[0343]
i1、对第一虚拟扬声器信号和第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号。
[0344]
在执行步骤i1的场景下，相应地，步骤d3对第二虚拟扬声器信号进行编码包括：
[0345]
对对齐后的第二虚拟扬声器信号进行编码；
[0346]
相应地，步骤405对第一虚拟扬声器信号和残差信号进行编码，包括：
[0347]
对对齐后的第一虚拟扬声器信号和残差信号进行编码。
[0348]
其中，编码端可以生成第一虚拟扬声器信号和第二虚拟扬声器信号，编码端可以对第一虚拟扬声器信号和第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号，举例说明如下，有两个虚拟扬声器信号，当前帧的虚拟扬声器信号的声道顺序为1、2，分别对应由目标虚拟扬声器p1、p2产生的虚拟扬声器信号，前一帧的虚拟扬声器信号的声道顺序为1、2，分别对应由目标虚拟扬声器p2、p1产生的虚拟扬声器信号，则可以按照前一帧目标虚拟扬声器的顺序对当前帧虚拟扬声器信号的声道顺序进行调整，例如将当前帧的虚拟扬声器信号的声道顺序调整为2、1，使得相同的目标虚拟扬声器产生的虚拟扬声器信号处于同一声道上。
[0349]
编码端获取到对齐后的第一虚拟扬声器信号之后，可以对对齐后的第一虚拟扬声器信号和残差信号进行编码，本技术实施例中通过将第一虚拟扬声器信号的各声道间重新调整对齐，增强了声道间相关性，有利于核心编码器对第一虚拟扬声器信号的编码处理。
[0350]
在本技术的一些实施例中，编码端除了执行前述步骤之外，本技术实施例提供的音频编码方法还包括：
[0351]
d1、根据第一场景音频信号从虚拟扬声器集合中选择出第二目标虚拟扬声器；
[0352]
d2、根据第一场景音频信号和第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号。
[0353]
相应地，在编码端执行步骤d1至d2的场景下，步骤405对第一虚拟扬声器信号和残差信号进行编码，包括：
[0354]
j1、根据第一虚拟扬声器信号和第二虚拟扬声器信号获得下混信号和第一边信
息，第一边信息用于指示第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系。
[0355]
在本发明实施例中，所述第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系可以是直接关系，也可以是间接关系；例如在第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系为直接关系时，所述第一边信息可以包括第一虚拟扬声器信号和第二虚拟扬声器信号的相关性参数，例如可以是第一虚拟扬声器信号和第二虚拟扬声器信号的能量比例参数；例如在，第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系为间接关系时，所述第一边信息可以包括第一虚拟扬声器信号与下混信号之间的相关性参数，以及第二虚拟扬声器信号与下混信号之间的相关性参数，例如包括第一虚拟扬声器信号与下混信号之间的能量比例参数，以及第二虚拟扬声器信号与下混信号之间的能量比例参数。
[0356]
在所述第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系可以是直接关系时，解码器可以根据下混信号，下混信号的获取方式以及该直接关系确定出第一虚拟扬声器信号和第二虚拟扬声器信号；在所述第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系可以是间接关系时，解码器可以根据下混信号及该间接关系确定出第一虚拟扬声器信号和第二虚拟扬声器信号。
[0357]
j2、对下混信号、第一边信息以及残差信号进行编码。
[0358]
其中，编码端在获取到第一虚拟扬声器信号和第二虚拟扬声器信号之后，编码端还可以根据第一虚拟扬声器信号和第二虚拟扬声器信号进行下混处理，以生成下混信号，例如对第一虚拟扬声器信号和第二虚拟扬声器信号进行幅度上的下混处理，以得到下混信号。另外还可以根据第一虚拟扬声器信号和第二虚拟扬声器信号生成第一边信息，第一边信息用于指示第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系，该关系具有多种实现方式，该第一边信息可以用于解码端针对下混信号进行上混，以恢复出第一虚拟扬声器信号和第二虚拟扬声器信号。例如第一边信息包括信号信息丢失分析参数，以使得解码端通过信号信息丢失分析参数恢复出第一虚拟扬声器信号和第二虚拟扬声器信号。又如第一边信息具体可以是第一虚拟扬声器信号和第二虚拟扬声器信号的相关性参数，例如，可以是第一虚拟扬声器信号和第二虚拟扬声器信号的能量比例参数。以使得解码端通过上述相关性参数或者能量比例参数恢复出第一虚拟扬声器信号和第二虚拟扬声器信号。
[0359]
其中，在本技术的一些实施例中，在编码端执行步骤d1至d2的场景下，编码端还可以执行如下步骤：
[0360]
i1、对第一虚拟扬声器信号和第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号。
[0361]
在执行步骤i1的场景下，相应地，步骤j1根据第一虚拟扬声器信号和第二虚拟扬声器信号获得下混信号和第一边信息，包括：
[0362]
根据对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号获得下混信号和第一边信息；
[0363]
相应的，第一边信息用于指示对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号之间的关系。
[0364]
其中，编码端在生成下混信号之前，可以先执行虚拟扬声器信号的对齐操作，在完成对齐操作之后，再生成下混信号和第一边信息。本技术实施例中通过将第一虚拟扬声器信号和第二虚拟扬声器的各声道间重新调整对齐，增强了声道间相关性，有利于核心编码
器对第一虚拟扬声器信号的编码处理。
[0365]
需要说明的是，在本技术的上述实施例中，第二场景音频信号可以根据对齐前的第一虚拟扬声器信号和对齐前的第二虚拟扬声器信号获取，也可以根据对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号获取，具体实现方式取决于应用场景，此处不做限定。
[0366]
在本技术的一些实施例中，在步骤d1根据第一场景音频信号从虚拟扬声器集合中选择出第二目标虚拟扬声器前，本技术实施例提供的音频信号编码方法还包括：
[0367]
k1、根据编码速率和/或第一场景音频信号的信号类型信息确定是否需要获取除第一目标虚拟扬声器以外的目标虚拟扬声器；
[0368]
k2、若需要获取除第一目标虚拟扬声器以外的目标虚拟扬声器，才根据第一场景音频信号从虚拟扬声器集合中选择出第二目标虚拟扬声器。
[0369]
其中，编码端还可以进行信号选择，以确定是否需要获取第二目标虚拟扬声器，在需要获取第二目标虚拟扬声器的情况下，编码端可以生成第二虚拟扬声器信号，在不需要获取第二目标虚拟扬声器的情况下，编码端可以不生成第二虚拟扬声器信号。其中，编码器可以根据音频编码器的配置信息和/或第一场景音频信号的信号类型信息进行决策，以确定在选择出第一目标虚拟扬声器之外是否还需要选择别的目标虚拟扬声器。例如，若编码速率高于预设的阈值，则确定需要获取两个主要声场成分对应的目标虚拟扬声器，则在确定出第一目标虚拟扬声器之外，还可以继续确定第二目标虚拟扬声器。又如，根据第一场景音频信号的信号类型信息确定需要获取包含声源方向占优的两个主要声场成分对应的目标虚拟扬声器，则在确定出第一目标虚拟扬声器之外，还可以继续确定第二目标虚拟扬声器。相反的，若根据编码速率和/或第一场景音频信号的信号类型信息确定只需要获取一个目标虚拟扬声器，则在确定第一目标虚拟扬声器之后，就确定不再获取除第一目标虚拟扬声器以外的目标虚拟扬声器。本技术实施例中通过信号选择，可以减少编码端进行编码的数据量，提高编码效率。
[0370]
其中，编码端进行信号选择时，可以确定是否需要生成第二虚拟扬声器信号。由于编码端进行信号选择，会产生信息丢失，因此需要对不传输的虚拟扬声器信号进行信号补偿。信号补偿可以选择且不限于信息丢失分析，能量补偿，包络补偿，噪声补偿等。补偿的方法可以选择线性补偿或非线性补偿等。信号补偿之后可以生成第一边信息，该第一边信息可以被写入码流中，从而解码端可以通过码流得到第一边信息，解码端可以根据第一边信息进行信号补偿，从而提高解码端的解码信号质量。
[0371]
在本技术的一些实施例中，编码端进行的信号选择，除了选择是否需要生成第二虚拟扬声器信号，还可以针对残差信号进行信号选择，以确定传输残差信号中哪些残差子信号。例如，残差信号包括至少两个声道的残差子信号，本技术实施例提供的音频信号编码方法还包括：
[0372]
l1、根据音频编码器的配置信息和/或第一场景音频信号的信号类型信息从至少两个声道的残差子信号确定需要编码的至少一个声道的残差子信号。
[0373]
在执行步骤l1的实现场景下，相应的，步骤405对第一虚拟扬声器信号和残差信号进行编码，包括：
[0374]
对第一虚拟扬声器信号和需要编码的至少一个声道的残差子信号进行编码。
[0375]
其中，编码器可以根据音频编码器的配置信息和/或第一场景音频信号的信号类型信息，对残差信号进行决策，例如，残差信号包括至少两个声道的残差子信号，则编码端可以选择残差信号中哪个或哪些声道的残差子信号需要编码，哪个或哪些声道的残差子信号不需要编码。例如，根据音频编码器的配置信息选择残差信号中能量占优的残差子信号进行编码，又如，根据第一场景音频信号的信号类型信息选择残差信号中由低阶hoa声道计算得到的残差子信号进行编码。通过针对残差信号的声道选择，可以减少编码端进行编码的数据量，提高编码效率。
[0376]
其中，在本技术的一些实施例中，若至少两个声道的残差子信号中包括不需要编码的至少一个声道的残差子信号，本技术实施例提供的音频信号编码方法还包括：
[0377]
获取第二边信息，第二边信息用于指示需要编码的至少一个声道的残差子信号和不需要编码的至少一个声道的残差子信号之间的关系；
[0378]
将第二边信息写入码流。
[0379]
其中，编码端进行信号选择时，可以确定需要编码的残差子信号以及不需要编码的残差子信号。本技术实施例中对需要编码的残差子信号进行编码，不需要编码的残差子信号不进行编码，可以减少编码端进行编码的数据量，提高编码效率。由于编码端进行信号选择，会产生信息丢失，因此需要对不传输的残差子信号进行信号补偿。信号补偿可以选择且不限于信息丢失分析，能量补偿，包络补偿，噪声补偿等。补偿的方法可以选择线性补偿或非线性补偿等。信号补偿之后可以生成第二边信息，该第二边信息可以被写入码流中。第二边信息用于指示需要编码的残差子信号和不需要编码的残差子信号之间的关系，该关系具有多种实现方式，例如第二边信息包括信号信息丢失分析参数，以使得解码端通过信号信息丢失分析参数恢复出需要编码的残差子信号和不需要编码的残差子信号。又如第二边信息具体可以是需要编码的残差子信号和不需要编码的残差子信号的相关性参数，例如，可以是需要编码的残差子信号和不需要编码的残差子信号的能量比例参数。以使得解码端通过上述相关性参数或者能量比例参数恢复出需要编码的残差子信号和不需要编码的残差子信号。本技术实施例中，解码端可以通过码流得到第二边信息，解码端可以根据第二边信息进行信号补偿，从而提高解码端的解码信号质量。
[0380]
通过前述实施例的举例说明，本技术实施例中可以为第一场景音频信号配置第一目标虚拟扬声器，另外，音频编码端还可以通过第一虚拟扬声器信号和第一目标虚拟扬声器的属性信息获得残差信号，音频编码端对该第一虚拟扬声器信号和残差信号进行编码，而不再直接对第一场景音频信号进行编码，本技术实施例中根据第一场景音频信号选择出第一目标虚拟扬声器，基于该第一目标虚拟扬声器生成的第一虚拟扬声器信号可以表示空间中听音人所在的位置声场，基于该位置声场尽可能的接近录制第一场景音频信号时的原始声场，保证了音频编码端的编码质量，且对第一虚拟扬声器信号和残差信号进行编码以得到码流，该第一虚拟扬声器信号的编码数据量与第一目标虚拟扬声器有关，而且第一虚拟扬声器信号的编码数据量与第一场景音频信号的声道个数无关，减少了编码数据量，提高编码效率。
[0381]
在申请实施例中，编码端对第一虚拟扬声器信号和残差信号进行编码，生成码流。然后编码端可以将该码流输出，并经过音频传输通道，发送至解码端。解码端执行后续步骤411至步骤413。
[0382]
411、接收码流。
[0383]
其中，解码端从编码端接收码流。该码流可以携带编码后的第一虚拟扬声器信号和编码后的残差信号。不限定的是，该码流还可以携带编码后的第一目标虚拟扬声器的属性信息。需要说明的是，码流中可以不携带第一目标虚拟扬声器的属性信息，此时解码端可以通过预先配置确定出第一目标虚拟扬声器的属性信息。
[0384]
另外，在本技术的一些实施例中，在编码端生成第二虚拟扬声器信号的情况下，该码流还可以携带第二虚拟扬声器信号。不限定的是，该码流还可以携带编码后的第二目标虚拟扬声器的属性信息。需要说明的是，码流中可以不携带第二目标虚拟扬声器的属性信息，此时解码端可以通过预先配置确定出第二目标虚拟扬声器的属性信息。
[0385]
412、解码码流以获得虚拟扬声器信号和残差信号。
[0386]
其中，解码端接收到来自编码端的码流之后，对该码流进行解码，从该码流中得到虚拟扬声器信号和残差信号。
[0387]
需要说明的是，该虚拟扬声器信号具体可以是前述的第一虚拟扬声器信号，还可以是前述的第一虚拟扬声器信号和第二虚拟扬声器信号，此处不做限定。
[0388]
在本技术的一些实施例中，解码端执行上述的步骤411至步骤412之后，本技术实施例提供的音频解码方法还包括如下步骤：
[0389]
解码码流以获得目标虚拟扬声器的属性信息。
[0390]
其中，编码端除了对虚拟扬声器进行编码，还可以对目标虚拟扬声器的属性信息进行编码，并将编码后的目标虚拟扬声器的属性信息写入到码流中，例如可以通过码流获取到第一目标虚拟扬声器的属性信息。本技术实施例中码流中可以携带编码后的第一目标虚拟扬声器的属性信息，使得解码端通过解码码流，就可以确定出第一目标虚拟扬声器的属性信息，便于解码端的音频解码。
[0391]
413、根据目标虚拟扬声器的属性信息、残差信号以及虚拟扬声器信号获得重建的场景音频信号。
[0392]
其中，解码端可以获取目标虚拟扬声器的属性信息和残差信号，该目标虚拟扬声器为虚拟扬声器集合中用于回放重建的场景音频信号的虚拟扬声器。目标虚拟扬声器的属性信息可以包括目标虚拟扬声器的位置信息和目标虚拟扬声器的hoa系数。解码端获取到虚拟扬声器信号之后，解码端根据目标虚拟扬声器的属性信息和残差信号进行信号重建，通过信号重建可以输出重建的场景音频信号。虚拟扬声器信号用于重建出场景音频信号中的主要声场成分，残差信号弥补了重建场景音频信号中非方向性成分。残差信号可以提升重建场景音频信号的质量。
[0393]
在本技术的一些实施例中，目标虚拟扬声器的属性信息包括目标虚拟扬声器的hoa系数；
[0394]
步骤413根据目标虚拟扬声器的属性信息、残差信号以及虚拟扬声器信号获得重建的场景音频信号，包括：
[0395]
对虚拟扬声器信号和目标虚拟扬声器的hoa系数进行合成处理，得到合成的场景音频信号；
[0396]
使用残差信号对合成的场景音频信号进行调整，以获得重建的场景音频信号。
[0397]
其中，解码端首先确定目标虚拟扬声器的hoa系数，例如解码端中可以预先存储目
标虚拟扬声器的hoa系数，解码端获取到虚拟扬声器信号和目标虚拟扬声器的hoa系数之后，根据虚拟扬声器信号和目标虚拟扬声器的hoa系数可以得到合成的场景音频信号。最后，再使用残差信号对合成的场景音频信号进行调整，从而提高重建的场景音频信号的质量。
[0398]
举例说明如下，目标虚拟扬声器的hoa系数用矩阵a’表示，矩阵a’的大小为(m
×
c)，c为目标虚拟扬声器个数，m为n阶的hoa系数的声道个数。虚拟扬声器信号用矩阵w’表示，矩阵w’的大小为(c
×
l)，其中，l为信号采样点个数。通过如下计算式得到重建的hoa信号：
[0399]
h＝a’w’，
[0400]
通过上述计算式得到的h即为重建的hoa信号。
[0401]
得到上述重建的hoa信号之后，还可以使用残差信号对合成的场景音频信号进行调整，从而提高重建的场景音频信号的质量。
[0402]
在本技术的一些实施例中，目标虚拟扬声器的属性信息包括目标虚拟扬声器的位置信息；
[0403]
步骤413根据目标虚拟扬声器的属性信息、残差信号以及虚拟扬声器信号获得重建的场景音频信号，包括：
[0404]
根据目标虚拟扬声器的位置信息确定目标虚拟扬声器的hoa系数；
[0405]
对虚拟扬声器信号和目标虚拟扬声器的hoa系数进行合成处理，得到合成的场景音频信号；
[0406]
使用残差信号对合成的场景音频信号进行调整，以获得重建的场景音频信号。
[0407]
其中，目标虚拟扬声器的属性信息可以包括：目标虚拟扬声器的位置信息。解码端预先存储虚拟扬声器集合中每个虚拟扬声器的hoa系数，解码端还存储有每个虚拟扬声器的位置信息，例如解码端可以根据虚拟扬声器的位置信息和该虚拟扬声器的hoa系数之间的对应关系确定出目标虚拟扬声器的位置信息对应的hoa系数，或者解码端可以根据目标虚拟扬声器的位置信息计算出目标虚拟扬声器的hoa系数。因此解码端可以通过目标虚拟扬声器的位置信息确定目标虚拟扬声器的hoa系数。解决了解码端需要确定目标虚拟扬声器的hoa系数的问题。
[0408]
在本技术的一些实施例中，通过编码端的方法说明可知，虚拟扬声器信号是根据第一虚拟扬声器信号和第二虚拟扬声器信号下混获得的下混信号。在这种实现场景下，本技术实施例提供的音频解码方法还包括：
[0409]
解码码流以获得第一边信息，第一边信息用于指示第一虚拟扬声器信号和第二虚拟扬声器信号之间的关系；
[0410]
根据第一边信息和下混信号获得第一虚拟扬声器信号和第二虚拟扬声器信号。
[0411]
相应的，步骤413根据目标虚拟扬声器的属性信息、残差信号以及虚拟扬声器信号获得重建的场景音频信号，包括：
[0412]
根据目标虚拟扬声器的属性信息、残差信号、第一虚拟扬声器信号和第二虚拟扬声器信号获得重建的场景音频信号。
[0413]
其中，编码端根据第一虚拟扬声器信号和第二虚拟扬声器信号进行下混处理时生成下混信号，编码端还可以针对下混信号进行信号补偿，以生成第一边信息，该第一边信息
可以被写入码流中，解码端可以通过码流得到第一边信息，解码端可以根据第一边信息进行信号补偿，以得到第一虚拟扬声器信号和第二虚拟扬声器信号，因此在进行信号重建时，可以使用第一虚拟扬声器信号和第二虚拟扬声器信号，以及前述的目标虚拟扬声器的属性信息、残差信号，从而提高解码端的解码信号质量。
[0414]
在本技术的一些实施例中，通过编码端的方法说明可知，编码端针对残差信号进行信号选择，并在码流中携带第二边信息，在这种实现场景下，假设残差信号包括第一声道的残差子信号，本技术实施例提供的音频解码方法还包括：
[0415]
解码码流以获得第二边信息，第二边信息用于指示第一声道的残差子信号和第二声道的残差子信号之间的关系；
[0416]
根据第二边信息和第一声道的残差子信号获得第二声道的残差子信号。
[0417]
相应的，步骤413根据目标虚拟扬声器的属性信息、残差信号以及虚拟扬声器信号获得重建的场景音频信号，包括：
[0418]
根据目标虚拟扬声器的属性信息、第一声道的残差子信号，第二声道的残差子信号以及虚拟扬声器信号获得重建的场景音频信号。
[0419]
其中，编码端进行信号选择时，可以确定需要编码的残差子信号以及不需要编码的残差子信号。由于编码端进行信号选择，会产生信息丢失，编码端生成第二边信息，该第二边信息可以被写入码流中，解码端可以通过码流得到第二边信息，假设码流中携带的残差信号包括第一声道的残差子信号，解码端可以根据第二边信息进行信号补偿，以得到第二声道的残差子信号。例如解码端使用第一声道的残差子信号以及第二边信息恢复出第二声道的残差子信号，第二声道独立于第一声道。因此在进行信号重建时，可以使用第一声道的残差子信号，第二声道的残差子信号，以及前述的目标虚拟扬声器的属性信息、虚拟扬声器信号，从而提高解码端的解码信号质量。例如，场景音频信号一共包括16个声道，其中第一声道的数量为4个，例如是16个声道中的第1，3，5和7声道，第二边信息描述的是1，3，5和7声道残差子信号与其他声道的残差子信号之间的关系，则解码器可以根据第一声道的残差子信号以及第二边信息，获得16个声道中的其他12个声道的残差子信号。又例如，场景音频信号一共包括16个声道，其中第一声道是16个声道中的第3声道，第二声道是16个声道中的第8声道，第二边信息描述的是3声道的残差子信号与第8声道的残差子信号之间的关系，则解码器可以根据第3声道的残差子信号以及第二边信息，获得第8声道的残差子信号。
[0420]
在本技术的一些实施例中，通过编码端的方法说明可知，编码端针对残差信号进行信号选择，并在码流中携带第二边信息，在这种实现场景下，假设残差信号包括第一声道的残差子信号，本技术实施例提供的音频解码方法还包括：
[0421]
解码码流以获得第二边信息，第二边信息用于指示第一声道的残差子信号和第三声道的残差子信号之间的关系；
[0422]
根据第二边信息和第一声道的残差子信号获得第三声道的残差子信号以及第一声道的更新后的残差子信号。
[0423]
相应的，步骤413根据目标虚拟扬声器的属性信息、残差信号以及虚拟扬声器信号获得重建的场景音频信号，包括：
[0424]
根据目标虚拟扬声器的属性信息、第一声道的更新后的残差子信号、第三声道的残差子信号以及虚拟扬声器信号获得重建的场景音频信号。
[0425]
其中，第一声道的数量可以是一个或多个，第二声道的数量可以是一个或多个，或第三声道的数量可以是一个或多个。
[0426]
其中，编码端进行信号选择时，可以确定需要编码的残差子信号以及不需要编码的残差子信号。由于编码端进行信号选择，会产生信息丢失，编码端生成第二边信息，该第二边信息可以被写入码流中，解码端可以通过码流得到第二边信息，假设码流中携带的残差信号包括第一声道的残差子信号，解码端可以根据第二边信息进行信号补偿，以得到第三声道的残差子信号，第三声道的残差子信号不同于第一声道的残差子信号，根据第二边信息和第一声道的残差子信号获得第三声道的残差子信号时，需要对第一声道的残差子信号进行更新，以得到第一声道的更新后的残差子信号。例如解码端使用第一声道的残差子信号以及第二边信息生成了第三声道的残差子信号和第一声道的更新后的残差子信号。因此在进行信号重建时，可以使用第三声道的残差子信号，第一声道的更新后的残差子信号以及前述的目标虚拟扬声器的属性信息、虚拟扬声器信号，从而提高解码端的解码信号质量。例如，场景音频信号一共包括16个声道，其中第一声道的数量为4个，例如是16个声道中的第1，3，5和7声道，第二边信息描述的是1，3，5和7声道残差子信号与其他声道的残差子信号之间的关系，则解码器可以根据第一声道的残差子信号以及第二边信息，获得16个声道的残差子信号，其中包括了第1，3，5和7声道的更新后的残差子信号。又例如，场景音频信号一共包括16个声道，其中第一声道是16个声道中的第3声道，第二声道是16个声道中的第8声道，第二边信息描述的是3声道的残差子信号与第8声道的残差子信号之间的关系，则解码器可以根据第3声道的残差子信号以及第二边信息，获得第8声道的残差子信号以及第3声道的更新后的残差子信号。
[0427]
在本技术的一些实施例中，通过编码端的方法说明可知，编码端生成的码流中可以同时携带第一边信息和第二边信息，在这种情况下，解码端需要对码流进行解码，以得到第一边信息和第二边信息，则解码端需要使用第一边信息进行信号补偿，还需要使用第二边信息进行信号补偿。即解码端可以根据第一边信息和第二边信息进行信号补偿，以得到信号补偿后的虚拟扬声器信号和信号补偿后的残差信号，因此在进行信号重建时，可以使用信号补偿后的虚拟扬声器信号和信号补偿后的残差信号，从而提高解码端的解码信号质量。
[0428]
通过前述实施例的举例说明，首先接收码流，然后解码码流以获得虚拟扬声器信号和残差信号，最后根据目标虚拟扬声器的属性信息、残差信号和虚拟扬声器信号获得重建的场景音频信号。本技术实施例中音频解码端执行与音频编码端的编码过程相逆的解码过程，可以从码流中解码得到虚拟扬声器信号和残差信号，通过目标虚拟扬声器的属性信息、残差信号和虚拟扬声器信号得到了重建的场景音频信号，本技术实施例中，获取到的码流中携带虚拟扬声器信号和残差信号，减少了解码的数据量，提高了解码效率。
[0429]
举例说明如下，本技术实施例中，第一虚拟扬声器信号相比于第一场景音频信号，采用较少的声道进行表示，例如第一场景音频信号为3阶hoa信号，该hoa信号为16个声道，本技术实施例中可以将16个声道压缩为4个声道，4个声道分别为编码端生成的虚拟扬声器信号占用的2个声道，以及残差信号占用的2个声道，例如编码端生成的虚拟扬声器信号可以包括前述的第一虚拟扬声器信号和第二虚拟扬声器信号等，编码端生成的虚拟扬声器信号的声道数与第一场景音频信号的声道数无关。通过后续步骤描述可知，码流中可以携带2
个声道的虚拟扬声器信号和2个声道的残差信号，相应的，解码端接收该码流，解码该码流得到的虚拟扬声器信号为2个声道，以及残差信号为2个声道，解码端通过2个声道的虚拟扬声器信号以及2个声道的残差信号可以重建出16个声道的场景音频信号，且保证了重建的场景音频信号与原始的场景音频信号相比时，具有主观和客观质量相当的效果。
[0430]
为便于更好的理解和实施本技术实施例的上述方案，下面举例相应的应用场景来进行具体说明。
[0431]
本技术实施例中以场景音频信号为hoa信号为例，声波在理想介质中传播，波数为k＝w/c，角频率w＝2πf，f为声波频率，c为声速。则声压p满足如下计算式，其中为拉普拉斯算子：
[0432][0433]
在球坐标下求上述等式方程，在无源球形区域内，该方程解为如下计算式：
[0434][0435]
在上述计算式中，r表示球半径，θ表示水平角，表示仰角，k表示波数，s为理想平面波的幅度，m为hoa阶数序号，是球贝塞尔函数，又称径向基函数，其中第一个j是虚数单位。不随角度变化。即为θ，方向的球谐函数，是声源方向的球谐函数。
[0436]
hoa系数可以表述为：
[0437]
进而给出如下计算式：
[0438][0439]
上述计算式表明声场可以在球面上按球谐函数展开，使用系数进行表示。或者，已知系数就可以重建声场。将上式截断到第n项，以系数作为对声场的近似描述，则称为n阶的hoa系数，该hoa系数也可以称为ambisonic系数。n阶的hoa系数共有(n 1)2个声道。其中，一阶以上的ambisonic信号也称为hoa信号。将球谐函数按照hoa信号一个采样点对应的系数进行叠加，就能实现该采样点对应的时刻空间声场的重构。
[0440]
例如，在一种配置下，hoa阶数可以为2至6阶，对场景音频录制时信号采样率为48至192khz，采样深度为16或24bit。hoa信号的特点是带有声场的空间信息，是空间某点声场信号一定精度的描述。因此，可以考虑使用另一种表示形式描述该点的声场信号，如果这种描述方法能够使用更少的数据量对该点信号达到同样精确度的描述，就能达到信号压缩的目的。
[0441]
空间声场可以分解为多个平面波的叠加。因此，可以将hoa信号表达的声场，重新使用多个平面波的叠加来表达，每个平面波使用一个声道的音频信号和一个方向向量表示。如果平面波叠加的表示形式能够使用更少的声道数目较好的表达原始声场，则可以达到信号压缩的目的。
[0442]
hoa信号在实际回放时，可以通过耳机回放，也可以通过布置在房间中的多个扬声器回放。使用扬声器回放时，基本方法是通过多个扬声器的声场的叠加，使得空间中某点
(听音人所在的位置)声场在某个标准下尽可能的接近录制hoa信号时的原始声场。本技术实施例假设一个虚拟扬声器阵列，然后计算该虚拟扬声器阵列的回放信号，使用该回放信号作为传输信号，并进而生成压缩后的信号。解码端通过对码流进行解码，得到该回放信号，并通过该回放信号重建出场景音频信号。
[0443]
本技术实施例提供适用于场景音频信号编码的编码端，和适用于场景音频信号解码的解码端。其中，编码端将原始hoa信号编码为压缩码流，编码端向解码端发送该压缩码流，然后解码端将压缩码流恢复为重建hoa信号。本技术实施例中，编码端进行压缩后的数据量尽可能小，或在同等码率下解码端重建后得到的hoa信号的质量更高。
[0444]
本技术实施例可以解决编码hoa信号的时候，数据量大，带宽占用高，压缩效率较低，编码质量不高的问题。由于n阶的hoa信号具有(n 1)2个声道，直接传输该hoa信号需要消耗较大的带宽，因此需要一种有效的多声道编码方案。
[0445]
本技术实施例采取了不同的声道提取方法，且本技术实施例中对声源的假设不做限定，不依赖时频域点单声源假设，可以更有效的处理多声源信号等复杂场景。本技术实施例的编解码器提供一种采用较少的声道用于表示原始hoa信号的空间编解码方法。如图5所示，为本技术实施例提供的编码端的一种结构示意图，编码端包括空间编码器和核心编码器，其中，空间编码器可以对待编码hoa信号进行声道提取，以生成虚拟扬声器信号，核心编码器可以对虚拟扬声器信号进行编码，以得到码流，编码端向解码端发送码流。如图6所示，为本技术实施例提供的解码端的一种结构示意图，解码端包括：核心解码器和空间解码器，其中，核心解码器先接收到来自编码端的码流，然后从该码流中解码出虚拟扬声器信号，接下来空间解码器对该虚拟扬声器信号进行重建，以得到重建的hoa信号。
[0446]
接下来分别从编码端和解码端进行举例说明。
[0447]
如图7所示，首先对本技术实施例提供的编码端进行说明，该编码端可以包括：虚拟扬声器配置单元、编码分析单元、虚拟扬声器集合生成单元、虚拟扬声器选择单元、虚拟扬声器信号生成单元、核心编码器处理单元、信号重建单元、残差信号生成单元、选择单元和信号补偿单元。接下来分别对编码端的各个组成单元的功能进行说明。本技术实施例中，图7所示的编码端可以生成一个虚拟扬声器信号，也可以生成多个虚拟扬声器信号，其中，多个虚拟扬声器信号的生成流程可以是根据图7所示的编码器结构进行多次生成，接下来以一个虚拟扬声器信号的生成流程为例。
[0448]
虚拟扬声器配置单元，用于对虚拟扬声器集合中的虚拟扬声器进行配置，以得到多个虚拟扬声器。
[0449]
虚拟扬声器配置单元根据编码器配置信息输出虚拟扬声器配置参数。编码器配置信息包括且不限于：hoa阶数，编码比特率，用户自定义信息等，虚拟扬声器配置参数包括且不限于：虚拟扬声器的个数，虚拟扬声器的hoa阶数、虚拟扬声器的位置坐标等。
[0450]
虚拟扬声器配置单元输出的虚拟扬声器配置参数作为虚拟扬声器集合生成单元的输入。
[0451]
编码分析单元，用于对待编码hoa信号进行编码分析，例如分析待编码hoa信号的声场分布，包括待编码hoa信号的声源个数、方向性、弥散度等特征，作为决定如何选择目标虚拟扬声器的判断条件之一。
[0452]
不限定的是，本技术实施例中，编码端中还可以不包括编码分析单元，即编码端可
以不对输入信号进行分析，则采用一种默认配置决定如何选择目标虚拟扬声器。
[0453]
其中，编码端获取待编码hoa信号，例如可以将从实际采集设备记录的hoa信号或采用人工音频对象合成的hoa信号作为编码器的输入，同时编码器输入的待编码hoa信号可以是时域hoa信号也可以是频域hoa信号。
[0454]
虚拟扬声器集合生成单元，用于生成虚拟扬声器集合，该虚拟扬声器集合中可以包括：多个虚拟扬声器，虚拟扬声器集合中的虚拟扬声器也可以称为“候选虚拟扬声器”。
[0455]
虚拟扬声器集合生成单元生成指定的候选虚拟扬声器hoa系数。生成候选虚拟扬声器hoa系数需要候选虚拟扬声器的坐标(即位置坐标或者位置信息)和候选虚拟扬声器的hoa阶数，候选虚拟扬声器的坐标确定方法包括且不限于按等距规则产生k个虚拟扬声器、根据听觉感知原理生成非均匀分布的k个候选虚拟扬声器，以下举例一种产生均匀分布固定个数虚拟扬声器的方法。
[0456]
根据候选虚拟扬声器的个数生成分布均匀的候选虚拟扬声器的坐标，例如使用数值迭代计算方法给出近似均匀的扬声器排布。如图8所示，为球面上近似均匀分布的虚拟扬声器的示意图，设想在单位球面上分布一些质点，并在这些质点之间设置二次方反比的斥力，与同种电荷之间的静电斥力类似。让这些质点在斥力作用下自由运动，可以期望在其达到稳态时，质点的分布应该趋于均匀。计算中，对实际的物理规律进行简化，直接令质点的移动距离等于受力。则对于第i个质点，其在迭代计算的某一步的运动距离也即受到的虚拟力为如下计算式：
[0457][0458]
其中，代表位移矢量，代表力矢量，r
ij
代表第i个质点与第j个质点之间的距离，代表从第j个质点指向第i个质点的方向矢量。参数k控制单步步长的大小，质点的初始位置随机指定即可。
[0459]
质点按照位移矢量运动后，一般会偏离单位球面。在下一步迭代前，通过归一化质点与球心的距离，将其移动回单位球面即可，由此可以得到如图8所示的虚拟扬声器分布示意图，球面上近似均匀分布有多个虚拟扬声器。
[0460]
接下来生成候选虚拟扬声器hoa系数。振幅为s，扬声器位置坐标为的理想平面波，使用球谐函数展开后的形式为如下计算式：
[0461][0462]
平面波的hoa系数为满足如下计算式：
[0463][0464]
虚拟扬声器集合生成单元输出的候选虚拟扬声器的hoa系数作为虚拟扬声器选择单元的输入。
[0465]
虚拟扬声器选择单元，用于根据待编码hoa信号从虚拟扬声器集合中的多个候选虚拟扬声器中选择出目标虚拟扬声器，该目标虚拟扬声器可以称为“与待编码hoa信号匹配的虚拟扬声器”，或者简称为匹配虚拟扬声器。
[0466]
虚拟扬声器选择单元将待编码hoa信号与虚拟扬声器集合生成单元输出的候选虚拟扬声器hoa系数匹配，选择出指定的匹配虚拟扬声器。
[0467]
接下来对虚拟扬声器的选择方法进行举例说明，一种实施例中，得到候选虚拟扬声器后，将待编码hoa信号与虚拟扬声器集合生成单元输出的候选虚拟扬声器hoa系数进行匹配，寻找待编码hoa信号在候选虚拟扬声器上的最佳匹配，目标是使用候选虚拟扬声器hoa系数匹配组合待编码hoa信号。一种实施例中，使用候选虚拟扬声器hoa系数与待编码hoa信号做内积，选取内积绝对值最大的候选虚拟扬声器为目标虚拟扬声器，即匹配虚拟扬声器，并将待编码hoa信号在该候选虚拟扬声器的投影叠加到该候选虚拟扬声器hoa系数的线性组合上，然后将投影向量从待编码hoa信号中减去得到差值，对差值重复上述过程实现迭代计算，每迭代一次产生一个匹配虚拟扬声器，输出匹配虚拟扬声器坐标和目标虚拟扬声器的hoa系数。可以理解的是，匹配虚拟扬声器会选取多个，每迭代一次产生一个匹配虚拟扬声器。
[0468]
虚拟扬声器选择单元输出的目标虚拟扬声器的坐标和目标虚拟扬声器的hoa系数作为虚拟扬声器信号生成单元的输入。
[0469]
在本技术的一些实施例中，编码端除了包括图7所示的组成单元之外，还可以包括边信息生成单元。不限定的是，编码端还可以不包括边信息生成单元，此处仅为举例。
[0470]
虚拟扬声器选择单元输出的目标虚拟扬声器的坐标和/或目标虚拟扬声器的hoa系数作为边信息生成单元的输入。
[0471]
边信息生成单元将目标虚拟扬声器的hoa系数或目标虚拟扬声器的坐标转换为边信息，利于核心编码器的处理和传输。
[0472]
边信息生成单元的输出作为核心编码器处理单元的输入。
[0473]
虚拟扬声器信号生成单元，用于根据待编码hoa信号和目标虚拟扬声器的属性信息生成虚拟扬声器信号。
[0474]
虚拟扬声器信号生成单元通过待编码hoa信号和目标虚拟扬声器的hoa系数计算虚拟扬声器信号。
[0475]
目标虚拟扬声器的hoa系数用矩阵a表示，用矩阵a可以线性组合出待编码hoa信号，其中可以采用最小二乘方法求得理论的最优解w，即为虚拟扬声器信号，例如可以采用如下计算式：
[0476]
w＝a-1
x，
[0477]
其中，a-1
代表矩阵a的逆矩阵，矩阵a的大小为(m
×
c)，c为目标虚拟扬声器个数，m为n阶的hoa系数的声道个数，a表示目标虚拟扬声器的hoa系数，例如，
[0478][0479]
其中，x代表待编码hoa信号，矩阵x的大小为(m
×
l)，m为n阶的hoa系数的声道个数，l为采样点数，x表示待编码hoa信号的系数，例如，
[0480][0481]
虚拟扬声器信号生成单元输出的虚拟扬声器信号作为核心编码器处理单元的输入。
[0482]
在本技术的一些实施例中，编码端除了包括图7所示的组成单元之外，还可以包括信号对齐单元。不限定的是，编码端还可以不包括信号对齐单元，此处仅为举例。
[0483]
虚拟扬声器信号生成单元输出的虚拟扬声器信号作为信号对齐单元的输入。
[0484]
信号对齐单元，用于将虚拟扬声器信号各声道间重新调整，增强声道间相关性，利于核心编码器处理。
[0485]
信号对齐单元输出的对齐后的虚拟扬声器信号为核心编码器处理单元的输入。
[0486]
信号重建单元，用于通过虚拟扬声器信号和目标虚拟扬声器的hoa系数对hoa信号进行重建。
[0487]
目标虚拟扬声器的hoa系数构成用于矩阵a表示，矩阵a的大小为(m
×
c)矩阵，记为，其中c为匹配虚拟扬声器个数，m为n阶的hoa系数的声道个数。虚拟扬声器信号用矩阵w表示，矩阵w的大小为(c
×
l)，其中，l为信号采样点个数。因此重建的hoa信号t为：
[0488]
t＝aw，
[0489]
信号重建单元输出的重建的hoa信号为残差信号生成单元的输入。
[0490]
残差信号生成单元，用于通过待编码hoa信号与信号重建单元输出的重建hoa信号计算残差信号。例如，一种计算方法为待编码hoa信号与信号重建单元输出的重建hoa信号对应声道中对应样点做差得到。
[0491]
残差信号生成单元输出的残差信号为信号补偿单元和选择单元的输入。
[0492]
选择单元，用于根据编码器配置信息和信号类型信息对虚拟扬声器信号和/或残差信号进行选择，例如可以包括：虚拟扬声器信号选择和残差信号选择。
[0493]
例如，为了减少声道数据量，可以选择小于m个声道作为待编码的残差信号。可以选择低阶的残差信号作为待编码的残差信号，也可以选择能量较大的残差信号作为待编码的残差信号。
[0494]
选择单元输出的残差信号为核心编码器处理单元的输入和信号补偿单元的输入。
[0495]
信号补偿单元，用于由于选择小于m个声道作为待编码的残差信号，与m个声道作为待编码的残差信号相比会有信号丢失，因此需要对不传输的残差信号进行信号补偿。信号补偿可以选择且不限于信息丢失分析，能量补偿，包络补偿，噪声补偿等。补偿的方法可以选择线性补偿或非线性补偿等。信号补偿单元会产生用于信号补偿的边信息。
[0496]
核心编码器处理单元，用于对边信息和对齐后的虚拟扬声器信号进行核心编码器处理，得到传输码流。
[0497]
核心编码器处理包括且不限于变换、量化、心理声学模型、码流产生等，可以对频域声道进行处理也可以对时域声道进行处理，此处不做限定。
[0498]
如图9所示，本技术实施例提供的解码端可包含：核心解码器处理单元和hoa信号
重建单元。
[0499]
核心解码器处理单元，用于对传输码流进行核心解码器处理，得到虚拟扬声器信号和残差信号。
[0500]
不限的是，若编码端在码流中携带边信息，则解码端还需要包括：边信息解码单元。
[0501]
边信息解码单元，用于对核心解码器处理单元输出的解码边信息进行解码，以得到解码后的边信息。
[0502]
核心解码器处理可以包括变换、码流解析、反量化等，可以对频域声道进行处理也可以对时域声道进行处理，此处不做限定。
[0503]
核心解码器处理单元输出的虚拟扬声器信号和残差信号作为hoa信号重建单元的输入，核心解码器处理单元输出的解码边信息为边信息解码单元的输入。
[0504]
边信息解码单元将解码边信息转为目标虚拟扬声器的hoa系数。
[0505]
边信息解码单元输出的目标虚拟扬声器的hoa系数为hoa信号重建单元的输入。
[0506]
hoa信号重建单元，用于通过残差信号和目标虚拟扬声器的hoa系数对虚拟扬声器信号进行重建，以得到重建的hoa信号。
[0507]
目标虚拟扬声器的hoa系数用于矩阵a’表示，矩阵a’的大小为(m
×
c)，记为a’，c为目标虚拟扬声器个数，m为n阶的hoa系数的声道个数。虚拟扬声器信号构成(c
×
l)矩阵，记为w’，其中l为信号采样点个数，通过如下计算式得到重建的hoa信号h：
[0508]
片＝a’w’，
[0509]
其中，信号重建单元输出的重建的hoa信号为解码端的输出。
[0510]
在本技术的一些实施例中，若编码端的码流中还携带有用于信号补偿的边信息，则解码端还可以包括：
[0511]
信号补偿单元，用于将重建的hoa信号和残差信号合成得到合成hoa信号。通过用于信号补偿的边信息对合成hoa信号调整，得到重建hoa系数。
[0512]
本技术实施例中，编码端可以利用空间编码器，将原始hoa信号采用较少的声道进行表示，例如原始3阶hoa信号，采用本技术实施例的空间编码器可以将16个声道压缩为4个声道，且保证了主观听力无明显差别。其中，主观听力测试是音频编解码中的一种评价标准，无明显差别是主观评价的一种等级
[0513]
在本技术的另一些实施例中，编码端的虚拟扬声器选择单元从虚拟扬声器集合中选择出目标虚拟扬声器，还可以采用指定方位的虚拟扬声器作为目标虚拟扬声器，虚拟扬声器信号生成单元直接在各个目标虚拟扬声器上做投影得到虚拟扬声器信号。
[0514]
在上述方式中，通过指定方位的虚拟扬声器作为目标虚拟扬声器，可以简化虚拟扬声器选择过程，可以提高编解码速度。
[0515]
在本技术的另一些实施例中，编码器端可以不包括信号对齐单元，此时虚拟扬声器信号生成单元的输出直接进行核心编码器进行编码处理。通过上述方式，减少信号对齐处理，降低编码器端复杂度。
[0516]
通过前述的举例说明可知，本技术实施例将选择出的目标虚拟扬声器应用于hoa信号编解码上，本技术实施例能够得到准确的hoa信号声源定位，重建hoa信号方向更为准确，编码效率更高，且解码端复杂度非常低，利于移动端应用，可以提升编解码的性能。
[0517]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0518]
为便于更好的实施本技术实施例的上述方案，下面还提供用于实施上述方案的相关装置。
[0519]
请参阅图10所示，本技术实施例提供的一种音频编码装置1000，可以包括：获取模块1001、信号生成模块1002和编码模块1003，其中，
[0520]
获取模块，用于根据第一场景音频信号从预设的虚拟扬声器集合中选择出第一目标虚拟扬声器；
[0521]
信号生成模块，用于根据所述第一场景音频信号和所述第一目标虚拟扬声器的属性信息生成虚拟扬声器信号；
[0522]
所述信号生成模块，用于使用所述第一目标虚拟扬声器的属性信息对所述第一虚拟扬声器信号获得第二场景音频信号；
[0523]
所述信号生成模块，用于根据所述第一场景音频信号和所述第二场景音频信号生成残差信号；
[0524]
编码模块，用于对所述虚拟扬声器信号和所述残差信号进行编码，以得到码流。
[0525]
在本技术的一些实施例中，所述获取模块，用于根据所述虚拟扬声器集合从所述第一场景音频信号中获取主要声场成分；根据所述主要声场成分从所述虚拟扬声器集合中选择出所述第一目标虚拟扬声器。
[0526]
在本技术的一些实施例中，所述获取模块，用于根据所述主要声场成分从高阶立体混响hoa系数集合中选择出与所述主要声场成分对应的hoa系数，所述hoa系数集合中的hoa系数与所述虚拟扬声器集合中的虚拟扬声器一一对应；确定所述虚拟扬声器集合中与所述主要声场成分对应的hoa系数对应的虚拟扬声器为所述第一目标虚拟扬声器。
[0527]
在本技术的一些实施例中，所述获取模块，用于根据所述主要声场成分获取所述第一目标虚拟扬声器的配置参数；根据所述第一目标虚拟扬声器的配置参数生成所述第一目标虚拟扬声器对应的hoa系数；确定所述虚拟扬声器集合中所述第一目标虚拟扬声器对应的hoa系数对应的虚拟扬声器为所述第一目标虚拟扬声器。
[0528]
在本技术的一些实施例中，所述获取模块，用于根据音频编码器的配置信息确定所述虚拟扬声器集合中的多个虚拟扬声器的配置参数；根据所述主要声场成分从所述多个虚拟扬声器的配置参数中选择出所述第一目标虚拟扬声器的配置参数。
[0529]
在本技术的一些实施例中，所述第一目标虚拟扬声器的配置参数包括：所述第一目标虚拟扬声器的位置信息和hoa阶数信息；
[0530]
所述获取模块，用于根据所述第一目标虚拟扬声器的位置信息和hoa阶数信息确定所述第一目标虚拟扬声器对应的hoa系数。
[0531]
在本技术的一些实施例中，所述编码模块，还用于对所述第一目标虚拟扬声器的属性信息进行编码，并写入所述码流。
[0532]
在本技术的一些实施例中，所述第一场景音频信号，包括：待编码高阶立体混响
hoa信号；所述第一目标虚拟扬声器的属性信息包括所述第一目标虚拟扬声器的hoa系数；
[0533]
所述信号生成模块，用于对所述待编码hoa信号和所述第一目标虚拟扬声器的hoa系数进行线性组合，以得到所述第一虚拟扬声器信号。
[0534]
在本技术的一些实施例中，所述第一场景音频信号包括：待编码高阶立体混响hoa信号；所述第一目标虚拟扬声器的属性信息包括所述第一目标虚拟扬声器的位置信息；
[0535]
所述信号生成模块，用于根据所述第一目标虚拟扬声器的位置信息获取所述第一目标虚拟扬声器对应的hoa系数；对所述待编码hoa信号和所述第一目标虚拟扬声器对应的hoa系数进行线性组合，以得到所述第一虚拟扬声器信号。
[0536]
在本技术的一些实施例中，所述获取模块，用于根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器；
[0537]
所述信号生成模块，用于根据所述第一场景音频信号和所述第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号；
[0538]
所述编码模块，用于对所述第二虚拟扬声器信号进行编码，并写入所述码流；
[0539]
相应地，所述信号生成模块，用于根据所述第一目标虚拟扬声器的属性信息、所述第一虚拟扬声器信号、所述第二目标虚拟扬声器的属性信息和所述第二虚拟扬声器信号获得所述第二场景音频信号。
[0540]
在本技术的一些实施例中，所述信号生成模块，用于对所述第一虚拟扬声器信号和所述第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号；
[0541]
相应的，所述编码模块，用于对所述对齐后的第二虚拟扬声器信号进行编码；
[0542]
相应的，所述编码模块，用于对所述对齐后的第一虚拟扬声器信号和所述残差信号进行编码。
[0543]
在本技术的一些实施例中，所述获取模块，用于根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器；
[0544]
所述信号生成模块，用于根据所述第一场景音频信号和所述第二目标虚拟扬声器的属性信息生成第二虚拟扬声器信号；
[0545]
相应地，所述编码模块，用于根据所述第一虚拟扬声器信号和所述第二虚拟扬声器信号获得下混信号和第一边信息，所述第一边信息用于指示所述第一虚拟扬声器信号和所述第二虚拟扬声器信号之间的关系；
[0546]
相应的，所述编码模块，用于对所述下混信号、所述第一边信息以及所述残差信号进行编码。
[0547]
在本技术的一些实施例中，所述信号生成模块，用于对所述第一虚拟扬声器信号和所述第二虚拟扬声器信号进行对齐处理，以得到对齐后的第一虚拟扬声器信号和对齐后的第二虚拟扬声器信号；
[0548]
所述编码模块，用于根据所述对齐后的第一虚拟扬声器信号和所述对齐后的第二虚拟扬声器信号获得所述下混信号和所述第一边信息；
[0549]
相应的，所述第一边信息用于指示所述对齐后的第一虚拟扬声器信号和所述对齐后的第二虚拟扬声器信号之间的关系。
[0550]
在本技术的一些实施例中，所述获取模块，用于在根据所述第一场景音频信号从
所述虚拟扬声器集合中选择出第二目标虚拟扬声器前，根据编码速率和/或所述第一场景音频信号的信号类型信息确定是否需要获取除所述第一目标虚拟扬声器以外的目标虚拟扬声器；若需要获取除所述第一目标虚拟扬声器以外的目标虚拟扬声器，才根据所述第一场景音频信号从所述虚拟扬声器集合中选择出第二目标虚拟扬声器。
[0551]
在本技术的一些实施例中，所述残差信号包括至少两个声道的残差子信号，
[0552]
所述信号生成模块，用于根据音频编码器的配置信息和/或所述第一场景音频信号的信号类型信息从所述至少两个声道的残差子信号确定需要编码的至少一个声道的残差子信号；
[0553]
相应的，所述编码模块，用于对所述第一虚拟扬声器信号和所述需要编码的至少一个声道的残差子信号进行编码。
[0554]
在本技术的一些实施例中，获取模块，用于若所述至少两个声道的残差子信号中包括不需要编码的至少一个声道的残差子信号，获取第二边信息，所述第二边信息用于指示所述需要编码的至少一个声道的残差子信号和所述不需要编码的至少一个声道的残差子信号之间的关系；
[0555]
相应的，所述编码模块，用于将所述第二边信息写入所述码流。
[0556]
请参阅图11所示，本技术实施例提供的一种音频解码装置1100，可以包括：接收模块1101、解码模块1102、重建模块1103，其中，
[0557]
接收模块，用于接收码流；
[0558]
解码模块，用于解码所述码流以获得虚拟扬声器信号和残差信号；
[0559]
重建模块，用于根据目标虚拟扬声器的属性信息、所述残差信号以及所述虚拟扬声器信号获得重建的场景音频信号。
[0560]
在本技术的一些实施例中，所述解码模块，还用于解码所述码流以获得所述目标虚拟扬声器的属性信息。
[0561]
在本技术的一些实施例中，所述目标虚拟扬声器的属性信息包括所述目标虚拟扬声器的高阶立体混响hoa系数；
[0562]
所述重建模块，用于对所述虚拟扬声器信号和所述目标虚拟扬声器的hoa系数进行合成处理，得到合成的场景音频信号；使用所述残差信号对所述合成的场景音频信号进行调整，以获得所述重建的场景音频信号。
[0563]
在本技术的一些实施例中，所述目标虚拟扬声器的属性信息包括所述目标虚拟扬声器的位置信息；
[0564]
所述重建模块，用于根据所述目标虚拟扬声器的位置信息确定所述目标虚拟扬声器的hoa系数；对所述虚拟扬声器信号和所述目标虚拟扬声器的hoa系数进行合成处理，得到合成的场景音频信号；使用所述残差信号对所述合成的场景音频信号进行调整，以获得所述重建的场景音频信号。
[0565]
在本技术的一些实施例中，如图11所示，所述虚拟扬声器信号是根据第一虚拟扬声器信号和第二虚拟扬声器信号下混获得的下混信号，所述装置1100还包括：第一信号补偿模块1104，其中，
[0566]
所述解码模块，用于解码所述码流以获得第一边信息，所述第一边信息用于指示所述第一虚拟扬声器信号和所述第二虚拟扬声器信号之间的关系；
[0567]
所述第一信号补偿模块，用于根据所述第一边信息和所述下混信号获得所述第一虚拟扬声器信号和所述第二虚拟扬声器信号；
[0568]
相应的，所述重建模块，用于根据所述目标虚拟扬声器的属性信息、所述残差信号、所述第一虚拟扬声器信号和所述第二虚拟扬声器信号获得所述重建的场景音频信号。
[0569]
在本技术的一些实施例中，如图11所示，所述残差信号包括第一声道的残差子信号，所述装置1100还包括：第二信号补偿模块1105，其中，
[0570]
所述解码模块，用于解码所述码流以获得第二边信息，所述第二边信息用于指示所述第一声道的残差子信号和第二声道的残差子信号之间的关系；
[0571]
所述第二信号补偿模块，用于根据所述第二边信息和所述第一声道的残差子信号获得所述第二声道的残差子信号；
[0572]
相应的，所述重建模块，用于根据所述目标虚拟扬声器的属性信息、所述第一声道的残差子信号，所述第二声道的残差子信号以及所述虚拟扬声器信号获得重建的场景音频信号。
[0573]
在本技术的一些实施例中，如图11所示，所述残差信号包括第一声道的残差子信号，所述装置1100还包括：第三信号补偿模块1106，其中，
[0574]
所述解码模块，用于解码所述码流以获得第二边信息，所述第二边信息用于指示所述第一声道的残差子信号和第三声道的残差子信号之间的关系；
[0575]
所述第三信号补偿模块，用于根据所述第二边信息和所述第一声道的残差子信号获得所述第三声道的残差子信号以及所述第一声道的更新后的残差子信号；
[0576]
相应的，所述重建模块，用于根据所述目标虚拟扬声器的属性信息、第一声道的更新后的残差子信号、所述第三声道的残差子信号以及所述虚拟扬声器信号获得重建的场景音频信号。
[0577]
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其带来的技术效果与本技术方法实施例相同，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0578]
本技术实施例还提供一种计算机存储介质，其中，该计算机存储介质存储有程序，该程序执行包括上述方法实施例中记载的部分或全部步骤。
[0579]
接下来介绍本技术实施例提供的另一种音频编码装置，请参阅图12所示，音频编码装置1200包括：
[0580]
接收器1201、发射器1202、处理器1203和存储器1204(其中音频编码装置1200中的处理器1203的数量可以一个或多个，图12中以一个处理器为例)。在本技术的一些实施例中，接收器1201、发射器1202、处理器1203和存储器1204可通过总线或其它方式连接，其中，图12中以通过总线连接为例。
[0581]
存储器1204可以包括只读存储器和随机存取存储器，并向处理器1203提供指令和数据。存储器1204的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，nvram)。存储器1204存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
[0582]
处理器1203控制音频编码装置的操作，处理器1203还可以称为中央处理单元
(central processing unit，cpu)。具体的应用中，音频编码装置的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
[0583]
上述本技术实施例揭示的方法可以应用于处理器1203中，或者由处理器1203实现。处理器1203可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1203可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1204，处理器1203读取存储器1204中的信息，结合其硬件完成上述方法的步骤。
[0584]
接收器1201可用于接收输入的数字或字符信息，以及产生与音频编码装置的相关设置以及功能控制有关的信号输入，发射器1202可包括显示屏等显示设备，发射器1202可用于通过外接接口输出数字或字符信息。
[0585]
本技术实施例中，处理器1203用于执行前述实施例图4所示的由音频编码装置执行的音频编码方法。
[0586]
接下来介绍本技术实施例提供的另一种音频解码装置，请参阅图13所示，音频解码装置1300包括：
[0587]
接收器1301、发射器1302、处理器1303和存储器1304(其中音频解码装置1300中的处理器1303的数量可以一个或多个，图13中以一个处理器为例)。在本技术的一些实施例中，接收器1301、发射器1302、处理器1303和存储器1304可通过总线或其它方式连接，其中，图13中以通过总线连接为例。
[0588]
存储器1304可以包括只读存储器和随机存取存储器，并向处理器1303提供指令和数据。存储器1304的一部分还可以包括nvram。存储器1304存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
[0589]
处理器1303控制音频解码装置的操作，处理器1303还可以称为cpu。具体的应用中，音频解码装置的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
[0590]
上述本技术实施例揭示的方法可以应用于处理器1303中，或者由处理器1303实现。处理器1303可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的
处理器1303可以是通用处理器、dsp、asic、fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1304，处理器1303读取存储器1304中的信息，结合其硬件完成上述方法的步骤。
[0591]
本技术实施例中，处理器1303，用于执行前述实施例图4所示的由音频解码装置执行的音频解码方法。
[0592]
在另一种可能的设计中，当音频编码装置或者音频解码装置为终端内的芯片时，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使该终端内的芯片执行上述第一方面任意一项的音频编码方法，或者第二方面任意一项的音频解码方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述终端内的位于所述芯片外部的存储单元，如只读存储器(read-onlymemory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(randomaccessmemory，ram)等。
[0593]
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，asic，或一个或多个用于控制上述第一方面或第二方面方法的程序执行的集成电路。
[0594]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
[0595]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0596]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0597]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计
算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。