音频播放效果模拟方法及装置与流程

1.本公开涉及数据处理技术领域，尤其涉及一种音频播放效果模拟方法及装置。


背景技术：

2.音频是重要的信息交流载体之一。例如，演唱会、音乐会等现场活动中，音频播放效果可能会直接影响到观众体验。
3.相关技术中，需要在活动现场设置音效测试设备作为音效测试点，进而采用专业的音频模拟工具分析音效测试点采集到的音频数据，这样，可以结合音效分析结果调整活动现场的音频播放设备部署方案，达到较佳的活动音效。
4.但是，相关技术中，音效测试点的安装、部署，以及音频模拟工具的分析，都需要消耗较长时间，导致音频播放设备的部署效率较低。除此之外，音频模拟工具所涉及的功能较为复杂，需要一定专业知识，导致音频模拟工具的使用存在一定学习门槛。


技术实现要素：

5.本公开提供一种音频播放效果模拟方法及装置，用以在虚拟空间中模拟出声源的音频播放效果，提升音频播放设备的音频效果设计效率。
6.根据本公开实施例的第一方面，本公开提供一种音频播放效果模拟方法，包括：
7.获取物理空间的空间特征；
8.根据物理空间的空间特征构建与物理空间匹配的虚拟空间，虚拟空间具有与物理空间匹配的空间特征；
9.在虚拟空间中设置待模拟的声源；
10.根据虚拟空间的空间特征生成声源在虚拟空间中的音频播放效果，用以模拟声源在物理空间中的音频播放效果。
11.根据本公开实施例的第二方面，本公开提供一种音频播放效果模拟装置，包括：
12.获取模块，被配置为获取物理空间的空间特征；
13.构建模块，被配置为根据物理空间的空间特征构建与物理空间匹配的虚拟空间，虚拟空间具有与物理空间匹配的空间特征；
14.设置模块，被配置为在虚拟空间中设置待模拟的声源；
15.生成模块，被配置为根据虚拟空间的空间特征生成声源在虚拟空间中的音频播放效果，用以模拟声源在物理空间中的音频播放效果。
16.根据本公开实施例的第三方面，提供一种电子设备，其中包括处理器和存储器，其中，存储器上存储有可执行代码，当可执行代码被处理器执行时，使处理器至少可以实现第一方面中的音频播放效果模拟方法。
17.根据本公开实施例的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备执行时，使得电子设备能够执行至少可以实现第一方面中的音频播放效果模拟方法。
18.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面中的音频播放效果模拟方法。
19.本公开的实施例提供的技术方案至少带来以下有益效果：
20.本公开中，获取物理空间的空间特征，从而根据该物理空间的空间特征构建与该物理空间匹配的虚拟空间。由于虚拟空间具有与物理空间匹配的空间特征，因而，通过在虚拟空间中设置待模拟的声源，并根据虚拟空间的空间特征生成声源在虚拟空间中的音频播放效果，能够模拟出声源在物理空间中的音频播放效果，实现了对音频播放效果的自动化模拟。这样，无需部署音效测试点的安装，也无需使用音频模拟工具，即可在虚拟空间中实现对音频播放效果的测试，大大简化音频播放效果的测试流程，降低音频播放效果的测试难度，提升音频播放设备的音频效果设计效率。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
22.图1是根据一示例性实施例示出的一种音频播放效果模拟方法的流程示意图。
23.图2是根据一示例性实施例示出的一种测试界面的示意图。
24.图3是根据一示例性实施例示出的一种音频播放效果模拟装置的结构示意图。
25.图4是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
26.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
27.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
28.如前文所述，音频是重要的信息交流载体之一。例如，演唱会、音乐会等现场活动中，音频播放效果可能会直接影响到观众体验。
29.相关技术中，需要在活动现场设置音效测试设备作为音效测试点，进而采用专业的音频模拟工具分析音效测试点采集到的音频数据，这样，可以结合音效分析结果调整活动现场的音频播放设备部署方案，达到较佳的活动音效。
30.但是，相关技术中，音效测试点的安装、部署，以及音频模拟工具的分析，都需要消耗较长时间，导致音频播放设备的部署效率较低。除此之外，相关技术中的音频模拟工具所涉及的功能较为复杂，需要一定专业知识，导致音频模拟工具的使用存在一定学习门槛。
31.综上，亟待提出一种解决方案，用以提升音频播放设备的音频效果设计效率。
32.为解决相关技术中存在的至少一个技术问题，本公开提供了一种音频播放效果模拟方法及装置。
33.上述技术方案的核心思想是：对于需要部署音频播放设备的物理空间(例如音乐厅、礼堂、商场等)，获取物理空间的空间特征，从而根据该物理空间的空间特征构建与该物理空间匹配的虚拟空间。由于虚拟空间具有与物理空间匹配的空间特征，因而，通过在虚拟空间中设置待模拟的声源，并根据虚拟空间的空间特征生成声源在虚拟空间中的音频播放效果，能够模拟出声源在物理空间中的音频播放效果，实现了对音频播放效果的自动化模拟。本方案中，无需部署音效测试点的安装，也无需使用音频模拟工具，即可在虚拟空间中实现对音频播放效果的测试，大大简化音频播放效果的测试流程，降低音频播放效果的测试难度，提升音频播放设备的音频效果设计效率。
34.基于前文介绍的核心思想，本公开实施例提供了一种音频播放效果模拟方法，图1为本公开一示例性实施例提供的音频播放效果模拟方法的流程示意图。如图1所示，该方法包括：
35.101、获取物理空间的空间特征；
36.102、根据物理空间的空间特征构建与物理空间匹配的虚拟空间；
37.103、在虚拟空间中设置待模拟的声源；
38.104、根据虚拟空间的空间特征生成声源在虚拟空间中的音频播放效果，用以模拟声源在物理空间中的音频播放效果。
39.上述方法中，物理空间包括但不限于室内空间，比如音乐厅、礼堂、商场、家居空间等。虚拟空间具有与物理空间匹配的空间特征。简单来说，就是虚拟空间与物理空间具有相同(或相似)的空间结构，为后续步骤中音频播放效果的模拟提供基础。本公开中，可选地，虚拟空间的空间特征与物理空间的空间特征相同，例如，虚拟空间与物理空间在空间结构特征以及表面材质特征上相同。可选地，虚拟空间的空间特征与物理空间的空间特征成比例，例如，虚拟空间与物理空间在空间结构特征以及表面材质特征上呈1比16。
40.其中，物理空间的空间特征包括空间结构特征和/或表面材质特征。具体来说，空间结构特征包括但不限于建筑结构、面积、建筑结构之间的相对位置关系。例如，音乐厅的空间结构特征包括音乐厅的内部墙面结构、柱子、舞台、座椅、台阶等建筑结构，上述各个建筑结构的面积，以及各个建筑结构之间的相对位置关系。表面材质特征包括但不限于表面材质纹理(如是否有凹凸纹理等)、表面材质对声音的吸收率、反射率、隔音效果参数。例如，音乐厅的表面材质特征包括音乐厅中内部墙面的表面材质纹理、各个墙面对声音的吸收率、反射率、隔音效果参数，地面的表面材质纹理、对声音的吸收率、反射率、隔音效果参数，座椅表面的表面材质纹理、对声音的吸收率、反射率、隔音效果参数。
41.上述方法中，通过在虚拟空间中模拟出声源的音频播放效果，无需部署音效测试点的安装，也无需使用音频模拟工具，即可在虚拟空间中实现对音频播放效果的测试，大大简化音频播放效果的测试流程，降低音频播放效果的测试难度，提升音频播放设备的音频效果设计效率。
42.实际应用中，上述方法中各个步骤可以由一个电子设备实现，该电子设备可以是诸如手机、智能手环、平板电脑、pc机、笔记本电脑等终端设备。以手机为例，可调用搭载在手机中的专用应用程序实现，也可调用即时通信应用或其他类型应用中设置的小程序实现，还可通过手机应用调用云服务器实现。上述方法中的步骤也可由多个电子设备配合实现。例如，服务器可以将执行结果发送到终端设备中，以供终端设备渲染并显示该执行结
果。该服务器可以是包含一独立主机的物理服务器，或者也可以为主机集群承载的虚拟服务器，或者也可以为云服务器，本公开并不限定。可选地，上述方法可以由一云服务系统实现。
43.下面结合具体实施例介绍音频播放效果模拟方法中的各个步骤。
44.101中，获取物理空间的空间特征。
45.具体而言，在一可选实施例中，可以获取在物理空间内采集的空间图像，进而从空间图像中识别出空间结构特征和/或表面材质特征作为物理空间的空间特征。本公开中，空间图像包括但不限于全景图、局部图、扫描模型图中的一个或多个。实际上，空间图像可以是通过图像采集设备从物理空间中采集的。例如通过深度信息采集设备扫描物理空间得到。或者，也可以是通过相机、手机等设备采集到的，此处并不限定。
46.除此之外，在另一可选实施例中，物理空间的空间特征也可以是由空间设计模型中提取得到的。举例来说，可以从物理空间的三维设计模型中提取该物理空间的空间特征，从而提升虚拟空间建模的准确性。
47.无论何种方式，此步骤实质上都是通过提取物理空间的空间特征，为构建与物理空间匹配的虚拟空间提供基础。具体实现方式并不限定于上述两种。
48.102中，根据物理空间的空间特征构建与物理空间匹配的虚拟空间。
49.具体而言，在一可选实施例中，假设物理空间的空间特征包括空间结构特征以及表面材质特征。基于上述假设，102中根据物理空间的空间特征构建与物理空间匹配的虚拟空间，可以实现为：根据物理空间的空间结构特征构建三维模型；根据物理空间的表面材质特征设置三维模型中各个表面的声音特性参数，并渲染三维模型中各个表面的表面材质，以得到与物理空间匹配的虚拟空间。
50.举例来说，假设音乐厅的空间结构特征包括音乐厅的内部墙面结构、柱子、舞台、座椅、台阶等建筑结构，上述各个建筑结构的面积，以及各个建筑结构之间的相对位置关系。假设音乐厅的表面材质特征包括音乐厅中内部墙面的表面材质纹理、各个墙面对声音的吸收率、反射率、隔音效果参数，地面的表面材质纹理、对声音的吸收率、反射率、隔音效果参数，座椅表面的表面材质纹理、对声音的吸收率、反射率、隔音效果参数。
51.基于上述假设，102中，根据音乐厅的建筑结构、各个建筑结构的面积，以及各个建筑结构之间的相对位置关系构建出该音乐厅的三维模型。进而，在三维模型中，根据音乐厅中内部墙面、地面、座椅表面的各种表面材质参数，分别设置三维模型中内部墙面、地面、座椅表面的声音特性参数。并根据音乐厅中内部墙面、地面、座椅表面的各种表面材质参数，采用三维渲染引擎来渲染该音乐厅的三维模型中内部墙面、地面、座椅表面的表面材质，以得到与该音乐厅匹配的虚拟空间。
52.进一步假设物理空间的表面材质特征包括物理空间中各个表面对声音的吸收率和/或反射率。基于此，可选地，根据物理空间的表面材质特征设置三维模型中各个表面的声音特性参数的步骤，可以实现为：根据物理空间中各个表面对声音的吸收率和反射率，在三维模型中标识各个表面的声音特性参数。
53.继续以音乐厅为例，假设音乐厅的表面材质特征包括音乐厅中内部墙面对声音的第一吸收率、第一反射率、第一隔音效果参数，地面对声音的第二吸收率、第二反射率、第二隔音效果参数，座椅表面对声音的第三吸收率、第三反射率、第三隔音效果参数。基于上述
假设，可以根据第一吸收率、第一反射率、第一隔音效果参数在音乐厅的三维模型中标识内部墙面的声音特性参数，根据第二吸收率、第二反射率、第二隔音效果参数在音乐厅的三维模型中标识地面的声音特性参数，根据第三吸收率、第三反射率、第三隔音效果参数在音乐厅的三维模型中标识座椅表面的声音特性参数。
54.可以理解的是，如礼堂、商场、超市、居住空间等其他物理空间对应的虚拟空间构建方式也类似，此处不再具体展开。
55.进而，在构建出虚拟空间之后，103中，在虚拟空间中设置待模拟的声源。104中，根据虚拟空间的空间特征生成声源在虚拟空间中的音频播放效果，用以模拟声源在物理空间中的音频播放效果。
56.具体而言，在一可选实施例中，103中，在虚拟空间中设置待模拟的声源的步骤，可以实现为：响应于对虚拟空间的声源设置指令，在虚拟空间中设置声源的位置。进一步，除了声源位置之外，还可以设置声源的其他参数，包括但不限于播放设备类型、声道、音量范围、播放功率。
57.实际应用中，例如，用户可以通过拖动声源标识在虚拟空间中放置待模拟的声源。例如，也可以通过输入位置信息(如位置坐标等)在虚拟空间中设置声源的位置。例如，还可以根据用户的设计偏好以及待模拟的声源数量，在虚拟空间中自动设置声源位置。当然，也可以根据用户的设计偏好以及待模拟的声源数量，向用户展示多个声源设置方案，以辅助提高声源模拟效率。
58.进一步，104中根据虚拟空间的空间特征生成声源在虚拟空间中的音频播放效果的步骤，可以实现为：获取在声源中播放的音频测试数据；将音频测试数据转换为声波数据；根据虚拟空间的空间结构特征以及表面材质特征，通过音频模拟算法确定声波数据在虚拟空间中的声波路径、声波强度和/或环绕效果，作为声源的音频播放效果。
59.上述步骤中，假设音频测试数据包括测试音频以及测试参数。假设测试音频为一首歌曲。假设测试参数为播放音量。假设声源为图2所示的声源a、b、c。
60.基于上述假设，获取在三个声源各自播放的歌曲音频，将歌曲音频转换为各个声源的声波数据。进而，根据虚拟空间的空间结构特征以及表面材质特征，通过音频模拟算法确定各个声源的声波数据在虚拟空间中的声波路径、声波强度以及环绕效果，并基于声波路径、声波强度以及环绕效果生成各个声源的传播图(即声源的音频播放效果)。可选地，传播图可以实现为网面曲线图。
61.本公开中，可选地，采用网面曲线图展示声源在虚拟空间中的音频播放效果。在网面曲线图中，每一网格交汇点代表的是该点在虚拟空间中对应的音频播放效果数据，如声波强度、音频音量等。故而，通过网面曲线图中的网格起伏可以反映出虚拟空间中音频播放效果是否均衡，如网格起伏越小，音频播放效果越均衡。
62.在一可选实施例中，还可以响应于对虚拟空间的测试点设置指令，设置测试点在虚拟空间中所处的位置，进而展示声源在测试点中的音频播放效果。实际上，测试点可以是意图在物理空间中部署的音频播放设备的位置。从而通过测试点可以更直观监测到声源在虚拟空间中不同位置的播放效果，辅助音频播放设备放置计划的调整。
63.在一可选实施例中，在104中，还可以响应于对声源和/或测试点的调整指令，根据虚拟空间的空间结构特征以及表面材质特征，通过音频模拟算法重新确定声波数据在测试
点中的声波路径、声波强度和/或环绕效果，作为声源在测试点中的实时播放效果。
64.例如，可以通过调整声源和/或测试点的放置位置，如在图2示出的测试界面中，拖动声源a、b、c所处位置，或者测试点e、f所处位置，以触发对声源在测试点中的实时播放效果的实时计算。进而，展示声源在测试点中的实时播放效果，从而通过调整声源以及测试点的位置可以实时监测到各种部署方案对应的音频播放效果。
65.通过图1示出的音频播放效果模拟方法中，通过在虚拟空间中模拟出声源的音频播放效果，无需部署音效测试点的安装，也无需使用音频模拟工具，即可在虚拟空间中实现对音频播放效果的测试，大大简化音频播放效果的测试流程，降低音频播放效果的测试难度，提升音频播放设备的音频效果设计效率。
66.图3为本公开实施例提供的一种音频播放效果模拟装置。如图3所示，其中该音频播放效果模拟装置包括：
67.获取模块301，被配置为获取物理空间的空间特征；
68.构建模块302，被配置为根据所述物理空间的空间特征构建与所述物理空间匹配的虚拟空间，所述虚拟空间具有与所述物理空间匹配的空间特征；
69.设置模块303，被配置为在所述虚拟空间中设置待模拟的声源；
70.生成模块304，被配置为根据所述虚拟空间的空间特征生成所述声源在所述虚拟空间中的音频播放效果，用以模拟所述声源在所述物理空间中的音频播放效果。
71.可选地，所述获取模块301被具体配置为：获取在所述物理空间内采集的空间图像；从所述空间图像中识别出空间结构特征和/或表面材质特征作为所述物理空间的空间特征。
72.可选地，所述空间图像包括全景图、局部图、扫描模型图中的一个或多个。
73.可选地，所述物理空间的空间特征包括空间结构特征以及表面材质特征。
74.所述构建模块302，被具体配置为：根据所述物理空间的空间结构特征构建三维模型；根据所述物理空间的表面材质特征设置所述三维模型中各个表面的声音特性参数，并渲染所述三维模型中各个表面的表面材质，以得到所述虚拟空间。
75.可选地，所述物理空间的表面材质特征包括所述物理空间中各个表面对声音的吸收率和/或反射率。
76.所述构建模块302根据所述物理空间的表面材质特征设置所述三维模型中各个表面的声音特性参数的过程中，被具体配置为：
77.根据所述吸收率和所述反射率在所述三维模型中标识各个表面的声音特性参数。
78.可选地，设置模块303，被具体配置为响应于对所述虚拟空间的声源设置指令，在所述虚拟空间中设置所述声源的位置。
79.所述生成模块304，被具体配置为：获取在所述声源中播放的音频测试数据，其中，所述音频测试数据包括测试音频以及测试参数；将所述音频测试数据转换为声波数据；根据所述虚拟空间的空间结构特征以及表面材质特征，通过音频模拟算法确定所述声波数据在所述虚拟空间中的声波路径、声波强度和/或环绕效果，作为所述声源的音频播放效果。
80.可选地，所述装置还包括展示模块，被配置为响应于对所述虚拟空间的测试点设置指令，设置所述测试点在所述虚拟空间中所处的位置；展示所述声源在所述测试点中的音频播放效果。
81.可选地，所述生成模块304还被配置为：响应于对所述声源和/或所述测试点的调整指令，根据所述虚拟空间的空间结构特征以及表面材质特征，通过所述音频模拟算法重新确定所述声波数据在所述所述测试点中的声波路径、声波强度和/或环绕效果，作为所述声源在所述测试点中的实时播放效果。
82.所述装置还包括展示模块，被配置为展示所述声源在所述测试点中的所述实时播放效果。
83.可选地，采用网面曲线图展示所述声源在所述虚拟空间中的音频播放效果。
84.上述音频播放效果模拟装置可以执行前述各实施例中提供的系统或方法，本实施例未详细描述的部分，可参考前述实施例的相关说明，在此不再赘述。
85.在一个可能的设计中，上述音频播放效果模拟装置的结构可实现为一电子设备。如图4所示，该电子设备可以包括：处理器21、存储器22。其中，存储器22上存储有可执行代码，当可执行代码被处理器21执行时，至少使处理器21可以实现如前述实施例中提供的音频播放效果模拟方法。
86.其中，该电子设备的结构中还可以包括通信接口23，用于与其他设备或通信网络通信。
87.另外，本公开还提供了一种包括指令的计算机可读存储介质，介质上存储有可执行代码，当可执行代码被无线路由器的处理器执行时，使处理器执行前述各实施例中提供基于神经网络的特征数据处理方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
88.在示例性实施例中，还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现前述各实施例中提供基于神经网络的特征数据处理方法。该计算机程序/指令是由运行在终端或服务器上的程序实现的。
89.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
90.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。