音频播放效果的展示方法及装置与流程

1.本公开涉及数据处理技术领域，尤其涉及一种音频播放效果的展示方法及装置。


背景技术：

2.音频是重要的信息交流载体之一。例如，演唱会、音乐会等现场活动中，音频播放效果可能会直接影响到观众体验。
3.相关技术中，需要在活动现场设置音频播放设备作为声源，音效测试设备作为音效测试点，进而采用专业的音频模拟工具分析音效测试点采集到的音频数据，这样，可以结合音效分析结果调整活动现场的音频播放设备部署方案，达到较佳的活动音效。
4.但是，相关技术中，若要修改音频播放设备部署方案，就需要在活动现场对音频播放设备以及音效测试点进行调整(如拆装音效测试设备、拆装音频播放设备、调整测试参数等)，并在音频模拟工具中重新离线建模以计算新方案的音效分析结果，消耗较长时间，音频播放设备的部署效率较低。


技术实现要素：

5.本公开提供一种音频播放效果的展示方法及装置，用以在虚拟空间中展示声源的音频播放效果，辅助音频播放设备的部署工作，提高部署效率。
6.根据本公开实施例的第一方面，本公开提供一种音频播放效果的展示方法，包括：
7.对于待展示的物理空间，根据物理空间的空间特征构建与物理空间匹配的虚拟空间，虚拟空间具有与物理空间匹配的空间特征；
8.获取用户在物理空间中所处的位置，并以虚拟空间中与位置匹配的虚拟位置作为声源位置；
9.根据虚拟空间的空间特征以及声源位置，展示声源在虚拟空间中的音频播放效果。
10.根据本公开实施例的第二方面，本公开提供一种音频播放效果的展示装置，包括：
11.构建模块，被配置为对于待展示的物理空间，根据物理空间的空间特征构建与物理空间匹配的虚拟空间，虚拟空间具有与物理空间匹配的空间特征；
12.获取模块，被配置为获取用户在物理空间中所处的位置，并以虚拟空间中与位置匹配的虚拟位置作为声源位置；
13.展示模块，被配置为根据虚拟空间的空间特征以及声源位置，展示声源在虚拟空间中的音频播放效果。
14.根据本公开实施例的第三方面，提供一种电子设备，其中包括处理器和存储器，其中，存储器上存储有可执行代码，当可执行代码被处理器执行时，使处理器至少可以实现第一方面中的音频播放效果的展示方法。
15.根据本公开实施例的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备执行时，使得电子设备能够执行至少可以实现第一方面
中的音频播放效果的展示方法。
16.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面中的音频播放效果的展示方法。
17.本公开的实施例提供的技术方案至少带来以下有益效果：
18.本公开中，对于待展示的物理空间，根据物理空间的空间特征构建与物理空间匹配的虚拟空间。进而，获取用户在物理空间中所处的位置，并以虚拟空间中与位置匹配的虚拟位置作为声源位置。由于虚拟空间具有与物理空间匹配的空间特征，因而，根据虚拟空间的空间特征以及声源位置，能够展示声源在虚拟空间中的音频播放效果，以便监控声源在虚拟空间中各个位置的音频播放效果，辅助音频播放设备的部署工作。通过获取用户位置设置声源位置，无需反复安装音效测试设备以及设置音频模拟工具，大大降低音频播放设备部署方案的修改难度，提高设备部署效率。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
20.图1是根据一示例性实施例示出的一种音频播放效果的展示方法的流程示意图。
21.图2是根据一示例性实施例示出的一种测试界面的示意图。
22.图3是根据一示例性实施例示出的一种音频播放效果的展示装置的结构示意图。
23.图4是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
24.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
25.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
26.如前文所述，音频是重要的信息交流载体之一。例如，演唱会、音乐会等现场活动中，音频播放效果可能会直接影响到观众体验。
27.相关技术中，需要在活动现场设置音频播放设备作为声源，音效测试设备作为音效测试点，进而采用专业的音频模拟工具分析音效测试点采集到的音频数据，这样，可以结合音效分析结果调整活动现场的音频播放设备部署方案，达到较佳的活动音效。但是，若要修改音频播放设备部署方案，就需要在活动现场对音频播放设备以及音效测试点进行调整(如拆装音效测试设备、拆装音频播放设备、调整测试参数等)，并在音频模拟工具中重新离线建模以计算新方案的音效分析结果，消耗较长时间，音频播放设备的部署效率较低。
28.除此之外，相关技术中的音频模拟工具所涉及的功能较为复杂，需要一定专业知识，导致音频模拟工具的使用存在一定学习门槛。
29.综上，亟待提出一种解决方案，用以提升音频播放设备的部署效率。
30.为解决相关技术中存在的至少一个技术问题，本公开提供了一种音频播放效果的展示方法及装置。
31.上述技术方案的核心思想是：对于待展示的物理空间(例如音乐厅、礼堂、商场等)，根据物理空间的空间特征构建与物理空间匹配的虚拟空间。进而，获取用户在物理空间中所处的位置，并以虚拟空间中与位置匹配的虚拟位置作为声源位置。由于虚拟空间具有与物理空间匹配的空间特征，因而，根据虚拟空间的空间特征以及声源位置，能够展示声源在虚拟空间中的音频播放效果，以便监控声源在虚拟空间中各个位置的音频播放效果，辅助音频播放设备的部署工作。通过获取用户位置设置声源位置，无需反复安装音效测试设备以及设置音频模拟工具，大大降低音频播放设备部署方案的修改难度，提高设备部署效率。
32.基于前文介绍的核心思想，本公开实施例提供了一种音频播放效果的展示方法，图1为本公开一示例性实施例提供的音频播放效果的展示方法的流程示意图。如图1所示，该方法包括：
33.101、对于待展示的物理空间，根据物理空间的空间特征构建与物理空间匹配的虚拟空间；
34.102、获取用户在物理空间中所处的位置，并以虚拟空间中与位置匹配的虚拟位置作为声源位置；
35.103、根据虚拟空间的空间特征以及声源位置，展示声源在虚拟空间中的音频播放效果。
36.上述方法中，物理空间包括但不限于室内空间，比如音乐厅、礼堂、商场、家居空间等。值得说明的是，虚拟空间具有与物理空间匹配的空间特征。简单来说，就是虚拟空间与物理空间具有相同(或相似)的空间结构，为后续步骤中音频播放效果的模拟提供基础。本公开中，可选地，虚拟空间的空间特征与物理空间的空间特征相同，例如，虚拟空间与物理空间在空间结构特征以及表面材质特征上相同。可选地，虚拟空间的空间特征与物理空间的空间特征成比例，例如，虚拟空间与物理空间在空间结构特征以及表面材质特征上呈1比16。
37.其中，物理空间的空间特征包括空间结构特征和/或表面材质特征。具体来说，空间结构特征包括但不限于建筑结构、面积、建筑结构之间的相对位置关系。例如，音乐厅的空间结构特征包括音乐厅的内部墙面结构、柱子、舞台、座椅、台阶等建筑结构，上述各个建筑结构的面积，以及各个建筑结构之间的相对位置关系。表面材质特征包括但不限于表面材质纹理(如是否有凹凸纹理等)、表面材质对声音的吸收率、反射率、隔音效果参数。例如，音乐厅的表面材质特征包括音乐厅中内部墙面的表面材质纹理、各个墙面对声音的吸收率、反射率、隔音效果参数，地面的表面材质纹理、对声音的吸收率、反射率、隔音效果参数，座椅表面的表面材质纹理、对声音的吸收率、反射率、隔音效果参数。
38.上述方法中，通过输出声源在虚拟空间中的音频播放效果，辅助音频播放设备的部署工作，并且通过获取用户位置设置声源位置，无需反复安装音效测试设备以及设置音频模拟工具，大大降低音频播放设备部署方案的修改难度，提高设备部署效率。
39.实际应用中，上述方法中各个步骤可以由一个电子设备实现，该电子设备可以是
诸如手机、智能手环、平板电脑、pc机、笔记本电脑等终端设备。以手机为例，可调用搭载在手机中的专用应用程序实现，也可调用即时通信应用或其他类型应用中设置的小程序实现，还可通过手机应用调用云服务器实现。上述方法中的步骤也可由多个电子设备配合实现。例如，服务器可以将执行结果发送到终端设备中，以供终端设备渲染并显示该执行结果。该服务器可以是包含一独立主机的物理服务器，或者也可以为主机集群承载的虚拟服务器，或者也可以为云服务器，本公开并不限定。可选地，上述方法可以由一云服务系统实现。
40.下面结合具体实施例介绍音频播放效果的展示方法中的各个步骤。
41.101中，对于待展示的物理空间，根据物理空间的空间特征构建与物理空间匹配的虚拟空间。本公开中待展示的物理空间例如是需要音效测量的物理空间，或者需要进行音效设计的物理空间。
42.可选地，101之前，获取物理空间的空间特征。具体而言，在一可选实施例中，可以获取在物理空间内采集的空间图像，进而从空间图像中识别出空间结构特征和/或表面材质特征作为物理空间的空间特征。本公开中，空间图像包括但不限于全景图、局部图、扫描模型图中的一个或多个。实际上，空间图像可以是通过图像采集设备从物理空间中采集的。例如通过深度信息采集设备扫描物理空间得到。或者，也可以是通过相机、手机等设备采集到的，此处并不限定。除此之外，在另一可选实施例中，物理空间的空间特征也可以是由空间设计模型中提取得到的。举例来说，可以从物理空间的三维设计模型中提取该物理空间的空间特征，从而提升虚拟空间建模的准确性。无论何种方式，此步骤实质上都是通过提取物理空间的空间特征，为构建与物理空间匹配的虚拟空间提供基础。具体实现方式并不限定于上述两种。
43.进而，在101中，根据物理空间的空间结构特征构建三维模型；根据物理空间的表面材质特征设置三维模型中各个表面的声音特性参数，并渲染三维模型中各个表面的表面材质，以得到与物理空间匹配的虚拟空间。
44.举例来说，假设礼堂的空间结构特征包括礼堂的内部墙面结构、柱子、舞台、座椅、台阶等建筑结构，上述各个建筑结构的面积，以及各个建筑结构之间的相对位置关系。假设礼堂的表面材质特征包括礼堂中内部墙面的表面材质纹理、各个墙面对声音的吸收率、反射率、隔音效果参数，地面的表面材质纹理、对声音的吸收率、反射率、隔音效果参数，座椅表面的表面材质纹理、对声音的吸收率、反射率、隔音效果参数。
45.基于上述假设，101中，根据礼堂的建筑结构、各个建筑结构的面积，以及各个建筑结构之间的相对位置关系构建出该礼堂的三维模型。进而，在三维模型中，根据礼堂中内部墙面、地面、座椅表面的各种表面材质参数，分别设置三维模型中内部墙面、地面、座椅表面的声音特性参数。并根据礼堂中内部墙面、地面、座椅表面的各种表面材质参数，采用三维渲染引擎来渲染该礼堂的三维模型中内部墙面、地面、座椅表面的表面材质，以得到与该礼堂匹配的虚拟空间。
46.进一步假设物理空间的表面材质特征包括物理空间中各个表面对声音的吸收率和/或反射率。基于此，可选地，根据物理空间的表面材质特征设置三维模型中各个表面的声音特性参数的步骤，可以实现为：根据物理空间中各个表面对声音的吸收率和反射率，在三维模型中标识各个表面的声音特性参数。
47.继续以礼堂为例，假设礼堂的表面材质特征包括礼堂中内部墙面对声音的第一吸收率、第一反射率、第一隔音效果参数，地面对声音的第二吸收率、第二反射率、第二隔音效果参数，座椅表面对声音的第三吸收率、第三反射率、第三隔音效果参数。基于上述假设，可以根据第一吸收率、第一反射率、第一隔音效果参数在礼堂的三维模型中标识内部墙面的声音特性参数，根据第二吸收率、第二反射率、第二隔音效果参数在礼堂的三维模型中标识地面的声音特性参数，根据第三吸收率、第三反射率、第三隔音效果参数在礼堂的三维模型中标识座椅表面的声音特性参数。
48.可以理解的是，如音乐厅、商场、超市、居住空间等其他物理空间对应的虚拟空间构建方式也类似，此处不再具体展开。
49.进而，在构建出虚拟空间之后，102中，获取用户在物理空间中所处的位置，并以虚拟空间中与该位置匹配的虚拟位置作为声源位置。通过这一方式无需反复部署音频播放设备，即可修改待部署的音频播放设备所处的位置(即声源位置)，便于音频播放设备部署方案的调整，提高音频播放设备的部署效率。
50.本公开中虚拟空间中与该位置匹配的虚拟位置，可以理解为该位置从物理空间映射到虚拟空间得到的映射点。基于此，在一可选实施例中，102中，以用户在物理空间中所处的初始位置作为物理空间坐标系的原点，通过采集用户在物理空间中所处的位置信息以得到用户在物理空间坐标系中的位置坐标，确定用户在物理空间中的位置信息。进而，获取物理空间坐标系与虚拟空间的对应关系，根据该对应关系将用户在物理空间坐标系中的位置坐标转换为虚拟空间中对应的虚拟位置坐标，从而将该虚拟位置坐标作为虚拟空间中的声源位置。
51.举例来说，用户通过客户端接入用于构建虚拟空间的云计算平台后，客户端向云计算平台上传用户在物理空间中位置信息，云计算平台根据该位置信息计算用户在虚拟空间中对应的虚拟位置，并以该虚拟位置作为虚拟空间中的声源位置。实际应用中，用户可以携带安装有该客户端的移动终端在物理空间中移动，以便测试物理空间中各个位置的音效。
52.实际应用中，除了上述采用用户位置作为声源位置的方式外，还可以在客户端中通过拖动声源标识在虚拟空间中放置待模拟的声源。例如，也可以通过输入位置信息(如位置坐标等)在虚拟空间中设置声源的位置。例如，还可以根据用户的设计偏好以及待模拟的声源数量，在虚拟空间中自动设置声源位置。当然，也可以根据用户的设计偏好以及待模拟的声源数量，向用户展示多个声源设置方案，以辅助提高声源模拟效率。
53.进一步，实际应用中，除了声源位置之外，在客户端中还可以设置声源的其他参数，包括但不限于播放设备类型、声道、音量范围、播放功率。可选地，响应于对用户位置的选取指令，在客户端中展示声源设置控件，该控件用于触发对声源的播放设备类型、声道、音量范围、播放功率中一个或多个参数的设置项。
54.103中，根据虚拟空间的空间特征以及声源位置，展示声源在虚拟空间中的音频播放效果。具体而言，根据虚拟空间的空间特征以及声源位置生成声源在虚拟空间中的音频播放效果，并向用户输出音频播放效果。
55.在一可选实施例中，103中，根据虚拟空间的空间特征以及声源位置，展示声源在虚拟空间中的音频播放效果的步骤，可以实现为：
56.根据虚拟空间的空间特征以及声源位置，生成声源在虚拟空间中的音频播放效果；播放声源在虚拟空间中各个位置的音频播放效果；和/或采用网面曲线图可视化展示声源在虚拟空间中的音频播放参数，音频播放参数包括声源在虚拟空间中各个位置的声波路径、声波强度、环绕效果中的一个或多个。
57.上述步骤中，根据虚拟空间的空间特征以及声源位置，生成声源在虚拟空间中的音频播放效果的步骤，可以实现为：获取在声源中播放的音频测试数据；将音频测试数据转换为声波数据；根据虚拟空间的空间结构特征、声源位置以及表面材质特征，通过音频模拟算法确定声波数据在虚拟空间中的声波路径、声波强度和/或环绕效果，以得到声源在虚拟空间中的音频播放效果。进而，假设音频播放参数包括声源在虚拟空间中各个位置的声波路径、声波强度、环绕效果中的一个或多个。基于此，获取音频播放效果之后，可以播放声源在虚拟空间中各个位置的音频播放效果，也可以采用网面曲线图可视化展示声源在虚拟空间中的音频播放参数。
58.举例来说，假设音频测试数据包括测试音频以及测试参数。假设测试音频为一首歌曲。假设测试参数为播放音量。假设用户移动路线中包括图2所示的位置点a、b、c。
59.基于上述假设，获取待播放的歌曲音频，将歌曲音频转换为对应的声波数据。进而，对于各个声源位置点，根据虚拟空间的空间结构特征、该声源位置点的坐标以及表面材质特征，通过结合声波数据传输的路径距离、反射物体表面的接触面积以及音频模拟算法，计算声波数据在虚拟空间中的声波路径、声波强度以及环绕效果，并基于声波数据在虚拟空间中的声波路径、声波强度以及环绕效果，生成声源的音频播放效果、音频播放参数和/或包含音频播放参数的传播图(即声源的音频播放效果)。可选地，传播图可以实现为网面曲线图。
60.本公开中，可选地，采用网面曲线图展示声源在虚拟空间中的音频播放效果。在网面曲线图中，每一网格交汇点代表的是该点在虚拟空间中对应的音频音频播放参数，如声波强度、音频音量等。故而，通过网面曲线图中的网格起伏可以反映出虚拟空间中音频播放效果是否均衡，如网格起伏越小，音频播放效果越均衡。可选地，响应于对传播图中任一位置的选取操作，展示声源在该位置中对应的音频播放效果和/或音频播放参数。例如，播放在该位置上可收听到的音频，通过弹窗或其他前端控件展示声源在该位置上的声波强度、音频音量等音频播放参数。
61.可选地，本公开中，还响应于对网面曲线图中声源位置和/或声源参数的修改，根据虚拟空间的空间特征以及修改后的声源位置生成实时网面曲线图。其中，实时网面曲线图用于展示修改后声源在虚拟空间中各个位置的音频播放参数。实际应用中，声源参数包括但不限于声源的播放设备类型、声道、音量范围、播放功率中一个或多个。通过实时网面曲线图可以更直观监测到不同声源在虚拟空间中各个位置的实时播放效果，辅助音频播放设备放置计划的调整。例如，可以通过在网面曲线图中调整声源位置以及声源参数，触发对声源在虚拟空间中各个位置的音频播放效果的实时计算。从而，通过展示修改后的声源对应的实时网面曲线图，可以监测到各种部署方案对应的音频播放效果。
62.可选地，本公开中，根据音频播放效果生成用于指示音频播放设备部署方案的提示消息，并将提示消息推送给用户。具体来说，从音频播放效果中获取各个位置点与其周围位置点的声波强度差，在网面曲线图中标识出声波强度差大于阈值的目标位置点，从而，根
据预设策略以及目标位置点生成声源位置的修正方案，并向用户展示该修正方案。
63.通过图1示出的音频播放效果的展示方法中，通过获取用户位置设置声源位置，无需反复安装音效测试设备以及设置音频模拟工具，大大降低音频播放设备部署方案的修改难度，提高设备部署效率。
64.图3为本公开实施例提供的一种音频播放效果的展示装置。如图3所示，其中该音频播放效果的展示装置包括：
65.构建模块301，被配置为对于待展示的物理空间，根据物理空间的空间特征构建与物理空间匹配的虚拟空间，虚拟空间具有与物理空间匹配的空间特征；
66.获取模块302，被配置为获取用户在物理空间中所处的位置，并以虚拟空间中与位置匹配的虚拟位置作为声源位置；
67.展示模块303，被配置为根据虚拟空间的空间特征以及声源位置，展示声源在虚拟空间中的音频播放效果。
68.可选地，所述展示模块303被具体配置为：根据所述虚拟空间的空间特征以及所述声源位置，生成所述声源在所述虚拟空间中的音频播放效果；播放所述声源在所述虚拟空间中各个位置的音频播放效果；和/或采用网面曲线图可视化展示所述声源在所述虚拟空间中的音频播放参数，所述音频播放参数包括所述声源在所述虚拟空间中各个位置的声波路径、声波强度、环绕效果中的一个或多个。
69.可选地，所述展示模块303还被配置为：响应于对所述网面曲线图中声源位置和/或声源参数的修改，根据所述虚拟空间的空间特征以及修改后的声源位置生成实时网面曲线图。
70.其中，所述实时网面曲线图用于展示修改后所述声源在所述虚拟空间中各个位置的音频播放参数。
71.可选地，所述物理空间的空间特征包括空间结构特征以及表面材质特征。
72.所述获取模块302被具体配置为：获取在所述声源中播放的音频测试数据，其中，所述音频测试数据包括测试音频以及测试参数；将所述音频测试数据转换为声波数据；根据所述虚拟空间的空间结构特征、所述声源位置以及表面材质特征，通过音频模拟算法计算所述声波数据在所述虚拟空间中的声波路径、声波强度和/或环绕效果，以得到所述声源在所述虚拟空间中的音频播放效果。
73.可选地，还包括提示模块，被配置为根据所述音频播放效果生成用于指示音频播放设备部署方案的提示消息，并将所述提示消息推送给用户。
74.可选地，所述物理空间的空间特征包括空间结构特征以及表面材质特征；
75.所述构建模块301被具体配置为：根据所述物理空间的空间结构特征构建三维模型；根据所述物理空间的表面材质特征设置所述三维模型中各个表面的声音特性参数，并渲染所述三维模型中各个表面的表面材质，以得到所述虚拟空间。
76.可选地，所述物理空间的表面材质特征包括所述物理空间中各个表面对声音的吸收率和/或反射率。
77.所述所述构建模块301根据所述物理空间的表面材质特征设置所述三维模型中各个表面的声音特性参数的过程中，被具体配置为：根据所述吸收率和所述反射率在所述三维模型中标识各个表面的声音特性参数。
78.可选地，所述虚拟空间具有与所述物理空间匹配的空间特征，包括：所述虚拟空间的空间特征与所述物理空间的空间特征相同；或者所述虚拟空间的空间特征与所述物理空间的空间特征成比例。
79.上述音频播放效果的展示装置可以执行前述各实施例中提供的系统或方法，本实施例未详细描述的部分，可参考前述实施例的相关说明，在此不再赘述。
80.在一个可能的设计中，上述音频播放效果的展示装置的结构可实现为一电子设备。如图4所示，该电子设备可以包括：处理器21、存储器22。其中，存储器22上存储有可执行代码，当可执行代码被处理器21执行时，至少使处理器21可以实现如前述实施例中提供的音频播放效果的展示方法。
81.其中，该电子设备的结构中还可以包括通信接口23，用于与其他设备或通信网络通信。
82.另外，本公开还提供了一种包括指令的计算机可读存储介质，介质上存储有可执行代码，当可执行代码被无线路由器的处理器执行时，使处理器执行前述各实施例中提供基于神经网络的特征数据处理方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
83.在示例性实施例中，还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现前述各实施例中提供基于神经网络的特征数据处理方法。该计算机程序/指令是由运行在终端或服务器上的程序实现的。
84.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
85.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。