实景空间中的音频处理方法、电子终端及存储介质与流程

1.本技术涉及空间音频技术领域，尤其涉及一种实景空间中的音频处理方法、电子终端及存储介质。


背景技术：

2.随着虚拟现实(virtual reality，vr)技术的发展，虚拟现实技术目前已广泛应用于基于三维空间的全景看房中。在全景看房过程中，为了让用户更加清楚地了解房屋详情，推出了语音形式的房屋讲解服务。具体地，预先录制用于介绍房屋详情信息的音频讲解文件，并在三维空间中设置用于触发语音讲解服务的触发控件；在用户点击该触发控件的情况下，电子终端可响应该点击操作，获取预先录制的音频讲解文件，并在三维空间中播放该音频讲解文件，从而实现以语音方式向用户介绍房屋详情信息的目的。但是，现有语音形式的房屋讲解服务的效果不够理想，缺少了沉浸感，在听觉上难易给用户带来身临其境的感觉。


技术实现要素：

3.本技术的多个方面提供一种实景空间中的音频处理方法、电子终端及存储介质，便于用户在实景空间中的各漫游位置上都能接收到虚拟音频输出的音频信息，提高了用户在实景空间中的沉浸感，在听觉上可以给用户带来身临其境的感觉。
4.本技术实施例提供一种实景空间中的音频处理方法，通过安装有陀螺仪的电子终端提供图形用户界面，图形用户界面上展示有目标空间对应的实景空间，实景空间中包括多个漫游点位置；该方法包括：基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟音频源和漫游相机，并建立漫游相机与音频接收器之间的位置绑定关系；响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据交互操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿；以及在位姿改变过程中，基于陀螺仪获取漫游相机从上一位姿变化到当前位姿的位姿变化量，并根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量；根据目标旋转向量，控制音频源朝向漫游相机输出音频信号，以供音频接收器在漫游相机当前所处位置上接收音频信号。
5.本技术实施例还提供一种电子终端，所述电子终端包括陀螺仪和显示屏，所述显示屏上提供图形用户界面，图形用户界面上展示有目标空间对应的实景空间，实景空间中包括多个漫游点位置；该电子终端还包括：存储器和处理器；其中，存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行：基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟音频源和漫游相机，并建立漫游相机与音频接收器之间的位置绑定关系；响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据交互操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿；以及在位姿改变过程中，基于陀螺仪获取漫游相机从上一位姿变化到当前位姿的位姿变化量，并根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量；根
据目标旋转向量，控制音频源朝向漫游相机输出音频信号，以供音频接收器在漫游相机当前所处位置上接收音频信号。
6.本技术实施例还提供一种存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行以上方法中的步骤。
7.本技术实施例提供的技术方案，电子终端提供图形用户界面，图形用户界面上展示目标空间对应的实景空间，基于电子终端配置的初始化数据中的对象描述字段，可以在实景空间中加载虚拟音频源和漫游相机，虚拟音频源用于在实景空间中播放音频信息，漫游相机用于让用户在实景空间中实现漫游；并建立漫游相机与音频接收器之间的位置绑定关系，以便用户在实景空间中的各漫游位置上都能接收到虚拟音频源输出的音频信息；进一步，为了在听觉上让用户更加具有沉浸感，在本技术技术方案中，还可以响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据该交互操作在图形用户界面上产生的轨迹信息动态改变漫游相机的位姿，并根据陀螺仪获取到的漫游相机的位姿变化量，计算出虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量，然后根据目标旋转向量控制音频源朝向漫游相机输出音频信号，以供音频接收器在漫游相机当前所处位置上接收到正对音频接收器的音频信号，提高了用户在实景空间中的沉浸感，在听觉上可以给用户带来身临其境的感觉。
附图说明
8.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
9.图1为本技术一示例性实施例提供的实景空间中的音频处理方法的流程示意图；
10.图2示出了本技术一实施例提供的电子终端的结构示意图。
具体实施方式
11.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
12.以下结合附图，详细说明本技术各实施例提供的技术方案。
13.目前，在在线全景看房过程中，通过获取预先录制的音频讲解文件，并在三维空间中播放该音频讲解文件，从而实现以语音方式向用户介绍房屋详情信息的目的。但是，现有语音形式的房屋讲解服务的效果不够理想，缺少了沉浸感，在听觉上难易给用户带来身临其境的感觉。为此，在本技术的一些实施例中，针对任意实景空间，在实景空间中加载虚拟音频源和漫游相机，并将虚拟音频源对应的音频接收器与漫游相机进行绑定，之后可借助于电子终端上的陀螺仪跟踪漫游相机的位姿变化，根据漫游相机的位姿变化量得到虚拟音频源相对漫游相机的旋转向量，以此旋转向量控制虚拟音频源输出朝向漫游相机的音频信号，以供音频接收器在漫游相机当前所处位置上接收该音频信号，这种方式输出的音频信号可以实时跟随用户，提高用户在实景空间中的沉浸感，在听觉上可以给用户带来身临其境的感觉。
14.以下结合附图，详细说明本技术各实施例提供的技术方案。
15.图1为本技术一示例性实施例提供的实景空间中的音频处理方法的流程示意图。本技术实施例提供的音频处理方法可以运行于电子终端。其中，电子终端可以为本地电子终端，本地电子终端存储有应用程序并用于呈现应用界面。本地电子终端用于通过图形用户界面与用户进行交互，即，常规的通过电子设备下载安装应用程序并运行。该本地电子终端将图形用户界面提供给用户的方式可以包括多种，例如，可以渲染显示在终端的显示屏上，或者，通过全息投影提供给用户。举例而言，本地电子终端可以包括显示屏和处理器，该显示屏用于呈现图形用户界面，该图形用户界面包括应用画面，该处理器用于运行该应用程序、生成图形用户界面以及控制图形用户界面在显示屏上的显示。
16.其中，当电子终端为本地电子终端时，其可以是台式电脑、笔记本电脑、平板电脑、移动终端以及虚拟现实(virtual reality，vr)设备等电子终端。其中，vr设备可以包括计算机、vr头戴设备以及vr控制设备等等，用户可以通过vr头戴设备的显示器件展示的图形用户界面，并在图形用户界面上显示目标空间对应的实景空间，在该实景空间中包括多个漫游点位置，实景空间可以在多个漫游位置之间进行切换，从而实现用户在实景空间(即虚拟空间)中的真实漫游体验，同时可以通过vr控制设备与实景空间进行交互。
17.电子终端上可以运行应用程序，例如生活类应用程序、音频应用程序以及游戏应用程序等。其中，生活类应用程序又可以根据类型不同进一步进行划分，例如租售车应用程序、租售房应用程序、家政服务应用程序、休闲娱乐应用程序、在线装修应用程序等。本技术实施例以在电子终端上运行租售房应用程序为例进行示例性说明，可以理解的是，本技术不局限于此。
18.无论电子终端是哪种实现形态，在本技术实施例中，电子终端上安装有陀螺仪，且该电子终端可以面向用户提供图形用户界面，在图形用户界面上展示有目标空间对应的实景空间，且该实景空间中包括多个漫游点位置。其中，目标空间是指现实世界中存在的真实三维空间，例如可以是真实的房屋空间、商铺空间、商场空间等；与目标空间对应的实景空间是以目标空间为基础采用一定虚拟化方式创建出的虚拟空间。
19.在本技术实施例中，并不限定创建实景空间的方式，例如可以是利用摄像头对真实的目标空间进行多角度环视拍摄得到实景照片，对实景照片进行拼接得到目标空间对应的实景空间，该实景空间实际上是目标空间的全景图；或者，也可以是利用摄像头对真实的目标空间进行多角度环视拍摄得到实景照片，之后对真实的目标空间进行三维建模得到三维空间模型，再利用拍摄到的实景照片对三维空间模型进行贴图，得到实景空间。
20.无论采用哪种方式创建出目标空间对应的实景空间，在本实施例中，用户通过图形用户界面可以与实景空间进行各种交互，例如在实景空间包括多个漫游点位置的情况下，基于这些漫游点位置，用户可以在实景空间中进行漫游，即从一个漫游点位置漫游到另一漫游点位置；或者，用户还可以进行视角切换，当然也可以处于某个位置保持静止不动。
21.进一步，在本技术实施例提供的实景空间中，还可以为用户提供与实景空间相关的音频信息，例如可以是针对实景空间或实景空间中存在的物体的语音讲解。为了让用户在实景空间中更具沉浸感，在听觉上让用户产生身临其境的感觉，本技术实施例提供了实景空间中的音频处理方法，如图1所示，该方法包括：
22.101、基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟
音频源和漫游相机，并建立漫游相机与音频接收器之间的位置绑定关系；
23.102、基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟音频源和漫游相机，并建立漫游相机与音频接收器之间的位置绑定关系；以及
24.103、在位姿改变过程中，基于陀螺仪获取漫游相机从上一位姿变化到当前位姿的位姿变化量，并根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量；
25.104、根据目标旋转向量，控制音频源朝向漫游相机输出音频信号，以供音频接收器在漫游相机当前所处位置上接收音频信号。
26.在本实施例中，可以通过安装有陀螺仪的电子终端提供图形用户界面。关于电子终端的实现形态可参见前文中的描述，在此不再赘述。本实施例提供的图形用户界面可以是web页面，或应用界面等支持用户交互的界面形式。例如，若进行实景空间展示的应用程序，以租售房应用程序为例，是基于浏览器开发的，则电子终端运行基于浏览器开放的租售房应用程序，该应用程序通过浏览器提供web页面，在该web页面即为本实施例的图形用户界面。或者，若进行实景空间展示的应用程序，仍以租售房应用为例，是独立于浏览器开发的一款app，则电子终端运行该租售房应用，该应用程序会向用户呈现应用自身的界面，该应用自身的界面即为本实施例的图形用户界面。图形用户界面通过电子终端的显示屏进行展示的，在图形用户界面上展示有目标空间对应的实景空间。以租售房应用场景为例，目标空间可以是真实存在的待租售的房屋，实景空间可以是待租售房屋对应的虚拟三维空间，是对待租售房屋的真实写照。
27.在本实施例中，实景空间中包括多个漫游点位置，这些漫游点位置是预设好的，实景空间可以在这些漫游点位置之间进行切换，在不同漫游点位置，用户可以看到实景空间的不同区域，例如在漫游到客厅时，用户可以看到客厅的三维场景，在漫游到厨房时，用户可以看到厨房的三维场景，在漫游到主卧室时，用户可以看到主卧室的三维场景。在不同漫游点位置之间可以预设漫游路径，例如，在图形用户界面上可以设置漫游控件，当用户通过图形用户界面上的漫游控件发起漫游操作时，图形用户界面会展示一个漫游点名称列表，列表中漫游点名称可以是客厅、卧室、阳台等，然后用户根据自己的需求选择漫游点，电子终端可感知用户发起的漫游操作，确定需要漫游到目标漫游点位置，并沿着设定的漫游路径从当前漫游点位置漫游到目标漫游点位置。除了通过漫游控件发起漫游操作之外，用户还可以在图形用户界面上点击某个位置，电子终端会根据用户点击的位置锁定目标漫游点位置(只要点击到某个漫游点范围内，就会锁定该漫游点为目标漫游点)，并沿着设定的漫游路径从当前漫游点位置漫游到目标漫游点位置。
28.需要说明的是，用户在实景空间中，除了可以从一个漫游点位置漫游到另一漫游点位置之外，还可以在当前位置进行视角切换，即切换观看视角，以便从不同视角对同一空间区域进行查看。例如，也可以在图形用户界面上设置视角切换控件，用户通过图形用户界面上的视角切换控件可以以左右滑动的方式发起视角切换操作，摄像头会随着视角切换操作摆动相应的角度来改变视角，完成视角的切换。除了通过左右滑动视角切换控件发起视角切换操作外，用户还可以以点击的方式触控图形用户界面上的视角切换控件，然后电子终端响应于触控操作，在图形用户界面上会展示一个可选择的视角列表，该表列中包括左前方30
°
视角、左前方50
°
视角、正前方视角、右后方30
°
视角等多个可供用户选择的视角，然
后用户根据自己的需求选择视角，进而在选择的视角下对实景空间进行观察。
29.当然，在实景空间中，用户也可以固定在某一个空间位置中保持静止不动。为了产生用户在实景空间中漫游、切换视角或保持静止不动等交互效果，在本实施例的实景空间中加载漫游相机，基于漫游相机实现用户在实景空间中的漫游、视角切换或保持静止不动等效果。进一步，为了便于用户能够更加及时、方便地了解实景空间的相关内容，在本实施例中的实景空间中还可以加载虚拟音频源，利用虚拟音频源在实景空间中输出音频信息，这些音频信息可以是实景空间对应的周边配套信息、户型信息、价格信息、所在楼层信息、所属小区环境信息以及开发商信息等等。在本实施例中，可以将实景空间划分为不同空间区域，以在线看房场景为例，整个房屋形成实景空间，房屋中的主卧、次卧、客厅、阳台、厨房、卫生间等分别是实景空间中的不同空间区域，当用户处于不同空间区域时，可以通过虚拟音频源为用户播放不同的音频信息。在本技术实施例中，空间区域是实景空间中相对隔离且具有独立存在意义的部分空间，针对不同空间区域可以预先获取并配置各空间区域对应的语料信息，并将这些语料信息添加至语料信息库中进行保存。在实现形态上，语料信息可以是文本信息、图片或动画等，通过虚拟音频源可以将各种实现形态的语料信息所包含的内容以语音方式进行播报。基于此，可以追踪用户在实景空间中的位置，根据用户当前所在位置，确定用户当前所在空间区域；根据用户当前所在空间区域获取与该空间区域适配的语料信息；控制虚拟音频源根据该语料信息向用户播报与当前所在区域适配的音频信息，例如当用户漫游到房屋主卧内，可以获取与主卧室相关的语料信息，并控制虚拟音频源向用户语音播报主卧室的相关信息，如主卧室的形状、面积、卧室内的家具摆设、朝向、以及是否带有阳台等信息；又例如，当用户漫游到阳台位置时，可以获取与阳台相关的语料信息，并控制虚拟音频源向用户语音播报阳台的相关信息，如阳台的形状、面积、是否落地窗以及窗外的环境信息等。
30.在此说明，用户除了可以在实景空间内部不同空间区域之间进行漫游之外，也可以从实景空间漫游至实景空间之外的空间区域中。在该场景中，为了便于区分，可以将实景空间内部称为私域实景空间，将该实景空间外部的空间区域称为公域实景空间，用户也可以从私域实景空间漫游至公域实景空间中，具体地，可以在私域实景空间中设置用于向公域实景空间进行漫游的特定漫游点，该特定漫游点可以设置在私域实景空间中的入户门、窗户等位置。其中，通过设置在私域实景空间中入户门位置处的特定漫游点，用户可以漫游到的公域实景空间为连接私域实景空间的楼道或电梯等楼内空间区域；通过设置在窗户处的特定漫游点，用户可以漫游到的公域实景空间为房屋所在楼房周围的小区空间。随着用户从私域实景空间向公域实景空间的漫游过程中，也可以获取与公域实景空间对应的语料信息，并通过虚拟音频源将该语料信息包含的内容以语音方式进行播报，例如可以播报小区环境、小区周边设施信息、小区周边的教育设施等。在此说明，在本技术其它实施例中所描述的“实景空间”重点是指这里的私域实景空间，而并非公域实景空间。
31.在一可选实施例中，随着用户漫游到的位置，电子终端可以自动控制虚拟音频源播放与当前漫游位置适配的音频信息。在另一可选实施例中，可以在图形用户界面上可以设置一个语音播放控件，当用户想要了解当前所处区域的信息时，可触发语音播放控件，然后电子终端响应于语音播放控件的触发操作可以确定漫游位置，并控制虚拟音频源播放与当前漫游位置适配的音频信息。进一步，还包括关联语音控件，该关联语音控件可以触发电
子终端，调用虚拟音频源播放与用户当前所处区域相邻的区域信息，或者调用虚拟音频源播放与用户当前所处区域周边区域信息。
32.在本实施例中，可以预先在电子终端设备中配置带有对象描述字段的初始化数据，该初始化数据可以作为提供该空间场景的应用程序的初始化文件实现，其中，带有对象描述字段的初始化数据包括用于描述虚拟音频源的初始化数据、用于描述漫游相机的初始化数据。基于此，在图形用户界面上显示出实景空间的情况下，电子终端可读取预先配置的带有对象描述字段的初始化数据，基于该初始化数据在实景空间中加载虚拟音频源和漫游相机，虚拟音频源用于在实景空间中播放音频信息，漫游相机用于让用户在实景空间中实现漫游、视角切换或停止不动等效果。为了便于用户能够随着漫游位置的变化随时接收到虚拟音频源输出的音频信息，在本实施例中，电子终端在加载漫游相机之后，还建立漫游相机与音频接收器之间的位置绑定关系，音频接收器是与虚拟音频源对应的音频接收器，能够成功接收到虚拟音频源输出的音频信息，这样用户在实景空间中的各漫游点位置上都能接收到虚拟音频源输出的音频信息。
33.在本实施例中，基于初始化数据加载的虚拟音频源具有固定的朝向，随着用户在实景空间中的漫游或视角切换，用户所在漫游位置或朝向与虚拟音频源的漫游位置或朝向会产生偏差。无论播报何种音频信息，此时播报的音频信息都会与用户漫游位置或朝向不匹配，那么用户感受就会降低，漫游体验下降。例如，虚拟音频源的固定朝向是朝向卧室，在用户远离卧室走向厨房时，此时用户所在漫游点位置远离虚拟音频源的朝向，那么音频信号会越来越弱，导致用户听到的关于卧室的音频信息越来越不清晰，用户沉浸感较差，容易产生跳脱感。
34.为了便于让用户产生身临其境的效果，在本实施例中，用户通过在电子终端提供的图形用户界面上发起的与实景空间之间的交互操作，可以根据该交互操作在图形用户界面上产生的轨迹信息动态改变漫游相机的位姿；在漫游相机位姿动态改变的过程中，借助于电子终端上的陀螺仪获取漫游相机的位姿变化量，计算出虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量，以用于控制虚拟音频源朝向漫游相机输出音频信号，使得音频接收器在漫游相机当前所处位置上接收到正对音频接收器的音频信号，从而提高用户在实景空间中的沉浸感，在听觉上可以给用户带来身临其境的感觉。
35.在本技术实施例中，图形用户界面支持用户与实景空间发起的交互操作至少包括：漫游操作、旋转操作和静止操作。其中，漫游操作是指用户需要从实景空间中的一个漫游点位置漫游到另一漫游点位置的操作，例如可以设置漫游控件，通过点击或拖动漫游控件等方式发起漫游操作，需要说明的是，音频接收器会随着漫游相机的位置移动而改变位置；旋转操作是指用户需要在实景空间中当前所在位置切换观看视角的操作，例如可以通过滑动或旋转视角切换控件等方式发起旋转操作，需要说明的是，音频接收器的朝向会随着漫游相机朝向的改变而改变，但此时漫游相机和音频接收器的位置并未发生变化；静止操作是用户在实景空间中当前所在位置保持静止不动，此时漫游相机和音频接收器的朝向和位置均保持不变，且该静止操作也无需用户触发。
36.下面针对用户与实景空间产生上述三种交互操作为例，对本技术的技术方案进行详细阐述。
37.在本实施例中，实景空间中存在漫游点，且漫游点位置可以是多个。在此需要说明
的是漫游点位置表示的是一个范围，如以房屋实景空间中的某一点为中心点，距离该中心点预设长度范围内的空间，都属于该中心点的漫游位置；或者，可以以其他方式定义漫游点位置，本实施例对此不作限定。
38.一、用户通过图形用户界面与实景空间发起的交互操作为漫游操作
39.电子终端上展示图形用户界面，图形用户界面上显示目标空间对应的实景空间，图形用户界面上还包括漫游控件且支持触控操作，用户可以通过触碰漫游控件的方式发起漫游操作，如点击屏幕上的漫游控件发起漫游操作，然后用户在图形用户界面发起触控操作，通过触控的屏幕位置来表示要漫游到的位置，电子终端根据图形用户界面上被触发的屏幕位置，从多个漫游点位置中确定目标漫游点位置，并控制漫游相机沿着漫游轨迹向目标漫游点位置移动。漫游相机在移动的过程中，其位置及方向等位姿会发生变化。
40.其中，漫游轨迹可以理解为从当前位置到目标漫游点位置所经过的轨迹信息，该漫游轨迹中包括多个轨迹点，为了便于描述和区分，将漫游轨迹中的每个轨迹点称为第一轨迹点。目标漫游点是根据用户触发的屏幕位置确定出的漫游点位置，若用户触发的屏幕位置正好是某个漫游点的中心位置，那么该屏幕位置对应的漫游点位置即为目标漫游点位置；或者用户触发的屏幕位置在某个漫游点锁定的范围内，那么用户触控的屏幕位置所属的漫游点位置即为目标漫游点位置。若用户触发的屏幕位置没有在任何漫游点锁定的范围内，那么可以在图形用户界面上输出提示信息、展示小浮窗、红色警示标志等方式提示用户该触发位置没有在漫游点锁定范围内。进一步，可以在图形用户界面上显示漫游点引导信息，例如可以是指向附近漫游点的箭头，引导用户触发在漫游点锁定的范围内的屏幕位置，从而重新确定出目标漫游点位置。
41.在确定目标漫游点位置之后，可以控制漫游相机沿着漫游轨迹向目标漫游点位置移动，在移动过程中漫游相机的位姿会发生改变，在该过程中，可以基于陀螺仪获取漫游相机从上一位姿变化到当前位姿的位姿变化量，并根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量。
42.在本实施例中，在位姿改变过程中，获取漫游相机从上一位姿变化到当前位姿的位姿变化量，可以通过以下步骤实现：
43.在漫游相机从上一第一轨迹点移动至当前第一轨迹点时，根据陀螺仪实时获取到的上一第一轨迹点和当前第一轨迹点的空间坐标，并通过相应的api调用，生成漫游相机在当前第一轨迹点上的位置向量和运动向量。其中，空间坐标可以是世界坐标系下的世界坐标；或者空间坐标也可以是相机坐标系下的坐标，本实施例对此不作限定。
44.相应地，根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量，可以通过以下步骤实现：
45.根据漫游相机在当前第一轨迹点上的位置向量和运动向量，计算虚拟音频源朝向处于当前第一轨迹点上的漫游相机所需的目标旋转向量。其中，目标旋转向量可以使用在二维空间中对应的角度变化量表示，也可以使用旋转矩阵的方式来表示。在本实施例中，位置向量也就是(x,y,z)，运动向量是从漫游点a到漫游点b时，a、b两点之间的运动向量。
46.在本实施例中，在得到目标旋转向量的基础上，可以根据目标旋转向量控制虚拟音频源的朝向跟随漫游相机的位姿变化而适应性变化，使得虚拟音频源能够始终朝向漫游相机输出音频信号，最终保证与漫游相机具有绑定关系的音频接收器能够在漫游相机当前
所处位置上接收到正对音频接收器的音频信号，让用户产生一种专业人员在实时跟随用户进行实景空间相关内容讲解的感受，从而提高用户在实景空间中的沉浸感，在听觉上可以给用户带来身临其境的感觉。
47.二、用户通过图形用户界面与实景空间发起的交互操作为旋转操作
48.电子终端展示图形用户界面，图形用户界面上显示目标空间对应的实景空间，图形用户界面上还包括视角旋转控件且支持触控操作，用户可以通过触碰视角旋转控件的方式发起旋转操作，如在屏幕上通过左右滑动视角旋转控件等方式实现旋转操作。其中，旋转操作可以理解为从当前朝向到目标朝向的旋转轨迹信息，该旋转轨迹中包括多个轨迹点，为了便于描述和区分，将旋转轨迹中的每个轨迹点称为第二轨迹点。
49.进一步地，在接收到用户的旋转操作后，电子终端响应用户在图形用户界面上发起的与实景空间之间的旋转操作，根据旋转操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿。具体地，可通过以下步骤实现：
50.响应用户在图形用户界面上发起的旋转操作，获取旋转操作在图形用户界面上产生的旋转轨迹，并控制漫游相机沿着旋转轨迹旋转，旋转轨迹包括多个第二轨迹点。
51.进一步地，在位姿改变过程中，可以获取漫游相机从上一位姿变化到当前位姿的位姿变化量。具体地，可通过以下步骤实现：
52.在漫游相机从上一第二轨迹点旋转至当前第二轨迹点时，读取电子终端上的陀螺仪数据；根据陀螺仪数据，生成漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量。
53.相应地，根据位姿变化量，可计算出虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量。具体地，可通过以下步骤实现：
54.根据漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量，计算虚拟音频源朝向处于当前第二轨迹点上的漫游相机所需的目标旋转向量。
55.进一步地，根据陀螺仪数据，生成漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量，可通过以下过程实现：
56.根据陀螺仪数据，生成欧拉角或四元数；其中，欧拉角或四元数表示漫游相机的旋转位姿；进一步，根据欧拉角或四元数与旋转矩阵之间的转换关系，根据欧拉角或四元数，可以确定漫游相机的视角前置向量和垂直向上向量，这两个向量表示漫游相机的旋转矩阵；根据视角前置向量和垂直向上向量，结合视角前置向量以及垂直向上向量与旋转向量之间的对应关系，即前置向量为漫游相机的旋转矩阵
×
[0,1,0]，垂直向上向量为漫游相机的旋转矩阵
×
[-1,0,0]，计算漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量。
[0057]
其中，陀螺仪数据可以是漫游相机旋转前后的坐标及旋转角度等数据。四元数是简单的超复数，复数是由实数加上虚数单位i组成，其中i2＝-1。相似地，四元数都是由实数加上三个虚数单位i、j和k组成，而且它们有如下的关系：i2＝j2＝k2＝-1，i
°
＝j
°
＝k
°
＝1,每个四元数都是1、i、j和k的线性组合，即是四元数一般可表示为a bi cj dk，其中a、b、c、d是实数。对于i、j和k本身的几何意义可以理解为一种旋转，其中i旋转代表z轴与y轴相交平面中z轴正向向y轴正向的旋转，j旋转代表x轴与z轴相交平面中x轴正向向z轴正向的旋转，k旋转代表y轴与x轴相交平面中y轴正向向x轴正向的旋转，-i、-j、-k分别代表i、j、k旋转的
反向旋转。
[0058]
具体地，在电子终端中可以将陀螺仪与deviceorientation事件绑定，即当陀螺仪输出新陀螺仪数据时，deviceorientation事件会被触发；该deviceorientation事件输出的数据是将陀螺仪数据与世界坐标系进行比较得到的数据，可以采用欧拉角，即alpha、beta和gamma三个角度进行表示，但并不限于此，还可以采用四元数进行表示。即可以调用陀螺仪，通过监听deviceorientation事件(获取b、c、d三个参数)，通过b、c、d三个参数获取漫游相机的旋转矩阵，进而确定视角(是相机的视角)的前置向量和垂直向上向量。发生相机旋转时，前置向量forward为相机旋转向量
×
[0,1,0]，垂直向上向量u为相机旋转向量
×
[-1,0,0]。
[0059]
在本实施例中，在得到目标旋转向量的基础上，可以根据目标旋转向量控制虚拟音频源的朝向跟随漫游相机的位姿变化而适应性变化，使得虚拟音频源能够始终朝向漫游相机输出音频信号，最终保证与漫游相机具有绑定关系的音频接收器能够在漫游相机当前所处位置上接收到正对音频接收器的音频信号，让用户产生一种专业人员在实时跟随用户进行实景空间相关内容讲解的感受，从而提高用户在实景空间中的沉浸感，在听觉上可以给用户带来身临其境的感觉。
[0060]
三、用户通过图形用户界面与实景空间发起的交互操作为静止状态
[0061]
电子终端用于展示图形用户界面，图形用户界面上显示目标空间对应的实景空间，由于漫游相机与音频接收器之间具有位置绑定关系，那么在交互操作为静止状态时，音频接收器所在漫游点位置不变，且朝向也不改变；相应地，漫游相机的位置和朝向也是固定不变的。
[0062]
此时，虚拟音频源只需通过旋转一定的角度与漫游相机的朝向一致即可，即虚拟音频源目标旋转向量为音源位置向量
×
相机位置向量。其中，这两个位置向量是已知的。
[0063]
在本实施例中，可以根据目标旋转向量控制虚拟音频源朝向漫游相机输出音频信号，以供音频接收器在漫游相机当前朝向上接收到正对音频接收器的音频信号，从而提高用户在实景空间中的沉浸感，在听觉上可以给用户带来身临其境的感觉。
[0064]
在本技术上述各实施例中，并不限定虚拟音频源和音频接收器的实现方式。在一可选实施例中，上述场景中虚拟音频源和音频接收器可以是基于webaudio实现的，则在初始化数据中预先配置用于描述webaudio中的空间音频节点的对象描述字段。基于此，基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟音频源，可通过以下步骤实现：
[0065]
从初始化数据中获取用于描述webaudio中的空间音频节点的对象描述字段，利用webaudio中的空间音频节点在实景空间中实现虚拟音频源；然后初始化虚拟音频源的初始位置向量和初始运动向量，并根据初始位置向量、初始运动向量和漫游相机的初始位置向量，计算虚拟音频源朝向漫游相机的初始旋转向量。进而，在实际应用中，用户通过在电子终端提供的图形用户界面上发起的与实景空间之间的交互操作，可以根据该交互操作在图形用户界面上产生的轨迹信息动态改变漫游相机的位姿；在漫游相机位姿动态改变的过程中，借助于电子终端上的陀螺仪获取漫游相机的位姿变化量，计算出虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量，以用于控制虚拟音频源朝向漫游相机输出音频信号。其中，通过目标旋转向量可以描述音频信号朝上、朝下、左、右，模拟声音扩散这一特
性，便于虚拟音频源产生具有扩散特性的音频信号。
[0066]
进一步地，在采用webaudio进行音频实现的情况下，根据旋转向量，控制虚拟音频源朝向漫游相机输出音频信号，可通过以下步骤实现：将初始位置向量、初始运动向量和目标旋转量作为入口参数，调用webaudio api朝向漫游相机输出音频信号。
[0067]
本技术上述各实施例提供的技术方案，基于电子终端配置的初始化数据中的对象描述字段，可以在在线实景空间中加载虚拟音频源和漫游相机，虚拟音频源用于在实景空间中播放音频信息，漫游相机用于让用户在实景空间中实现漫游；并建立漫游相机与音频接收器之间的位置绑定关系，以便用户在实景空间中的各漫游位置上都能接收到虚拟音频源输出的音频信息；进一步，为了在听觉上让用户更加具有沉浸感，在本技术技术方案中，还可以响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据该交互操作在图形用户界面上产生的轨迹信息动态改变漫游相机的位姿，并根据陀螺仪获取到的漫游相机的位姿变化量，计算出虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量，然后根据目标旋转向量控制音频源朝向漫游相机输出音频信号，以供音频接收器在漫游相机当前所处位置上接收到正对音频接收器的音频信号，提高了用户在实景空间中的沉浸感，在听觉上可以给用户带来身临其境的感觉。
[0068]
图2为本技术一示例性实施例提供的电子终端的结构示意图。所述电子终端包括陀螺仪和显示屏，所述显示屏上提供图形用户界面，图形用户界面上展示有目标空间对应的实景空间，实景空间中包括多个漫游点位置。如图2所示，所述电子终端还包括：存储器20a和处理器20b；其中，存储器20a，用于存储计算机程序；处理器20b耦合至存储器20a，用于执行计算机程序以用于执行：
[0069]
基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟音频源和漫游相机，并建立漫游相机与音频接收器之间的位置绑定关系；响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据交互操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿；以及在位姿改变过程中，基于陀螺仪获取漫游相机从上一位姿变化到当前位姿的位姿变化量，并根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量；根据目标旋转向量，控制音频源朝向漫游相机输出音频信号，以供音频接收器在漫游相机当前所处位置上接收音频信号。
[0070]
进一步地，交互操作为漫游操作，则处理器20b在用于响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据交互操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿时，具体用于：
[0071]
响应用户在图形用户界面上发起的漫游操作，根据图形用户界面上被触发的屏幕位置，从多个漫游点位置中确定目标漫游点位置，并控制漫游相机沿着漫游轨迹向目标漫游点位置移动，漫游轨迹包括多个第一轨迹点。
[0072]
进一步地，在位姿改变过程中，处理器20b在用于获取漫游相机从上一位姿变化到当前位姿的位姿变化量时，具体用于：
[0073]
在漫游相机从上一第一轨迹点移动至当前第一轨迹点时，根据上一第一轨迹点和当前第一轨迹点的空间坐标，生成漫游相机在当前第一轨迹点上的位置向量和运动向量；
[0074]
相应地，处理器20b在用于根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量时，具体用于：
[0075]
根据漫游相机在当前第一轨迹点上的位置向量和运动向量，计算虚拟音频源朝向处于当前第一轨迹点上的漫游相机所需的目标旋转向量。
[0076]
进一步地，交互操作为旋转操作，则处理器20b在用于响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据交互操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿时，具体用于：
[0077]
响应用户在图形用户界面上发起的旋转操作，获取旋转操作在图形用户界面上产生的旋转轨迹，并控制漫游相机沿着旋转轨迹旋转，旋转轨迹包括多个第二轨迹点。
[0078]
进一步地，在位姿改变过程中，处理器20b在用于获取漫游相机从上一位姿变化到当前位姿的位姿变化量时，具体用于：
[0079]
在漫游相机从上一第二轨迹点旋转至当前第二轨迹点时，读取电子终端上的陀螺仪数据；根据陀螺仪数据，生成漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量；
[0080]
相应地，处理器20b在用于根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量时，具体用于：
[0081]
根据漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量，计算虚拟音频源朝向处于当前第二轨迹点上的漫游相机所需的目标旋转向量。
[0082]
进一步地，处理器20b在用于根据陀螺仪数据，生成漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量时，具体用于：
[0083]
根据陀螺仪数据，生成四元数；根据四元数，确定漫游相机的视角前置向量和垂直向上向量；根据视角前置向量和垂直向上向量，结合视角前置向量以及垂直向上向量与旋转向量之间的对应关系，计算漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量。
[0084]
进一步地，虚拟音频源是基于webaudio实现的，处理器20b在用于基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟音频源时，具体用于：
[0085]
从初始化数据中获取用于描述webaudio中的空间音频节点的对象描述字段，利用webaudio中的空间音频节点在实景空间中实现虚拟音频源；初始化虚拟音频源的初始位置向量和初始运动向量，并根据初始位置向量、初始运动向量和漫游相机的初始位置向量，计算虚拟音频源朝向漫游相机的初始旋转向量。
[0086]
进一步地，处理器20b在用于根据旋转向量，控制虚拟音频源朝向漫游相机输出音频信号时，具体用于：
[0087]
将初始位置向量、初始运动向量和目标旋转量作为入口参数，调用webaudio api朝向漫游相机输出音频信号。
[0088]
这里需要说明的是：上述实施例提供的电子终端可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
[0089]
进一步，如图2所示，该电子终端还包括：通信组件20c、显示器20d、电源组件20e、音频组件20f等其它组件。图2中仅示意性给出部分组件，并不意味着电子终端只包括图2所示组件。本实施例的电子终端可以实现为台式电脑、笔记本电脑、智能手机或iot设备等终端设备。
[0090]
本技术一示例性实施例还提供了存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行以下步骤：
[0091]
基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟音频源和漫游相机，并建立漫游相机与音频接收器之间的位置绑定关系；响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据交互操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿；以及在位姿改变过程中，基于陀螺仪获取漫游相机从上一位姿变化到当前位姿的位姿变化量，并根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量；根据目标旋转向量，控制音频源朝向漫游相机输出音频信号，以供音频接收器在漫游相机当前所处位置上接收音频信号。
[0092]
进一步地，交互操作为漫游操作，则处理器在用于响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据交互操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿时，具体用于：
[0093]
响应用户在图形用户界面上发起的漫游操作，根据图形用户界面上被触发的屏幕位置，从多个漫游点位置中确定目标漫游点位置，并控制漫游相机沿着漫游轨迹向目标漫游点位置移动，漫游轨迹包括多个第一轨迹点。
[0094]
进一步地，在位姿改变过程中，处理器在用于获取漫游相机从上一位姿变化到当前位姿的位姿变化量时，具体用于：
[0095]
在漫游相机从上一第一轨迹点移动至当前第一轨迹点时，根据上一第一轨迹点和当前第一轨迹点的空间坐标，生成漫游相机在当前第一轨迹点上的位置向量和运动向量；
[0096]
相应地，处理器在用于根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量时，具体用于：
[0097]
根据漫游相机在当前第一轨迹点上的位置向量和运动向量，计算虚拟音频源朝向处于当前第一轨迹点上的漫游相机所需的目标旋转向量。
[0098]
进一步地，交互操作为旋转操作，则处理器在用于响应用户在图形用户界面上发起的与实景空间之间的交互操作，根据交互操作在图形用户界面上产生的轨迹信息，动态改变漫游相机的位姿时，具体用于：
[0099]
响应用户在图形用户界面上发起的旋转操作，获取旋转操作在图形用户界面上产生的旋转轨迹，并控制漫游相机沿着旋转轨迹旋转，旋转轨迹包括多个第二轨迹点。
[0100]
进一步地，在位姿改变过程中，处理器在用于获取漫游相机从上一位姿变化到当前位姿的位姿变化量时，具体用于：
[0101]
在漫游相机从上一第二轨迹点旋转至当前第二轨迹点时，读取电子终端上的陀螺仪数据；根据陀螺仪数据，生成漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量；
[0102]
相应地，处理器在用于根据位姿变化量，计算虚拟音频源朝向处于当前位姿的漫游相机所需的目标旋转向量时，具体用于：
[0103]
根据漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量，计算虚拟音频源朝向处于当前第二轨迹点上的漫游相机所需的目标旋转向量。
[0104]
进一步地，处理器在用于根据陀螺仪数据，生成漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量时，具体用于：
[0105]
根据陀螺仪数据，生成四元数；根据四元数，确定漫游相机的视角前置向量和垂直向上向量；根据视角前置向量和垂直向上向量，结合视角前置向量以及垂直向上向量与旋转向量之间的对应关系，计算漫游相机从上一第二轨迹点旋转至当前第二轨迹点产生的旋转向量。
[0106]
进一步地，虚拟音频源是基于webaudio实现的，处理器在用于基于电子终端中配置的初始化数据中对象描述字段，在实景空间中加载虚拟音频源时，具体用于：
[0107]
从初始化数据中获取用于描述webaudio中的空间音频节点的对象描述字段，利用webaudio中的空间音频节点在实景空间中实现虚拟音频源；初始化虚拟音频源的初始位置向量和初始运动向量，并根据初始位置向量、初始运动向量和漫游相机的初始位置向量，计算虚拟音频源朝向漫游相机的初始旋转向量。
[0108]
进一步地，处理器在用于根据旋转向量，控制虚拟音频源朝向漫游相机输出音频信号时，具体用于：
[0109]
将初始位置向量、初始运动向量和目标旋转量作为入口参数，调用webaudio api朝向漫游相机输出音频信号。
[0110]
这里需要说明的是：上述实施例提供的存储介质可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
[0111]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0112]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0113]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0114]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0115]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0116]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或
非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0117]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0118]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0119]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。