在扩展现实系统中基于移动对音频源进行重新缩放的制作方法
本公开涉及音频数据的处理。
背景技术:
1、正在开发计算机介导的现实系统,以允许计算设备对用户体验到的现有现实进行增强或添加、去除或减少或通常进行修改。计算机介导的现实系统(其也可以被称为“扩展现实系统”或“xr系统”)可以包括例如虚拟现实(vr)系统、增强现实(ar)系统和混合现实(mr)系统。计算机介导的现实系统的感知成功通常与此类计算机介导的现实系统在视觉和音频体验两者方面提供逼真的沉浸式体验(其中视觉和音频体验以用户期望的方式对准)的能力有关。
2、尽管人类视觉系统比人类听觉系统更敏感(例如,在场景内的各种对象的感知定位方面),但是确保充分的听觉体验是在确保逼真的沉浸式体验方面越来越重要的因素,尤其是随着视觉体验改善以允许更好地定位使得用户能够更好地标识音频内容的源的视觉对象。
技术实现思路
1、本公开整体涉及用于缩放扩展现实系统中的音频源的技术。技术的各种方面使得扩展现实系统能够缩放源位置以适应回放位置,而不是要求用户仅在允许在与捕获扩展现实场景所处的和/或生成扩展现实场景所针对的源位置的间隔方面一一对应的位置中操作扩展现实系统。因此,如果源位置包括间隔10米(10m)的麦克风,则扩展现实系统可使用基于定义源位置的大小的源维度和定义回放位置的大小的回放维度确定的缩放因子来缩放10m的间隔分辨率以适应回放位置的缩放。音频渲染器可被初始化以静态地执行该重新缩放以适应不同大小的回放位置,这可改进声场的重现。
2、然而,虽然以这种方式初始化音频渲染器可通过考虑源位置与回放位置之间的初始差异来改进声场的重现,但在声场的重现期间,收听者定位(无论是在虚拟环境中和/或还是在物理位置中)、虚拟场景改变、回放位置环境改变(例如,在回放位置开门、拉窗帘等)等的各种更新可能会以降低沉浸感或创造性能力的方式影响音频元素15的自动重新缩放。也就是说,静态地初始化音频渲染器以考虑源位置与回放位置之间的差异可能不会考虑在声场的重现期间发生的动态改变,这可能会减少自动重新缩放操作的沉浸感效果(或以其他方式限制音频重新缩放被感知的方式)。
3、为了应对这些改变,扩展现实系统可在声场的重现期间动态地执行自动重新缩放。作为一个示例,扩展现实系统可确定收听者已在音频元素中的两个或更多个音频元素之间移动,这些音频元素可驻留在表示源位置的虚拟环境内的不同或重叠区域中。扩展现实系统可响应于确定收听者已在音频元素中的两个或更多个音频元素之间移动并且基于相应区域,动态地重新缩放(例如,在声场的重现期间)音频元素中的两个或更多个音频元素以获得至少一个经重新缩放的音频元素。音频元素之间的重新缩放可允许更具创造性的声场重现,同时还适应广泛的虚拟环境(例如,包括经由计算设备产生的虚拟环境,诸如在计算机游戏应用的情况下)。
4、另外,扩展现实系统可在声场的重现期间,基于收听者的各种移动(在虚拟环境和物理回放位置中的任一者或两者中)、虚拟场景改变、回放位置环境改变(例如,在回放位置开门/关门、拉开/拉上窗帘等)等来动态地重新缩放。扩展现实系统不是采用由初始渲染器初始化完成的静态渲染,而是可替代地初始化音频渲染器,并且然后可在声场的重现期间持续适配自动重新缩放以潜在地考虑上文列出的各种改变。在这点上,扩展现实系统可执行动态自动重新缩放,这可更好地再现内容创建者的意图,更好地考虑收听者偏好,和/或进一步促进更沉浸式的体验。
5、在一个示例中,这些技术涉及一种被配置为在源位置与回放位置之间缩放音频的设备,该设备包括:存储器,该存储器被配置为存储针对两个或更多个音频元素指定的元数据,该元数据标识该两个或更多个音频元素中的每个音频元素在表示该源位置的虚拟环境内所驻留的相应区域;和处理电路,该处理电路通信地耦合到该存储器并且被配置为:确定收听者已在该两个或更多个音频元素之间移动;响应于确定该收听者已在该两个或更多个音频元素之间移动并且基于该相应区域,重新缩放该两个或更多个音频元素以获得至少一个经重新缩放的音频元素;以及重现该至少一个经重新缩放的音频元素以获得输出音频信号。
6、在另一示例中,这些技术涉及一种在源位置与回放位置之间缩放音频的方法,该方法包括:由处理电路存储针对两个或更多个音频元素指定的元数据,该元数据标识该两个或更多个音频元素中的每个音频元素在表示该源位置的虚拟环境内所驻留的相应区域;以及由该处理电路确定收听者已在该两个或更多个音频元素之间移动;由该处理电路响应于确定该收听者已在该两个或更多个音频元素之间移动并且基于该相应区域,重新缩放该两个或更多个音频元素以获得至少一个经重新缩放的音频元素;以及由该处理电路重现该至少一个经重新缩放的音频元素以获得输出音频信号。
7、在另一示例中,这些技术涉及一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有指令,这些指令在被执行时使处理电路:存储针对两个或更多个音频元素指定的元数据,该元数据标识该两个或更多个音频元素中的每个音频元素在表示该源位置的虚拟环境内所驻留的相应区域;以及确定收听者已在该两个或更多个音频元素之间移动;响应于确定该收听者已在该两个或更多个音频元素之间移动并且基于该相应区域,重新缩放该两个或更多个音频元素以获得至少一个经重新缩放的音频元素;以及重现该至少一个经重新缩放的音频元素以获得输出音频信号。
8、在另一示例中,这些技术涉及一种被配置为对音频位流进行编码的设备,该设备包括:存储器,该存储器被配置为存储两个或更多个音频元素;和处理电路,该处理电路耦合到该存储器并且被配置为:对该两个或更多个音频元素进行编码以获得音频位流;在该音频位流中指定语法元素,该语法元素指示当收听者在该两个或更多个音频元素之间移动时要如何执行重新缩放;以及输出该音频位流。
9、在另一示例中,这些技术涉及一种用于对音频位流进行编码的方法,该方法包括:对两个或更多个音频元素进行编码以获得音频位流;在该音频位流中指定语法元素,该语法元素指示当收听者在该两个或更多个音频元素之间移动时要如何执行重新缩放;以及输出该音频位流。
10、在另一示例中,这些技术涉及一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有指令,这些指令在被执行时使处理电路:对两个或更多个音频元素进行编码以获得音频位流;在该音频位流中指定语法元素,该语法元素指示当收听者在该两个或更多个音频元素之间移动时要如何执行重新缩放;以及输出该音频位流。
11、在另一示例中,这些技术涉及一种被配置为在源位置与回放位置之间缩放音频的设备,该设备包括:存储器,该存储器被配置为存储驻留在表示该源位置的虚拟环境内的音频元素;和处理电路,该处理电路通信地耦合到该存储器并且被配置为:确定收听者已进行以下任一项或两项:在该虚拟环境内的虚拟房间之间移动;以及在该回放位置内的物理房间之间移动;响应于确定收听者已进行以下任一项或两项:在该虚拟环境内的该虚拟房间之间移动;以及在该回放位置内的该物理房间之间移动,重新缩放该音频元素以获得经重新缩放的音频元素;以及重现该经重新缩放的音频元素以获得输出音频信号。
12、在另一示例中,这些技术涉及一种用于在源位置与回放位置之间缩放音频的方法,该方法包括:存储驻留在表示该源位置的虚拟环境内的音频元素;确定收听者已进行以下任一项或两项:在该虚拟环境内的虚拟房间之间移动;以及在该回放位置内的物理房间之间移动;响应于确定收听者已进行以下任一项或两项:在该虚拟环境内的该虚拟房间之间移动;以及在该回放位置内的该物理房间之间移动,重新缩放该音频元素以获得经重新缩放的音频元素;以及重现该经重新缩放的音频元素以获得输出音频信号。
13、在另一示例中,这些技术涉及一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有指令,这些指令在被执行时使处理电路:存储驻留在表示该源位置的虚拟环境内的音频元素;确定收听者已进行以下任一项或两项:在该虚拟环境内的虚拟房间之间移动;以及在该回放位置内的物理房间之间移动;响应于确定收听者已进行以下任一项或两项:在该虚拟环境内的该虚拟房间之间移动;以及在该回放位置内的该物理房间之间移动,重新缩放该音频元素以获得经重新缩放的音频元素;以及重现该经重新缩放的音频元素以获得输出音频信号。
14、在附图和以下描述中阐述了本公开内容的一个或多个示例的细节。根据描述和附图以及根据权利要求,技术的各种方面的其他特征、目的和优势将是显而易见的。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com