扩展现实(XR)环境中的服务器时间调整的制作方法

摘要: 本申请一般涉及扩展现实(xr)应用,并且更具体地,涉及在xr环境中操作的模拟引擎中控制时间调整。背景技术:1、术语“扩展现实”(xr)是一个“总括”术语,其指的...
扩展现实(XR)环境中的服务器时间调整的制作方法

本申请一般涉及扩展现实(xr)应用,并且更具体地,涉及在xr环境中操作的模拟引擎中控制时间调整。

背景技术:

1、术语“扩展现实”(xr)是一个“总括”术语,其指的是增强现实(ar)、虚拟现实(vr)和混合现实(mr)技术。通常,这些技术通过将物理世界与用户与之交互的“数字世界”相结合,为用户提供了沉浸感体验。

2、对于xr技术,检测真实环境是关键任务。例如,现有的应用为用户提供了与真实和虚拟对象实时交互的能力。为了实现这一功能,应用要求快速且准确地了解真实移动对象的当前姿态(即,真实对象的位置和取向)。然而,对象检测需要时间。因此,关于检测到的真实对象的姿态信息在它到达以更新模拟引擎(se)中的虚拟世界状态时已经过时。为了减轻这种延迟的负面影响,传统的xr应用预测到当前(或未来显示)时间的物体的检测到的姿态。

技术实现思路

1、本公开提供了一种计算装置,诸如网络节点或客户端装置,例如,其专门配置有检测真实环境中的对象以及用户输入的时延敏感的端到端(e2e) xr应用。如下文将更详细描述的,本公开的xr应用通过在模拟引擎处的处理之前和之后预测对象的姿态来减轻负面影响传统xr应用的时延。特别地,本实施例提供了模拟时间控制器组件,其将模拟引擎处的内部参考定时器动态地设置为优化值,从而提高模拟引擎输出的质量并向用户提供更好的用户体验。

2、因此,在第一方面中,本公开提供了一种用于控制在扩展现实(xr)环境中的模拟引擎的方法。这方面中的方法在通信网络中的计算装置处实现,并且包括从第一预测器功能接收第一组参数,所述第一组参数包括第一预测器功能的预测参考信息和指示实际对象的图像何时被捕获的时间戳tc,从第二预测器功能接收第二组参数,所述第二组参数包括第二预测器功能的预测参考信息和时间戳td,所述时间戳td指示与实际对象相关联的虚拟对象的图像何时被预测为显示在客户端装置处;基于第一组参数和第二组参数生成模拟时间戳ts;以及根据模拟时间戳ts在模拟引擎处设置时间参考(time reference)。

3、在第二方面中,本公开提供了一种被配置成控制扩展现实(xr)环境中的模拟引擎的计算装置。在这个方面,计算装置被配置成从第一预测器功能接收第一组参数,所述第一组参数包括第一预测器功能的预测参考信息和指示实际对象的图像何时被捕获的时间戳tc,从第二预测器功能接收第二组参数,所述第二组参数包括第二预测器功能的预测参考信息和时间戳td,所述时间戳td指示与实际对象相关联的虚拟对象的图像何时被预测为显示在客户端装置处,基于第一组参数和第二组参数生成模拟时间戳ts,并且根据模拟时间戳ts在模拟引擎处设置时间参考。

4、在第三方面中,本公开提供了一种被配置成控制扩展现实(xr)环境中的仿真引擎的计算装置。在这个方面,计算装置包括被配置成与客户端装置通信的通信电路模块,以及操作地连接到通信电路模块的处理电路模块。在这个方面,处理电路模块被配置成从第一预测器功能接收第一组参数,所述第一组参数包括第一预测器功能的预测参考信息和指示实际对象的图像何时被捕获的时间戳tc,从第二预测器功能接收第二组参数,所述第二组参数包括第二预测器功能的预测参考信息和时间戳td,所述时间戳td指示与实际对象相关联的虚拟对象的图像何时被预测为显示在客户端装置处,基于第一组参数和第二组参数生成模拟时间戳ts,并且根据模拟时间戳ts在模拟引擎处设置时间参考。

5、在第四方面中,本公开提供了一种包括存储在其上的计算机程序的非暂时性计算机可读存储介质。在这个方面,该计算机程序包括可执行指令,所述可执行指令当由计算装置中的处理电路模块执行时,使得计算装置从第一预测器功能接收第一组参数,所述第一组参数包括第一预测器功能的预测参考信息和指示实际对象的图像何时被捕获的时间戳tc,从第二预测器功能接收第二组参数,所述第二组参数包括第二预测器功能的预测参考信息和时间戳td,所述时间戳td指示与实际对象相关联的虚拟对象的图像何时被预测为显示在客户端装置处,基于第一组参数和第二组参数生成模拟时间戳ts,并且根据模拟时间戳ts在模拟引擎处设置时间参考。

1.一种用于控制扩展现实(xr)环境中的模拟引擎(130)的方法(300),所述方法在通信网络(10)中的计算装置处实现,并且包括:

2.根据权利要求1所述的方法,其中,所述时间参考包括所述模拟引擎的内部定时器。

3.根据权利要求1-2所述的方法,其中,从所述第一预测器功能接收的所述预测参考信息包括以下中的一个或多个:

4.根据权利要求1-3所述的方法,其中,从所述第二预测器功能接收的所述预测参考信息包括以下中的一个或多个:

5.根据权利要求1-4中任一项所述的方法,其中,所述第一预测器功能向所述模拟引擎提供所述图像中的实际对象的预测姿态信息,并且其中所述第二预测器功能从所述模拟引擎接收渲染图像数据。

6.根据权利要求1-5中任一项所述的方法,其中,所述第二预测器功能从所述模拟引擎接收所述虚拟对象的预测姿态信息。

7.根据权利要求1-6中任一项所述的方法,还包括从所述模拟引擎接收(312)以下中的一个或多个:

8.根据权利要求7所述的方法,还包括进一步基于所述准确度要求参数生成(316)所述模拟时间戳ts。

9.根据权利要求7-8中任一项所述的方法,还包括从所述模拟引擎接收(314)所述模拟时间戳ts的有效时间戳范围。

10.根据权利要求1-9中任一项所述的方法,其中,从操作地连接到所述模拟引擎的模拟器引擎插件(140)接收所述准确度要求参数、所述一个或多个用户输入参数和所述有效时间戳范围。

11.根据权利要求1-10中任一项所述的方法,还包括向所述第一预测器功能发送(318)所述模拟时间戳ts。

12.根据权利要求1-11中任一项所述的方法,其中,所述模拟时间戳ts由tc和td界定,使得:

13.根据权利要求12所述的方法,其中,所述模拟时间戳ts可在tc和td之间调整。

14.根据权利要求1-13中任一项所述的方法,其中,所述模拟时间戳ts是根据下式生成的:

15.根据权利要求14所述的方法,其中,q1和/或q2中的一个或两个随时间变化。

16.根据权利要求14-15中任一项所述的方法,其中,q1相对于ts-tc变化,并且其中q2相对于td-ts变化。

17.根据权利要求14-16中任一项所述的方法,其中,所述准确度要求a随时间变化。

18.根据前述权利要求中任一项所述的方法,其中,所述模拟时间戳ts在每帧的基础上生成。

19.根据权利要求18所述的方法,其中,所述模拟引擎处的所述时间参考在所述每帧的基础上根据所述模拟时间戳ts设置。

20.根据前述权利要求中任一项所述的方法,其中,所述模拟时间戳ts响应于所述计算装置从所述第一预测器功能接收更新的第一组参数而生成。

21.根据前述权利要求中任一项所述的方法,其中,所述模拟时间戳ts响应于所述计算装置从所述第二预测器功能接收更新的第二组参数而生成。

22.根据前述权利要求中任一项所述的方法,其中,所述模拟时间戳ts响应于所述计算装置接收到以下中的一个或多个而生成:

23.根据前述权利要求中任一项所述的方法,其中,所述计算装置是所述通信网络中的网络节点(100)。

24.根据前述权利要求中任一项所述的方法,其中,所述计算装置是所述通信网络中的客户端装置(200)。

25.根据权利要求24所述的方法,其中,所述客户端装置是头戴式显示器(hmd)。

26.一种被配置成控制扩展现实(xr)环境中的模拟引擎(130)的计算装置,所述计算装置被配置成:

27.根据权利要求26所述的计算装置,其中,所述计算装置还被配置成执行根据权利要求2到25中任一项所述的方法。

28.一种被配置成控制扩展现实(xr)环境中的模拟引擎(130)的计算装置,所述计算装置包括:

29.根据权利要求28所述的计算装置,其中,所述处理电路模块还被配置成执行根据权利要求2到25中任一项所述的方法。

30.一种包括指令的计算机程序(108a,108b,208a,208b ),所述程序当在计算装置(100,200)的处理电路模块(104,204)上执行时,使得所述计算装置执行根据权利要求1-25中任一项所述的方法。

31.一种包含权利要求30所述的计算机程序的载体,其中所述载体是电子信号、光信号、无线电信号或计算机可读存储介质之一。

32.一种非暂时性计算机可读存储介质(106),包括存储在其上的计算机程序(108a,108b,208a,208b),所述计算机程序包括可执行指令,所述可执行指令当由计算装置(100,200)中的处理电路模块(104,204)执行时,使得所述计算装置执行权利要求1-25中任一项所述的方法。

33.一种用户设备(ue),被配置成控制扩展现实(xr)环境中的模拟引擎(130),所述ue被配置成:

34.根据权利要求28所述的ue,还被配置成执行根据权利要求2-25中任一项所述的方法。