一种手柄的追踪方法、装置、系统及介质与流程

1.本发明实施例涉及虚拟现实技术领域，特别是涉及一种手柄的追踪方法、装置、系统及计算机可读存储介质。


背景技术：

2.目前，在手柄追踪过程中需要hmd(head
‑
mounted display,头盔显示器)的时间戳与手柄的时间戳进行同步，并且在时间戳同步后才能够实现通过红外led对手柄的追踪，但是由于hmd的时间戳与手柄的时间戳同步过程中需要消耗一定的时长，导致在时间戳同步之前这段时间无法通过红外led实现对手柄的追踪，导致在时间戳同步的这一段时间成为追踪空白期时间，也即在这段时间内不能够对手柄进行追踪，降低了用户体验度。
3.鉴于此，如何在蓝牙配对完成之后，至时间戳同步完成之前的这段时间实现对手柄的追踪为本领域技术人员需要解决的问题。


技术实现要素：

4.本发明实施例的目的是提供一种手柄的追踪方法、装置、系统及计算机可读存储介质，在使用过程中实现对光学手柄的无缝追踪，有助于提升用户使用体验。
5.为解决上述技术问题，本发明实施例提供了一种手柄的追踪方法，应用于hmd，包括：
6.在所述hmd的时间戳与手柄的时间戳同步之前，获取所述hmd上的图像采集装置对所述手柄进行捕捉拍照得到捕捉图像；
7.判断所述捕捉图像是否为手柄图像；
8.若是，则依据所述手柄图像从接收到的各个imu数据包中确定出与所述手柄图像的拍摄时间位于同一时间段的目标imu数据包；
9.根据所述目标imu数据包以及坐标初始位置计算出所述手柄在对应时刻的空间位置及姿态，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为所述坐标初始位置。
10.可选的，所述依据所述手柄图像从接收到的各个imu数据包中确定出与所述手柄图像的拍摄时间位于同一时间段的目标imu数据包的过程为：
11.获取所述手柄图像的当前拍摄时间戳；
12.对所述手柄图像进行左右手柄识别得到目标标识，所述目标标识为左手柄标识或右手柄标识；
13.依据所述目标标识从接收到的各个imu数据包中筛选出与所述目标标识对应的各个第一imu数据包；
14.从各个所述第一imu数据包中确定出数据产生时间戳与所述当前拍摄时间戳最近接的imu数据包作为目标imu数据包。
15.可选的，还包括：
16.从各个所述第一imu数据包中确定出数据产生时间戳位于所述当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前的各个第二imu数据包；
17.依据各个所述第二imu数据包计算出在所述当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前所述手柄的各个空间位置及姿态。
18.可选的，所述获取图像采集装置对所述手柄进行捕捉拍照得到捕捉图像的过程为：
19.获取图像采集装置按照第一曝光频率对所述手柄进行捕捉拍照所得到的捕捉图像；所述第一曝光频率大于预设值。
20.可选的，还包括：
21.确定所述hmd的时间戳与所述手柄的时间戳同步完成，控制所述图像采集装置对所述手柄的ir led进行捕捉追踪。
22.本发明实施例提供了一种手柄的追踪装置，应用于hmd，包括：
23.控制模块，用于在所述hmd的时间戳与手柄的时间戳同步之前，获取所述hmd上的图像采集装置对所述手柄进行捕捉拍照得到捕捉图像；
24.识别模块，用于判断所述捕捉图像是否为手柄图像，若是，则触发确定模块；
25.所述确定模块，用于依据所述手柄图像从接收到的各个imu数据包中确定出与所述手柄图像的拍摄时间位于同一时间段的目标imu数据包；
26.第一计算模块，用于根据所述目标imu数据包以及坐标初始位置计算出所述手柄在对应时刻的空间位置及姿态，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为所述坐标初始位置。
27.可选的，所述确定模块包括：
28.获取单元，用于获取所述手柄图像的当前拍摄时间戳；
29.识别单元，用于对所述手柄图像进行左右手柄识别得到目标标识，所述目标标识为左手柄标识或右手柄标识；
30.筛选单元，用于依据所述目标标识从接收到的各个imu数据包中筛选出与所述目标标识对应的各个第一imu数据包；
31.确定单元，用于从各个所述第一imu数据包中确定出数据产生时间戳与所述当前拍摄时间戳最近接的imu数据包作为目标imu数据包。
32.可选的，还包括：
33.筛选模块，用于从各个所述第一imu数据包中确定出数据产生时间戳位于所述当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前的各个第二imu数据包；
34.第二计算模块，用于依据各个所述第二imu数据包计算出在所述当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前所述手柄的各个空间位置及姿态。
35.本发明实施例中还提供了一种手柄的追踪系统，包括：
36.存储器，用于存储计算机程序；
37.处理器，用于执行所述计算机程序时实现如上述所述手柄的追踪方法的步骤。
38.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述手柄的追踪方法的步骤。
39.本发明实施例提供了一种手柄的追踪方法、装置、系统及计算机可读存储介质，该方法应用于hmd，在hmd的时间戳与手柄的时间戳同步之前，获取hmd上的图像采集装置对手柄进行捕捉拍照得到的捕捉图像，并且在识别出捕捉图像为手柄图像时，根据该手柄图像从接收到的各个imu数据包中确定出与手柄图像的拍摄时间位于同一时间段的目标imu数据包，然后根据该目标imu数据包及坐标初始位置计算出手柄在对应时刻的空间位置及姿态，将第一次识别出的手柄图像对应的手柄空间位置作为坐标原点，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为该坐标初始位置，从而可以根据从蓝牙配对完成之后，至时间戳同步完成之前的这段时间捕捉的手柄图像实现对手柄的追踪，实现对光学手柄的无缝追踪，有助于提升用户使用体验。
附图说明
40.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明实施例提供的一种手柄的追踪方法的流程示意图；
42.图2为本发明实施例提供的一种手柄的追踪装置的结构示意图。
具体实施方式
43.本发明实施例提供了一种手柄的追踪方法、装置、系统及计算机可读存储介质，在使用过程中实现对光学手柄的无缝追踪，有助于提升用户使用体验。
44.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.需要说明的是，slam方案在vr应用主要有两方面：一是定位hmd(head
‑
mounted display,头盔显示器)的位置；二是定位手柄的位置。红外led光学手柄的定位主要是依靠hmd的camera定时采集红外led图像信息，达到定位的目的，但定位手柄不仅仅依靠camera捕捉的图像信息，还要配合手柄的imu(惯性传感器)数据，imu的信息主要起到润滑及预测手柄运动轨迹的目的，camera曝光频率有限，单纯依靠camera手柄运动会卡顿、不流畅；而如果只依靠imu，由于imu存在累计误差，定位精度也会越来越差。因此，目前vr光学手柄追踪主要依靠手柄的红外led与imu相结合以实现最佳效果。在实际红外led应用手柄时，为了达到好的追踪姿态效果，往往会在一只手柄上放置十几颗ir led。由于ir led的特性、手柄功耗、camera曝光时间短等原因，需要ir led亮的时间极短，要小于camera的曝光时间，并且亮时需要与camera曝光时间高度一致，这样才能到达通过camera捕捉ir led，并进一步计算空间位置的目的，因此需要对hmd与手柄的时间戳进行同步。
46.在ir led手柄vr方案中，hmd与手柄通过ble(有的厂家通过蓝牙私有协议实现)实现时间戳同步，这种方法只有在双方连接成功后，才能开始时间戳同步，并且时间戳同步只有在两次蓝牙通讯间隔内进行(一般间隔时间是7.5ms，次间隔暂称为time slot)，但同步
的频率不能过于频繁，否则会影响正常的imu数据上报。时间戳同步时，只能由蓝牙host(主蓝牙)发起，并将时间传递给蓝牙slave(从蓝牙)。由于同步要求的时间精度极高，要控制在十微妙误差(这样才能更好地降低ir led功耗)，并且同步时，用来传输时间戳同步的蓝牙数据包的通信频率不能太高，太高会影响其他数据的传输，这就使开始同步到同步成功所花费的时间增长，导致从配对连接上之后，不能很快的完成时间戳同步(ble特性决定了时间戳同步需要一定时间才能完成，蓝牙私有协议除外)，完成不了时间戳同步就无法通过红外led实现对手柄的追踪，本发明提供的方法能够减小在时间戳同步之前的一段较小的追踪空白期时间，实现对这段时间对手柄的追踪。
47.请参照图1，图1为本发明实施例提供的一种手柄的追踪方法的流程示意图。该方法包括：
48.s110：在hmd的时间戳与手柄的时间戳同步之前，获取图像图像采集装置对手柄进行捕捉拍照得到捕捉图像；
49.需要说明的是，具体可以在hmd接收到手柄发送的蓝牙连接请求并与手柄建立蓝牙连接时，控制hmd上的图像采集装置(例如相机)对手柄进行捕捉拍照，每捕捉一次得到一张捕捉图像。
50.具体的，可以控制图像采集装置按照第一曝光频率对手柄进行捕捉拍照，得到捕捉图像；第一曝光频率大于预设值。也即，在hmd与手柄建立蓝牙连接后至hmd的时间戳与手柄的时间戳同步完成之前的这段时间令图像采集装置按照高曝光频率进行图像捕捉，以便提高追踪精确度，例如按照第一曝光频率为大于30hz的曝光频率进行拍照，该第一曝光频率的实际数值可以根据图像采集装置的实际性能进行确定，在图像采集装置性能允许的情况下第一曝光频率越高追踪效果越精确。
51.s120：判断捕捉图像是否为手柄图像，若是，则进入s130：
52.s130：依据手柄图像从接收到的各个imu数据包中确定出与手柄图像的拍摄时间位于同一时间段的目标imu数据包；
53.具体的，针对所拍摄的捕捉图像，对捕捉图像进行手柄识别，判断该捕捉图像中是否存在手柄，也即判断该捕捉图像是否为手柄图像，当是手柄图像时，进一步根据该手柄图像从接收到的各个imu鼠标中确定出与手柄图像的拍摄时间位于同一时间段的目标imu数据包，该imu数据包可以包括加速度计数据及陀螺仪数据，其中，由于hmd与手柄刚建立好蓝牙连接，手柄所获取的imu数据包传输至hmd的速度较慢，此时所接收到的imu数据包是少量的，从这些少量的imu数据包中确定出用于计算手柄空间位置及姿态的目标imu数据包。
54.s140：根据目标imu数据包以及坐标初始位置计算出手柄在对应时刻的空间位置及姿态，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为坐标初始位置。
55.具体的，在确定出目标imu数据包后，根据该目标imu数据包中的目标加速度计数据及目标陀螺仪数据以及坐标初始位置即可计算出获取该手柄图像时手柄的空间位置和姿态，其中，对于第一次检测到的手柄图像，所计算出的手柄的空间位置作为空间的坐标初始位置，在后续每次检测到的手柄图像对应的手柄的空间位置根据该坐标初始位置可以进一步得到对应的坐标，根据这些空间位置的坐标进一步得到手柄的运动轨迹。
56.其中，在确定hmd的时间戳与手柄的时间戳同步完成时，控制图像采集装置对手柄的ir led进行捕捉追踪，在实际应用中在控制相机对手柄的ir led进行捕捉追踪时，需要
结合ir led的信息及imu数据包对手柄进行追踪定位，具体可以采用现有的追踪算法实现对手柄的追踪，具体方法本发明不做赘述。
57.进一步的，上述s130中依据手柄图像从接收到的各个imu数据包中确定出与手柄图像的拍摄时间位于同一时间段的目标imu数据包的过程，具体可以为：
58.获取手柄图像的当前拍摄时间戳；
59.对手柄图像进行左右手柄识别得到目标标识，目标标识为左手柄标识或右手柄标识；
60.依据目标标识从接收到的各个imu数据包中筛选出与目标标识对应的各个第一imu数据包；
61.从各个第一imu数据包中确定出数据产生时间戳与当前拍摄时间戳最近接的imu数据包作为目标imu数据包。
62.需要说明的是，在识别出捕捉图像为手柄图像后，可以根据该手柄图像的图像信息从各个imu数据包中确定出目标imu数据包，具体的可以获取该手柄图像的当前拍摄时间戳，以及对该手柄图像进行左右手柄的识别，具体识别出该手柄图像中的手柄是左手柄还是右手柄，并且得到与左手柄对应的左手柄标识或与右手柄对应的右手柄标识，从而确定出对应的目标标识。另外，每个imu数据包中也包括对应的手柄标识以及数据产生时间戳，因此，可以从接收到的各个imu数据包中根据目标标识筛选出与对应的目标标识一致的各个第一imu数据包，由于imu数据包的数据产生时间约接近拍摄该手柄图像的时间，则根据该imu数据包计算出的空间位置和姿态越能够准确的反在拍摄该手柄图像那一刻手柄的空间位置和姿态，因此本发明实施例中洪根据与手柄图像对应的当前拍摄时间戳最接近的数据产生时间戳对应的imu数据包，将该imu数据包作为目标imu数据包，并采用该目标imu数据包计算手柄的空间位置和姿态，进一步提高追踪的精确度。
63.还需要说明的是，在实际应用中不仅限于根据手柄图像来进行左右手柄的识别，也可以获取当前连接手柄的连接信息，根据该连接信息来进一步识别出是左手柄还是右手柄，具体识别方式本发明实施例不做特殊限定，可以根据实际需要确定。
64.更进一步的，该方法还可以包括：
65.从各个第一imu数据包中确定出数据产生时间戳位于当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前的各个第二imu数据包；
66.依据各个第二imu数据包计算出在当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前手柄的各个空间位置及姿态。
67.还需要说明的是，由于相机在两次曝光之存在一定的时间间隔，并且在相邻两次抓拍到手柄之间，也会存在一定的时间间隔无法对手柄进行追踪，本发明实施例为了使得到的追踪轨迹更加润滑，进一步提升用户使用体验，可以在计算出与手柄图像的当前拍摄时间戳对应的空间位置及姿态后，进一步获取位于该当前拍摄时间戳之后以及下一次识别出手柄图像之前的各个第二imu数据包，根据这些第二imu数据包即可计算出这段时间间隔内每个时间点手柄的空间位置及姿态，从而可以更好地对手柄进行追踪，以减少用户使用过程中出现的卡顿现象。
68.可见，本发明中在hmd的时间戳与手柄的时间戳同步之前，获取hmd上的图像采集装置对手柄进行捕捉拍照得到的捕捉图像，并且在识别出捕捉图像为手柄图像时，根据该
手柄图像从接收到的各个imu数据包中确定出与手柄图像的拍摄时间位于同一时间段的目标imu数据包，然后根据该目标imu数据包及坐标初始位置计算出手柄在对应时刻的空间位置及姿态，将第一次识别出的手柄图像对应的手柄空间位置作为坐标原点，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为该坐标初始位置，从而可以根据从蓝牙配对完成之后，至时间戳同步完成之前的这段时间捕捉的手柄图像实现对手柄的追踪，实现对光学手柄的无缝追踪，有助于提升用户使用体验。
69.在上述实施例的基础上，本发明实施例提供了一种手柄的追踪装置，应用于hmd，具体请参照图2。该装置包括：
70.控制模块21，用于在hmd的时间戳与手柄的时间戳同步之前，获取图像采集装置对手柄进行捕捉拍照得到的捕捉图像；
71.识别模块22，用于判断捕捉图像是否为手柄图像，若是，则触发确定模块23；
72.确定模块23，用于依据手柄图像从接收到的各个imu数据包中确定出与手柄图像的拍摄时间位于同一时间段的目标imu数据包；imu数据包包括加速度计数据及陀螺仪数据；
73.第一计算模块24，用于根据目标imu数据包及坐标初始位置计算出手柄在对应时刻的空间位置及姿态，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为坐标初始位置。
74.进一步的，确定模块23包括：
75.获取单元，用于获取手柄图像的当前拍摄时间戳；
76.识别单元，用于对手柄图像进行左右手柄识别得到目标标识，目标标识为左手柄标识或右手柄标识；
77.筛选单元，用于依据目标标识从接收到的各个imu数据包中筛选出与目标标识对应的各个第一imu数据包；
78.确定单元，用于从各个第一imu数据包中确定出数据产生时间戳与当前拍摄时间戳最近接的imu数据包作为目标imu数据包。
79.进一步的，该装置还包括：
80.筛选模块，用于从各个第一imu数据包中确定出数据产生时间戳位于当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前的各个第二imu数据包；
81.第二计算模块，用于依据各个第二imu数据包计算出在当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前手柄的各个空间位置及姿态。
82.需要说明的是，本发明实施例提供的手柄的追踪装置具有与上述实施例所提供的手柄的追踪方法相同的有益效果，并且对于本发明实施例中所涉及到的手柄的追踪方法的具体介绍请参照上述实施例，本发明在此不再找赘述。
83.在上述实施例的基础上，本发明实施例中还提供了一种手柄的追踪系统，包括：
84.存储器，用于存储计算机程序；
85.处理器，用于执行计算机程序时实现如上述手柄的追踪方法的步骤。
86.例如，本发明实施例中的处理器用于实现在hmd的时间戳与手柄的时间戳同步之前，获取图像采集装置对手柄进行捕捉拍照得到的捕捉图像；判断捕捉图像是否为手柄图像，若是，则依据手柄图像从接收到的各个imu数据包中确定出与手柄图像的拍摄时间位于
同一时间段的目标imu数据包；根据目标imu数据包以及坐标初始位置计算出手柄在对应时刻的空间位置及姿态，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为坐标初始位置。
87.在上述实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述手柄的追踪方法的步骤。
88.该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
89.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
90.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
91.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。