一种光标位置的确定方法、遥控器、显示器和存储介质与流程

本技术涉及遥控器，并且更具体地，涉及遥控器中一种光标位置的确定方法、遥控器、显示器和存储介质。

背景技术：

1、绝对指向遥控器是一种能够以高精度在二维或三维空间中指向特定位置的输入设备。相关技术中，绝对指向遥控器所采用的指向技术包括：蓝牙指向技术、uwb(ultra-wideband，超宽带)指向技术和红外指向技术等。但这些指向技术或多或少都存在指向精度较差或对于复杂环境的适应性较差的技术问题。因此，如何在提高遥控器指向精度的同时，提高遥控器对于复杂环境的适应性成为亟待解决的技术问题。

技术实现思路

1、本技术提供了一种光标位置的确定方法、遥控器、显示器和存储介质，该方法能够在提高遥控器指向精度的同时，提高遥控器对于复杂环境的适应性。

2、第一方面，提供了一种光标位置的确定方法，应用于遥控器，遥控器用于指向显示器所在的平面，该方法包括：获取遥控器采集的当前惯性数据帧；根据当前惯性数据帧，确定遥控器对应的光标在显示器上的第一参考位置；获取光标在显示器上的第二参考位置；其中，第二参考位置基于目标图像帧确定，目标图像帧为遥控器在历史时刻已采集到的图像帧；根据第一参考位置和第二参考位置进行融合处理，得到光标的目标位置。

3、上述技术方案，首先，获取遥控器采集的当前惯性数据帧，并据此确定光标的第一参考位置。由于当前惯性数据帧能够反映遥控器的实时运动状态，确保了即使在快速移动或旋转的情况下也能保持相对精确的位置估计。接着，通过选择历史时刻已采集到的图像帧作为目标图像帧，并确定与该目标图像帧对应的第二参考位置，从而对于光标提供一个基于视觉反馈的精确定位。通过将第一参考位置和第二参考位置进行融合处理，可以在惯性数据帧存在累积误差的情况下，依然获得准确的光标位置，确保了光标的高精度定位。当遇到遮挡物或其他干扰因素导致图像帧的信息不完整时，仍可依赖惯性数据帧进行补充判断，保证了即使在部分信息缺失的情况下，光标轨迹依然能保持连续性和稳定性，提升了遥控器在复杂使用场景下的适应性。可见，本实施例中多源数据融合的策略，丰富了确定光标的目标位置的数据来源，使得最终得到的光标的目标位置更加准确、稳定，特别是在面对如用户手部遮挡、信号干扰等复杂环境时，也能实现光标位置的精准定位。

4、结合第一方面，在某些可能的实现方式中，根据当前惯性数据帧，确定遥控器对应的光标在显示器上的第一参考位置，包括：确定目标时刻到当前时刻之间遥控器的旋转信息；其中，目标时刻为目标图像帧的采集时刻，当前时刻为当前惯性数据帧的采集时刻；获取遥控器的视觉参考姿态；视觉参考姿态基于所述目标图像帧确定；根据遥控器的旋转信息和视觉参考姿态中遥控器的位移信息，确定遥控器在当前时刻的惯性参考姿态；根据遥控器的惯性参考姿态，确定遥控器对应的光标在显示器上的第一参考位置。

5、上述技术方案，从目标时刻到当前时刻遥控器的旋转信息反映了遥控器在这段时间内的旋转变化，而视觉参考姿态中的位移信息则反映了遥控器的空间位置变化也即平移变化，尽管在短时间内遥控器的平移可能较小，但在长时间操作或需要高精度的应用中，平移变化同样重要。通过融合视觉参考姿态中的位移信息，有利于校正由于累积误差导致的姿态偏差，不仅能够弥补单一传感器的局限性，还能提供更加稳定和可靠的姿态估计结果，因此根据这两类信息即遥控器的旋转变化和平移变化，有利于实现对遥控器在当前时刻的惯性参考姿态的准确估计，从而显著提高确定的第一参考位置的准确性。

6、结合第一方面和上述实现方式，在某些可能的实现方式中，获取光标在显示器上的第二参考位置，包括：获取遥控器的视觉参考姿态；视觉参考姿态基于所述目标图像帧确定；根据视觉参考姿态，确定光标在显示器上的第二参考位置。

7、上述技术方案，视觉参考姿态为从视觉层面确定的遥控器姿态，反映了遥控器的视觉特征，视觉特征的准确性较高，因此通过目标图像帧获取的视觉参考姿态能够精确捕捉遥控器的实际姿态。相较于依赖惯性传感器采集的惯性数据帧进行积分运算来估计姿态的方法，视觉参考姿态的确定不存在因积分运算导致的误差问题，从而避免了由于长时间运行导致的姿态漂移。因此，基于视觉参考姿态确定的第二参考位置的准确性更高，更能精准体现光标应该处于的实际位置。

8、结合第一方面和上述实现方式，在某些可能的实现方式中，显示器上设置有多个标志点，获取遥控器的视觉参考姿态，包括：在目标图像帧中识别多个特征点，并确定多个特征点分别在目标图像帧中的位置；确定多个特征点与多个标志点之间的一一对应关系；根据每个特征点在目标图像帧中的位置和每个特征点对应的标志点在显示器上的位置，采用预设的姿态求解算法进行遥控器姿态求解，得到至少一个候选姿态；根据至少一个候选姿态，确定遥控器的视觉参考姿态。

9、上述技术方案，特征点在目标图像帧中的位置属于二维位置，标志点在显示器上的位置为三维位置，通过确定多个特征点与多个标志点之间的一一对应关系，使得上述二维位置和三维位置也能形成一一对应关系，便于结合预设的姿态求解算法进行遥控器姿态求解，得到至少一个候选姿态，为最终确定视觉参考姿态提供准确的筛选范围，提高确定的视觉参考姿态的准确性。

10、结合第一方面和上述实现方式，在某些可能的实现方式中，确定多个特征点与多个标志点之间的一一对应关系，包括：确定遥控器相对于水平面的旋转角度；将多个特征点按照旋转角度进行旋转，得到旋转后的多个特征点；根据旋转后的多个特征点的顺序，确定多个特征点与多个标志点之间的一一对应关系。

11、上述技术方案，考虑到在实际使用过程中，用户可能会以不同的角度持握遥控器，导致遥控器相对于水平面存在一定旋转角度，这就导致了图像采集单元采集到的图像帧中的特征点与显示器上的标志点之间的对应关系发生变化。基于此，通过确定遥控器相对于水平面的旋转角度，并将多个特征点按照旋转角度进行旋转，得到旋转后的多个特征点，使得旋转后的多个特征点的顺序与多个标志点的顺序相同，进而使得无论用户以何种角度持握遥控器，均能够准确地确定多个特征点与多个标志点之间的一一对应关系，进而提高遥控器姿态解算的准确性。

12、结合第一方面和上述实现方式，在某些可能的实现方式中，根据至少一个候选姿态，确定遥控器的视觉参考姿态，包括：若至少一个候选姿态包括多个候选姿态，则确定每个候选姿态在世界坐标系下的参考重力向量，得到多个候选姿态各自对应的参考重力向量；确定多个候选姿态各自对应的参考重力向量和世界坐标系下的标准重力向量之间的相似度；在多个候选姿态各自对应的参考重力向量中，选择与标准重力向量之间的相似度最大的参考重力向量作为目标参考重力向量；将与目标参考重力向量对应的候选姿态作为遥控器的视觉参考姿态。

13、上述技术方案，提供了一种从多个候选姿态中筛选出最优候选姿态作为视觉参考姿态的方式。考虑到最优候选姿态对应的参考重力向量应该与世界坐标系下的标准重力向量(通常是垂直向下的方向)一致，因此通过计算每个候选姿态下的世界坐标系中的参考重力向量，并与标准重力向量进行比较，可以有效地筛选最优候选姿态。并且，通过相似度表征每个候选姿态对应的参考重力向量与标准重力向量之间的一致程度，有利于通过相似度快速从多个候选姿态中筛选出最优候选姿态。

14、结合第一方面和上述实现方式，在某些可能的实现方式中，确定每个候选姿态在世界坐标系下的参考重力向量，包括：获取惯性测量单元测量的重力向量；根据变换矩阵，计算惯性测量单元测量的重力向量在相机坐标系下的分量；其中，变换矩阵为惯性测量单元坐标系到相机坐标系之间的变换矩阵；将惯性测量单元测量的重力向量与每个候选姿态在相机坐标系下的重力向量进行对比，得到向量差值；根据向量差值和分量，确定每个候选姿态在世界坐标系下的参考重力向量。

15、结合第一方面和上述实现方式，在某些可能的实现方式中，根据第一参考位置和第二参考位置进行融合处理，得到光标的目标位置，包括：确定光标在显示器上的历史参考位置；其中，历史参考位置基于当前惯性数据帧的上一惯性数据帧确定；确定光标在显示器上的历史目标位置；其中，历史目标位置为遥控器上一次进行融合处理得到的光标的目标位置；确定第一参考位置与历史参考位置之间的第一偏移量；确定第二参考位置与历史目标位置之间的第二偏移量；根据第一偏移量、第二偏移量和历史目标位置进行融合处理，得到光标的目标位置。

16、上述技术方案，考虑到长时间基于惯性数据帧确定第一参考位置可能存在的累积误差，导致融合处理后得到的目标位置也可能存在一定累积误差，该累积误差可以理解为第一参考位置或目标位置相比于真实光标位置存在的偏移量。该偏移量不仅受上述第一偏移量影响，也会受到上述第二偏移量影响。因此，在融合处理时，同时考虑上述第一偏移量和第二偏移量，以实现对上述累积误差的补偿，有利于提高确定的目标位置的精准性。

17、结合第一方面和上述实现方式，在某些可能的实现方式中，根据第一偏移量、第二偏移量和历史目标位置进行融合处理，得到光标的目标位置，包括：根据第二偏移量，确定目标图像帧对应的目标权重；计算目标图像帧对应的目标权重和第二偏移量的乘积；对第一偏移量、乘积和历史目标位置进行融合处理，得到光标的目标位置。

18、上述技术方案，通过确定目标权重，计算第二偏移量和目标权重的乘积，使得在融合处理的过程中，对于相邻两个图像帧之间的各惯性数据帧可以逐步动态补偿第二偏移量，而非一次性直接补偿到单个惯性数据帧中，有利于避免光标的目标位置发生跳变，实现光标的目标位置平滑变化的效果。

19、结合第一方面和上述实现方式，在某些可能的实现方式中，根据第二偏移量，确定目标图像帧对应的目标权重，包括：获取预设的参考权重、预设的相邻两个图像帧之间的光标距离阈值、预设的相邻两个图像帧之间的最大光标距离以及目标图像帧的上一图像帧对应的历史目标权重；计算第二偏移量与光标距离阈值之间的第一差值；计算最大光标距离与光标距离阈值之间的第二差值；计算历史目标权重与参考权重之间的第三差值；根据第一差值、第二差值、第三差值以及参考权重，确定目标图像帧对应的目标权重。

20、结合第一方面和上述实现方式，在某些可能的实现方式中，所述光标的目标位置为所述光标在当前时刻的目标位置；在所述根据所述第一参考位置和所述第二参考位置进行融合处理，得到所述光标的目标位置之后，所述方法还包括：将所述光标在当前时刻的目标位置作为观测值，并基于卡尔曼滤波算法预测所述光标在所述当前时刻的下一时刻的目标位置。

21、上述技术方案，考虑到获取光标在当前时刻的目标位置后，从遥控器向显示器传输需要一定的耗时，因此，整条链路会有一些延迟。为减少该传输延时，可以预测光标在下一时刻的目标位置，使显示器上的光标轨迹在跟随遥控器真实轨迹的过程中缩小延时，以实现对光标的实时跟踪。

22、第二方面，提供了一种光标位置的确定方法，应用于显示器，该方法包括：接收遥控器发送的第一参考位置和第二参考位置；其中，遥控器用于指向显示器所在的平面；第一参考位置为：遥控器基于采集的当前惯性数据帧确定的遥控器对应的光标在显示器上的位置；第二参考位置为：遥控器基于采集的目标图像帧确定的光标在显示器上的位置；根据第一参考位置和第二参考位置进行融合处理，得到光标的目标位置。

23、第三方面，提供了一种遥控器，遥控器用于指向显示器所在的平面；遥控器包括：图像采集单元、惯性测量单元和处理单元；图像采集单元，用于采集显示器所在的平面的图像帧；惯性测量单元，用于采集遥控器的惯性数据帧；处理单元，用于获取惯性测量单元采集的当前惯性数据帧；根据当前惯性数据帧，确定遥控器对应的光标在所述显示器上的第一参考位置；获取光标在显示器上的第二参考位置；根据第一参考位置和第二参考位置进行融合处理，得到光标的目标位置；其中，第二参考位置基于目标图像帧确定，目标图像帧为遥控器在历史时刻已采集到的图像帧。

24、第四方面，提供一种遥控器，包括：存储器，用于存储可执行程序代码；

25、处理器，用于从所述存储器中调用并运行所述可执行程序代码，使得所述遥控器执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

26、第五方面，提供一种显示器，包括：存储器，用于存储可执行程序代码；

27、处理器，用于从所述存储器中调用并运行所述可执行程序代码，使得显示器执行上述第二方面的方法。

28、第六方面，提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述第一方面或第二方面中的方法。

29、第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述第一方面或第二方面中的方法。