智能视觉跟随投射系统、控制方法、设备及介质

本申请涉及人机交互，尤其涉及一种智能视觉跟随投射系统、控制方法、设备及介质。

背景技术：

1、随着人机交互和智能感知技术的发展，眼动追踪与视觉跟随系统在机器人控制、远程巡检、医疗辅助、增强现实等领域得到广泛应用。传统的视觉跟随系统通常采用固定焦距摄像头，依赖图像处理算法（如目标检测、光流跟踪）实现视野调整，存在响应延迟大、光照变化敏感、跟踪精度低等问题。此外，现有眼动追踪系统多将视线数据用于屏幕光标控制或虚拟对象选择，缺乏与真实物理设备（如云台摄像头）的闭环联动机制。

2、近年来，部分研究尝试将眼动信号与云台控制相结合，例如通过视线方向驱动舵机带动摄像头运动，以实现“所见即所得”的视野跟随。然而，此类系统仍面临以下技术缺陷：

3、环境光干扰严重：在室内外复杂光照条件下，摄像头采集的图像易受杂散光、阴影、反光等因素影响，导致目标特征提取困难，影响眼动追踪的稳定性和跟随精度。

4、焦距固定，适应性差：大多数摄像头采用定焦镜头，无法根据目标距离或用户意图动态调整视野范围，导致近景细节丢失或远景目标过小，难以满足多距离、多场景的应用需求。

5、反馈回路缺失：用户佩戴智能眼镜进行眼动交互时，通常无法实时观察摄像头捕获的画面，缺乏“视线-视野-显示”的闭环反馈，降低了交互直观性和操作效率。

6、数据处理延迟：眼动坐标传输、舵机控制指令生成及视频流编码投射往往分属不同处理模块，缺乏系统级的低延迟协同设计，造成跟随滞后，影响用户体验。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种智能视觉跟随投射系统、控制方法、设备及介质，可以使佩戴者在远程巡检、危险环境操作等场景中无需转头或依赖额外的监控屏幕便可以获得沉浸式、低延迟的视觉反馈。

2、第一方面，提供一种智能视觉跟随投射系统，包括：

3、摄像头模块，用于拍摄画面，并得到视频流；

4、智能显示控制模块，用于对佩戴者进行眼动追踪，以得到所述佩戴者的眼动坐标数据，并显示所述摄像头模块的拍摄画面；

5、云台电机模块，用于在旋转时带动所述摄像头模块调节拍摄角度；

6、舵机驱动模块，所述舵机驱动模块与所述云台电机模块相连，用于根据舵机控制指令驱动所述云台电机模块旋转；

7、主控单元，所述主控单元分别与所述摄像头模块、所述智能显示控制模块和所述舵机驱动模块相连，用于根据所述智能显示控制模块发送的眼动坐标数据生成同步跟随所述佩戴者视线的所述舵机控制指令，以及根据所述视频流将所述摄像头模块的拍摄画面投射至所述智能显示控制模块。

8、2、根据权利要求1所述的智能视觉跟随投射系统，其特征在于，所述摄像头模块配置有变焦功能，且所述摄像头模块安装有红外滤波片。

9、3、根据权利要求1所述的智能视觉跟随投射系统，其特征在于，所述智能显示控制模块包括眼动追踪单元和显示单元，其中，所述眼动追踪单元用于对佩戴者进行眼动追踪，以得到所述佩戴者的眼动坐标数据，所述显示单元用于显示所述摄像头模块的拍摄画面。

10、4、根据权利要求1所述的智能视觉跟随投射系统，其特征在于，所述云台电机模块包括云台、第一伺服电机和第二伺服电机，其中，所述第一伺服电机用于控制所述云台在水平方向上旋转，所述第二伺服电机用于控制所述云台在垂直方向上旋转，在所述云台旋转时，所述摄像头模块与所述云台随动。

11、5、根据权利要求1-4任一项所述的智能视觉跟随投射系统，其特征在于，所述主控单元包括：

12、眼动坐标解析模块，用于对所述眼动坐标数据进行解析，得到眼动坐标；

13、坐标映射与滤波模块，用于对所述眼动坐标进行坐标映射和平滑滤波处理，生成所述舵机控制指令；

14、指令与视频处理模块，用于将所述舵机控制指令发送给所述舵机驱动模块，并对所述视频流进行视频处理后投射至所述智能显示控制模块。

15、6、根据权利要求5所述的智能视觉跟随投射系统，其特征在于，所述指令与视频处理模块包括串口，以将所述舵机控制指令通过串口发送给所述舵机驱动模块。

16、7、根据权利要求5所述的智能视觉跟随投射系统，其特征在于，所述指令与视频处理模块通过rtsp协议将经过视频处理后的视频流无线投射至所述智能显示控制模块。

17、第二方面，提供了一种智能视觉跟随投射系统的控制方法，其特征在于，所述智能视觉跟随投射系统为根据权利要求1-7任一项所述的智能视觉跟随投射系统，所述控制方法包括：

18、通过智能显示控制模块对佩戴者进行眼动追踪，以得到所述佩戴者的眼动坐标数据；

19、通过主控单元根据所述眼动坐标数据生成同步跟随所述佩戴者视线的所述舵机控制指令；

20、根据所述舵机控制指令通过舵机驱动模块驱动云台电机模块运动，以带动摄像头模块转动；

21、获得所述摄像头模块的拍摄的视频流，并根据所述视频流将所述摄像头模块的拍摄画面投射至所述智能显示控制模块。

22、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述第一方面以及第一方面任意一种可能的实现方式的智能视觉跟随投射系统的控制方法的步骤。

23、第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述第一方面以及第一方面任意一种可能的实现方式的智能视觉跟随投射系统的控制方法的步骤。

24、第五方面，提供一种计算机程序产品，其上存储有计算机程序，该程序被处理器执行时，实现上述第一方面以及第一方面任意一种可能的实现方式的智能视觉跟随投射系统的控制方法的步骤。

25、采用本申请的实施例，佩戴者能够直接观察到与自身视线方向一致的画面。这种眼动到舵机跟随再到视频回显的设计，可以使佩戴者在远程巡检、危险环境操作等场景中无需转头或依赖额外的监控屏幕便可以获得沉浸式、低延迟的视觉反馈。

1.一种智能视觉跟随投射系统，其特征在于，包括：

2.根据权利要求1所述的智能视觉跟随投射系统，其特征在于，所述摄像头模块配置有变焦功能，且所述摄像头模块安装有红外滤波片。

3.根据权利要求1所述的智能视觉跟随投射系统，其特征在于，所述智能显示控制模块包括眼动追踪单元和显示单元，其中，所述眼动追踪单元用于对佩戴者进行眼动追踪，以得到所述佩戴者的眼动坐标数据，所述显示单元用于显示所述摄像头模块的拍摄画面。

4.根据权利要求1所述的智能视觉跟随投射系统，其特征在于，所述云台电机模块包括云台、第一伺服电机和第二伺服电机，其中，所述第一伺服电机用于控制所述云台在水平方向上旋转，所述第二伺服电机用于控制所述云台在垂直方向上旋转，在所述云台旋转时，所述摄像头模块与所述云台随动。

5.根据权利要求1-4任一项所述的智能视觉跟随投射系统，其特征在于，所述主控单元包括：

6.根据权利要求5所述的智能视觉跟随投射系统，其特征在于，所述指令与视频处理模块包括串口，以将所述舵机控制指令通过串口发送给所述舵机驱动模块。

7.根据权利要求5所述的智能视觉跟随投射系统，其特征在于，所述指令与视频处理模块通过rtsp协议将经过视频处理后的视频流无线投射至所述智能显示控制模块。

8.一种智能视觉跟随投射系统的控制方法，其特征在于，所述智能视觉跟随投射系统为根据权利要求1-7任一项所述的智能视觉跟随投射系统，所述控制方法包括：

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现根据权利要求1-7任一项所述的智能视觉跟随投射系统的控制方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1-7任一项所述的智能视觉跟随投射系统的控制方法。