基于手势识别的远程云台相机智能变焦控制方法及系统与流程

本申请涉及智能设备远程控制，具体涉及一种基于手势识别的远程云台相机智能变焦控制方法及系统。

背景技术：

1、云台相机已广泛应用于视频拍摄、直播、安防监控、会议系统等领域，变焦是其中最常用的功能之一。在单人视频拍摄、户外直播等场景中，用户往往作为被摄对象或双手被占用，需要在不接触操作设备的情况下远程控制云台相机变焦，手势控制为这类场景提供了自然的交互方式。手势变焦控制的目标在于使画面焦距随用户意图平滑、连续地变化。

2、然而，在现有的手势变焦控制方式中，手势识别结果直接触发和终止变焦动作，变焦倍数在启动时刻与停止时刻发生阶跃变化，画面呈现可感知的突跳感与停顿感；同时手势识别帧率的波动会直接传导为变焦执行节奏的波动，使变焦过程忽快忽慢。上述现象导致手势变焦过程中画面变化不平滑、起停突兀，无法满足远程拍摄场景对画面平稳性的要求。

技术实现思路

1、针对现有手势变焦控制中变焦起停突兀、画面变化不平滑，难以满足远程拍摄场景对画面平稳性要求的不足，本申请提供了一种基于手势识别的远程云台相机智能变焦控制方法及系统。该方法及系统通过手势图像识别触发变焦控制，将手势识别频率与变焦执行频率解耦。在手势持续存在期间，该方法及系统使变焦步进值随手势持续时长从零逐渐增长至预设最大步进值，再以第二频率持续执行变焦步进；手势消失时，使步进值线性衰减至预设值后自动停止。上述机制能够实现画面平滑、起停自然的远程变焦控制。具体地，本申请提供了以下技术方案：

2、第一方面，本申请提供了一种基于手势识别的远程云台相机智能变焦控制方法，应用于移动终端，所述移动终端与云台相机通信连接，所述方法包括：

3、获取手势图像序列；

4、以第一频率通过手势识别模型对所述手势图像序列执行手势识别，得到手势类型，所述手势类型为第一手势类型或第二手势类型；

5、根据所述手势类型确定变焦方向，所述变焦方向为第一变焦方向或第二变焦方向；

6、在识别到所述手势类型期间，以第二频率持续执行变焦步进，根据所述变焦方向生成变焦指令，所述第二频率与所述第一频率相互独立；其中，所述变焦步进的步进值根据所述手势类型的持续时长动态调整，所述持续时长小于预设加速时长时，所述步进值从零线性增长至预设最大步进值，所述持续时长达到所述预设加速时长后，所述步进值保持为所述预设最大步进值；所述第一频率低于所述第二频率；

7、将所述变焦指令发送至所述云台相机，以使所述云台相机执行变焦操作；

8、当未识别到所述手势类型时，所述步进值从当前值线性衰减至预设值，并停止执行所述变焦步进。

9、可选地，在所述步进值从当前值线性衰减至预设值的过程中，当重新识别到手势类型时，中止所述衰减，所述步进值从衰减过程中的当前值重新线性增长至所述预设最大步进值。

10、可选地，在所述步进值从当前值线性衰减至预设值的过程中，当重新识别到的手势类型与进入减速阶段前的手势类型不同时，所述步进值从衰减过程中的当前值重新线性增长至所述预设最大步进值，同时所述变焦方向切换为重新识别到的手势类型对应的变焦方向；

11、可选地，当未识别到所述手势类型时，所述步进值在预设减速时长内从当前值线性衰减至所述预设值，所述预设减速时长小于所述预设加速时长。

12、可选地，所述第一手势类型对应手指全部张开的手势，所述第二手势类型对应手指部分张开的手势。

13、可选地，所述以第一频率对所述手势图像序列执行手势识别，包括：

14、基于所述手势图像序列中的手势图像检测手部关键点；

15、根据所述手部关键点确定各手指的开合状态；

16、根据各手指的开合状态的组合识别所述手势类型；其中，在所述开合状态的组合相同的情况下，根据拇指指尖与食指指尖之间的距离阈值区分所述手势类型。

17、可选地，所述根据所述手部关键点确定各手指的开合状态，包括：

18、根据各手指的相邻指节关键点，确定相邻指节之间的方向向量夹角；

19、将所述方向向量夹角与预设角度阈值进行比较；

20、在所述方向向量夹角小于所述预设角度阈值的情况下，确定对应手指处于张开状态。

21、可选地，所述根据所述手势类型确定变焦方向，包括：

22、当所述手势类型发生变化时，在预设时间窗口内持续识别到变化后的手势类型后，将所述变焦方向切换为所述变化后的手势类型对应的变焦方向；其中，所述第一变焦方向对应增大变焦倍数，所述第二变焦方向对应减小变焦倍数。

23、可选地，当所述变焦步进对应的变焦倍数达到最大变焦倍数或最小变焦倍数时，停止执行所述变焦步进。

24、第二方面，本申请提供了一种基于手势识别的远程云台相机智能变焦控制系统，包括：

25、手势采集模块，用于获取手势图像序列；

26、手势识别模块，用于以第一频率对所述手势图像序列执行手势识别，得到手势类型，所述手势类型为第一手势类型或第二手势类型；

27、变焦控制模块，用于根据所述手势类型确定变焦方向，在识别到所述手势类型期间，以第二频率持续执行变焦步进并根据所述变焦方向生成变焦指令，以及在未识别到所述手势类型时，使步进值从当前值线性衰减至预设值并停止执行所述变焦步进；其中，所述变焦步进的步进值根据所述手势类型的持续时长动态调整，所述持续时长小于预设加速时长时，所述步进值从零线性增长至预设最大步进值，所述持续时长达到所述预设加速时长后，所述步进值保持为所述预设最大步进值；所述变焦方向为第一变焦方向或第二变焦方向，所述第二频率与所述第一频率相互独立；所述第一频率低于所述第二频率；

28、通信模块，用于将所述变焦指令发送至云台相机；

29、云台相机，用于接收所述变焦指令并执行变焦操作。

30、有益效果：

31、1、本申请通过手势图像识别触发云台相机的变焦控制，用户无需接触操作设备即可远程控制变焦，在作为被摄对象或双手被占用时仍可独立完成变焦调整。

32、2、通过将手势识别频率与变焦执行频率解耦，手势识别以较低频率运行即可驱动较高频率的变焦步进，识别频率的波动不影响变焦过程的平滑性；

33、3、通过使变焦步进值根据手势类型的持续时长动态调整，在手势被识别后变焦步进值从零逐渐增长至预设最大步进值，变焦过程平滑起步，避免了画面启动时的突跳感；在未识别到手势类型时，变焦步进值从当前值线性衰减至预设值后变焦停止，变焦过程平缓收尾，避免了画面停止时的突兀停顿；同时，在手势类型变化时经时间窗口确认后再切换变焦方向，避免了手势抖动导致的频繁方向切换，提高了变焦控制的稳定性。

34、综上，本申请使手势变焦过程中的画面变化平滑连续、起停自然，满足了远程拍摄场景对画面平稳性的要求。

1.一种基于手势识别的远程云台相机智能变焦控制方法，应用于移动终端，所述移动终端与云台相机通信连接，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述步进值从当前值线性衰减至预设值的过程中，当重新识别到手势类型时，中止所述衰减，所述步进值从衰减过程中的当前值重新线性增长至所述预设最大步进值。

3.根据权利要求2所述的方法，其特征在于，在所述步进值从当前值线性衰减至预设值的过程中，当重新识别到的手势类型与进入减速阶段前的手势类型不同时，所述步进值从衰减过程中的当前值重新线性增长至所述预设最大步进值，同时所述变焦方向切换为重新识别到的手势类型对应的变焦方向。

4.根据权利要求1所述的方法，其特征在于，当未识别到所述手势类型时，所述步进值在预设减速时长内从当前值线性衰减至所述预设值，所述预设减速时长小于所述预设加速时长。

5.根据权利要求1所述的方法，其特征在于，所述第一手势类型对应手指全部张开的手势，所述第二手势类型对应手指部分张开的手势。

6.根据权利要求5所述的方法，其特征在于，所述以第一频率对所述手势图像序列执行手势识别，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述手部关键点确定各手指的开合状态，包括：

8.根据权利要求1所述的方法，其特征在于，所述根据所述手势类型确定变焦方向，包括：

9.根据权利要求1所述的方法，其特征在于，当所述变焦步进对应的变焦倍数达到最大变焦倍数或最小变焦倍数时，停止执行所述变焦步进。

10.一种基于手势识别的远程云台相机智能变焦控制系统，其特征在于，包括：