手势跟随控制的发令者确定方法、设备及存储介质与流程

本技术涉及手势识别与云台控制，尤其涉及一种手势跟随控制的发令者确定方法、设备及存储介质。

背景技术：

1、带云台的会议与直播摄像设备通常支持手势控制人体跟随。设备通过图像检测逐帧获取画面内各目标的手势类别与置信度，并对连续多帧识别结果聚合得到一次成立的手势。多人同处画面时，一次成立的手势还需确定由哪个目标发出，再按其身份决定是否执行跟随动作。目前对全部手势类别通常采用同一条发令者选择规则，例如取目标框最大者或仅接受当前被跟随目标，未考虑不同手势对应动作对发令者身份的不同要求。设备未跟随时可能无合法发令者，已跟随时无关目标又可能中断跟随，致使多人场景下发令者判定难以兼顾不同动作的需要。

2、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种手势跟随控制的发令者确定方法、设备及存储介质，旨在解决多人场景下不同动作类型的手势对发令者身份要求不同，导致发令者确定不准确的技术问题。

2、为实现上述目的，本技术实施例提供一种手势跟随控制的发令者确定方法，所述手势跟随控制的发令者确定方法包括：

3、获取当前轮次判定成立的手势，所述手势包含手势类别以及做出所述手势的目标对应的目标框、跟踪标识和置信度；

4、根据所述手势类别所要求设备执行的动作类型，采用与所述动作类型相匹配的发令者选择策略，在做出所述手势的各目标中确定候选发令者；

5、将所述候选发令者的置信度与所述手势类别对应的预设置信度门限进行比较，若所述置信度达到所述预设置信度门限，则确定所述候选发令者为有效发令者；

6、以所述有效发令者为主体执行所述手势类别对应的动作，以控制设备进行手势跟随。

7、在一实施例中，所述获取当前轮次判定成立的手势，所述手势包含手势类别以及做出所述手势的目标对应的目标框、跟踪标识和置信度的步骤包括：

8、获取在判定窗口内连续多帧逐帧输出的各目标的目标框、跟踪标识和手势类别，以及每一帧中所述手势类别对应的置信度；

9、针对跟踪标识相同的目标，若所述目标在所述判定窗口内被判定为同一手势类别的帧数达到所述手势类别对应的帧数门限，则判定所述目标做出属于所述手势类别的手势成立；

10、将判定成立的所述手势所对应的目标框、跟踪标识，以及所述目标在所述判定窗口内各帧的置信度的平均值，确定为所述手势的目标框、跟踪标识和置信度。

11、在一实施例中，所述根据所述手势类别所要求设备执行的动作类型，采用与所述动作类型相匹配的发令者选择策略，在做出所述手势的各目标中确定候选发令者的步骤包括：

12、根据所述动作类型，确定所述手势类别对应的语义类别，所述语义类别包括开启与切换类和停止与维持类；所述开启与切换类对应于要求设备由未跟随状态进入跟随状态或者切换被跟随目标的动作，所述停止与维持类对应于要求设备维持或者结束已有跟随的动作；

13、若所述手势类别属于所述开启与切换类，则在做出所述手势的各目标中，将所述目标框面积最大的目标确定为所述候选发令者；

14、若所述手势类别属于所述停止与维持类，则在做出所述手势的各目标中，查找所述跟踪标识与当前被跟随目标的跟踪标识相同的目标，将查找到的目标确定为所述候选发令者；若未查找到，则所述手势类别在当前轮次不生效。

15、在一实施例中，所述将所述候选发令者的置信度与所述手势类别对应的预设置信度门限进行比较，若所述置信度达到所述预设置信度门限，则确定所述候选发令者为有效发令者的步骤包括：

16、根据所述手势类别对应的语义类别，确定所述手势类别对应的预设置信度门限，其中，停止与维持类对应的预设置信度门限低于开启与切换类对应的预设置信度门限；

17、将所述候选发令者的置信度与所确定的预设置信度门限进行比较，若所述置信度达到所确定的预设置信度门限，则确定所述候选发令者为有效发令者。

18、在一实施例中，所述以所述有效发令者为主体执行所述手势类别对应的动作，以控制设备进行手势跟随的步骤包括：

19、根据所述手势类别对应的动作生成模式请求，所述模式请求包含所述手势类别的目标工作模式；

20、响应于所述模式请求，基于所述目标工作模式在同一次模式切换中设定跟随使能状态、对焦与测光区域和上报状态；

21、按照所述目标工作模式驱动云台电机，使所述云台电机随所述有效发令者的位置转动，并根据所述上报状态向外部主机上报所述目标工作模式。

22、在一实施例中，所述以所述有效发令者为主体执行所述手势类别对应的动作，以控制设备进行手势跟随的步骤包括：

23、当所述手势类别为预设的双向切换类别时，确定当前跟随状态；

24、若所述当前跟随状态为跟随状态，则以所述有效发令者为主体执行所述手势类别对应的动作，以结束跟随并进入未跟随状态；

25、若所述当前跟随状态为未跟随状态，则将所述有效发令者确定为被跟随目标，并以所述有效发令者为主体执行所述手势类别对应的动作，以开启跟随。

26、在一实施例中，所述以所述有效发令者为主体执行所述手势类别对应的动作，以控制设备进行手势跟随的步骤之后，所述手势跟随控制的发令者确定方法还包括：

27、将已执行对应动作的所述手势类别记录为已生效类别；

28、在后续轮次中，若当前轮次判定成立的手势中包含属于所述已生效类别的手势，则属于所述已生效类别的手势在当前轮次不生效，并保持所述已生效类别的记录；

29、若当前轮次判定成立的手势中不包含属于所述已生效类别的手势，则清除所述已生效类别的记录，使所述已生效类别在后续轮次中恢复生效。

30、在一实施例中，所述手势跟随控制的发令者确定方法还包括：

31、基于预设类别优先级，从当前轮次判定成立的手势类别中选取优先级最高的手势类别作为当前处理手势类别；

32、若所述当前处理手势类别对应的候选发令者被确定为有效发令者，则确定所述当前处理手势类别所属的优先级组；

33、若所述当前处理手势类别属于第一优先级组，则以所述有效发令者为主体执行所述当前处理手势类别对应的动作，并结束当前轮次的处理；

34、若所述当前处理手势类别属于第二优先级组，则以所述有效发令者为主体执行所述当前处理手势类别对应的动作，并从剩余的手势类别中按照所述预设类别优先级选取下一个手势类别作为当前处理手势类别，返回执行确定所述当前处理手势类别所属的优先级组的步骤。

35、本技术实施例还提供一种手势跟随控制的发令者确定设备，所述手势跟随控制的发令者确定设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的手势跟随控制的发令者确定方法的步骤。

36、本技术实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的手势跟随控制的发令者确定方法的步骤。

37、本技术提出的一个或多个技术方案，至少具有以下技术效果：

38、本技术通过获取当前轮次判定成立的手势，该手势包含手势类别以及做出此手势的目标对应的目标框、跟踪标识和置信度，使成立手势与具体目标相关联，为多人同处画面时区分发令者提供判定依据；通过根据手势类别所要求设备执行的动作类型，采用与动作类型相匹配的发令者选择策略，在做出此手势的各目标中确定候选发令者，使不同动作类型能够依据不同的选择策略确定发令者，从而满足不同动作对发令者身份的不同要求。其中，要求设备进入或切换跟随的动作不受发令者身份限制，设备在未跟随状态下可由画面内任一目标开启跟随而无需借助按键或外部主机；要求设备维持或结束跟随的动作仅能由当前被跟随目标做出，画面内其余目标即使做出相同手势也无法解除已有跟随，跟随不被无关目标打断；进一步地，通过将候选发令者的置信度与手势类别对应的预设置信度门限进行比较，仅在置信度达到预设置信度门限时确定候选发令者为有效发令者，避免置信度不足的手势被误触发，提高发令者确定的可靠性；此外，通过以有效发令者为主体执行手势类别对应的动作，使手势跟随动作由正确的目标发起，实现在多人同处画面场景下准确确定有效发令者并据此控制设备进行手势跟随的效果。