关键点检测方法、装置和电子设备与流程

技术特征：
1.一种关键点检测方法，其特征在于，所述方法包括：提取当前帧图像中关键点的初始位置和光流跟踪特征；基于所述光流跟踪特征和历史帧图像中所述关键点的关键点信息，确定所述当前帧图像中所述关键点的帧间移动参数；在所述光流跟踪特征至少满足距离约束条件时，基于所述当前帧图像中所述关键点的所述初始位置和所述光流跟踪特征，确定所述当前帧图像中所述关键点的检测结果，其中，所述距离约束条件至少包括所述帧间移动参数不大于预设帧间移动阈值。2.根据权利要求1所述的方法，其特征在于，所述距离约束条件还包括：所述当前帧图像中所述关键点的帧内偏移参数不大于预设帧内偏移阈值，其中，所述帧内偏移参数由所述当前帧图像中所述关键点的初始位置和光流跟踪特征确定。3.根据权利要求1所述的方法，其特征在于，所述当前帧图像含有目标物体；所述预设帧间移动阈值与所述目标物体在所述当前帧图像的面积占比正相关，所述预设帧间移动阈值与第一转换因子正相关；所述目标物体的面积为所述目标物体的外接框面积，所述目标物体的外接框面积由属于所述目标物体的多个关键点中的至少两个关键点确定。4.根据权利要求3所述的方法，其特征在于，所述预设帧间移动阈值满足第一阈值公式：；其中，thresh1表示所述预设帧间移动阈值，atim
w
表示属于所述目标物体的多个关键点在宽度方向的最大跨度，atim
h
表示属于所述目标物体的多个关键点在高度方向的最大跨度，image
w
表示所述当前帧图像的宽，image
h
表示所述当前帧图像的高，l1表示所述第一转换因子。5.根据权利要求1所述的方法，其特征在于，所述当前帧图像含有目标物体；所述预设帧内偏移阈值与所述目标物体在所述当前帧图像的面积占比正相关，所述预设帧内偏移阈值与第二转换因子正相关，所述目标物体的面积为所述目标物体的外接框面积，所述目标物体的外接框面积由属于所述目标物体的多个关键点中的至少两个关键点的初始位置确定。6.根据权利要求5所述的方法，其特征在于，所述预设帧内偏移阈值满足第二阈值公式：；其中，thresh2表示所述预设帧内偏移阈值，atim
w
表示属于所述目标物体的多个关键点在宽度方向的最大跨度，atim
h
表示属于所述目标物体的多个关键点在高度方向的最大跨度，image
w
表示所述当前帧图像的宽，image
h
表示所述当前帧图像的高，l2表示所述第二转换因子。7.根据权利要求1~6任一项所述的方法，其特征在于，所述方法还包括：响应于确定所述光流跟踪特征满足跟踪状态约束条件，基于所述当前帧图像中所述关键点的初始位置和光流跟踪特征，确定所述当前帧图像中所述关键点的检测结果，其中，所述跟踪状态约束条件为所述光流跟踪特征的跟踪状态为跟踪成功状态。
8.根据权利要求1~6任一项所述的方法，其特征在于，所述当前帧图像含有目标物体，所述目标物体包括至少一个部位，所述至少一个部位中的同一部位包括至少两个关键点；所述基于所述当前帧图像中所述关键点的所述初始位置和所述光流跟踪特征，确定所述当前帧图像中所述关键点的检测结果，包括：在所述当前帧图像中，基于所述关键点所属部位的所有关键点的帧间移动参数以及预设帧间移动阈值，确定所述关键点的初始位置权重和光流跟踪特征权重；基于所述初始位置权重和所述光流跟踪特征权重，对所述当前帧图像中所述关键点的所述初始位置和所述光流跟踪特征进行加权，以确定所述当前帧图像中所述关键点的检测结果。9.根据权利要求8所述的方法，其特征在于，所述初始位置权重与所述当前帧图像中所述关键点所属部位的所有关键点的帧间移动参数的平均值正相关，所述光流跟踪特征权重与所述当前帧图像中所述关键点所属部位的所有关键点的帧间移动参数的平均值负相关；和/或，在所述当前帧图像中，属于所述目标物体中同一部位的各个关键点的初始位置权重相同，且属于所述目标物体中同一部位的各个关键点的所述光流跟踪特征权重相同。10.根据权利要8所述的方法，其特征在于，所述光流跟踪特征权重满足：；其中，表示所述当前帧图像中属于所述目标物体的第i个部位中第j个关键点的光流跟踪特征权重，表示所述目标物体的第i个部位的所有关键点的帧间移动参数的平均值，part
i
表示所述目标物体的第i个部位，i表示不小于1且不大于k的整数，j表示不小于1且不大于q的整数，k表示所述目标物体所含有的部位总数，q表示所述目标物体包括的关键点总数，thresh1表示所述预设帧间移动阈值。11.根据权利要求1~6任一项所述的方法，其特征在于，所述历史帧图像与所述当前帧图像的显示顺序相邻；或，所述历史帧图像与所述当前帧图像的显示顺序不相邻。12.根据权利要求1~6任一项所述的方法，其特征在于，所述关键点信息为所述历史帧图像中所述关键点的初始位置；或，所述关键点信息为所述历史帧图像中所述关键点的检测结果。13.根据权利要求1~6任一项所述的方法，其特征在于，所述光流跟踪特征为正向光流跟踪特征，所述光流跟踪特征的跟踪状态包括正向跟踪状态；或，所述光流跟踪特征包括正向光流跟踪特征，所述光流跟踪特征的跟踪状态包括正向跟踪状态和反向跟踪状态。14.根据权利要求1~6任一项所述的方法，其特征在于，所述提取关键点在当前图像中的初始位置和光流跟踪特征，包括：
采用关键点检测技术确定所述当前帧图像中所述关键点的初始位置；基于所述当前帧图像、所述历史帧图像以及所述历史帧图像中所述关键点的关键点信息，确定所述当前帧图像中所述关键点的光流跟踪特征。15.一种关键点检测装置，其特征在于，包括：提取模块，用于提取当前帧图像中关键点的初始位置和光流跟踪特征；确定模块，用于基于所述光流跟踪特征和历史帧图像中所述关键点的关键点信息，确定所述当前帧图像中所述关键点的帧间移动参数；融合模块，用于在所述光流跟踪特征至少满足距离约束条件时，基于所述当前帧图像中所述关键点的所述初始位置和所述光流跟踪特征，确定所述当前帧图像中所述关键点的检测结果，其中，所述距离约束条件至少包括所述帧间移动参数不大于预设帧间移动阈值。16.一种电子设备，其特征在于，包括：处理器；以及，存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1~14中任一项所述的方法。17.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行根据权利要求1~14中任一项所述的方法。

技术总结
本公开提供一种关键点检测方法、装置和电子设备，所述方法包括：提取当前帧图像中关键点的初始位置和光流跟踪特征，基于光流跟踪特征和历史帧图像中关键点的关键点信息，确定当前帧图像中关键点的帧间移动参数，在光流跟踪特征至少满足距离约束条件时，基于当前帧图像中关键点的初始位置和光流跟踪特征，确定当前帧图像中关键点的检测结果。本公开方法可以降低关键点检测抖动，使得关键点位置跟随及时，不会出现关键点的拖动的问题。不会出现关键点的拖动的问题。不会出现关键点的拖动的问题。


技术研发人员：王鹏程 高原 刘霄
受保护的技术使用者：北京世纪好未来教育科技有限公司
技术研发日：2021.12.08
技术公布日：2022/1/4