手势识别方法、装置、终端设备及计算机可读存储介质与流程

技术特征：
1.一种手势识别方法，其特征在于，包括：获取目标场景的视频数据；若检测到所述视频数据中的视频图像满足预设检测条件，则将所述视频图像输入第一神经网络模型进行手部第一次检测，得到所述视频图像中的人手的第一坐标位置；根据所述第一坐标位置确定包含所述人手的手部图像；将所述手部图像输入第二神经网络模型进行手部第二次检测和手势识别，得到所述人手在所述手部图像中的第二坐标位置和第一手势。2.根据权利要求1所述的方法，其特征在于，所述检测到所述视频数据中的视频图像满足预设检测条件之前，所述方法还包括：将所述视频图像的色域调整至目标色域；和/或，将所述视频图像的尺寸调整至预设尺寸。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一坐标位置确定包含所述人手的手部图像，包括：获取与所述第一坐标位置对应的人手检测框；按照预设比例系数将所述人手检测框进行放大，得到放大后的人手检测框；根据放大后的人手检测框对所述视频图像进行剪裁，得到裁剪后的视频图像；对所述剪裁后的视频图像进行归一化和/或去均值操作，得到包含所述人手的手部图像。4.根据权利要求3所述的方法，其特征在于，所述视频数据中的视频图像满足预设检测条件为所述视频数据中的视频图像位于所述视频数据中的帧号处于预设帧号范围内。5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述手部图像输入第二神经网络模型进行手部第二次检测和手势识别，得到所述人手在所述手部图像中的第二坐标位置和第一手势之后，所述方法还包括：根据所述人手在所述手部图像中的第二坐标位置，以及所述手部图像在所述视频图像中的第一坐标位置，确定所述人手在所述视频图像中的第三坐标位置。6.根据权利要求5所述的方法，其特征在于，所述确定所述人手在所述视频图像中的第三坐标位置之后，所述方法还包括：根据所述视频图像的前n帧视频图像中的人手的坐标位置，对所述人手在所述视频图像中的第三坐标位置进行第一平滑处理，得到所述人手在所述视频图像中的目标坐标位置，所述n为大于1的整数；根据所述前n帧视频图像中的人手的手势，对所述第一手势进行第二平滑处理，得到第二手势。7.根据权利要求6所述的方法，其特征在于，所述根据所述视频图像的前n帧视频图像中的人手的坐标位置，对所述人手在所述视频图像中的第三坐标位置进行第一平滑处理，得到所述人手在所述视频图像中的目标坐标位置，包括：分别获取所述视频图像的前n帧视频图像中的人手的坐标位置；根据所述前n帧视频图像中的人手的坐标位置，分别获取所述前n帧视频图像中的人手的第一中心位置；根据所述人手在所述视频图像中的第三坐标位置确定所述视频图像中的人手的第二
中心位置；根据n个第一中心位置确定所述n个第一中心位置的平均中心位置；若所述平均中心位置与所述第二中心位置之间的距离处于预设变换差值范围内，则确定所述人手在所述视频图像中的第三坐标位置为目标坐标位置；或者，若所述平均中心位置与所述第二中心位置之间的距离未处于所述预设变换差值范围内，则调整所述人手在所述视频图像中的第三坐标位置，得到所述人手在所述视频图像中的第四坐标位置；根据所述人手在所述视频图像中的第四坐标位置确定所述视频图像中的人手的第三中心位置；若所述平均中心位置与所述第三中心位置之间的距离处于所述预设变换差值范围内，则确定所述人手在所述视频图像中的第四坐标位置为目标坐标位置。8.根据权利要求7所述的方法，其特征在于，所述根据所述前n帧视频图像中的人手的手势，对所述第一手势进行第二平滑处理，得到第二手势，包括：根据所述前n帧视频图像中的人手的手势和预设的变换手势运动平滑关系确定所述视频图像的预测手势；若所述第一手势与所述预测手势匹配，则将所述第一手势作为第二手势；或者，若所述第一手势与所述预测手势不匹配，则将所述预测手势作为第二手势。9.一种手势识别装置，其特征在于，包括：获取模块，用于获取目标场景的视频数据；第一检测模块，用于若检测到所述视频数据中的视频图像满足预设检测条件，则将所述视频图像输入第一神经网络模型进行手部第一次检测，得到所述视频图像中的人手的第一坐标位置；确定模块，用于根据所述第一坐标位置确定包含所述人手的手部图像；第二检测模块，用于将所述手部图像输入第二神经网络模型进行手部第二次检测和手势识别，得到所述人手在所述手部图像中的第二坐标位置和第一手势。10.一种终端设备，其特征在于，所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。

技术总结
本申请适用于机器视觉技术领域，提供了一种手势识别方法、装置、终端设备及计算机可读存储介质，方法包括：获取目标场景的视频数据；若检测到视频数据中的视频图像满足预设检测条件，则将视频图像输入第一神经网络模型进行手部第一次检测，得到视频图像中的人手的第一坐标位置；根据第一坐标位置确定包含人手的手部图像；将手部图像输入第二神经网络模型进行手部第二次检测和手势识别，得到人手在手部图像中的第二坐标位置和第一手势。本申请由于可先通过第一次检测进行手部粗略检测获取视频图像中人手的第一坐标位置；根据第一坐标位置，获取手部图像，再对手部图像进行手势识别，有助于提高手部检测的准确性，进而提高了手势识别的准确性。识别的准确性。识别的准确性。


技术研发人员：叶显一
受保护的技术使用者：武汉TCL集团工业研究院有限公司
技术研发日：2020.10.12
技术公布日：2022/4/15