一种机器人手势遥操作方法及相关装置

技术特征：
1.一种机器人手势遥操作方法，其特征在于，包括：采集用户的手势图像信息，所述手势图像信息为表示所述用户的手动作的图像信息；根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，所述手势方框信息为表示所述用户的手的范围的信息，所述手势置信度表示所述手势姿态信息与所述用户的手指姿态相符的概率，所述手势姿态信息为表示手势数据库中与所述用户的手指姿态相符的概率最大的姿态的信息；通过所述手势图像信息估计出关键点中心信息和手势方向信息，所述关键点中心信息为表示预估的手的中心位置信息，所述手势方向信息为表示所述用户的手的朝向信息；根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；通过第一目标手势信息控制机器人的机械手动作，所述第一目标手势信息包括所述手势类别信息、所述手势三维位置信息、所述手势方向信息和所述手势姿态信息。2.根据权利要求1所述的手势遥操作方法，其特征在于，根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，包括：对色彩图像进行特征提取得到特征图，所述色彩图像为所述手势图像信息的部分信息；基于深度图像，对所述特征图进行检测得到所述手势三维位置信息和所述手势方框信息，所述深度图像为所述手势图像信息的部分信息；对所述手势方框信息进行归类得到所述手势姿态信息和所述手势置信度。3.根据权利要求2所述的手势遥操作方法，其特征在于，通过所述手势图像信息估计出关键点中心信息和手势方向信息，包括：根据所述色彩图像确定关键点二维信息；基于所述深度图像，通过所述关键点二维信息确定所述关键点三维信息；通过所述关键点三维信息计算出所述关键点中心信息和所述手势方向信息。4.根据权利要求3所述的手势遥操作方法，其特征在于，根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，包括：判断所述手势置信度是否大于置信度阈值，所述置信度阈值为预先设定的常值；若是，则判断所述关键点中心信息是否与所述手势方框信息相匹配；若匹配，则根据与所述手势方框信息相匹配的关键点中心信息确定所述手势类别信息；若否，则判断所述关键点中心信息中预估的手的中心位置与所述手势三维位置信息中判定的手的中心位置的距离是否小于距离阈值；若小于，则根据与判定的手的中心位置的距离小于所述距离阈值的预估的手的中心位置的类别确定所述手势类别信息。5.根据权利要求4所述的手势遥操作方法，其特征在于，通过第一目标手势信息控制机器人的机械手动作，包括：通过所述手势三维位置信息进行计算得到机械手位置信息；通过所述手势方向信息进行计算得到机械手方向信息；通过第二目标手势信息控制所述机械手动作，所述第二目标手势信息包括所述手势类
别信息、所述机械手位置信息、所述机械手方向信息和所述手势姿态信息。6.根据权利要求3所述的手势遥操作方法，其特征在于，基于所述深度图像，通过所述关键点二维信息确定所述关键点三维信息，包括：通过以下公式计算得到所述关键点三维信息：通过以下公式计算得到所述关键点三维信息：通过以下公式计算得到所述关键点三维信息：z
i
、x
i
和y
i
为第i个关键点的三维坐标信息，即所述关键点三维信息；d
i
为第i个关键点的深度值，由所述深度图像得到；s为所述深度图像的深度范围；u
i
和v
i
为第i个关键点的二维坐标信息，即所述关键点二维信息；cx，cy为所述深度图像的中心点坐标值；fx为相机在x轴的焦距，fy为所述相机在y轴的焦距。7.根据权利要求3所述的手势遥操作方法，其特征在于，通过所述关键点三维信息计算出所述关键点中心信息，包括：通过以下公式计算得到所述关键点中心信息：通过以下公式计算得到所述关键点中心信息：通过以下公式计算得到所述关键点中心信息：x、y和z为预估的对应类别的手的中心坐标信息；z
i
、x
i
和y
i
为对应类别的手的第i个关键点的三维坐标信息；k为对应类别的手的关键点总个数。8.一种机器人手势遥操作装置，其特征在于，包括：采集单元，用于采集用户的手势图像信息，所述手势图像信息为表示所述用户的手动作的图像信息；处理单元，用于根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息，所述手势方框信息为表示所述用户的手的范围的信息，所述手势置信度表示所述手势姿态信息与所述用户的手指姿态相符的概率，所述手势姿态信息为表示手势数据库中与所述用户的手指姿态相符的概率最大的姿态的信息；估计单元，用于通过所述手势图像信息估计出关键点中心信息和手势方向信息，所述
关键点中心信息为表示预估的手的中心位置信息，所述手势方向信息为表示所述用户的手的朝向信息；所述处理单元，还用于根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；控制单元，用于通过第一目标手势信息控制机器人的机械手动作，所述第一目标手势信息包括所述手势类别信息、所述手势三维位置信息、所述手势方向信息和所述手势姿态信息。9.一种机器人手势遥操作装置，其特征在于，包括：中央处理器，存储器以及输入输出接口；所述存储器为短暂存储存储器或持久存储存储器；所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行权利要求1至7中任意一项所述的方法。10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。

技术总结
本申请实施例公开了一种机器人手势遥操作方法，包括：采集用户的手势图像信息；根据所述手势图像信息得到手势方框信息、手势三维位置信息、手势置信度和手势姿态信息；通过所述手势图像信息估计出关键点中心信息和手势方向信息；根据所述手势方框信息、所述手势置信度和所述关键点中心信息得到手势类别信息，所述手势类别信息表示所述用户的手的左右类别；通过第一目标手势信息控制机器人的机械手动作。作。作。


技术研发人员：高庆 陈勇全 池楚亮 王启文 沈文心 房俊雯
受保护的技术使用者：香港中文大学（深圳）
技术研发日：2022.01.24
技术公布日：2022/5/17