在根据演示的示教中的双手检测的制作方法

技术特征：
1.一种用于图像中的双手检测的方法，所述方法包括：提供包括人类的左手和右手的图像；使用在具有处理器和存储器的计算机上运行的第一神经网络来分析所述图像，以确定所述左手和所述右手的身份和在所述图像中的位置；创建左手子图像和右手子图像，其中，从所述图像裁剪所述子图像中的每一个；将所述子图像提供给在所述计算机上运行的第二神经网络，包括水平地翻转所述左手子图像或所述右手子图像；通过所述第二神经网络分析所述子图像以确定所述左手和所述右手上的多个关键点的三维(3d)坐标；以及由机器人示教程序使用所述关键点的所述3d坐标来限定夹持器姿态，包括水平翻转所述左手或所述右手上的所述关键点的所述坐标。2.根据权利要求1所述的方法，其中，所述图像由二维(2d)数字相机提供。3.根据权利要求1所述的方法，其中，所述第一神经网络被训练为在训练过程中区分所述左手和所述右手，在所述训练过程中，将其中左手和右手被预先识别的多个训练图像提供给所述第一神经网络。4.根据权利要求3所述的方法，其中，所述第一神经网络分析所述训练图像以识别左手和右手的区别特征，所述区别特征包括手指的曲率和相对位置。5.根据权利要求1所述的方法，其中，所述子图像中的每一个被裁剪为在预定的边界内包括所述左手或所述右手。6.根据权利要求1所述的方法，其中，水平地翻转所述左手子图像或所述右手子图像包括当使用右手的训练图像来训练所述第二神经网络时水平地翻转所述左手子图像，并且当使用左手的训练图像来训练所述第二神经网络时水平地翻转所述右手子图像。7.根据权利要求1所述的方法，其中，所述左手和所述右手上的所述多个关键点包括拇指指尖、拇指指节、四指指尖和四指指节。8.根据权利要求1所述的方法，其中，水平地翻转所述左手或所述右手上的所述关键点的所述坐标包括水平地翻转在由所述第二神经网络分析之前其子图像已被翻转的手上的所述关键点的所述坐标。9.根据权利要求8所述的方法，其中，水平翻转所述关键点的所述坐标包括水平翻转所述坐标跨越竖直平面以将所述坐标恢复到其在所述图像中的位置。10.根据权利要求1所述的方法，其中，所述图像还包括一个或多个工件，并且所述夹持器姿态以及工件位置和姿态被所述机器人示教程序用于创建用于机器人的工件拾取和放置指令。11.根据权利要求10所述的方法，其中，所述指令从所述计算机提供给机器人控制器，并且所述机器人控制器向所述机器人提供控制命令以执行工件操作。12.一种用于通过人类演示对机器人进行编程以执行操作的方法，所述方法包括：通过人类用双手演示对工件的操作；通过计算机分析演示对所述工件的所述操作的所述双手的相机图像，以创建包括根据所述双手的关键点的三维(3d)坐标计算的夹持器姿态的演示数据，其中所述关键点的所述3d坐标是通过第一神经网络和第二神经网络根据所述图像确定的，所述第一神经网络用于
识别所述图像中的左手和右手，所述第二神经网络用于计算所识别的左手和右手的子图像中的所述3d坐标；基于所述演示数据生成使所述机器人执行对所述工件的所述操作的机器人运动命令；以及通过所述机器人执行对所述工件的所述操作。13.根据权利要求12所述的方法，其中，所述演示数据包括在所述操作的抓持步骤中的手坐标系、对应于所述手坐标系的夹持器坐标系和工件坐标系的位置和取向。14.根据权利要求12所述的方法，其中，所述第一神经网络被训练为在训练过程中区分所述左手和所述右手，在所述训练过程中，将其中左手和右手被预先识别的多个训练图像提供给所述第一神经网络。15.根据权利要求12所述的方法，其中，在被提供给所述第二神经网络之前，所述左手子图像或所述右手子图像被水平地翻转，并且在由所述第二神经网络计算之后，所述左手或所述右手的所述关键点的所述3d坐标被水平地翻转。16.根据权利要求15所述的方法，其中，当使用右手的训练图像来训练所述第二神经网络时，所述左手子图像和所述左手的所述关键点的3d坐标被水平翻转。17.一种用于图像中的双手检测的系统，其用于通过人类演示对机器人进行编程以执行操作，所述系统包括：相机；计算机，其具有处理器和存储器并且与所述相机通信，所述计算机被配置成执行包括以下的步骤:使用第一神经网络分析包括人类的左手和右手的图像，以确定所述左手和所述右手的身份和在所述图像中的位置；创建左手子图像和右手子图像，其中，从所述图像裁剪所述子图像中的每一个；将所述子图像提供给在所述计算机上运行的第二神经网络，包括水平地翻转所述左手子图像或所述右手子图像；通过所述第二神经网络分析所述子图像以确定所述左手和所述右手上的多个关键点的三维(3d)坐标；以及使用所述关键点的所述3d坐标来限定用于对机器人进行编程的夹持器姿态，包括水平翻转所述左手或所述右手上的所述关键点的所述坐标。18.根据权利要求17所述的系统，其中，所述第一神经网络被训练为在训练过程中区分所述左手和所述右手，在所述训练过程中，将其中左手和右手被预先识别的多个训练图像提供给所述第一神经网络，并且其中，所述第一神经网络分析所述训练图像以识别左手和右手的区别特征，所述区别特征包括手指的曲率和相对位置。19.根据权利要求17所述的系统，其中，水平地翻转所述左手子图像或所述右手子图像包括当使用右手的训练图像来训练所述第二神经网络时水平地翻转所述左手子图像，并且当使用左手的训练图像来训练所述第二神经网络时水平地翻转所述右手子图像。20.根据权利要求19所述的系统，其中，水平地翻转所述左手或所述右手上的所述关键点的所述坐标包括水平地翻转在由所述第二神经网络分析之前其子图像已被翻转的手上的所述关键点的所述坐标。

技术总结
一种用于在根据人类演示的机器人示教中进行双手检测的方法。将演示者的手和工件的相机图像提供给第一神经网络，该第一神经网络根据该图像确定人类演示者的左手和右手的身份，并且还提供所识别的手的裁剪子图像。使用其中左手和右手被预先识别的图像来训练第一神经网络。然后，将裁剪子图像提供给第二神经网络，第二神经网络根据图像检测左手和右手两者的姿态，其中，如果利用右手图像训练第二神经网络，则在手姿态检测之前和之后水平地翻转左手的子图像。手姿态数据被转换为机器人夹持器姿态数据，并用于通过人类演示来示教机器人执行操作。操作。操作。


技术研发人员：王凯濛 加藤哲朗
受保护的技术使用者：发那科株式会社
技术研发日：2021.09.02
技术公布日：2022/3/15