基于二维图像获取目标物体三维位姿参数的网络训练方法与流程

1.本发明涉及计算机领域，尤其涉及一种基于二维图像获取目标物体三维位姿参数的网络训练方法。


背景技术：

2.姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都有应用。在不同领域用于姿态估计的传感器是不一样的，在这里主要讲基于视觉的姿态估计。基于视觉的姿态估计根据使用的摄像机数目又可分为单目视觉姿态估计和多目视觉姿态估计。
3.目前许多研究方案基本都是基于激光点云来对目标姿态进行估计，其获得数据的硬件设备成本极高，且使用寿命短。同时其数据量大处理过程复杂且效率慢。


技术实现要素：

4.本发明的目的在于提供一种基于二维图像获取目标物体三维位姿参数的网络训练方法，解决网络模型训练过程效率低的问题。
5.为实现上述发明目的，本发明提供一种基于二维图像获取目标物体三维位姿参数的网络训练方法，包括以下步骤：
6.s1.通过图像采集装置采集目标物体的二维图像；
7.s2.基于所述二维图像获取所述目标物体上的多个特征点，以及基于所述目标物体所在的三维坐标系获取与所述特征点相对应的特征点投影坐标；
8.s3.基于所述二维图像和所述特征点投影坐标对深度学习网络进行训练，并输出以所述二维图像和所述特征点投影坐标为输入，以所述目标物体的三维位姿参数为输出的深度学习网络。
9.根据本发明的一个方面，步骤s3中，基于所述特征点投影坐标生成所述目标物体在所述坐标系中的三维位姿向量，基于所述三维位姿向量生成所述目标物体的三维位姿参数。
10.根据本发明的一个方面，步骤s2中，基于所述二维图像获取所述目标物体上的多个特征点的步骤中，包括：
11.s21.基于所述目标物体所在的三维坐标系，建立包含所述目标物体的最小三维包络；
12.s22.选取所述三维包络上的多个顶点和一个中心点为所述特征点，并获取所述特征点在所述三维坐标系中的坐标。
13.根据本发明的一个方面，所述三维包络为矩形体包络，所述特征点包括所述矩形体包络的8个顶点和1个中心点。
14.根据本发明的一个方面，步骤s2中，基于所述目标物体所在的三维坐标系获取与所述特征点相对应的特征点投影坐标的步骤中，根据所述图像采集装置在所述三维坐标系的三维姿态获取所述特征点在所述二维图像中的所述特征点投影坐标，或者通过目标物体
的数字模型获取三维坐标系坐标，并根据所述图像采集装置在所述三维坐标系的三维姿态和所述三维坐标系坐标获取所述特征点在所述二维图像中的所述特征点投影坐标。
15.根据本发明的一个方面，采用边云协同系统执行所述网络训练方法；其中，所述边云协同系统包括：基于人工智能芯片的边缘计算模组和与所述边缘计算模组相连的云计算存储单元。
16.根据本发明的一个方面，所述边缘计算模组采集所述目标物体的二维图像并上传至所述云计算存储单元，所述云计算存储单元基于所述二维图像执行步骤s2至s3获取所述深度学习网络。
17.根据本发明的一个方面，所述边缘计算模组采集所述目标物体的二维图像并执行步骤s2至s3获取边缘端深度学习网络，以及所述边缘计算模组将采集的所述二维图像传输至所述云计算存储单元；
18.所述云计算存储单元基于所述二维图像执行步骤s2至s3获取初始深度学习网络，以及，所述云计算存储单元获取所述边缘端深度学习网络对所述初始深度学习网络进行补充训练输出所述深度学习网络。
19.根据本发明的一个方面，步骤s21中，获取所述目标物体的数字模型，并调整所述数字模型的位姿与所述二维图像中的目标物体的轮廓相拟合，基于所述数字模型获取所述三维包络的位姿；
20.步骤s22中，基于所述三维包络的位姿获取所述特征点在所述三维坐标系中的坐标。
21.根据本发明的一个方面，所述目标物体设置于标定板上；
22.步骤s21中，基于所述标定板的位姿获取所述三维包络的位姿；
23.步骤s22中，基于所述三维包络的位姿获取所述特征点在所述三维坐标系中的坐标。
24.根据本发明的一个方面，所述图像采集装置设置于机械臂上；
25.步骤s21中，基于所述机械臂的机械臂坐标系、所述图像采集装置的采集装置坐标系和所述三维坐标系建立坐标系转换关系，基于所述转换关系和所述机械臂与所述图像采集装置安装位置的位姿获取所述三维包络的位姿；
26.步骤s22中，基于所述三维包络的位姿获取所述特征点在所述三维坐标系中的坐标。
27.根据本发明的一个方面，步骤s2中.基于所述二维图像获取所述目标物体上的多个特征点的步骤中，还包括：
28.s20.获取所述目标物体的数字模型和步骤s1中所述二维图像，变换所述数字模型的位姿，并基于所述二维图像中的纹理信息构建新二维图像，基于所述二维图像和新二维图像执行所述步骤s21至s22。
29.根据本发明的一种方案，采用本发明的方案训练获取的网络模型，只需要获取目标物体的二维图像即可准确的获知目标物体在空间三维的位姿数据，实现了数据处理量小，计算效率高的优点。同时，本方案所获取的模型的数据量小可以方便的部署至边缘端运行。
30.根据本发明的一种方案，通过构建包含目标物体的最小三维包络，这样可以有效
的将复杂或不规则的目标物体规则化，进而在保证了目标物体位姿不发生变化的情况下获取相应的特征点。尤其是能够有效降低获取特征点的难度，以及简化特征点坐标位置的获取。极大的提高了本方案的处理效率和处理精度。
31.根据本发明的一种方案，通过采用图像采集装置的三维姿态(如用高精度机械臂获取图像采集装置的三维姿态，或者用vslam视觉手段推断图像采集装置的三维姿态)获取二维图像中特征点的投影坐标，有效的提高了获取特征点投影坐标的效率，避免了对实际目标物体的测量等操作，不仅坐标获取效率高，而且还能有效保证获取精度。
32.根据本发明的一种方案，通过采用边云协同系统执行该网络训练方法，可以通过部署在不同位置的边缘端采集二维图像，汇总到云端对网络模型进行训练，可以使得网络模型的判断精度和涵盖范围更广。尤其是通过云端训练完成后还可部署至边缘端，这样使得边缘端也具有了判断的能力，使得本发明获取的网络模型的应用更加广泛有效，以及灵活快捷。
33.根据本发明的一种方案，通过采用边云协同系统执行该网络训练方法，可以通过部署在不同位置的边缘端采集二维图像，在边缘端即可实现对网络模型的训练。同时，边缘端也可将采集的二维图像上传至云端进行网络训练，实现了同步的双重训练过程。进而，在边缘端训练完成后，云端接收边缘端的训练结果用以补充云端训练结果，这样使得云端训练的网络更加完善，进而将其部署至边缘端时，其判断效率、精度会进一步得到增强。
34.根据本发明的一种方案，通过采用数字模型(即三维模型)的位姿变换与二维图像中的目标物体进行拟合，其模型获取方便，且位姿变换灵活，进而，能够更好的满足拟合精度，对精确获取特征点的坐标有利。
35.根据本发明的一种方案，通过采用标定板直接获取目标物体的三维包络的位姿，这样使得位姿的获取简单直接，效率高。
36.根据本发明的一种方案，通过采用机械臂，以及各坐标系之间的坐标系转换关系，这样使得特征点坐标的获取直接可以基于计算获得，有利于使得获取特征点坐标的过程实现实现自动化，对进一步提高本方案的计算效率有利。
37.根据本发明的一种方案，通过采用数字模型和已有二维图像进行变换组合的方式，使得其能够在不需要额外进行图像采集的过程即可实现二维图像样本的扩展，对提高本方案的训练效果和精度更为有利。
附图说明
38.图1示意性表示根据本发明的一种实施方式的网络训练方法的步骤框图。
具体实施方式
39.为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相
关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
41.下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
42.如图1所示，根据本发明的一种实施方式，本发明的基于二维图像获取目标物体三维位姿参数的网络训练方法，包括以下步骤：
43.s1.通过图像采集装置采集目标物体的二维图像；
44.s2.基于二维图像获取目标物体上的多个特征点，以及基于目标物体所在的三维坐标系获取与特征点相对应的特征点投影坐标；
45.s3.基于二维图像和特征点投影坐标对深度学习网络进行训练，并输出以二维图像和所述特征点投影坐标为输入，以目标物体的三维位姿参数为输出的深度学习网络。
46.根据本发明的一种实施方式，步骤s3中，基于特征点投影坐标生成目标物体在坐标系中的三维位姿向量，基于三维位姿向量生成目标物体的三维位姿参数。
47.根据本发明的一种实施方式，步骤s2中，基于二维图像获取目标物体上的多个特征点的步骤中，包括：
48.s21.基于目标物体所在的三维坐标系，建立包含目标物体的最小三维包络；
49.s22.选取三维包络上的多个顶点和一个中心点为特征点，并获取特征点在三维坐标系中的坐标。
50.根据本发明的一种实施方式，三维包络为矩形体包络，特征点包括矩形体包络的8个顶点和1个中心点。
51.根据本发明，通过构建包含目标物体的最小三维包络，这样可以有效的将复杂或不规则的目标物体规则化，进而在保证了目标物体位姿不发生变化的情况下获取相应的特征点。尤其是能够有效降低获取特征点的难度，以及简化特征点坐标位置的获取。极大的提高了本方案的处理效率和处理精度。
52.根据本发明的一种实施方式，步骤s2中，基于目标物体所在的三维坐标系获取与特征点相对应的特征点投影坐标的步骤中，根据图像采集装置在三维坐标系的三维姿态获取特征点在二维图像中的特征点投影坐标坐标，或者通过目标物体的数字模型获取三维坐标系坐标，并根据所述图像采集装置在所述三维坐标系的三维姿态和所述三维坐标系坐标获取所述特征点在所述二维图像中的所述特征点投影坐标。在本实施方式中，可采用用高精度机械臂获取图像采集装置的三维姿态，或者用vslam视觉手段推断图像采集装置的三维姿态。
53.根据本发明，通过采用图像采集装置的三维姿态获取二维图像中特征点的投影坐标，有效的提高了获取特征点投影坐标的效率，避免了对实际目标物体的测量等操作，不仅坐标获取效率高，而且还能有效保证获取精度。
54.根据本发明的一种实施方式，采用边云协同系统执行网络训练方法；其中，边云协同系统包括：基于人工智能芯片的边缘计算模组和与边缘计算模组相连的云计算存储单元。在本实施方式中，边缘计算模组采集目标物体的二维图像并上传至云计算存储单元，云计算存储单元基于二维图像执行步骤s2至s3获取深度学习网络。
55.根据本发明，通过采用边云协同系统执行该网络训练方法，可以通过部署在不同位置的边缘端采集二维图像，汇总到云端对网络模型进行训练，可以使得网络模型的判断精度和涵盖范围更广。尤其是通过云端训练完成后还可部署至边缘端，这样使得边缘端也具有了判断的能力，使得本发明获取的网络模型的应用更加广泛有效，以及灵活快捷。
56.根据本发明的另一种实施方式，边缘计算模组采集目标物体的二维图像并执行步骤s2至s3获取边缘端深度学习网络，以及边缘计算模组将采集的二维图像传输至所述云计算存储单元。在本实施方式中，云计算存储单元基于二维图像执行步骤s2至s3获取初始深度学习网络，以及，云计算存储单元获取边缘端深度学习网络对初始深度学习网络进行补充训练输出深度学习网络。
57.根据本发明，通过采用边云协同系统执行该网络训练方法，可以通过部署在不同位置的边缘端采集二维图像，在边缘端即可实现对网络模型的训练。同时，边缘云端也可将采集的二维图像上传至云端进行网络训练，实现了同步的双重训练过程。进而，在边缘端训练完成后，云端接收边缘端的训练结果用以补充云端训练结果，这样使得云端训练的网络更加完善，进而将其部署至边缘端时，其判断效率、精度会进一步得到增强。
58.根据本发明的一种实施方式，步骤s21中，获取目标物体的数字模型，并调整数字模型的位姿与二维图像中的目标物体的轮廓相拟合，基于数字模型获取三维包络的位姿；
59.进而，在步骤s22中，基于三维包络的位姿获取特征点在三维坐标系中的坐标。
60.根据本发明，通过采用数字模型(即三维模型)的位姿变换与二维图像中的目标物体进行拟合，其模型获取方便，且位姿变换灵活，进而，能够更好的满足拟合精度，对精确获取特征点的坐标有利。
61.根据本发明的另一种实施方式，目标物体设置于标定板上。在本实施方式中，步骤s21中，基于标定板的位姿获取三维包络的位姿；
62.进而，在步骤s22中，基于三维包络的位姿获取特征点在三维坐标系中的坐标。
63.根据本发明，通过采用标定板直接获取目标物体的三维包络的位姿，这样使得位姿的获取简单直接，效率高。
64.根据本发明的另一种实施方式，图像采集装置设置于机械臂上。在本实施方式中，步骤s21中，基于机械臂的机械臂坐标系、图像采集装置的采集装置坐标系和三维坐标系建立坐标系转换关系，基于转换关系和机械臂与图像采集装置安装位置的位姿获取三维包络的位姿；
65.进而，在步骤s22中，基于三维包络的位姿获取特征点在三维坐标系中的坐标。
66.根据本发明，通过采用机械臂，以及各坐标系之间的坐标系转换关系，这样使得特征点坐标的获取直接可以基于计算获得，有利于使得获取特征点坐标的过程实现实现自动化，对进一步提高本方案的计算效率有利。
67.根据本发明的一种实施方式，步骤s2中.基于所述二维图像获取所述目标物体上的多个特征点的步骤中，还包括：
68.s20.获取目标物体的数字模型和步骤s1中二维图像，变换数字模型的位姿，并基于二维图像中的纹理信息构建新二维图像，基于二维图像和新二维图像执行步骤s21至s22。
69.根据本发明，通过采用数字模型和已有二维图像进行变换组合的方式，使得其能
够在不需要额外进行图像采集的过程即可实现二维图像样本的扩展，对提高本方案的训练效果和精度更为有利。
70.上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
71.以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。