一种3D目标检测数据集采集装置与标注方法

一种3d目标检测数据集采集装置与标注方法
技术领域
1.本发明涉及一种图像数据集采集装置与采集方法，具体涉及一种 3d目标检测图像数据集装置与采集方法。


背景技术：

2.3d目标检测与位姿估计是近些年研究的热点，在机器人智能抓取、自动驾驶与增强现实等领域有着不可替代的作用。随着深度学习的快速发展，利用深度学习技术实现3d目标检测和位姿估计已经成为一种不可逆的趋势。然而深度学习技术离不开大量的数据而且需要标注，现阶段的数据集分为软件虚拟合成与现实场景采集：合成的数据集泛化性较差；真实场景下的数据集大多要借助工业机械臂还要配合aruco码进行标注，具有过程复杂、对硬件要求高、标注繁琐不够准确、图像背景中还被大量aruco码占据等缺点。真实场景下的3d 目标检测与位姿估计图像数据集的采集和标注给大量研究学者带来了极大的困扰，使学者们无法将更多的时间研究3d目标检测和位姿估计算法上，无法将研究的算法更多的运用于实践。


技术实现要素：

3.为了解决背景技术中存在的问题，本发明设计出一种3d目标检测图像数据集装置，该装置可以不是使用其他外部标记和标注工具直接采集到一定半径范围中相机在目标半球面上的任何位姿处的图像并直接给出标注信息。
4.为了实现上述目标，本发明采用如下技术方案：
5.一种3d目标检测图像数据集采集装置，包括旋转装置底座，所述旋转装置底座上方设置有旋转平台，所述旋转装置底座内部设置有第一旋转电机，所述第一旋转电机与旋转平台连接，所述旋转装置底座的一侧固定安装有滑道和直线电机，所述滑道上通过滑块滑动连接有l形滑动座，所述l形滑动座由水平板和侧板焊接而成，所述直线电机与所述l形滑动座的侧板连接，所述滑动座的水平板上方固定安装有升降电机和支撑架，所述支撑架的内部安装有导杆和丝杠，所述升降电机通过传动机构与所述丝杠连接，所述丝杠上安装有升降螺母，所述升降螺母与所述导杆滑动连接；所述升降螺母的一侧固定安装有横梁，所述横梁远离升降螺母的一侧固定安装有角度调节电机，所述角度调节电机的输出轴上固定安装有u形支座，所述u形支座的内部固定安装有第二旋转电机，所述第二旋转电机的输出轴穿出u 形支座，所述第二旋转电机的输出轴的端部固定安装有连接板，所述连接板上固定安装有相机。
6.一种数据集采集和标注方法，包括如下步骤：
7.步骤s1.图像采集
8.通过改变5个电机(第一旋转电机、直线电机6、升降电机15、角度调节电机10和第二旋转电机12)的参数n1,n2,n3,n4,n5(其中 n1,n2,n3,n4,n5分别为5个电机的转速，单位为转/s)，使整个装置缓慢平滑的运动，从而带动相机在不同位姿处对不同位姿处的目标物体
进行拍照，形成的图像在电脑中自动保存为彩色图像和深度图像，即完成了图像的采集。
9.步骤s2.图像标注
10.s21：相机标定求相机内参矩阵k。相机标定简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的内参矩阵k。首先在电脑上绘制一个9x7的棋格盘，黑白格子相间，测量出每个小格子的大小。再打印出来贴在平面上，利用相机采集棋格盘不同角度的10-20 张图片作为数据集，接着将采集的数据集读入matlab中的cameracalibrator工具，进行棋格盘的角点检测，通过n个对应的世界坐标三维点xi和对应的图像坐标二维点xi之间的坐标转换可以得到相机内参k。
11.s22：求解待标注物体表面点的世界坐标。以相机开机的第一帧的相机光心为原点，相机坐标系为世界坐标系，即第一帧的相机坐标系和世界坐标系重合，则世界坐标即为相机坐标，在第一帧图像上手动标出待标注物体的矩形框，则通过相机标定的内参k和待标注物体的矩形框的像素坐标可以得到矩形框内所有点的世界坐标，记录此时的电机参数(n1,n2,n3,n4,n5)，可以设此时的电机状态为初始状态，则此时的相机坐标系为世界坐标系，通过调整电机参数 (n1,n2,n3,n4,n5)可以使相机在不同位姿处拍照，得到待标注物体表面更多的点的世界坐标信息，以上预处理操作可以得到待标注物理表面大多数点的世界坐标。
12.s23：两两帧之间的相机位姿估计。将第一帧视为参考帧，第二帧视为当前帧。分别在当前帧和参考帧图像上寻找orb特征点，并在两帧图像之间进行特征点匹配，利用对极几何约束求出两帧图像之间相机的位姿变换，而参考帧的相机位姿已知，故而可以求得当前帧的相机位姿，在每两帧图像之间进行相同的运算，如此反复，可以得到每一帧的相机位姿。
13.s24：求解物体在图像中的像素坐标。设第一帧的相机坐标系为世界坐标系，即第一帧的相机光心位姿为 pw(x,y,z,θ1,θ2,θ3)＝(0,0,0,0,0,0)，可知相机的位置(x,y,z)和姿态 (θ1,θ2,θ3)均与电机参数(n1,n2,n3,n4,n5)有关，其中(x,y,z)为相机光心在世界坐标系下的坐标，描述了相机位置，(θ1,θ2,θ3)为相机坐标系相对于世界坐标系的三轴旋转角，描述了相机的旋转。故建立相机光心的位姿坐标与电机参数之间的函关系式，可以表示为 pw(x,y,z,θ1,θ2,θ3)＝ [f1(n1,n2,n3,n4,n5),f2(n1,n2,n3,n4,n5),f3(n3),f4(n4,n5),f5(n4,n5),f6(n4,n5)] ，而相机的位姿估计可通过两两帧的图像特征匹配求得，通过改变电机参数让相机在不同位姿处对物体进行拍照，通过多组对应的电机参数和相机光心位姿建立的方程式可以求解相机位姿与电机参数 (n1,n2,n3,n4,n5)的关系。根据相机位姿可以求得相机的外参矩阵:
[0014][0015]
根据相机标定求得相机的内参矩阵为:
[0016][0017]
世界坐标与像素坐标的转换关系为:
[0018]
其中zc为像素深度
[0019]
根据坐标转换关系和物体表面点的世界坐标，可以求得物体在图像中的像素坐标p(u,v)。
[0020]
s25：标出物体在图像中的位置。本装置的标注算法思路是：在求得的物体像素坐标里依次选取 p1(u最小),p2(u最大),p3(v最小),p4(v最大)这四个点，分别过p1,p2作平行于像素坐标系y轴的直线，过p3,p4作平行于像素坐标x轴的直线，则这四条直线的交点构成的矩形为物体所在位置，即完成了物体的自动标注。
[0021]
本发明相较于以前3d目标检测数据集采集装置的优点在于：在获取图像信息的同时可通过各电机的状态直接推出目标与相机相对位姿；本装置无需借助其他外部标记(如aruco码)进行标注，使得图像背景更加多样化；本装置相对于使用手持相机拍摄更平稳图像质量更高，位姿更准确；本装置相对于工业机械臂持相机采集图像，具有结构更简单、编程更容易、位姿更好确定、造价更低、移动更方便等特点。最后，本装置还可扩展用于三维重建，3d打印、写字画画雕刻等其他用途。
附图说明
[0022]
图1是装置结构示意图；
[0023]
图2是数据集采集和标注的具体过程。
[0024]
附图标记的含义：1-旋转装置底座；2-旋转平台；3-滑道；4-滑块；5-l形滑动座5；6-直线电机；7-支撑架；8-升降螺母；9-横梁； 10-角度调节电机；11-u形支座；12-第二旋转电机；13-连接板；14
‑ꢀ
相机；15-升降电机；16-丝杆。
具体实施方式
[0025]
下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明发范围。对于本领域的技术人员，在不脱离本发明思想、方法的前提下，还可以做出一些改进和补充，这些应当理解，凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
[0026]
如图1所示，一种3d目标检测图像数据集采集装置，包括旋转装置底座1，所述旋转装置底座1上方设置有旋转平台2，所述旋转装置底座1内部设置有第一旋转电机(未示出)，所述第一旋转电机与旋转平台2连接，带动所述旋转平台2旋转，所述旋转装置底座1 的一侧固定安装有滑道3和直线电机6，所述滑道3上通过滑块4滑动连接有l形滑动座5，所述l形
滑动座5由水平板和侧板焊接而成，所述直线电机6与所述l形滑动座5的侧板连接，通过直线电机6 的伸缩运动，能够带动l形滑动座5沿所述滑道进行往复移动；所述滑动座5的水平板上方固定安装有升降电机15和支撑架7，所述支撑架7的内部安装有导杆(未示出)和丝杠16，所述升降电机15通过传动机构与所述丝杠16连接，所述丝杠16上安装有升降螺母8，所述升降螺母8与所述导杆滑动连接，通过升降电机15旋转，进而带动丝杠16旋转，从而实现升降螺母8上下往复移动；所述升降螺母8的一侧固定安装有横梁9，所述横梁9远离升降螺母8的一侧固定安装有角度调节电机10，所述角度调节电机10的输出轴上固定安装有u形支座11，所述u形支座11的内部固定安装有第二旋转电机 12，所述第二旋转电机12的输出轴穿出u形支座11，所述第二旋转电机12的输出轴的端部固定安装有连接板13，所述连接板13上固定安装有相机14。通过所述角度调节电机10的旋转，进而带动所述 u形支座11转动，从而实现相机14拍摄角度的调节，另外，通过所述第二旋转电机12带动所述连接板13转动，从而带动相机14转动，也能够实现对物体不同角度的拍摄。
[0027]
图2是数据集采集和标注的具体过程，包括如下步骤：
[0028]
步骤s1.图像采集
[0029]
通过改变5个电机(第一旋转电机、直线电机6、升降电机15、角度调节电机10和第二旋转电机12)的参数n1,n2,n3,n4,n5(其中 n1,n2,n3,n4,n5分别为5个电机的转速，单位为转/s)，使整个装置缓慢平滑的运动，从而带动相机在不同位姿处对不同位姿处的目标物体进行拍照，形成的图像在电脑中自动保存为彩色图像和深度图像，即完成了图像的采集。
[0030]
步骤s2.图像标注
[0031]
s21：相机标定求相机内参矩阵k。相机标定简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的内参矩阵k。首先在电脑上绘制一个9x7的棋格盘，黑白格子相间，测量出每个小格子的大小。再打印出来贴在平面上，利用相机采集棋格盘不同角度的10-20 张图片作为数据集，接着将采集的数据集读入matlab中的cameracalibrator工具，进行棋格盘的角点检测，通过n个对应的世界坐标三维点xi和对应的图像坐标二维点xi之间的坐标转换可以得到相机内参k。
[0032]
s22：求解待标注物体表面点的世界坐标。以相机开机的第一帧的相机光心为原点，相机坐标系为世界坐标系，即第一帧的相机坐标系和世界坐标系重合，则世界坐标即为相机坐标，在第一帧图像上手动标出待标注物体的矩形框，则通过相机标定的内参k和待标注物体的矩形框的像素坐标可以得到矩形框内所有点的世界坐标，记录此时的电机参数(n1,n2,n3,n4,n5)，可以设此时的电机状态为初始状态，则此时的相机坐标系为世界坐标系，通过调整电机参数 (n1,n2,n3,n4,n5)可以使相机在不同位姿处拍照，得到待标注物体表面更多的点的世界坐标信息，以上预处理操作可以得到待标注物理表面大多数点的世界坐标。
[0033]
s23：两两帧之间的相机位姿估计。将第一帧视为参考帧，第二帧视为当前帧。分别在当前帧和参考帧图像上寻找orb特征点，并在两帧图像之间进行特征点匹配，利用对极几何约束求出两帧图像之间相机的位姿变换，而参考帧的相机位姿已知，故而可以求得当前帧的相机位姿，在每两帧图像之间进行相同的运算，如此反复，可以得到每一帧的相机位姿。
[0034]
s24：求解物体在图像中的像素坐标。设第一帧的相机坐标系为世界坐标系，即第
一帧的相机光心位姿为 pw(x,y,z,θ1,θ2,θ3)＝(0,0,0,0,0,0)，可知相机的位置(x,y,z)和姿态 (θ1,θ2,θ3)均与电机参数(n1,n2,n3,n4,n5)有关，其中(x,y,z)为相机光心在世界坐标系下的坐标，描述了相机位置，(θ1,θ2,θ3)为相机坐标系相对于世界坐标系的三轴旋转角，描述了相机的旋转。故建立相机光心的位姿坐标与电机参数之间的函关系式，可以表示为 pw(x,y,z,θ1,θ2,θ3)＝ [f1(n1,n2,n3,n4,n5),f2(n1,n2,n3,n4,n5),f3(n3),f4(n4,n5),f5(n4,n5),f6(n4,n5)] ，而相机的位姿估计可通过两两帧的图像特征匹配求得，通过改变电机参数让相机在不同位姿处对物体进行拍照，通过多组对应的电机参数和相机光心位姿建立的方程式可以求解相机位姿与电机参数 (n1,n2,n3,n4,n5)的关系。根据相机位姿可以求得相机的外参矩阵:
[0035][0036]
根据相机标定求得相机的内参矩阵为:
[0037][0038]
世界坐标与像素坐标的转换关系为:
[0039]
其中zc为像素深度
[0040]
根据坐标转换关系和物体表面点的世界坐标，可以求得物体在图像中的像素坐标p(u,v)。
[0041]
s25：标出物体在图像中的位置。本装置的标注算法思路是：在求得的物体像素坐标里依次选取 p1(u最小),p2(u最大),p3(v最小),p4(v最大)这四个点，分别过p1,p2作平行于像素坐标系y轴的直线，过p3,p4作平行于像素坐标x轴的直线，则这四条直线的交点构成的矩形为物体所在位置，即完成了物体的自动标注。
[0042]
工作原理：所述控制模块处于旋转装置底座上，控制模块通过控制装置中的五个电机(旋转电机、水平伸缩电机、竖直升降电机、相机仰俯角调节电机、相机旋转电机)使相机到达指定位置并与旋转装置中旋转平台上的目标构成指定相对位姿，然后进行拍照，同步生成图像数据和标注的位姿信息。此外本装置还可以对旋转平台上的目标进行多视角的拍照，用于目标三维重建，进一步生成3d目标检测数据集所需的遮罩图像信息。
[0043]
5个电机带动不同装置运动以实现一定范围内相机与待采集目标在半球面上所有对应位姿，主控板可控制个电机使其协调运动以及相机图像采集，最后加上标注算法，从而实现数据集的采集和标注过程。
[0044]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及等效物界定。