一种3D目标检测数据集采集装置与标注方法

技术特征：
1.一种3d目标检测图像数据集采集装置，包括旋转装置底座(1)，所述旋转装置底座(1)上方设置有旋转平台(2)，所述旋转装置底座(1)内部设置有第一旋转电机，所述第一旋转电机与旋转平台(2)连接，所述旋转装置底座(1)的一侧固定安装有滑道(3)和直线电机(6)，所述滑道(3)上通过滑块(4)滑动连接有l形滑动座(5)，所述l形滑动座(5)由水平板和侧板焊接而成，所述直线电机(6)与所述l形滑动座(5)的侧板连接，所述滑动座(5)的水平板上方固定安装有升降电机(15)和支撑架(7)，所述支撑架(7)的内部安装有导杆和丝杠(16)，所述升降电机(15)通过传动机构与所述丝杠(16)连接，所述丝杠(16)上安装有升降螺母(8)，所述升降螺母(8)与所述导杆滑动连接；所述升降螺母(8)的一侧固定安装有横梁(9)，所述横梁(9)远离升降螺母(8)的一侧固定安装有角度调节电机(10)，所述角度调节电机(10)的输出轴上固定安装有u形支座(11)，所述u形支座(11)的内部固定安装有第二旋转电机(12)，所述第二旋转电机(12)的输出轴穿出u形支座(11)，所述第二旋转电机(12)的输出轴的端部固定安装有连接板(13)，所述连接板(13)上固定安装有相机(14)。2.一种数据集采集和标注方法，所述方法采用如权利要求1所述的3d目标检测图像数据集采集装置，包括如下步骤：步骤s1.图像采集通过改变5个电机的参数n1,n2,n3,n4,n5，其中n1,n2,n3,n4,n5分别为5个电机的转速，单位为转/s，使整个装置缓慢平滑的运动，从而带动相机在不同位姿处对不同位姿处的目标物体进行拍照，形成的图像在电脑中自动保存为彩色图像和深度图像，即完成了图像的采集；步骤s2.图像标注s21：相机标定求相机内参矩阵k；相机标定简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的内参矩阵k；首先在电脑上绘制一个9x7的棋格盘，黑白格子相间，测量出每个小格子的大小；再打印出来贴在平面上，利用相机采集棋格盘不同角度的10-20张图片作为数据集，接着将采集的数据集读入matlab中的camera calibrator工具，进行棋格盘的角点检测，通过n个对应的世界坐标三维点x
i
和对应的图像坐标二维点x
i
之间的坐标转换可以得到相机内参k；s22：求解待标注物体表面点的世界坐标；以相机开机的第一帧的相机光心为原点，相机坐标系为世界坐标系，即第一帧的相机坐标系和世界坐标系重合，则世界坐标即为相机坐标，在第一帧图像上手动标出待标注物体的矩形框，则通过相机标定的内参k和待标注物体的矩形框的像素坐标可以得到矩形框内所有点的世界坐标，记录此时的电机参数n1,n2,n3,n4,n5，可以设此时的电机状态为初始状态，则此时的相机坐标系为世界坐标系，通过调整电机参数n1,n2,n3,n4,n5，可以使相机在不同位姿处拍照，得到待标注物体表面更多的点的世界坐标信息，以上预处理操作可以得到待标注物理表面大多数点的世界坐标；s23：两两帧之间的相机位姿估计；将第一帧视为参考帧，第二帧视为当前帧；分别在当前帧和参考帧图像上寻找orb特征点，并在两帧图像之间进行特征点匹配，利用对极几何约束求出两帧图像之间相机的位姿变换，而参考帧的相机位姿已知，故而可以求得当前帧的相机位姿，在每两帧图像之间进行相同的运算，如此反复，可以得到每一帧的相机位姿；s24：求解物体在图像中的像素坐标；设第一帧的相机坐标系为世界坐标系，即第一帧的相机光心位姿为p
w
(x,y,z,θ1,θ2,θ3)＝(0,0,0,0,0,0)，可知相机的位置(x,y,z)和姿态
(θ1,θ2,θ3)均与电机参数(n1,n2,n3,n4,n5)有关，其中(x,y,z)为相机光心在世界坐标系下的坐标，描述了相机位置，(θ1,θ2,θ3)为相机坐标系相对于世界坐标系的三轴旋转角，描述了相机的旋转；故建立相机光心的位姿坐标与电机参数之间的函关系式，可以表示为p
w
(x,y,z,θ1,θ2,θ3)＝[f1(n1,n2,n3,n4,n5),f2(n1,n2,n3,n4,n5),f3(n3),f4(n4,n5),f5(n4,n5),f6(n4,n5)]，而相机的位姿估计可通过两两帧的图像特征匹配求得，通过改变电机参数让相机在不同位姿处对物体进行拍照，通过多组对应的电机参数和相机光心位姿建立的方程式可以求解相机位姿与电机参数n1,n2,n3,n4,n5的关系；根据相机位姿可以求得相机的外参矩阵:根据相机标定求得相机的内参矩阵为:世界坐标与像素坐标的转换关系为:其中z
c
为像素深度根据坐标转换关系和物体表面点的世界坐标，可以求得物体在图像中的像素坐标p(u,v)；s25：标出物体在图像中的位置；在求得的物体像素坐标里依次选取p1(u最小),p2(u最大),p3(v最小),p4(v最大)这四个点，分别过p1,p2作平行于像素坐标系y轴的直线，过p3,p4作平行于像素坐标x轴的直线，则这四条直线的交点构成的矩形为物体所在位置，即完成了物体的自动标注。

技术总结
本发明公开了一种用于采集3D目标检测图像数据集的装置与标注方法，涉及3D目标检测数据集装置技术领域。本发明包括底部旋转装置、水平伸缩装置、竖直升降装置、仰俯角调节装置、相机夹持与旋转装置和控制模块；所述控制模块包括5个电机、主控板和供电模块，各个电机可带动不同装置运动以实现一定范围内相机与带采集目标在半球面上所有对应位姿，主控板可控制个电机使其协调运动以及相机图像采集，并且可根据各电机状态得到相机与目标相对位姿，从而能够得到物体在相机下的坐标，并将物体在照片中标注出来。本发明可极大简化3D目标检测数据集制作与标注过程。集制作与标注过程。集制作与标注过程。


技术研发人员：孙瑛 胡军 李公法 江都 陶波 孔建益 蒋国璋 童锡良 徐曼曼 云俊童 刘颖
受保护的技术使用者：武汉科技大学
技术研发日：2022.01.10
技术公布日：2022/5/17