一种基于RGB-D相机的毫米波雷达数据标注方法与流程

一种基于rgb-d相机的毫米波雷达数据标注方法
技术领域
1.本发明涉及图像目标标注领域，尤其是指一种基于rgb-d相机的毫米波雷达数据标注方法。


背景技术：

2.目前对于毫米波雷达目标点云数据的标注方法不多，一部分方案是通过对毫米波雷达的点云数据进行预处理，获取目标，即通过去除点云数据的噪声，再使用一些聚类的方法将毫米波雷达的点云数据进行聚类，获取雷达点云数据中的目标，从而对数据进行标注，但是这种方案仅通过聚类的点云无法识别具体的目标是什么物体；另外一些方案则是通过毫米波雷达的多普勒频谱图进行分析，获取数据中目标的相关信息，并将多普勒数据中目标信息转化至对应的点云数据中，但是这种方法需要采集毫米波雷达的多普勒数据，不是直接通过点云数据进行目标标注的，实现的过程复杂繁琐。
3.例如，一种在中国专利文献上公开的“用于标注点云数据的方法和装置”，其公告号cn107945198b，所述方法的一具体实施方式包括：使用激光雷达以及不同于激光雷达的传感器对同一场景进行数据采集，分别得到点云数据以及传感器数据；对所述点云数据进行分割与跟踪，获得点云分割与跟踪结果；对所述传感器数据中的特征物进行识别与跟踪，获得特征物识别与跟踪结果；使用所述特征物识别与跟踪结果对所述点云分割与跟踪结果进行校正，获得点云分割与跟踪结果的置信度；将置信度大于置信度阈值的点云分割与跟踪结果确定为点云标注结果。该发明虽然实现了降低了对点云数据进行标注的人工工作量，降低了标注成本，但并没有解决实现的过程复杂繁琐和无法识别具体的目标是什么物体的问题。


技术实现要素：

4.本发明是为了克服现有技术的不是直接通过点云数据进行目标标注的，实现的过程复杂繁琐的问题，提供一种基于rgb-d相机的毫米波雷达数据标注方法。
5.为了实现上述目的，本发明采用以下技术方案：
6.一种基于rgb-d相机的毫米波雷达数据标注方法，包括以下步骤：s1：利用rgb-d相机和毫米波雷达同时采集数据，rgb-d相机采集的数据为一幅深度图像和一幅rgb的彩色图像，毫米波雷达采集输出点云数据集pr；s2：通过像素坐标系与相机坐标系转换，得到图像中对应物体在相机坐标系下的点云数据集pc；s3：根据点云数据集pc对rgb-d相机采集的彩色图像进行目标标注，得到在rgb-d相机坐标系下的点云数据坐标集p
_obj
；s4：将rgb-d相机坐标系下的点云数据坐标集p
_obj
转化为毫米波雷达坐标系下的点云数据坐标集p
_obj_i
；s5：根据毫米波雷达坐标系下的点云数据坐标集p
_obj_i
和毫米波雷达点云数据集pr寻找到对应的点云数据集p
result
，完成标注。本发明通过同时采集毫米波雷达的数据与rgb-d的数据，利用rgb-d相机采集的图像数据直观的特点，可以很容易的标注出图像中的物体与类别；然后利用rgb-d相机的特性，将图像中的物体与rgb-d相机的点云数据进行对应，即找到图像中
的目标物体对应rgb-d点云数据中的哪些点云；最后在通过rgb-d相机与毫米波雷达空间转换关系，利用rgb-d相机中目标点云数据的空间坐标找到毫米波雷达点云数据的对应值，便可以将毫米波雷达数据中的物体进行标注。这种方法直观，简洁，不需要设置去噪和聚类的参数，也不需要专业的分析多普勒数据的能力，对于普通的雷达使用者便可以完成。
7.作为本发明的优选方案，所述rgb-d相机和毫米波雷达在采集数据时，需要安装在同一平面上，且rgb-d相机的中心和毫米波雷达的中心在同一水平线上。本发明需要用到毫米波雷达和rgb-d相机，毫米波雷达和rgb-d相机需要安装在同一平面上，并且毫米波雷达的中心与rgb-d相机的中心在同一水平线上，这样做的目的是为了在计算rgb-d点云坐标与毫米波雷达点云坐标转化关系的时候比较简单。
8.作为本发明的优选方案，所述s2具体为：根据彩色图像上物体的若干像素点和深度图像对应的深度值，通过像素坐标系与相机坐标系转换公式得到图像中对应物体在相机坐标系下的空间坐标点的集合，即对应物体在相机坐标系下的点云数据集pc，所述像素坐标系与相机坐标系转换公式为：
[0009][0010]
其中，(u，v，1)是彩色图像上物体的像素点在像素坐标系下的空间坐标，zc是彩色图像上物体的像素点在深度图上对应的深度值，f
x
为相机焦距在x方向上的缩放比例，fy相机焦距在y方向上的缩放比例，c
x
为相机光轴在x方向上偏移量，cy为相机光轴在y方向上偏移量，(xc，yc，zc)为像素点在相机坐标系下的空间坐标。其中f
x
、fy、c
x
、cy是相机的内部参数，可以通过相机标定的方法或在相机出厂参数中找到对应参数的值。
[0011]
作为本发明的优选方案，所述s4具体为：将rgb-d相机坐标系下的点云数据坐标集p
_obj
内的空间坐标点的集合通过毫米波雷达坐标系和rgb-d相机坐标系转换公式转化为毫米波雷达坐标系下的云数据坐标集p
_obj_i
，所述毫米波雷达坐标系和rgb-d相机坐标系转换公式为：
[0012]
(xc，yc，zc)-t＝(xr，yr，zr)
[0013]
其中，t＝(dx，0，0)为平移矩阵，dx为rgb-d相机的中心和毫米波雷达的中心之间的距离，(xc，yc，zc)为rgb-d相机中的像素点在相机坐标系下的空间坐标，(xr，yr，zr)为毫米波雷达中的与rgb-d相机中对应的像素点在雷达坐标系下的空间坐标。这里假设相机坐标系和毫米波雷达坐标系为向上为z，向前为y，向左为x，具体使用中，可以根据坐标系的不同进行调整，毫米波雷达中的其他的点也可以按照上面的公式进行转换。
[0014]
作为本发明的优选方案，所述s5具体为：以点云数据坐标集p
_obj_i
为基础，逐个取点云数据坐标集p
_obj_i
中的空间坐标点，计算其与毫米波雷达采集输出点云数据集pr中的空间坐标点的距离，找到距离最近的点完成标注。
[0015]
作为本发明的优选方案，所述空间坐标点的距离公式为：
[0016][0017]
其中，(xi，yi，zi)为点云数据坐标集p
_obj_i
中的空间坐标点的坐标，(xr，yr，zr)为毫米波雷达采集输出点云数据集pr中的空间坐标点的坐标。
d相机的中心要在同一水平线上，这样做的目的是为了在计算rgb-d点云坐标与毫米波雷达点云坐标转化关系的时候比较简单。
[0030]
实施例：如图6所示，是本实施例的方法流程图，s1：利用毫米波雷达和rgb-d相机同时进行数据采集。rgb-d相机采集的数据为一幅rgb的彩色图像和一幅深度图像，如图4所示，上面的为彩色图，下面的为深度图，毫米波雷达会直接输出点云坐标，若干点云坐标组成点云数据集pr；s2：通过rgb-d相机坐标系与像素坐标系之间的变换，如下公式所示：
[0031][0032]
可以得到图像中对应的物体在rgb-d相机坐标系下的坐标。空间中某一个点在相机坐标系下的坐标为(xc，yc，zc)，通过将每个方向上的坐标值除以z方向的值，可以获得该点在相机坐标系下的归一化的坐标(xc/zc，yc/zc，1)，其中(u，v,1)是像素坐标系下的坐标(图像是由一个一个像素组成，像素坐标即图像中某个像素在图像中什么位置，像素坐标的原点在图像的左上角，水平方向为y，竖直方向上为x)，而深度图则是彩色图中每个像素点对应的深度值，即zc的值；经过像素坐标系到相机坐标系的变化，再加上深度图中的zc的值，即可得到对应的点在rgb-d相机坐标系下的空间坐标(xc，yc，zc)，式中的f
x
、fy、c
x
、cy是相机的内部参数，可以通过相机标定的方法或相机出厂参数中会有对应参数的值；s3：依据点云数据集pc，实现对rgb-d相机采集到的彩色图像进行目标标注，从而得到在rgb-d相机坐标系下的对应的点云数据坐标集p
_obj
；s4：通过转换公式(2)将rgb-d相机坐标系下的点云数据坐标集p
_obj
内的空间坐标点的集合转化为毫米波雷达坐标系下的云数据坐标集p
_obj_i
。毫米波雷达会直接输出点云坐标，毫米波雷达中某一个空间点在毫米波雷达坐标系下的坐标为(xr，yr，zr)，由于毫米波雷达与rgb-d相机在一个平面上，并且rgb-d相机中心与毫米波雷达的中心保持在同一水平线上，所以通过将毫米波雷达的点进行平移就可以转换到相机坐标系下，毫米波雷达坐标系和rgb-d相机坐标系之间的转换公式如公式(2)所示：
[0033]
(xc，yc，zc)-t＝(xr，yr，zr)
ꢀꢀꢀ
(2)
[0034]
其中t为平移矩阵，t＝(dx，0，0)，(xc，yc，zc)为rgb-d相机中的某个点在相机坐标系下的坐标，(xr，yr，zr)为毫米波雷达中的与rgb-d中对应的点在雷达坐标系下坐标，dx为毫米波雷达的中心和rgb-d相机的中心之间的距离，这里设相机坐标系和毫米波雷达坐标系为向上为z，向前为y，向左为x，如图5所示，具体使用中，可以根据坐标系的不同进行调整，毫米波雷达中的其他的点也可以按照上面的公式进行转换，经过s4已经可以成功的将毫米波雷达的点云数据转化到rgb-d相机坐标系下，同理也可以实现将rgb-d相机坐标系下的点云数据转化到毫米波雷达坐标系下；s5：根据点云数据坐标集p
_obj_i
和毫米波雷达点云数据集pr寻找到对应的点云数据集p
result
，并完成标注。rgb-d相机的彩色图像和深度图像组成的点云数据集为pc(p1，p2…
pn)，毫米波雷达点云数据集为pr(p1，p2…
pj)，通过rgb-d彩色图像目标标注，标注的目标在rgb-d相机坐标系的点云数据坐标集为p
_obj
(p1，p2…
pm)，接着通过上面的公式(2)将毫米波雷达的点云数据转化到rgb-d相机坐标系下或将目标标注在rgb-d相机坐标系下的点集转化为毫米波雷达的坐标系，这里以将rgb-d相机坐标系的标注的点集p
_obj
(p1，p2…
pm)转换到毫米波雷达坐标系下，转换后相机标注的目标的点集在毫米波雷达坐标系的坐标为p
_obj_i
(p1，p2…
pm)，以p
_obj_i
(p1，p2…
pm)为基础，在毫米波雷达点
云集pr(p1，p2…
pj)找到p
_obj_i
对应的点云数据集合p
result
。具体的方法为：逐个取p
_obj_i
中的点，计算其与毫米波雷达点云集中pr(p1，p2…
pj)点的距离，找到距离最近的那个点。距离计算的公式为：
[0035][0036]
其中，(xi，yi，zi)为点云数据坐标集p
_obj_i
中的空间坐标点的坐标，(xr，yr，zr)为毫米波雷达采集输出点云数据集pr中的空间坐标点的坐标。至此，通过rgb-d相机完成了对毫米波雷达中的点云数据的标注。
[0037]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明保护范围之内。