一种融合图像和激光雷达的AI眼球的制作方法

一种融合图像和激光雷达的ai眼球
技术领域
1.本发明涉及一种方法，具体涉及一种融合图像和激光雷达的ai眼球，属于视觉感知技术领域。


背景技术：

2.新冠疫情期间，无人配送机器人在消毒巡查、测温空投、物流配送等领域发挥了关键作用，得到政府和公众的广泛关注，另外，国内开放无人驾驶路测，大力发展智能化汽车产业，加速了无人驾驶技术的发展，促进了无人智能装备的商业落地应用。无人智能装备系统包括感知、决策和执行等，环境感知是无人智能装备的基础，提高环境感知能力是无人智能装备的必修课，即如何感知周围环境相对于自身的方位和相对速度等信息。目前大部分的感知方法是基于图像数据或者点云数据，即依靠单一的2d或者3d视觉进行环境感知，而单一视觉要求大的视野、超高的分辨率和高的运算处理能力等，单一视觉也更容易受外界环境影响，造成系统可靠性降低，鲁棒性差。多传感器融合是目前一部分学者提出的感知方案，利用激光雷达和图像视觉传感器各自的优势进行组合实现目标检测，使得系统能够得到更加丰富和有效的目标信息，相比单一传感器其获得的目标信息更直观、更有效、视野更大、鲁棒性更高。但是目前结合激光雷达与图像数据进行目标检测跟踪的方式中，通常只是利用激光雷达的3d点云数据进行障碍物识别，再通过可见光或红外图像的2d信息进行映射，由映射后的图像数据再进行目标检测和跟踪，该类方式存在以下问题：
3.1、激光雷达首先要对周围环境进行全局扫描获得所有场景的点云数据，再滤掉干扰和背景等信息后再提取感兴趣区域，并不需要对所有点云数据进行利用，造成数据和算力的极大浪费和负担；
4.2、由于是先借助激光雷达的点云信息来进行障碍物识别，再由识别到的点云障碍物进行图像目标检测跟踪，当由于目标的点云分辨率较低造成无法识别时，整个系统将无法有效工作，系统的稳定性和可靠性较低。因此，迫切的需要一种新的方案解决上述技术问题。


技术实现要素：

5.本发明正是针对现有技术中存在的问题，提供一种融合图像和激光雷达的ai眼球，该技术方案提出一种算力需求小，系统稳定可靠，能够用于感知周围环境的目标检测和跟踪方法。
6.为了实现上述目的，本发明的技术方案如下，一种融合图像和激光雷达的ai眼球，所述方法包括以下步骤：
7.步骤1)建立激光雷达和相机的成像模型，确定已知参数与未知参数之间的线性关系；
8.步骤2)激光雷达和相机联合标定，确定激光雷达坐标系和相机坐标之间的转换关系，即投影变换矩阵r和t；
9.步骤3)相机拍摄镜头前方环境采集视频图像，通过卷积神经网络模型进行目标检测，目标分类和目标定位，获得目标候选区域和目标候选框；
10.步骤4)提取候选框的特征点位置信息，计算在相机坐标系下各特征点的方向向量；
11.步骤5)根据投影变换矩阵和步骤4)中的特征点方向向量，计算各特征点在激光雷达坐标系下的方位向量，以及该方向向量对应的原点方位角；
12.步骤6)运算和控制单元根据步骤5)中的原点方位角，控制激光雷达的出射光束旋转到相应角度并按照一定的规则进行扫描获取点云数据；
13.步骤7)根据步骤3)获取的目标类别信息和步骤6)获取的目标有效信息，包括目标深度，位置，速度，加速度信息，添加到目标候选框中，最终输出带有目标信息的视频图像。
14.作为本发明的一种改进，步骤1)建立激光雷达和相机的成像模型，具体如下，假设空间一点p在激光雷达坐标系和图像像素坐标系下的坐标分别为(xlp，ylp，zlp)和(μ，ν)，根据针孔成像关系，图像与像素关系以及投影变换关系，两坐标系之间的关系可表示如下：
[0015][0016]
式中，zsp为比例因子，f、dx、dy、μ0、ν0为相机内参数，f为相机的焦距，dx和dy表示每一个像素在图像坐标系中的物理尺寸，(μ0，ν0)表示光轴与图像平面交点的像素坐标，r和t表示相机和激光雷达坐标系之间的投影变换矩阵。
[0017]
作为本发明的一种改进，步骤2)激光雷达和相机联合标定，确定激光雷达坐标系和相机坐标之间的转换关系，即投影变换矩阵；具体如下：
[0018]
根据式(1)所示等式关系，令：
[0019][0020]
将式(2)代入式(1)可得：
[0021][0022]
用最后一行消去zsp，得：
[0023][0024]
由式(4)可知，对于相机拍摄的图像和激光雷达的点云中每一个对应点，上式可以得到两个方程，即当对应点是n个时，方程数为2n个，因此只要找到两个坐标系下的对应点，便求出投影变换矩阵t，设对应点数为n(n≥6)，令：
[0025]
[0026]
l＝[t
11 t
12
t
14
t
14 t
21
t
22 t
23 t
24
t
31 t
32
t
33 t
34
]
t
ꢀꢀꢀ
(6)
[0027]
式(4)可化简为al＝0，使用奇异值分解矩阵a：
[0028]
[u∑v]＝svd(a)
ꢀꢀꢀꢀꢀꢀ
(7)
[0029]
u是由aa
t
的特征向量组成，v由a
t
a的特征向量组成，因此，奇异值矩阵∑中最小的奇异值对应的v中的奇异向量就是l的最小二乘解，即矩阵t，之后根据式(2)求出r和t，确定相机和激光雷达两个传感器之间的坐标转换关系。
[0030]
作为本发明的一种改进，本实施例使用图3所示的标定板来确定相机和激光雷达的对应点，预先在标定板上开标准图形，如圆孔，正四边形等，本实施例选用圆孔作为示例进行介绍，孔的数量大于6，孔心位置作为特征点。
[0031]
本实施例使用上述标定板求解两个传感器的投影变换矩阵流程如图4所示，首先利用激光雷达扫描标定板，生成标定板点云数据，根据点云数据拟合标定板上n(n≥6)个圆孔，求出孔心在激光雷达坐标系下的空间坐标(xlpi，ylpi，zlpi)，i＝1,2
‥‥
n，其次利用相机获取标定板图像，基于hough变换理论识别图像中对应的圆，求出圆心在像素坐标系下的坐标(μ
i
,ν
i
)，i＝1,2
‥‥
n，将对应点对的坐标代入式(5)和(7)求解投影变换矩阵t。
[0032]
作为本发明的一种改进，步骤3)相机拍摄镜头前方环境采集视频图像，通过卷积神经网络进行目标检测，目标分类和目标定位，获得目标候选区域和目标候选框，具体如下，图5所示为视频图像目标检测的算法流程，根据相机采集到的视频图像，首先经过卷积神经网络等模型进行特征提取，然后将提取到的特征采用一系列的小卷积模块来预测物体的类别和坐标，并删除提取到的背景信息，其次通过非极大值抑制等方法进行后处理，筛选出置信度最高、存在目标的区域，最后输出目标检测图像和目标候选框。
[0033]
作为本发明的一种改进，步骤4)提取候选框的特征点位置信息，计算在相机坐标系下各特征点的方向向量，具体如下：
[0034]
根据生成的目标候选框，以矩形候选框为例，矩形abcd，根据小孔成像模型可知，矩形abcd的四个角点在相机坐标系下的方向向量为：
[0035]
oi＝(x
i
，y
i
，z
i
)＝((μ
i
‑
μ0)dx/f，(v
i
‑
v0)dy/f，1)，i＝a，b，c，d
ꢀꢀꢀꢀ
(8)
[0036]
式(8)中f、dx、dy、μ0、ν0为相机内参，f为相机的焦距，dx和dy表示每一个像素在图像坐标系中的物理尺寸，(μ0，ν0)表示光轴与图像平面交点的像素坐标。
[0037]
作为本发明的一种改进，步骤5)根据投影变换矩阵和步骤4)中的特征点方向向量，计算各特征点在激光雷达坐标系下的方位向量，以及该方向向量对应的原点方位角；具体如下:
[0038]
设oi
′
是激光雷达坐标系下的特征点方向向量，则根据投影变换矩阵：
[0039]
oi
′
＝r*oi t＝(xi
′
，yi
′
zi
′
)，i＝a，b，c，d
ꢀꢀꢀꢀ
(9)
[0040]
设α和β是oi
′
对应的原点方位角，如图7所示，则：
[0041][0042]
作为本发明的一种改进，步骤6)运算和控制单元根据步骤5)中的原点方位角，控制激光雷达的出射光束旋转到相应角度并按照一定的规则进行扫描获取点云数据，所述激
光雷达要求能够通过控制单元实现出射激光束到达视野内的任意角度和位置；所述点云扫描规则是指通过扫描实现有效信息的获取。所述点云扫描规则是指通过扫描实现有效信息的获取，可选的一种规则如下：
[0043]
设共有n个候选框特征点(n≥4)，分别是p1,p2,p3,
…
,p
n
，设p
i
∈(p1,p2,
…
,p
n/2
)，则p
i n/2
∈(p
n/2
,p
(n/2) 1
,
…
,p
n
)，连接p
i
p
i n/2
，p
i
p
i n/2
就是激光束所要经过的路径，并生成此路径下的点云，获取目标信息；当n为基数时，可选的使用(n
‑
1)或(n 1)进行计算。
[0044]
作为本发明的一种改进，步骤7)根据步骤3)获取的目标类别信息和目标有效信息，包括目标深度，位置，速度，加速度等信息，添加到目标候选框中，最终输出带有目标信息的视频图像，所述目标信息包括但不限于目标类别，目标深度，位置，速度，加速度等。
[0045]
相对于现有技术，本发明具有如下优点：
[0046]
1、本发明的技术方案不用激光雷达对周围环境进行全局扫描，无需处理大量的点云数据，避免了数据的浪费，同时系统对算力的需求小；
[0047]
2、本发明的技术方案采用先相机后激光雷达的方式，由于相机的分辨率远高于激光雷达，因而可以保证整个系统能够有效的实时工作，系统稳定可靠；
[0048]
3、本发明的技术方案输出的结果是带有目标信息的视频图像，能够用于感知周围环境，进行目标检测和跟踪，给上一级系统提供稳定可靠有效的信号。
附图说明
[0049]
图1为本发明实现流程示意图；
[0050]
图2为相机和激光雷达坐标系之间的关系示意图；
[0051]
图3为实施例中所述的标定板示意图，来确定相机和激光雷达的对应特征点，
[0052]
图4为求解两个传感器的投影变换矩阵流程示意图；
[0053]
图5为视频图像目标检测的算法流程图；
[0054]
图6为矩形候选框示意图；
[0055]
图7为方位角度示意图。
具体实施方式：
[0056]
为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。
[0057]
实施例1：参见图1
‑
图7，一种融合图像和激光雷达的ai眼球，所述方法包括以下步骤：
[0058]
步骤1)建立激光雷达和相机的成像模型，确定已知参数与未知参数之间的线性关系；
[0059]
步骤2)激光雷达和相机联合标定，确定激光雷达坐标系和相机坐标之间的转换关系，即投影变换矩阵r和t；
[0060]
步骤3)相机拍摄镜头前方环境采集视频图像，通过卷积神经网络模型进行目标检测，目标分类和目标定位，获得目标候选区域和目标候选框；
[0061]
步骤4)提取候选框的特征点位置信息，计算在相机坐标系下各特征点的方向向量；
[0062]
步骤5)根据投影变换矩阵和步骤4)中的特征点方向向量，计算各特征点在激光雷
达坐标系下的方位向量，以及该方向向量对应的原点方位角；
[0063]
步骤6)运算和控制单元根据步骤5)中的原点方位角，控制激光雷达的出射光束旋转到相应角度并按照一定的规则进行扫描获取点云数据；
[0064]
步骤7)根据步骤3)获取的目标类别信息和步骤6)获取的目标有效信息，包括目标深度，位置，速度，加速度信息，添加到目标候选框中，最终输出带有目标信息的视频图像。
[0065]
步骤1)建立激光雷达和相机的成像模型，具体如下：图2所示为所述实施例的相机和激光雷达坐标系之间的关系示意图，假设空间一点p在激光雷达坐标系和图像像素坐标系下的坐标分别为(xlp，ylp，zlp)和(μ，ν)，根据针孔成像关系，图像与像素关系以及投影变换关系，两坐标系之间的关系可表示如下：
[0066][0067]
式中，zsp为比例因子，f、dx、dy、μ0、ν0为相机内参数，f为相机的焦距，dx和dy表示每一个像素在图像坐标系中的物理尺寸，(μ0，ν0)表示光轴与图像平面交点的像素坐标，r和t表示相机和激光雷达坐标系之间的投影变换矩阵。
[0068]
步骤2)激光雷达和相机联合标定，确定激光雷达坐标系和相机坐标之间的转换关系，即投影变换矩阵；具体如下：
[0069]
根据式(1)所示等式关系，令：
[0070][0071]
将式(2)代入式(1)可得：
[0072][0073]
用最后一行消去zsp，得：
[0074][0075]
由式(4)可知，对于相机拍摄的图像和激光雷达的点云中每一个对应点，上式可以得到两个方程，即当对应点是n个时，方程数为2n个，因此只要找到两个坐标系下的对应点，便求出投影变换矩阵t，设对应点数为n(n≥6)，令：
[0076][0077]
l＝[t
11 t
12
t
14
t
14 t
21
t
22 t
23 t
24
t
31 t
32
t
33 t
34
]
t
ꢀꢀꢀ
(6)
[0078]
式(4)可化简为al＝0，使用奇异值分解矩阵a：
[0079]
[u∑v]＝svd(a)
ꢀꢀꢀꢀꢀꢀ
(7)
[0080]
u是由aa
t
的特征向量组成，v由a
t
a的特征向量组成，因此，奇异值矩阵∑中最小的
奇异值对应的v中的奇异向量就是l的最小二乘解，即矩阵t，之后根据式(2)求出r和t，确定相机和激光雷达两个传感器之间的坐标转换关系。
[0081]
本实施例使用图3所示的标定板来确定相机和激光雷达的对应点，预先在标定板上开标准图形，如圆孔，正四边形等，本实施例选用圆孔作为示例进行介绍，孔的数量大于6，孔心位置作为特征点。
[0082]
本实施例使用上述标定板求解两个传感器的投影变换矩阵流程如图4所示，首先利用激光雷达扫描标定板，生成标定板点云数据，根据点云数据拟合标定板上n(n≥6)个圆孔，求出孔心在激光雷达坐标系下的空间坐标(xlpi，ylpi，zlpi)，i＝1,2
‥‥
n，其次利用相机获取标定板图像，基于hough变换理论识别图像中对应的圆，求出圆心在像素坐标系下的坐标(μ
i
,ν
i
)，i＝1,2
‥‥
n，将对应点对的坐标代入式(5)和(7)求解投影变换矩阵t。
[0083]
步骤3)相机拍摄镜头前方环境采集视频图像，通过卷积神经网络进行目标检测，目标分类和目标定位，获得目标候选区域和目标候选框，具体如下，图5所示为视频图像目标检测的算法流程，根据相机采集到的视频图像，首先经过卷积神经网络等模型进行特征提取，然后将提取到的特征采用一系列的小卷积模块来预测物体的类别和坐标，并删除提取到的背景信息，其次通过非极大值抑制等方法进行后处理，筛选出置信度最高、存在目标的区域，最后输出目标检测图像和目标候选框。
[0084]
步骤4)提取候选框的特征点位置信息，计算在相机坐标系下各特征点的方向向量，具体如下：
[0085]
根据生成的目标候选框，以矩形候选框为例，矩形abcd，根据小孔成像模型可知，矩形abcd的四个角点在相机坐标系下的方向向量为：
[0086]
oi＝(x
i
，y
i
，z
i
)＝((μ
i
‑
μ0)dx/f，(v
i
‑
v0)dy/f，1)，i＝a，b，c，d
ꢀꢀꢀ
(8)
[0087]
式(8)中f、dx、dy、μ0、ν0为相机内参，f为相机的焦距，dx和dy表示每一个像素在图像坐标系中的物理尺寸，(μ0，ν0)表示光轴与图像平面交点的像素坐标。
[0088]
步骤5)根据投影变换矩阵和步骤4)中的特征点方向向量，计算各特征点在激光雷达坐标系下的方位向量，以及该方向向量对应的原点方位角；具体如下:
[0089]
设oi
′
是激光雷达坐标系下的特征点方向向量，则根据投影变换矩阵：
[0090]
oi
′
＝r*oi t＝(xi
′
，yi
′
zi
′
)，i＝a，b，c，d
ꢀꢀꢀ
(9)
[0091]
设α和β是oi
′
对应的原点方位角，如图7所示，所述α和β只是一种表示方位角的方式，并不限定于此，则：
[0092][0093]
步骤6)运算和控制单元根据步骤5)中的原点方位角，控制激光雷达的出射光束旋转到相应角度并按照一定的规则进行扫描获取点云数据，所述激光雷达要求能够通过控制单元实现出射激光束到达视野内的任意角度和位置，如专利《一种正交双轴二维闭环连续旋转扫描装置和包括其的激光雷达》(专利申请号202121167450.1)中所述激光雷达；所述点云扫描规则是指通过扫描实现有效信息的获取，可选的一种规则如下：
[0094]
设共有n个候选框特征点(n≥4)，分别是p1,p2,p3,
…
,p
n
，设p
i
∈(p1,p2,
…
,p
n/2
)，
则p
i n/2
∈(p
n/2
,p
(n/2) 1
,
…
,p
n
)，连接p
i
p
i n/2
，p
i
p
i n/2
就是激光束所要经过的路径，并生成此路径下的点云，获取目标信息，如图6，当n＝4时，ac和bd即为激光束的扫描路径；当n为基数时，可选的使用(n
‑
1)或(n 1)进行计算。
[0095]
步骤7)根据步骤3)获取的目标类别信息和目标有效信息，包括目标深度，位置，速度，加速度等信息，添加到目标候选框中，最终输出带有目标信息的视频图像，所述目标信息包括但不限于目标类别，目标深度，位置，速度，加速度等。
[0096]
需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。