一种无人靶车雷视融合的主动目标检测与避障方法与流程

1.本发明涉及无人靶车避障技术领域，具体涉及一种无人靶车雷视融合的主动目标检测与避障方法。


背景技术：

2.移动射击战术训练是军队常见的训练科目，当前大多数部队会采用无人靶车进行射击训练。然而由于训练场地环境复杂，靶车在行进过程中会有与现场设备与参与人员发生碰撞的风险。
3.传统使用摄像头作为目标检测的传感器时，虽然其结构简单、成本低，但是容易受到光照环境和安装角度的影响，尤其是在运动环境中往往对于深度信息的处理存在偏差，导致在避障规划中存在误控的风险。
4.相对的在自动驾驶领域热门的多线激光雷达虽然不易受到环境影响，但是其使用成本较高，对比视觉图像来说分辨率低且对部分色段不敏感。对障碍目标不能起到很好的分类识别。例如，在识别行进轨迹上的草丛时，相机可以识别出此处为草丛，此时车辆决策可以正常通过而无需进行避障控制。而激光雷达却由于其分辨率较低，难以对草丛进行分类识别，此时车辆会进入避障规划，从而进行了不必要操作。


技术实现要素：

5.发明目的：本发明目的在于针对现有技术的不足，综合从成本，效率和安全性等角度出发，提供一种无人靶车雷视融合的主动目标检测与避障方法，该方法同时使用单线激光雷达与单目相机两种传感器对环境目标进行检测与分类识别，将图像与空间点云数据进行融合处理，使用图像弥补单线激光盲区，以期望提高无人靶车在运动环境下主动目标检测与避障算法的鲁棒性。
6.技术方案：本发明所述无人靶车雷视融合的主动目标检测与避障方法，包括如下步骤：s1：安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定；s2：获取单线激光雷达的激光数据并进行预处理，获取单目相机的视频数据并进行预处理；s3：对预处理的激光数据进行激光目标提取获得激光目标集，对预处理的视频数据进行模式识别获取相机目标集；s4：采用相机目标集对激光目标集进行雷达盲区补偿，将激光目标集与相机目标集进行目标融合得到融合目标数据集；s5：基于融合目标数据集，对目标进行跟踪和预测，得到跟踪目标数据集；s6：建立全局地图，采用实时的跟踪目标数据集更新地图，分配目标等级并根据目标等级进行避障决策。
7.进一步完善上述技术方案，所述步骤s1包括：
8.s101：将单线激光雷达安装在无人靶车顶部保证其扫描范围大于350
°
且无遮挡，将单目相机安装在无人靶车前侧保证其拍摄范围为无人靶车行进方向；
9.s102：外部参数标定时，以无人靶车底盘中心坐标系为参考坐标系w，通过安装位置得出单线激光雷达外参数据l(r,t)以及单目相机外参数据c(r,t)，r、t分别代表旋转缩
放矩阵和平移矩阵；
10.s103：内部参数标定时，单线激光雷达的标定采用两种规格的标定物体，在单线激光雷达的扫描平面选取移动标定物体，通过解析目标点云数据cloud
orig
与标定物体的真实位置数据cloud
calib
，获取偏差补偿矩阵lc；通过单目相机的内参标定获取相机内参矩阵ck与畸变系数矩阵cd；
11.s104：联合标定时，采用同一标定物体在单目相机的视场角与单线激光雷达的扫描平面中移动，当标定物体处在单线激光雷达的扫描平面中时，由单目相机的图像坐标以及单目相机在参考坐标系w中的坐标，得出标定物体相对参考坐标系w的坐标，通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换；
[0012][0013]
当标定物体不处在单线激光雷达扫描平面中时，将标定物体从单线激光雷达扫描平面f(x,y,z)按照纵向平移d(x,y,z)距离之后，标定物体在图像坐标下相对参考坐标系w的坐标为：[f(x,y,z)-d(x,y,z)]，再通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换。
[0014]
进一步地，所述步骤s3中对激光数据进行预处理包括：
[0015]
采用迭代最近点算法判断激光数据中前后帧的变化：
[0016][0017]
其中，r、t分别代表旋转缩放矩阵与平移矩阵，p
t
对应前一帧激光点云数据，ps对应当前帧的激光点云数据；i为激光点云中的激光点的个数；
[0018]
所述步骤s3中对视频数据进行预处理包括：
[0019]
采用sift算子提取视频数据中的图像关键点，通过图像关键点确定特征向量，根据视频数据中前后关键帧的特征向量进行两两比较找出相互匹配的特征点，建立帧间对应关系；
[0020]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0021][0022]
其中，l(x,y,z)为原始图像i(x,y)与一个可变尺度的二维高斯函数g(x,y,σ)卷积运算。
[0023]
进一步地，所述步骤s3中提取激光目标包括：采用无监督dbscan密度聚类算法，输入：d、预处理后的激光点云数据，ε、半径参数，minpts、领域密度阈值；输出：激光点云密度簇的集合；基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来；
[0024]
所述步骤s3中提取视觉数据包括：采用yolov4-tiny框架，选用提前打标好的靶场图片作为输入，生成的训练模型。
[0025]
进一步地，所述步骤s3中基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来包括：
[0026]
对于每一个点云簇，将其中每个点设为pi＝＜xi,yi,zi＞，点云看作p1,p2,p3…
pn,n个点构成的数据集；
[0027]
计算位置平均值：
[0028]
构建协方差矩阵：
[0029]
协方差矩阵为以下六个元素组成对称矩阵：
[0030][0031][0032][0033]
求解协方差矩阵的特征值λ1，λ2，λ3及对应的特征向量ξ1，ξ2，ξ3；
[0034]
将每个特征向量进行正交标准化，得到正交矩阵q=[ε
′
1 ε
′
2 ε
′3]；
[0035]
由qcq
t
得到对角阵
[0036]
构建目标的包围轮廓：
[0037][0038][0039][0040]
进一步地，所述步骤s4采用相机目标集对激光目标集进行雷达盲区补偿，包括：同时遍历激光目标集与相机目标集，通过每个目标的空间坐标位置、轮廓大小、模式类别构成目标信息矩阵；当存在激光目标集中的某一个目标信息矩阵与相机目标集中的某一个目标信息矩阵的距离小于无人靶车的车速阈值时，判断该对目标为同一目标，其余目标为补偿目标。
[0041]
进一步地，步骤s5包括为激光目标集与相机目标集中同一目标分配唯一id，根据前后帧目标信息矩阵的距离匹配目标进行目标的跟踪与预测，若：
[0042]
在上一帧中的n个目标中找到了当前帧检测到的目标，且符合预测阈值范围，说明目标被正常跟踪到；
[0043]
在上一帧中的n个目标中没有找到当前帧检测到的目标，说明当前帧目标是这一帧中新出现的，将当前帧目标记录下来，用于下一帧目标的跟踪关联；
[0044]
在上一帧中存在的某个目标，当前帧中没有检测到与之关联的目标，说明上一帧中存在某个目标在当前帧中消失，将该目标特殊记录下来；
[0045]
对于特殊记录下来的目标，继续预测若干个周期，若在预测周期中出现且目标模式类似，则继续采用之前的目标id进行跟踪和预测；若在预测周期中没有出现，且判定该目标消失。
[0046]
进一步地，采用线性滤波器对匹配目标完成跟踪与预测，其关系表示为：
[0047][0048]
其中，为当前帧目标数据估计值，为前一帧目标数据估计值，
[0049]
分别为状态转移矩阵、控制矩阵，u
t
为外界控制量；
[0050]
误差控制项为：
[0051][0052]
q用来表示预测模型本身误差；
[0053]
根据观测信息对预测值进行修正：
[0054][0055]
其中，表示实际观察值与预估的观测值之间的残差，k
t
为修正系数。
[0056]
进一步地，还包括步骤s6、避障规划，建立以无人靶车为中心坐标系的代价地图，使用实时的跟踪目标数据集维护和更新地图，在地图上添加膨胀层，根据目标的类别，分配目标的安全等级并进行相应的避障决策控制：目标种类体积较小且定义为可碰撞特性时，判定目标的安全等级为高，决策控制为无人靶车不避障直接通过；目标种类为行人或定义具备不可碰撞特性时，判定目标的安全等级为低，决策控制为无人靶车进行避障。
[0057]
有益效果：与现有技术相比，本发明的优点在于：相对于现有技术中采用深度相机或激光雷达进行信息采集，技术依赖性较高，本发明采用单线激光雷达数据与单目相机，并将两者数据进行充分融合，使两种传感器优势互补，解决了因为使用单一传感器目标检测准确性的不足，选取融合策略，硬件成本低且设备成熟，便于维护；涉及目标处理，数据融合，避障决策方向，流程设计完整；本发明在激光数据预处理中使用迭代最近点方法，匹配前后帧数据，在视频数据预处理中使用sift特征算子，处理关键帧，在激光目标提取时使用无监督的密度聚类算法提取目标；在视频目标提取时使用轻量级神经网络框架进行目标提取与模式识别；在数据融合时使用并交算法和线性滤波器，通过使用相机数据补偿单线激光盲区，保证融合目标的准确性；在避障决策时使用代价地图与d*规划保证避障决策的准确性，设计了针对不同目标的安全等级控制判断，提高无人靶车的控制效率。
附图说明
[0058]
图1是本发明无人靶车雷视融合的主动目标检测与避障方法总流程；
[0059]
图2是密度可达聚类算法示意图；
[0060]
图3是yolov4-tiny网络结构。
具体实施方式
[0061]
下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0062]
如图1所示的无人靶车雷视融合的主动目标检测与避障方法，该方法通过在无人
靶车上安装单线激光雷达与单目相机并进行对应的软件算法部署，其实现主要包括激光雷达与相机标定，数据预处理，激光目标提取，视觉网络模式识别，数据融合，目标跟踪，避障决策模块。
[0063]
步骤s1、安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定，具体包括：
[0064]
s101：将单线激光雷达安装在无人靶车顶部保证其扫描范围大于350
°
且无遮挡，将单目相机安装在无人靶车前侧保证其拍摄范围为无人靶车行进方向；
[0065]
s102：外部参数标定时，以无人靶车底盘中心坐标系为参考坐标系w，通过安装位置得出激光雷达外参数据l(r,t)以及单目相机外参数据c(r,t)，r、t分别代表旋转缩放矩阵与平移矩阵；
[0066]
s103：内部参数标定时，单线激光的标定会使用50cm厚度、50cm正方体规格与108mm厚度、50cm通用棋盘标定板两种规格的标定物体，在激光雷达扫描平面，分别选取1～80米范围内移动标定物体，通过解析目标点云数据cloud
orig
与标定物体的真实位置数据cloud
caiib
，获取偏差补偿矩阵lc；相机内参标定，获取相机内参矩阵ck与畸变系数矩阵cd；
[0067]
s104：联合标定过程，通过使用同一标定物体在相机视场角与激光扫描平面1～80米范围中移动，当标定物体处在激光雷达扫描平面中时，由相机图像坐标与相机坐标，即可得出标定物体的相对以车辆底盘中心坐标系为参考坐标系w的坐标，此时通过激光雷达转换激光内外参之后获得目标相对w的坐标，则有：
[0068][0069]
此时，可以推导图像坐标相对于激光雷达的转换。
[0070]
当标定物体不处在激光雷达扫描平面中时的标定，通过将标定目标从扫描平面f(x,y,z)按照纵向平移d(x,y,z)距离之后，其在图像坐标下相对w的坐标，即为：
[0071]
[f(x,y,z)-d(x,y,z)]。同理，可以推导图像坐标相对于激光雷达的转换。
[0072]
步骤s2、分别对激光点云数据和视频流数据进行预处理，筛选去除发生畸变数据，筛选去除非连续前后帧数据；
[0073]
作为上述方法的改进，在激光点云数据预处理阶段，采用迭代最近点算法(iterative closest point)判断帧间变化。对于以无人靶车为刚体变换的情形，前后帧判断问题可以描述为：
[0074][0075]
这里p
t
和ps对应前一帧和当前帧的点云数据，得到的变换矩阵r和t与实际行使状态补偿后，即可判断激光点云的畸变情况。
[0076]
在视频流预处理阶段，采用了sift算子进行筛选异常数据。通过sift算子提取图像关键点，之后通过关键点确定特征向量，最后通过前后关键帧的特征向量，进行两两比较找出相互匹配的特征点，建立帧间对应关系，从而达到预处理的目的。其过程可以描述如下：
[0077]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0078][0079]
这里l(x,y,z)为原始图像i(x,y)与一个可变尺度的二维高斯函数g(x,y,σ)卷积运算。
[0080]
步骤s301、对预处理的激光数据进行激光目标提取获得激光目标集，具体包括：
[0081]
在激光目标提取的过程中，使用无监督dbscan密度聚类算法，通过领域参数(ε,minpts)从样本密度的角度考察样本之间的可连续性，并基于可连接样本不断拓展聚类簇以获得最终的聚类目标，即存在一个对象链p1,p2,p3…
pn，p1＝q，pn＝p，对pi属于d，p
i 1
是从pi关于ε和minpts直接密度可达的，则对象p是从对象q关于ε和minpts密度可达的。
[0082]
伪代码：激光点云密度距簇
[0083]
输入：
[0084]
d：预处理后的点云数据
[0085]
ε:：半径参数
[0086]
minpts：领域密度阈值
[0087]
输出：基于密度的簇的集合
[0088]
方法：
[0089]
标记所有点集对象为unvisited
[0090]
do
[0091]
随机选择一个unvisited点对象p
[0092]
标记p为visited
[0093]
if p的dist-领域至少有minpts个对象
[0094]
创建一个新簇c，并把p添加到c
[0095]
令n为p的ε-领域中的对象集合
[0096]
for n中每个点p
[0097]
if p是unvisited
[0098]
标记p为visited
[0099]
if p的ε-领域至少有minpts个对象，把这些对象添加到n
[0100]
如果p还不是任何簇的成员，把p添加到c
[0101]
end for
[0102]
输出c
[0103]
else标记p为噪声
[0104]
until没有标记为unvisited的对象
[0105]
在得到激光点云密度簇的集合后，还需将目标边界通过主成分分析把包围轮廓计算出来；对于每一个点云簇，将每个点设pi＝＜xi,yi,zi＞为，点云就看作p1,p2,p3…
pn,n个点构成的数据集。
[0106]
首先需要计算位置平均值：
[0107]
再构建协方差矩阵:
[0108]
协方差由以下六个元素组成对称矩阵：
[0109][0110][0111][0112]
这里协方差矩阵表示x、y、x坐标值之间的相互关系，为了将所有的点集中均匀的沿着坐标分布，由|a-λe|＝0，求解特征值λ1，λ2，λ3，将求解的特征值回代进入(a-λe)＝0，求解出对应的特征向量ξ1，ξ2，ξ3。
[0113]
将每个特征向量进行正交标准化，得到正交矩阵q=[ε
′
1 ε
′
2 ε
′3]
[0114]
则由qcq
t
得到对角阵
[0115]
以ε
′1，ε
′2，ε
′3作为该对象自然轴对应的方向，可以算出顶点沿x、y、z三个方向最大和最小位置，根据这些最大和最小值即可以构建目标的包围轮廓。
[0116]
边界盒的六个平面为：
[0117][0118][0119][0120]
此时，因为使用的是单线激光，在z轴上可以忽略。
[0121]
步骤s302、对预处理的视频数据进行模式识别获取相机目标集，考虑到车载控制器的处理性能，使用了yolov4-tiny框架，并且通过板载gpu进行加速，这里我们的模型已经生成，即选用提前打标好的靶场图片作为输入，训练出以供识别和分类的模型，生成的训练模型：包括训练车辆，士兵，灌木，训练障碍墩，石块，常见警示牌的分类结果。
[0122]
yolov4-tiny结构是yolov4的精简版，属于轻量化模型，参数只有600万相当于原来的十分之一，这使得检测速度提升很大。整体网络结构共有38层，使用了3个残差单元，激活函数使用了leakyrelu，目标的分类与回归改为使用两个特征层，合并有效特征层时使用了特征金字塔fpn网络。其同样使用了cspnet结构，并对特征提取网络进行通道分割，将经过3x3卷积后输出的特征层通道划分为两部分，并取第二部分。在coco数据集上得到了40.2％的ap50，371fps，相较于其他版本的轻量化模型性能优势显著，结构参见图3。
[0123]
本网络具有多任务，端到段，注意力机制和多尺度的特点。多任务即同时完成目标的分类与回归，实现参数共享，避免过拟合；端到端即模型接收图像数据后直接给出分类与回归的预测信息；注意力机制是重点关注目标区域特征进行详细处理，提高处理速度；多尺度的特点是将经过下采样和上采样的数据相互融合，其作用是能够分割出多种尺度大小的目标。在对模型进行训练时使用mosaic数据增强，标签平滑，学习率余弦退火衰减等方法来提升模型的训练速度与检测精度。
[0124]
在训练模型过程中：由于错误的标签会影响预测的结果。为了降低对训练样本标签的绝对信任，在训练时对分类标签的准确率进行适当调整。使用标签平滑(label smoothing)对于二分类问题，把原始的标签是0、1，在平滑后则变为0.05、0.95。这样能够更有效的校准网络，使网络拥有更强的泛化性能，能有效避免过拟合，提升预测准确率。
[0125]
当视频通过训练的模型对目标物进行模式识别分类之后，由图像上目标识别框的像素与目标分类结果，结合联合标定中图像相对激光的齐次变化，便可计算出目标物体相对位置信息。处理上：可以提取目标框的底边的中点看作成像点，减少狂选像素的误差值。
[0126]
步骤s4、目标融合与补偿
[0127]
由于单线激光只能扫射一层，本技术设计了一种使用相机目标进行融合与补偿的机制。当激光目标集与相机目标集都存在有目标时，根据位置与轮廓等信息进行iou并交判断是否需要融合；当只激光目标集存在目标时的补偿；当只相机目标集存在目标时的补偿，最终生成新的融合数据集，以供目标追踪使用。
[0128]
步骤s5、目标跟踪与预测
[0129]
在得到新的融合目标数据集之后，这时实际已经得到了目标的类别(是行人、草木还是车辆)，目标的轮廓，目标的位置(相对于车辆的相对坐标系w)。
[0130]
为了方便规划模块完成避障规划，建立了每个目标在前后帧的关系，并给激光目标集与相机目标集中同一目标分配唯一id，使其能持续追踪这个目标。
[0131]
对于目标的追踪与预测，使用了线性滤波器，则预测关系可以表示为：
[0132][0133]
这里，分别视为状态转移矩阵，控制矩阵。考虑到噪声和其他不确定因素，其表示为：
[0134][0135]
这里噪声采用noise～guassian(0,σ)，而q用来表示预测模型本身误差。预测的目标位置是根据前一个状态估计的，为了达到最优估计，还需要有更新组根据观测信息对预测值进行修正，其可以表示为：
[0136][0137]
这里表示实际观察值与预估的观测值之间的残差，k
t
为修正系数。
[0138]
整个跟踪流程可以总结为：
[0139]
1)在上一帧中的n个目标中找到了本次检测到的目标，且符合预测阈值范围，说明正常跟踪到了；
[0140]
2)在上一帧中的n个目标中没有找到本次检测到的目标，说明这个目标是这一帧中新出现的，所以我们需要把它记录下来，用于下一次的跟踪关联；
[0141]
3)在上一帧中存在某个目标，这一帧中并没有与之关联的目标，那么说明该目标可能从视野中消失了，我们需要将其特殊记录；
[0142]
4)对于特殊记录的目标，继续预测一定周期，当超出这个周期后彻底释放，认为目
标消失，如果在预测周期中出现且目标模式类似，则依然使用之前id。
[0143]
步骤s6、避障规划
[0144]
本发明还给出了车辆避障规划的设计，建立了一张以无人靶车为中心坐标系的代价地图，使用实时的融合目标数据集维护和更新地图。在地图上添加膨胀层，来反映障碍在地图向周边的膨胀。轨迹由d*算法周期更新，最后根据位姿解算交由控制模块。
[0145]
在避障决策中还根据目标的类别，定义目标的安全等级以决策车辆控制判断，以提高控制效率。例如：目标种类为体积较小的石块或者草木时，判定安全等级高，车辆可以不避障直接通过；目标种类为行人或者定义的不可碰撞设备时，判定安全等级较低，车辆进入避障决策。
[0146]
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。