基于路侧监控视角车辆三维包围框检测系统及方法与流程

1.本发明涉及的是一种图像处理领域的技术，具体是一种基于路侧监控视角车辆三维包围框检测系统及方法。


背景技术：

2.车辆数字化技术中的关键操作，即车辆三维包围框检测目前大多通过单目图像实现，通过基于自动驾驶视角数据集(如kitti数据集)进行神经网络训练，达到预测目标。但自动驾驶视角与路侧探头视角像素特征差别明显，使用上述神经网络应用于路侧图像与视频效果极差。此外，无公开的路侧探头视角的车辆三维包围框数据集可供训练使用。存在的零星的路侧探头视角下的三维包围框检测研究工作，普遍存在精度差，鲁棒性差，无法适应复杂场景等不足。


技术实现要素：

3.本发明针对现有技术存在的上述不足，提出一种基于路侧监控视角车辆三维包围框检测系统及方法，能够实高精度、高鲁棒性、高适应性、高可扩展性的车辆三维包围框检测。
4.本发明是通过以下技术方案实现的：
5.本发明涉及一种基于路侧监控视角车辆三维包围框检测系统，包括：灭点检测模块、车辆轮廓检测模块和包围框构建模块，其中：灭点检测模块基于路侧监控视角视频流计算监控视频的三个灭点，车辆检测模块基于实例分割网络和mask r-cnn网络，根据输入的图像信息，输出车辆掩膜，根据车辆掩膜搜索像素边缘得到车辆轮廓；包围框构建模块根据第一至第三灭点以及车辆轮廓，通过车辆三维包围框存在的空间几何约束以及图像焦距得到辅助交点，进而得到车辆三维包围框。
6.所述的灭点检测模块包括：第一灭点检测单元、第二灭点检测单元和第三灭点计算单元，其中：第一灭点检测单元基于路侧监控视角视频流，进行每帧图片的特征点提取，应用klt特征追踪算法(kanade lucas tomasi feature tracker)进行特征点追踪，将相邻帧间同一特征点的两个匹配像素形成的矢量定义为特征点的运动矢量，将运动矢量模长大于阈值的特征点定义为动态特征点并将动态特征点的运动矢量所在直线视为第一灭点候选直线，将第一灭点候选直线通过菱形空间变换得到第一灭点；第二灭点检测单元基于路侧监控视角视频流，进行背景过滤得到动态车辆特征点，对动态车辆特征点进行平行空间变换以进行直线检测，得到第二灭点候选直线，再对候选直线进行条件过滤，最后将候选直线通过菱形空间变换得到第二灭点；第三灭点计算单元根据第一灭点、第二灭点、第三灭点与相机主点间存在的几何关系，计算第三灭点。技术效果
7.相比现有基于直线的灭点检测在复杂的交通场景下易受噪声直线干扰，无法检测到正确的候选直线，即无法得到正确的灭点，本发明基于动态特征点的第一灭点检测单元
和基于背景过滤的第二灭点检测，在复杂的交通环境，能够更加精确，稳定地进行灭点检测。
附图说明
8.图1为本发明流程示意图；
9.图2为实施例直角坐标系区域划分示意图；
10.图3为正交灭点几何约束示意图；
11.图4为灭点与轮廓切线示意图；
12.图5～图8为三维包围框构建示意图。
具体实施方式
13.如图1所示，为本实施例涉及一种基于上述系统的路侧监控视角车辆三维包围框检测方法，包括以下步骤：
14.步骤1、基于路侧监控视角视频流计算监控视频的三个灭点，基于mask r-cnn神经网络，根据单帧图像信息，输出车辆掩膜，再根据车辆掩膜搜索像素边缘即得到车辆轮廓；
15.所述的mask r-cnn神经网络，其采用但不限于he,kaiming,et al."mask r-cnn."(proceedings of the ieee international conference on computer vision.2017.)中记载的方式实现。
16.所述的基于mask r-cnn神经网络，通过路侧监控视角车辆掩膜数据集进行再训练，使得神经网络拟合路侧监控视角与车辆场景。
17.步骤2、根据第一灭点、第二灭点、第三灭点以及车辆轮廓，通过车辆三维包围框存在的空间几何约束以及图像焦距得到辅助交点，进而得到车辆三维包围框。
18.所述的计算监控视频的三个灭点是指：
19.步骤1.1)基于路侧监控视角视频流，提取每帧图片的特征点提取，应用klt特征追踪算法(kanade-lucas-tomasi feature tracker)进行特征点追踪，将相邻帧间同一特征点的两个匹配像素形成的矢量定义为特征点的运动矢量，将运动矢量模长大于阈值的特征点定义为动态特征点并将动态特征点的运动矢量所在直线视为第一灭点候选直线，将第一灭点候选直线通过菱形空间变换得到第一灭点；
20.所述的klt特征跟踪算法，采用但不限于klt shi,jianbo."good features to track."(1994 proceedings of ieee conference on computer vision and pattern recognition.ieee,1994.)中记载的方式实现。
21.步骤1.2)基于路侧监控视角视频流，进行背景过滤得到动态车辆特征点，对动态车辆特征点进行平行空间变换以进行直线检测，得到第二灭点候选直线，再对候选直线进行条件过滤，最后将候选直线通过菱形空间变换得到第二灭点；
22.所述的平行空间变换，采用但不限于dubsk
á
,mark
é
ta,adam herout,andhavel."pclines—line detection using parallel coordinates."(cvpr 2011.ieee,2011.)中记载的方式实现，具体为：将前景特征点集合通过平行空间变换，得到平行空间下的若干折线，在平行空间中进行累计，得到累计值高于某一阈值τc的点，再将之逆变换为笛卡尔坐标系下的直线，即得到第二灭点候选直线集合。
23.步骤1.3)根据第一灭点、第二灭点、第三灭点与相机主点间存在的几何关系，计算第三灭点。
24.所述的菱形空间变换，采用但不限于dubsk
á
,mark
é
ta,and adam herout."real projective plane mapping for detection of orthogonal vanishing points."(bmvc.2013.)中记载的方式实现，具体为：通过将已知的多直线经由坐标变换，转换到菱形空间坐标系中，并在菱形空间中进行累计，得到累计值最高的点，再将之转换为像素坐标，即第一灭点。
25.所述的条件过滤是指：第一灭点到候选直线距离应大于距离阈值、候选直线斜率应在[-τ，τ]间，其中：τ为可调参数，本实施例中设置为
[0026]
所述的背景过滤是指：对视频流中的图片帧序列的静态背景进行过滤，得到动态特征点，具体包括：
[0027]
①
首先定义：h
t
为第t帧图像的高维梯度；b
t
为第t帧图像的高维背景梯度。h
t
和b
t
是(w，h，8)规模的三维矩阵；
[0028]
②
将直角坐标系按如图2所示划分为八个区域，图像i中的像素点x的梯度方向所属区域其中i
x
为图像i的x方向梯度图，iy为图像i的y方向梯度图。a(x)的计算结果将为0至7的离散整数，对应八个区域。
[0029]
③
高维梯度中数值可按下式计算：其中x为像素坐标，k为高维梯度的第三维(k＝0,1,2,
…
,7)。可据此求得每帧图像的高维梯度。
[0030]
④
高维背景梯度可由前一帧的高维背景梯度和当前帧的高维梯度计算：b
t
＝αh
t
(1-α)b
t-1
，α为可调参数。
[0031]
所述的可调参数，其范围为(0,1)，本实施例中设置α＝0.05，使得当前帧的高维背景梯度大部分集成前一帧高维背景梯度，并受当前帧的高维梯度扰动。可据此求得每帧图像的高维背景梯度。
[0032]
⑤
基于每帧的高维梯度和高维背景梯度，可进行像素级的背景过滤，过滤原则是一方面前景像素的梯度应与高维背景梯度有明显差别，另一方面前景特征点的梯度应大于某阈值。具体的，可按下式选择每帧的图像动态特征点集合：即得到前景特征点集合。
[0033]
如图3所示，所述的第三灭点，通过以下方式得到：作出合理假设，图像的主点p大致位于图像的中心点，即其中u0和v0是相机内参的主点偏移参数。记第一灭点、第二灭点、第三灭点的像素坐标为v1＝(x1，y1)，v2＝(x2，y2)，v3＝(x3，y3)；记相机焦距为f；记第一灭点、第二灭点、第三灭点的世界坐标为v1′
＝(x1，y1，f)，v2′
＝(x2，y2，f)，v3′
＝(x3，y3，f)；记光心的像素坐标和世界坐标分别为则可由
第一灭点、第二灭点、第三灭点与相机光心间存在的几何关系计算焦距与第三灭点。具体的，焦距第三灭点的世界坐标v3′
＝k(v1′‑
p
′
)
×
(v2′‑
p
′
)，其中k为缩放系数，意在将第三灭点的世界坐标的z轴值缩放至f。
[0034]
如图4～图8所示，所述的包围框构建是指：计算得到通过灭点且与车辆轮廓相切的直线以及对应六个切点，通过几何构图得到八个辅助交点后，连接棱边即得到如图8所示的车辆三维包围框。
[0035]
所述的辅助交点，构建方式与顺序如下：本实施例中定义t
k1
和t
k2
为第k灭点与车辆轮廓的两个切点(k＝1,2,3)。按如下顺序计算辅助交点：
[0036]
①
计算[v1,t
12
]与[v2,t
22
]的交点；
[0037]
②
计算[v3,t
31
]与[v2,t
22
]的交点；
[0038]
③
计算[v1,t
12
]与[v3,t
32
]的交点；
[0039]
④
计算[v2,t
21
]与[v3,t
32
]的交点；
[0040]
⑤
计算[v1,]与[v3,]的交点；
[0041]
⑥
计算[v1,t
11
]与[v3,t
31
]的交点f；
[0042]
⑦
计算[v1,]与[v2,]的交点；
[0043]
⑧
计算[v3,]与[v2,]的交点；
[0044]
其中，[x,y]表示通过点x和点y的直线。
[0045]
所述的车辆三维包围框包括：依次连接辅助交点中线段ab、线段bf、线段fe、线段ea、线段ed、线段fg、线段bh、线段ac、线段ch、线段hg、线段gd以及线段dc得到。
[0046]
综上，与现有技术相比，本发明能够实高精度、高鲁棒性、高适应性、高可扩展性的车辆三维包围框检测。
[0047]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。