一种基于交通监控摄像的目标检测和跟踪定位方法

1.本发明涉及目标检测技术领域，尤其是涉及一种基于交通监控摄像的目标检测和跟踪定位方法。


背景技术：

2.近年来，随着汽车保有量的增加，交通拥堵问题，交通中的安全问题越来越突显，为了提高通行效率，增加安全性，并将驾驶员从疲劳的驾驶工作中解放出来，自动驾驶进入了大众的视野。车路协同是自动驾驶的重要分支之一，而路侧端感知需要通过在路侧端安装的传感器准确感知周围环境和环境内的交通参与者，以分担车端感知的压力，提供信息冗余，是车路协同的核心。
3.自动驾驶环境感知中常用的传感器有rgb相机，激光雷达和毫米波雷达等，rgb相机成本低廉，较易布设于路侧，数据分辨率高，特征丰富等优势，但受光照条件影响较大，夜间几乎无法正常使用；毫米波雷达成本较低，不受光照条件和天气条件影响，但分辨率很低；激光雷达具有不易受光照条件影响，日夜都能工作，精度高，分辨率较高的特点，但易受雨雾雪等恶劣环境的影响。
4.现有技术方案在路侧布设监控摄像头，完成对交通参与者的识别分类等功能。如《基于单目相机监控场景下目标的位置速度测量方法及系统》中通过路侧安装的监控单目相机，使用深度学习方法对实时图像进行检测，通过标定得到的单应矩阵获得目标在地面坐标系中的坐标，最后通过跟踪得到目标的速度，但此种方案只能获得目标的类别信息，位置信息和速度信息，而无法获得目标的朝向角和三维尺寸，而后两者在自动驾驶的决策控制和规划中有着重要作用。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于交通监控摄像的目标检测和跟踪定位方法。
6.本发明的目的可以通过以下技术方案来实现：
7.一种基于交通监控摄像的目标检测和跟踪定位方法，该方法包括以下步骤：
8.步骤1：对单目监控相机进行标定，获得地面坐标系到图像坐标系的单应矩阵；
9.步骤2：基于深度学习检测方法得到目标的2d包围框和目标类别；
10.步骤3：根据步骤2中检测方法得到的2d包围框在图像坐标系下的坐标和单应矩阵获取目标在地面坐标系下的地面坐标；
11.步骤4：提取每个目标的2d包围框中的图像，基于关联匹配和跟踪算法进行目标的关联匹配和跟踪；
12.步骤5：根据同一目标在不同帧的图像中的地面坐标获得目标的速度；
13.步骤6：通过多任务深度神经网络模型对每个目标的2d包围框中的图像进行观察朝向角和三维尺寸的回归；
14.步骤7：根据观察朝向角和观察角计算目标的朝向角。
15.所述的步骤2中，基于深度学习检测方法得到目标的2d包围框和目标类别的过程具体为：
16.通过标定后的单目相机进行图像采集，获得实时图像，基于深度学习检测方法对实时图像进行逐帧检测，得到目标在实时图像中的2d包围框和目标类别。
17.所述的深度学习检测方法包括yolov3。
18.所述的步骤4中，关联匹配和跟踪算法包括deepsort算法。
19.所述的步骤6中，多任务深度神经网络模型的主干部分包括vgg19，多任务深度神经网络模型的输出端包括回归观察朝向角和回归三维尺寸。
20.所述的步骤6中，进行回归观察朝向角和三维尺寸的过程具体包括以下步骤：
21.步骤601：对于每个目标，模型输出的表达式为：
[0022][0023][0024][0025]
其中，为模型输出，和分别为模型输出的参数，和分别为目标的观察朝向角属于第一角度范围的置信度和为目标的观察朝向角属于第二角度范围的置信度，和分别为模型输出的用以决定第一角度范围的角度补偿参数以及用以决定第二角度范围的角度补偿参数，和分别为目标宽度与宽度平均值的宽度偏差、目标长度与长度平均值的长度偏差以及目标高度与高度平均值的高度偏差；
[0026]
步骤602：通过模型输出的参数和计算角度补偿，角度补偿的计算公式为：
[0027][0028][0029]
其中，δθ1为属于第一角度范围的角度补偿，δθ2为属于第二角度范围的角度补偿；
[0030]
步骤603：通过置信度确定目标的观察朝向角的范围b：
[0031][0032]
其中，b为观察朝向角的范围，b1为第一角度范围，b2为第二角度范围；
[0033]
步骤604：通过观察朝向角的范围b计算目标的观察朝向角θ
l
：
[0034]
θ
l
＝m δθ
[0035][0036]
其中，θ
l
为观察朝向角，m为目标的中心角度，m1为第一角度范围的中心角度，m2为第二角度范围的中心角度，δθ为目标的角度补偿；
[0037]
步骤605：通过和计算目标三维尺寸，目标的宽度、长度和高度的计算公式分别为；
[0038][0039][0040][0041]
其中，w为目标的宽度，l为目标的长度，h为目标的高度，和分别为目标宽度与宽度平均值的宽度偏差、目标长度与长度平均值的长度偏差以及目标高度与高度平均值的高度偏差，wa、la和ha分别为统计得到的所有车辆的宽度平均值、所有车辆的长度平均值以及所有车辆的高度平均值，wa、la和ha均为预先设定的固定值。
[0042]
所述的步骤7中，根据观察朝向角和观察角计算目标的朝向角的计算公式为：
[0043]
θ＝θ
ray
θ
l-2π
[0044]
其中，θ为目标朝向角，θ
ray
为观察角，θ
l
为观察朝向角，θ
ray
为观察角，观察角为目标中心点和相机坐标系原点连线，投影到相机坐标系的x-z平面后与轴的夹角。
[0045]
所述的步骤6中，采用多任务深度神经网络模型观察朝向角的朝向角代价函数为：
[0046][0047]
其中，l
ori
为朝向角代价函数，softmax为归一化指数函数，i为角度范围的数量，n为目标个数，为指示函数，指示函数表示若满足括号内条件则函数返回值为1，否则返回值为0，θ为目标朝向角，θ
l
为观察朝向角，为模型输出的用以决定第i角度范围的角度补偿参数，mi为第i角度范围bi的中心角度，δθi为第i角度补偿。
[0048]
所述的步骤6中，采用多任务深度神经网络模型进行三维尺寸回归的三维尺寸回归任务代价函数为l1代价函数，其公式为：
[0049][0050]
其中，l
dim
为三维尺寸回归任务代价函数，n为目标个数，γk为第k个目标的三维尺寸真实值，为目标类别的三维尺寸平均值，为第k个目标的三维尺寸预测值。
[0051]
所述的步骤5中，根据同一目标在不同帧的图像中的地面坐标获得目标的速度，其公式为：
[0052][0053]
其中，(x,y)为上一帧此目标的坐标，(x',y')为这一帧此目标的坐标，δt为每一帧之间的间隔时间。
[0054]
与现有技术相比，本发明具有以下优点：
[0055]
1、通过交通监控相机对交通参与者进行实时检测和跟踪，能够检测的目标类别包括：行人，两轮车，汽车，卡车；
[0056]
2、通过交通监控相机对交通参与者进行实时检测和跟踪，不仅能够获得目标的类别，位置，速度，还能通过深度学习的方法得到目标的三维尺寸和朝向角。
附图说明
[0057]
图1为本发明的流程示意图。
[0058]
图2为多任务深度神经网络模型结构图。
[0059]
图3为观察朝向角、观察角和朝向角的示意图。
[0060]
图4为本发明的效果示意图，其中上半部分为监控画面和2d检测结果，下半部分为路口内所有目标的鸟瞰图。
具体实施方式
[0061]
下面结合附图和具体实施例对本发明进行详细说明。
[0062]
实施例
[0063]
本发明提供了一种基于交通监控摄像的目标检测和跟踪定位方法，流程如图1，该方法包括以下步骤：
[0064]
步骤1：对单目监控相机进行标定，获得地面坐标系到图像坐标系的单应矩阵；
[0065]
步骤2：基于深度学习检测方法得到目标的2d包围框和目标类别；
[0066]
步骤3：根据步骤2中检测方法得到的2d包围框在图像坐标系下的坐标和单应矩阵获取目标在地面坐标系下的地面坐标；
[0067]
步骤4：提取每个目标的2d包围框中的图像，采用deepsort算法进行目标的关联匹配和跟踪；
[0068]
步骤5：根据同一目标在不同帧的图像中的地面坐标获得目标的速度；
[0069]
步骤6：通过多任务深度神经网络模型对每个目标的2d包围框中的图像进行观察朝向角和三维尺寸的回归；
[0070]
步骤7：根据观察朝向角和观察角计算目标的朝向角。
[0071]
在步骤5中，根据同一目标在不同帧的图像中的地面坐标获得目标的速度，其公式为：
[0072]
[0073]
其中，(x,y)为上一帧此目标的坐标，(x',y')为这一帧此目标的坐标，δt为每一帧之间的间隔时间。
[0074]
在步骤6中，通过多任务深度神经网络模型对每个目标的2d包围框中的图像进行观察朝向角和三维尺寸的回归：
[0075]
步骤601：对于每个目标，模型输出的表达式为：
[0076][0077][0078][0079]
其中，为模型输出，和分别为模型输出的参数，和分别为目标的观察朝向角属于第一角度范围的置信度和为目标的观察朝向角属于第二角度范围的置信度，和分别为模型输出的用以决定第一角度范围的角度补偿参数以及用以决定第二角度范围的角度补偿参数，和分别为目标宽度与宽度平均值的宽度偏差、目标长度与长度平均值的长度偏差以及目标高度与高度平均值的高度偏差；
[0080]
步骤602：通过模型输出的参数和计算角度补偿，角度补偿的计算公式为：
[0081][0082][0083]
其中，δθ1为属于第一角度范围的角度补偿，δθ2为属于第二角度范围的角度补偿；
[0084]
步骤603：通过置信度确定目标的观察朝向角的范围b：
[0085][0086]
其中，b为观察朝向角的范围，b1为第一角度范围，b2为第二角度范围；
[0087]
步骤604：通过观察朝向角的范围b计算目标的观察朝向角θ
l
：
[0088]
θ
l
＝m δθ
[0089][0090]
其中，θ
l
为观察朝向角，m为目标的中心角度，m1为第一角度范围的中心角度，m2为第二角度范围的中心角度，δθ为目标的角度补偿；
[0091]
步骤605：通过和计算目标三维尺寸，目标的宽度、长度和高度的计算公式分别为；
[0092][0093][0094][0095]
其中，w为目标的宽度，l为目标的长度，h为目标的高度，和分别为目标宽度与宽度平均值的宽度偏差、目标长度与长度平均值的长度偏差以及目标高度与高度平均值的高度偏差，wa、la和ha分别为统计得到的所有车辆的宽度平均值、所有车辆的长度平均值以及所有车辆的高度平均值，wa、la和ha均为预先设定的固定值。
[0096]
采用多任务深度神经网络模型观察朝向角的朝向角代价函数为：
[0097][0098]
其中，l
ori
为朝向角代价函数，softmax为归一化指数函数，i为角度范围的数量，n为目标个数，为指示函数，指示函数表示若满足括号内条件则函数返回值为1，否则返回值为0，θ为目标朝向角，θ
l
为观察朝向角，为模型输出的用以决定第i角度范围的角度补偿参数，mi为第i角度范围bi的中心角度，δθi为第i角度补偿；
[0099]
采用多任务深度神经网络模型进行三维尺寸回归的三维尺寸回归任务代价函数为l1代价函数，其公式为：
[0100][0101]
其中，l
dim
为三维尺寸回归任务代价函数，n为目标个数，γk为第k个目标的三维尺寸真实值，为目标类别的三维尺寸平均值，为第k个目标的三维尺寸预测值。
[0102]
在步骤7中，根据观察朝向角和观察角计算目标的朝向角的计算公式为：
[0103]
θ＝θ
ray
θ
l-2π
[0104]
其中，θ为目标朝向角，θ
ray
为观察角，θ
l
为观察朝向角，即观察角真值，θ
ray
为观察角，观察角为目标中心点和相机坐标系原点连线，投影到相机坐标系的x-z平面后与轴的夹角。
[0105]
深度学习检测方法包括yolov3。
[0106]
采用深度学习的方法对检测到的行人，汽车，卡车和两轮车进行三维尺寸和朝向角的回归，设计的多任务深度神经网络模型只需要输入目标的rgb图像，就能直接同时计算出目标的长度、宽度、高度以及目标的朝向角，目标的朝向角为在地面坐标系中x-y平面上目标面朝的方向与x轴的夹角。
[0107]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。