一种基于图像输入的近场车辆加塞行为预测方法

技术特征：
1.一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，该方法包括：(1)采集真实的结构化道路场景中基于前向全景图像的图像序列信息，通过人工方法标注图像序列中车辆目标的位置以及行为信息；(2)构建适用于结构化道路中近场车辆检测与跟踪的近场车辆检测与跟踪模型；(3)构建适用于结构化道路中车道线检测的车道线检测网络及相应的损失函数；(4)基于步骤(2)建立的近场车辆检测与跟踪模型获得的车辆id与对应目标的边界框位置数据、以及步骤(3)建立的车道线检测网络获得的车道线，获得目标与车道线的相对位置偏差，根据先验规则的制定，得到近场车辆的加塞行为预测结果。2.根据权利要求1所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，步骤(1)具体包括：(11)对摄像头的内外参进行标定，其中外参包括旋转矩阵r和平移向量t，内参包括内参矩阵k，以及相机畸变系数；(12)利用装有摄像头的数据采集车在真实道路场景中采集视频数据，并记录采集时图像内车辆目标的类别；(13)利用标注工具对采集到的视频数据进行标注，标注方式包含车辆目标跟踪id标注、车辆目标类别标注、目标物体边界框标注、车辆加塞开始、车辆越过车道线中点以及车辆完成加塞行为的关键帧标注、车辆加塞行为类别标注，标注内容至少需要包含近场车辆的位置、关键帧以及加塞行为类别信息。3.根据权利要求1所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，步骤(2)具体包括：(21)构建基于改进的yolov5的近场车辆目标检测网络，将输入的视频切片作为图像时间序列输入至近场车辆目标检测网络，经过多层卷积与下采样操作，对输入的图像信息进行特征提取与特征编码，得到将图片划分好的多维特征张量；(22)构建分类网络，采用非极大抑制操作，最终得到各个目标的位置信息与分类置信度信息，包括对象的分类概率和定位概率；(23)构建基于改进的deep-sort的近场车辆目标跟踪网络，将目标检测得到的目标物体边界框信息以及分类信息作为输入，对视频中多个对象同时定位与追踪并记录id和轨迹信息，尤其是在有遮挡的条件下减少对象id的变换，输出目标车辆的跟踪id、目标类别以及目标物体边界框信息。4.根据权利要求1所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，步骤(3)具体包括：(31)构建基于卷积神经网络的车道线特征提取骨干网络，基于浅层残差连接网络输出特征，通过使用较大的感受野，在保证检测效果的同时提高模型的推理速度；(32)构建车道线语义分割网络，在网络训练时将多尺度特征上采样到同一尺度，并经过转置卷积，计算语义分割损失，增强骨干网络的视觉特征抽取能力，最终得到增强的基于残差连接的车道线检测骨干网络；(33)将骨干网络抽取的特征，根据先验指定的图片纵向候选锚框，在全局范围内通过分类器计算候选点，最终得到自车辆所在车道的车道线位置节点；(34)构建车道线检测网络的损失函数，包括多分类损失、分割损失以及车道结构化损
失。5.根据权利要求4所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，所述的车道线检测网络的损失函数表示为l
total
：l
total
＝l
cls
l
seg
ηl
lane
l
cls
为多分类损失、l
seg
为分割损失，l
lane
为车道结构化损失，η为超参数。6.根据权利要求5所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，所述的多分类损失l
cls
表示为：其中，l
ce
(
·
)表示交叉熵损失函数，p
i，j，：
表示针对第i个车道线、第j个横向锚框的所有(w 1)个车道线单元预测结果，t
i，j，：
表示针对第i个车道线、第j个横向锚框的所有(w 1)个车道线单元真实分布，c
i，j，：
表示p
i，j，：
与t
i，j，：
的相似度，c与h分别代表车道线类数与车道纵向锚点数，γ与α为超参数。7.根据权利要求5所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，所述的车道结构化损失l
lane
表示为：l
lane
＝l
sim
λl
shpshp
其中，l
sim
为相似度损失，l
shp
为形状损失，λ为表示损失权重的超参数，p
i，j，k
表示第i类车道线在位置为(j，k)处的预测概率，w为每行的划分单元数量。8.根据权利要求1所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，步骤(4)训练网络与制定先验规则步骤如下：(41)将采集到的图像序列进行数据预处理，包括：将图像进行随机的水平翻转、裁剪并统一缩放到固定的尺寸，标注数据也进行相应的翻转、裁剪和缩放，在此基础上对得到的图像按通道进行归一化处理；(42)将车道线检测得到的自车辆所在车道的车道线位置节点，采用高鲁棒性回归模型得到自车辆所在车道的车道线拟合模型；(43)根据自车辆所在车道的车道线模型建立加塞行为感兴趣区域，并计算目标车辆边界框信息与加塞行为感兴趣区域的位置偏差，并根据目标车辆跟踪id建立每个目标的加塞行为期望次数与车辆状态符号字典；(44)经过设定加塞行为期望次数阈值结合车辆状态符号判断目标车辆具体的行为，对建立的加塞行为感兴趣区域进行参数更新，迭代后得到理想的网络参数。9.根据权利要求8所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在
于，自车辆所在车道的车道线拟合模型为线性模型，且左右车道分别根据车道线预测位置节点拟合得到。10.根据权利要求8所述的一种基于图像输入的近场车辆加塞行为预测方法，其特征在于，建立的每个目标的加塞行为期望次数与车辆状态符号字典中键值为目标跟踪id，值为期望次数与车辆状态符号。

技术总结
本发明涉及一种基于图像输入的近场车辆加塞行为预测方法，该方法包括：(1)采集真实的结构化道路场景中基于前向全景图像的图像序列信息，通过人工方法标注图像序列中车辆目标的位置以及行为信息；(2)构建适用于结构化道路中近场车辆检测与跟踪的近场车辆检测与跟踪模型；(3)构建适用于结构化道路中车道线检测的车道线检测网络及相应的损失函数；(4)基于步骤(2)建立的近场车辆检测与跟踪模型获得的车辆ID与对应目标的边界框位置数据、以及步骤(3)建立的车道线检测网络获得的车道线，获得目标与车道线的相对位置偏差，根据先验规则的制定，得到近场车辆的加塞行为预测结果。与现有技术相比，本发明预测准确度高，效率高。效率高。效率高。


技术研发人员：陈广 边疆 瞿三清 钟志华
受保护的技术使用者：同济大学
技术研发日：2022.03.22
技术公布日：2022/7/15