一种基于高空视角识别系统的车辆轨迹运动特征识别方法与流程

1.本发明属于智能交通领域，特别是涉及一种基于高空视角识别系统的车辆轨迹运动特征识别方法。


背景技术：

2.近年来，人工智能技术和自动驾驶行业的快速发展，一方面促进了道路交通的智能化，另一方面也对道路交通信息的采集提出了更高的要求。人工智能技术在特征提取、数据挖掘、决策控制领域发挥了巨大的作用，同时，各国都在加紧对自动驾驶技术的研究，一般将自动驾驶分为六个级别：l0人工驾驶、l1辅助驾驶、l2半自动驾驶、l3高度自动驾驶、l4超高度自动驾驶、l5全自动驾驶。对于这些等级的评估需要来自现实场景中真实车辆行驶数据做支撑，真实道路下的车辆轨迹数据可用于验证处于自动驾驶模式下的车辆，从而对其等级进行评估。现阶段，已有相关研究对车辆轨迹数据进行采集。中国发明专利申请cn110751099a提出了一种利用航拍视频提取高精度轨迹提取方法，其侧重于车辆轨迹的去噪、拼接、平滑处理，而车辆运动参数的提取并未做详细说明，且在车辆目标关联阶段，其并未考虑先前帧车辆运动状态的变化情况对当前帧车辆状态的影响。中国发明专利申请cn111611918a同样提出了基于航拍视频的交通流数据集采集构建方法，但在提取交通流参数提取方法上有所欠缺，且其利用的目标跟踪手段为单目标跟踪方法，跟踪方法有待扩展；中国发明专利申请cn111145545a在道路交通检测上侧重于跨摄像头监测，在提取交通车辆运动特征方法上有所欠缺。


技术实现要素：

3.为了解决上述技术问题，本发明提出一种基于高空视角识别系统的车辆轨迹运动特征识别方法。
4.所述高空视角识别系统，其特征在于，包括：航拍摄像装置、计算处理主机、显示投影装置；
5.所述航拍摄像装置与所述计算处理主机通过无线方式连接；所述计算处理主机与所述显示投影装置通过有线方式连接；
6.所述航拍摄像装置用于采集高空视角下道路车辆视频图像数据，并通过无线方式发送至所述计算处理主机；计算处理主机用于处理航拍摄像装置采集到的高空视角下道路车辆视频图像数据，进一步通过所述高空视角下车辆轨迹运动特征识别方法得到车辆图像识别结果和轨迹生成结果，将车辆图像识别结果和轨迹生成结果传输至所述显示投影装置进行显示；
7.所述航拍摄像装置，远程拍摄时处于道路路面正上方，即航拍装置摄像头拍摄视线与道路路面夹角为90度。
8.所述车辆轨迹运动特征识别方法，其特征在于，包括以下步骤：
9.步骤1：计算处理主机通过无线方式使用航拍摄像装置位于道路路面正上方拍摄
视频图像数据，用于形成高空图像训练数据集，对高空图像训练数据集进行人工标注，标注车辆目标的外接矩形边框和车辆类型，形成高空图像训练车辆标记边框集合；
10.步骤2：计算处理主机通过无线方式使用航拍摄像装置位于道路路面正上方拍摄视频图像数据，用于形成高空图像序列数据集，用于后续提取车辆轨迹数据；高空图像序列数据集图像画面中道路处于图像中间位置；
11.步骤3：引入yolov5深度学习网络模型，将高空图像训练数据集中每帧图像和高空图像训练车辆标记边框集合中每帧图像对应的车辆标记边框依次输入至yolov5深度学习网络模型进行训练，使用giou方法构建损失函数模型，通过adam优化算法优化损失函数值，利用训练后的yolov5深度学习网络模型对高空图像序列数据集中车辆目标进行识别，得到高空图像序列车辆识别边框集合；
12.步骤4：从高空图像序列车辆目标识别边框集合中的第一帧车辆目标外接矩形边框数据开始，进行以下处理过程：对前一帧车辆目标边界框应用卡尔曼滤波，得到当前帧的车辆目标估计边框数据，使用匈牙利关联算法对当前帧的车辆目标识别边框数据和车辆目标估计边框数据中的车辆目标边界框进行关联匹配，匹配机制为iou距离，得到当前帧车辆目标识别边框数据的id序号，即当前帧车辆目标id序号，未完成匹配的当前帧车辆目标边框数据标记新的id序号；直到高空图像序列结束为止。将关联匹配过程后视频帧frame序号、车辆id序号与高空图像序列车辆目标边框集合合并形成原始车辆轨迹运动特征识别文本数据集；
13.步骤5：对原始车辆轨迹运动特征识别文本数据集依次进行数据预处理、运动特征提取、车道号检测、坐标转换四个处理过程，最终形成五级车辆轨迹运动特征识别文本数据集。
14.作为优选，步骤1所述高空图像训练数据集为：
15.{datae(x,y),e∈[1,e],x∈[1,x],y∈[1,y]}
[0016]
其中，datae(x,y)表示高空图像训练数据集中第e帧图像第x行第y列像素信息，e为高空图像训练数据集总帧数，x为高空图像训练数据集中图像的行数，y为高空图像训练数据集中图像的列数；
[0017]
步骤1所述高空图像训练车辆标记边框集合为：
[0018][0019]
其中，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的左上角横坐标，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的左上角纵坐标；表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框右下角横坐标，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的右下角纵坐标；type
e,n
表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标的标记类别；
[0020]
作为优选，步骤2所述航拍摄像装置的固定拍摄帧率为fps,所拍摄道路长度为l，拍摄画面道路长度方向覆盖像素单位数量为g；高空图像数据拍摄尺寸大小为x和y；
[0021]
步骤2所述高空图像序列数据集为：
[0022]
{data
t
(x,y),t∈[1,t],x∈[1,x],y∈[1,y]}
[0023]
其中，data
t
(x,y)表示高空图像序列数据集中第t帧图像第x行第y列像素信息，t为高空图像序列数据集总帧数，x为高空图像序列数据集中图像的行数，y为高空图像序列数据集中图像的列数；
[0024]
作为优选，步骤3所述yolov5网络框架具体为yolo5x网络结构；
[0025]
步骤3所述高空图像序列车辆识别边框集合为：
[0026][0027]
其中，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的左上角纵坐标；表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框右下角横坐标，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type
t,n
表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标的类别；
[0028]
作为优选，步骤4所述记录当前视频帧序号中，记录的视频帧序号集合为
[0029]
frame
t,n
{frame
t,n
}
[0030]
其中，frame
t,n
表示第t帧第n个车辆目标对应的视频序号。
[0031]
步骤4所述卡尔曼滤波处理过程依次包括：初始化车辆目标状态向量；初始化状态转移矩阵，初始化协方差矩阵，初始化观测矩阵，初始化系统噪音矩阵；根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量，得到当前帧车辆目标状态向量预测值；根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵，得到当前帧车辆目标系统误差协方差矩阵预测值；利用当前帧车辆目标系统协方差矩阵预测值更新卡尔曼系数；根据当前帧车辆目标状态向量预测值和系统观测值估计，得到当前帧车辆目标状态向量最优估计值；更新当前帧车辆目标系统误差协方差矩阵；从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合；
[0032]
步骤4所述卡尔曼滤波初始化车辆目标状态向量过程中，使用车辆目标边界框中心的横坐标，边界框中心的纵坐标，边界框的面积和边界框横纵比来描述车辆目标边界框特征，并采用线性匀速模型来描述边界框的运动状态信息，即：
[0033][0034]
其中，表示边界框的运动状态信息，u表示边界框中心的横坐标，v表示边界框中心的纵坐标，s表示边界框的面积，r表示边界框横纵比，通常为常数，表示边界框中心横坐标变化率，表示边界框中心的纵坐标，表示边界框的面积变化率。第t-1帧第m个车辆目标边界框的运动状态信息描述为：
[0035][0036]
其中，表示第t-1帧第m个车辆目标边界框的运动状态信息，u
t-1,m
表示第t-1帧第m个车辆目标边界框中心的横坐标，v
t-1,m
表示第t-1帧第m个车辆目标边界框中心的纵坐标，s
t-1,m
表示第t-1帧第m个车辆目标边界框的面积，r
t-1,m
表示第t-1帧第m个车辆目标边
界框横纵比，表示第t-1帧第m个车辆目标边界框中心横坐标变化率，表示第t-1帧第m个车辆目标边界框中心的纵坐标，表示第t-1帧第m个车辆目标边界框的面积变化率；
[0037]
第t-1帧第m个车辆目标边框中心的横坐标、纵坐标和边界框面积计算公式如下：
[0038][0039]
其中，表示第t-1帧第m个车辆目标边框左上角横坐标，表示第t-1帧第m个车辆目标边框右下角横坐标，表示第t-1帧第m个车辆目标边框左上角纵坐标，表示第t-1帧第m个车辆目标边框右下角纵坐标；
[0040]
步骤4所述初始化状态转移矩阵中，状态转移矩阵f是对目标状态向量的运动建模，采用的匀速运动模型对应的状态转移矩阵f初始化为：
[0041][0042]
初始化协方差矩阵中，协方差矩阵p表示目标位置信息的不确定性，协方差矩阵为经验参数；
[0043]
初始化系统噪音协方差矩阵中，由于过程噪声不可测，一般假设系统噪音协方差矩阵q符合正态分布；
[0044]
初始化观测矩阵中，观测矩阵h与可观测变量有关，其值初始化为：
[0045][0046]
初始化观测噪音协方差矩阵中，由于观测噪声不可测，一般假设观测噪音协方差矩阵r符合正态分布；
[0047]
步骤4所述卡尔曼滤波根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量中，得到的第t帧第m个车辆目标状态向量预测值计算公式为：
[0048]
[0049]
其中，表示第t-1帧第m个车辆目标状态向量最优估计值，表示第t帧第m个车辆目标状态向量预测值，f为状态转移矩阵，b为控制矩阵，u
t-1,m
表示控制增益矩阵；
[0050]
步骤4所述卡尔曼滤波根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵中，得到的第t帧第m个车辆目标系统误差协方差矩阵预测值计算公式为：
[0051][0052]
其中，p
t-1,m
表示第t-1帧第m个车辆目标系统误差协方差矩阵，表示第t帧第m个车辆目标系统误差协方差矩阵预测值，q为过程噪音的协方差矩阵；
[0053]
步骤三所述卡尔曼滤波利用当前帧系统误差协方差矩阵的预测值更新卡尔曼系数中，第t帧第m个车辆目标卡尔曼系数计算公式为：
[0054][0055]
其中，h为观测矩阵，r为观测噪音的协方差矩阵，k
t,m
为第t帧第m个车辆目标卡尔曼系数；
[0056]
步骤4所述卡尔曼滤波根据当前帧车辆目标状态向量预测值和系统观测值计算当前帧车辆目标状态向量最优估计值中，第t帧第m个车辆目标状态向量最优估计值计算公式为：
[0057][0058]
其中，为第t帧第m个车辆目标状态向量最优估计值，z
t
为观测值；
[0059]
步骤4所述卡尔曼滤波更新当前帧系统误差协方差矩阵中，第t帧第m个车辆目标系统误差协方差矩阵更新计算公式为：
[0060][0061]
其中，p
t,m
为第t帧第m个车辆目标系统协方差矩阵；
[0062]
步骤4所述从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合中，第t帧第m个目标状态向量最优估计值描述为：
[0063][0064]
其中，u
t,m
表示最优估计的第t帧第m个车辆目标边界框中心的横坐标的最优估计值，v
t,m
表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标的最优估计值，s
t,m
表示最优估计的第t帧第m个车辆目标边界框的面积的最优估计值，r
t,m
表示最优估计的第t帧第m个车辆目标边界框横纵比的最优估计值，表示最优估计的第t帧第m个车辆目标边界框中心横坐标变化率的最优估计值，表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标变化率，表示最优估计的第t帧第m个车辆目标边界框的面积变化率；
[0065]
当前帧车辆目标估计边框坐标计算公式为：
[0066][0067]
其中，表示最优估计的第t帧第m个车辆目标边框左上角横坐标，表示最优估计的第t帧第m个车辆目标边框左上角纵坐标，表示最优估计的第t帧第m个车辆目标边框右下角横坐标，表示最优估计的第t帧第m个车辆目标边框右下角纵坐标，
[0068]
因此，当前帧车辆目标估计边框集合为：
[0069][0070]
作为优选，步骤4所述匈牙利关联算法通过计算车辆目标边框iou交并比进行匹配；
[0071]
步骤4所述匈牙利关联算法计算车辆目标边框iou交并比匹配为：计算当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的iou交并比，相交面积计算公式为：
[0072][0073]
其中，s1表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的相交面积；
[0074]
合并计算公式为：
[0075][0076]
其中，s2表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标识别边框的合并面积；
[0077]
iou交并比计算公式为：
[0078][0079]
所述匈牙利关联算法车辆边框iou交并比匹配原则为：若计算出的第t帧第m个车辆目标估计边框与第t帧第n个车辆目标边识别框的iou交并比值最大且同属于同一车辆类别，则第t-1帧第m个车辆目标与第t帧第n个车辆目标属于同一车辆目标，并将第t帧第n个车辆目标的id序号标记为与第t-1帧第m个车辆目标一样的id序号。则关联后的车辆id序号集合为：
[0080]
id
t,n
{id
t,n
}
[0081]
其中，id
t,n
表示第t帧第n个车辆目标对应的车辆id序号。
[0082]
步骤4所述将关联过程后视频帧frame序号、车辆id序号与高空图像序列车辆目标边框集合合并形成原始车辆轨迹运动特征识别文本数据集中，形成的原始车辆轨迹运动特征识别文本数据集为：
[0083][0084]
作为优选，步骤5所述进行数据预处理为：
[0085]
首先需要计算车辆目标边框的中心点坐标，中心点坐标计算公式为：
[0086][0087][0088]
其中，表示第t帧第n个车辆目标识别边框中心点横坐标，表示第t帧第n个车辆目标识别边框中心点纵坐标；
[0089]
其次需要计算车辆目标边框的宽度和高度，计算公式为：
[0090][0091][0092]
其中，w
t,n
表示第t帧第n个车辆目标边框的宽度，h
t,n
表示第t帧第n个车辆目标边框的高度。
[0093]
形成一级车辆轨迹运动特征识别文本数据集：
[0094][0095]
对一级车辆轨迹运动特征识别文本数据集进行数据预处理时，首先利用阈值判别法对车辆轨迹运动特征识别文本数据进行筛除，形成二级车辆轨迹运动特征识别文本数据集，判定公式为：
[0096][0097][0098]
其中，表示阈值判定筛除后的横坐标，表示阈值判定筛除后的纵坐标，x1表示横坐标判定阈值下限，x2表示表示横坐标判定阈值上限，y1表示纵坐标判定阈值下限，y2表示纵坐标判定阈值上限；
[0099]
其次对同一id序号车辆轨迹进行计数，若视频帧数量小于固定值，则判定为零碎轨迹片段，进行清除，判定公式为：
[0100][0101]
其中，表示车辆id为value值的视频帧的数量，threshold表示固定值；
[0102]
形成的二级车辆轨迹运动特征识别文本数据集为：
[0103][0104]
其中，表示数据筛除后车辆目标边框对应的视频帧序号，表示数据筛
除后车辆目标边框对应的车辆id序号，表示数据筛除后车辆目标边框的宽度，表示数据筛选后车辆目标边框的高度。
[0105]
步骤5所述运动特征提取过程为：
[0106]
首先计算每个车辆id序号在每一个视频帧序号下的车辆速度，具体过程为使用当前帧和前一帧的位置差值和时间差值计算当前帧的速度，包括车辆横向速度和车辆纵向速度。形成的数据集为三级车辆轨迹运动特征识别文本数据集，车辆横向速度和车辆纵向速度计算公式：
[0107][0108][0109]
其中，表示第t帧第n个车辆目标对应车辆id序号下第t帧的车辆目标边框中心点横坐标，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧的车辆目标边框中心点横坐标，表示第t帧第n个车辆目标对应车辆id序号下第t帧的车辆目标边框中心点纵坐标，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧的车辆目标边框中心点纵坐标，v
t,n,x
表示第t帧第n个车辆目标边框中心点的横向速度，v
t,n,y
表示第t帧第n个车辆目标边框中心点的纵向速度，表示数据筛除后第t-1帧的视频帧序号；
[0110]
由于每一帧的速度计算利用了其前一帧的位置数据，因此每个id车辆帧序中第一帧的车辆速度无法计算，因此采用了三次多项式进行拟合，计算公式为：
[0111][0112]
式中，f3(v
x,2
,v
x,3
,v
x,4
,v
x,5
)为关于v
x,2
,v
x,3
,v
x,4
,v
x,5
的三次函数，v
x,1
是第一帧x方向速度，f3(v
y,2
,v
y,3
,v
y,4
,v
y,5
)是关于v
y,2
，v
y,3
，v
y,4
，v
y,5
的三次函数，v
y,1
是第一帧y方向速度；v
x,2
,v
x,3
,v
x,4
,v
x,5
分别为不同id车辆下第2、3、4、5帧的速度；
[0113]
其次计算每个车辆id序号在每一视频帧序号下的车辆加速度，具体过程为使用当前帧和前一帧的速度差值和时间差值计算加速度，包括车辆横向加速度和车辆纵向加速度，从而形成三级车辆轨迹运动特征识别文本数据集，车辆横向加速度和车辆纵向加速度计算公式为：
[0114][0115][0116]
其中，表示第t帧第n个车辆目标边框对应车辆id序号下第t帧第n个目标
边框中心点横向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧第m个目标边框中心点横向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t帧第n个目标边框中心点纵向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧第m个目标边框中心点纵向速度，a
t,n,x
表示第t帧第n个车辆目标边框中心点纵向加速度，a
t,n,y
表示第t帧第n个车辆目标边框中心点纵向加速度；
[0117]
和速度同理，不同车辆第一帧的加速度使用三次多项式进行拟合，计算公式为：
[0118][0119]
形成的三级车辆轨迹运动特征识别文本数据集为：
[0120][0121]
步骤5所述车道号检测为：
[0122]
首先通过对三级车辆轨迹运动特征识别文本数据集中的车辆位置坐标数据进行线性拟合，得到拟合直线，拟合直线表达式为：
[0123][0124]
其中，表示关于和的拟合函数，a表示直线斜率，b表示直线截距；
[0125]
其次分别计算三级车辆轨迹运动特征识别文本数据集中车辆位置坐标数据到拟合直线的距离，计算公式为：
[0126][0127]
使用阈值判定法判断车道号，形成四级车辆轨迹运动特征识别文本数据集，判定车道号公式为：
[0128]
{lane
t,n
＝k,if dist
k,1
≤dist≤dist
k,2
}
[0129]
其中，lane
t,n
表示第t帧第n个车辆目标边框中心点位于的车道号，k表示判定的车道号，dist
k,1
表示第k个车道边界下限，dist
k,2
表示第k个车道边界上限；
[0130]
形成的四级车辆轨迹运动特征识别文本数据集为：
[0131][0132]
步骤5所述坐标转换为：利用道路长度方向覆盖的像素单位数量与实际道路长度进行换算，换算后形成五级车辆轨迹运动特征识别文本数据集，换算比例为：
[0133][0134]
其中，q为换算比例大小；
[0135]
四级车辆轨迹运动特征识别文本数据集参数换算过程为：
[0136][0137]
其中，表示坐标转换后的第t帧第n个车辆目标边框中心点横坐标，表示坐标转换后的第t帧第n个车辆目标边框中心点纵坐标，表示坐标转换后的第t帧第n个车辆目标边框宽度，表示坐标转换后的第t帧第n个车辆目标边框高度，v
t,n,x,q
表示坐标转换后的第t帧第n个车辆目标边框中心点横向速度，v
t,n,y,q
表示坐标转换后的第t帧第n个车辆目标边框中心点纵向速度，a
t,n,x,q
表示坐标转换后的第t帧第n个车辆目标边框中心点横向加速度，a
t,n,y,q
表示坐标转换后的第t帧第n个车辆目标边框中心点纵向加速度；
[0138]
形成的五级车辆轨迹运动特征识别文本数据集为：
[0139][0140]
本发明优点在于：首先提出了一种新的车辆轨迹特征识别方法，区别于现有专利，本发明方法应用了yolov5识别模型，基于匀速运动模型应用卡尔曼滤波和匈牙利算法，并提出一种提取车辆速度、加速度、车道号特征的方法；其次发明方法克服了现有专利在车辆运动特征方法流程上的不足，应用的卡尔曼滤波能够减缓车辆目标数据关联部分的遗漏问题，提出的速度、加速度和车道号提取方法可以有效的提取车辆运动特征。
附图说明
[0141]
图1：为本发明装置示意图；
[0142]
图2：为本发明工作场景图；
[0143]
图3：为本发明方法流程图；
[0144]
图4：为本发明方法车辆轨迹提取试验图；
[0145]
图5：为本发明方法车道号检测试验图。
具体实施方式
[0146]
为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0147]
如图1所示，为本发明装置示意图，本发明装置的技术方案为高空视角识别系统，
其特征在于，包括：
[0148]
航拍摄像装置、计算处理主机、显示投影装置；
[0149]
所述航拍摄像装置与所述计算处理主机通过无线方式连接；所述计算处理主机与所述显示投影装置通过有线方式连接；
[0150]
所述航拍摄像装置用于采集高空视角下道路车辆视频图像数据，并通过无线方式发送至所述计算处理主机；计算处理主机用于处理航拍摄像装置采集到的高空视角下道路车辆视频图像数据，进一步通过所述高空视角下车辆轨迹运动特征识别方法得到车辆图像识别结果和轨迹生成结果，将车辆图像识别结果和轨迹生成结果传输至所述显示投影装置进行显示；
[0151]
所述航拍摄像装置选型为：大疆dji mavic air2；
[0152]
所述计算处理主机的配置为：i9-9900k型号cpu；nvida geforce rtx 3080型号gpu；华硕prime z390-a型号主板；ddr4 3000hz 16g内存条两条；gw-eps1250da型号电源；
[0153]
所述显示屏选型为：aoc22b2h型号显示屏；
[0154]
如图2所示，所述航拍摄像装置，所述航拍摄像装置，远程拍摄时处于道路路面正上方，即航拍装置摄像头拍摄视线与道路路面夹角为90度。
[0155]
如图3所示，所述车辆轨迹运动特征识别方法，其特征在于，包括以下步骤：
[0156]
步骤1：计算处理主机通过无线方式使用航拍摄像装置位于道路路面正上方拍摄视频图像数据，用于形成高空图像训练数据集，对高空图像训练数据集进行人工标注，标注车辆目标的外接矩形边框和车辆类型，形成高空图像训练车辆标记边框集合；
[0157]
步骤1所述高空图像训练数据集为：
[0158]
{datae(x,y),e∈[1,e],x∈[1,x],y∈[1,y]}
[0159]
其中，datae(x,y)表示高空图像训练数据集中第e帧图像第x行第y列像素信息，e为高空图像训练数据集总帧数，x为高空图像训练数据集中图像的行数，y为高空图像训练数据集中图像的列数；
[0160]
步骤1所述高空图像训练车辆标记边框集合为：
[0161][0162]
其中，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的左上角横坐标，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的左上角纵坐标；表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框右下角横坐标，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的右下角纵坐标；type
e,n
表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标的标记类别；
[0163]
步骤2：计算处理主机通过无线方式使用航拍摄像装置位于道路路面正上方拍摄视频图像数据，用于形成高空图像序列数据集，用于后续提取车辆轨迹数据；高空图像序列数据集图像画面中道路处于图像中间位置。
[0164]
步骤2所述航拍摄像装置的固定拍摄帧率为fps,所拍摄道路长度为l＝152米，拍摄画面道路长度方向覆盖像素单位数量为g＝3840；高空图像数据拍摄尺寸大小为x＝3840
和y＝2160；
[0165]
步骤2所述高空图像序列数据集为：
[0166]
{data
t
(x,y),t∈[1,t],x∈[1,x],y∈[1,y]}
[0167]
其中，data
t
(x,y)表示高空图像序列数据集中第t帧图像第x行第y列像素信息，t为高空图像序列数据集总帧数，t＝19200，x为高空图像序列数据集中图像的行数，y为高空图像序列数据集中图像的列数；
[0168]
步骤3：引入yolov5深度学习网络模型，将高空图像训练数据集中每帧图像和高空图像训练车辆标记边框集合中每帧图像对应的车辆标记边框依次输入至yolov5深度学习网络模型进行训练，使用giou方法构建损失函数模型，通过adam优化算法优化损失函数值，利用训练后的yolov5深度学习网络模型对高空图像序列数据集中车辆目标进行识别，得到高空图像序列车辆识别边框集合。
[0169]
步骤3所述yolov5网络框架具体为yolo5x网络结构；
[0170]
步骤3所述高空图像序列车辆识别边框集合为：
[0171][0172]
其中，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的左上角纵坐标；表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框右下角横坐标，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type
t,n
表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标的类别；
[0173]
步骤4：从高空图像序列车辆目标识别边框集合中的第一帧车辆目标外接矩形边框数据开始，进行以下处理过程：对前一帧车辆目标边界框应用卡尔曼滤波，得到当前帧的车辆目标估计边框数据，使用匈牙利关联算法对当前帧的车辆目标识别边框数据和车辆目标估计边框数据中的车辆目标边界框进行关联匹配，匹配机制为iou距离，得到当前帧车辆目标识别边框数据的id序号，即当前帧车辆目标id序号，未完成匹配的当前帧车辆目标边框数据标记新的id序号；直到高空图像序列结束为止。将关联匹配过程后视频帧frame序号、车辆id序号与高空图像序列车辆目标边框集合合并形成原始车辆轨迹运动特征识别文本数据集。
[0174]
步骤4所述记录当前视频帧序号中，记录的视频帧序号集合为
[0175]
frame
t,n
{frame
t,n
}
[0176]
其中，frame
t,n
表示第t帧第n个车辆目标对应的视频序号。
[0177]
步骤4所述卡尔曼滤波处理过程依次包括：初始化车辆目标状态向量；初始化状态转移矩阵，初始化协方差矩阵，初始化观测矩阵，初始化系统噪音矩阵；根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量，得到当前帧车辆目标状态向量预测值；根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵，得到当前帧车辆目标系统误差协方差矩阵预测值；利用当前帧车辆目标系统协方差矩阵预测值更新卡尔曼系数；根据当前帧车辆目标状态向量预测值和系统观测值估计，得到当前
帧车辆目标状态向量最优估计值；更新当前帧车辆目标系统误差协方差矩阵；从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合；
[0178]
步骤4所述卡尔曼滤波初始化车辆目标状态向量过程中，使用车辆目标边界框中心的横坐标，边界框中心的纵坐标，边界框的面积和边界框横纵比来描述车辆目标边界框特征，并采用线性匀速模型来描述边界框的运动状态信息，即：
[0179][0180]
其中，表示边界框的运动状态信息，u表示边界框中心的横坐标，v表示边界框中心的纵坐标，s表示边界框的面积，r表示边界框横纵比，通常为常数，表示边界框中心横坐标变化率，表示边界框中心的纵坐标，表示边界框的面积变化率。第t-1帧第m个车辆目标边界框的运动状态信息描述为：
[0181][0182]
其中，表示第t-1帧第m个车辆目标边界框的运动状态信息，u
t-1,m
表示第t-1帧第m个车辆目标边界框中心的横坐标，v
t-1,m
表示第t-1帧第m个车辆目标边界框中心的纵坐标，s
t-1,m
表示第t-1帧第m个车辆目标边界框的面积，r
t-1,m
表示第t-1帧第m个车辆目标边界框横纵比，表示第t-1帧第m个车辆目标边界框中心横坐标变化率，表示第t-1帧第m个车辆目标边界框中心的纵坐标，表示第t-1帧第m个车辆目标边界框的面积变化率；
[0183]
第t-1帧第m个车辆目标边框中心的横坐标、纵坐标和边界框面积计算公式如下：
[0184][0185]
其中，表示第t-1帧第m个车辆目标边框左上角横坐标，表示第t-1帧第m个车辆目标边框右下角横坐标，表示第t-1帧第m个车辆目标边框左上角纵坐标，表示第t-1帧第m个车辆目标边框右下角纵坐标；
[0186]
步骤4所述初始化状态转移矩阵中，状态转移矩阵f是对目标状态向量的运动建模，采用的匀速运动模型对应的状态转移矩阵f初始化为：
[0187]
[0188]
初始化协方差矩阵中，协方差矩阵p表示目标位置信息的不确定性，协方差矩阵为经验参数；
[0189]
初始化系统噪音协方差矩阵中，由于过程噪声不可测，一般假设系统噪音协方差矩阵q符合正态分布；
[0190]
初始化观测矩阵中，观测矩阵h与可观测变量有关，其值初始化为：
[0191][0192]
初始化观测噪音协方差矩阵中，由于观测噪声不可测，一般假设观测噪音协方差矩阵r符合正态分布；
[0193]
步骤4所述卡尔曼滤波根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量中，得到的第t帧第m个车辆目标状态向量预测值计算公式为：
[0194][0195]
其中，表示第t-1帧第m个车辆目标状态向量最优估计值，表示第t帧第m个车辆目标状态向量预测值，f为状态转移矩阵，b为控制矩阵，u
t-1,m
表示控制增益矩阵；
[0196]
步骤4所述卡尔曼滤波根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵中，得到的第t帧第m个车辆目标系统误差协方差矩阵预测值计算公式为：
[0197][0198]
其中，p
t-1,m
表示第t-1帧第m个车辆目标系统误差协方差矩阵，表示第t帧第m个车辆目标系统误差协方差矩阵预测值，q为过程噪音的协方差矩阵；
[0199]
步骤三所述卡尔曼滤波利用当前帧系统误差协方差矩阵的预测值更新卡尔曼系数中，第t帧第m个车辆目标卡尔曼系数计算公式为：
[0200][0201]
其中，h为观测矩阵，r为观测噪音的协方差矩阵，k
t,m
为第t帧第m个车辆目标卡尔曼系数；
[0202]
步骤4所述卡尔曼滤波根据当前帧车辆目标状态向量预测值和系统观测值计算当前帧车辆目标状态向量最优估计值中，第t帧第m个车辆目标状态向量最优估计值计算公式为：
[0203][0204]
其中，为第t帧第m个车辆目标状态向量最优估计值，z
t
为观测值；
[0205]
步骤4所述卡尔曼滤波更新当前帧系统误差协方差矩阵中，第t帧第m个车辆目标系统误差协方差矩阵更新计算公式为：
[0206][0207]
其中，p
t,m
为第t帧第m个车辆目标系统协方差矩阵；
[0208]
步骤4所述从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合中，第t帧第m个目标状态向量最优估计值描述为：
[0209][0210]
其中，u
t,m
表示最优估计的第t帧第m个车辆目标边界框中心的横坐标的最优估计值，v
t,m
表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标的最优估计值，s
t,m
表示最优估计的第t帧第m个车辆目标边界框的面积的最优估计值，r
t,m
表示最优估计的第t帧第m个车辆目标边界框横纵比的最优估计值，表示最优估计的第t帧第m个车辆目标边界框中心横坐标变化率的最优估计值，表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标变化率，表示最优估计的第t帧第m个车辆目标边界框的面积变化率；
[0211]
当前帧车辆目标估计边框坐标计算公式为：
[0212][0213]
其中，表示最优估计的第t帧第m个车辆目标边框左上角横坐标，表示最优估计的第t帧第m个车辆目标边框左上角纵坐标，表示最优估计的第t帧第m个车辆目标边框右下角横坐标，表示最优估计的第t帧第m个车辆目标边框右下角纵坐标，
[0214]
因此，当前帧车辆目标估计边框集合为：
[0215][0216]
作为优选，步骤4所述匈牙利关联算法通过计算车辆目标边框iou交并比进行匹配；
[0217]
步骤4所述匈牙利关联算法计算车辆目标边框iou交并比匹配为：计算当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的iou交并比，相交面积计算公式为：
[0218][0219]
其中，s1表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的相交面积；
[0220]
合并计算公式为：
[0221][0222]
其中，s2表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标识别边框的合并面积；
[0223]
iou交并比计算公式为：
[0224][0225]
所述匈牙利关联算法车辆边框iou交并比匹配原则为：若计算出的第t帧第m个车辆目标估计边框与第t帧第n个车辆目标边识别框的iou交并比值最大且同属于同一车辆类别，则第t-1帧第m个车辆目标与第t帧第n个车辆目标属于同一车辆目标，并将第t帧第n个车辆目标的id序号标记为与第t-1帧第m个车辆目标一样的id序号。则关联后的车辆id序号集合为：
[0226]
id
t,n
{id
t,n
}
[0227]
其中，id
t,n
表示第t帧第n个车辆目标对应的车辆id序号。
[0228]
步骤4所述将关联过程后视频帧frame序号、车辆id序号与高空图像序列车辆目标边框集合合并形成原始车辆轨迹运动特征识别文本数据集中，形成的原始车辆轨迹运动特征识别文本数据集为：
[0229][0230]
如图4所示，为原始车辆轨迹运动特征识别文本数据集车辆轨迹提取试验图；
[0231]
步骤5：对原始车辆轨迹运动特征识别文本数据集依次进行数据预处理、运动特征提取、车道号检测、坐标转换四个处理过程，最终形成五级车辆轨迹运动特征识别文本数据集。
[0232]
步骤5所述进行数据预处理为：
[0233]
首先需要计算车辆目标边框的中心点坐标，中心点坐标计算公式为：
[0234][0235][0236]
其中，表示第t帧第n个车辆目标识别边框中心点横坐标，表示第t帧第n个车辆目标识别边框中心点纵坐标；
[0237]
其次需要计算车辆目标边框的宽度和高度，计算公式为：
[0238][0239][0240]
其中，w
t,n
表示第t帧第n个车辆目标边框的宽度，h
t,n
表示第t帧第n个车辆目标边框的高度。
[0241]
形成一级车辆轨迹运动特征识别文本数据集：
[0242][0243]
对一级车辆轨迹运动特征识别文本数据集进行数据预处理时，首先利用阈值判别法对车辆轨迹运动特征识别文本数据进行筛除，形成二级车辆轨迹运动特征识别文本数据集，判定公式为：
[0244][0245][0246]
其中，表示阈值判定筛除后的横坐标，表示阈值判定筛除后的纵坐标，x1表示横坐标判定阈值下限，x2表示表示横坐标判定阈值上限，y1表示纵坐标判定阈值下限，y2表示纵坐标判定阈值上限；
[0247]
其次对同一id序号车辆轨迹进行计数，若视频帧数量小于固定值，则判定为零碎轨迹片段，进行清除，判定公式为：
[0248][0249]
其中，表示车辆id为value值的视频帧的数量，threshold表示固定值；
[0250]
形成的二级车辆轨迹运动特征识别文本数据集为：
[0251][0252]
其中，表示数据筛除后车辆目标边框对应的视频帧序号，表示数据筛除后车辆目标边框对应的车辆id序号，表示数据筛除后车辆目标边框的宽度，表示数据筛选后车辆目标边框的高度。
[0253]
步骤5所述运动特征提取过程为：
[0254]
首先计算每个车辆id序号在每一个视频帧序号下的车辆速度，具体过程为使用当前帧和前一帧的位置差值和时间差值计算当前帧的速度，包括车辆横向速度和车辆纵向速度。形成的数据集为三级车辆轨迹运动特征识别文本数据集，车辆横向速度和车辆纵向速度计算公式：
[0255][0256][0257]
其中，表示第t帧第n个车辆目标对应车辆id序号下第t帧的车辆目标边框中心点横坐标，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧的车辆目标边框中心点横坐标，表示第t帧第n个车辆目标对应车辆id序号下第t帧的车辆目标边框中心点纵坐标，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧的车辆目标边框中心点纵坐标，v
t,n,x
表示第t帧第n个车辆目标边框中心点的横向速度，v
t,n,y
表示第t帧第n个车辆目标边框中心点的纵向速度，表示数据筛除后第t-1帧的视频帧序号；
[0258]
由于每一帧的速度计算利用了其前一帧的位置数据，因此每个id车辆帧序中第一
帧的车辆速度无法计算，因此采用了三次多项式进行拟合，计算公式为：
[0259][0260]
式中，f3(v
x,2
,v
x,3
,v
x,4
,v
x,5
)为关于v
x,2
,v
x,3
,v
x,4
,v
x,5
的三次函数，v
x,1
是第一帧x方向速度，f3(v
y,2
,v
y,3
,v
y,4
,v
y,5
)是关于v
y,2
，v
y,3
，v
y,4
，v
y,5
的三次函数，v
y,1
是第一帧y方向速度；v
x,2
,v
x,3
,v
x,4
,v
x,5
分别为不同id车辆下第2、3、4、5帧的速度；
[0261]
其次计算每个车辆id序号在每一视频帧序号下的车辆加速度，具体过程为使用当前帧和前一帧的速度差值和时间差值计算加速度，包括车辆横向加速度和车辆纵向加速度，从而形成三级车辆轨迹运动特征识别文本数据集，车辆横向加速度和车辆纵向加速度计算公式为：
[0262][0263][0264]
其中，表示第t帧第n个车辆目标边框对应车辆id序号下第t帧第n个目标边框中心点横向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧第m个目标边框中心点横向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t帧第n个目标边框中心点纵向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧第m个目标边框中心点纵向速度，a
t,n,x
表示第t帧第n个车辆目标边框中心点纵向加速度，a
t,n,y
表示第t帧第n个车辆目标边框中心点纵向加速度；
[0265]
和速度同理，不同车辆第一帧的加速度使用三次多项式进行拟合，计算公式为：
[0266][0267]
形成的三级车辆轨迹运动特征识别文本数据集为：
[0268][0269]
步骤5所述车道号检测为：
[0270]
首先通过对三级车辆轨迹运动特征识别文本数据集中的车辆位置坐标数据进行线性拟合，得到拟合直线，拟合直线表达式为：
[0271][0272]
其中，表示关于和的拟合函数，a表示直线斜率，b表示直线截距，计算得a＝-0.008725,b＝1189；
[0273]
其次分别计算三级车辆轨迹运动特征识别文本数据集中车辆位置坐标数据到拟合直线的距离，计算公式为：
[0274][0275]
使用阈值判定法判断车道号，形成四级车辆轨迹运动特征识别文本数据集，判定车道号公式为：
[0276]
{lane
t,n
＝k,if dist
k,1
≤dist≤dist
k,2
}
[0277]
其中，lane
t,n
表示第t帧第n个车辆目标边框中心点位于的车道号，k表示判定的车道号，dist
k,1
表示第k个车道边界下限，dist
k,2
表示第k个车道边界上限；
[0278]
形成的四级车辆轨迹运动特征识别文本数据集为：
[0279][0280]
如图5所示，为四级车辆轨迹运动特征识别文本数据集车道号检测试验图，图中连续直线表示检测的车道间隔线；
[0281]
步骤5所述坐标转换为：利用道路长度方向覆盖的像素单位数量与实际道路长度进行换算，换算后形成五级车辆轨迹运动特征识别文本数据集，换算比例为：
[0282][0283]
其中，q为换算比例大小，计算可得q＝0.03958；
[0284]
四级车辆轨迹运动特征识别文本数据集参数换算过程为：
[0285][0286]
其中，表示坐标转换后的第t帧第n个车辆目标边框中心点横坐标，表示坐标转换后的第t帧第n个车辆目标边框中心点纵坐标，表示坐标转换后的第t帧第n个车辆目标边框宽度，表示坐标转换后的第t帧第n个车辆目标边框高度，v
t,n,x,q
表示坐标转换后的第t帧第n个车辆目标边框中心点横向速度，v
t,n,y,q
表示坐标转换后的第t帧第n个车辆目标边框中心点纵向速度，a
t,n,x,q
表示坐标转换后的第t帧第n个车辆目标边框中心点横向加速度，a
t,n,y,q
表示坐标转换后的第t帧第n个车辆目标边框中心点纵向加速度；
[0287]
形成的五级车辆轨迹运动特征识别文本数据集为：
[0288][0289]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。