一种基于高空视角识别系统的车辆轨迹运动特征识别方法与流程

技术特征：
1.一种基于高空视角识别系统的车辆轨迹运动特征识别方法，其特征在于：所述高空视角识别系统，其特征在于，包括：航拍摄像装置、计算处理主机、显示投影装置；所述航拍摄像装置与所述计算处理主机通过无线方式连接；所述计算处理主机与所述显示投影装置通过有线方式连接；所述航拍摄像装置用于采集高空视角下道路车辆视频图像数据，并通过无线方式发送至所述计算处理主机；计算处理主机用于处理航拍摄像装置采集到的高空视角下道路车辆视频图像数据，进一步通过所述高空视角下车辆轨迹运动特征识别方法得到车辆图像识别结果和轨迹生成结果，将车辆图像识别结果和轨迹生成结果传输至所述显示投影装置进行显示；所述航拍摄像装置，远程拍摄时处于道路路面正上方，即航拍装置摄像头拍摄视线与道路路面夹角为90度；所述车辆轨迹运动特征识别方法，包括以下步骤：步骤1：计算处理主机通过无线方式使用航拍摄像装置位于道路路面正上方拍摄视频图像数据，用于形成高空图像训练数据集，对高空图像训练数据集进行人工标注，标注车辆目标的外接矩形边框和车辆类型，形成高空图像训练车辆标记边框集合；步骤2：计算处理主机通过无线方式使用航拍摄像装置位于道路路面正上方拍摄视频图像数据，用于形成高空图像序列数据集，用于后续提取车辆轨迹数据；高空图像序列数据集图像画面中道路处于图像中间位置；步骤3：引入yolov5深度学习网络模型，将高空图像训练数据集中每帧图像和高空图像训练车辆标记边框集合中每帧图像对应的车辆标记边框依次输入至yolov5深度学习网络模型进行训练，使用giou方法构建损失函数模型，通过adam优化算法优化损失函数值，利用训练后的yolov5深度学习网络模型对高空图像序列数据集中车辆目标进行识别，得到高空图像序列车辆识别边框集合；步骤4：从高空图像序列车辆目标识别边框集合中的第一帧车辆目标外接矩形边框数据开始，进行以下处理过程：对前一帧车辆目标边界框应用卡尔曼滤波，得到当前帧的车辆目标估计边框数据，使用匈牙利关联算法对当前帧的车辆目标识别边框数据和车辆目标估计边框数据中的车辆目标边界框进行关联匹配，匹配机制为iou距离，得到当前帧车辆目标识别边框数据的id序号，即当前帧车辆目标id序号，未完成匹配的当前帧车辆目标边框数据标记新的id序号；直到高空图像序列结束为止；将关联匹配过程后视频帧frame序号、车辆id序号与高空图像序列车辆目标边框集合合并形成原始车辆轨迹运动特征识别文本数据集；步骤5：对原始车辆轨迹运动特征识别文本数据集依次进行数据预处理、运动特征提取、车道号检测、坐标转换四个处理过程，最终形成五级车辆轨迹运动特征识别文本数据集。2.根据权利要求1所述的基于高空视角识别系统的车辆轨迹运动特征识别方法，其特征在于：步骤1所述高空图像训练数据集为：{data
e
(x,y),e∈[1,e],x∈[1,x],y∈[1,y]}其中，data
e
(x,y)表示高空图像训练数据集中第e帧图像第x行第y列像素信息，e为高空
图像训练数据集总帧数，x为高空图像训练数据集中图像的行数，y为高空图像训练数据集中图像的列数；步骤1所述高空图像训练车辆标记边框集合为：其中，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的左上角横坐标，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的左上角纵坐标；表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框右下角横坐标，表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标标记矩形边框的右下角纵坐标；type
e,n
表示高空图像训练车辆标记边框集合中第e帧图像中第n个车辆目标的标记类别。3.根据权利要求1所述的基于高空视角识别系统的车辆轨迹运动特征识别方法，其特征在于：步骤2所述航拍摄像装置的固定拍摄帧率为fps,所拍摄道路长度为l，拍摄画面道路长度方向覆盖像素单位数量为g；高空图像数据拍摄尺寸大小为x和y；步骤2所述高空图像序列数据集为：{data
t
(x,y),t∈[1,t],x∈[1,x],y∈[1,y]}其中，data
t
(x,y)表示高空图像序列数据集中第t帧图像第x行第y列像素信息，t为高空图像序列数据集总帧数，x为高空图像序列数据集中图像的行数，y为高空图像序列数据集中图像的列数。4.根据权利要求1所述的基于高空视角识别系统的车辆轨迹运动特征识别方法，其特征在于：步骤3所述yolov5网络框架具体为yolo5x网络结构；步骤3所述高空图像序列车辆识别边框集合为：其中，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的左上角纵坐标；表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框右下角横坐标，表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type
t,n
表示高空图像序列车辆识别边框集合中第t帧图像中第n个车辆目标的类别。5.根据权利要求1所述的基于高空视角识别系统的车辆轨迹运动特征识别方法，其特征在于：步骤4所述记录当前视频帧序号中，记录的视频帧序号集合为frame
t,n
{frame
t,n
}其中，frame
t,n
表示第t帧第n个车辆目标对应的视频序号；步骤4所述卡尔曼滤波处理过程依次包括：初始化车辆目标状态向量；初始化状态转移矩阵，初始化协方差矩阵，初始化观测矩阵，初始化系统噪音矩阵；根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量，得到当前帧车辆目标状态向量预测值；根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵，得到
当前帧车辆目标系统误差协方差矩阵预测值；利用当前帧车辆目标系统协方差矩阵预测值更新卡尔曼系数；根据当前帧车辆目标状态向量预测值和系统观测值估计，得到当前帧车辆目标状态向量最优估计值；更新当前帧车辆目标系统误差协方差矩阵；从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合；步骤4所述卡尔曼滤波初始化车辆目标状态向量过程中，使用车辆目标边界框中心的横坐标，边界框中心的纵坐标，边界框的面积和边界框横纵比来描述车辆目标边界框特征，并采用线性匀速模型来描述边界框的运动状态信息，即：其中，表示边界框的运动状态信息，u表示边界框中心的横坐标，v表示边界框中心的纵坐标，s表示边界框的面积，r表示边界框横纵比，通常为常数，表示边界框中心横坐标变化率，表示边界框中心的纵坐标，表示边界框的面积变化率；第t-1帧第m个车辆目标边界框的运动状态信息描述为：其中，表示第t-1帧第m个车辆目标边界框的运动状态信息，u
t-1,m
表示第t-1帧第m个车辆目标边界框中心的横坐标，v
t-1,m
表示第t-1帧第m个车辆目标边界框中心的纵坐标，s
t-1,m
表示第t-1帧第m个车辆目标边界框的面积，r
t-1,m
表示第t-1帧第m个车辆目标边界框横纵比，表示第t-1帧第m个车辆目标边界框中心横坐标变化率，表示第t-1帧第m个车辆目标边界框中心的纵坐标，表示第t-1帧第m个车辆目标边界框的面积变化率；第t-1帧第m个车辆目标边框中心的横坐标、纵坐标和边界框面积计算公式如下：其中，表示第t-1帧第m个车辆目标边框左上角横坐标，表示第t-1帧第m个车辆目标边框右下角横坐标，表示第t-1帧第m个车辆目标边框左上角纵坐标，表示第t-1帧第m个车辆目标边框右下角纵坐标；步骤4所述初始化状态转移矩阵中，状态转移矩阵f是对目标状态向量的运动建模，采用的匀速运动模型对应的状态转移矩阵f初始化为：
初始化协方差矩阵中，协方差矩阵p表示目标位置信息的不确定性，协方差矩阵为经验参数；初始化系统噪音协方差矩阵中，由于过程噪声不可测，一般假设系统噪音协方差矩阵q符合正态分布；初始化观测矩阵中，观测矩阵h与可观测变量有关，其值初始化为：初始化观测噪音协方差矩阵中，由于观测噪声不可测，一般假设观测噪音协方差矩阵r符合正态分布；步骤4所述卡尔曼滤波根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量中，得到的第t帧第m个车辆目标状态向量预测值计算公式为：其中，表示第t-1帧第m个车辆目标状态向量最优估计值，表示第t帧第m个车辆目标状态向量预测值，f为状态转移矩阵，b为控制矩阵，u
t-1,m
表示控制增益矩阵；步骤4所述卡尔曼滤波根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵中，得到的第t帧第m个车辆目标系统误差协方差矩阵预测值计算公式为：其中，p
t-1,m
表示第t-1帧第m个车辆目标系统误差协方差矩阵，表示第t帧第m个车辆目标系统误差协方差矩阵预测值，q为过程噪音的协方差矩阵；步骤三所述卡尔曼滤波利用当前帧系统误差协方差矩阵的预测值更新卡尔曼系数中，第t帧第m个车辆目标卡尔曼系数计算公式为：其中，h为观测矩阵，r为观测噪音的协方差矩阵，k
t,m
为第t帧第m个车辆目标卡尔曼系数；步骤4所述卡尔曼滤波根据当前帧车辆目标状态向量预测值和系统观测值计算当前帧车辆目标状态向量最优估计值中，第t帧第m个车辆目标状态向量最优估计值计算公式为：
其中，为第t帧第m个车辆目标状态向量最优估计值，z
t
为观测值；步骤4所述卡尔曼滤波更新当前帧系统误差协方差矩阵中，第t帧第m个车辆目标系统误差协方差矩阵更新计算公式为：其中，p
t,m
为第t帧第m个车辆目标系统协方差矩阵；步骤4所述从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合中，第t帧第m个目标状态向量最优估计值描述为：其中，u
t,m
表示最优估计的第t帧第m个车辆目标边界框中心的横坐标的最优估计值，v
t,m
表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标的最优估计值，s
t,m
表示最优估计的第t帧第m个车辆目标边界框的面积的最优估计值，r
t,m
表示最优估计的第t帧第m个车辆目标边界框横纵比的最优估计值，表示最优估计的第t帧第m个车辆目标边界框中心横坐标变化率的最优估计值，表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标变化率，表示最优估计的第t帧第m个车辆目标边界框的面积变化率；当前帧车辆目标估计边框坐标计算公式为：其中，表示最优估计的第t帧第m个车辆目标边框左上角横坐标，表示最优估计的第t帧第m个车辆目标边框左上角纵坐标，表示最优估计的第t帧第m个车辆目标边框右下角横坐标，表示最优估计的第t帧第m个车辆目标边框右下角纵坐标；因此，当前帧车辆目标估计边框集合为：步骤4所述匈牙利关联算法通过计算车辆目标边框iou交并比进行匹配；步骤4所述匈牙利关联算法计算车辆目标边框iou交并比匹配为：计算当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的iou交并比，相交面积计算公式为：其中，s1表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的相交面积；合并计算公式为：
其中，s2表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标识别边框的合并面积；iou交并比计算公式为：所述匈牙利关联算法车辆边框iou交并比匹配原则为：若计算出的第t帧第m个车辆目标估计边框与第t帧第n个车辆目标边识别框的iou交并比值最大且同属于同一车辆类别，则第t-1帧第m个车辆目标与第t帧第n个车辆目标属于同一车辆目标，并将第t帧第n个车辆目标的id序号标记为与第t-1帧第m个车辆目标一样的id序号；则关联后的车辆id序号集合为：id
t,n
{id
t,n
}其中，id
t,n
表示第t帧第n个车辆目标对应的车辆id序号；步骤4所述将关联过程后视频帧frame序号、车辆id序号与高空图像序列车辆目标边框集合合并形成原始车辆轨迹运动特征识别文本数据集中，形成的原始车辆轨迹运动特征识别文本数据集为：6.根据权利要求1所述的基于高空视角识别系统的车辆轨迹运动特征识别方法，其特征在于：步骤5所述进行数据预处理为：首先需要计算车辆目标边框的中心点坐标，中心点坐标计算公式为：首先需要计算车辆目标边框的中心点坐标，中心点坐标计算公式为：其中，表示第t帧第n个车辆目标识别边框中心点横坐标，表示第t帧第n个车辆目标识别边框中心点纵坐标；其次需要计算车辆目标边框的宽度和高度，计算公式为：其次需要计算车辆目标边框的宽度和高度，计算公式为：其中，w
t,n
表示第t帧第n个车辆目标边框的宽度，h
t,n
表示第t帧第n个车辆目标边框的高度；形成一级车辆轨迹运动特征识别文本数据集：对一级车辆轨迹运动特征识别文本数据集进行数据预处理时，首先利用阈值判别法对
车辆轨迹运动特征识别文本数据进行筛除，形成二级车辆轨迹运动特征识别文本数据集，判定公式为：判定公式为：判定公式为：判定公式为：其中，表示阈值判定筛除后的横坐标，表示阈值判定筛除后的纵坐标，x1表示横坐标判定阈值下限，x2表示表示横坐标判定阈值上限，y1表示纵坐标判定阈值下限，y2表示纵坐标判定阈值上限；其次对同一id序号车辆轨迹进行计数，若视频帧数量小于固定值，则判定为零碎轨迹片段，进行清除，判定公式为：其中，表示车辆id为value值的视频帧的数量，threshold表示固定值；形成的二级车辆轨迹运动特征识别文本数据集为：其中，表示数据筛除后车辆目标边框对应的视频帧序号，表示数据筛除后车辆目标边框对应的车辆id序号，表示数据筛除后车辆目标边框的宽度，表示数据筛选后车辆目标边框的高度；步骤5所述运动特征提取过程为：首先计算每个车辆id序号在每一个视频帧序号下的车辆速度，具体过程为使用当前帧和前一帧的位置差值和时间差值计算当前帧的速度，包括车辆横向速度和车辆纵向速度；形成的数据集为三级车辆轨迹运动特征识别文本数据集，车辆横向速度和车辆纵向速度计算公式：算公式：其中，表示第t帧第n个车辆目标对应车辆id序号下第t帧的车辆目标边框中心点横坐标，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧的车辆目标边框中心点横坐标，表示第t帧第n个车辆目标对应车辆id序号下第t帧的车辆目标边框中心点纵坐标，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧的车辆目标边框中心点纵坐标，v
t,n,x
表示第t帧第n个车辆目标边框中心点的横向速度，v
t,n,y
表示第t帧第n个车辆目标边框中心点的纵向速度，表示数据筛除后第t-1帧
的视频帧序号；由于每一帧的速度计算利用了其前一帧的位置数据，因此每个id车辆帧序中第一帧的车辆速度无法计算，因此采用了三次多项式进行拟合，计算公式为：式中，f3(v
x,2
,v
x,3
,v
x,4
,v
x,5
)为关于v
x,2
,v
x,3
,v
x,4
,v
x,5
的三次函数，v
x,1
是第一帧x方向速度，f3(v
y,2
,v
y,3
,v
y,4
,v
y,5
)是关于v
y,2
，v
y,3
，v
y,4
，v
y,5
的三次函数，v
y,1
是第一帧y方向速度；v
x,2
,v
x,3
,v
x,4
,v
x,5
分别为不同id车辆下第2、3、4、5帧的速度；其次计算每个车辆id序号在每一视频帧序号下的车辆加速度，具体过程为使用当前帧和前一帧的速度差值和时间差值计算加速度，包括车辆横向加速度和车辆纵向加速度，从而形成三级车辆轨迹运动特征识别文本数据集，车辆横向加速度和车辆纵向加速度计算公式为：式为：其中，表示第t帧第n个车辆目标边框对应车辆id序号下第t帧第n个目标边框中心点横向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧第m个目标边框中心点横向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t帧第n个目标边框中心点纵向速度，表示第t帧第n个车辆目标边框对应车辆id序号下第t-1帧第m个目标边框中心点纵向速度，a
t,n,x
表示第t帧第n个车辆目标边框中心点纵向加速度，a
t,n,y
表示第t帧第n个车辆目标边框中心点纵向加速度；和速度同理，不同车辆第一帧的加速度使用三次多项式进行拟合，计算公式为：形成的三级车辆轨迹运动特征识别文本数据集为：步骤5所述车道号检测为：首先通过对三级车辆轨迹运动特征识别文本数据集中的车辆位置坐标数据进行线性拟合，得到拟合直线，拟合直线表达式为：其中，表示关于和的拟合函数，a表示直线斜率，b表示直线截距；其次分别计算三级车辆轨迹运动特征识别文本数据集中车辆位置坐标数据到拟合直线的距离，计算公式为：
使用阈值判定法判断车道号，形成四级车辆轨迹运动特征识别文本数据集，判定车道号公式为：{lane
t,n
＝k,if dist
k,1
≤dist≤dist
k,2
}其中，lane
t,n
表示第t帧第n个车辆目标边框中心点位于的车道号，k表示判定的车道号，dist
k,1
表示第k个车道边界下限，dist
k,2
表示第k个车道边界上限；形成的四级车辆轨迹运动特征识别文本数据集为：步骤5所述坐标转换为：利用道路长度方向覆盖的像素单位数量与实际道路长度进行换算，换算后形成五级车辆轨迹运动特征识别文本数据集，换算比例为：其中，q为换算比例大小；四级车辆轨迹运动特征识别文本数据集参数换算过程为：其中，表示坐标转换后的第t帧第n个车辆目标边框中心点横坐标，表示坐标转换后的第t帧第n个车辆目标边框中心点纵坐标，表示坐标转换后的第t帧第n个车辆目标边框宽度，表示坐标转换后的第t帧第n个车辆目标边框高度，v
t,n,x,q
表示坐标转换后的第t帧第n个车辆目标边框中心点横向速度，v
t,n,y,q
表示坐标转换后的第t帧第n个车辆目标边框中心点纵向速度，a
t,n,x,q
表示坐标转换后的第t帧第n个车辆目标边框中心点横向加速度，a
t,n,y,q
表示坐标转换后的第t帧第n个车辆目标边框中心点纵向加速度；形成的五级车辆轨迹运动特征识别文本数据集为：

技术总结
本发明提出了一种基于高空视角识别系统的车辆轨迹运动特征识别方法。所述高空视角识别系统包括：航拍摄像装置、计算处理主机、显示装置。本发明方法利用航拍摄像装置采集高空视频资料制作高空图像训练数据集和高空图像序列数据集；高空图像训练数据集用于训练YOLOv5模型；对高空图像序列数据集进行车辆识别得到高空图像序列车辆识别边框集合；应用卡尔曼滤波和匈牙利匹配算法生成原始车辆轨迹运动特征识别文本数据集；经过数据预处理、运动特征提取、车道号检测、坐标转换四个过程，最终形成五级车辆轨迹运动特征识别文本数据集。本发明方法能够减缓车辆目标数据关联部分的遗漏问题，并提出提取车辆位置、速度、加速度、车道号特征的具体实现方法。特征的具体实现方法。特征的具体实现方法。


技术研发人员：贺宜 曹博 吴超仲
受保护的技术使用者：武汉理工大学
技术研发日：2021.10.15
技术公布日：2022/2/8