一种车辆轴载位置的监测方法

1.本发明涉及车辆荷载监测领域，尤其是涉及一种车辆轴载位置的监测方法。


背景技术：

2.对处于运营阶段的桥梁而言，最重要的荷载就是车辆荷载。车辆荷载与其他类型的荷载不同，具有较强的不确定性和随机性，因此对桥梁运营期的安全性和耐久性会产生较大影响。随着物流运输行业的不断发展，桥梁上的车辆超载现象也越来越普遍，这将加速桥梁性能的退化，甚至出现严重的破坏(如主梁的倾覆)。因此，有必要建立车辆荷载的监测系统，对桥梁上通行的车辆的荷载的时空分布进行检测。其中，基于计算机视觉的检测方法因其具有成本低、实时性强、易于维护等优点受到了越来越广泛的应用。
3.经过对现有技术的文献检索发现，基于计算机视觉的车辆荷载检测中的研究多集中在对车辆本身的检测，以实现准确地对车辆荷载的实时位置进行检测的目的。cn112444311a公开了一种桥梁车辆时空荷载监控方法，根据视觉系统构建桥面车辆全景图，并采用车辆检测模型得到车辆的检测框，再通过预设的改进卡尔曼滤波模型，获取或更新车辆轨迹信息，实现车辆荷载时空分布的监控。但其对车辆荷载的检测较为粗糙，一般将车辆荷载视为一个集中荷载，无法对车辆轴载的实时空间分布进行有效检测。


技术实现要素：

4.本发明的目的就是为了提供一种车辆轴载位置的监测方法，对车辆轴载的实时空间分布进行有效监测。
5.本发明的目的可以通过以下技术方案来实现：
6.一种车辆轴载位置的监测方法，包括以下步骤：
7.基于目标检测模型，检测实时监控画面中的车辆；
8.提取车辆的几何特征，并建立轴载位置的间接推断方法，并以间接推断方法为依据建立车辆轴载关键点数据集和关键点检测模型；
9.利用车辆轴载关键点数据集训练关键点检测模型；
10.基于关键点检测模型的检测结果，通过单应性矩阵将图像坐标系中的轴载坐标变换至世界坐标系中得到世界坐标系中的轴载坐标，并利用卡尔曼滤波和车辆的运动学自行车模型对车辆轴载的运动轨迹进行最优估计，实现车辆轴载实时空间分布的监测。
11.所述轴载位置的间接推断方法根据检测出的车辆一侧的轴载位置与车窗位置，基于车辆两侧的轮胎之间的距离与车辆宽度相等假设，以及车辆轮胎与地面接触点围成矩形假设，根据矩形特征计算被车身遮挡的轴载位置，实现通过单目图像得到所有轴载作用点的位置。
12.所述关键点检测模型基于hourglassnet建立，hourglassnet通过若干卷积层对图像进行初步的特征提取，再通过多个编码-解码结构对图像中的特征进行二次提取，其中，一个编码-解码结构即为一个hourglass模块，通过堆叠多个hourglass模块生成热力图，从
而检测图像中的关键点，前一个hourglass模块的输出直接作为下一个hourglass模块的输入。
13.所述hourglass模块的基本结构包括两个分支，一个分支通过多次池化操作提取输入数组的深层次特征，并通过上采样将分辨率逐步恢复到原有的尺寸大小，另一个分支仅提取特征，不改变数组大小；hourglass模块输出时将两个分支的数组相加，使得神经网络能够结合图像中多个尺度的信息。
14.训练关键点检测模型采用中间监督的方式，模型的损失函数设为每一个hourglass模块输出的特征图与标注数据之间的sigmoid的交叉熵。
15.假设单应性矩阵点i在图像坐标系中的坐标为在现实坐标系中的坐标为n为参考点的数量，则：
[0016][0017]
通过求解上述方程得到h的最小二乘解，从而确定图像坐标系与世界坐标系之间的转换关系为：
[0018][0019]
所述运动学自行车模型用于对轴载作用点的轨迹进行跟踪和修正，运动学自行车模型采用四个变量来描述车辆的当前状态：中心点坐标(x,y)与速度(v)，车身的姿态(θ)；描述一辆汽车的轴载作用点的实时位置的变量包括：矩形的长度(h)与宽度(w)，矩形中心的坐标(x,y)，车身的姿态(θ)；
[0020]
根据刚体运动的原理，自行车模型的运动学方程为：
[0021][0022]
其中，为中心点速度方向与x轴的夹角；
[0023]
将速度在坐标轴方向的投影定义为v
x
和vy，则有
则自行车模型的运动学方程等价为：
[0024][0025]
根据自行车模型的等价运动学方程，为确定每辆车轴载的实时状态，需要(h,w,x,y,θ)五个参数，由于矩形的尺寸参数(h,w)不会随着时间变化，车身姿态参数θ的计算依赖h的取值，则对车辆轴载的运动轨迹进行最优估计具体包括以下步骤：
[0026]
基于卡尔曼滤波确定中心点坐标及其对应的运动速度的最优估计值(x
opt
,y
opt
,v
x,opt
,v
y,opt
)，并实现车辆的跟踪；
[0027]
基于跟踪检测的结果计算矩形尺寸的最优估计值(h
opt
,w
opt
)；
[0028]
根据自行车模型的等价运动学方程计算车身姿态的最优估计θ
opt
。
[0029]
t时刻的系统状态s
t
为中心点m的位置和速度，即s
t
＝(x
t
,y
t
,v
x,t
,v
y,t
)
t
，测量状态为中心点m的位置，即m
t
＝(x
t
,y
t
)
t
；
[0030]
根据卡尔曼滤波中的系统状态方程，车辆轴载矩形中心点的状态转移和测量方程如下：
[0031][0032]
其中，u
t
为过程噪声。
[0033]
根据卡尔曼滤波的原理，通过初始化、预测、更新三个步骤得到中心点m的坐标及其对应的运动速度的最优估计值，实现车辆的跟踪：
[0034]
a)初始化：
[0035]
当中心点m首次被检测到时，对系统状态s进行初始化处理，确定s1，其中，位置被初始化为测量值，速度根据城市道路的设计速度进行初始化；
[0036]
b)预测步：
[0037][0038]
其中，q是u
t
的协方差矩阵，p
t
为预测值的协方差矩阵；
[0039]
根据预测步，利用上一帧得到的各车辆中心点m的状态信息计算当前帧m点的坐标的预测值，并计算各m点坐标预测值与实测值之间的距离，若距离小于预配置的阈值，则匹
配为同一辆车；
[0040]
c)更新步：
[0041][0042]
其中，r为观测噪声的方差；
[0043]
根据更新步，在每一次预测步预测完成后，对车辆状态进行更新，以实现车辆的跟踪。
[0044]
与现有技术相比，本发明具有以下有益效果：
[0045]
(1)本发明对车辆的几何形状进行了合理的抽象化，使得基于单目视觉的轴载时空分布检测成为了可能，仅采用一个摄像头进行拍摄即可得到关键点信息，更具有实用性。
[0046]
(2)本发明利用卡尔曼滤波和车辆的运动学自行车模型对车辆轴载的运动轨迹进行最优估计，实现了车辆轴载实时空间分布的监测，监测精度高，监测结果更具有可参考性。
附图说明
[0047]
图1为本发明的方法流程图；
[0048]
图2为目标检测模型的检测结果；
[0049]
图3为轴载位置的间接推断方法示意图；
[0050]
图4为关键点数据集标准化和标注示意图；
[0051]
图5为hourglass模块的结构图；
[0052]
图6为hourglasnet的结构图；
[0053]
图7为hourglasnet的测试结果；
[0054]
图8为运动学自行车模型示意图；
[0055]
图9为利用卡尔曼滤波和车辆的运动学自行车模型对车辆轴载的运动轨迹进行最优估计的流程示意图；
[0056]
图10为一种实施例中的检测区域；
[0057]
图11为一种实施例中的轴载矩形中心点的轨迹估计结果；
[0058]
图12为一种实施例中车辆轴载空间分布结果；
[0059]
图13为一种实施例中轴载矩阵及其中心点在监测区域内的轨迹示意图。
具体实施方式
[0060]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0061]
本实施例提供一种车辆轴载位置的监测方法，如图1所示，包括以下步骤：
[0062]
1)基于目标检测模型，检测实时监控画面中的车辆。
[0063]
本实施例采用yolo-v5的网络，利用公开数据集detrac进行训练，得到车辆的目标检测模型，如图2所示。
[0064]
2)提取车辆的几何特征，并建立轴载位置的间接推断方法，并以间接推断方法为依据建立车辆轴载关键点数据集和关键点检测模型。
[0065]
21)提取车辆的几何特征，并建立轴载位置的间接推断方法和关键点数据集
[0066]
由于车身的遮挡，单张图片中只能直接获取到车辆一侧轮胎的位置，另一侧的轮胎的位置无法从图像中直接获取到。但是车辆的形状是高度标准化的，车辆两侧的轮胎之间的距离可认为与车辆的宽度相等，且车辆轮胎与地面接触点围成的是一个矩形。因此，只需要获取车辆一侧的轴载作用点位置与车辆宽度，车辆所有轮载作用点位置均可通过计算得到，而车辆的宽度可认为等于车辆后视镜之间的距离。即，轴载位置的间接推断方法根据检测出的车辆一侧的轴载位置与车窗位置，基于车辆两侧的轮胎之间的距离与车辆宽度相等假设，以及车辆轮胎与地面接触点围成矩形假设，根据矩形特征计算被车身遮挡的轴载位置，实现通过单目图像得到所有轴载作用点的位置。
[0067]
如图3所示，图中的车辆与地面的接触点为a，b，c，d，则四边形abcd为矩形，此外，线段bc与线段w1w2之间平行且相等。从图中能够直接获得坐标的点有a:(xa,ya)，b:(xb,yb)，w1:(x
w1
,y
w1
)，w2:(x
w2
,y
w2
)，根据上述几何关系，可以得到c和d的坐标：c:(xa x
w2-x
w1
,ya y
w2-y
w1
)，d:(xb x
w2-x
w1
,yb y
w2-y
w1
)。因此，只需要检测出车辆一侧的轴载位置与车窗位置，则能够通过单目图像得到所有轴载作用点的位置。
[0068]
本实施例使用公开数据集detrac数据集里的视频，再利用步骤1)中训练得到的yolo-v5模型进行检测，裁剪出车辆视频中检测到的车辆图像，并标注图像中a,b,w1,w2点的位置，共标注了1638张不同车辆的关键点。由于原始数据集中的图片尺寸是各不相同的，因此需要对图像进行标准化处理，假设原始图像的尺寸为(m,n)，那么首先将其缩放至宽度为256的图像，即尺寸变为(m/n
×
256,256)，再在该图片下方填充灰色，使得图像最终转换为256
×
256的正方形，同时，标注数据也进行相应的变换，如图4所示。
[0069]
通过标注，得到一个包含了1638张尺寸标准化图像及其对应的关键点数据集，其中60％(983张)用于关键点检测模型的训练，20％(328张)用于模型的验证，20％(327张)用于关键点检测模型的测试。
[0070]
22)建立关键点检测模型
[0071]
关键点检测模型基于hourglassnet建立，hourglassnet通过若干卷积层对图像进行初步的特征提取，再通过多个编码-解码结构对图像中的特征进行二次提取，其中，一个编码-解码结构即为一个hourglass模块，通过堆叠多个hourglass模块生成热力图，从而检测图像中的关键点，前一个hourglass模块的输出直接作为下一个hourglass模块的输入。
[0072]
hourglass模块的基本结构包括两个分支，一个分支通过多次池化操作提取输入数组的深层次特征，并通过上采样将分辨率逐步恢复到原有的尺寸大小，另一个分支仅提取特征，不改变数组大小；hourglass模块输出时将两个分支的数组相加，使得神经网络能够结合图像中多个尺度的信息。
[0073]
本实施例中的hourglass模块由四个基本结构递归而成，融合了1/2，1/4，1/8，1/16输入分辨率的多尺度的信息，如图5所示。
[0074]
本实施例的hourglasnet的结构如图6所示，由一个编码层与四个hourglass模块
组合而成。
[0075]
3)利用车辆轴载关键点数据集训练关键点检测模型。
[0076]
由于hourglassnet较深，为防止产生梯度消失的现象，采用了中间监督的方式训练，即模型的损失函数为每一个hourglass模块输出的特征图与标注数据之间的sigmoid的交叉熵。此外，本实施例中，hourglassnet中的每个hourglass模块输出均为64
×
64的特征图，因此损失函数为：
[0077][0078]
其中i,j是特征图的行数和列数，g
i,j
是标注数据，是第k个hourglass模块输出的结果。
[0079]
利用步骤21)中生成的关键点数据集训练关键点检测模型，并对测试集进行测试，如图7所示。从图7中可以看出，hourglassnet关键点检测模型能够较为准确地识别出车辆关键点的位置。
[0080]
4)基于关键点检测模型的检测结果，通过单应性矩阵将图像坐标系中的轴载坐标变换至世界坐标系中得到世界坐标系中的轴载坐标，并利用卡尔曼滤波和车辆的运动学自行车模型对车辆轴载的运动轨迹进行最优估计，实现车辆轴载实时空间分布的监测。
[0081]
41)坐标变换
[0082]
由于直接检测到的关键点坐标是在图像坐标系中的，因此需要进行坐标系的转换，这需要通过在现场标定确定。根据单应性变换的原理，只要在现场标注若干个不共线的点(数量≥4)，就可以计算得到单应性矩阵，从而将图像坐标系中的坐标转换成现实坐标系中的坐标。
[0083]
假设单应性矩阵点i在图像坐标系中的坐标为在现实坐标系中的坐标为n为参考点的数量，则：
[0084][0085]
通过求解上述方程得到h的最小二乘解，从而确定图像坐标系与世界坐标系之间的转换关系为：
[0086][0087]
42)建立运动学自行车模型
[0088]
车辆在路面上的运动属于刚体在二维平面上的运动。本实施例使用运动学自行车模型描述车辆的运动，并基于运动学自行车模型对轴载作用点的轨迹进行跟踪与修正。
[0089]
运动学自行车模型对汽车的运动做出了以下三个假设：
[0090]
1.只考虑汽车在二维平面中的运动，不考虑其在竖直方向上的运动；
[0091]
2.汽车的两个前轮速度的大小与方向相等，后轮亦然，因此前后轮可以各用一个车轮描述；
[0092]
3.与自行车相似，汽车车身的转角也由前轮控制。
[0093]
运动学自行车模型的基本假设如图8(a)所示。
[0094]
如图8(b)所示，运动学自行车模型用于对轴载作用点的轨迹进行跟踪和修正，运动学自行车模型采用四个变量来描述车辆的当前状态：中心点坐标(x,y)与速度(v)，车身的姿态(θ)；而描述一辆汽车的轴载作用点的实时位置的变量包括：矩形的长度(h)与宽度(w)，矩形中心的坐标(x,y)，车身的姿态(θ)，如图8(c)所示。
[0095]
根据刚体运动的原理，自行车模型的运动学方程为：
[0096][0097]
其中，为中心点速度方向与x轴的夹角；
[0098]
由于速度是矢量，不利于后续计算，因此将速度在坐标轴方向的投影定义为v
x
和vy，则有则自行车模型的运动学方程等价为：
[0099][0100]
43)结合卡尔曼滤波和车辆的运动学自行车模型对车辆轴载的运动轨迹进行最优估计
[0101]
虽然关键点检测模型能够对图像中车辆的关键点进行检测，从而推断出轴载作用点的实时位置，但该方法仍存在测量误差，且不能对车辆进行跟踪检测，因此不宜直接将检测结果用于轴载时空分布的监测。为实现测量误差的消除与车辆的跟踪，本发明采用卡尔曼滤波对检测结果进行进一步处理。
[0102]
根据自行车模型的等价运动学方程，为确定每辆车轴载的实时状态，需要(h,w,x,y,θ)五个参数，由于矩形的尺寸参数(h,w)不会随着时间变化，车身姿态参数θ的计算依赖h的取值，则对车辆轴载的运动轨迹进行最优估计的流程如图9所示，具体包括以下步骤：
[0103]
431)基于卡尔曼滤波确定中心点坐标及其对应的运动速度的最优估计值(x
opt
,y
opt
,v
x,opt
,v
y,opt
)，并实现车辆的跟踪；
[0104]
本实施例将对轴载矩形中心点(即图8(b)中的点m)的运动状态进行跟踪优化，而关键点检测模型只能测得单帧图像中车辆的实时状态，不能测得当前的运动速度，因此t时刻的系统状态s
t
为中心点m的位置和速度，即s
t
＝(x
t
,y
t
,v
x,t
,v
y,t
)
t
，测量状态为中心点m的位置，即m
t
＝(x
t
,y
t
)
t
；
[0105]
根据卡尔曼滤波中的系统状态方程，车辆轴载矩形中心点的状态转移和测量方程如下：
[0106][0107]
其中，u
t
为过程噪声。
[0108]
根据卡尔曼滤波的原理，通过初始化、预测、更新三个步骤得到中心点m的坐标及其对应的运动速度的最优估计值，实现车辆的跟踪：
[0109]
a)初始化：
[0110]
当中心点m首次被检测到时，对系统状态s进行初始化处理，确定s1，其中，位置被初始化为测量值，速度根据城市道路的设计速度进行初始化；
[0111]
b)预测步：
[0112][0113]
其中，q是u
t
的协方差矩阵，p
t
为预测值的协方差矩阵；
[0114]
根据预测步，利用上一帧得到的各车辆中心点m的状态信息计算当前帧m点的坐标的预测值，并计算各m点坐标预测值与实测值之间的距离，若距离小于预配置的阈值，则匹配为同一辆车；
[0115]
c)更新步：
[0116][0117]
其中，r为观测噪声的方差；
[0118]
根据更新步，在每一次预测步预测完成后，对车辆状态进行更新，以实现车辆的跟踪。
[0119]
432)基于跟踪检测的结果计算矩形尺寸的最优估计值(h
opt
,w
opt
)；
[0120]
对于每辆车而言，其轴载接触点形成的矩形的尺寸(h,w)在车辆运动过程中是保持不变的。431)利用卡尔曼滤波实现了车辆的跟踪与m点的轨迹优化，本步骤将利用跟踪结果，统计同一辆车在不同帧中的检测结果，确定h和w的最大似然估计值(h
opt
,w
opt
)。
[0121]
假设车辆k在视频的第m～n帧通过了待检测区域，那么根据每帧的检测结果，共能得到车辆的n-m 1个检测结果。统计这些数据，分别得到h和w的频率分布表，将频率最高的区间的中点作为最大似然估计，用于轴载实时位置的计算。
[0122]
433)根据自行车模型的等价运动学方程计算车身姿态的最优估计θ
opt
。
[0123]
根据自行车模型的等价运动学方程：
[0124][0125]
车辆在每个时刻的(h,w,x,y,v
x
,vy)的最优估计值已被确定，而θ
t 1
可由(h,v
x
,vy)与θ
t
确定，因此，只需对θ1初始化，即可计算出各时刻θ的值。综上，车辆各时刻的轴载空间分布已经被完全确定。
[0126]
本实施例提供一种具体的测试案例对本发明所述方法的可行性和效果进行进一步说明。
[0127]
现场测试选择在某地一条道路上，通过摄像获取一段时间内的交通监控视频。通过标记和计算，可得图像坐标系到路面坐标系的单应性矩阵为：
[0128][0129]
因此为保证精度，本实施例选取了一个22.50m
×
55.00m的区域作为轴载时空分布的检测区域，如图10所示。
[0130]
选取了一段1000帧(16秒)的视频作为实施例案例。在这段视频中，共有8辆车通过待检测区域，分别记为车辆1，车辆2，
…
，车辆8。基于上述本发明所述的一种车辆轴载位置的监测方法，得到轴载矩形中心轨迹的最优估计如图11所示。从图中可以看出，通过卡尔曼滤波优化后的轴载矩形中心的轨迹更加平滑，更符合实际情况。
[0131]
在获得轴载矩形中心点轨迹后，利用最大似然估计方法与车辆的运动学自行车模型即可得到轴载矩形的尺寸h
×
w及其在每个时刻的运动姿态角θ。根据上述参数(x,y,h,w,θ)的优化值，可得到每一帧状态的最优估计(x,y,h,w,θ)。图12显示了部分时刻车辆轴载空间分布的检测结果。从图中可以看出，每个车辆在轴载在监测区域内的位置都能够被准确计算。
[0132]
图13显示的是车辆1至车辆8的轴载矩形及其中心点在监测区域内的轨迹。从图中可以看出，轴载作用点的轨迹也较为平滑，轴载作用点均沿着车道移动，这与现实情形也是相符的，因此可以认为本发明提出的方法能够准确感知车辆的时空分布。
[0133]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术
人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。