一种应用于目标抓拍的车辆目标质量评估方法与流程

1.本发明属于计算机视觉、人工智能技术领域，具体涉及一种应用于目标抓拍的车辆目标质量评估方法。


背景技术：

2.在目标跟踪任务输出的车辆目标轨迹中，如何评判各车辆目标的质量，进而挑选质量高的图像进行抓拍，是车辆目标质量评估的重点研究范畴。现存的车辆目标质量评估方法可分为两类：一、直接将图像质量评估结果等同于车辆目标质量评估结果；二、基于某特定车辆重识别模型，根据该模型对车辆以图搜图效果的好坏进行预测，预测结果越好则车辆目标质量评分越高，从而对车辆目标进行综合评分。
3.第一类方法的具体实现：或通过与无失真图像的对比，得到当前失真图像的失真程度；或通过计算图像亮度、模糊程度、图像尺寸、噪声水平等多因素综合评分，使其接近于人眼对当前图像失真程度的判断。但此类方法关注点一直是图像的失真程度，忽视了视频结构化系统中用户真正关注的车辆及车牌本身的信息。
4.第二类方法：关注于为车辆以图搜图提供更合适的图像。但由于相同品牌和年款的车辆过于相似，车辆重识别效果往往欠佳。视频结构化系统的真实使用场景下，用户对于有车牌且车牌能看清的车辆，不会进行车辆以图搜图，而是进行车牌以图搜图。若没有车牌信息，用户难以通过车辆图片唯一确定该车辆及其驾驶人信息。故而，相较于车辆信息而言，车牌信息更为重要。抓拍的车辆图像中存在大量不含车牌信息的图像，是此类方法的主要问题。此外，实际应用中，车辆重识别模型更新较为频繁，该方法需要随着车辆重识别模型的更新，频繁更新车辆目标质量评估方法。


技术实现要素：

5.针对现有技术存在的缺陷，本发明提供一种应用于目标抓拍的车辆目标质量评估方法，可有效解决上述问题。
6.本发明采用的技术方案如下：
7.本发明提供一种应用于目标抓拍的车辆目标质量评估方法，包括以下步骤：
8.在目标跟踪任务实时输出的车辆目标轨迹摄像机视频流中，实时对每一个图像帧进行车辆目标质量评估，获得车辆目标质量得分；在每个预设时间段中，选取车辆目标质量得分最高，且大于等于车辆目标质量阈值的车辆目标图像帧，进行抓拍，并保存该车辆目标图像帧；
9.其中，对每一个图像帧进行车辆目标质量评估，获得车辆目标质量得分，具体方法为：
10.步骤1，预先设定n种目标；其中，所述n种目标中，包括车辆目标和非车辆目标；
11.使用目标检测模型，对所述图像帧进行各种目标的目标检测，输出检测到的每种目标的目标检测框的坐标；其中，所述目标检测框包括车辆目标检测框和非车辆目标检测
框；
12.步骤2，对于步骤1检测到的车辆目标检测框，表示为g，计算其遮挡得分f1；
13.步骤2.1，预设定目标遮挡规则：
14.目标遮挡规则为：对于两个目标检测框，分别表示为：目标检测框g
a
和目标检测框g
b
，如果目标检测框g
a
和目标检测框g
b
不存在重叠区域，则目标检测框g
a
和目标检测框g
b
彼此互不遮挡；如果目标检测框g
a
和目标检测框g
b
存在重叠区域，则：根据目标检测框g
a
和目标检测框g
b
的上下位置关系，确定遮挡关系；具体方法为：如果目标检测框g
a
位于目标检测框g
b
的上方，则判定目标检测框g
a
被目标检测框g
b
遮挡，遮挡区域面积为目标检测框g
a
和目标检测框g
b
的重叠区域面积；并且，目标检测框g
b
未被目标检测框g
a
遮挡；
15.步骤2.2，根据预设定目标遮挡规则，获得与车辆目标检测框g具有重叠区域的所有其他目标检测框，假设共有m1个其他目标检测框；
16.步骤2.3，从m1个其他目标检测框中，删除掉位于车辆目标检测框g上方的其他目标检测框，即：删除掉未对车辆目标检测框g进行遮挡的其他目标检测框，剩余m2个其他目标检测框，其中，m2个其他目标检测框，为对车辆目标检测框g进行遮挡的其他目标检测框；
17.步骤2.4，对于m2个其他目标检测框，分别计算其与车辆目标检测框g的重叠区域，由此得到m2个重叠区域；再对m2个重叠区域求和，得到车辆目标检测框g被所有其他目标检测框遮挡区域面积之和，表示为：被遮挡区域总面积s0；
18.步骤2.5，采用下式，计算车辆目标检测框g被遮挡面积比例b:
19.b＝被遮挡区域总面积s0/车辆目标检测框g的面积s120.步骤2.6，根据被遮挡面积比例b，计算车辆目标检测框g的遮挡得分f1；
21.步骤3，计算车辆目标检测框g的分辨率得分f2；
22.步骤4，计算车辆目标检测框g的亮度得分f3；
23.步骤5，计算车辆目标检测框g的模糊程度得分f4；
24.步骤6，计算车辆目标检测框g的车牌得分f5；
25.步骤7，按下式，得到车辆目标检测框g的车辆目标质量得分f0：
26.f0＝β1f1 β2f2 β3f3 β4f4 β5f527.其中：
28.β1为遮挡权重；
29.β2为分辨率权重；
30.β3为亮度权重；
31.β4为模糊程度权重；
32.β5为车牌权重。
33.优选的，步骤2.6具体为：
34.若车辆目标检测框g被遮挡面积比例b≤20％，则车辆目标检测框g的遮挡得分f1为：1；
35.若20％＜车辆目标检测框g被遮挡面积比例b＜70％，则车辆目标检测框g的遮挡得分f1为：1.4
‑
2*被遮挡面积比例b；
36.若车辆目标检测框g被遮挡面积比例b≥70％，则车辆目标检测框g的遮挡得分f1为：0。
37.优选的，步骤3具体为：
38.步骤3.1，计算得到车辆目标检测框g的长度方向像素数量l0和宽度方向像素数量l1；
39.步骤3.2，计算得到车辆目标检测框g的总像素数量l2＝l0＊l1；
40.步骤3.3，预设置总像素数量阈值l
max
；
41.如果总像素数量l2>l
max
，则车辆目标检测框g的分辨率得分f2为1；
42.如果总像素数量l2≤l
max
，则车辆目标检测框g的分辨率得分f2＝l2/l
max
。
43.优选的，步骤4具体为：
44.步骤4.1，从所述图像帧中裁剪出所述车辆目标检测框g，得到所述车辆目标检测框g对应的车辆目标检测子图t；
45.步骤4.2，将所述车辆目标检测子图t转换为灰度图，并缩放至设定大小，得到处理后车辆目标检测子图t；
46.步骤4.3，计算处理后车辆目标检测子图t中各像素点的平均值，得到像素均值pix；
47.步骤4.4，按下式，计算得到亮度得分f3：
48.1)如果pix≤80，则：f3＝1.25*pix/100
49.2)如果80＜pix＜205，则：f3＝1
50.3)如果pix≥205，则：f3＝2*(255
‑
pix)/100。
51.优选的，步骤5具体为：
52.步骤5.1，从所述图像帧中裁剪出所述车辆目标检测框g，得到所述车辆目标检测框g对应的车辆目标检测子图t；
53.步骤5.2，将所述车辆目标检测子图t转换为灰度图，并缩放至设定大小，得到处理后车辆目标检测子图t；
54.步骤5.3，使用拉普拉斯滤波器，对处理后车辆目标检测子图t进行边缘检测，得到滤波后图像；
55.对滤波后图像的各个像素点的像素值求和，并归一化至0～1区间，作为模糊程度得分f4。
56.优选的，步骤6具体为：
57.步骤6.1，从所述图像帧中裁剪出所述车辆目标检测框g，得到所述车辆目标检测框g对应的车辆目标检测子图t；
58.步骤6.2，使用车牌检测模型，对车辆目标检测子图t进行车牌检测，输出置信度最高的车牌目标置信度score；
59.步骤6.3，按下式，计算得到车牌得分f5：
60.1)如果车牌目标置信度score＜0.3，判定该车辆目标检测子图t中无车牌，则车牌得分f5＝0；
61.2)如果车牌目标置信度score≥0.3，则车牌得分f5＝车牌目标置信度score。
62.本发明提供的一种应用于目标抓拍的车辆目标质量评估方法具有以下优点：
63.1)相较于“直接将图像质量评估结果等同于车辆目标质量评估结果”的质量评估方法而言，本发明关注的是车辆及车牌本身的信息，而不仅仅是图像的失真程度。将遮挡比
例、车牌信息等方面包含进来，评估更为全面，也更符合车辆目标抓拍的真实需求。
64.2)相较于“基于某特定车辆重识别模型，对车辆目标进行综合评分”的质量评估方法而言，本发明关注了用户更为看重的车牌信息。能够保证在同一车辆目标轨迹的一系列车辆目标图像中，优先抓拍含车牌信息的图像。且该发明不受车辆重识别模型的影响，无需因车辆重识别模型的频繁更新而更新，评测结果更客观。
附图说明
65.图1为本发明提供的一种应用于目标抓拍的车辆目标质量评估方法的流程示意图。
具体实施方式
66.为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
67.本发明提供一种应用于目标抓拍的车辆目标质量评估方法，用于解决的技术问题是：在车辆抓拍时，如何对车辆目标进行质量评估，使得抓拍图像既能包含车牌信息，又能较为全面地兼顾车辆自身的信息。
68.参考图1，本发明提供一种应用于目标抓拍的车辆目标质量评估方法，包括以下步骤：
69.在目标跟踪任务实时输出的车辆目标轨迹摄像机视频流中，实时对每一个图像帧进行车辆目标质量评估，获得车辆目标质量得分；在每个预设时间段中，选取车辆目标质量得分最高，且大于等于车辆目标质量阈值(例如0.4)的车辆目标图像帧，进行抓拍，并保存该车辆目标图像帧；
70.其中，对每一个图像帧进行车辆目标质量评估，获得车辆目标质量得分，具体方法为：
71.步骤1，预先设定n种目标；其中，所述n种目标中，包括车辆目标和非车辆目标；其中，非车辆目标包括但不限于行人、非机动车等目标。
72.使用目标检测模型，对所述图像帧进行各种目标的目标检测，输出检测到的每种目标的目标检测框的坐标；其中，所述目标检测框包括车辆目标检测框和非车辆目标检测框；
73.作为一种实施例，目标检测模型可采用的算法为yolov5。目标检测框的坐标可以为：x1、y1、x2、y2，含义为：目标检测框矩形左上角点相对于图像帧左上角的x轴坐标、y轴坐标，右下角点相对于图像帧左上角的x轴坐标、y轴坐标。
74.步骤2，对于步骤1检测到的车辆目标检测框，表示为g，计算其遮挡得分f1；
75.步骤2.1，预设定目标遮挡规则：
76.目标遮挡规则为：
77.对于两个目标检测框，分别表示为：目标检测框g
a
和目标检测框g
b
，如果目标检测框g
a
和目标检测框g
b
不存在重叠区域，则目标检测框g
a
和目标检测框g
b
彼此互不遮挡；
78.如果目标检测框g
a
和目标检测框g
b
存在重叠区域，则：根据目标检测框g
a
和目标检
测框g
b
的上下位置关系，确定遮挡关系；具体方法为：如果目标检测框g
a
位于目标检测框g
b
的上方，则判定目标检测框g
a
被目标检测框g
b
遮挡，遮挡区域面积为目标检测框g
a
和目标检测框g
b
的重叠区域面积；并且，目标检测框g
b
未被目标检测框g
a
遮挡；相反，如果目标检测框g
a
位于目标检测框g
b
的下方，则目标检测框g
a
没有被目标检测框g
b
遮挡，或者，目标检测框g
a
被目标检测框g
b
遮挡区域面积为0。
79.步骤2.2，根据预设定目标遮挡规则，获得与车辆目标检测框g具有重叠区域的所有其他目标检测框，假设共有m1个其他目标检测框；
80.步骤2.3，从m1个其他目标检测框中，删除掉位于车辆目标检测框g上方的其他目标检测框，即：删除掉未对车辆目标检测框g进行遮挡的其他目标检测框，剩余m2个其他目标检测框，其中，m2个其他目标检测框，为对车辆目标检测框g进行遮挡的其他目标检测框；
81.其中，可获得车辆目标检测框g和其他目标检测框的纵坐标的最大值，通过比较车辆目标检测框g纵坐标的最大值和其他目标检测框的纵坐标的最大值，判断车辆目标检测框g和其他目标检测框的上下位置关系，即：如果车辆目标检测框g纵坐标的最大值，大于其他目标检测框的纵坐标的最大值，则认为车辆目标检测框g位于其他目标检测框的上方。
82.通过比对车辆目标检测框g和其他目标检测框的坐标，
83.步骤2.4，对于m2个其他目标检测框，分别计算其与车辆目标检测框g的重叠区域，由此得到m2个重叠区域；再对m2个重叠区域求和，得到车辆目标检测框g被所有其他目标检测框遮挡区域面积之和，表示为：被遮挡区域总面积s0；
84.步骤2.5，采用下式，计算车辆目标检测框g被遮挡面积比例b:
85.b＝被遮挡区域总面积s0/车辆目标检测框g的面积s186.步骤2.6，根据被遮挡面积比例b，计算车辆目标检测框g的遮挡得分f1；(遮挡得分取值范围：0～1)。
87.步骤2.6具体为：
88.若车辆目标检测框g被遮挡面积比例b≤20％，则车辆目标检测框g的遮挡得分f1为：1；
89.若20％＜车辆目标检测框g被遮挡面积比例b＜70％，则车辆目标检测框g的遮挡得分f1为：1.4
‑
2*被遮挡面积比例b；
90.若车辆目标检测框g被遮挡面积比例b≥70％，则车辆目标检测框g的遮挡得分f1为：0。
91.步骤3，计算车辆目标检测框g的分辨率得分f2；(分辨率得分取值范围：0～1)。
92.步骤3具体为：
93.步骤3.1，计算得到车辆目标检测框g的长度方向像素数量l0和宽度方向像素数量l1；
94.步骤3.2，计算得到车辆目标检测框g的总像素数量l2＝l0＊l1；
95.步骤3.3，预设置总像素数量阈值l
max
；
96.如果总像素数量l2>l
max
，则车辆目标检测框g的分辨率得分f2为1；
97.如果总像素数量l2≤l
max
，则车辆目标检测框g的分辨率得分f2＝l2/l
max
。
98.作为一种具体实施例，若车辆目标检测框g的长宽像素乘积>100000，则分辨率得分为：1；否则分辨率得分为：该车辆目标检测框g的长宽像素乘积/100000。
99.步骤4，计算车辆目标检测框g的亮度得分f3；(亮度得分取值范围：0～1)。
100.步骤4具体为：
101.步骤4.1，从所述图像帧中裁剪出所述车辆目标检测框g，得到所述车辆目标检测框g对应的车辆目标检测子图t；
102.步骤4.2，将所述车辆目标检测子图t转换为灰度图，并缩放至设定大小，如112*112像素，得到处理后车辆目标检测子图t；
103.步骤4.3，计算处理后车辆目标检测子图t中各像素点的平均值，得到像素均值pix；
104.步骤4.4，按下式，计算得到亮度得分f3：
105.1)如果pix≤80，则：f3＝1.25*pix/100
106.2)如果80＜pix＜205，则：f3＝1
107.3)如果pix≥205，则：f3＝2*(255
‑
pix)/100。
108.步骤5，计算车辆目标检测框g的模糊程度得分f4；(模糊程度得分取值范围：0～1)
109.步骤5具体为：
110.步骤5.1，从所述图像帧中裁剪出所述车辆目标检测框g，得到所述车辆目标检测框g对应的车辆目标检测子图t；
111.步骤5.2，将所述车辆目标检测子图t转换为灰度图，并缩放至设定大小，如112*112像素，得到处理后车辆目标检测子图t；
112.步骤5.3，使用拉普拉斯滤波器，对处理后车辆目标检测子图t进行边缘检测，得到滤波后图像；
113.对滤波后图像的各个像素点的像素值求和，并归一化至0～1区间，作为模糊程度得分f4。
114.步骤6，计算车辆目标检测框g的车牌得分f5；
115.步骤6具体为：
116.步骤6.1，从所述图像帧中裁剪出所述车辆目标检测框g，得到所述车辆目标检测框g对应的车辆目标检测子图t；
117.步骤6.2，使用车牌检测模型，例如，基于yolov5的车牌检测模型，对车辆目标检测子图t进行车牌检测，输出置信度最高的车牌目标置信度score；
118.步骤6.3，按下式，计算得到车牌得分f5：
119.1)如果车牌目标置信度score＜0.3，判定该车辆目标检测子图t中无车牌，则车牌得分f5＝0；
120.2)如果车牌目标置信度score≥0.3，则车牌得分f5＝车牌目标置信度score。
121.因此，车牌目标置信度score取值范围为0～1，因此，车牌得分取值范围：0～1。
122.步骤7，按下式，得到车辆目标检测框g的车辆目标质量得分f0：
123.f0＝β1f1 β2f2 β3f3 β4f4 β5f5124.其中：
125.β1为遮挡权重；
126.β2为分辨率权重；
127.β3为亮度权重；
128.β4为模糊程度权重；
129.β5为车牌权重。
130.作为一种实施例，各权重可以分别为：β1为15％，β2为15％，β3为15％，β4为15％，β5为40％。
131.即，车辆目标质量好坏很大程度取决于车牌得分的高低，所以设置车牌权重大于其他因素的权重。同时也考虑到了车辆目标本身的遮挡情况以及通用的图像质量影响因素。
132.本发明提供一种应用于目标抓拍的车辆目标质量评估方法，涉及以下新技术创新：1、车辆目标被其他目标遮挡比例的计算方式；2、车牌得分的计算方式；3、车辆目标质量得分的计算方式(遮挡得分、分辨率得分、亮度得分、模糊程度得分、车牌得分按一定比例加权累加)。
133.与现有技术相比，本发明的有益效果是：
134.1)相较于“直接将图像质量评估结果等同于车辆目标质量评估结果”的质量评估方法而言，本发明关注的是车辆及车牌本身的信息，而不仅仅是图像的失真程度。将遮挡比例、车牌信息等方面包含进来，评估更为全面，也更符合车辆目标抓拍的真实需求。
135.2)相较于“基于某特定车辆重识别模型，对车辆目标进行综合评分”的质量评估方法而言，本发明关注了用户更为看重的车牌信息。能够保证在同一车辆目标轨迹的一系列车辆目标图像中，优先抓拍含车牌信息的图像。且该发明不受车辆重识别模型的影响，无需因车辆重识别模型的频繁更新而更新，评测结果更客观。
136.使用本发明进行车辆目标质量评估，观察抓拍到的车辆目标图像，发现：不含车牌信息的车辆目标图像、被其他目标遮挡严重的车辆目标图像明显减少，且所抓拍的车辆目标数量及车辆目标图像数量无明显变化。
137.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。