一种鸣笛车辆提取方法、装置、设备及介质与流程

1.本发明属于交通违法监控技术领域，具体涉及一种鸣笛车辆提取方法、装置、设备及介质。


背景技术：

2.随着汽车的保有量持续增长，汽车鸣笛已成为市区环境噪音的主要来源，虽然交管部门设置了多处禁鸣区域，但由于在目前技术情况下难以取证，很难对鸣笛车辆进行取证及处罚，禁鸣区域形同虚设。鸣笛抓拍系统可以解决这一问题。在鸣笛抓拍系统中，准确判断鸣笛车辆的位置，并提取鸣笛车辆，尽可能的避免误抓拍，是核心技术环节之一。


技术实现要素：

3.本发明提供一种鸣笛车辆提取方法、装置、设备及介质，根据鸣笛能量热图与抓拍图像叠加，准确提取鸣笛车辆。
4.为实现上述技术目的，本发明采用如下技术方案：
5.一种鸣笛车辆提取方法，包括以下步骤：
6.步骤1，获取相同场景下的鸣笛声学能量光斑和相机抓拍图像，将鸣笛声学能量光斑叠加到相机抓拍图像中，得到叠加图像；
7.步骤2，根据鸣笛声学能量光斑在叠加图像中的外接矩形，在叠加图像中标记车牌识别区域，并在车牌识别区域内进行车牌识别；
8.如果车牌识别结果的数量大于0，则执行步骤3；否则视为未提取到鸣笛车辆，结束鸣笛车辆提取流程；
9.步骤3，根据所有车牌识别结果标定对应所在车辆的轮廓，并根据鸣笛声学能量光斑的外接矩形与每个标定的车辆轮廓之间的位置关系，从所有标定的车辆轮廓中确定鸣笛车辆。
10.在更优的技术方案中，步骤2中，在叠加图像中标记车牌识别区域的方法为：设鸣笛声学能量光斑外接矩形的宽度和高度分别为sw、sh，以鸣笛声学能量光斑外接矩形为标准，按照向左向右均扩展t
sw
倍，按照向上向下均扩展t
sh
倍，得到的矩形即为车牌识别区域。
11.在更优的技术方案中，步骤3中，根据车牌识别结果标定对应所在车辆轮廓的方法为：设车牌识别结果的高度和宽度分别为ph、pw，以车牌识别结果为标准，按照向左向右均扩展t
pw
倍，向上扩展t
phu
倍，向下均扩展t
phd
倍；若扩展后的边界超出叠加图像的边界，则扩展至叠加图像的边界；最终扩展得到的矩形即为车牌识别结果对应所在车辆的轮廓。
12.在更优的技术方案中，步骤3所述的从所有标定的车辆轮廓中确定鸣笛车辆的方法为：
13.步骤3.1，计算第i个标定的车辆轮廓与鸣笛声学能量光斑外接矩形之间的重叠面积，再除以鸣笛声学能量光斑外接矩形的面积，得到重叠面积比例area
i
，i＝1,2,
…
,m；i为用于区分识别到的不同车牌的标号，m为识别到的车牌数量；
14.步骤3.2，若m＝1且对应的重叠面积area
i＝1
＞areathd1，则将该标定的车辆轮廓确定为鸣笛车辆；若m＝1且对应的重叠面积area
i＝1
≤areathd1，则认为鸣笛声学能量光斑偏离车身过大，结束鸣笛车辆提取流程；其中，areathd1为预设的重叠面积阈值；
15.步骤3.3，若m＞1，则计算每个车辆识别结果的中心与鸣笛声学能量光斑外接矩形的中心之间的距离dis
i
，i＝1,2,
…
,m；查找其中最小距离所对应的车牌标号，记为k；
16.如果area
k
＞areathd1，则将第k个标定的车辆轮廓确定为鸣笛车辆；若area
k
≤areathd1，则认为鸣笛声学能量光斑偏离车身过大，结束鸣笛车辆提取流程；
17.步骤3.4，将步骤3.2或者步骤3.3确定的鸣笛车辆作为最终的鸣笛车辆输出。
18.在更优的技术方案中，步骤3所述的从所有标定的车辆轮廓中确定鸣笛车辆的方法为：
19.步骤3.1，计算第i个标定的车辆轮廓与鸣笛声学能量光斑外接矩形之间的重叠面积，再除以鸣笛声学能量光斑外接矩形的面积，得到重叠面积比例area
i
，i＝1,2,
…
,m；i为用于区分识别到的不同车牌的标号，m为识别到的车牌数量；
20.步骤3.2，若m＝1且对应的重叠面积area
i＝1
＞areathd1，则将该标定的车辆轮廓作为候选的鸣笛车辆，跳转执行步骤3.4；若m＝1且对应的重叠面积area
i＝1
≤areathd1，则认为鸣笛声学能量光斑偏离车身过大，结束鸣笛车辆提取流程；其中，areathd1为预设的第一阈值；
21.步骤3.3，若m＞1，则计算每个车辆识别结果的中心与鸣笛声学能量光斑外接矩形的中心之间的距离dis
i
，i＝1,2,
…
,m；查找其中最小距离所对应的车牌标号，记为k；
22.若area
k
＞areathd1，则将第k个标定的车辆轮廓作为候选的鸣笛车辆，跳转执行步骤3.4；若area
k
≤areathd1，则认为鸣笛声学能量光斑偏离车身过大，结束鸣笛车辆提取流程；
23.步骤3.4，对候选的鸣笛车辆进一步判断，确定最终的鸣笛车辆输出：
24.步骤3.4.1，以相机抓拍图像的左上角为原点，宽度方向为x轴，高度方向为y轴；设候选的鸣笛车辆的轮廓的中心坐标为(cmidx,cmidy)，左上角坐标为(cx,cy)，宽度和高度分别为cw和ch；设鸣笛声学能量光斑外接矩形的中心坐标为(gmidx,gmidy)，左上角坐标为(gx,gy)，宽度和高度分别为gw和gh；
25.步骤3.4.2，当gy＜cy时：如果gx≥cx且gx gw≤cx cw且area
k
＞areathd2，将候选的鸣笛车辆作为最终的鸣笛车辆输出，否则，候选的鸣笛车辆不适合作为最终的鸣笛车辆，结束鸣笛车辆提取流程；；
26.当gy≥cy时：若gmidy＜cmidy且area
k
＞areathd3，则将候选的鸣笛车辆作为最终的鸣笛车辆输出；若gmidy≥cmidy时，(1)如果gy gh＜cy ch且area
k
＞areathd4，则将候选的鸣笛车辆作为最终的鸣笛车辆输出；(2)如果gy gh≥cy ch且area
k
≥areathd5，则将候选的鸣笛车辆作为最终的鸣笛车辆输出；当gy≥cy时的上述其余情形，候选的鸣笛车辆均不适合作为最终的鸣笛车辆，结束鸣笛车辆提取流程；
27.其中，areathd1,areathd2,areathd3,areathd4,areathd5分别为预设的第一阈值、第二阈值、第三阈值、第四阈值、第五阈值。
28.在更优的技术方案中，areathd1＝0.1，areathd2＝0.95，areathd3＝0.8，areathd4＝0.6，areathd5＝0.1。
29.在更优的技术方案中，当识别到的车牌为蓝色时，t
sw
＝5，t
sh
＝3，t
pw
＝2，t
phu
＝18，t
phd
＝4；当识别到的车牌为黄色时，t
sw
＝5，t
sh
＝3，t
pw
＝2.5，t
phu
＝20，t
phd
＝4。
30.一种鸣笛车辆提取装置，包括：
31.图像获取模块：用于：获取相同场景下的鸣笛声学能量光斑和相机抓拍图像，将鸣笛声学能量光斑叠加到相机抓拍图像中，得到叠加图像；
32.车牌识别模块，用于：根据鸣笛声学能量光斑在叠加图像中的外接矩形，在叠加图像中标记车牌识别区域，并在车牌识别区域内进行车牌识别；
33.鸣笛车辆确定模块，用于：根据所有车牌识别结果标定对应所在车辆的轮廓，并根据鸣笛声学能量光斑的外接矩形与每个标定的车辆轮廓之间的位置关系，从所有标定的车辆轮廓中确定鸣笛车辆。
34.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一项所述的鸣笛车辆提取方法。
35.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的鸣笛车辆提取方法。
36.有益效果
37.本发明首先获取相同场景下的鸣笛声学能量光斑和相机抓拍图像，将鸣笛声学能量光斑叠加到相机抓拍图像中；然后根据鸣笛声学能量光斑在叠加图像中的外接矩形，在叠加图像中标记车牌识别区域，并在车牌识别区域内进行车牌识别；最终根据所有车牌识别结果标定对应所在车辆的轮廓，并根据鸣笛声学能量光斑的外接矩形与每个标定的车辆轮廓之间的位置关系，从所有标定的车辆轮廓中确定鸣笛车辆。本发明能够准确地提取鸣笛车辆，避免判别错误，从而能够保证鸣笛车辆提取的准确性。
附图说明
38.图1是本技术实施例由鸣笛声学能量光斑与相机抓拍图像的叠加图像；
39.图2是本技术实施例在叠加图像中标记车牌识别区域后图像；
40.图3是本技术实施例根据车牌识别结果标定的所在车辆轮廓；
41.图4是本技术实施例在相机抓拍图像上建立坐标轴的图像；
42.图5是本技术实施例光斑外接矩形超出车辆轮廓上边界、且超出车辆轮廓左右边界时的示意图；
43.图6是本技术实施例光斑外接矩形超出车辆轮廓上边界、但未超出车辆轮廓左右边界时的示意图；
44.图7是本技术实施例光斑中心更靠近车辆轮廓上方、但最上方仍位于轮廓最上方的下侧时的示意图；
45.图8是本技术实施例光斑中心更靠近车辆轮廓下方、但最上方仍位于轮廓最上方的下侧时的示意图；
46.图9是本技术实施例光斑外接矩形超出车辆轮廓下边界时的示意图。
具体实施方式
47.下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，
给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
48.本实施例提供一种鸣笛车辆提取方法，包括以下步骤：
49.步骤1、获取图像
50.获取相同场景下的鸣笛声学能量光斑和相机抓拍图像：当在相机视野范围内有车辆鸣笛时，会触发鸣笛抓拍系统开展抓拍，得到相机抓拍图像，并生成鸣笛能量分布热图(根据声学成像原理由波束形成法生成)，即为本发明所述的鸣笛声学能量光斑。然后将鸣笛声学能量光斑叠加到相机抓拍图像中，即得到叠加图像，作为后续步骤的主要分析对象。
51.当图中右侧大巴车鸣笛时，声学能量光斑位于大巴车身上，如图1所示，即为由鸣笛声学能量光斑与相机抓拍图像的叠加图像。
52.步骤2，车牌识别：根据鸣笛声学能量光斑在叠加图像中的外接矩形，在叠加图像中标记车牌识别区域，并在车牌识别区域内进行车牌识别。
53.参见图2所示，最大的外框表示抓拍图像，最内部的方框为鸣笛声学能量光斑在抓拍图像中的外接矩形。假定光斑外接矩形的高度为sh，宽度为sw，按照向左向右5倍宽度、向上向下按照3倍高度的方式扩展，标记出车牌识别区域，以虚线表示。如果定位结果准确，那么这个范围内一定能够包括鸣笛车辆。
54.然后，即可在该标记的车牌识别区域内进行车牌识别，本实施例中采用现有技术进行车牌识别。如果没有车牌识别结果，可能存在三种情况：一是定位结果出错，车牌识别区域内没有车辆；二是鸣笛车辆没有悬挂车牌；三是车牌识别工具无法对车牌进行识别。无论哪种情况，都无法生成完整的鸣笛抓拍记录，因此视为未提取到鸣笛车辆，提前结束鸣笛车辆提取流程。如果有车牌识别结果，也分为两种情况，一种是只识别到一个车牌，另一种识别到多个车牌，即得到多个车牌识别结果。
55.步骤3，确定鸣笛车辆：根据所有车牌识别结果标定对应所在车辆的轮廓，并根据鸣笛声学能量光斑的外接矩形与每个标定的车辆轮廓之间的位置关系，从所有标定的车辆轮廓中确定鸣笛车辆。
56.其中，根据车牌识别结果标定对应所在车辆轮廓的具体过程为：参见图3所示，设车牌识别结果的高度和宽度分别为ph、pw，以车牌识别结果为标准，按照向左向右均扩展t
pw
倍，向上扩展t
phu
倍，向下均扩展t
phd
倍；若扩展后的边界超出叠加图像的边界，则扩展至叠加图像的边界；最终扩展得到的矩形即为车牌识别结果对应所在车辆的轮廓。在本实施例中，当识别到的车牌为蓝色时，t
pw
＝2，t
phu
＝18，t
phd
＝4；当识别到的车牌为黄色时，t
pw
＝2.5，t
phu
＝20，t
phd
＝4。
57.另外，根据鸣笛声学能量光斑的外接矩形与每个标定的车辆轮廓之间的位置关系，从所有标定的车辆轮廓中确定鸣笛车辆的方法为：
58.步骤3.1，计算第i个标定的车辆轮廓与鸣笛声学能量光斑外接矩形之间的重叠面积，再除以鸣笛声学能量光斑外接矩形的面积，得到重叠面积比例area
i
，i＝1,2,
…
,m；i为用于区分识别到的不同车牌的标号，m为识别到的车牌数量；
59.步骤3.2，若m＝1且对应的重叠面积area
i＝1
＞areathd1，则将该标定的车辆轮廓确定为鸣笛车辆；若m＝1且对应的重叠面积area
i＝1
≤areathd1，则认为鸣笛声学能量光斑偏离车身过大，不足以作为执法依据，不生成鸣笛抓拍记录，以尽可能的避免误抓拍，结束鸣笛车辆提取流程；其中，areathd1为预设的第一阈值，取典型值为0.1时可取得较为理想的
结果；
60.步骤3.3，若m＞1，则计算每个车辆识别结果的中心与鸣笛声学能量光斑外接矩形的中心之间的距离dis
i
，i＝1,2,
…
,m；查找其中最小距离所对应的车牌标号，记为k；
61.如果area
k
＞areathd1，则将第k个标定的车辆轮廓确定为鸣笛车辆；若area
k
≤areathd1，则认为鸣笛声学能量光斑偏离车身过大，不生成鸣笛抓拍记录，结束鸣笛车辆提取流程；
62.步骤3.4，将步骤3.2或者步骤3.3确定的鸣笛车辆作为最终的鸣笛车辆输出。
63.在确定鸣笛车辆时，误抓是比漏抓更为严重的问题。从实际情况来看，误抓的情况可以分为两类：一种是同一车道前后紧靠的两台车，后车号牌被遮挡时，容易误判为前车鸣笛；另一种是误判为左右两侧的车辆鸣笛。相对而言，第一种情况更为常见。因此，有必要根据光斑外接矩形和候选车辆轮廓之间的相对位置，有针对性地加以处理。
64.因此，在更优的实施例中，步骤3.2或者步骤3.3确定的鸣笛车辆不作为最终的鸣笛车辆输出，而是作为候选的鸣笛车辆，再对候选的鸣笛车辆进一步判断，确定最终的鸣笛车辆输出：
65.步骤3.4.1，如图4所示，以相机抓拍图像的左上角为原点，宽度方向为x轴，高度方向为y轴；设候选的鸣笛车辆的轮廓的中心坐标为(cmidx,cmidy)，左上角坐标为(cx,cy)，宽度和高度分别为cw和ch；设鸣笛声学能量光斑外接矩形的中心坐标为(gmidx,gmidy)，左上角坐标为(gx,gy)，宽度和高度分别为gw和gh；
66.步骤3.4.2，当gy＜cy时：如果gx≥cx且gx gw≤cx cw且area
k
＞areathd2，如图6所示，将候选的鸣笛车辆作为最终的鸣笛车辆输出，否则如图5所示，候选的鸣笛车辆不适合作为最终的鸣笛车辆，结束鸣笛车辆提取流程；
67.当gy≥cy时：若gmidy＜cmidy(即光斑中心更靠近车辆轮廓上方，但最上方仍位于轮廓最上方的下侧)且area
k
＞areathd3，则将候选的鸣笛车辆作为最终的鸣笛车辆输出，如图7所示；若gmidy≥cmidy时(即光斑中心更靠近车辆轮廓下方)，(1)如果gy gh＜cy ch且area
k
＞areathd4，则将候选的鸣笛车辆作为最终的鸣笛车辆输出，如图8所示；(2)如果gy gh≥cy ch且area
k
≥areathd5，则将候选的鸣笛车辆作为最终的鸣笛车辆输出，如图9所示；当gy≥cy时的上述其余情形，候选的鸣笛车辆均不适合作为最终的鸣笛车辆，结束鸣笛车辆提取流程。
68.其中，areathd2,areathd3,areathd4,areathd5分别为预设的第二阈值、第三阈值、第四阈值、第五阈值，本实施例设置其值分别为：areathd2＝0.95，areathd3＝0.8，areathd4＝0.6，areathd5＝0.1。
69.实施例2
70.本实施例提供一种鸣笛车辆提取装置，包括：
71.图像获取模块：用于：获取相同场景下的鸣笛声学能量光斑和相机抓拍图像，将鸣笛声学能量光斑叠加到相机抓拍图像中，得到叠加图像；
72.车牌识别模块，用于：根据鸣笛声学能量光斑在叠加图像中的外接矩形，在叠加图像中标记车牌识别区域，并在车牌识别区域内进行车牌识别；
73.鸣笛车辆确定模块，用于：根据所有车牌识别结果标定对应所在车辆的轮廓，并根据鸣笛声学能量光斑的外接矩形与每个标定的车辆轮廓之间的位置关系，从所有标定的车
辆轮廓中确定鸣笛车辆。
74.本实施例鸣笛车辆提取装置所包括的上述各模块，其工作原理与实施例1相同。
75.实施例3
76.本实施例提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现实施例1所述的鸣笛车辆提取方法。
77.实施例4
78.本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的鸣笛车辆提取方法。
79.以上实施例为本技术的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本技术总的构思的前提下，这些变换或改进都应当属于本技术要求保护的范围之内。