一种基于车辆参照物的路面积水检测方法、装置及应用与流程

1.本技术涉及图像检测领域，特别是涉及一种基于车辆参照物的路面积水检测方法、装置及应用。


背景技术：

2.近年来，由强降雨引发的道路、桥梁、涵洞积水的现象时有发生，给人们带来很大不便，严重时会造成生命、财产损失。
3.为了实现对城市内涝的及时监控与预警，发展了一系列的监测手段：例如使用水位计直接对积水高度进行测量、使用流量计对下水道流量进行测量、使用雨量计对实时雨量进行测量等，然而以上的测量方法需要在相应位置安装特定的传感器，而一个传感器也仅能感应特定区域的水位，且传感器本身容易被破坏，进而导致整个城市管理部门的投资经费都非常地昂贵。
4.此外，通过对城市道路上广泛分布的光学摄像头设备进行图像采集与分析，亦可对积水情况进行分析，比如中国专利cn111160155a、cn114219788a、cn111144254a，都提到了利用深度学习模型进行道路积水的检测，但不论使用传统图像检测方法，还是深度学习等新兴方法，其检测模型往往最终倾向于检测积水的覆盖面积而非积水程度，检测的精确性大打折扣，此外还会受场景复杂化、雨水路面反光等因素影响，检测错误率很高。


技术实现要素：

5.本技术实施例提供了一种基于车辆参照物的路面积水检测方法、装置及应用，将路面积水检测方案分为两个步骤：首先检测车辆后再截取车辆周边图像，对车辆周边图像中的积水水花、波浪信息等进行检测，排除复杂环境干扰的同时提到了道路积水检测的准确度。
6.第一方面，本技术实施例提供了一种基于车辆参照物的路面积水检测方法，所述方法包括：一获取道路图像，将所述道路图像输入到车辆检测模型中输出至少一车辆识别框、对应该车辆的积水水花以及积水波浪；自所述道路图像中截取对应每一所述车辆识别框的车辆周边图像；将所述车辆周边图像输入到积水程度检测模型中输出对应该车辆的积水程度信息；汇总每一所述道路图像的所有车辆的积水程度信息、积水水花以及积水波浪得到特征向量，所述特征向量输入到判别模型得到判别结果，其中判别结果为无积水、轻度积水和重度积水的一种。
7.第二方面， 本技术实施例提供了一种基于车辆参照物的路面积水检测装置，包括：车辆检测单元，用于获取道路图像，将所述道路图像输入到车辆检测模型中输出至少一车辆识别框、对应该车辆的积水水花以及积水波浪；车辆周边图像获取单元，用于自所述道路图像中截取对应每一所述车辆识别框的车辆周边图像；
积水程度获取单元，用于将所述车辆周边图像输入到积水程度检测模型中输出对应该车辆的积水程度信息；综合判断单元，用于汇总每一所述道路图像的所有车辆的积水程度信息、积水水花以及积水波浪得到特征向量，所述特征向量输入到判别模型得到判别结果，其中判别结果为无积水、轻度积水和重度积水的一种。
8.第三方面，本技术实施例提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的基于车辆参照物的路面积水检测方法。
9.第四方面，本技术实施例提供了一种计算机程序产品，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行所述的基于车辆参照物的路面积水检测方法。
10.第五方面，本技术实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括所述的基于车辆参照物的路面积水检测方法。
11.本发明的主要贡献和创新点如下：本技术实施例在于改善现有技术的道路积水检测不精准的问题，且基于车辆参照物对道路积水程度进行了检测，以得到更有价值的道路积水信息。具体的，本方案首先检测道路上的车辆，然后截取车辆周边的车辆周边图像，基于车辆周边图像对车辆附近的积水水花、波浪信息进行检测，最后设置一个贝叶斯分类器将正常行驶的车辆和车辆驻停或者极慢速行驶的车辆进行判断，以提高最终的积水程度判别准确性。
12.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的基于车辆参照物的路面积水检测方法的流程图；图2是根据本技术实施例的一种积水程度检测模型的结构示意图；图3是根据本技术一种实施例的基于车辆参照物的路面积水检测方法的流程图；图4是根据本技术实施例的基于车辆参照物的路面积水检测装置的结构框图；图5-6是根据本技术实施例的基于车辆参照物的路面积水检测方法检测的示意图；图7是本方案的训练样本示意图；图8是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
14.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相
反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
15.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
16.实施例一本技术实施例提供了一种基于车辆参照物的路面积水检测方法，可以基于车辆参照物检测道路积水的积水程度的目的，具体地，参考图1和图3，所述方法包括：获取道路图像，将所述道路图像输入到车辆检测模型中输出至少一车辆识别框、对应该车辆的积水水花以及积水波浪；自所述道路图像中截取对应每一所述车辆识别框的车辆周边图像；将所述车辆周边图像输入到积水程度检测模型中输出对应该车辆的积水程度信息；汇总每一所述道路图像的所有车辆的积水程度信息、积水水花以及积水波浪得到特征向量，所述特征向量输入到判别模型得到判别结果，其中判别结果为无积水、轻度积水和重度积水的一种。
17.本方案不同于传统的仅通过图片直接识别道路积水情况的方案，本方案首先根据检测到的车辆获取车辆周边图像，再以车辆周边图像作为二级检测目标进行积水程度的检测，以将车辆作为参照物进行道路积水程度的检测，与此同时通过所有车辆的积水水花、积水波浪以及积水程度得到特征向量，以特征向量通过判别模型进一步区分正常行驶车辆引起的积水不准确的问题。
18.本方案可适用于道路路面积水检测，此时道路图像可选自设置在街道的监控摄像头，当然，其他形式的来源也不做限制。
19.本方案利用标记有积水水花、积水波浪、车辆的道路图像训练yolo神经网络得到车辆检测模型，如图7所示为本方案的训练样本的示意图，以下简述车辆检测模型的训练过程：数据集获取：采用网络图片数据、公共数据集、自制数据集作为数据集。
20.其中网络图片数据包括google、baidu、flickr等网络图片数据库中选取的数据，公共数据集包括coco数据集、european-flood-2013数据集等，自制数据集包括自定义的图像数据，可以是摘选自交通监控摄像头的图像数据。
21.由于本方案是对路面积水情况进行检测，故本方案获取的数据集中的图像包含积水水花、积水波浪以及车辆等信息。在获取了数据集之后需要利用人工标定框标注数据集中的积水水花、积水波浪、车辆。
22.数据集制作：将训练数据集使用labelimg标注软件，人工标定框选出积水水花、积水波浪、车辆的标记框，并将标记框的类别、宽高存于xml文件中，将样本集图片随机划分为训练集、验证集、测试集。
23.另外，为了提高车辆检测模型的检测精度，本方案对数据集的标记框进行聚类处
理，以进一步地提高目标检测精度。在本方案中可通过dbscan算法对标注得到的标记框进行聚类，得到改进后的锚点。
24.dbscan算法流程如下：1）首选任意选取一个点，然后找到这个点距离小于等于 eps 的所有的点。如果距起始点的距离在 eps 之内的数据点个数小于 min_samples，那么这个点被标记为噪声，如果距离在 eps 之内的数据点个数大于 min_samples，则这个点被标记为核心样本，并被分配一个新的簇标签，其中点为标记框；2）然后访问该点的所有邻居（在距离 eps 以内）。如果它们还没有被分配一个簇，那么就将刚刚创建的新的簇标签分配给它们。如果它们是核心样本，那么就依次访问其邻居，以此类推。簇逐渐增大，直到在簇的 eps 距离内没有更多的核心样本为止。
25.3）选取另一个尚未被访问过的点，并重复相同的过程。
26.车辆检测模型的训练：将已标记标记框的训练集、验证集输入到基础的车辆检测模型中进行训练，本方案提供的车辆检测模型以yolo神经网络为基础构建得到。
27.车辆检测模型的测试：将测试集输入到已训练后的车辆检测模型进行检测，基于检测结果调整车辆检测模型的参数以得到最优参数的车辆检测模型。
28.由于本方案的车辆检测模型是利用标注有积水水花、积水波浪以及车辆标记框标记的道路图像进行训练，故该车辆检测模型在检测道路图像时也可输出积水水花、积水波浪以及车辆标记框。
29.在“自所述道路图像中截取对应每一所述车辆识别框的车辆周边图像”步骤中，基于所述车辆识别框在所述道路图像中截取对应的车辆周边图像。在一些实施例中，同一张道路图像中涵盖多辆车辆，此时可截取多张车辆周边图像。
30.本方案截取的车辆周边图像内至少涵盖该车辆及周边的积水情况。本方案是对每辆车辆的积水情况来进行积水程度的判断，以减少复杂背景下其他积水对路面积水的影响。比如在道路图像中含有河道信息，但是河道的积水并不是作为道路积水判断的内容。
31.本方案利用标记有无积水、轻度积水和重度积水的车辆周边图像训练resnet152网络架构得到积水程度检测模型，以下简述积水程度检测模型的训练过程：数据集的获取：人为地对车辆周边图像进行积水程度的标记，标记结果为无积水、轻度积水和重度积水；数据加强：运用数据加强的方式进行数据集样本的增强，按照8：2方式划分训练集，验证集，其中数据加强的方式为平移，旋转，翻转等。
32.积水程度检测模型的训练：将训练集输入到未训练的积水程度检测模型中进行检测以得到判别信息。本方案采用的积水程度检测模型采用resnet152网络架构，如图2所示，本方案在resnet152网络架构中采用级联方式，加入全连接层dense,且本方案的激活函数选择为softmax函数，配置网络超参数，epochs为100，batch_size=4,学习率为1e-4
，经过训练后的积水程度检测模型的网络参数被调整。
33.resnet152网络架构包括依次连接的卷积层、池化层、多个不同通道的残差块以及全连接层，输入resnet152网络架构的图像依次经历7*7卷积、3*3池化后、多个不同通道的残差处理后进入全连接层中并输出分类结果和置信度，在全连接层内的激活函数选择为softmax函数。
34.本方案的积水程度检测模型可检测每一车辆周边图像的积水程度。同一道路图像上可能涵盖有多辆车辆，故同一道路会有积水程度，本方案汇总所有的车辆的积水程度作为道路图像的特征向量。这样的好处在于；可以避免单一车辆对道路积水程度判断的影响，使得检测得到的道路积水程度是更为客观真实。
35.在“汇总每一所述道路图像所有的所述判别信息得到特征向量”步骤中，特征向量包括：积水水花数量、每一积水水花的置信度、积水波浪数量，每一积水波浪的置信度、周围无积水的车辆数量、每一车辆周边为无积水的置信度，、周边轻度积水的车辆数量、每一车辆周边为轻度积水的置信度、周边重度积水的车辆数量、每一车辆周边为重度积水的置信度。
36.对应的，基于所有车辆周边图像对应的所述判别信息统计所有积水水花的数量、每一积水水花的置信度、积水波浪数量，每一积水波浪的置信度、周围无积水的车辆数量、每一车辆周边为无积水的置信度、周边轻度积水的车辆数量、每一车辆周边为轻度积水的置信度、周边重度积水的车辆数量、每一车辆周边为重度积水的置信度，并整合得到特征向量。
37.示例性的，特征向量表现为：m=[na,la,nb,lb,nc,lc,nd,ld,ne,le]，其中n
a 表示检测为积水水花数量，la=[l1,l2,...,la]为每一积水水花的置信度；nb表示检测为积水波浪数量，lb=[l1,l2,...,lb]为每一积水波浪的置信度；nc表示检测为周围无积水的车辆数量，lc=[l1,l2,...,lc]为每一车辆周边为无积水的置信度；nd,表示检测为周围轻度积水的车辆数量，ld=[l1,l2,...,ld]为每一车辆周边为轻度积水的置信度；ne表示检测为周围重度积水的车辆数量，le=[l1,l2,...,le]为每一车辆周边为重度积水的置信度。
[0038]
本方案将特征向量输入到判别模型中得到判别结果，在本方案的实施例中，所述判别模型采用贝叶斯分类模型。同样的，标记有无积水、轻度积水以及重度积水的道路图像的特征向量训练标记有无积水、轻度积水以及重度积水的道路图像的特征向量输入到贝叶斯分类模型得到判别模型，以使得贝叶斯分类模型可对整体道路图像进行综合判断。
[0039]
如图5和图6所示，为利用本方案的路面积水检测方法检测出来的结果，图5中有多个积水水花以及积水波浪，但综合每个积水水花和积水波浪都比较低，故整体可判断为轻度积水。
[0040]
值得说明的是，和用只标记无积水、轻度积水、重度积水的道路图像作为训练数据训练的判别模型相比，本方案是以特征向量进行训练集样本内容进行训练，可以减少道路上非重要积水特征对于积水程度的判断。
[0041]
实施例二基于相同的构思，本技术还提出了一种基于车辆参照物的路面积水检测装置，包括：车辆检测单元，用于获取道路图像，将所述道路图像输入到车辆检测模型中输出至少一车辆识别框、对应该车辆的积水水花以及积水波浪；车辆周边图像获取单元，用于自所述道路图像中截取对应每一所述车辆识别框的车辆周边图像；积水程度获取单元，用于将所述车辆周边图像输入到积水程度检测模型中输出对应该车辆的积水程度信息；
综合判断单元，用于汇总每一所述道路图像的所有车辆的积水程度信息、积水水花以及积水波浪得到特征向量，所述特征向量输入到判别模型得到判别结果，其中判别结果为无积水、轻度积水和重度积水的一种。
[0042]
关于实施例二中同于实施例一相同的技术内容不再重复介绍。
[0043]
实施例三本实施例还提供了一种电子装置，参考图8，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项基于车辆参照物的路面积水检测方法实施例中的步骤。
[0044]
具体地，上述处理器402可以包括中央处理器（cpu），或者特定集成电路（applicationspecificintegratedcircuit，简称为asic），或者可以被配置成实施本技术实施例的一个或多个集成电路。
[0045]
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（harddiskdrive，简称为hdd）、软盘驱动器、固态驱动器（solidstatedrive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universalserialbus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（non-volatile）存储器。在特定实施例中，存储器404包括只读存储器（read-onlymemory，简称为rom）和随机存取存储器（randomaccessmemory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmableread-onlymemory，简称为prom）、可擦除prom（erasableprogrammableread-onlymemory，简称为eprom）、电可擦除prom（electricallyerasableprogrammableread-onlymemory，简称为eeprom）、电可改写rom（electricallyalterableread-onlymemory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（staticrandom-accessmemory，简称为sram）或动态随机存取存储器（dynamicrandomaccessmemory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器404（fastpagemodedynamicrandomaccessmemory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extendeddateoutdynamicrandomaccessmemory，简称为edodram）、同步动态随机存取内存（synchronousdynamicrandom-accessmemory，简称sdram）等。
[0046]
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
[0047]
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种基于车辆参照物的路面积水检测方法。
[0048]
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
[0049]
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（radio frequency，
简称为rf）模块，其用于通过无线方式与互联网进行通讯。
[0050]
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是各来源的道路图像等，输出的信息可以是该道路的积水程度信息。
[0051]
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：获取道路图像，将所述道路图像输入到车辆检测模型中输出至少一车辆识别框、对应该车辆的积水水花以及积水波浪；自所述道路图像中截取对应每一所述车辆识别框的车辆周边图像；将所述车辆周边图像输入到积水程度检测模型中输出对应该车辆的积水程度信息；汇总每一所述道路图像的所有车辆的积水程度信息、积水水花以及积水波浪得到特征向量，所述特征向量输入到判别模型得到判别结果，其中判别结果为无积水、轻度积水和重度积水的一种。
[0052]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0053]
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
[0054]
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
[0055]
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0056]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。