道路破损检测方法、装置及应用与流程

1.本技术涉及图像处理技术领域，特别涉及一种道路破损检测方法、装置及应用。


背景技术：

2.随着城市基础建设的不断发展，交通出行对于道路平整提出了更高的要求；然而路面道路在受到大型车辆的负荷以及天气气候的影响下经常出现破损现象，道路破损的现象包括但不限于：道路坑洼、路面断裂等情况，若道路破损严重，则很可能在行车过程中导致机动车车胎破损，对行人的生命财产安全造成极大的安全隐患。
3.现有技术中大多采用人工检查的方式进行道路破损检测，这种方式需要不定期地派专门的检测人员对道路情况进行检测，需要耗费极大的人力物力，同时也无法覆盖所有路面的检测；也有技术研发借用深度学习方法对道路破损进行检测，但目前大部分的深度学习方法都无法进一步地分析出道路破损程度，进而无法给政府相关管理部门提供全面的道理破损分析结果。


技术实现要素：

4.本技术实施例提供了一种道路破损检测方法、装置及应用，利用深度学习方法对道路破损程度进行自动分析，为政府相关管理部门提供对策依据。
5.第一方面，本技术实施例提供了一种道路破损检测方法，所述方法包括：获取道路破损案件文本数据，基于所述道路破损案件文本数据调取对应的路面监控视频，并基于所述路面监控视频获取至少一道路破损图像；编码所述道路破损案件文本数据得到对应的道路破损文本编码向量；编码所述道路破损图像得到道路破损图像特征；将所述道路破损图像特征和道路破损文本编码向量映射至相同的语义空间后进行融合，得到融合道路破损特征；将所述融合道路破损特征输入预训练后的道路破损程度分类模型中进行分类，获取道路破损程度。
6.第二方面，本技术实施例提供了一种道路破损检测装置，包括：数据获取单元，用于获取道路破损案件文本数据，基于所述道路破损案件文本数据调取对应的路面监控视频，并基于所述路面监控视频获取至少一道路破损图像；文本编码单元，用于编码所述道路破损案件文本数据得到对应的道路破损文本编码向量；图像编码单元，用于编码所述道路破损图像得到道路破损图像特征；融合单元，用于将所述道路破损图像特征和道路破损文本编码向量映射至相同的语义空间后进行融合，得到融合道路破损特征；检测单元，用于将所述融合道路破损特征输入预训练后的道路破损程度分类模型中进行分类，获取道路破损程度。
7.第三方面， 本技术实施例提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所
述的道路破损检测方法。
8.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括所述的道路破损检测方法。
9.本发明的主要贡献和创新点如下：本技术实施例可基于道路破损案件文本数据自动获取道路破损图像，并对道路破损案件自动分析其道路破损程度，在对道路进行道路破损程度检测时将文本数据内容和道路图像内容进行融合作为检测样本，进而可更为精准地获取道路破损程度，以给相关部门提供对策依据。
10.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
11.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的道路破损检测方法的流程图；图2是根据本技术一种实施例的道路破损检测方法的逻辑图；图3是根据本技术的一种实施例的道路破损文本编码向量以及道路破损图像特征的获取流程示意图；图4是根据本技术的道路破损程度分类模型的结构示意图；图5是根据本技术实施例的道路破损检测装置的结构框图；图6是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
12.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
13.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
14.实施例一本技术实施例提供了一种道路破损检测方法，具体地，参考图1和图2，所述方法包括：获取道路破损案件文本数据，基于所述道路破损案件文本数据调取对应的路面监控视频，并基于所述路面监控视频获取至少一道路破损图像；
编码所述道路破损案件文本数据得到对应的道路破损文本编码向量；编码所述道路破损图像得到道路破损图像特征；将所述道路破损图像特征和道路破损文本编码向量映射至相同的语义空间后进行融合，得到融合道路破损特征；将所述融合道路破损特征输入预训练后的道路破损程度分类模型中进行分类，获取道路破损程度。
15.在本方案中基于上传的道路破损案件的道路破损案件文本数据，自动调取对应该道路破损案件的道路破损图像，将道路破损案件文本数据和道路破损图像编码进行融合，融合后的内容再输入到道路破损程度分类模型中进行分类，这样的好处在于当其输入到道路破损程度分类模型可以获取道路破损程度，便于道路破损的管理，对于道路破损严重的区域进行优先处理。
16.在“获取道路破损案件文本数据”步骤中，从道路破损案件数据库中获取道路破损案件文本数据。也就是说，本方案可适用于已上传道路破损案件的场景，相关管理人员只需要在系统中输入道路破损案件，本方案即可基于输入的道路破损案件的案件情况自动调取相关的道路破损图像，并进行道路破损程度的分析。
17.所述道路案件数据库可以包括道路破损案件表，在一些实施例中，表中字段记载：事件id，上报内容，上报人，上报人联系方式，上报时间，以及事件发生地的经纬度。
18.本方案的道路破损案件文本数据至少包括：案件上报时间信息、案件地址信息以及案件内容信息。示例性的，所述道路破损案件文本数据可以是：2022年1月1日于北京xx街道出现路面断裂。
19.在“基于所述道路破损案件文本数据调取对应的路面监控视频，并基于所述路面监控视频获取至少一道路破损图像”步骤中，提取所述道路破损案件文本数据的案件地址信息以及上报时间信息，基于所述案件地址信息和所述上报时间信息调取对应案件地址相应时间段的路面监控视频，所述路面监控视频输入到道路破损检测模型中输出至少一道路破损图像。
20.在本方案的一实施例中，案件地址信息为经纬度信息，此时可直接根据经纬度信息定位案件地址。在一些实施例中，案件地址信息为道路名称信息，此时可将道路名称信息输入到经纬度提取模块中提取对应的经纬度信息，再根据经纬度信息定位案件地址。本方案利用经纬度定位案件地址的好处在于：可确认独一无二的案件地址。
21.另外，在一些情况下若所述道路破损案件文本数据内不含有案件地址信息，则获取案件文本数据的案件内容，将案件内容输入到开源实体命名识别模型中进行案件地址的提取，否则选择案件事件发生地的地址作为案件地址；另外若在案件内容中依旧无法确认案件地址，则联系道路破损案件的上报人进行案件地址的确认。
22.在“基于所述案件地址信息和所述上报时间信息调取对应案件地址相应时间段的路面监控视频”步骤中，基于所述案件地址信息确定案件地址，基于所述上报时间信息确定所述相应时间段。
23.在“所述路面监控视频输入到道路破损检测模型中输出至少一道路破损图像”步骤中，将所述路面监控视频输入到道路破损检测模型中获取道路破损图像集合，从所述道路破损图像集合中选取1张道路破损图像作为后续检测的道路破损图像。
24.在“编码所述道路破损案件文本数据得到对应的道路破损文本编码向量”步骤中，将所述道路破损案件文本数据的案件内容输入到预训练后的文本模型中获取道路破损文本编码向量。
25.具体的，案件内容的每个内容词经过预训练的文本模型编码后得到固定维度的词向量，案件内容的所有内容词的词向量组成道路破损文本编码向量。
26.在一些实施例中，设定道路破损文本编码向量为128
×
768大小，每个内容词的词向量设定为768维度，设定案件内容的最大词长度为128，若案件内容的内容词数量大于128,则直接丢弃多余的内容词；若案件内容的内容词小于128，则对没有词的部分进行pad操作，即这部分次编码成维度为768的向量。
27.本方案的道路破损文本编码向量的向量大小确定，以便于后续进行统一分析和学习。本方案选用的文本模型为：bert模型。
28.如图3所示，在“编码所述道路破损图像得到道路破损图像特征”步骤中，处理所述道路破损图像至统一大小尺寸后，输入道路破损检测模型中提取空间金字塔池化操作得到道路破损图像特征。
29.在“将所述道路破损图像特征和道路破损文本编码向量映射至相同的语义空间后进行融合，得到融合道路破损特征”步骤中，将道路破损文本编码向量进行均等划分后再拼接得到第一文本特征，第一文本特征卷积操作后下采样得到第二文本特征；将所述道路破损图像特征进行上采样后得到第二道路破损图像特征，将所述第二文本特征进行上采样后得到第三文本特征，其中第三文本特征和第二道路图像特征的尺寸大小相同，融合所述第三文本特征和所述第二道路破损图像特征得到融合道路破损特征。
30.在一些实施例中，得到128
×
768大小的道路破损文本编码向量后将其进行6等均分，再拼接得到128
×
128
×
6大小的第一文本特征，这样做的好处在于：使得文本特征和道破破损图像特征保持一致，便于后续的特征融合。第一文本特征下采样3次得到16
×
16
×
1024大小的第二文本特征。此时得到的道破破损图像特征统一为512
×
512
×
3后，输入道路破损检测模型中提取空间金字塔池化操作后得到16
×
16
×
1024大小的道路破损图像特征；将第二文本特征和道路破损图像特征进行3次上采样后得到128
×
128
×
128大小的第三文本特征和第二道路破损图像特征。在融合阶段，将128
×
128
×
128大小的第文本特征和所述128
×
128
×
128大小的第二道路破损图像特征在第三维度上进行concat拼接得到128
×
128
×
256大小的融合道路破损特征。
31.在“将所述融合道路破损特征输入预训练后的道路破损程度分类模型中进行分类，获取道路破损程度”中，本方案的道路破损程度分类模型结构如图4所示：所述道路破损程度分类模型包括依次连接的骨干网络、颈部模块以及预测模块，其中骨干网络包括依次连接的4个第一残差模块、依次连接的3个第二残差模块以及依次连接3个第三残差模块，其中前三位的第一残差模块的输出依次和倒序的第二残差模块的输出相加，且末位第一残差模块的输出作为首位第二残差模块的输入；前二位的所述第二残差模块的输出依次和倒序前二位的第三残差模块的输出相加；倒数三位的所述第一残差模块的输出依次和正序的第三残差模块的输出相加。
32.在本方案中，第一残差模块将输入经过1
×
1的点卷积后再经过3
×
3跨距为1的深度卷积，将输入与所述深度卷积的输出相加获取残差结果，再将残差结果经过3
×
3跨距为2
的卷积进行下采样。这样的好处在于采用1
×
1的点卷积可以改变通道数，再采用3
×
3跨距为1的深度卷积能够减少参数量和运算量，采用3
×
3跨距为2的卷积进行下采样，获取更加抽象的特征。
33.第二残差模块包括：将输入经过1
×
1的点卷积再经过3
×
3跨距为1的深度卷积，将输入与所述深度卷积的输出相加获取残差结果，再将所述残差结果输入到上采样层进行上采样。这样的好处在于：采用1
×
1的点卷积可以改变通道数，再采用3
×
3跨距为1的深度卷积能够减少参数量和运算量，采用上采样，是将中层特征通过上采样与低层特征进行融合。
34.第三残差模块将输入经过3
×
3跨距为2的卷积进行下采样，将下采样结果经过1
×
1的点卷积再经过3
×
3跨距为1的深度卷积，将下采样结果与所述深度卷积的输出相加获取残差结果。这样的好处在于采用1
×
1的点卷积可以改变通道数，再采用3
×
3跨距为1的深度卷积能够减少参数量和运算量。将融合后的低层特征和中层特征，进行下采样，获取抽象的高层特征，再将底层特征，中层特征，高层特征进行融合，从而获取不同层次的特征，其中，底层特征是残差模块1的输出，中层特征是残差模块2的输出，高层特征是残差模块3的输出。
35.如图4可以看到，128
×
128
×
256大小的融合道路破损特征在进入第一残差模块中依次被采样为：64
×
64
×
512，32
×
32
×
1024,16
×
16
×
2048以及8
×8×
4096；再进入到第二残差模块中被采样为：16
×
16
×
1023，32
×
32
×
1024以及64
×
64
×
512；再进入到第三残差模块中被采样为：16
×
16
×
2048以及8
×8×
4096。
36.本方案的颈部模块由三个并行的池化层组成，分别为：全局平均池化、最大池化以及平均池化，骨干网络提取的特征分别经过全局平均池化、最大池化以及平均池化后得到第一特征、第二特征以及第三特征，这样的好处在于采用不同的池化操作，可以获取更加多样化的特征。
37.本方案的预测模块包括两个依次连接的第一全连接层和第二全连接层，其中第一全连接层全连接第一特征、第二特征以及第三特征后，再进入第二全连接层进行全连接。
38.在本方案中用标记道破破损程度的训练融合道路破损特征训练道路破损程度分类模型。具体的，可将开源道路破损检测数据集grddc 2020按照一定比例r1,例如0.8，划分为道路破损检测训练数据集和道路破损检测验证数据集，其中，道路破损检测训练数据集数据的数目应大于道路破损验证数据集数据的数目；将道路破损检测训练数据集输入到如上结构所述的道路破损程度分类模型中进行训练，将道路破损检测训练数据迭代训练m次后，将道路破损检测验证数据输入到迭代训练m次的道路破损检测模型中进行预测，获取预测结果，与标签进行比对，若一致则正确，否则错误，计算准确率；经过反复操作，当损失函数不在下降，准确率不再上升，则停止训练，获取道路破损检测模型。
39.在获取了道路破损程度之后，本方案还可基于道路破损程度进行道路破损管理，具体的道路破损管理手段和方案不做特别限制。
40.实施例二基于相同的构思，参考图5，本技术还提出了一种道路破损检测装置，包括：数据获取单元301，用于获取道路破损案件文本数据，基于所述道路破损案件文本数据调取对应的路面监控视频，并基于所述路面监控视频获取至少一道路破损图像；
文本编码单元302，用于编码所述道路破损案件文本数据得到对应的道路破损文本编码向量；图像编码单元303，用于编码所述道路破损图像得到道路破损图像特征；融合单元304，用于将所述道路破损图像特征和道路破损文本编码向量映射至相同的语义空间后进行融合，得到融合道路破损特征；检测单元305，用于将所述融合道路破损特征输入预训练后的道路破损程度分类模型中进行分类，获取道路破损程度。
41.关于该实施例二中提及的技术特征内容参见实施例一，重复内容在此不进行累赘说明。
42.实施例三本实施例还提供了一种电子装置，参考图6，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项道路破损检测方法实施例中的步骤。
43.具体地，上述处理器402可以包括中央处理器（cpu），或者特定集成电路（applicationspecificintegratedcircuit，简称为asic），或者可以被配置成实施本技术实施例的一个或多个集成电路。
44.其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（harddiskdrive，简称为hdd）、软盘驱动器、固态驱动器（solidstatedrive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universalserialbus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（non-volatile）存储器。在特定实施例中，存储器404包括只读存储器（read-onlymemory，简称为rom）和随机存取存储器（randomaccessmemory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmableread-onlymemory，简称为prom）、可擦除prom（erasableprogrammableread-onlymemory，简称为eprom）、电可擦除prom（electricallyerasableprogrammableread-onlymemory，简称为eeprom）、电可改写rom（electricallyalterableread-onlymemory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（staticrandom-accessmemory，简称为sram）或动态随机存取存储器（dynamicrandomaccessmemory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器404（fastpagemodedynamicrandomaccessmemory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extendeddateoutdynamicrandomaccessmemory，简称为edodram）、同步动态随机存取内存（synchronousdynamicrandom-accessmemory，简称sdram）等。
45.存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
46.处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种道路破损检测方法。
47.可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传
输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
48.传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
49.输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是当前数据表例如道路破损案件、道路破损图像等，输出的信息可以是道路破损程度、道路破损管理方案等。
50.可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：s101、获取道路破损案件文本数据，基于所述道路破损案件文本数据调取对应的路面监控视频，并基于所述路面监控视频获取至少一道路破损图像；s102、编码所述道路破损案件文本数据得到对应的道路破损文本编码向量；s103、编码所述道路破损图像得到道路破损图像特征；s104、将所述道路破损图像特征和道路破损文本编码向量映射至相同的语义空间后进行融合，得到融合道路破损特征；s105、将所述融合道路破损特征输入预训练后的道路破损程度分类模型中进行分类，获取道路破损程度。
51.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
52.通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
53.本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
54.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这
些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
55.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。