用于雨天积水路面的积水智能化检测系统的制作方法

1.本发明涉及道路检测技术领域，具体是用于雨天积水路面的积水智能化检测系统。


背景技术：

2.在道路上，影响安全驾驶的因素有很多，比如路面不平、弯道以及路面有积水，尤其是路面积水路段，会导致发动机积水而熄火，也可能因为少量积水而导致车辆侧滑，引起车辆的失控。
3.现有的自动检测技术中，大都是通过固定式的图像获取设备获取目标图像，然后将所述目标图像与参考图像进行比对，这种方式是可行的，但是在获取到的图像中，往往积水点在图像中的占比很小，从而降低检测精度。


技术实现要素：

4.本发明的目的在于提供用于雨天积水路面的积水智能化检测系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：用于雨天积水路面的积水智能化检测系统，所述系统包括：服务端，用于实时更新天气信息，根据所述天气信息确定积水概率；根据所述积水概率在预设的积水地图中标记积水点，根据所述积水点生成检测路线，并将所述检测路线向采样端发送；接收采样端发送的含有积水点编号的目标图像，根据所述积水点编号读取预设卷积核表中的卷积核；所述卷积核表中的卷积核为不同的积水度图像中的特征，且所述卷积核根据预设的积水度进行排序；根据所述卷积核对所述目标图像进行卷积运算，确定该积水点的积水度；其中，所述积水地图中的积水点含有触发概率；采样端，接收服务端发送的检测路线，根据所述检测路线生成运动指令；实时获取路况信息，根据所述路况信息修正运动指令；当所述采样端运动到积水点时，采集目标图像，并将积水点的编号插入所述目标图像中；将含有积水点编号的目标图像向服务端发送。
6.作为本发明技术方案进一步的限定：所述服务端包括：概率确定模块，用于实时更新天气信息，根据所述天气信息确定积水概率；路线生成模块，用于根据所述积水概率在预设的积水地图中标记积水点，根据所述积水点生成检测路线，并将所述检测路线向采样端发送；卷积核读取模块，用于接收采样端发送的含有积水点编号的目标图像，根据所述积水点编号读取预设卷积核表中的卷积核；所述卷积核表中的卷积核为不同的积水度图像中的特征，且所述卷积核根据预设的积水度进行排序；积水度确定模块，用于根据所述卷积核对所述目标图像进行卷积运算，确定该积水点的积水度；其中，所述积水地图中的积水点含有触发概率。
7.作为本发明技术方案进一步的限定：所述采样端包括：指令生成模块，用于接收服务端发送的检测路线，根据所述检测路线生成运动指令；指令修正模块，用于实时获取路况信息，根据所述路况信息修正运动指令；编号插入模块，用于当所述采样端运动到积水点时，采集目标图像，并将积水点的编号插入所述目标图像中；图像发送模块，用于将含有积水点编号的目标图像向服务端发送。
8.作为本发明技术方案进一步的限定：所述路线生成模块包括：遍历单元，用于遍历积水地图中的积水点，读取积水点的触发概率，并比对所述触发概率与所述积水概率；标记单元，用于当所述积水概率达到所述触发概率时，标记所述积水点；点位确定单元，用于获取始发点位置，计算所述始发点位置与各积水点之间的距离，根据所述距离确定始发点和结束点；第一处理执行单元，用于根据始发点、结束点和各积水点生成检测路线，并将所述检测路线向采样端发送。
9.作为本发明技术方案进一步的限定：所述第一处理执行单元包括：第一计算子单元，用于将所述始发点作为源点，所述结束点作为终点输入迪杰斯特拉算法模型，得到边界距离；第二计算子单元，用于依次将各积水点作为中心点，并将所述中心点作为终点，将所述始发点和所述结束点作为源点输入迪杰斯特拉算法模型，得到待检距离；比对子单元，用于根据所述边界距离和所述待检距离确定检测路线，并将所述检测路线向采样端发送。
10.作为本发明技术方案进一步的限定：所述积水度确定模块包括：特征图生成单元，用于读取所述卷积核，确定步长，根据所述卷积核和所述步长对所述目标图像进行卷积运算，得到特征图；非线性激活单元，用于根据预设的非线性激活函数对所述特征图进行特征分类，得到激活图；池化单元，用于根据预设的池化尺寸对所述激活图像进行池化操作，得到与所述激活图像对应的压缩图；第二处理执行单元，根据所述压缩图像确定积水度。
11.作为本发明技术方案进一步的限定：所述第二处理执行单元的步骤包括：匹配度生成子单元，用于将所述压缩图像输入训练好的数值匹配模型，得到匹配度；卷积核标记子单元，用于将所述匹配度与预设的匹配阈值进行比对，当所述匹配度大于预设的匹配阈值时，标记相应的卷积核；卷积核统计子单元，用于统计标记的卷积核，根据统计的标记信息在所述卷积核表中确定积水度。
12.作为本发明技术方案进一步的限定：所述采样端还包括后端处理模块，所述后端处理模块用于对采集到的所有图像数据和系统中的控制信号、通信数据及输入数据进行集
总以及数据调度；所述后端处理模块包括fpga芯片、arm芯片、存储单元；所述fpga芯片用于对采集到的图像数据进行预处理，依次对实时采集到的每路波段图像数据流进行场景配准和几何畸变校正处理，令所述图像数据可以逐像素点对齐，并且共同输出相同的场景信息。
13.作为本发明技术方案进一步的限定：所述arm芯片用于采用数据流总线调度架构对校正后的图像数据流进行异步隔离，将图像数据流各自的时钟域统一成arm芯片内部的相同时钟域，再利用融合算法将待融合的目标图像放在流水线架构上，依次对图像数据逐帧进行细节层提取及采样，进行融合处理；所述存储单元用于将图像数据逐帧高速地写入其中进行缓存以供其他模块访问，在输出时同样先将数据从存储单元中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线。
14.作为本发明技术方案进一步的限定：所述融合算法采用改进的拉普拉斯金字塔作为分层规则，将待融合的图像数据放在流水线架构上，依次对图像数据逐帧进行细节层提取及采样，改进的拉普拉斯金字塔的分层结构共分为三层，每层的融合策略为将图像数据逐像素点进行绝对值求解比较，选出细节最强的灰度值作为融合结果并按照逆金字塔方式进行插值重建过程，直到从金字塔塔尖层恢复回塔底层时，即完成了整个算法的融合过程；其中，融合算法的融合策略至少包括：可见光融合策略、红外光融合策略、紫外光融合策略、可见光与红外光融合策略、可见光与紫外光融合策略、红外光与紫外光融合策略、可见光与红外光和紫外光的三光融合策略。
15.与现有技术相比，本发明的有益效果是：本发明通过移动式的采样端获取积水点图像，然后通过服务端对积水点图像进行基于卷积神经网络的检测，与传统的固定式检测技术相比，检测全面，检测精度高。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例：图1示出了用于雨天积水路面的积水智能化检测系统中服务端的组成结构框图；图2示出了用于雨天积水路面的积水智能化检测系统中采样端的组成结构框图；图3示出了服务端中路线生成模块的组成结构框图；图4示出了服务端中积水度确定模块的组成结构框图。
具体实施方式
17.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.实施例1本发明实施例中，提供了用于雨天积水路面的积水智能化检测系统，所述系统包括：服务端，用于实时更新天气信息，根据所述天气信息确定积水概率；根据所述积水
概率在预设的积水地图中标记积水点，根据所述积水点生成检测路线，并将所述检测路线向采样端发送；接收采样端发送的含有积水点编号的目标图像，根据所述积水点编号读取预设卷积核表中的卷积核；所述卷积核表中的卷积核为不同的积水度图像中的特征，且所述卷积核根据预设的积水度进行排序；根据所述卷积核对所述目标图像进行卷积运算，确定该积水点的积水度；其中，所述积水地图中的积水点含有触发概率；采样端，接收服务端发送的检测路线，根据所述检测路线生成运动指令；实时获取路况信息，根据所述路况信息修正运动指令；当所述采样端运动到积水点时，采集目标图像，并将积水点的编号插入所述目标图像中；将含有积水点编号的目标图像向服务端发送。
19.本发明技术方案包括两个端口，服务端用于数据分析处理，采样端用于数据采集；采样端可以是硬件，也可以是软件，当所述采样端为硬件时，可以是具备移动功能的检测车，当所述采样端为软件时，可以安装在上述具备移动功能的检测车上；服务端的硬件架构一般是服务器集群。
20.值得一提的是，如果在上述内容中删去路线生成过程，就是应用于采样端为固定图像获取设备时的情况。
21.图1示出了用于雨天积水路面的积水智能化检测系统中服务端的组成结构框图，所述服务端10包括：概率确定模块11，用于实时更新天气信息，根据所述天气信息确定积水概率；路线生成模块12，用于根据所述积水概率在预设的积水地图中标记积水点，根据所述积水点生成检测路线，并将所述检测路线向采样端发送；卷积核读取模块13，用于接收采样端发送的含有积水点编号的目标图像，根据所述积水点编号读取预设卷积核表中的卷积核；所述卷积核表中的卷积核为不同的积水度图像中的特征，且所述卷积核根据预设的积水度进行排序；积水度确定模块14，用于根据所述卷积核对所述目标图像进行卷积运算，确定该积水点的积水度；其中，所述积水地图中的积水点含有触发概率；所述触发概率为积水点的阈值，举例来说，对于一块高地来说，它的触发概率有可能是90%甚至更高，这就代表着，当积水概率达到90%甚至更高时，它才会被标记为积水点，相应的，对于洼地来说，有可能积水概率达到10%甚至更低时，它就会被标记为积水点，其中，上述90%和10%就称为触发概率，它是该积水点被标记的最低积水概率。
22.上述内容对服务端10的功能进行了进一步的细化，其中，积水概率与天气信息有关，而且每个积水点面对不同积水概率的积水可能性是不同的，对于某些地面凹陷，很小的积水概率都有可能形成积水，因此，积水概率与需要检测的点之间是存在一定的映射关系的。
23.当接收到采样端发送的含有积水点编号的目标图像时，基于深度卷积神经网络对所述目标图像进行检测，具体的检测过程实际上是从检测“未积水度”开始，因为不积水的图像特征比积水的图像特征更加容易检测，因此，最先使用的卷积核对应的是没有积水时的特征，然后，读取积水度较低时图像对应的卷积核，最后，读取积水度较高时图像对应的卷积核，依此类推。
24.图2示出了用于雨天积水路面的积水智能化检测系统中采样端的组成结构框图，
所述采样端20包括：指令生成模块21，用于接收服务端发送的检测路线，根据所述检测路线生成运动指令；指令修正模块22，用于实时获取路况信息，根据所述路况信息修正运动指令；编号插入模块23，用于当所述采样端运动到积水点时，采集目标图像，并将积水点的编号插入所述目标图像中；图像发送模块24，用于将含有积水点编号的目标图像向服务端发送。
25.采样端20的功能是接收检测路线，然后根据检测路线生成运动指令；所述运动路线是点与点之间的运动，由运动路线生成运动指令与实际的路况信息也有关，因此，需要实时获取路况信息，根据所述路况信息修正运动指令。
26.图3示出了服务端中路线生成模块的组成结构框图，所述路线生成模块12包括：遍历单元121，用于遍历积水地图中的积水点，读取积水点的触发概率，并比对所述触发概率与所述积水概率；标记单元122，用于当所述积水概率达到所述触发概率时，标记所述积水点；点位确定单元123，用于获取始发点位置，计算所述始发点位置与各积水点之间的距离，根据所述距离确定始发点和结束点；第一处理执行单元124，用于根据始发点、结束点和各积水点生成检测路线，并将所述检测路线向采样端发送。
27.积水概率与天气信息有关，当所述积水概率达到所述触发概率时，标记所述积水点，换而言之，每种天气信息对应着一批积水点，随着天气信息对应的积水概率越来越高，积水点也是越来越多的。根据点确定路线是一种常见的路线规划问题，需要说明的是，在这些积水点中，还需要考虑采样端的位置。
28.进一步的，所述第一处理执行单元124包括：第一计算子单元，用于将所述始发点作为源点，所述结束点作为终点输入迪杰斯特拉算法模型，得到边界距离；第二计算子单元，用于依次将各积水点作为中心点，并将所述中心点作为终点，将所述始发点和所述结束点作为源点输入迪杰斯特拉算法模型，得到待检距离；比对子单元，用于根据所述边界距离和所述待检距离确定检测路线，并将所述检测路线向采样端发送。
29.上述内容提供了一种具体的检测路线确定过程，需要借助的是迪杰斯特拉算法模型，迪杰斯特拉算法是从一个顶点到其余各顶点的最短路径算法，解决的是有权图中最短路径问题。迪杰斯特拉算法主要特点是从起始点开始，采用贪心算法的策略，每次遍历到始点距离最近且未访问过的顶点的邻接节点，直到扩展到终点为止。上述内容与众不同的地方在于第二计算子单元，通过中心点将路径分为两段，依次确定路径距离，然后选出一些合适的检测路线，所述合适的标准就是该路线应该小于某个极限值。
30.图4示出了服务端中积水度确定模块的组成结构框图，所述积水度确定模块14包括：特征图生成单元141，用于读取所述卷积核，确定步长，根据所述卷积核和所述步长对所述目标图像进行卷积运算，得到特征图；
非线性激活单元142，用于根据预设的非线性激活函数对所述特征图进行特征分类，得到激活图；池化单元143，用于根据预设的池化尺寸对所述激活图像进行池化操作，得到与所述激活图像对应的压缩图；第二处理执行单元144，根据所述压缩图像确定积水度。
31.卷积核代表着某些小的特征区域，一般是3*3或者5*5的大小，步长就是在进行卷积运算时，所述特征区域的移动步长，一般情况下都是1，代表着每次检测就往右平移一个像素；经过卷积运算后，得到卷积层，也就是上述特征图；卷积层对原图运算多个卷积产生一组线性激活响应，而非线性激活层是对之前的结果进行一个非线性的激活响应。最多的非线性激活函数是relu函数，它的公式定义为：f(x)=max(0,x)，即，保留大于等于0的值，其余所有小于0的数值直接改写为0；这一过程并不困难。
32.经过非线性激活之后，尽管数据量比原图少了很多，但还是过于庞大（比较深度学习动不动就几十万张训练图片），因此接下来的池化操作就可以发挥作用了，它最大的目标就是减少数据量。池化分为两种，max pooling最大池化、average pooling平均池化。顾名思义，最大池化就是取最大值，平均池化就是取平均值。一般情况下，采用的是最大池化，因为最大池化保留了每一个小块内的最大值，所以它相当于保留了这一块最佳匹配结果（因为值越接近1表示匹配越好）。这也就意味着它不会具体关注窗口内到底是哪一个地方匹配了，而只关注是不是有某个地方匹配上了。
33.进一步的，所述第二处理执行单元144的步骤包括：匹配度生成子单元，用于将所述压缩图像输入训练好的数值匹配模型，得到匹配度；卷积核标记子单元，用于将所述匹配度与预设的匹配阈值进行比对，当所述匹配度大于预设的匹配阈值时，标记相应的卷积核；卷积核统计子单元，用于统计标记的卷积核，根据统计的标记信息在所述卷积核表中确定积水度。
34.根据所述压缩图像确定积水度的过程就是简单的比对过程，如果匹配度达到了某个阈值，读取相应的卷积核，并且根据所述卷积核确定其对应的未积水度，也就变相的确定的积水度。
35.实施例2与实施例1不同的是，在本发明实施例中，所述采样端还包括后端处理模块，所述后端处理模块用于对采集到的所有图像数据和系统中的控制信号、通信数据及输入数据进行集总以及数据调度；所述后端处理模块包括fpga芯片、arm芯片、存储单元；所述fpga芯片用于对采集到的图像数据进行预处理，依次对实时采集到的每路波段图像数据流进行场景配准和几何畸变校正处理，令所述图像数据可以逐像素点对齐，并且共同输出相同的场景信息。
36.进一步的，所述arm芯片用于采用数据流总线调度架构对校正后的图像数据流进行异步隔离，将图像数据流各自的时钟域统一成arm芯片内部的相同时钟域，再利用融合算法将待融合的目标图像放在流水线架构上，依次对图像数据逐帧进行细节层提取及采样，
进行融合处理；所述存储单元用于将图像数据逐帧高速地写入其中进行缓存以供其他模块访问，在输出时同样先将数据从存储单元中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线。
37.此外，具体地，利用存储单元内的ddr存储芯片的内存颗粒将图像数据逐帧高速地写入其中进行缓存以供其他模块访问，在输出时同样先将数据从ddr存储芯片中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线，再利用融合算法进行图像数据的融合。
38.具体的，所述融合算法采用改进的拉普拉斯金字塔作为分层规则，将待融合的图像数据放在流水线架构上，依次对图像数据逐帧进行细节层提取及采样，改进的拉普拉斯金字塔的分层结构共分为三层，每层的融合策略为将图像数据逐像素点进行绝对值求解比较，选出细节最强的灰度值作为融合结果并按照逆金字塔方式进行插值重建过程，直到从金字塔塔尖层恢复回塔底层时，即完成了整个算法的融合过程；其中，融合算法的融合策略至少包括：可见光融合策略、红外光融合策略、紫外光融合策略、可见光与红外光融合策略、可见光与紫外光融合策略、红外光与紫外光融合策略、可见光与红外光和紫外光的三光融合策略。
39.所述用于雨天积水路面的积水智能化检测系统所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述用于雨天积水路面的积水智能化检测系统的功能。
40.处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（read-only memory，rom），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
41.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
42.本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
43.所称处理器可以是中央处理单元（central processing unit，cpu），还可以是其他通用处理器、数字信号处理器 （digital signal processor，dsp）、专用集成电路 （application specific integrated circuit，asic）、现成可编程门阵列 （field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
44.上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备
的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card， smc），安全数字（secure digital， sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
45.终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。
46.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
47.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。