一种河道漂浮物智能检测方法及系统与流程

1.本发明涉及图像分析领域，尤其是涉及一种河道漂浮物智能检测方法及系统。


背景技术：

2.河道环境治理是城市环境整治的重要一环，通过人力对河道监控进行观察或实地监测的方式，调查河道漂浮物的数量、来源、分布，效率低下，且经常由于清污时间选择不当造成通水不畅，清污质量低等问题。如何利用城市监控系统以及无人机等移动设备对河道漂浮物进行智能监测，实时提供河道漂浮物的直观信息以及河道漂浮物的分布状况，有利于河流治理人员根据提供的数据分析做出快速响应。提高河道治理效率，具有很大的经济价值和现实意义。
3.过去几年中，许多方法应用于河道漂浮物的检测，随着机器视觉、深度学习领域的快速发展，河道漂浮物检测的智能检测精度得到了大大的提高，然而，基于卷积神经网络的深度网络通常需要配置高性能的gpu处理器的电脑才能运行，难以嵌入到廉价的移动设备中。


技术实现要素：

4.为解决现有技术的不足，实现河道漂浮物检测神经网络参数减少、能耗降低、提升效率的目的，本发明采用如下的技术方案：一种河道漂浮物智能检测方法，包括如下步骤：s1，提取河道视频影像数据并进行数据预处理；s2，建立河道漂浮物数据集，利用标注软件对河道图像数据中的河道漂浮物进行位置标记，生成对应的真实标签，构建样本数据集；s3，构建脉冲神经网络模型；s4，对预处理后的河道漂浮物数据集进行训练，并将训练好的等效卷积神经网络模型转换为脉冲神经网络检测模型，包括如下步骤：s41，通过样本数据集进行等效卷积神经网络模型训练，对真实标签进行预测，得到训练好的等效卷积神经网络模型；s42，将训练好的等效卷积神经网络模型转换为脉冲神经网络模型，等效卷积神经网络模型的卷积层转换为类似卷积操作的突触连接，池化层转换为池化操作的突触连接，全连接层转换为全连接操作的突触连接，不同突触之间采用if神经元对脉冲进行整合，将等效卷积神经网络模型的偏置转换为脉冲电流的形式注入对应的神经元；s5，实时获取河道视频测试数据，输入转换后的脉冲神经网络模型，对河道漂浮物进行实时智能检测。
5.进一步地，s1中采集河道视频流数据，并将视频流按一定时间间隔进行帧图像抽取，获得连续的多帧河道图像数据。
6.进一步地，s2中利用图像处理技术，对数据集进行数据扩充，包括随机翻转、色彩
增强，增加样本数量。
7.进一步地，s41中的等效卷积神经网络模型训练，是将样本数据集输入等效卷积神经网络模型，经计算输出预测标签，并将输出的预测标签与数据集中的真实标签进行损失计算，将求出的损失值反向传播到等效卷积神经网络模型中，更新等效卷积神经网络模型的权重，直到模型拟合，得到训练好的等效卷积神经网络模型。
8.进一步地，脉冲神经网络模型将多帧连续图像通过一定的编码方式，转换为脉冲的形式进行输入，以更好的结合时空信息，增强脉冲神经网络处理时空信息数据的能力，提取多个尺度的漂浮物特征信息及语义信息，并对特征信息进行融合，输出一组不同尺度层级特征图，使输出特征既有较高的精度，又有丰富的语义信息，提高对漂浮物的检测精度，在回归输出对应的漂浮物提取结果。
9.进一步地，s5中对实时获取的河道视频数据进行s1操作，并在时间维度上以滑动窗口的形式每次提取一组多帧图像输入到脉冲神经网络模型进行预测，得到视频每一帧图像中漂浮物提取结果。
10.进一步地，s5中的漂浮物提取结果，包括漂浮物具体位置坐标、大小及漂浮物数量。
11.一种河道漂浮物智能检测系统，包括数据采集模块、数据处理模块、模型构建模块、模型转换模块和实时检测模块，模型转换模块包括等效卷积神经网络模型和转换模块；数据采集模块，提取河道视频影像数据并进行数据预处理；数据处理模块，建立河道漂浮物数据集，利用标注软件对河道图像数据中的河道漂浮物进行位置标记，生成对应的真实标签，构建样本数据集；模型构建模块，用于构建脉冲神经网络模型，对真实标签进行预测，得到训练好的等效卷积神经网络模型；等效卷积神经网络模型，通过样本数据集，对真实标签进行预测，得到训练好的等效卷积神经网络模型；转换模块，将训练好的等效卷积神经网络模型转换为脉冲神经网络模型，等效卷积神经网络模型的卷积层转换为类似卷积操作的突触连接，池化层转换为池化操作的突触连接，全连接层转换为全连接操作的突触连接，不同突触之间采用if神经元对脉冲进行整合，将等效卷积神经网络模型的偏置转换为脉冲电流的形式注入对应的神经元；实时检测模块，实时获取河道视频测试数据，输入转换后的脉冲神经网络模型，对河道漂浮物进行实时智能检测。
12.进一步地，数据采集模块采集河道视频流数据，并将视频流按一定时间间隔进行帧图像抽取，获得连续的多帧河道图像数据。
13.进一步地，脉冲神经网络模型包括脉冲编码模块、输入模块、特征提取模块、多尺度特征融合模块和回归输出模块；脉冲编码模块，将多帧连续图像通过一定的编码方式，转换为脉冲的形式，以更好的结合时空信息，增强脉冲神经网络处理时空信息数据的能力；输入模块，将编码后的脉冲信息输入到特征提取单元；特征提取模块，用于提取多个尺度的漂浮物特征信息及语义信息；多尺度特征融合模块，输出一组不同尺度层级特征图，使输出特征既有较高的精
度，又有丰富的语义信息，提高对漂浮物的检测精度；回归输出单元，用于输出对应的漂浮物提取结果。包括漂浮物大小、数量以及具体位置坐标。
14.本发明的优势和有益效果在于：本发明提高了对河道漂浮物的实时智能检测能力，能够快速且精确地监测河道中漂浮物的大小、数量及具体位置，从而定量评估河道漂浮物堆积情况，为城市河道清污工作提供可靠的技术数据支撑，使用脉冲神经网络快速且轻量级的深度神经网络预测模式，可排除光照条件、气候变化等外界因素对检测的影响，易用于嵌入式设备、移动设备以及廉价计算环境中，可用于无人机以及城市监控等系统中，具有应用范围广泛，检测速度快，精度高，时效性强，适用性广等优势，适用于各种河道场景的实时漂浮物检测，易用于实践中有广阔的应用价值。
附图说明
15.图1是本发明具体实施方式的方法流程图。
16.图2是本发明具体实施方式的系统结构示意图。
17.图3是本发明具体实施方式的神经网络模型训练流程示意图。
18.图4是本发明具体实施方式的是模型测试流程示意图。
19.图5是本发明具体实施方式的是模型单元示意图。
具体实施方式
20.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
21.本发明是一种河道漂浮物智能检测方法及系统及应用技术，如图1所示，包括如下步骤：数据提取步骤，提取河道视频影像数据并进行数据预处理；样本构建步骤，建立河道漂浮物数据集；模型构建步骤，构建脉冲神经网络模型；模型转换步骤，对预处理后的河道漂浮物数据集进行训练，并将训练好的等效卷积神经网络模型转换为脉冲神经网络检测模型；实时检测步骤，实时获取河道视频测试数据，输入训练好的脉冲神经网络模型对河道漂浮物进行实时智能检测。
22.系统结构如图2所示，包括：数据采集模块，提取河道视频影像数据并进行数据预处理；数据处理模块，建立河道漂浮物数据集；模型构建模块，构建脉冲神经网络模型；模型转换模块，将训练好的等效卷积神经网络模型转换为脉冲神经网络检测模型，得到漂浮物检测脉冲网络模型；实时检测模块，实时获取河道视频测试数据，输入训练好的脉冲神经网络模型对河道漂浮物进行实时智能检测。
23.如图3所示，神经网络模型训练流程示意图；步骤一：对视频流按一定时间间隔进行帧图像抽取，获得连续的多帧河道图像数据。
24.步骤二：利用标注软件对数据提取步骤所述的河道图像数据中的河道漂浮物进行位置标记，生成对应的标签文件，标签文件中包括漂浮物的类别以及标注框四个点的坐标信息（x1,x2,y1,y2），利用图像处理技术，对数据集进行随机翻转、色彩增强等方式进行数据扩充，增加样本数量，制作样本数据集。
25.步骤三：构建河道漂浮物检测脉冲网络模型，如图4所示，具体包括：脉冲编码模块、输入模块、特征提取模块、多尺度特征融合模块、回归输出模块。
26.（a）脉冲编码模块，具体为将三帧时间连续图像通过一定的编码方式，转换为脉冲的形式；（b）输入模块，具体为将编码后的脉冲输入到脉冲网络模型中。
27.（c）特征提取模块，具体为对输入数据进行多个尺度的特征提取及语义信息提取。
28.（d）多尺度特征融合模块，具体为融合三个不同尺度层级输出特征图，使输出特征既有较高的精度，又有丰富的语义信息，提高对漂浮物的检测精度。
29.（e）回归输出模块，具体为对漂浮物信息进行位置边框预测、分类并输出对应的漂浮物大小、数量以及具体位置坐标。
30.训练等效卷积神经网络模型，用构建好的样本数据及进行模型训练，可选方法为：将数据扩充后的图像数据以时间顺序进行连续多帧编组，输入网络进行训练，输入图像经过等效卷积神经网络计算输出预测标签，并将输出标签与数据集中的真实标签进行损失计算，并将求出的损失值反向传播到等效卷积神经网络中，更新等效卷积神经网络权重，直到模型拟合，得到最优等效卷积神经网络模型。
31.步骤四：将最优等效模型转换为步骤三构建好的河道漂浮物检测脉冲网络模型，具体为卷积层转换为类似卷积操作的突触连接，池化层转换为池化操作的突触连接，全连接层转换为全连接操作的突触连接，不同突触之间采用if神经元对脉冲进行整合。将等效卷积神经网络的偏置转换为脉冲电流的形式注入对应的神经元。
32.如图5所示，模型测试流程如下：步骤一：实时获取的待检测河道视频数据流；步骤二：将河道视频数据流按一定时间间隔进行帧图像抽取，获得连续的多帧河道图像数据；步骤二：对步骤一的河道图像在时间维度上以滑动窗口的形式每次提取一组多帧图像输入到脉冲神经网络模型进行预测；步骤三：河道漂浮物检测脉冲网络模型输出待检测河道视频每一帧图像中漂浮物提取结果，包括漂浮物的大小、数量以及位置信息，位置信息具体为漂浮物检测框所在影像的位置坐标（x1,x2,y1,y2）。
33.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。