一种河道漂浮物智能检测方法及系统与流程

技术特征：
1.一种河道漂浮物智能检测方法，其特征在于包括如下步骤：s1，提取河道视频影像数据并进行数据预处理；s2，建立河道漂浮物数据集，对河道图像数据中的河道漂浮物进行位置标记，生成对应的真实标签，构建样本数据集；s3，构建脉冲神经网络模型；s4，对预处理后的河道漂浮物数据集进行训练，并将训练好的等效卷积神经网络模型转换为脉冲神经网络检测模型，包括如下步骤：s41，通过样本数据集进行等效卷积神经网络模型训练，对真实标签进行预测，得到训练好的等效卷积神经网络模型；s42，将训练好的等效卷积神经网络模型转换为脉冲神经网络模型，等效卷积神经网络模型的卷积层转换为卷积操作的突触连接，池化层转换为池化操作的突触连接，全连接层转换为全连接操作的突触连接，不同突触之间采用神经元对脉冲进行整合，将等效卷积神经网络模型的偏置转换为脉冲电流的形式注入对应的神经元；s5，实时获取河道视频测试数据，输入转换后的脉冲神经网络模型，对河道漂浮物进行实时智能检测。2.根据权利要求1所述的一种河道漂浮物智能检测方法，其特征在于所述s1中，采集河道视频流数据，并将视频流按一定时间间隔进行帧图像抽取，获得连续的多帧河道图像数据。3.根据权利要求1所述的一种河道漂浮物智能检测方法，其特征在于所述s2中，对数据集进行数据扩充，包括随机翻转、色彩增强。4.根据权利要求1所述的一种河道漂浮物智能检测方法，其特征在于所述s41中的等效卷积神经网络模型训练，是将样本数据集输入等效卷积神经网络模型，经计算输出预测标签，并将输出的预测标签与数据集中的真实标签进行损失计算，将求出的损失值反向传播到等效卷积神经网络模型中，更新等效卷积神经网络模型的权重，直到模型拟合，得到训练好的等效卷积神经网络模型。5.根据权利要求1所述的一种河道漂浮物智能检测方法，其特征在于所述脉冲神经网络模型，将多帧连续图像通过编码，转换为脉冲的形式进行输入，提取多个尺度的漂浮物特征信息及语义信息，并对特征信息进行融合，输出一组不同尺度层级特征图，在回归输出对应的漂浮物提取结果。6.根据权利要求1所述的一种河道漂浮物智能检测方法，其特征在于所述s5中，对实时获取的河道视频数据进行s1操作，并在时间维度上以滑动窗口的形式每次提取一组多帧图像输入到脉冲神经网络模型进行预测，得到视频每一帧图像中漂浮物提取结果。7.根据权利要求5所述的一种河道漂浮物智能检测方法，其特征在于所述s5中的漂浮物提取结果，包括漂浮物具体位置坐标、大小及漂浮物数量。8.一种河道漂浮物智能检测系统，包括数据采集模块、数据处理模块、模型构建模块、模型转换模块和实时检测模块，模型转换模块包括等效卷积神经网络模型和转换模块，其特征在于：所述数据采集模块，提取河道视频影像数据并进行数据预处理；所述数据处理模块，建立河道漂浮物数据集，对河道图像数据中的河道漂浮物进行位
置标记，生成对应的真实标签，构建样本数据集；所述模型构建模块，用于构建脉冲神经网络模型，对真实标签进行预测，得到训练好的等效卷积神经网络模型；所述等效卷积神经网络模型，通过样本数据集，对真实标签进行预测，得到训练好的等效卷积神经网络模型；所述转换模块，将训练好的等效卷积神经网络模型转换为脉冲神经网络模型，等效卷积神经网络模型的卷积层转换为卷积操作的突触连接，池化层转换为池化操作的突触连接，全连接层转换为全连接操作的突触连接，不同突触之间采用神经元对脉冲进行整合，将等效卷积神经网络模型的偏置转换为脉冲电流的形式注入对应的神经元；所述实时检测模块，实时获取河道视频测试数据，输入转换后的脉冲神经网络模型，对河道漂浮物进行实时智能检测。9.根据权利要求8所述的一种河道漂浮物智能检测系统，其特征在于所述数据采集模块，采集河道视频流数据，并将视频流按一定时间间隔进行帧图像抽取，获得连续的多帧河道图像数据。10.根据权利要求8所述的一种河道漂浮物智能检测系统，其特征在于所述脉冲神经网络模型，包括脉冲编码模块、输入模块、特征提取模块、多尺度特征融合模块和回归输出模块；所述脉冲编码模块，将多帧连续图像通过编码，转换为脉冲的形式；所述输入模块，将编码后的脉冲信息输入到特征提取单元；所述特征提取模块，用于提取多个尺度的漂浮物特征信息及语义信息；所述多尺度特征融合模块，输出一组不同尺度层级特征图；所述回归输出单元，用于输出对应的漂浮物提取结果。

技术总结
本发明公开了一种河道漂浮物智能检测方法及系统，提取河道视频影像数据并进行数据预处理；建立河道漂浮物数据集；构建脉冲神经网络模型；对预处理后的河道漂浮物数据集进行训练，并将训练好的等效卷积神经网络模型转换为脉冲神经网络检测模型；实时获取河道视频测试数据，输入训练好的脉冲神经网络模型对河道漂浮物进行实时智能检测。适用于各种河道场景的实时漂浮物检测。利用脉冲神经网络的方法对河道漂浮物进行识别，可以提供快速且轻量级的深度神经网络预测模式，可应用于在嵌入式设备、移动设备以及廉价计算环境中，易嵌入无人机、城市监控等系统，检测速度快，精度高，时效性强，易用于实践中。易用于实践中。易用于实践中。


技术研发人员：吕宝媛 何旗凯 马德 岳克强
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.12.27
技术公布日：2022/3/25