一种基于深度相机的水面漂浮物监测方法及系统与流程

摘要: 本发明涉及计算机视觉,特别涉及一种基于深度相机的水面漂浮物监测方法及系统。背景技术:1、水库、河道及湖泊等水域容易聚集枯枝、塑料制品、藻类及生活垃圾等水面漂浮物...
一种基于深度相机的水面漂浮物监测方法及系统与流程

本发明涉及计算机视觉,特别涉及一种基于深度相机的水面漂浮物监测方法及系统。

背景技术:

1、水库、河道及湖泊等水域容易聚集枯枝、塑料制品、藻类及生活垃圾等水面漂浮物。漂浮物长期聚集不仅影响水域环境,还可能堵塞进排水设施,因此需要及时对水面漂浮物进行监测,以掌握漂浮物的位置、数量及覆盖范围。现有水面漂浮物监测方式通常通过摄像装置采集水面图像,并根据图像中的颜色、纹理及轮廓等二维特征识别漂浮物。然而,水面反光、波纹、倒影、雾气及光照变化容易干扰漂浮物特征,特别是在多个漂浮物相互接触、粘连或者局部重叠时,难以准确确定各漂浮物之间的边界,容易出现误检、漏检或者将多个漂浮物识别为同一目标的情况。

2、同时,现有技术通常根据漂浮物在图像中的检测区域或者像素数量估算漂浮物面积,但不同位置的漂浮物与摄像装置之间的距离不同,且受到拍摄角度、透视变形和水面波动等因素影响,图像中的像素面积难以直接反映漂浮物的实际面积。因此,现有技术难以兼顾漂浮物识别、粘连目标区分及实际面积计算的准确性。

技术实现思路

1、针对现有技术难以在复杂水面环境下准确区分粘连漂浮物以及漂浮物面积计算误差较大的问题,本技术同步获取监测水域的图像数据和深度数据,利用图像数据识别并确定漂浮物候选区域,再将所述漂浮物候选区域映射至对应的深度数据中,根据候选区域内像素点与基准水面之间的深度差异提取漂浮物有效像素,并结合有效像素之间的空间连通关系和深度梯度变化,将二维图像中相互粘连或局部重叠的漂浮物划分为独立漂浮物目标。在此基础上,根据各独立漂浮物目标的深度信息确定像素物理面积参数,计算各独立漂浮物目标的实际面积及监测水域内的漂浮物总面积,从而提高漂浮物识别、目标区分及面积计算的准确性,本发明的目的可通过下列技术方案实现:

2、本技术提供了一种基于深度相机的水面漂浮物监测方法,步骤包括,

3、步骤s1:基于深度相机同步采集监测水域对应的可见光图像、红外图像以及深度图像,对可见光图像和红外图像进行图像配准及融合处理,得到融合图像;

4、步骤s2:将融合图像输入至漂浮物目标检测模型进行目标检测,得到至少一个漂浮物候选区域;

5、步骤s3:利用预先建立的融合图像与深度图像之间的像素位置对应关系,在深度图像中确定与各漂浮物候选区域对应的目标深度区域;

6、步骤s4:获取目标深度区域内各像素位置的像素深度,计算像素深度与相应像素位置的基准水面深度的深度偏差,当深度偏差达到预设深度偏差阈值的像素确定为漂浮物有效像素;

7、步骤s5:按照漂浮物有效像素之间的空间连通关系形成候选像素簇,计算候选像素簇内相邻漂浮物有效像素之间的深度差异,利用深度差异形成的深度突变边界对候选像素簇进行分割,得到至少一个独立目标像素簇;

8、步骤s6:确定各独立目标像素簇对应的有效像素数量及目标深度,利用目标深度对预先标定的像素物理面积参数进行校正,按照校正后的像素物理面积参数与有效像素数量,分别计算各水面漂浮物的实际面积及监测水域内的漂浮物总面积;

9、步骤s7:按照各独立目标像素簇在监测水域中的位置,将对应的水面漂浮物分配至预先划分的水域网格,统计各水域网格内的漂浮物数量及漂浮物累计面积,并结合漂浮物总面积,得到监测水域的漂浮物分布状态;其中,漂浮物分布状态包括各水域网格的漂浮物数量、漂浮物累计面积、漂浮物分布密度及漂浮物分布占比。

10、优选地,步骤s1包括,

11、按照预设采样频率同步获取可见光图像、红外图像以及深度图像,对可见光图像和红外图像分别进行双边滤波、灰度映射及自适应直方图均衡化处理,得到可见光预处理图像和红外预处理图像;

12、提取可见光预处理图像和红外预处理图像中的图像特征点,利用相匹配的图像特征点确定红外预处理图像与可见光预处理图像之间的空间变换参数,并按照空间变换参数对红外预处理图像进行坐标变换,得到与可见光预处理图像像素位置对齐的配准红外图像;

13、将可见光预处理图像和配准红外图像分别输入双流特征提取网络,通过各特征提取分支的多个编码层提取不同特征层级的可见光图像特征和红外图像特征,并将同一特征层级的可见光图像特征和红外图像特征输入跨模态坐标注意力融合模块,以按照通道维度和坐标维度对应的注意力权重进行特征融合,得到多个特征层级的跨模态融合特征;

14、将多个特征层级的跨模态融合特征输入具有跳跃连接的解码网络,按照由高层特征至低层特征的顺序进行逐级解码和图像重建,得到融合图像。

15、优选地,步骤s2包括,

16、将融合图像输入至基于yolov8改进的漂浮物目标检测模型,漂浮物目标检测模型包括依次连接的主干特征提取网络、分支金字塔特征融合网络、注意力增强网络及检测头;

17、通过主干特征提取网络对融合图像进行逐层特征提取,得到多个尺度的漂浮物特征,主干特征提取网络包括频域特征增强模块及改进c2f模块,频域特征增强模块用于提取融合图像中的边缘特征和全局频域特征,改进c2f模块包括动态激活模块和动态门控激活单元,用于提取水面漂浮物的局部特征;

18、通过分支金字塔特征融合网络的双向特征传递路径,对多个尺度的漂浮物特征进行传递,并利用可学习融合权重对不同尺度的漂浮物特征进行加权融合,得到多个尺度的融合特征;

19、将多个尺度的融合特征输入注意力增强网络,利用坐标注意力模块对融合特征的空间位置及特征通道进行加权,并通过动态稀疏注意力模块筛选与水面漂浮物相关的目标特征区域,得到目标增强特征;

20、将目标增强特征输入检测头,得到水面漂浮物对应的候选检测框、目标类别及检测置信度,并对候选检测框进行非极大值抑制处理,得到至少一个漂浮物候选区域。

21、优选地,步骤s3包括,

22、获取各漂浮物候选区域在融合图像中的区域位置信息,区域位置信息包括候选区域边界及候选区域边界对应的融合图像像素坐标;

23、根据预先建立的融合图像与深度图像之间的像素位置对应关系,将融合图像像素坐标映射至深度图像的图像坐标系,得到各漂浮物候选区域对应的深度图像像素坐标;

24、根据各深度图像像素坐标生成对应的深度区域掩膜,并利用深度区域掩膜从深度图像中提取对应的图像区域,将提取的图像区域确定为目标深度区域。

25、优选地,步骤s4包括,

26、在监测水域处于无漂浮物状态时,获取深度相机连续采集的多帧基准深度图像,对多帧基准深度图像中相同像素位置的深度值进行统计处理,确定各像素位置对应的基准水面深度;

27、获取目标深度区域内任一像素位置对应的像素深度,计算与基准水面深度的深度偏差,并判断是否达到预设深度偏差阈值;

28、当深度偏差,像素位置对应的像素为漂浮物有效像素;否则将像素位置对应的像素确定为水面背景像素;

29、遍历目标深度区域内的各像素位置,得到目标深度区域对应的漂浮物有效像素。

30、优选地,步骤s5包括,

31、按照预设邻域关系遍历各漂浮物有效像素,将空间位置相邻的漂浮物有效像素建立连接,并将相互连通的漂浮物有效像素确定为同一候选像素簇;

32、获取任一候选像素簇内相邻两个漂浮物有效像素对应的像素深度和,计算相邻两个漂浮物有效像素之间的深度差异,;

33、判断深度差异是否达到预设深度突变阈值;

34、当,将相邻两个漂浮物有效像素之间的连接标记为深度突变连接;

35、当,保持相邻两个漂浮物有效像素之间的连接,并将相邻两个漂浮物有效像素划分至同一深度连续区域;

36、遍历各候选像素簇内相邻的漂浮物有效像素,根据各深度突变连接对应的像素位置形成深度突变边界,断开深度突变边界两侧的漂浮物有效像素之间的连接,并对断开连接后的漂浮物有效像素进行连通区域标记,将各连通区域分别确定为独立目标像素簇,得到至少一个独立目标像素簇。

37、优选地,步骤s6包括,

38、获取各独立目标像素簇中各漂浮物有效像素对应的像素位置及像素深度,采用ransac算法对像素深度进行拟合,剔除不满足拟合结果的离群像素;

39、对剔除离群像素后的独立目标像素簇进行主成分分析,确定独立目标像素簇的目标轮廓,并统计目标轮廓内的漂浮物有效像素,得到独立目标像素簇对应的有效像素数量;

40、计算独立目标像素簇内各漂浮物有效像素对应的像素深度的平均值,得到独立目标像素簇对应的目标深度,根据预先建立的深度距离与深度校正系数之间的对应关系,确定目标深度对应的深度校正系数;

41、利用深度校正系数对预先标定的基准像素物理面积进行校正,并计算第个独立目标像素簇对应的水面漂浮物的实际面积,;其中,为第个独立目标像素簇对应的有效像素数量,为基准深度下单个像素对应的物理面积,为根据目标深度确定的深度校正系数;

42、对各水面漂浮物的实际面积进行累加,计算监测水域内的漂浮物总面积。

43、优选地,步骤s7包括,

44、按照预设网格尺寸将监测水域划分为多个水域网格,为各水域网格配置网格标识,并建立监测水域中的位置与各网格标识之间的对应关系;

45、确定各独立目标像素簇对应的中心位置,根据中心位置及对应关系,确定各独立目标像素簇所属的水域网格,并将各独立目标像素簇对应的水面漂浮物及实际面积与所属水域网格关联;

46、针对任一水域网格,统计与水域网格关联的独立目标像素簇的数量,得到水域网格对应的漂浮物数量,并对与水域网格关联的各水面漂浮物的实际面积进行累加,得到水域网格对应的漂浮物累计面积;

47、获取水域网格对应的水域面积,计算水域网格对应的漂浮物分布密度,,以及漂浮物分布占比,;其中,为监测水域内的漂浮物总面积;

48、遍历各水域网格,根据各水域网格对应的漂浮物数量、漂浮物累计面积、漂浮物分布密度及漂浮物分布占比,得到监测水域的漂浮物分布状态。

49、基于相同的发明构思,本技术还提供了一种基于深度相机的水面漂浮物监测系统,采用如上述的基于深度相机的水面漂浮物监测方法,包括,

50、图像检测模块,用于基于深度相机同步采集监测水域对应的可见光图像、红外图像以及深度图像,对可见光图像和红外图像进行图像配准及融合处理,得到融合图像;将融合图像输入至漂浮物目标检测模型进行目标检测,得到至少一个漂浮物候选区域;

51、深度筛选模块,用于利用预先建立的融合图像与深度图像之间的像素位置对应关系,在深度图像中确定与各漂浮物候选区域对应的目标深度区域,获取目标深度区域内各像素位置的像素深度,计算像素深度与相应像素位置的基准水面深度的深度偏差,当深度偏差达到预设深度偏差阈值的像素确定为漂浮物有效像素;

52、分割计算模块,用于按照漂浮物有效像素之间的空间连通关系形成候选像素簇,计算候选像素簇内相邻漂浮物有效像素之间的深度差异,利用深度差异形成的深度突变边界对候选像素簇进行分割,得到至少一个独立目标像素簇;确定各独立目标像素簇对应的有效像素数量及目标深度,利用目标深度对预先标定的像素物理面积参数进行校正,按照校正后的像素物理面积参数与有效像素数量,分别计算各水面漂浮物的实际面积及监测水域内的漂浮物总面积;

53、分布分析模块,用于按照各独立目标像素簇在监测水域中的位置,将对应的水面漂浮物分配至预先划分的水域网格,统计各水域网格内的漂浮物数量及漂浮物累计面积,并结合漂浮物总面积,得到监测水域的漂浮物分布状态;其中,漂浮物分布状态包括各水域网格的漂浮物数量、漂浮物累计面积、漂浮物分布密度及漂浮物分布占比。

54、优选地,分割计算模块包括,

55、像素聚类单元,用于按照预设邻域关系遍历各漂浮物有效像素,将空间位置相邻的漂浮物有效像素建立连接,并将相互连通的漂浮物有效像素确定为同一候选像素簇;

56、深度分割单元,用于获取任一候选像素簇内相邻两个漂浮物有效像素对应的像素深度和,计算相邻两个漂浮物有效像素之间的深度差异,;判断深度差异是否达到预设深度突变阈值;当,将相邻两个漂浮物有效像素之间的连接标记为深度突变连接;当,保持相邻两个漂浮物有效像素之间的连接,并将相邻两个漂浮物有效像素划分至同一深度连续区域;遍历各候选像素簇内相邻的漂浮物有效像素,根据各深度突变连接对应的像素位置形成深度突变边界,断开深度突变边界两侧的漂浮物有效像素之间的连接,并对断开连接后的漂浮物有效像素进行连通区域标记,将各连通区域分别确定为独立目标像素簇,得到至少一个独立目标像素簇。

57、面积计算单元,用于获取各独立目标像素簇中各漂浮物有效像素对应的像素位置及像素深度,采用ransac算法对像素深度进行拟合,剔除不满足拟合结果的离群像素;对剔除离群像素后的独立目标像素簇进行主成分分析,确定独立目标像素簇的目标轮廓,并统计目标轮廓内的漂浮物有效像素,得到独立目标像素簇对应的有效像素数量;计算独立目标像素簇内各漂浮物有效像素对应的像素深度的平均值,得到独立目标像素簇对应的目标深度,根据预先建立的深度距离与深度校正系数之间的对应关系,确定目标深度对应的深度校正系数;利用深度校正系数对预先标定的基准像素物理面积进行校正,并计算第个独立目标像素簇对应的水面漂浮物的实际面积,;其中,为第个独立目标像素簇对应的有效像素数量,为基准深度下单个像素对应的物理面积,为根据目标深度确定的深度校正系数;对各水面漂浮物的实际面积进行累加,计算监测水域内的漂浮物总面积。

58、与现有技术相比,本发明存在以下至少一种技术效果:

59、本技术通过将深度相机的三维深度感知技术、可见光与红外图像融合技术以及改进的漂浮物目标检测模型相结合,在复杂光照、水面反光、风浪及低能见度等环境下,提高水面漂浮物候选区域的检测准确性和稳定性;同时,根据漂浮物有效像素之间的空间连通关系及相邻像素之间的深度差异形成深度突变边界,能够对二维图像中相互重叠、粘连的漂浮物进行分割,得到相互独立的目标像素簇,提高漂浮物数量统计和单目标识别的准确性;进一步通过离群像素剔除、目标轮廓拟合及深度校正系数对像素物理面积进行校正,能够降低水面波动、深度异常及不同拍摄距离造成的像素畸变影响,实现单个漂浮物实际面积及监测水域内漂浮物总面积的定量计算;此外,通过将各水面漂浮物分配至预先划分的水域网格,并统计各水域网格内的漂浮物数量、累计面积、分布密度及分布占比,能够获得监测水域的漂浮物空间分布状态,为漂浮物聚集区域确定、巡查清理及水环境运维提供数据支持,且采用轻量化网络架构及边缘推理方式,有利于提高监测实时性、增强嵌入式设备适配能力并降低系统部署成本。