一种基于实例分割和目标检测的积水深度监测方法

本发明属于水文监测与计算机视觉，涉及基于视频图像和深度学习技术的水深监测，具体涉及一种基于实例分割和目标检测的积水深度监测方法。

背景技术：

1、受全球气候变化及城市化影响，城市内涝灾害频发，积水深度作为表征城市内涝危害程度的核心指标，是开展排水防涝、应急调度、抢险救援等应对措施的重要决策依据。

2、传统方案采用水尺加人工读数的方式进行水深监测，一方面水尺的精度有限，另一方面人工读数存在主观偏差且难以记录水深变化的完整过程。在引入基于深度学习的图像识别方法中，由于常规水尺刻度稀疏，监测精度难以保障；若选用密集刻度水尺，微小刻度作为图像小目标，对摄像头分辨率以及目标检测算法的小目标检测能力都有较高要求，难以满足在城市大范围部署的实用需求。

3、因此现有的基于视频图像的积水深度监测方法通常不是采用直接读取水尺刻度的方式，而是利用参照物的已知尺寸信息进行推算。具体的，首先从图像中识别出完整参照物和参照物的水面以上部分，然后利用完整参照物高度占用的像素数量减去参照物水面以上部分高度占用的像素数量，得到二者间的像素数量差值，最后利用像素数量差值乘以整体像素当量，得到积水深度值。该类方法容易受参照物水面倒影的干扰，影响参照物水面以上部分的识别精度，进而影响积水深度的精度。同时在未标定场景下，由于透视投影和镜头畸变等影响，图片中参照物不同位置的像素当量并不完全一致，可能存在较大差异，直接使用整体像素当量进行换算会影响积水深度的精度。此外，现有方法通常仅能输出积水深度值，而无法度量结果的不确定性。

4、综上，现有基于参照物的积水监测技术还存在精度受限以及缺少度量不确定性等问题，限制了其推广应用，因此亟需一种能够精准监测水深和度量水深不确定性的监测方法。

技术实现思路

1、针对现有技术的不足，本发明提出了一种基于实例分割和目标检测的积水深度监测方法，从视频图像中选择表面设有若干尺寸已知的指示物的固定物体作为参照物。训练实例分割模型同时对参照物、参照物倒影和水面进行分割，克服倒影对参照物识别的干扰。基于参照物表面的指示物中心在图片位置中的像素当量，构建基于高斯过程回归的像素当量推测模型，输出像素当量及其不确定性，推算积水深度与积水深度的不确定性。

2、一种基于实例分割和目标检测的积水深度监测方法，具体步骤如下：

3、步骤1、监测装置选择与视频采集

4、s1.1、从城市环境中选择垂直固定于地面且表面分布有大小已知的指示物的物体作为参照物。

5、s1.2、预先测量出参照物表面各指示物中心到地面的真实物理距离，并调整摄像头视野以涵盖完整参照物及其周边区域。

6、步骤2、构建参照物-倒影-水面实例分割模型

7、s2.1、采集一系列包含参照物、参照物倒影和水面的多种场景下的图像数据，引入生成式人工智能对图像数据进行扩充，并对采集的图像和生成的图像进行数据增强处理。

8、s2.2、利用标注工具分别对图像中参照物、参照物倒影和水面的轮廓进行像素级标注，得到包含参照物、参照物倒影、水面三种类别的实例分割标注数据集。

9、s2.3、利用上述实例分割标注数据集对基于深度学习的实例分割预训练模型进行训练，得到参照物-倒影-水面实例分割模型。

10、步骤3、构建指示物目标检测模型

11、s3.1、采集一系列包含指示物的多种场景下的图像数据，并进行数据增强处理。

12、s3.2、利用标注工具分别对图像中指示物的边界框进行标注，得到指示物的目标检测标注数据集。

13、s3.3、利用上述目标检测标注数据集对基于深度学习的目标检测预训练模型进行训练，得到指示物目标检测模型。

14、步骤4、确定指示物中心位置的像素当量

15、s4.1、利用摄像头拍摄无积水状态下的参照物图像，将图像输入到参照物-倒影-水面实例分割模型，得到参照物掩膜。

16、s4.2、将参照物掩膜范围内的图像输入到指示物目标检测模型，得到各个指示物的边界框。

17、s4.3、对于每个指示物，获取其垂直方向的实际尺寸，将该尺寸与该指示物边界框上下边界之间像素数量的比值作为指示物中心位置的像素当量。

18、步骤5、构建像素当量推测模型

19、s5.1、对于每个指示物，计算其边界框的中心位置到参照物底部边界，即地面的像素数量，作为其中心位置的像素高度。

20、s5.2、对于每个指示物，以其中心位置的像素高度作为输入特征，以其中心位置的像素当量作为输出标签，构建像素高度-像素当量数据集。

21、s5.3、利用该像素高度-像素当量数据集训练一个高斯过程回归模型，得到像素当量推测模型。

22、步骤6、计算水面线的像素高度及其不确定性

23、s6.1、在积水状态下，将摄像头拍摄的图像输入到参照物-倒影-水面实例分割模型，得到参照物掩膜。

24、s6.2、获取参照物掩膜底部边界线上所有像素的像素高度，将像素高度平均值作为水面线的像素高度；将像素高度平均值的标准误作为水面线像素高度的不确定性。

25、步骤7、确定水面之上最近的指示物中心到水面线的距离及其不确定性

26、s7.1、在积水状态下，将参照物掩膜范围内的图像输入到指示物目标检测模型，识别出水面之上的各个指示物，确定在水面线之上且距水面线最近的指示物中心a。

27、s7.2、从a向水面线做垂线，计算出垂线段上各个像素到参照物底部边界的像素数量，即像素高度。

28、s7.3、将垂线段上各个像素的像素高度输入至像素当量推测模型，得到垂线段上各个像素的像素当量以及各个像素当量之间协方差矩阵。

29、s7.4、计算垂线段上各个像素的像素当量之和，即为a到水面线的实际距离lw。

30、s7.5、计算协方差矩阵各个元素之和的平方根，即为像素当量引入的不确定性，作为lw的不确定性。

31、步骤8、计算积水深度及其不确定性

32、s8.1、根据步骤1中测量的a到地面的真实距离lg，利用lg减去lw得到积水深度。

33、s8.2、将水面线的像素高度输入像素当量推测模型，得到对应的像素当量kl。

34、s8.2、计算积水深度的不确定性：

35、

36、本发明具有以下有益效果：

37、1、训练实例分割模型同时对图片中的参照物、参照物倒影和水面进行实例分割，有效规避了参照物倒影对参照物精准识别的影响，提高了积水深度监测的可靠性。

38、2、基于高斯过程回归推测出各个像素高度的像素当量，并基于不同的像素当量计算积水深度，减轻由于透视投影和镜头畸变等导致的像素当量不一致的问题，相比于使用单一像素当量，积水深度监测的精度更高。

39、3、分别度量了由于像素当量和水面线高度引入的不确定性，并综合这两类不确定性得到了积水深度的不确定性，从而能够表征积水深度监测的可靠范围与误差水平。

40、4、能够充分利用城市里已有的物体作为参照物，且相较于水尺的刻度线，指示物的尺寸更大，对摄像头的分辨率要求较低，相比于刻度线等小目标，指示物更易识别，对目标检测模型的要求也较低。