一种多模态融合的水利监测方法及系统与流程

本发明属于水利监测，尤其是涉及一种多模态融合的水利监测方法及系统。

背景技术：

1、水质监测是水环境保护和水资源管理的基础性工作。传统水质监测主要依赖原位物理化学传感器和实验室采样分析，存在时空分辨率低、部署成本高、难以覆盖大范围水域等不足。随着图像处理技术的发展，基于可见光图像的水质监测方法逐渐得到应用，其通过分析水体颜色、纹理和边缘等视觉特征，能够非接触地评估水体浊度、色度和藻华状态。

2、然而，可见光图像依赖太阳反射辐射，在夜间无法有效工作。为解决夜间监测问题，现有技术引入红外热像仪采集水体热辐射图像。红外图像不受光照条件限制，能够在夜间获取水体表面温度分布信息，从而反映热污染、污染羽流扩散等水质状态。

3、但现有技术存在一个关键缺陷：可见光图像和红外图像的成像物理机制完全不同。可见光图像反映水体对太阳辐射的反射特性，其像素值对应红、绿、蓝波段的反射率；红外图像反映水体自身的热辐射特性，其像素值对应水体表面温度。因此，白天基于可见光图像输出的水质监测结果通常为rgb彩色图像或颜色特征图，夜间基于红外图像输出的水质监测结果通常为灰度热图或温度分布图。二者在特征空间和视觉表达上完全不一致，导致昼夜监测数据无法在同一视觉语义框架下连续拼接、统一解读和长时序图像分析。

4、现有技术中，部分方案尝试将可见光图像和红外图像输入同一深度学习网络进行特征拼接，但其融合方式多为全连接层简单拼接，未考虑两种模态在物理成像机制上的本质差异，也未解决昼夜切换时模态有效性变化带来的融合权重自适应问题。另有方案分别输出可见光分析结果和红外分析结果，但未将二者统一为同一图像语义表达，运维人员仍需切换分析框架才能解读全天候监测结果。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种多模态融合的水利监测方法。

2、为解决上述技术问题，本发明采用的技术方案是：一种多模态融合的水利监测方法，包括以下步骤：

3、s1：白天通过可见光相机采集监测水域的可见光图像，夜间通过红外热像仪采集监测水域的红外图像；

4、s2：对所述可见光图像和所述红外图像进行基于水体轮廓互相关的空间配准，使二者逐像素对齐；

5、s3：对配准后的可见光图像进行去镜面反射和光照归一化处理，提取可见光水质特征；对配准后的红外图像进行去噪和热梯度张量分析，提取红外水质特征；

6、s4：将所述可见光水质特征和所述红外水质特征分别输入共享的跨模态特征对齐网络，得到统一水质嵌入向量；所述跨模态特征对齐网络通过损失训练，使同一水质状态在可见光模态和红外模态下映射至同一嵌入空间；

7、s5：采用昼夜统一的伪彩色映射规则将所述统一水质嵌入向量映射为颜色值，生成水质评估图像，使白天和夜间生成的水质评估图像具有相同的颜色语义。

8、进一步，在步骤s2中，所述基于水体轮廓互相关的空间配准，包括：

9、对红外图像进行otsu自适应阈值分割，提取红外水体热辐射区域掩膜；

10、对可见光图像利用归一化水体指数或颜色空间分析，提取可见光水体掩膜；

11、计算所述红外水体热辐射区域掩膜与所述可见光水体掩膜的轮廓互相关函数，通过最大化轮廓重叠度求解平移参数和缩放参数；

12、根据所述平移参数和所述缩放参数对红外图像进行空间变换，使其与可见光图像逐像素对齐。

13、进一步，在步骤s3中，所述提取可见光水质特征，包括：

14、检测可见光图像中的高饱和度像素并进行修复，以去除水面镜面反射；

15、采用基于retinex理论的多尺度光照归一化算法，将可见光图像分解为反射分量和光照分量，并保留所述反射分量；

16、在所述反射分量上提取颜色特征、纹理特征和边缘特征，其中所述颜色特征包括his颜色空间中的色调分布直方图和色度差异因子，所述纹理特征包括基于gabor滤波的水面纹理能量分布，所述边缘特征包括水面波纹边缘密度和方向分布。

17、进一步，在步骤s3中，所述提取红外水质特征，包括：

18、对配准后的红外图像进行非局部均值去噪；

19、计算去噪后红外图像的局部灰度梯度张量；

20、对所述局部灰度梯度张量进行主成分分析，提取前三个主成分作为红外水质特征向量，所述前三个主成分分别对应热羽流强度、热羽流方向和热羽流空间尺度。

21、进一步，在步骤s4中，所述跨模态特征对齐网络，包括输入层、第一全连接隐藏层、第二全连接隐藏层和输出层，所述第一全连接隐藏层维度为64，所述第二全连接隐藏层维度为32，所述输出层输出d维统一水质嵌入向量；

22、所述损失训练包括分类损失和模态一致性损失。

23、更进一步，所述跨模态特征对齐网络中包括模态判别器，所述模态判别器用于判断输入的统一水质嵌入向量来源于可见光模态还是红外模态；通过对抗训练使所述模态判别器无法区分所述统一水质嵌入向量的来源模态。

24、进一步，在步骤s5中，所述昼夜统一的伪彩色映射规则为可学习颜色查找表，所述可学习颜色查找表通过最小化相同水质标签下可见光评估图像与红外评估图像之间的颜色差异进行优化；

25、所述可学习颜色查找表将统一水质嵌入向量映射为rgb颜色值，其中不同颜色值分别对应清洁、轻度富营养化、中度污染和重度污染的水质状态。

26、进一步，在步骤s4中，所述统一水质嵌入向量，通过以下计算式进行计算：

27、

28、式中，为时刻融合后的统一水质嵌入向量，为可见光嵌入向量，为红外嵌入向量，为时刻太阳高度角计算融合权重；

29、其中，

30、

31、式中，为斜率参数，为时刻的太阳高度角，为参考太阳高度角。

32、进一步，在步骤s5生成水质评估图像之后，还包括：

33、将连续多日生成的所述水质评估图像按时间顺序排列，构成时序水质评估图像序列；

34、对所述时序水质评估图像序列进行帧间差分或背景建模，识别水质状态的渐变趋势和突变事件。

35、基于同一发明构思，本发明还提出了一种多模态融合的水利监测系统，包括：

36、图像获取模块，用于白天通过可见光相机采集监测水域的可见光图像，夜间通过红外热像仪采集监测水域的红外图像；

37、配准模块，用于对所述可见光图像和所述红外图像进行基于水体轮廓互相关的空间配准，使二者逐像素对齐；

38、特征提取模块，用于对配准后的可见光图像进行去镜面反射和光照归一化处理以提取可见光水质特征，并对配准后的红外图像进行去噪和热梯度张量分析以提取红外水质特征；

39、跨模态对齐模块，用于将所述可见光水质特征和所述红外水质特征分别输入共享的跨模态特征对齐网络，得到统一水质嵌入向量；所述跨模态特征对齐网络通过损失训练，使同一水质状态在可见光模态和红外模态下映射至同一嵌入空间；

40、统一映射模块，用于采用昼夜统一的伪彩色映射规则将所述统一水质嵌入向量映射为颜色值，生成水质评估图像，使白天和夜间生成的水质评估图像具有相同的颜色语义。

41、本发明提供一种多模态融合的水利监测方法及系统，与现有技术相比具有以下优点：

42、1、本发明通过基于水体轮廓互相关的空间配准方法，利用水体在可见光波段和热红外波段均呈现的边界轮廓作为配准基准，通过最大化可见光水体掩膜与红外水体掩膜的轮廓重叠度求解平移参数和缩放参数，实现了可见光图像与红外图像的逐像素对齐，解决了现有技术中因水面纹理稀疏且随时间快速变化而导致传统特征点匹配容易失效的问题，为后续昼夜图像的统一处理提供了可靠的空间基准。

43、2、本发明通过对配准后的可见光图像进行去镜面反射和基于retinex理论的多尺度光照归一化处理，并在反射分量上提取颜色、纹理和边缘特征，同时对配准后的红外图像进行非局部均值去噪和热梯度张量主成分分析，提取反映热羽流强度、方向和空间尺度的红外特征，实现了可见光模态与红外模态水质特征的物理可解释表达，消除了两种模态因成像机制不同而导致的特征分布差异，为跨模态特征对齐奠定了良好基础。

44、3、本发明通过共享的跨模态特征对齐网络及模态一致性损失训练，将物理来源不同的可见光特征和红外特征映射到同一水质嵌入空间，并约束同一水体在昼夜切换时刻的可见光嵌入向量与红外嵌入向量之间的余弦距离最小化，实现了同一水质状态在可见光模态和红外模态下映射至同一嵌入空间；进一步通过引入模态判别器和对抗训练，使嵌入向量无法被区分出来源模态，从而从特征层面真正统一了昼夜监测结果，克服了现有技术中简单全连接层拼接未考虑模态物理差异的不足。

45、4、本发明通过昼夜统一的伪彩色映射规则，将统一水质嵌入向量映射为rgb颜色值，并采用可学习颜色查找表通过最小化相同水质标签下可见光评估图像与红外评估图像之间的颜色差异进行优化，实现了白天可见光评估图像与夜间红外评估图像的颜色语义一致，使同一水质状态在昼夜图像中呈现相同颜色编码，运维人员无需切换分析框架即可解读全天候监测结果，昼夜监测数据得以在同一视觉语义框架下连续拼接和统一解读。

46、5、本发明通过基于太阳高度角计算融合权重，并对可见光嵌入向量和红外嵌入向量进行加权融合，实现了日出前后与日落前后昼夜过渡时段的连续无中断监测，融合权重随太阳高度角连续变化而自适应调整，消除了模态切换导致的监测盲区和融合不连续问题，解决了现有技术中融合权重固定或简单设置无法适应昼夜模态有效性变化的技术缺陷。

47、6、本发明通过在生成水质评估图像之后，将连续多日生成的水质评估图像按时间顺序排列构成时序水质评估图像序列，并对该序列进行帧间差分或背景建模，实现了不受光照切换干扰的长时序水质变化检测，能够准确识别水质状态的渐变趋势与突变事件，避免了因昼夜切换引起的伪变化信号对时序分析结果的干扰，提高了长时序水质变化检测的准确性和可靠性。

48、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。