一种视频实时降雨量反演方法与系统与流程

本发明涉及气象测量与计算机视觉交叉，尤其涉及一种视频实时降雨量反演方法与系统。

背景技术：

1、降雨测量是气象预报、水文模拟、防灾减灾以及城市精细化管理的基础数据来源，目前主流的降雨量观测方法主要依赖传统点式仪器和遥感手段。传统点式仪器如翻斗式雨量计、称重式雨量计，通过机械或称重方式直接测量降雨，具有标准化程度高、精度可靠的优势，但受限于设备分布稀疏、维护成本高昂，且易受地形、风场等环境因素干扰，无法有效捕捉降雨的空间异质性，尤其在城市复杂地形和局地暴雨中存在显著覆盖盲区。遥感手段包括天气雷达、卫星遥感以及激光雨滴谱仪等，其中，雷达可实现区域扫描，卫星提供广域覆盖，激光雨滴谱仪能精确获取雨滴谱分布，但这些方法普遍面临设备造价高、维护复杂、时空分辨率受限等问题，且雷达易受地物遮挡和回波干扰，激光设备难以大规模普及。

2、近年来，随着监控摄像头的广泛部署和计算机视觉技术的快速发展，利用视觉技术反演降雨量成为一种极具潜力的低成本补充观测手段。该方法的主要优点在于：充分利用现有海量监控数据，无需额外建设站点，实现城市道路、交叉口等关键区域的高密度覆盖；视频帧率高、空间分辨率细，通过多相机的组网可构建高时空分辨率的降雨场监测；处理流程支持视频流实时接入，更新周期可达秒级，适用于动态预警场景。

3、因此，有必要提供一种新的视频实时降雨量反演方法，实现动态干扰的有效抑制、多尺度雨条纹精准捕获与物理约束条件下的实时降雨量反演。

技术实现思路

1、本发明的主要目的在于提供一种视频实时降雨量反演方法与系统，基于yolov11-transformer深度学习混合架构实现视频实时降雨量反演方法，特别适用于利用监控视频实现高时空分辨率、实时的降雨量定量反演，充分利用现有监控视频资源，通过深度学习与物理模型的深度融合，实现对动态场景下的雨条纹精准提取、多尺度时空特征捕获、时序连续性建模以及高精度降雨强度定量反演，以解决背景技术中指出的至少一项技术问题。

2、为了实现上述目的，本发明提供一种视频实时降雨量反演方法，包括步骤：

3、s1，基于yolov11改进的快速目标检测：输入待分析的动态场景监控视频帧序列，利用基于yolov11改进的快速目标检测主干网络，对每一帧进行实时目标检测与实例分割，定位并分割出视频画面中运动物体对应的动态干扰目标区域以及非动态背景及雨区域，生成对应的动态目标二值掩码m，该动态目标二值掩码m用于后续抑制非雨干扰；其中，动态目标区域标记为1，非动态背景及雨区域标记为0；

4、s2，多尺度雨滴特征提取：构建多尺度雨滴特征提取子网络，将步骤s1处理后的视频帧输入该子网络，采用转置多头注意力机制mdta计算捕获雨条纹在不同距离和尺度的时空特征，输出多尺度雨滴特征图；

5、s3，基于交叉注意力的雨滴特征增强：引入交叉注意力模块，以步骤s2输出的雨滴特征图作为查询query，以步骤s1生成的动态目标掩码m经过特征提取后的掩码条件特征作为键k和值v，进行交叉注意力计算，实现对雨条纹特征的有针对性增强和对动态干扰噪声的进一步抑制，得到增强后的雨特征图；

6、s4，基于transformer的时序降雨量估计：建立基于transformer的时序降雨量估计器，将步骤s3得到的增强雨特征图在时间维度上进行序列建模，融合多帧连续信息、利用全连接回归头以及gamma雨滴谱分布模型，输出实时降雨强度r，r单位为mm/h；

7、其中，基于雨条纹在像平面上的长度l、相机焦距f、相机焦平面位置z和曝光时间t，按照透视成像关系计算雨滴直径：；

8、所述gamma雨滴谱分布模型为：，式中，为单位体积内直径为d的范围内的雨滴个数，为雨滴谱截距参数，μ为形状参数，为雨滴谱的斜率参数；

9、通过gamma雨滴谱分布模型拟合计算得到降雨强度r：，式中，γ(·)为伽玛函数，对、、参数进行阶矩量拟合计算，最终反演得到实时降雨强度r。

10、优选的，所述yolov11改进的快速目标检测主干网络包括：采用c3k2模块优化特征提取效率、支持anchor-free检测头和实例分割分支，实时输出动态目标边界框及像素级分割的视频画面中运动物体对应的动态干扰目标区域以及非动态背景及雨区域。

11、优选的，所述转置多头注意力机制mdta的计算过程为：对特征图施加层归一化后，使用1×1卷积和3×3深度卷积生成查询q、键k、值v，进行转置多头注意力运算，捕捉雨条纹的长距离依赖和多尺度时空特征。

12、优选的，所述步骤s3包括：

13、将雨滴特征图作为query；

14、将动态目标掩码m经过卷积投影得到的掩码特征作为键k和值v；

15、计算交叉注意力权重；其中，为键的维度；

16、输出增强后的雨特征图，实现动态干扰的抑制和雨特征的语义增强。

17、优选的，所述步骤s4包括：将多帧增强后的雨特征图列输入transformerencoder进行自注意力建模捕捉雨条纹的时序连续性，然后通过反向传播优化模型参数以及全连接回归头，直接输出降雨强度r。

18、优选的，还包括预处理步骤，在输入待分析的动态场景监控视频前，对待分析的动态场景监控视频进行降雨分类预判，仅对判别为有雨的视频序列执行后续步骤，以避免晴天场景下的无效计算和错误反演。

19、优选的，还包括步骤，网络训练与优化：

20、采用合成雨数据集与真实监控视频组成的数据集相结合的方式组成训练集，进行训练；

21、训练过程中，损失函数以主回归任务的均方误差，优化预测降雨强度与真实值之间的差距；

22、优化器选用adamw，初始学习率设置为，批次大小为16，训练共进行100个epoch；

23、当验证集损失连续若干次不再下降时自动停止训练。

24、本发明还提供一种视频实时降雨量反演系统，包括存储器、处理器、存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种视频实时降雨量反演方法的步骤。

25、本技术提出的一种视频实时降雨量反演方法和系统，通过基于yolov11改进的快速目标检测主干网络，实时定位并分割动态目标区域；多尺度雨滴特征提取子网络，采用转置多头注意力机制（mdta）捕获不同距离的雨条纹时空特征；基于交叉注意力模块，利用检测到的目标掩码进行雨滴特征增强；基于transformer的时序降雨量估计器，融合多帧信息与gamma雨滴谱分布模型输出降雨量。本发明利用现有监控视频即可实现动态干扰的有效抑制与实时降雨量的稳定反演，适用于城市气象监测网络构建、降雨探测与城市内涝预警等领域。本发明至少具有如下优点：

26、（1）通过yolov11动态掩码实现动态干扰的有效抑制；

27、（2）mdta多尺度提取结合transformer时序建模，显著提升雨条纹特征鲁棒性；

28、（3）gamma模型的融入，保证反演的可解释性和精度；

29、（4）方法实时性强、计算效率高、适用于全天候监控视频场景。