一种森林防火视频智能分析系统及方法与流程

摘要: 本技术属于人工智能,具体涉及一种森林防火视频智能分析系统及方法。背景技术:1、森林防火是保障森林资源安全和生态环境的重要措施,当前广泛采用基于视频监控的智能分析...
一种森林防火视频智能分析系统及方法与流程

本技术属于人工智能,具体涉及一种森林防火视频智能分析系统及方法。

背景技术:

1、森林防火是保障森林资源安全和生态环境的重要措施,当前广泛采用基于视频监控的智能分析系统对林区火情进行实时监测。由于森林环境复杂多变,受光照条件、季节更替、植被遮挡以及气象因素的综合影响,烟火目标在视频画面中呈现出的颜色、形状、纹理以及动态演化等视觉特征存在极大的不确定性和波动性,如何在复杂背景干扰下准确捕获并识别早期烟火目标是森林防火视频智能分析中亟待解决的关键问题。常见的森林防火视频分析方法一般利用帧差法、背景建模或轻量化深度学习网络对监控画面进行烟火检测与分类。然而,烟火目标在颜色、形态、尺度以及运动表现上的类内差异极大,不同光照条件下的烟雾颜色深浅不一,火焰大小随风势变化剧烈,早期烟火的特征信号极为微弱且缺乏显著的纹理结构,导致基于固定特征模板或单一视觉表征的分析方法难以可靠区分真实火情与干扰目标,系统误报率居高不下,严重制约了森林防火视频智能分析技术的实用性和可靠性。

技术实现思路

1、针对现有技术中存在的不足,本发明提供一种森林防火视频智能分析系统及方法,可以有效解决上述背景技术中的问题。

2、为实现上述目的,本发明采取的技术方案为:

3、第一方面,本发明提供一种森林防火视频智能分析方法,该方法包括如下步骤:

4、获取待分析森林防火监控视频帧序列,并将所述视频帧序列输入至多尺度时空特征提取网络中进行特征提取,得到各所述视频帧对应的空间特征向量、时间维特征向量以及频域特征向量;所述多尺度时空特征提取网络用于同时提取视频帧中的空间维度特征、时间序列维度特征以及频域变换特征;

5、基于环境上下文感知模块对当前视频帧对应的拍摄环境参数进行获取,并根据所述拍摄环境参数对各所述空间特征向量、时间维特征向量以及频域特征向量进行自适应权重调整,得到各所述视频帧对应的环境自适应特征表示;所述拍摄环境参数包括光照强度参数、天气状况参数以及时段参数;

6、将各所述环境自适应特征表示输入至双阶段烟火检测网络中进行烟火目标的初步筛选,得到各所述视频帧对应的候选烟火区域及其对应的初始置信度分数;所述双阶段烟火检测网络包括区域建议子网络和目标分类子网络;

7、基于证据推理模块对各所述候选烟火区域的初始置信度分数进行不确定性量化处理,得到各所述候选烟火区域对应的证据向量,并将各所述候选烟火区域对应的证据向量输入至动态阈值决策模块中进行烟火目标的最终判定;所述证据向量用于表征各所述候选烟火区域属于烟火目标类别的可信程度、不可信程度以及不确定程度;

8、当所述动态阈值决策模块判定存在烟火目标时,触发火情预警机制,并根据各所述烟火目标的空间位置分布确定火情蔓延趋势预测结果。

9、根据本发明提供的一种森林防火视频智能分析方法,各所述空间特征向量的提取过程包括:将所述视频帧输入至卷积神经网络中进行多层次卷积运算,得到各所述视频帧对应的多尺度空间特征图,并对所述多尺度空间特征图进行全局池化操作以得到固定维度的空间特征向量;

10、各所述时间维特征向量的提取过程包括:将连续若干帧视频帧对应的空间特征向量按时间顺序组成特征序列,并将所述特征序列输入至长短期记忆网络中进行时序建模,得到各所述视频帧对应的时间维特征向量;

11、各所述频域特征向量的提取过程包括:对各所述视频帧进行离散余弦变换以得到频域系数矩阵,并从所述频域系数矩阵中提取代表能量分布的主成分特征以形成频域特征向量。

12、根据本发明提供的一种森林防火视频智能分析方法,所述基于环境上下文感知模块对当前视频帧对应的拍摄环境参数进行获取,并根据所述拍摄环境参数对各所述空间特征向量、时间维特征向量以及频域特征向量进行自适应权重调整,包括:

13、通过环境传感器或视频图像分析获取当前时刻的光照强度参数,并根据所述光照强度参数确定光照补偿因子;当所述光照强度参数处于强光照区间时,降低所述空间特征向量的权重比例并提升所述频域特征向量的权重比例,以克服强光干扰导致的色彩失真问题;当所述光照强度参数处于弱光照区间时,提升所述空间特征向量的权重比例并降低所述时间维特征向量的权重比例,以增强对微弱烟火信号的捕捉能力;

14、通过气象数据接口或图像特征分析获取当前时刻的天气状况参数,并根据所述天气状况参数确定天气补偿因子;当所述天气状况参数表征为雾霾天气时,提升所述频域特征向量的权重比例以增强对穿透雾霾的频谱特征的利用;当所述天气状况参数表征为晴朗天气时,提升所述时间维特征向量的权重比例以增强对火焰跳动特征的时序建模;

15、通过时间接口获取当前时刻的时段参数,并根据所述时段参数确定时段补偿因子;当所述时段参数表征为黄昏或黎明时段时,提升各所述特征向量的整体权重以补偿光照变化带来的特征衰减;当所述时段参数表征为正午或夜间时段时,根据具体光照条件进行针对性的权重调整。

16、根据本发明提供的一种森林防火视频智能分析方法,所述双阶段烟火检测网络的区域建议子网络用于生成可能包含烟火目标的候选区域框,各所述候选区域框具有目标ness分数和位置回归参数;所述目标分类子网络用于对各所述候选区域框进行类别分类,得到各所述候选区域框对应的烟火类别概率分布和精细化位置回归参数;

17、所述双阶段烟火检测网络的训练过程包括:获取带有烟火标注信息的训练视频帧样本,并将各所述训练视频帧样本输入至初始区域建议子网络中进行区域建议生成,得到各训练样本对应的候选区域框;将各所述候选区域框与对应的真实烟火标注框进行锚框匹配,选取正样本候选区域框和负样本候选区域框;将各所述正样本候选区域框和负样本候选区域框输入至初始目标分类子网络中进行分类训练和位置回归训练,得到训练后的双阶段烟火检测网络。

18、根据本发明提供的一种森林防火视频智能分析方法,所述证据推理模块对各所述候选烟火区域的初始置信度分数进行不确定性量化处理,包括:将各所述候选烟火区域对应的初始置信度分数转换为证据向量的形式,各所述证据向量包括正向证据分量、反向证据分量和不确定证据分量;所述正向证据分量表示该候选区域属于烟火目标的支持程度,所述反向证据分量表示该候选区域属于非烟火目标的反对程度,所述不确定证据分量表示对该候选区域属于烟火目标与否的未知程度;

19、基于各所述证据向量计算各所述候选烟火区域对应的信度函数值,并根据所述信度函数值确定该候选区域属于烟火目标的最终可信程度;

20、当所述最终可信程度超过预设的第一可信度阈值时,判定该候选区域为烟火目标;当所述最终可信程度低于预设的第二可信度阈值时,判定该候选区域为非烟火目标;当所述最终可信程度处于所述第一可信度阈值和所述第二可信度阈值之间时,将该候选区域作为疑似烟火区域进行后续多帧关联分析。

21、根据本发明提供的一种森林防火视频智能分析方法,所述动态阈值决策模块根据各帧视频的证据积累情况进行动态阈值调整,包括:针对连续若干帧视频中均出现的疑似烟火区域,累计计算该疑似烟火区域在各帧中的证据向量之和,得到累积证据向量;基于所述累积证据向量重新计算该疑似烟火区域对应的累积可信程度;根据所述累积可信程度与动态调整后的决策阈值进行比较,以确定最终的火情判定结果;

22、所述动态阈值决策模块还根据环境参数的变化对决策阈值进行自适应调整:当环境复杂度较高时,适当提升所述决策阈值以降低误报率;当环境复杂度较低时,适当降低所述决策阈值以提高烟火目标的检出率。

23、根据本发明提供的一种森林防火视频智能分析方法,所述触发火情预警机制,并根据各所述烟火目标的空间位置分布确定火情蔓延趋势预测结果,包括:当判定存在烟火目标时,根据各所述烟火目标在地理信息系统中的坐标位置确定火点位置信息;基于历史火情蔓延数据和当前气象条件数据,采用火势蔓延预测模型对火情的蔓延方向和蔓延速度进行预测,得到火情蔓延趋势预测结果;根据所述火情蔓延趋势预测结果确定需要重点关注的预警区域,并向对应的监控终端发送预警信息。

24、第二方面,本发明还提供一种森林防火视频智能分析系统,该系统包括:

25、视频获取模块,用于获取待分析森林防火监控视频帧序列;

26、多尺度时空特征提取模块,用于将所述视频帧序列输入至多尺度时空特征提取网络中进行特征提取,得到各所述视频帧对应的空间特征向量、时间维特征向量以及频域特征向量;所述多尺度时空特征提取网络用于同时提取视频帧中的空间维度特征、时间序列维度特征以及频域变换特征;

27、环境上下文感知模块,用于对当前视频帧对应的拍摄环境参数进行获取,并根据所述拍摄环境参数对各所述空间特征向量、时间维特征向量以及频域特征向量进行自适应权重调整,得到各所述视频帧对应的环境自适应特征表示;所述拍摄环境参数包括光照强度参数、天气状况参数以及时段参数;

28、双阶段烟火检测模块,用于将各所述环境自适应特征表示输入至双阶段烟火检测网络中进行烟火目标的初步筛选,得到各所述视频帧对应的候选烟火区域及其对应的初始置信度分数;所述双阶段烟火检测网络包括区域建议子网络和目标分类子网络;

29、证据推理与决策模块,用于基于证据推理模块对各所述候选烟火区域的初始置信度分数进行不确定性量化处理,得到各所述候选烟火区域对应的证据向量,并将各所述候选烟火区域对应的证据向量输入至动态阈值决策模块中进行烟火目标的最终判定;所述证据向量用于表征各所述候选烟火区域属于烟火目标类别的可信程度、不可信程度以及不确定程度;

30、预警模块,用于当所述动态阈值决策模块判定存在烟火目标时,触发火情预警机制,并根据各所述烟火目标的空间位置分布确定火情蔓延趋势预测结果。

31、本发明提供的森林防火视频智能分析方法,首先,获取待分析森林防火监控视频帧序列,并将所述视频帧序列输入至多尺度时空特征提取网络中进行特征提取,得到各所述视频帧对应的空间特征向量、时间维特征向量以及频域特征向量,多尺度时空特征提取网络用于同时提取视频帧中的空间维度特征、时间序列维度特征以及频域变换特征;然后,基于环境上下文感知模块对当前视频帧对应的拍摄环境参数进行获取,并根据所述拍摄环境参数对各所述空间特征向量、时间维特征向量以及频域特征向量进行自适应权重调整,得到各所述视频帧对应的环境自适应特征表示;进一步地,将各所述环境自适应特征表示输入至双阶段烟火检测网络中进行烟火目标的初步筛选,得到各所述视频帧对应的候选烟火区域及其对应的初始置信度分数;进而,基于证据推理模块对各所述候选烟火区域的初始置信度分数进行不确定性量化处理,得到各所述候选烟火区域对应的证据向量,并将各所述候选烟火区域对应的证据向量输入至动态阈值决策模块中进行烟火目标的最终判定;最终,当判定存在烟火目标时,触发火情预警机制,并根据各所述烟火目标的空间位置分布确定火情蔓延趋势预测结果。

32、本发明通过多尺度时空特征提取网络同时提取视频帧的空间特征、时间维特征和频域特征,实现了多维度特征的综合利用,避免了单一视觉表征导致的信息缺失问题;通过环境上下文感知模块根据光照、天气、时段等环境参数自适应调整各维度特征的权重,有效克服了复杂环境变化对烟火识别带来的干扰,提升了系统在多种环境条件下的鲁棒性;通过双阶段烟火检测网络进行初步筛选,利用区域建议子网络快速定位候选区域并通过目标分类子网络进行精细分类,显著降低了计算开销并提升了检测精度;通过证据推理模块对检测结果进行不确定性量化处理,将传统的确定性分类转化为证据框架下的信度函数表示,能够有效区分可信、不可信和不确定三种状态,避免了因不确定性导致的误判;通过动态阈值决策模块根据证据积累和环境变化自适应调整决策阈值,实现了在不同环境复杂度下的最优检测性能平衡;通过火情蔓延趋势预测模块结合历史数据和气象条件进行火势蔓延预测,为防火决策提供了有力的数据支撑。本发明有效降低了森林防火视频智能分析系统的误报率,提升了对早期微弱烟火目标的检测能力,增强了系统的实用性和可靠性。