一种园区安防风险预警系统、方法及设备与流程

本发明涉及园区安防，尤其涉及一种园区安防风险预警系统、方法及设备。

背景技术：

1、随着园区楼宇数量增加、人员流动密集以及用电设备复杂化，园区安防风险预警已经从单一门禁、巡检和烟感报警逐步扩展至对火灾、异常明火和楼宇安全隐患的综合监测。

2、在现有园区安防系统中，火灾风险预警通常依赖烟雾报警器、温度传感器、消防主机或人工监控值守，主要针对烟雾浓度升高、环境温度异常或人工发现明火后进行报警。该类方式在楼宇走廊、地下车库、设备间、外立面区域和公共活动区域中应用较多，但其触发条件通常依赖烟雾扩散、温度积累或人工识别，难以在火焰初生、烟雾尚未明显扩散或局部温升尚不明显时及时发现风险。

3、现有基于视频的园区火焰识别方法多依据单帧图像中的颜色、亮度或闪烁特征判断火焰目标，在复杂园区环境下容易受到点烟、打火机、灯光反射、电子屏幕、车辆灯光、低照度噪声和监控画面抖动影响，导致非真实火灾目标被误判为安防风险。同时，现有方法对连续帧中火焰候选区域的持续性、面积变化、边界扰动和亮度波动缺乏稳定分析，难以形成适用于园区安防平台的分级预警依据。

技术实现思路

1、本发明的一个目的在于提出一种园区安防风险预警系统、方法及设备，本发明使火焰候选区域掩膜在复杂园区楼宇场景中具有更连续的边界、更完整的区域轮廓和更稳定的逐帧分割结果。

2、根据本发明实施例的一种园区安防风险预警方法，其特征在于，包括：

3、采集园区楼宇监控连续视频帧并对连续视频帧执行预处理，生成园区楼宇图像序列；

4、根据园区楼宇图像序列分别生成第一谱梯度特征图和第二谱梯度特征图，以同时间戳帧生成热响应特征图，并拼接为谱-热联合特征张量；

5、将园区楼宇图像序列输入改进hq-sam网络，得到多尺度视觉token嵌入集合，将谱-热联合特征张量与多尺度视觉token嵌入集合进行特征对齐与融合，得到融合视觉特征集合及对应特征不确定性权重；

6、基于谱-热联合特征张量执行显著性提取，生成框提示嵌入、点提示嵌入和粗掩膜提示嵌入，并与融合视觉特征集合共同输入多级掩膜解码器，得到与园区楼宇图像序列逐帧对应的火焰候选区域掩膜集合；

7、根据火焰候选区域掩膜集合建立火焰候选区域时序轨迹，并按火焰候选区域时序轨迹顺序记录持续帧数、像素面积序列、边界轮廓序列和平均亮度序列；

8、根据持续帧数、像素面积序列、边界轮廓序列和平均亮度序列计算面积变化率、边界扰动幅度、亮度波动幅度及持续时间，生成火焰候选区域时序演化特征集合；

9、将火焰候选区域时序演化特征集合输入隐马尔可夫演化模型，结合特征不确定性权重，动态预测每一火焰候选区域的失火概率，并对每一火焰候选区域生成分级安防风险预警信息，在分级安防风险预警信息达到高风险阈值时，向园区安防平台推送联动指令，并且控制灭火设备进行灭火操作。

10、可选的，所述预处理包括亮度归一化、色彩校正、噪声抑制、画面稳定、反光弱化和低照度增强预处理。

11、可选的，所述根据园区楼宇图像序列分别生成第一谱梯度特征图和第二谱梯度特征图，以同时间戳帧差灰度映射生成热响应特征图，包括：

12、根据园区楼宇图像序列，计算红色通道色度值、绿色通道色度值和蓝色通道色度值；

13、通过红色通道色度值、绿色通道色度值和蓝色通道色度值，计算红色通道日志色度、绿色通道日志色度和蓝色通道日志色度；

14、通过红色通道日志色度、绿色通道日志色度和蓝色通道日志色度，得到第一谱梯度特征图和第二谱梯度特征图；

15、对红色通道归一化像素值、绿色通道归一化像素值和蓝色通道归一化像素值进行加权求和，得到灰度映射值；

16、以同时间戳帧差灰度映射，生成热响应特征图；

17、将同一帧图像对应的第一谱梯度特征图、第二谱梯度特征图和热响应特征图按照通道维度进行拼接，生成对应帧图像对应的谱-热联合特征张量。

18、可选的，所述将园区楼宇图像序列输入改进hq-sam网络，包括：

19、将园区楼宇图像序列中的当前帧图像输入改进hq-sam网络的主干视觉编码干路，得到图像块集合；

20、对图像块集合执行线性嵌入和位置嵌入，得到初始视觉token嵌入矩阵；

21、将初始视觉token嵌入矩阵输入主干视觉编码干路中对应尺度层级的编码层，得到层级视觉token嵌入矩阵；

22、将全部层级视觉token嵌入矩阵组成当前帧图像对应的多尺度视觉token嵌入集合。

23、将谱-热联合特征张量输入谱-热联合感知分支，得到谱-热token嵌入矩阵；

24、以视觉token嵌入矩阵生成查询矩阵，以谱-热token嵌入矩阵生成键矩阵和值矩阵，并计算得到谱-热注意力响应矩阵和谱-热对齐特征矩阵；

25、将谱-热对齐特征矩阵与视觉token嵌入矩阵进行特征融合，得到融合视觉特征矩阵，并将全部尺度层级对应的融合视觉特征矩阵组成融合视觉特征集合；

26、根据谱-热注意力响应矩阵，计算特征不确定性权重。

27、可选的，所述基于谱-热联合特征张量执行显著性提取，生成框提示嵌入、点提示嵌入和粗掩膜提示嵌入，并与融合视觉特征集合共同输入多级掩膜解码器，包括：

28、将第一谱梯度特征图、第二谱梯度特征图和热响应特征图进行加权求和，得到谱-热联合响应图；

29、根据谱-热联合响应图计算高响应筛选阈值，基于高响应筛选阈值，生成高响应二值图；

30、对高响应二值图执行连通域标记，得到当前帧图像对应的高响应连通域；

31、根据每一个高响应连通域的像素坐标范围，生成对应的框提示坐标；

32、根据每一个高响应连通域内谱-热联合响应值最大的像素位置生成对应的点提示坐标，根据每一个高响应连通域生成对应的粗掩膜提示图；

33、将框提示坐标、点提示坐标和粗掩膜提示图分别输入改进hq-sam网络的提示编码器，生成框提示嵌入、点提示嵌入和粗掩膜提示嵌入；

34、将框提示嵌入、点提示嵌入、粗掩膜提示嵌入和融合视觉特征集合共同输入改进hq-sam网络的多级掩膜解码器，依次执行粗掩膜生成和精细化迭代修复，得到精细化候选掩膜；

35、将精细化候选掩膜和融合视觉特征集合输入边界像素级细化层，得到火焰候选区域掩膜，并整理为与园区楼宇图像序列逐帧对应的火焰候选区域掩膜集合。

36、可选的，所述根据火焰候选区域掩膜集合建立火焰候选区域时序轨迹，包括：

37、根据当前帧图像和上一帧图像对应的火焰候选区域掩膜集合，分别确定当前帧图像和上一帧图像中每一个火焰候选区域对应的火焰候选区域像素集合；

38、根据当前帧图像和上一帧图像中每一个火焰候选区域对应的火焰候选区域像素集合，计算候选区域间空间重叠关系，得到空间重叠度；

39、根据空间重叠度，对当前帧图像中的每一个火焰候选区域进行候选匹配区域选取，得到候选匹配区域和候选匹配重叠度；

40、基于候选匹配重叠度，确定当前帧图像中每一个火焰候选区域的轨迹匹配结果；

41、根据当前帧图像中每一个火焰候选区域的轨迹匹配结果，建立火焰候选区域时序轨迹；

42、根据火焰候选区域时序轨迹，记录持续帧数、像素面积序列和平均亮度序列；

43、根据火焰候选区域时序轨迹，记录边界轮廓序列，并按火焰候选区域时序轨迹的轨迹编号整理持续帧数、像素面积序列、边界轮廓序列和平均亮度序列。

44、可选的，所述生成火焰候选区域时序演化特征集合，包括：

45、根据像素面积序列，计算面积变化率；

46、根据边界轮廓序列，计算边界扰动幅度；

47、根据平均亮度序列，计算亮度波动幅度；

48、根据持续帧数，计算持续时间；

49、根据面积变化率、边界扰动幅度、亮度波动幅度及持续时间，生成火焰候选区域时序演化特征集合。

50、可选的，所述将火焰候选区域时序演化特征集合输入隐马尔可夫演化模型，包括：

51、根据火焰候选区域时序演化特征集合，生成隐马尔可夫演化模型的观测特征序列；

52、根据特征不确定性权重，计算每一条火焰候选区域时序轨迹对应的区域特征可信度；

53、将观测特征序列和区域特征可信度输入隐马尔可夫演化模型，根据区域特征可信度对观测似然概率进行修正，并动态预测每一火焰候选区域的失火概率；

54、根据每一火焰候选区域的失火概率，输出失火概率预测结果；

55、基于失火概率预测结果和火焰候选区域时序演化特征集合，生成分级安防风险预警信息；

56、当分级安防风险预警信息达到高风险阈值时，向园区安防平台推送联动指令，并且控制灭火设备进行灭火操作。

57、本发明的有益效果是：

58、本发明通过将园区楼宇图像序列中的红、绿、蓝通道日志色度差异与同时间戳帧差灰度映射共同构建为谱-热联合特征张量，并将谱-热联合特征张量与改进hq-sam网络中的多尺度视觉token嵌入集合进行特征对齐与融合，使火焰候选区域提取不再仅依赖单帧图像中的红黄色外观、亮度峰值或局部纹理，而是同时利用火焰目标在谱梯度变化、帧间热响应变化和视觉结构边界上的联合特征；能够在火焰初生、烟雾尚未明显扩散、监控画面存在低照度或局部反光的情况下更稳定地提取疑似火焰区域；通过基于高响应连通域自动生成框提示嵌入、点提示嵌入和粗掩膜提示嵌入，使改进hq-sam网络能够围绕谱-热响应集中的区域进行提示约束解码，减少人工提示依赖，降低灯光反射、电子屏幕、车辆灯光仅具有局部高亮但缺少谱-热一致性的干扰目标被分割为火焰候选区域的概率，使火焰候选区域掩膜在复杂园区楼宇场景中具有更连续的边界、更完整的区域轮廓和更稳定的逐帧分割结果。

59、本发明通过空间重叠度匹配连续帧中的同一火焰候选区域，并将持续帧数、像素面积变化、边界轮廓扰动和平均亮度波动统一纳入时序演化特征集合，能够保留真实火焰在连续监控画面中的动态变化信息，同时削弱短时、孤立、边界稳定或亮度变化异常的非火灾干扰目标对预警判断的影响，提高园区安防平台对早期火灾风险与普通视觉干扰目标的区分能力。