一种基于图形生成技术的烟火监测方法及系统与流程

1.本发明属于烟火监测领域，具体涉及一种基于图形生成技术的烟火监测方法及系统。


背景技术：

2.火灾事故的发生会造成巨大的经济损失，还会严重威胁人们的生命安全，由发电、输电、变电等组成的电力系统由于设备不稳定或者天灾人祸都可能导致火灾事故的发生。由于电力系统的分布十分广泛而且背景复杂，同时电力生产行业是国计民生的重要基础产业和公用事业，是国民经济全面、协调、可持续发展的重要保障。因此对它进行安全防护至关重要，如果能快速且准确地对火灾产生预警，则可以减少甚至消除火灾所造成的损失。而对火灾进行预警的方法就是将火灾早期产生的烟雾和火焰进行检测从而对火灾进行预警。早期主要采用人工的方法进行巡检，但是电力系统分布十分广泛，全部采用人工的方法会造成极大地人力消耗。
3.随着视频监控技术的普及，一些直接对视频序列中的图像信息进行处理的方法也陆续出现。传统的图像处理方法是对图像中所具有的一些特征进行识别和检测，比如形状、颜色和纹理等，通过火灾中火焰和烟雾的运动特征来检测烟火，也有使用聚类分析算法和小波分解算法来分析图像在rgb和hsv颜色空间中的颜色属性来判断是否存在烟火，但是传统图像处理的方法实时性和精度都不太好。而且传统的图像处理方法受背景变化的影响很大，而电力系统本身背景复杂，这就导致了传统图像处理方法所能达到的精度十分有限。


技术实现要素：

4.本发明的目的在于提供一种基于图形生成技术的烟火监测方法及系统，对视频图像进行烟火检测，对微小面积的烟火有很好的检测效果，在火灾发生初期进行预警，减少对人身和生产安全的危害。
5.为达到上述目的，本发明所采用的技术方案是：
6.本发明第一方面提供了一种基于图形生成技术的烟火监测方法，其特征在于，包括：
7.采集监测区域的视频图像信号；
8.通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
9.所述烟火检测模型的训练过程，包括：
10.获取烟火图像和非烟火图像，并进行随机缩放和裁剪后构建图片集；将图片集设定比例分为训练子集和测试子集；
11.获取yolox网络结构作为烟火检测模型，通过训练子集对烟火检测模型进行训练；
12.将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
13.优选的，通过训练子集对烟火检测模型进行训练的方法包括：
14.对训练子集中融合图像分别进行烟和火进行标注，获得真实结果；
15.将训练子集中的融合图像输入至烟火检测模型，获得预测标注框的位置信息和预测标注框内的识别信息，形成检测结果；
16.对检测结果和真实结果进行计算分析得到检测损失值，根据检测损失值对神经网络模型进行调整。
17.优选的，获取烟火图像的方法包括：
18.采集实际监控场景图像，并设定实际监控场景图像的烟火发生区域；
19.由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像，
20.将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
21.优选的，烟火检测模型包括：骨干backbone、颈部neck和头部head三部分；
22.所述骨干backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干backbone由focus结构网络、卷积conv2d、csp结构网络、激活函数gelu和ssp结构网络组成；所述csp结构网络对输入自变量进行n次的1
×
1卷积和3
×
3卷积操作，并与输入自变量拼接进行输出；
23.所述颈部neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标；所述颈部neck由上采样模块upsamping、下采样模块downsamping、卷积conv2d和csp结构网络组成；
24.所述头部head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部head由卷积层、分类模块和损失模块组成。
25.优选的，烟火检测模型激活函数gelu计算公式为：
[0026][0027]
公式中，x表示为卷积计算结果；x表示为服从正态分布的随机变量；p(x≤x)表示为x小于或等于x的概率；erf(
·
)表示为高斯误差函数。
[0028]
优选的，对融合图像进行特征提取获得独立特征层的方法包括：
[0029]
通过focus结构网络从输入的融合图像中以间隔的方式提取像素点，且间隔距离为一个像素值，获得独立特征层；将独立特征层进行卷积conv2d增加独立特征层的数量，获得第一级堆叠特征；
[0030]
将第一级堆叠特征重复三次输入由卷积conv2d和csp结构网络组成的resblock模块，分别获得第二级独堆叠特征、第三级堆叠特征、第四级堆叠特征；
[0031]
将第四级堆叠特征依次输入卷积conv2d、csp结构网络和ssp结构网络；获得第五级堆叠特征。
[0032]
优选的，所述颈部neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标的方法包括：
[0033]
将第五级独立特征层依次输入卷积conv2d，获得第一检测特征；
[0034]
将第一检测特征输入上采样模块upsamping，并与第四级堆叠特征进行拼接，再依
次输入csp结构网络和卷积conv2d，获得第二检测特征；
[0035]
将第二检测特征输入上采样模块upsamping，并与第三级堆叠特征进行拼接，再输入csp结构网络，获得第三检测特征，作为检测目标p1；
[0036]
将第三检测特征输入下采样模块downsamping，并与第三检测特征进行拼接，再输入csp结构网络，获得第四检测特征，作为检测目标p2；
[0037]
将第四检测特征输入下采样模块downsamping，并与第一检测特征进行拼接，再输入csp结构网络，获得第五检测特征，作为检测目标p3；
[0038]
优选的，对检测目标进行分类检测和损失计算获得检测结果和检测损失值的方法包括：
[0039]
将检测目标p1、检测目标p2和检测目标p3进行1
×
1卷积并划分为分类分支特征和损失分支特征；
[0040]
将分类分支特征输入3
×
3卷积，并进行分类检测获得预测标注框的位置信息和预测标注框内的识别信息；所述预测标注框的位置信息由预测标注框的宽度、高度和中心点坐标组成；预测标注框内的识别信息由预测标注框内为前景的置信度、检测目标的预测种类及置信度组成；输出检测结果；
[0041]
将损失分支特征输入3
×
3卷积，并利用预测标注框和真实标注框计算diou损失，作为回归损失值；
[0042]
提取预测标注框内的检测目标的特征点，将真实标注框内的特征点作为正样本，将真实标注框外的特征点作为负样本，通过focalloss损失函数计算目标损失值；
[0043]
根据特征点的预测种类与检测目标的真实种类，通过focalloss损失函数计算分类损失值；
[0044]
将回归损失值、目标损失值和分类损失值作为检测损失值。
[0045]
本发明第二方面提供了一种基于图形生成技术的烟火监测系统，包括：
[0046]
采集模块，用于采集监测区域的视频图像信号；
[0047]
烟火识别模块，用于通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
[0048]
图片集合成模块，用于获取烟火图像和非烟火图像，并进行随机缩放和裁剪后构建图片集；
[0049]
图片集划分模块，用于将图片集按设定比例分为训练子集和测试子集；
[0050]
训练模块，用于获取yolox网络结构作为烟火检测模型，通过训练子集对烟火检测模型进行训练；
[0051]
测试模块，将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
[0052]
优选的，所述图片集合成模块包括图像采集器、烟火模拟器和图像融合装置；
[0053]
所述图像采集器采集实际监控场景图像；
[0054]
所述烟火模拟器设定实际监控场景图像的烟火发生区域，由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像；
[0055]
所述图像融合装置将烟图像、火图像和实际监控场景图像进行融合，获得烟火图
像。
[0056]
优选的，所述训练模块中的烟火检测模型包括：骨干backbone、颈部neck和头部head三部分；
[0057]
所述骨干backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干backbone由focus结构网络、卷积conv2d、csp结构网络、激活函数gelu和ssp结构网络组成；所述csp结构网络对输入自变量进行n次的1
×
1卷积和3
×
3卷积操作，并与输入自变量拼接进行输出；
[0058]
所述颈部neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标；所述颈部neck由上采样模块upsamping、下采样模块downsamping、卷积conv2d和csp结构网络组成；
[0059]
所述头部head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部head由卷积层、分类模块和损失模块组成。
[0060]
本发明第三方面提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至8任意一项所述烟火监测方法的步骤。
[0061]
与现有技术相比，本发明的有益效果：
[0062]
本发明中获取烟火图像和非烟火图像，并进行随机缩放和裁剪，形成基础图像；依次选取设定数量的基础图像进行加权融合形成融合图像，构建图片集，对烟火检测模型进行训练；将多张基础图像进行随机的裁剪缩放进行加权融合形成融合图像，使融合图像中的目标缩小并增加背景的复杂度，可以提高烟火检测模型的检测精度。
附图说明
[0063]
图1为本发明实施例提供的烟火检测模型的结构图；
[0064]
图2为本发明实施例提供的骨干backbone的结构图；
[0065]
图3为本发明实施例提供的csp结构网络；
[0066]
图4为本发明实施例提供的focus结构网络；
[0067]
图5为本发明实施例提供的ssp结构网络；
[0068]
图6为本发明实施例提供的预测标注框与真实标注框的对比图。
具体实施方式
[0069]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0070]
实施例一
[0071]
一种基于图形生成技术的烟火监测方法，包括：采集监测区域的视频图像信号；通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
[0072]
所述烟火检测模型的训练过程，包括：
[0073]
获取烟火图像和非烟火图像，其中获取烟火图像包括两种方法，分别为：
[0074]
(1)直接采集包含烟火的真实图像；
[0075]
(2)采集实际监控场景图像，并设定实际监控场景图像的烟火发生区域；
[0076]
由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像，将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
[0077]
将烟火图像和非烟火图像进行随机缩放和裁剪后构建图片集；将图片集设定比例分为训练子集和测试子集；
[0078]
获取yolox网络结构作为烟火检测模型，如图1所述，烟火检测模型包括：骨干backbone、颈部neck和头部head三部分；
[0079]
如图2所述，所述骨干backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干backbone由focus结构网络、卷积conv2d、csp结构网络、激活函数gelu和ssp结构网络组成；如图3所述，所述csp结构网络对输入自变量进行n次的1
×
1卷积和3
×
3卷积操作，并与输入自变量拼接进行输出；
[0080]
烟火检测模型激活函数gelu计算公式为：
[0081][0082]
公式中，x表示为卷积计算结果；x表示为服从正态分布的随机变量；p(x≤x)表示为x小于或等于x的概率；erf(
·
)表示为高斯误差函数；
[0083]
所述颈部neck用于对堆叠特征进行上采样和上采样获得检测目标；所述颈部neck由上采样模块upsamping、下采样模块downsamping、卷积conv2d和csp结构网络组成；
[0084]
所述头部head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部head由卷积层、分类模块和损失模块组成。
[0085]
通过训练子集对烟火检测模型进行训练，方法包括：
[0086]
对训练子集中融合图像分别进行烟和火进行标注，获得真实结果；
[0087]
将训练子集中的三张融合图像输入至烟火检测模型，如图4所示，通过focus结构网络从输入的融合图像中以间隔的方式提取像素点，且间隔距离为一个像素值，获得独立特征层；将独立特征层进行卷积conv2d增加独立特征层的数量，获得第一级堆叠特征；
[0088]
将第一级堆叠特征重复三次输入由卷积conv2d和csp结构网络组成的resblock模块，分别获得第二级独堆叠特征、第三级堆叠特征、第四级堆叠特征；
[0089]
将第四级堆叠特征依次输入卷积conv2d、csp结构网络和ssp结构网络；获得第五级堆叠特征；如图5所示，ssp结构网络通过使用不同大小的池化核进行最大池化特征提取，提高网络的感受野。
[0090]
所述颈部neck基于图像特征金字塔网络fpn搭建，所述颈部neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标，方法包括：
[0091]
将第五级独立特征层依次输入卷积conv2d，获得第一检测特征；
[0092]
将第一检测特征输入上采样模块upsamping，并与第四级堆叠特征进行拼接，再依次输入csp结构网络和卷积conv2d，获得第二检测特征；
[0093]
将第二检测特征输入上采样模块upsamping，并与第三级堆叠特征进行拼接，再输入csp结构网络，获得第三检测特征，作为检测目标p1；
[0094]
将第三检测特征输入下采样模块downsamping，并与第三检测特征进行拼接，再输
入csp结构网络，获得第四检测特征，作为检测目标p2；
[0095]
将第四检测特征输入下采样模块downsamping，并与第一检测特征进行拼接，再输入csp结构网络，获得第五检测特征，作为检测目标p3；
[0096]
所述头部head对检测目标进行分类检测和损失计算获得检测结果和检测损失值，方法包括：
[0097]
将检测目标p1、检测目标p2和检测目标p3进行1
×
1卷积并划分为分类分支特征和损失分支特征；
[0098]
将分类分支特征输入3
×
3卷积，并进行分类检测获得预测标注框的位置信息和预测标注框内的识别信息，形成检测结果；所述预测标注框的位置信息由预测标注框的宽度、高度和中心点坐标组成；预测标注框内的识别信息由预测标注框内为前景的置信度、检测目标的预测种类及置信度组成；输出检测结果；
[0099]
如图6所示，将损失分支特征输入3
×
3卷积后，并利用预测标注框和真实标注框计算diou损失，作为回归损失值；
[0100]
diou的计算公式如下所示；
[0101][0102]
其中，c是预测标注框和真实标注框并集的外接矩形对角线距离，而d是预测标注框和真实标注框的中心点距离，iou表示为预测标注框和真实标注框交集与预测标注框和真实标注框并集的比值，这样即使预测标注框和真实标注框没有交集也不会使损失值计算为0，而且当两个框一个在一个内部时，也可以获得很好的度量效果。
[0103]
提取预测标注框内的检测目标的特征点，将真实标注框内的特征点作为正样本，将真实标注框外的特征点作为负样本，通过focalloss损失函数计算目标损失值；
[0104]
根据特征点的预测种类与检测目标的真实种类，通过focalloss损失函数计算分类损失值；
[0105]
focalloss损失函数计算，如下所示：
[0106][0107]
γ表示为控制模型对目标大小偏向程度的参数，y表示为真实结果，y
′
表示为预测结果，当预测的结果y
′
趋近于1时，在经过1-y
′
的指数运算之后，损失函数的结果会比较小，但如果预测的结果y
′
比较小，则相对而言会获得比较大的损失值。较大面积的烟火目标的检测对于模型来说比较容易，大目标的预测值一般都会比较大，而小目标的检测都不太容易，所以小目标的预测值一般会偏小，采用focalloss作为损失函数，小面积烟火会获得相对比较大的损失值，因此模型会偏向于提高自身对小面积烟火的预测能力。
[0108]
将回归损失值、目标损失值和分类损失值作为检测损失值；根据检测损失值对神经网络模型进行调整。
[0109]
将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
[0110]
实施例二
[0111]
一种基于图形生成技术的烟火监测系统，本烟火监测系统可以应用于实施例一所
述烟火监测方法，包括：
[0112]
采集模块，用于采集监测区域的视频图像信号；
[0113]
烟火识别模块，用于通过预先训练的烟火检测模型对视频图像信号进行烟火识别，得到烟火检测模型输出的烟区和火区分别通过标注框标识视频图像；
[0114]
烟火图像生成模块，用于采集实际监控场景图像，并设定实际监控场景图像的烟火发生区域；由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像，将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
[0115]
图片集合成模块，获取烟火图像和非烟火图像进行随机缩放和裁剪后构建图片集；
[0116]
图片集划分模块，用于将图片集设定比例分为训练子集和测试子集；
[0117]
训练模块，用于获取yolox网络结构作为烟火检测模型，通过训练子集对烟火检测模型进行训练；
[0118]
测试模块，将测试子集中的图片输入至训练后的烟火检测模型进行测试，获得训练好的烟火检测模型。
[0119]
所述图片集合成模块包括图像采集器、烟火模拟器和图像融合装置；
[0120]
所述图像采集器采集实际监控场景图像；
[0121]
所述烟火模拟器设定实际监控场景图像的烟火发生区域，由烟火发生区域发射粒子，并通过考虑粒子在运行过程中的受力情况模拟烟或火的运动，定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像；
[0122]
所述图像融合装置将烟图像、火图像和实际监控场景图像进行融合，获得烟火图像。
[0123]
所述烟火检测模型包括：骨干backbone、颈部neck和头部head三部分；
[0124]
所述骨干backbone用于对融合图像进行特征提取获得堆叠特征；所述骨干backbone由focus结构网络、卷积conv2d、csp结构网络、激活函数gelu和ssp结构网络组成；所述csp结构网络对输入自变量进行n次的1
×
1卷积和3
×
3卷积操作，并与输入自变量拼接进行输出；
[0125]
所述颈部neck用于对独立特征层进行上采样、下采样和特征拼接获得检测目标；所述颈部neck由上采样模块upsamping、下采样模块downsamping、卷积conv2d和csp结构网络组成；
[0126]
所述头部head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值；所述头部head由卷积层、分类模块和损失模块组成。
[0127]
实施例三
[0128]
本发明第三方面提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述烟火监测方法的步骤。
[0129]
测试用例与领域词典管理主要包括查询、新增、删除、修改与导入导出操作；关键词抽取主要是抽取历史测试用例关键词作为测试用例的附加信息，提取测试人员输入数据关键词与历史关键词进行匹配，加快测试用例推荐速率；测试用例聚类主要是对历史测试用例进行聚类得到测试用例包，以此方式降低测试用例推荐的计算量；测试用例推荐是所
述系统最终目的，使用最优的属性权值与测试文本向量相似度获取最终的相似度值，排序后推荐给测试人员。
[0130]
测试人员在前台页面输入项目领域信息、软件类型，根据测试需求输入文本，后台经过文本向量化、关键词提取、相似度计算等处理，系统输出相关测试用例辅助测试人员测试用例设计，测试人员可选定某条测试用例进行修改利用。
[0131]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0132]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0133]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0134]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0135]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。