基于目标检测与图像序列分类的真伪火焰识别方法及系统与流程
本发明涉及计算机目标检测和图像序列分类,具体涉及基于目标检测与图像序列分类的真伪火焰识别方法及系统。
背景技术:
1、化学实验室、试剂仓储区、无人化仓库和自动化产线常使用可见光摄像机进行火情监测。真实燃烧火焰在连续图像中往往呈现边界不规则变化、内外亮度变化、局部闪烁以及随气流发生的形态演化。
2、监控画面中还存在红黄指示灯、警示灯、显示屏上的火焰画面、金属或玻璃反光、焊接弧光和印刷火焰图案等高亮干扰。这些干扰在单帧上可具有与火焰相近的颜色、亮度或局部轮廓,因而容易被普通检测网络输出为火焰。
3、如果直接将真火和假火设为yolo检测头的两个类别,最终判定仍主要由单帧特征决定,未能完整利用同一目标在多帧中的变化规律。以手工阈值对亮度、矩形度或闪烁频率进行后处理,则需要按摄像机反复调参,对燃料类型、曝光和视角变化的适应性受限。
4、因此,需要一种将高召回候选定位与图像序列真实性分类分离训练和协同推理的技术方案,使后级分类网络能够直接从同一候选轨迹的连续裁剪图像中学习真实火焰与伪火焰的时空差异。
技术实现思路
1、本发明的目的是为了解决现有技术中存在的缺点,而提出的基于目标检测与图像序列分类的真伪火焰识别方法及系统。
2、为实现上述目的,本发明采用了如下技术方案:
3、基于目标检测与图像序列分类的真伪火焰识别方法,所述方法具体步骤如下:
4、s1、图像采集元数据留存,获取摄像机输出的连续视频图像;
5、通过可见光摄像机获取连续视频图像,并保留每帧视频图像对应的帧序号、时间戳、摄像机标识和原始图像尺寸;
6、s2、候选检测:
7、将步骤s1中保留的每帧视频图像输入yolo26候选检测网络,输出火焰候选的边界框和检测置信度;
8、输出的边界框为,检测置信度为;式中,为第个火焰候选目标的矩形边界框;分别为边界框左上角像素横坐标与左上角像素纵坐标;分别为边界框右下角像素横坐标以及右下角像素纵坐标;
9、为第个候选框检测置信度;其中;即,为目标存在分数,表示边界框内存在任意物体的概率;即,为火焰候选类别条件概率,表示在框内存在物体的条件下,该物体属于火焰候选类别的概率,取值范围为[0,1]。
10、所述yolo26候选检测网络不对火焰候选作最终真伪分类。
11、s3、轨迹关联与roi图像序列构建:
12、将相邻帧的火焰候选基于边界框的交并比、中心位移或外观相似度进行轨迹关联,为关联成功的候选分配唯一的轨迹编号;对属于同一候选轨迹的边界框按设定比例扩展后执行裁剪,以保留火焰边缘和部分环境上下文,裁剪得到的图像依次完成等比缩放、填充、bgr至rgb转换和归一化处理,最终按时间顺序写入固定最大长度的轨迹队列,构建出目标框图像序列。
13、所述交并比计算公式为:;式中,为当前帧检测得到的火焰候选边界框;为上一帧已经分配轨迹编号的候选轨迹边界框;
14、以当前帧检测得到的火焰候选边界框进行扩展裁剪,当前帧检测得到的火焰候选边界框中心按照扩展系数做框扩展,反算扩展后对角点坐标并做图像边界钳位;
15、将裁剪图像缩放填充归一化,构建最大序列长度目标框图像序列;设置最小观察帧数;
16、当有效帧数不足最小观察帧数时,输出待判定;
17、不足最大序列长度时复制末尾帧补齐,生成有效掩码区分有效帧数与补齐帧数。
18、s4、外观-演化联合编码与时序编码:
19、将所述目标框图像序列输入序列分类器中,所述序列分类器采用图像序列分类网络sequenceclassifier;通过共享的逐帧编码器对每帧图像提取外观嵌入;根据相邻时刻外观嵌入的差异获得演化嵌入;通过门控自适应控制演化信息注入强度,得到门控融合嵌入;门控融合嵌入经多尺度深度时序卷积和双向gru得到时序编码结果,再利用真实性注意力对有效帧加权池化,得到序列表征;
20、对目标框图像序列中的每帧图像使用共享参数的逐帧编码器,得到统一嵌入空间中的外观嵌入:
21、;式中,为第个时刻的归一化目标框图像;为参数为的共享逐帧编码器;为第个时刻的外观嵌入;所有时刻共享编码器参数,以使各帧嵌入处于同一语义空间中,确保帧间差分具有明确的物理意义;
22、以相邻外观嵌入的绝对差作为跨帧演化的初始表示,经演化投影得到演化嵌入:
23、;式中,为第个时刻的演化嵌入;为包括线性投影的演化变换;当时以零作为差分输入;
24、将外观嵌入和演化嵌入拼接,利用门控自适应控制演化信息的注入强度:;式中,为第个时刻的门控融合嵌入,为由外观嵌入与演化嵌入的拼接特征经门控网络映射、再经s形函数归一化得到的逐元素门控权重,取值区间为(0,1);表示按元素相乘。
25、门控融合嵌入经至少两种时间核尺寸的深度一维卷积聚合局部变化,再经双向gru建模有序前后文:
26、;
27、式中,为时间卷积核尺寸集合;为时间核尺寸为的深度一维卷积;下标的方括号表示将各卷积分支的输出沿通道维拼接;为线性降维映射的权重矩阵,将拼接结果映射回与门控融合嵌入相同的维度,以保持特征幅度稳定;为双向门控循环单元,为时序编码结果序列。
28、对有效时刻的时序编码结果计算真实性注意力,屏蔽补齐帧后得到序列表征:
29、;式中,为有效时刻集合,为真实性注意力评分函数,表示第个有效时刻的归一化注意力权重,表示池化后的序列表征。
30、s5、将池化后的序列表征映射为伪火焰概率和真实火焰概率;
31、将池化后的序列表征输入全连接分类头和归一化指数函数,输出伪火焰概率与真实火焰概率。
32、将步骤s4的池化后的序列表征输出为真伪概率:
33、;式中,和分别表示分类权重和偏置,为按伪火焰、真实火焰排列的概率向量;为伪火焰概率;为真实火焰概率。
34、s6、多状态判决:
35、在候选轨迹达到最小观察帧数后,根据所述真实火焰概率与判决阈值确定真实火焰、伪火焰或不确定状态;
36、候选轨迹的有效帧数小于最小观察帧数时输出待判定状态;
37、即当时,输出待判定;
38、达到最小观察帧数后,当真实火焰概率不小于真火阈值时输出真实火焰;
39、即当时,若,则输出真实火焰;
40、不大于伪火阈值时输出伪火焰;
41、即当时,若,则输出伪火焰;
42、介于两阈值之间时输出不确定状态;
43、即当时,若,则输出不确定状态;
44、式中,为伪火焰判决阈值;为真火判决阈值。
45、s7、识别结果组装输出:
46、输出包含候选轨迹标识、映射至原图的边界框、检测置信度、真实火焰概率和真伪火焰类别的识别结果;
47、将真伪类别、真实火焰概率、检测置信度和候选轨迹标识与当前边界框关联,把边界框映射至原始图像坐标,携带采集阶段保留的元数据及分类阶段产生的全部字段,形成可用于监控显示、事件记录或人工复核的真伪火焰识别结果。
48、基于目标检测与图像序列分类的真伪火焰识别方法的系统,所述系统包括图像获取单元、候选检测单元、轨迹关联单元、目标框序列构建单元、图像序列分类单元以及识别结果输出单元;所述图像获取单元的输出端连接所述候选检测单元的输入端,将附带帧序号、时间戳、摄像机标识、原始图像宽高元数据的视频帧张量传输至所述候选检测单元;所述候选检测单元把输出的火焰候选边界框及其检测置信度输送至所述轨迹关联单元,所述轨迹关联单元完成相邻帧候选框轨迹匹配并分配唯一轨迹编号,将匹配成功的当前帧火焰候选边界框和轨迹编号输出至所述目标框序列构建单元;所述目标框序列构建单元执行边界框扩展裁剪、图像钳位、缩放填充与归一化处理,构建按轨迹编号索引的目标框图像序列,同时统计有效帧数、生成有效掩码,并将目标框图像序列、有效掩码、有效帧数、轨迹编号、原图边界框、检测置信度输出至所述图像序列分类单元;所述图像序列分类单元完成外观嵌入提取、演化嵌入计算、外观-演化门控融合、多尺度时序编码、真实性注意力池化及分类计算,输出伪火焰概率、真实火焰概率,连同轨迹编号、有效帧数、原图边界框、检测置信度一并送至所述识别结果输出单元;所述识别结果输出单元依靠内置的最小观察帧数校验器和包含真火判决阈值、伪火焰判决阈值的双阈值状态机完成四态判决,输出携带各类元数据的结构化真伪火焰识别结果。
49、较佳的,所述系统还包括帧率自适应控制单元;所述帧率自适应控制单元串联布置在所述图像获取单元与所述候选检测单元之间,对轨迹缓存中的相邻帧差分施加时间归一化补偿。
50、与现有技术相比,本发明的有益效果为:本发明采用检测定位与时序真伪分类解耦的两级架构,yolo26 候选检测单元仅负责高召回输出火焰相关候选目标,不承担真伪判定任务,由后级 sequenceclassifier 图像序列分类单元基于同一物理目标的连续图像序列挖掘时空演化特征完成真伪判别,摆脱单帧图像信息不足带来的识别局限;同时设计外观-演化联合编码机制,通过演化嵌入门控自适应调制帧间变化信息的注入强度,不需要固化人工先验判据,能够自适应燃料类型、摄像机曝光、拍摄视角变化,显著降低指示灯、显示屏画面、反光、焊接弧光等伪火焰干扰造成的误报警。
51、另一方面,本发明结合多尺度深度时序卷积与双向 gru 实现多时间尺度时序特征提取,搭配真实性注意力与有效掩码机制,有效消除序列补齐帧、瞬时遮挡、低质量帧对分类结果的干扰;整套系统各单元模块化解耦,检测器、跟踪逻辑、序列分类网络可独立训练、迭代部署,既支持本地边缘设备一体化运行,也支持检测前置、分类后置的分布式部署模式;输出结果完整留存轨迹编号、检测置信度、有效帧数、原图边界框等结构化字段,便于事后人工复核与摄像机参数校准,提升火情监控系统的工程实用性与可追溯性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com