一种双模态图像异常检测方法、检测装置、电子设备及存储介质

摘要: 本发明涉及图像处理与场景检测,具体涉及一种双模态图像异常检测方法、检测装置、电子设备及存储介质。背景技术:1、在油田及其他工业场景中,采用无人机搭载红外图像载荷...
一种双模态图像异常检测方法、检测装置、电子设备及存储介质

本发明涉及图像处理与场景检测,具体涉及一种双模态图像异常检测方法、检测装置、电子设备及存储介质。

背景技术:

1、在油田及其他工业场景中,采用无人机搭载红外图像载荷和可见光载荷进行大范围智能巡检,已成为发现热异常和泄漏疑似区域的重要技术手段。红外图像能够反映目标区域的热响应分布,适合用于发现疑似高温区域和异常热斑;可见光图像能够提供人员、车辆、设备、道路、裸土、积雪和水体等外观信息,适合用于解释红外热异常的来源。两者职责不同,红外模态承担异常发现职责,可见光模态承担语义解释和负证据排除职责。

2、 现有技术中,双模态图像异常检测方案通常包括以下几类: 第一类是基于红外阈值与形态学处理的热异常提取方法。该类方案对红外图像进行颜色空间转换或亮度阈值分割,获得热异常掩膜,再通过连通域分析生成候选区域。其局限在于:采用全局阈值对比方式,当场景中存在积雪反光、裸土吸热、融雪水坑、道路轮辙或沟壑边缘等因素时,背景区域的热响应分布与真实泄漏重叠,导致大量伪热异常候选,无法区分绝对高温与局部相对异常。 第二类是基于可见光目标检测的硬排除方法。该类方案在可见光图像中检测人员、车辆、设备等合法热源目标,根据红外候选区域与目标检测框的重叠关系直接删除候选。其局限在于:当真实泄漏发生在设备、车辆或管线邻近区域时,硬删除策略容易误删真实漏点;当目标检测框存在偏移或跨模态对齐误差时,简单的交并比规则难以准确表达合法热源目标对热异常的解释程度。 第三类是基于红外与可见光特征融合的端到端深度学习方法。该类方案将红外与可见光图像在特征层进行拼接或注意力融合,通过端到端监督训练完成检测。其局限在于:需要大量配对标注样本支撑端到端训练,而油田泄漏属于高危低频事件,真实正样本的采集和标注难度高;特征层融合将红外的异常发现职责与可见光的语义解释职责混合,降低了各模态的可解释性。 第四类是将视觉语言模型直接用于整图判断的方法。该类方案将整帧图像直接送入视觉语言模型进行开放式判断。其局限在于:无人机巡检图像中真实异常区域通常只占整图较小比例,整图输入会使局部异常证据被大面积背景稀释;红外伪彩图像不等同于自然rgb图像,开放式文字输出容易产生与视觉证据不一致的语义描述;输出为自由文本,缺乏结构化字段和可追溯证据链,难以满足高可靠性场景的应用需求。 而且,逐帧独立检测会导致同一候选区域反复生成新编号、候选框闪烁报警状态跳变以及视觉语言模型重复调用。

3、此外,目前的智能巡检方案在不同油田、不同季节、不同地表状态下难以持续适配,因此,急需一种能够降低误删风险、提高复核准确性与稳定性,并支持多场景持续适配的异常检测方案。

技术实现思路

1、为克服现有检测方法在复杂场景下小异常易被误剔除,以及缺乏多场景持续适配的问题,本发明提供了一种双模态图像异常检测方法、检测装置、电子设备及存储介质。该方法利用第二模态的语义信息对第一模态候选区域进行软性风险调节,同时对保留的疑难候选区域施加结构化约束,从而精准筛选异常候选区域并实现可靠复核。

2、为实现上述目的,本发明采用如下技术方案:

3、一种双模态图像异常检测方法,包括:获取第一模态图像,并基于所述第一模态图像确定初始异常候选区域;获取与所述第一模态图像对应的第二模态图像,基于所述第二模态图像中的语义信息确定所述初始异常候选区域的语义关联指标,并基于所述语义关联指标对所述初始异常候选区域的风险状态进行非二值化调节,得到目标候选区域;构建包含所述目标候选区域在所述第一模态图像和所述第二模态图像中的局部视图的多模态复核输入;在预设的结构化推理约束下,通过多模态大模型对所述多模态复核输入进行处理,输出所述目标候选区域的结构化复核结果。

4、优选地,所述基于所述第二模态图像中的语义信息确定所述初始异常候选区域的语义关联指标,并基于所述语义关联指标对所述初始异常候选区域的风险状态进行非二值化调节,包括:基于所述第二模态图像进行目标检测,获取合法热源目标区域;基于所述初始异常候选区域与所述合法热源目标区域的空间交叠关系、检测置信度以及类别属性,确定所述初始异常候选区域的合法热源解释度;基于所述合法热源解释度,对所述初始异常候选区域的风险状态执行降级处理或保留复核处理。

5、优选地,所述基于所述初始异常候选区域与所述合法热源目标区域的空间交叠关系、检测置信度以及类别属性,确定所述初始异常候选区域的合法热源解释度,包括:根据所述合法热源目标区域的类别属性,对所述合法热源目标区域对应的检测框进行差异化外扩,得到扩展合法热源区域;计算所述初始异常候选区域与所述扩展合法热源区域的交叠面积比;基于所述交叠面积比、所述检测置信度以及所述类别属性对应的预设权重,计算所述初始异常候选区域的合法热源解释度。

6、优选地,所述基于所述第二模态图像中的语义信息确定所述初始异常候选区域的语义关联指标,并基于所述语义关联指标对所述初始异常候选区域的风险状态进行非二值化调节,包括:在所述第二模态图像中,提取所述初始异常候选区域对应的上下文区域的图像特征;基于所述图像特征,将所述上下文区域的背景分类为预设的地表类型;基于所述地表类型确定负证据分数,并基于所述负证据分数对所述初始异常候选区域的风险状态进行抑制调节。

7、优选地,所述构建包含所述目标候选区域在所述第一模态图像和所述第二模态图像中的局部视图的多模态复核输入,包括:以所述目标候选区域为中心,分别裁剪所述第一模态图像和所述第二模态图像,得到第一模态局部图和所述第二模态局部图;基于所述目标候选区域在所述第一模态图像中的邻域响应数据,生成标准化热分布重建图;将所述第一模态局部图、所述第二模态局部图以及所述标准化热分布重建图进行拼接,得到多视图复核面板,并将所述多视图复核面板作为所述多模态复核输入。

8、优选地,在所述预设的结构化推理约束下,通过多模态大模型对所述多模态复核输入进行处理,输出所述目标候选区域的结构化复核结果,包括:在所述结构化推理约束下,控制所述多模态大模型依次执行地表类型分类、热对齐类型分类、外观证据判断和热支撑判断;控制所述多模态大模型基于依次执行的判断结果,输出包含地表属性、热异常类型、风险等级和复核结论字段的结构化复核结果。

9、优选地,所述方法还包括:对连续帧图像中的所述初始异常候选区域进行跨帧关联,以维护候选轨迹编号;将所述结构化复核结果绑定至对应的所述候选轨迹编号;在后续帧中匹配到所述候选轨迹编号时,若满足预设的复核缓存机制,则复用已绑定的所述结构化复核结果。

10、一种双模态图像异常检测装置,包括:所述数据采集与预处理模块,用于接收采集到的视频帧或图像帧,通过图像切分、时间对齐、视场对应及基础去噪处理,建立红外图像与可见光图像之间的精准空间对应关系,为后续候选区域生成与语义排除提供对齐且可靠的跨模态输入;候选生成模块,基于hsv阈值分割与连通域分析生成高召回率的初始候选区域,并提取多维几何特征,通过两级过滤机制剔除形态明显不符合泄漏特征的背景伪候选,从而在保留真实泄漏的同时降低后续模块的处理负担;多证据评估模块,用于通过局部z-score异常图和热拓扑评分提供热证据,通过rgb背景分类提供负证据,通过合法热源检测与软抑制提供解释度调节,并综合各项评分计算候选最终风险分数,将候选状态划分为丢弃、降级、待复核和高风险四级;复核模块,用于对待复核候选区域构建多视图复核面板,包括红外局部图、可见光局部图、标准化热分布重建图及rgb放大辅助图,并组织为结构化输入,由视觉语言模型输出包含风险等级、证据描述等字段的结构化风险结果,完成受约束的语义复核;所述输出模块,用于在视频画面中绘制确认后的候选轨迹,输出标注后的候选框、风险等级、复核状态及结构化文件,并以轨迹为单位记录候选目标的完整生命周期数据,形成可追溯的检测结果,支持人工复核与审计。

11、一种电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述的双模态图像异常检测方法。

12、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行前述的双模态图像异常检测方法。

13、有益效果:

14、1、本发明可同时执行计算候选区域被设备、车辆等目标解释的程度,以及计算候选区域受雪地、裸土等背景干扰程度两条路径,在综合评价阶段将两者融合,并根据两个指标的联合分布来决定是降级、保留还是送入复核。这种双通道的语义调节架构,使得本发明能够同时应对人造热源干扰和自然环境干扰两大类误报源头,相比单一维度的调节策略,显著拓宽了技术的适用边界与防御纵深。

15、2、本发明提出一种通过基于第二模态语义信息的软调节机制,改变了现有技术中基于固定阈值硬删除候选区域的方式。将第二模态中的目标语义与背景语义量化为对第一模态候选的解释度或干扰度,以此对风险状态进行连续的软性调节而非二值判定,从而在有效压缩误报的同时,保留了位于复杂背景或合法热源邻近区域的微小真实异常进入复核环节的机会,显著降低了漏检率。

16、3、本发明通过构建包含局部视图与标准化热分布重建图的多模态复核输入,并在结构化推理约束下驱动多模态大模型进行处理,解决了大模型直接处理整图时局部特征被背景稀释以及输出结果缺乏约束的技术难题。其原理在于通过局部裁剪强制模型聚焦于异常本体,通过标准化重建消除环境动态范围差异,并通过分步推理协议规范模型的认知过程,最终输出包含完整证据链的结构化复核结果,大幅提升了复核结论的准确性、稳定性与可追溯性,为智能化异常检测提供了有效的技术支撑。