AI篡改图像的区域级多生成器归因方法及装置

摘要: 本发明属于信息,提供一种ai篡改图像的区域级多生成器归因方法及系统。背景技术:1、随着生成式人工智能技术快速发展,ai图像生成、图像局部编辑工具得到广泛普及,利...
AI篡改图像的区域级多生成器归因方法及装置

本发明属于信息,提供一种ai篡改图像的区域级多生成器归因方法及系统。

背景技术:

1、随着生成式人工智能技术快速发展,ai图像生成、图像局部编辑工具得到广泛普及,利用不同生成模型对图像做分区域篡改编辑的情况日益增多,由此带来虚假信息传播、版权侵权、电子证据可信度存疑、学术图片造假等诸多现实问题,因此ai篡改图像取证技术成为数字内容安全领域的研究热点。

2、现有ai图像取证技术主要分为图像级伪造检测技术、像素级伪造定位技术、图像级生成器溯源技术三类。其中,图像级伪造检测技术,主要通过捕获图像全局语义不一致或者统计伪影,判断整张图像是否属于ai生成或者被篡改。该类方法仅能够输出图像整体是否被伪造的结论,无法定位篡改发生的具体区域,更不能识别各个篡改区域对应的生成来源;当篡改仅发生在图像局部小区域时,全局证据聚合的处理方式会造成对局部篡改不敏感,极易发生漏检。像素级伪造定位技术,通过解析图像局部噪声模式、高频特征不一致,输出篡改区域掩码,能够回答篡改发生在哪些像素位置。但是该类方法普遍隐含技术假设:图像内全部篡改区域均来自同一生成模型、篡改痕迹类型单一。而真实取证场景下,一张图像不同区域往往会由多个不同ai生成模型分别编辑篡改,不同生成器的伪造痕迹混杂在一起,像素级定位技术只能区分“真实”和“篡改”二分类,会将所有不同来源的篡改混同为同一类篡改,丢失各篡改区域对应的生成器来源信息,无法完成分区域溯源,不能满足异构多源篡改图像的取证需求。

3、图像级生成器溯源技术,以整张图像为处理单元,为整幅图像预测单一的生成器标签。该类方法的核心前提是假设整张图像由同一个生成模型生成。面对多模型异构编辑的真实场景,图像不同位置由不同生成器生成篡改内容时,单一全局标签会忽略不同篡改区域的来源差异,容易发生溯源误判,无法刻画图像内部不同区域的生成来源差异。

4、综上,现有三类技术分别只能解决是否篡改,篡改位置以及整张图来自哪个生成器中的部分问题,无法在像素和区域粒度同时完成篡改区域定位,并且区分每一块篡改区域对应的生成器来源,难以应对单源、双源乃至多源混合篡改的复杂取证场景。因此,亟需一种能够实现区域粒度的生成器溯源方案,同时输出篡改位置与对应生成来源,适配真实场景下多生成器异构篡改图像的取证识别需求。

技术实现思路

1、有鉴于上述情况,本发明的目的在于提供一种ai篡改图像的区域级多生成器归因方法。

2、为达到上述目的,本发明提供了如下技术方案:

3、一种ai篡改图像的区域级多生成器归因方法,包括:

4、获取待检测图像以及不携带生成器具体信息的类别无关取证提示,所述类别无关取证提示为输入文本编码器的通用取证文本,不包含生成器名称、不描述生成器特有指纹,仅描述各类 ai 篡改区域共有的通用取证线索,所述通用取证线索包括纹理不一致、不自然边界、合成视觉伪影;所述类别无关取证提示用于配合可变形注意力定位 ai 篡改异常区域,并用于判断 ai 图像对应的生成器原型;

5、通过多模态编码,分别对所述待检测图像提取多尺度图像特征,对所述类别无关取证提示提取文本嵌入特征;

6、利用所述文本嵌入特征对一组可学习查询进行交叉注意力引导处理,得到具备篡改感知语义的查询表征,将篡改证据查找与空间证据收集过程进行解耦;

7、采用多尺度可变形注意力机制,在多尺度图像特征上对查询表征做稀疏取证证据聚合,输出适配篡改区域形态的区域感知查询;

8、结合预构建的可学习生成器原型集合,对区域感知查询做相似度比对得到各生成器的概率信息,并预测得到对应软掩码;将概率信息与软掩码进行像素维度的融合聚合,再执行归一化处理,生成像素级的密集生成器溯源图,所述密集生成器溯源图的像素包含真实类别以及各生成器篡改类别,所述密集生成器溯源图是将查询维度的生成器概率与软掩码逐像素融合聚合得到各生成器证据图,在篡改前景范围内做归一化运算并经上采样后得到,所述密集生成器溯源图的像素包含真实类别以及各生成器篡改类别;

9、采用多组件组合损失函数对网络实施端到端联合训练,其中损失函数同时监督像素类别预测、篡改前景边界效果以及生成器证据图的空间对齐效果,所述多组件组合损失函数包括密集交叉熵损失、前景 dice 损失和生成器证据对齐损失。

10、进一步地,所述利用所述文本嵌入特征对一组可学习查询进行交叉注意力引导处理包括:

11、由文本嵌入特征投影生成键特征与值特征,可学习查询与键特征、值特征完成交叉注意力计算,再经过层归一化后输出具备篡改感知语义的查询表征。

12、进一步地,所述多尺度可变形注意力机制包括:

13、为每一个查询预测稀疏采样偏移量与注意力权重,跨不同特征尺度自适应选取采样位置,适配形状不规则的篡改区域,以在避免过度汇集真实图像内容的前提下完成稀疏取证证据聚合。

14、进一步地,生成密集生成器溯源图的步骤包括:

15、将区域感知查询分别与各个生成器原型计算相似度,换算得到查询维度下各生成器的概率;

16、基于最高分辨率的图像特征,通过投影内积运算预测各个查询对应的软掩码,软掩码表征对应查询在各个像素位置的空间作用范围;

17、将查询维度的生成器概率和软掩码逐像素融合聚合,形成每一生成器对应的证据图;

18、结合全部生成器证据图计算前景篡改信息与真实像素信息,在篡改前景范围内做归一化运算,经上采样处理得到密集生成器溯源图。

19、进一步地,所述多组件组合损失函数包括用于监督像素级类别预测的密集分类损失、用于优化篡改区域定位与边界的前景损失、用于约束生成器证据图空间位置匹配的证据对齐损失,三类损失按照预设权重相加得到总损失,完成网络端到端训练。

20、进一步地,还包括图像级归因导出步骤:

21、统计密集生成器溯源图中各类别像素的占比;

22、当真实类别像素占比大于设定阈值,则判定整张图像为真实图像;反之,将占比最高的篡改生成器类别作为整张图像的溯源标签,兼容传统整张图像级溯源识别任务。

23、还提供一种ai篡改图像的区域级多生成器归因装置,执行上述的ai篡改图像的区域级多生成器归因方法,包括:

24、多模态取证特征编码模块,配置为接收待检测图像以及类别无关取证提示,输出多尺度图像特征与文本嵌入特征;

25、取证查询引导模块,配置为利用文本嵌入特征对可学习查询实施交叉注意力引导,输出具备篡改感知语义的查询表征;

26、可变形证据汇集模块,配置为采用多尺度可变形注意力完成稀疏取证证据聚合,输出区域感知查询;

27、原型生成器溯源模块,配置为结合生成器原型集合完成概率计算、软掩码预测、证据图聚合与归一化,输出像素级密集生成器溯源图;

28、网络训练模块,配置为采用多组件组合损失函数,对整个网络执行端到端联合训练。

29、本发明的有益效果是:

30、1、首次实现区域到生成器的显式映射,本发明输出像素级密集溯源图,同时给出篡改区域位置与各区域所属生成器,将现有“是否/何处/全局哪个”三类判断统一为“区域粒度哪个生成器”,填补了编辑溯源细粒度化方面的空白。

31、2、原生支持多生成器异构篡改,基于同一框架即可处理单源、双源乃至三源篡改,无需为不同来源数量单独设计模型;在双源与三源设定下均达到最优的平均性能水平。

32、3、证据-位置-来源渐进式解耦设计,将“寻找证据、聚合证据、判别来源”三个环节分离为独立模块,各模块可分别优化、可解释、易扩展,也便于针对新生成器仅更新原型或引导模块。

33、4、性能全面领先,单源区域级溯源miou58.01、mrecall69.33,较最强基线分别提升7.31与5.98个百分点;双源设定下miou52.27、mrecall67.88,全类别最优;图像级宏平均准确率79.09,较最优基线提升10.83;二值篡改定位iou/召回率68.24/80.59,均优于全部基线。

34、5、类别无关取证引导增强泛化,取证提示不含生成器名称,原型机制自动聚拢类别中心,新增/删减生成器只需更新原型或引导模块。