一种基于证伪驱动层级多实例学习的高分辨率人工智能生成图像检测方法
本发明涉及计算机视觉、图像取证和深度学习,尤其涉及一种基于证伪驱动层级多实例学习的高分辨率人工智能生成图像检测方法。
背景技术:
1、人工智能生成图像的视觉质量持续提高,人工合成内容与真实摄影图像之间的外观差异日益减弱。人工智能生成图像检测的目标是在真实图像与生成模型合成图像之间进行区分。
2、现有检测方法通常将整幅图像缩放至视觉骨干网络的固定输入尺寸,或者仅选取一个局部裁剪区域进行判断。整图缩放可能丢失原始分辨率下的局部信息,单区域裁剪则不能保证覆盖完整图像,容易遗漏仅在部分区域中出现的高人工生成响应。上述问题在高分辨率图像中尤为突出。
3、另一方面,人工智能生成图像中的可判别信号在不同局部区域中的响应强度存在差异。现有方法通常关注整体图像或对所有局部区域进行平均聚合,因而要求生成信号在图像中呈现较广泛的一致性;当生成信号仅集中于某一局部区域时,该局部的高响应容易被其他区域的低响应稀释。现有方法还容易利用同一图像内部实例之间的内容同质性或数据集偏差形成捷径,而没有真正学习能够跨生成模型泛化的局部人工合成痕迹。
4、因此,需要将判定思路由“根据图像整体信息确认生成属性”转变为“搜索能够否定图像真实性的局部证据”:整幅图像为真实图像是对全部局部区域的整体性假设,只要任一局部区域出现足以证明人工生成属性的响应,即可否定所述真实性假设并将整幅图像判定为人工智能生成图像。
5、综上,现有技术的问题在于,在不通过整图缩放丢失局部细节、且不依赖单一裁剪区域的情况下,如何对高分辨率图像中响应强度不同的局部人工生成证据进行多粒度建模,避免具有高人工生成响应的个别局部实例被整体或平均聚合结果削弱,使任一足以否定图像真实性假设的局部证据能够主导整幅图像的判定,并降低训练模型利用图像级捷径特征的风险。
技术实现思路
1、本发明目的在于针对现有技术的不足,提出一种基于证伪驱动层级多实例学习的高分辨率人工智能生成图像检测方法。
2、本发明的目的是通过以下技术方案来实现的:一种基于证伪驱动层级多实例学习的高分辨率人工智能生成图像检测方法,包括:
3、首先对训练数据集进行互不重叠的图像块划分,对得到的每个局部图像块输入预训练的视觉编码器,得到对应局部图像块的类别标记特征和补丁标记特征,并构建为图像块级实例包和补丁级实例包;
4、构建图像检测网络,该网络计算过程包括:图像块级实例包经过上下文建模与门控注意力多实例聚合,得到图像块级表示,补丁级实例包分别得到补丁级包表示;对补丁级包表示输入具有可学习查询标记的补丁级聚合器,得到补丁级表示;将图像块级表示和补丁级表示通过门控网络进行融合,然后使用融合分类器得到人工智能生成概率;
5、对图像检测网络进行训练,在训练阶段,输入网络前对实例包实行跨图像实例重组;将待检测高分辨率图像对应的实例包输入到训练后的图像检测网络实现检测。
6、进一步地,所述互不重叠的图像块划分具体为:
7、给定图像级监督数据集,其中包含图像级二分类标签;分别表示真实图像和人工智能生成图像;
8、训练阶段保持图像的原始分辨率,按照取块尺寸和步长依次提取能够完整包含取块尺寸大小像素的局部图像块,使相邻训练图像块互不重叠;训练图像边缘像素小于步长的区域不单独取块;当待检测图像的高度或宽度不能被步长整除时,将相应方向上最边缘图像块的起始位置调整至与图像边界对齐,以完整覆盖待检测图像。
9、进一步地,所述图像块级实例包和补丁级实例包的构建过程包括:
10、将每个局部图像块独立输入参数冻结的视觉编码器,针对第幅图像的第个局部图像块,编码器输出一个类别标记特征以及个补丁标记特征;类别标记特征作为对应局部图像块的图像全局特征;补丁标记特征作为该局部图像块内部更小空间区域的图像局部特征;
11、对于第幅图像,将获得的每个局部图像块内部的补丁标记特征构成一个补丁级实例包,将同一图像的类别标记特征构成一个图像块级实例包。
12、进一步地,所述跨图像实例重组具体为:
13、在一个训练批次内,针对当前层级收集真实图像来源实例以形成真实实例池,并收集人工智能生成图像来源实例以形成生成实例池;所述实例池由批次内多个来源图像共同构建,是批次级替换样本来源,不由某一个目标实例包单独建立;
14、对于包含个实例的目标实例包,随机选择个替换位置,其中,并从目标实例包所属图像之外的其他训练图像中采样替换实例;
15、对于真实目标实例包,被选择位置只允许写入从采样的实例,未被选择位置保留原真实实例,因而重组结果仍为全真实实例包;
16、对于生成目标实例包,被选择位置可以写入从或采样的实例,未被选择位置保留原生成目标实例包中的实例;
17、完成位置写入后,将个实例的顺序随机打乱并继承原目标实例包的标签。
18、进一步地,所述上下文建模与门控注意力多实例聚合具体为:
19、对于训练阶段的重组实例包或推理阶段的原始实例包,记其包含个实例特征,其中=1,…,;
20、将实例包输入transformer上下文建模模块,得到对应的上下文化实例特征;
21、实例分类器针对每个上下文化实例特征输出表示人工智能生成类别的标量logit ;所述logit经sigmoid函数映射后表示对应实例的人工智能生成概率;
22、门控注意力分支通过两个线性映射、双曲正切函数和sigmoid函数计算实例注意力分数:
23、
24、其中,、和为可学习参数,表示逐元素相乘;
25、针对同一实例包的个实例,对得到的进行softmax归一化,得到注意力权重:
26、
27、利用得到的同一组注意力权重,分别对实例特征和实例级logit加权求和,得到包级表示和包级logit ;;
28、包级表示沿特征表示流进入后续补丁级聚合或层级融合;包级logit 沿分类分数流用于包级监督,并经sigmoid函数映射为包级生成概率;当某一局部实例同时具有较高注意力权重和较高人工智能生成类别logit时,该局部证据能够对包级logit产生较大贡献并主导包级判定。
29、进一步地,所述将图像块级表示和补丁级表示通过门控网络进行融合具体为:
30、对图像块级表示和补丁级表示使用补丁级分类器和图像块级分类器分别输出补丁级logit 和图像块级logit ;
31、门控网络仅以得到的和为输入,并通过sigmoid函数输出融合权重,其中表示补丁级表示的权重,1-α表示图像块级表示的权重;
32、对补丁级表示和图像块级表示进行融合,表示为:
33、
34、融合分类器以融合后表示为输入,输出融合logit,并经sigmoid函数将所述融合logit映射为融合分支的人工智能生成概率。
35、进一步地,所述对图像检测网络进行训练中,对于任一分支的预测概率和图像级标签,采用二分类交叉熵损失进行监督;
36、将一个图像块级实例包的包级损失与个补丁级实例包的包级损失求和,得到包级监督损失;将补丁级分类损失、图像块级分类损失和融合分类损失求和,得到分类监督损失;总训练损失为:
37、
38、和采用相同权重并直接求和;预训练视觉编码器保持冻结,对网络中的transformer上下文建模模块、门控注意力多实例聚合模块、补丁级聚合器、各分支分类器及门控网络根据总训练损失更新。
39、进一步地,所述将待检测高分辨率图像对应的实例包输入到训练后的图像检测网络实现检测中具体为:原始实例包经过门控注意力多实例聚合、补丁级聚合、门控网络和表示级融合后,由融合分类器输出人工智能生成概率,将得到的人工智能生成概率与预设阈值比较;若所述概率大于预设阈值,则判定为人工智能生成图像,否则判定为真实图像。
40、根据说明书的另一方面,还提供了一种基于证伪驱动层级多实例学习的高分辨率人工智能生成图像检测装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现所述的一种基于证伪驱动层级多实例学习的高分辨率人工智能生成图像检测方法。
41、根据说明书的另一方面,还提供了一种计算机可读存储介质,其上存储有程序,所述程序被处理器执行时,实现所述的一种基于证伪驱动层级多实例学习的高分辨率人工智能生成图像检测方法。
42、本发明的有益效果:
43、其一,本发明在原始分辨率下处理高分辨率图像,并在测试阶段保证对待检测图像的完整空间覆盖,减少整图缩放造成的细粒度取证线索损失,并降低单区域裁剪遗漏异常区域的风险。
44、其二,本发明通过图像块级实例包和补丁级实例包分别建模区域语义证据与细粒度局部证据,并以自适应门控方式融合两级表示,能够适应不同图像中证据粒度和分布的变化。
45、其三,cross-shuffle在标签约束下重新组合跨图像实例,减少模型对图像内容、固定空间位置或同图像同质性特征的依赖,促使模型学习局部人工生成痕迹。
46、其四,门控注意力和实例分类分数的联合加权降低局部高人工生成响应被全局平均稀释的程度,使同时具有较高注意力权重和较高人工智能生成类别分数的局部实例能够优先影响并主导包级判定,同时保留包级表示供后续层级融合。
47、其五,证伪驱动聚合使人工智能生成响应较高的局部图像块优先影响图像级判定,当局部证据足以否定图像真实性假设时,将整幅图像判定为人工智能生成图像。该聚合方式可直接应用于已有检测器,无需重新训练。
48、其六,在一实施例的统一实验条件下,本发明方法在genimage、drct及hires-50k上的平均准确率分别达到98.4%、98.62%和81.43%;消融实验中,完整ltf的平均准确率为98.40%,较baseline提高6.54个百分点,说明cross shuffle与mil head能够协同增强跨生成模型泛化能力和高分辨率局部人工生成证据检测能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com