一种基于多架构自编码器的人工智能生成图像检测方法和设备
本发明涉及图像取证,尤其涉及一种基于多架构自编码器的人工智能生成图像检测方法和设备。
背景技术:
1、随着扩散模型、隐空间扩散模型及视觉自回归建模等生成技术的飞速发展,人工智能生成图像在逼真度与传播广度上实现了质的飞跃,图像真实性验证与数字取证的需求日益迫切。在此背景下,为提升生成图像检测的准确性与泛化能力,相关研究主要划分为主动取证与被动取证两大技术路线。
2、主动取证方法依赖在图像生成阶段预先嵌入数字水印或隐写标记以实现溯源,但对于已广泛传播且无嵌入标记的伪造内容难以有效应对;被动取证方法通过分析图像内在特征进行真伪鉴别,其中基于频域滤波残差的检测方案通过提取高频分量的统计异常来判别真伪,基于噪声感知的检测方案则利用真实图像与生成图像在噪声分布上的差异进行鉴别。然而此类方法过度依赖单一域的特征表达,难以全面刻画生成图像复杂且多层次的结构特征,对新型生成模型的泛化能力不足;基于扩散反演的检测方法通过多步噪声反演和重建来捕获生成痕迹,虽具有较好的可解释性,但计算开销较大,难以满足大规模图像内容审核的实时性需求;基于单一自编码器重建距离的检测方法计算开销较低,但面对生成器架构差异和野外图像内容多样性时,重建误差的表征能力受限,跨生成器泛化性能不足。
3、在实际应用场景中,不同架构生成器产生的伪造痕迹在图像低级纹理、局部结构和重建残差中呈现明显的差异性,检测网络若直接接收含有完整图像轮廓和场景结构的重建图或误差图,容易在训练过程中拟合物体类别、场景、构图等高级语义特征,而非聚焦于生成器产生的低级伪造痕迹,导致在跨生成器或野外检测场景下产生偏差。同时,现有方法缺乏对多架构自编码器重建误差图的有效归一化与融合机制,难以在保持较低计算开销的同时提升对多源伪造痕迹的综合感知能力。这使得检测系统在面对融合扩散技术的视觉自回归类等新型生成模型时,检测准确率显著下降,在实用性与泛化性方面存在明显不足。
技术实现思路
1、本发明的目的是为了解决现有技术中存在的缺点,而提供了一种基于多架构自编码器的人工智能生成图像检测方法,包括以下步骤:
2、s1:获取待测图像,对所述待测图像进行尺寸调整和像素归一化,得到预处理图像,将所述预处理图像分别输入自编码器集合中的多个自编码器,所述自编码器来源于至少两种不同架构的扩散模型,通过各所述自编码器中的编码器和对应的解码器,得到多个重建图像;
3、s2:分别计算所述预处理图像与各重建图像之间的差异,得到多个重建误差图;
4、s3:基于训练集统计量分别对多个重建误差图进行归一化处理,并将归一化后的多个重建误差图进行拼接融合或加权融合,得到多架构重建误差融合表征;
5、s4:将所述多架构重建误差融合表征划分为多个互不重叠的表征块,重组所述多个表征块的空间位置并重新拼接,得到分块重组表征;
6、s5:将所述分块重组表征输入卷积检测网络,所述卷积检测网络的第一层卷积的输入通道数,与所述分块重组表征的通道数相等;通过所述卷积检测网络提取局部重建残差特征并进行二分类,输出所述待测图像为真实图像或人工智能生成图像的检测结果。
7、优选地,在步骤s1中,自编码器集合的构建及所述预处理图像的获得,包括:
8、s11:从多个扩散生成模型中分别提取自编码器,并根据各自编码器的网络层级、隐空间通道数、下采样倍数或者训练图像分布确定自编码器之间的架构差异;
9、s12:从具有所述架构差异的自编码器中选择至少两个自编码器组成所述自编码器集合,使不同自编码器分别对应不同的图像重建参数空间;
10、s13:根据所述自编码器集合中各自编码器的输入尺寸要求,对所述待测图像进行等比例缩放、中心裁剪或者填充处理,得到统一尺寸的图像;
11、s14:根据各自编码器的输入数值范围,对所述统一尺寸的图像执行像素归一化,并将归一化结果分别转换为各自编码器所要求的输入张量,以使多个自编码器对同一待测图像执行并行重建。
12、优选地,在步骤s2中,分别计算所述预处理图像与各重建图像之间的差异,得到多个重建误差图,包括:
13、s21:将第个自编码器的编码器记为,将对应的解码器记为,将所述预处理图像记为,通过下式得到第个重建图像:
14、;
15、s22:计算所述预处理图像与所述第个重建图像之间的逐像素绝对差,得到绝对误差分量;
16、s23:计算所述预处理图像与所述第个重建图像之间的平方差、梯度差或者感知特征差中的至少一种,得到辅助误差分量;
17、s24:将所述绝对误差分量与所述辅助误差分量沿通道维度拼接,或者按照预设误差系数进行加权组合,得到第个重建误差图,以同时表征像素强度差异、局部边缘差异和纹理重建差异。
18、优选地,在步骤s3中,对多个重建误差图进行归一化处理,包括:
19、s311:将训练集中的真实图像样本和人工智能生成图像样本分别输入所述自编码器集合,得到各自编码器分支对应的训练重建误差图;
20、s312:分别统计第个自编码器分支的训练重建误差图在各通道上的均值和标准差,并将所述均值和标准差存储为所述第 个自编码器分支对应的误差统计量;
21、s313:在检测所述待测图像时,按照下式对所述第个自编码器分支的重建误差图进行归一化:
22、,
23、其中,为第个自编码器的重建误差,为第i个自编码器重建误差在训练集上的均值,为第i个自编码器重建误差在训练集上的标准差;
24、s314:对归一化结果进行数值截断或者非线性映射,将超出预设数值区间的误差值限制在所述预设数值区间内,以降低异常像素对后续融合和分类过程的影响。
25、优选地,在步骤s3中,得到多架构重建误差融合表征,包括:
26、s321:按照固定的自编码器分支顺序,对归一化后的多个重建误差图沿通道维度进行拼接,得到包含多个自编码器分支误差信息的初始融合表征;
27、s322:为不同自编码器分支分别设置分支权重,所述分支权重根据对应自编码器分支在验证集上的检测性能预先确定,或者设置为能够随卷积检测网络共同训练的可学习参数;
28、s323:对多个所述分支权重进行归一化,使归一化后的分支权重之和为1,并将各分支权重分别作用于对应的归一化重建误差图;
29、s324:对经过权重调节的多个归一化重建误差图进行拼接,或者通过逐点卷积执行跨分支通道融合,得到所述多架构重建误差融合表征,使所述多架构重建误差融合表征同时包含不同自编码器分支的独立重建痕迹和分支间的关联信息。
30、优选地,在步骤s4中,得到分块重组表征,还包括:
31、s411:将所述多架构重建误差融合表征的高度和宽度分别调整为分块数量的整数倍;
32、s412:沿高度方向和宽度方向分别将所述多架构重建误差融合表征均匀划分为 n份,得到 n×n 个尺寸相同且互不重叠的表征块,其中 n 为大于1的整数;
33、s413:生成包含 n×n 个位置索引的置换序列,并按照所述置换序列将各表征块由原始位置映射至对应的目标位置;
34、s414:在所述多架构重建误差融合表征包含多个自编码器分支通道时,使不同自编码器分支中具有相同原始空间位置的表征块采用同一位置映射关系进行同步置换;
35、s415:将同步置换后的多个表征块按照目标位置重新拼接,得到所述分块重组表征,以破坏图像中的整体轮廓、物体布局和场景结构,同时保持各表征块内部的局部纹理及跨分支误差对应关系。
36、优选地,置换序列的生成和使用,包括:
37、设置伪随机数种子,并根据所述伪随机数种子以及所述分块数量生成候选置换序列;
38、对所述候选置换序列进行位置重复性检查和完整性检查,确定每个原始位置索引仅对应一个目标位置索引,且全部目标位置均被使用;
39、在训练阶段,从多个通过所述检查的候选置换序列中选择至少一个置换序列对训练样本进行分块重组,并保持同一训练样本的各自编码器分支采用相同的置换序列;
40、在检测阶段,根据与训练阶段相同的伪随机数种子生成固定置换序列,或者从训练阶段使用的置换序列集合中选取置换序列,以避免因置换规则不一致造成训练表征与检测表征之间的分布偏移;
41、在采用多个置换序列对同一待测图像进行检测时,分别获得与各置换序列对应的预测概率,并对多个预测概率进行平均或者加权计算,得到所述待测图像的最终预测概率。
42、优选地,在步骤s4中,还包括多尺度分块重组:
43、s421:设置至少两种不同的分块数量,并分别按照各分块数量将所述多架构重建误差融合表征划分为不同空间尺度的表征块;
44、s422:针对每一种分块数量分别生成对应的置换序列,并按照对应的置换序列对相应空间尺度的表征块进行重新排列,得到多个尺度的候选分块重组表征;
45、s423:对多个尺度的候选分块重组表征进行尺寸对齐,并将尺寸对齐后的候选分块重组表征沿通道维度拼接,或者分别输入共享参数的卷积特征提取分支;
46、s424:对不同空间尺度下提取的局部重建残差特征进行融合,使融合后的特征同时包含较小表征块对应的局部纹理差异和较大表征块对应的区域重建差异;
47、s425:将融合后的特征输入分类层,获得所述待测图像属于人工智能生成图像的预测概率。
48、优选地,在步骤s5中,通过卷积检测网络进行二分类,包括:
49、s51:根据所述分块重组表征的通道数量调整所述卷积检测网络的输入卷积层,当自编码器集合包含 m 个自编码器且每个自编码器分支对应三通道重建误差图时,将所述输入卷积层的输入通道数量设置为 3m;
50、s52:采用所述输入卷积层对所述分块重组表征进行初始特征映射,并通过多个依次连接的残差卷积单元提取不同感受野下的局部重建残差特征;
51、s53:通过跳跃连接将各残差卷积单元的输入特征与卷积变换后的特征进行融合,以保留重建误差图中的弱残差信息;
52、s54:对最后一个残差卷积单元输出的特征执行全局池化,并将池化结果输入全连接分类层;
53、s55:通过所述全连接分类层和概率映射函数输出所述待测图像属于人工智能生成图像的预测概率,并根据所述预测概率形成生成图像检测结果。
54、优选地,卷积检测网络的训练以及所述预设判定阈值的确定,包括:
55、构建训练数据集,所述训练数据集至少包括真实图像样本、扩散生成模型生成的图像样本和视觉自回归生成模型生成的图像样本,并为真实图像样本和人工智能生成图像样本设置不同的类别标签;
56、对所述训练数据集中的图像样本执行与步骤s1至s5相同的预处理、多架构自编码器重建、重建误差计算、归一化、融合及分块重组操作,得到训练用分块重组表征;
57、将所述训练用分块重组表征输入卷积检测网络,根据卷积检测网络输出的生成图像预测概率和对应类别标签计算二分类损失,并根据所述二分类损失更新卷积检测网络的参数以及可学习的分支权重;
58、将未参与参数更新的验证集输入训练后的卷积检测网络,获得验证集中各图像样本对应的预测概率,并根据验证集上的检测准确率、召回率、误报率或者受试者工作特征曲线确定候选判定阈值;
59、从所述候选判定阈值中选择满足预设检测性能要求的阈值作为所述预设判定阈值,并在对待测图像进行检测时,利用所述预设判定阈值输出真实图像或者人工智能生成图像的判定结果。
60、与现有技术相比,本发明的有益效果是:
61、(1)本发明通过将待测图像分别输入来源于至少两种不同架构扩散模型的多个自编码器,得到多个重建图像,并基于训练集统计量对多个重建误差图进行归一化处理,将归一化后的多个重建误差图进行拼接融合或加权融合,得到多架构重建误差融合表征,实现从不同生成模型参数空间中提取互补的重建痕迹,相比单一自编码器误差表征,能够更全面地覆盖不同架构生成图像的伪造特征,从而提升对多类生成器的检测泛化能力。
62、(2)本发明通过将多架构重建误差融合表征划分为多个互不重叠的表征块,重组多个表征块的空间位置并重新拼接,得到分块重组表征,实现打散图像中的整体轮廓和场景语义结构,使检测网络在训练和推理过程中更聚焦于局部纹理、边缘过渡和重建残差等低级生成痕迹,从而减少训练集内容偏见对检测结果的影响,提升跨场景检测的鲁棒性。
63、(3)本发明通过将分块重组表征输入卷积检测网络,卷积检测网络的第一层卷积的输入通道数与分块重组表征的通道数相等,以提取局部重建残差特征并进行二分类,实现联合多架构自编码器前向重建完成真伪判别,避免了多步扩散反演和重建过程,在保持较低计算开销的同时,显著提升了对最新扩散类及融合扩散技术的视觉自回归类生成图像的检测准确率,适合大规模图像内容审核与数字取证应用,具有高可靠性与实用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com