图像伪造定位方法、装置、电子设备和可读存储介质与流程

本发明涉及计算机，更具体地，涉及一种图像伪造定位方法、装置、电子设备和可读存储介质。

背景技术：

1、随着生成式人工智能技术的飞速发展，基于人工智能的图像编辑技术已经取得了突破性进展，指令式（prompt-based）图像编辑（即指令式ai图像编辑）技术正在成为新的主流范式，在该范式下，用户仅需输入一段自然语言指令，模型即可自动理解语义并生成修改后的图像，极大地降低了图像创作的门槛。但同时，一些恶意用户也可以轻易利用该技术伪造图像且生成的伪造图像逼真度极高，人眼难以辨认，研发高效、精准的ai图像伪造定位技术显得尤为迫切。

2、尽管现有技术中已经存在多种图像伪造区域定位方法，但主要依赖于寻找伪造图像中的物理特征不一致性（如传感器噪声指纹（pruu）的不匹配、颜色滤波阵列（cfa）的插值异常、jpeg压缩伪影的双重量化痕迹）或者高频伪造特征。而指令式ai图像编辑通常涉及图像的全局重构，会导致图像中原始的物理修改痕迹被大幅削弱甚至完全消除，原有的高频特征也会减弱。因此，现有的图像伪造区域定位方法难以应对指令式ai图像编辑的全局重构特性，无法对指令式ai图像编辑生成的伪造图像进行准确识别。

技术实现思路

1、有鉴于此，本发明实施例的旨在提供一种图像伪造定位方法、装置、电子设备和可读存储介质，以对指令式ai图像编辑生成的伪造图像进行准确识别。

2、第一方面，本发明实施例旨在提供一种图像伪造定位方法，所述方法包括：

3、获取待处理图像；

4、基于伪造定位网络中的第一分支提取所述待处理图像中的纹理特征，确定纹理特征图；

5、基于伪造定位网络中的第二分支提取所述待处理图像中的语义特征，确定语义特征图；

6、基于伪造定位网络中的第三分支提取所述待处理图像中的通用视觉特征，确定视觉特征图；所述第一分支、所述第二分支和所述第三分支采用相同结构和相同初始化参数的预训练模型，所述第三分支基于所述初始化参数提取所述待处理图像中的通用视觉特征；

7、对所述纹理特征图、所述语义特征图和所述视觉特征图进行特征融合，确定目标特征图；

8、基于所述伪造定位网络中的分类头对所述目标特征图进行特征映射，确定对应的输出掩码，以基于所述输出掩码中的像素分布确定所述待处理图像的伪造定位结果；所述输出掩码用于表征所述待处理图像中各像素的像素类型，所述像素类型为真实像素或伪造像素，所述真实像素用于表征对应像素位于真实区域，所述伪造像素用于表征对应像素位于伪造区域。

9、第二方面，本发明实施例旨在提供一种图像伪造定位装置，所述装置包括：

10、图像获取单元，用于获取待处理图像；

11、特征提取单元，用于基于伪造定位网络中的第一分支提取所述待处理图像中的纹理特征，确定纹理特征图；基于伪造定位网络中的第二分支提取所述待处理图像中的语义特征，确定语义特征图；基于伪造定位网络中的第三分支提取所述待处理图像中的通用视觉特征，确定视觉特征图；对所述纹理特征图、所述语义特征图和所述视觉特征图进行特征融合，确定目标特征图；

12、伪造定位单元，用于基于所述伪造定位网络中的分类头对所述目标特征图进行特征映射，确定对应的输出掩码，以基于所述输出掩码中的像素分布确定所述待处理图像的伪造定位结果；所述输出掩码用于表征所述待处理图像中各像素的像素类型，所述像素类型为真实像素或伪造像素，所述真实像素用于表征对应像素位于真实区域，所述伪造像素用于表征对应像素位于伪造区域。

13、第三方面，本发明实施例旨在提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如上任一项所述的方法。

14、第四方面，本发明实施例旨在提供一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上任一项所述的方法。

15、第五方面，本发明实施例旨在提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的方法。

16、本发明实施例的技术方案通过构建包含多个分支的伪造定位网络，基于伪造定位网络中的三个不同分支对待处理图像中的纹理特征、语义特征和通用视觉特征进行特征提取、特征融合和特征映射，确定对应的输出掩码，能够充分捕捉图像中因伪造产生的纹理特征和语义特征确定图像中各像素的像素类型，从而基于图像中各像素的像素类型实现准确地伪造定位；并且，由于不同分支采用相同结构和相同初始化参数的预训练模型且基于初始化参数提取待处理图像中的通用视觉特征，能够保留图像中的通用视觉特征用于伪造定位，防止伪造定位过程中遗忘图像的固有属性，提升伪造定位的鲁棒性。

1.一种图像伪造定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述伪造定位网络基于以下方法确定：

3.根据权利要求2所述的方法，其特征在于，所述基于所述训练数据集和预设损失函数对初始定位网络进行迭代训练包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述训练数据集和预设损失函数对初始定位网络进行迭代训练还包括：

5.根据权利要求2所述的方法，其特征在于，所述获取训练数据集包括：

6.根据权利要求1所述的方法，其特征在于，所述通用视觉特征包括边缘特征、纹理特征和物体类别特征。

7.根据权利要求1所述的方法，其特征在于，所述基于伪造定位网络中的第一分支提取所述待处理图像中的纹理特征，确定纹理特征图包括：

8.根据权利要求1所述的方法，其特征在于，所述对所述纹理特征图、所述语义特征图和所述视觉特征图进行特征融合，确定目标特征图包括：

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述分类头包括：

10.根据权利要求1所述的方法，其特征在于，所述第一分支采用seg-former、u-net或dino系列模型架构。

11.一种图像伪造定位装置，其特征在于，所述装置包括：

12.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现权利要求1-10中任一项所述的方法。

13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1-10中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10中任一项所述的方法。