文本图像篡改检测方法、装置、设备、介质及程序产品与流程

本技术涉及图像处理，尤其涉及一种文本图像篡改检测方法、装置、设备、介质及程序产品。

背景技术：

1、随着深度伪造技术和图像编辑技术的快速发展，数字图像的生成与修改成本不断降低，证件、证书等包含身份信息的重要材料被恶意篡改的风险日益增加。在在线认证、政务服务等应用场景中，用户可能通过上传篡改后的材料获取不当利益，给服务审核和风险控制带来较大挑战。

2、现有的图像篡改检测方法通常基于像素域、频率域等底层视觉信息进行特征分析，通过检测图像局部区域的异常变化判断是否存在篡改。然而随着高级图像编辑技术和人工智能生成内容的发展，篡改区域的视觉特征更加自然，传统方法在复杂场景下存在检测准确率不足的问题。

技术实现思路

1、本技术实施例提供了一种文本图像篡改检测方法、装置、设备、介质及程序产品，能够提高文本图像篡改检测的准确率。上述技术方案如下：

2、第一方面，本技术实施例提供了一种文本图像篡改检测方法，包括：

3、获取待检测图像对应的视觉特征和文本特征；

4、对上述视觉特征和上述文本特征进行语义对齐和特征融合，得到融合特征；

5、对上述待检测图像进行篡改特征提取，得到对应的物理篡改特征，上述物理篡改特征用于表征上述待检测图像中由局部内容修改产生的视觉特征异常；

6、基于上述融合特征和上述物理篡改特征，对上述待检测图像进行篡改检测，得到篡改检测结果。

7、在一种可能的实现方式中，上述对上述视觉特征和上述文本特征进行语义对齐和特征融合，得到融合特征，包括：

8、根据上述文本特征确定查询特征，并根据上述视觉特征确定键特征和值特征；

9、基于上述查询特征、上述键特征和上述值特征进行跨模态注意力处理，得到语义对齐特征；

10、根据上述语义对齐特征和上述文本特征，确定上述待检测图像中的视觉内容与文本内容之间的语义相似度；

11、根据上述语义对齐特征、上述文本特征和上述语义相似度进行特征融合，得到上述融合特征。

12、在一种可能的实现方式中，上述物理篡改特征包括以下至少一种：边缘异常特征、颜色分布异常特征和纹理异常特征；

13、上述对上述待检测图像进行篡改特征提取，得到对应的物理篡改特征，包括：

14、对上述待检测图像进行边缘检测，并根据检测到的边缘的梯度方向一致性，确定边缘异常特征；和/或，

15、对上述待检测图像进行颜色特征提取，并根据上述待检测图像中局部区域与全局区域之间的颜色分布差异，确定颜色分布异常特征；和/或，

16、对上述待检测图像进行纹理特征提取，并根据上述待检测图像中不同区域之间的纹理特征差异，确定纹理异常特征。

17、在一种可能的实现方式中，上述基于上述融合特征和上述物理篡改特征，对上述待检测图像进行篡改检测，得到篡改检测结果，包括：

18、基于上述待检测图像对应的验证规则和上述融合特征，对上述待检测图像进行领域验证，得到领域验证结果，上述领域验证结果用于表征上述待检测图像中的文本内容、视觉内容及结构信息与对应领域验证规则之间的一致性；

19、基于上述领域验证结果和上述物理篡改特征进行融合处理，得到篡改检测结果。

20、在一种可能的实现方式中，上述领域验证结果包括以下至少一种：图文一致性验证结果、逻辑一致性验证结果和视觉元素验证结果；

21、上述基于上述待检测图像对应的验证规则和上述融合特征，对上述待检测图像进行领域验证，得到领域验证结果，包括：

22、基于上述验证规则和上述融合特征，对上述待检测图像中的文本内容与视觉内容进行一致性验证，得到上述图文一致性验证结果；和/或，

23、基于上述验证规则，对上述待检测图像中具有关联关系的字段信息进行逻辑一致性验证，得到逻辑一致性验证结果；和/或，

24、基于上述验证规则，对上述待检测图像中的目标视觉元素进行特征验证，得到上述视觉元素验证结果。

25、在一种可能的实现方式中，上述基于上述验证规则和上述融合特征，对上述待检测图像中的文本内容与视觉内容进行一致性验证，得到上述图文一致性验证结果，包括：

26、根据上述验证规则，从上述待检测图像的文本内容中确定待验证文本内容，并从上述待检测图像的视觉内容中确定与上述待验证文本内容对应的待验证视觉内容；

27、根据上述融合特征，分别确定上述待验证文本内容对应的文本语义特征和上述待验证视觉内容对应的视觉语义特征；

28、确定上述文本语义特征与上述视觉语义特征之间的语义相似度；

29、根据上述验证规则对上述语义相似度进行验证，得到图文一致性验证结果。

30、在一种可能的实现方式中，上述基于上述验证规则，对上述待检测图像中具有关联关系的字段信息进行逻辑一致性验证，得到上述逻辑一致性验证结果，包括：

31、根据上述验证规则，从上述待检测图像中具有关联关系的字段信息中确定待验证字段信息，以及上述待验证字段信息对应的逻辑校验规则；

32、根据上述逻辑校验规则，对上述待验证字段信息进行格式校验和/或关联关系校验，得到逻辑校验结果；

33、根据上述验证规则和上述逻辑校验结果，确定上述逻辑一致性验证结果。

34、在一种可能的实现方式中，上述基于上述验证规则，对上述待检测图像中的目标视觉元素进行特征验证，得到上述视觉元素验证结果，包括：

35、根据上述验证规则，确定待验证的目标视觉元素以及上述目标视觉元素对应的目标验证类型，上述目标验证类型包括位置验证和视觉特征验证中的至少一种；

36、在上述目标验证类型包括位置验证的情况下，获取上述目标视觉元素对应的实际位置信息和预设位置信息，并根据上述实际位置信息与上述预设位置信息确定位置匹配度；

37、在上述目标验证类型包括视觉特征验证的情况下，获取上述目标视觉元素对应的实际视觉特征和预设视觉特征，并根据上述实际视觉特征与上述预设视觉特征确定视觉相似度；

38、根据上述位置匹配度和上述视觉相似度中的至少一种，确定上述视觉元素验证结果。

39、在一种可能的实现方式中，上述基于上述领域验证结果和上述物理篡改特征进行融合处理，得到篡改检测结果，包括：

40、对上述领域验证结果和上述物理篡改特征进行归一化处理，得到归一化特征集合；

41、获取上述待检测图像对应的图像质量信息和文本识别质量信息；

42、根据上述图像质量信息和上述文本识别质量信息，确定上述归一化特征集合中各特征对应的融合权重；

43、根据上述融合权重，对上述归一化特征集合中的各特征进行加权融合，得到决策融合特征；

44、基于上述决策融合特征生成篡改检测结果。

45、在一种可能的实现方式中，上述基于上述决策融合特征生成篡改检测结果，包括：

46、对上述决策融合特征进行线性变换，并对线性变换结果进行概率映射，得到上述待检测图像对应的篡改概率；

47、将上述篡改概率与预设篡改阈值进行比较，得到概率比较结果；

48、在上述概率比较结果表征上述篡改概率大于或等于上述预设篡改阈值的情况下，确定上述待检测图像存在篡改；

49、在上述概率比较结果表征上述篡改概率小于上述预设篡改阈值的情况下，确定上述待检测图像不存在篡改，得到篡改检测结果。

50、第二方面，本技术实施例提供了一种文本图像篡改检测装置，包括：

51、获取模块，用于获取待检测图像对应的视觉特征和文本特征；

52、融合模块，用于对上述视觉特征和上述文本特征进行语义对齐和特征融合，得到融合特征；

53、提取模块，用于对上述待检测图像进行篡改特征提取，得到对应的物理篡改特征，上述物理篡改特征用于表征上述待检测图像中由局部内容修改产生的视觉特征异常；

54、检测模块，用于基于上述融合特征和上述物理篡改特征，对上述待检测图像进行篡改检测，得到篡改检测结果。

55、第三方面，本技术实施例提供了一种电子设备，包括：处理器和存储器；其中，上述存储器存储有计算机程序，处理器执行计算机程序时实现本技术实施例第一方面提供的方法步骤。

56、第四方面，本技术实施例提供了一种计算机存储介质，上述计算机存储介质存储有多条指令，上述指令适于由处理器加载并执行本技术实施例第一方面提供的方法步骤。

57、第五方面，本技术实施例提供了一种包含指令的计算机程序产品，当上述计算机程序产品在计算机或处理器上运行时，使得上述计算机或上述处理器执行本技术实施例第一方面提供的方法步骤。

58、本技术实施例通过获取待检测图像对应的视觉特征和文本特征，随后对上述视觉特征和上述文本特征进行语义对齐和特征融合，得到融合特征；以及对上述待检测图像进行篡改特征提取，得到对应的物理篡改特征，上述物理篡改特征用于表征上述待检测图像中由局部内容修改产生的视觉特征异常；进而基于上述融合特征和上述物理篡改特征，对上述待检测图像进行篡改检测，得到篡改检测结果。由此，通过对视觉特征和上述文本特征进行语义对齐和特征融合，可以综合利用图像中的视觉信息和文本信息，增强对图像内容与文本内容之间关联关系的表征能力；另外，通过提取上述待检测图像对应的物理篡改特征，可以捕获由图像局部内容修改产生的视觉异常信息；进而结合上述融合特征和上述物理篡改特征进行篡改检测，能够从语义信息和视觉异常两个维度对待检测图像进行分析，提高了文本图像篡改检测的准确性和可靠性。