一种用于稀疏文本篡改区域分割的语义可靠性反馈训练方法及系统

摘要: 本发明涉及文档图像篡改检测与像素级分割,具体涉及一种用于稀疏文本篡改区域分割的语义可靠性反馈训练方法及系统。背景技术:1、随着文档电子化与数字取证需求的提升,文...
一种用于稀疏文本篡改区域分割的语义可靠性反馈训练方法及系统

本发明涉及文档图像篡改检测与像素级分割,具体涉及一种用于稀疏文本篡改区域分割的语义可靠性反馈训练方法及系统。

背景技术:

1、随着文档电子化与数字取证需求的提升,文本图像篡改的像素级精准定位已成为信息安全与司法取证的关键技术。真实场景中的文本篡改多为单字符替换、数字局部修改、短文本插入等微小操作,篡改区域占比极低、视觉痕迹微弱,且常伴随jpeg压缩、扫描重拍等退化,仅靠rgb单模态特征难以稳定分割。为此,现有技术逐步向多模态特征融合、专用训练策略优化方向发展。

2、qu chenfan等人等人在文献《towards robust tampered text detection indocument image: new dataset and new solution》(2023年ieee/cvf计算机视觉与模式识别会议,cvpr 2023)中,提出了多模态篡改检测框架dtd,针对文本篡改视觉痕迹弱的问题,构建视觉感知头与频率感知头的双输入结构,在rgb特征之外引入dct频域证据,再通过多模态transformer编码器完成跨域特征融合,以增强模型对弱痕迹篡改的感知能力;同时引入课程学习训练策略cltd,按由易到难的方式逐步增加压缩扰动强度,提升模型在压缩失真场景下的鲁棒性与跨域泛化能力。

3、luo dongliang等人在文献《toward real text manipulation detection: newdataset and new solution》(《pattern recognition》期刊,2025年,第157卷)中提出了提出了非对称双流架构asc-former,针对真实篡改痕迹更隐蔽、单模态特征难以准确定位的问题,构建rgb主流与多模态辅助流的非对称结构,辅助流融合dct、srm、ela等多类取证证据;并通过一致性聚合中心与门控邻域注意力模块实现多尺度跨流交互,同时引入篡改-真实对比学习tac,在特征空间拉大真伪区域距离,提升模型对弱篡改区域的判别能力。

4、尽管上述方案已从网络结构与训练策略两方面提升了检测性能,但针对稀疏文本篡改区域分割任务,仍存在以下缺陷:

5、第一,缺少语义-取证协同的可靠性反馈机制,像素级校准能力不足。dtd仅通过课程学习提升压缩鲁棒性,未建立语义预测、取证响应与分割结果间的可靠性关联;asc-former的对比学习仅停留在特征层面,未形成像素级反馈闭环。真实场景中,部分篡改区域视觉外观与真实文本高度一致,仅在频域存在异常;也有正常区域因压缩噪声产生伪异常。缺少可靠性判断与校准链路时,模型无法区分可信与不可靠区域,易出现弱篡改漏检、正常区域误检,也难以对局部断裂、边界偏移等像素级误差进行精准修正。

6、第二,前景稀疏场景下训练易受背景样本主导,小区域学习不稳定。文本篡改区域通常仅占图像极小比例,现有方案均采用普通像素级分割损失进行训练,模型易被大量背景像素主导,导致弱小篡改区域学习不充分。尤其在纯背景、前景极微的样本参与训练时,易向模型引入错误监督信号,进一步削弱对小区域、细边界篡改的定位能力。

7、第三,多候选分支易受无效样本干扰,训练分工易发生坍缩。对于多候选槽、多分支预测结构,现有方案未针对背景/无效样本设计专门的分配机制。当样本无有效前景时,各候选分支与真实标注的交并比均接近零,易出现平局式错误分配,导致部分分支被反复施加错误监督,最终坍缩为背景专用分支,破坏多分支结构的分工稳定性。

8、综上,现有技术尚未针对稀疏文本篡改分割场景,建立完整的选择性槽训练与语义可靠性反馈训练体系,难以进一步提升弱小篡改区域的训练稳定性与像素级定位精度。

技术实现思路

1、针对现有技术中存在的不足之处,本发明提供了一种用于稀疏文本篡改区域分割的语义可靠性反馈训练方法及系统。

2、本发明公开了一种用于稀疏文本篡改区域分割的语义可靠性反馈训练方法,包括:

3、步骤1、获取训练样本集,每一训练样本包括带训练文本图像及其对应的二值篡改区域标注;

4、步骤2、将所述训练样本输入预设的文本篡改区域分割模型,输出k个候选槽对应的篡改掩码概率图以及每个候选槽对应的槽置信度,基于各候选槽的槽置信度对对应篡改掩码概率图进行加权聚合,得到主分割概率图;

5、步骤3、对每一训练样本,计算其真实标注中的前景像素比例,同时计算各候选槽篡改掩码概率图与真实标注的交并比,得到最大候选交并比;将所述前景像素比例与预设前景比例阈值比较,将所述最大候选交并比与预设质量阈值比较,根据比较结果判定该训练样本为前景有效样本或背景/无效样本;

6、步骤4、对于判定为前景有效样本的训练样本,根据各候选槽对应的交并比,采用软到锐化的责任分配策略计算各候选槽的训练责任权重,结合各候选槽的篡改掩码概率图与真实标注计算选择性槽监督损失;对于判定为背景/无效样本的训练样本,跳过候选槽的前景最佳分配流程,不参与所述选择性槽监督损失的计算;

7、步骤5、提取所述文本篡改区域分割模型的中间特征生成粗语义支持概率图,计算所述主分割概率图与粗语义支持概率图的像素级不一致区域,结合所述不一致区域生成可靠性门控图;基于所述主分割概率图与可靠性门控图生成残差校准概率图,并计算对应的残差校准损失;

8、步骤6、基于所述主分割概率图与真实标注计算主分割监督损失,将所述主分割监督损失、选择性槽监督损失与残差校准损失进行加权求和,得到总体训练损失,基于所述总体训练损失反向传播更新所述文本篡改区域分割模型的参数,直至模型收敛。

9、作为本发明的进一步改进,在所述步骤2中,基于各候选槽的槽置信度对对应篡改掩码概率图进行加权聚合,具体为:采用柔性证据聚合方式构建主分割概率图,主分割概率图中每个像素的取值满足下式:

10、

11、式中,表示第个样本的主分割概率图,表示第个候选槽的置信度,表示第个候选槽输出的槽掩码概率图,为候选槽的总数量。

12、作为本发明的进一步改进,在所述步骤3中,根据比较结果判定该训练样本为前景有效样本或背景/无效样本,具体为:当所述前景像素比例大于预设前景比例阈值,且所述最大候选交并比大于预设质量阈值时,判定该训练样本为前景有效样本,标记为参与前景最佳候选分配;否则判定为背景/无效样本,标记为不参与前景最佳候选分配。

13、作为本发明的进一步改进,在所述步骤4中,软到锐化的责任分配策略通过可动态调整的温度参数控制责任分布的平滑程度:温度参数越高,各候选槽的训练责任权重分布越平滑;温度参数越低,训练责任权重越向与真实标注交并比更大的候选槽集中;训练过程中温度参数随训练迭代次数逐步减小。

14、作为本发明的进一步改进,所述温度参数采用退火衰减策略进行更新,满足下式:

15、

16、式中,为第t次训练迭代对应的温度参数,表示初始责任分配温度,表示最小温度,表示温度衰减系数。

17、作为本发明的进一步改进,在所述步骤5中,结合所述不一致区域生成可靠性门控图,具体为:

18、将主分割概率图、粗语义支持概率图、不一致区域图输入可靠性门控映射模块,经特征拼接、卷积映射与激活函数处理后,输出像素级的可靠性门控图;所述可靠性门控图中各像素的取值用于指示对应区域预测结果的可靠程度。

19、作为本发明的进一步改进,所述方法还包括边界监督步骤:根据二值篡改区域标注,通过形态学膨胀与腐蚀的差值生成边界监督图;所述文本篡改区域分割模型同步输出边界概率图,基于所述边界监督图与边界概率图计算边界监督损失,并将所述边界监督损失计入总体训练损失。

20、作为本发明的进一步改进,所述方法还包括取证证据一致性约束步骤:构建训练样本对应的辅助取证响应图,分别计算真实篡改前景区域内的平均取证响应值与真实背景区域内的平均取证响应值,基于两类区域的平均取证响应值构建取证证据一致性约束损失,并将所述取证证据一致性约束损失计入总体训练损失;

21、所述辅助取证响应图包括dct频域异常图、srm残差图、ela误差图中的至少一种。

22、作为本发明的进一步改进,所述文本篡改区域分割模型训练完成后,在推理阶段仅输出主分割概率图作为最终的文本篡改区域分割结果;所述粗语义支持概率图、可靠性门控图、残差校准概率图仅用于训练阶段的辅助参数优化,不参与推理阶段的输出。

23、本发明还公开了一种用于稀疏文本篡改区域分割的语义可靠性反馈训练系统,用于实现语义可靠性反馈训练方法,包括:

24、与现有技术相比,本发明的有益效果为:

25、本发明通过前景有效样本筛选,使真正包含可学习篡改区域的样本参与前景候选监督,而背景样本或无效样本不参与前景最佳候选分配,从而降低背景样本对训练过程的干扰,提高稀疏文本篡改区域的训练稳定性。

26、本发明通过背景/无效样本跳过最佳候选分配,并结合软到锐化责任分配,使多个候选槽在训练早期均有学习机会,在训练后期逐渐形成稳定分工,从而降低候选槽坍缩风险。

27、本发明通过粗语义支持、可靠性门控和残差校准,使模型在训练阶段能够识别语义预测与取证响应之间的一致区域和不一致区域,并对不可靠区域进行辅助反馈,从而减少弱篡改漏检和伪异常误检。

28、本发明通过残差校准、边界监督和证据一致性约束,引导模型关注主预测结果中的局部误差、细边界位置以及取证响应差异,从而提高弱小文本篡改区域的掩码完整性和边界贴合度。

29、本发明围绕稀疏文本篡改区域分割中的训练特殊性,提出前景有效样本筛选、背景/无效样本跳过最佳候选分配、软到锐化责任分配、语义可靠性反馈、残差校准、边界监督和证据一致性约束相结合的训练闭环。因此,本发明能够在训练机制层面提升模型对弱小文本篡改区域的学习稳定性、定位精度和鲁棒性,形成区别于现有课程学习和对比学习方法的独立有益效果。