一种基于因果特征解耦表示学习的有害模因检测方法及系统

摘要: 本发明属于互联网内容安全与多模态深度学习,具体涉及一种基于因果特征解耦表示学习的有害模因检测方法及系统。背景技术:1、随着互联网社交媒体的快速发展,模因作为一种...
一种基于因果特征解耦表示学习的有害模因检测方法及系统

本发明属于互联网内容安全与多模态深度学习,具体涉及一种基于因果特征解耦表示学习的有害模因检测方法及系统。

背景技术:

1、随着互联网社交媒体的快速发展,模因作为一种新型网络交流方式逐渐兴起并广泛传播。然而,在网络模因文化蓬勃发展的同时,传播仇恨、冒犯、歧视等内容的有害模因问题日益凸显,由此催生了有害模因检测相关技术的研究。有害模因检测旨在正确分类有害模因与无害模因。由于模因天然具有图文融合、语义隐蔽的特点,其有害性往往无法仅凭单一模态进行判断,需要综合理解图像与文本之间的交互语义。现有研究方法可归纳为以下三类:

2、1、 基于多模态特征融合的检测方法:该类方法是有害模因检测领域最为主流的研究范式,其核心思想是针对模因的多模态特性,通过特征融合或跨模态注意力机制,对视觉特征与文本特征进行交互建模,从而直接学习图文联合表示,以捕捉模因中由多模态协同产生的有害语义。例如,通过注意力交互矩阵、简单拼接、多粒度图文对齐等方式融合单模态特征,直接送入分类器判别模因是否有害。该类方法天然契合模因的多模态结构,基于浅层融合特征实现判别。但是,该类方法所依赖的跨模态交互过程偏向黑箱操作,可解释性较弱;此外,由于主要依赖于特征层面的融合与对齐,对模因所蕴含的深层文化语义与隐式有害意图的理解能力仍然有限。

3、2、 基于表征增强与对比学习的检测方法:部分方法在特征融合基础上引入对比学习、解耦表示、去偏学习等方式,引导模型学习与模因有害性相关的纯净特征表示,从而提升判别能力的泛化性与鲁棒性。例如,基于难样本挖掘技术,构造正负样本对比损失,提升有害与无害模因特征区分度,强化特征的判别边界与模型的语义感知能力。该类方法旨在使模型学习到与有害性相关的判别性纯净特征,去除噪声与偏置的干扰。然而,对比学习、解耦表示等方法的训练复杂度相对较高,往往需要额外设计约束项或辅助损失函数,同时缺乏对外部知识的有效整合,在面对高度依赖背景文化知识的隐式有害模因时,理解能力仍显不足。

4、3、 基于知识增强推理的检测方法:部分方法引入常识、文化符号、社会背景等外部知识,通过提示学习、知识图谱注入、知识增强编码等方式,弥补模型在理解隐式有害模因时所存在的知识短板,使模型具备更接近人类的语义推理能力。例如,借助大语言模型的逻辑推理能力,辅助识别隐性有害语义,解决单模态无害、组合有害的模因识别难题。该类方法广泛适用于少样本场景,决策逻辑更接近于人类判断方式。但该类方法普遍依赖外部知识的信息增强,高质量知识库的构建与持续更新成本较高,外部知识与多模态模型的有机融合仍面临较大的技术挑战。

5、此外,现有技术多将图文特征作为整体输入分类器,未分离真实有害因果特征与数据集虚假混淆特征,模因的文本、图像各自存在独立混淆线索,混淆噪声污染跨模态融合表征;现有通用因果解耦方法也仅采用单一正则约束,特征分离不彻底,缺乏多约束联合解耦机制。

技术实现思路

1、本发明提供一种基于因果特征解耦表示学习的有害模因检测方法及系统(memecfd),对原始文本、图像特征分别实现因果特征与虚假特征的显式解耦,并结合多重约束协同,使模型仅基于真正与有害性相关的因果特征进行预测,从而消除虚假关联的影响,提升检测模型在跨数据集场景下的泛化能力和对隐式有害语义的识别准确性。

2、为实现上述目的,本发明的技术方案包括以下内容。

3、一种有害模因检测模型的训练方法,所述方法包括:

4、构建有害模因检测模型与一对抗判别器;其中,所述有害模因检测模型包括多模态特征编码模块、因果解耦表示学习模块、门控跨注意力特征融合模块和主分类器网络;所述多模态特征编码模块用于对训练样本进行编码,得到视觉原始特征与文本原始特征,所述训练样本包括图像样本和配套文本;所述因果解耦表示学习模块用于分别对视觉原始特征与文本原始特征进行因果解耦,得到文本模态因果特征、文本模态混淆特征、图像模态因果特征和图像模态混淆特征;所述门控跨注意力特征融合模块用于分别对本模态因果特征与图像模态因果特征,以及文本模态混淆特征与图像模态混淆特征执行门控跨注意力特征融合,得到融合因果特征与融合混淆特征;所述主分类器网络用于基于融合因果特征生成图像样本的模因有害判定结果;

5、通过将融合混淆特征输入到对抗判别器,以及将融合因果特征输入到主分类器网络,执行对抗判别器与有害模因检测模型的对抗交替训练,直至收敛;其中,所述多模态特征编码模块在对抗交替训练过程中处于冻结状态。

6、进一步地,所述因果解耦表示学习模块包括文本解耦网络和图像解耦网络;所述文本解耦网络与所述图像解耦网络分别基于一多层感知机构建。

7、进一步地,对抗交替训练中的总损失函数;其中,表示将融合因果特征输入到主分类器网络计算的分类损失,表示将融合混淆特征输入到对抗判别器计算的分类损失,表示图像hsic 统计独立损失与文本hsic 统计独立损失之和,表示图像正交几何解耦损失与文本正交几何解耦损失之和,表示vib 变分信息瓶颈 kl 损失。

8、进一步地,所述图像hsic 统计独立损失;其中,表示批次大小,表示基于批次内因果特征两两计算rbf相似度构成的因果核矩阵,表示基于批次内混淆特征两两计算rbf相似度构成的混淆核矩阵,表示中心化矩阵,表示迹函数。

9、进一步地,所述图像正交几何解耦损失;其中,表示批次大小,表示第个图像样本对应的图像模态因果特征,表示第个图像样本对应的图像模态混淆特征。

10、进一步地,所述vib 变分信息瓶颈 kl 损失;其中,表示高斯分布的均值,表示高斯分布的标准差,表示特征向量的维度,表示批次维度求均值。

11、一种基于因果特征解耦表示学习的有害模因检测方法,将待检测模因图像与配套文本输入有害模因检测模型,得到待检测模因图像的模因有害判定结果;其中,所述有害模因检测模型是根据上述任意一项所述的方法训练得到。

12、一种基于因果特征解耦表示学习的有害模因检测系统,所述系统包括:

13、多模态特征编码模块,用于对待检测模因图像与配套文本进行编码,得到视觉原始特征与文本原始特征;

14、因果解耦表示学习模块,用于分别对视觉原始特征与文本原始特征进行因果解耦,得到文本模态因果特征、文本模态混淆特征、图像模态因果特征和图像模态混淆特征;

15、门控跨注意力特征融合模块,用于分别对本模态因果特征与图像模态因果特征,以及文本模态混淆特征与图像模态混淆特征执行门控跨注意力特征融合,得到融合因果特征与融合混淆特征;

16、主分类器网络,用于基于融合因果特征生成图像样本的模因有害判定结果;

17、其中,所述多模态特征编码模块、所述因果解耦表示学习模块、所述门控跨注意力特征融合模块及所述主分类器网络的训练过程,包括:

18、构建一对抗判别器;

19、生成训练样本的融合因果特征与融合混淆特征,所述训练样本包括图像样本和配套文本;

20、通过将训练样本的融合混淆特征输入到对抗判别器,以及将训练样本的融合因果特征输入到主分类器网络,执行对抗判别器与所述因果解耦表示学习模块、所述门控跨注意力特征融合模块、所述主分类器网络的对抗交替训练,直至收敛;其中,所述多模态特征编码模块在对抗交替训练过程中处于冻结状态。

21、一种计算机设备,其特征在于,所述计算机设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现上述任一项所述的有害模因检测模型的训练方法或者上述所述的基于因果特征解耦表示学习的有害模因检测方法。

22、一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述任一项所述的有害模因检测模型的训练方法或者上述所述的基于因果特征解耦表示学习的有害模因检测方法。

23、与现有技术相比,本发明至少具有以下有益效果。

24、1. 本发明使用面向有害模因检测的双模态独立因果解耦整体框架,以 clip 多模态编码为基础,分别为文本、图像设计专属 mlp 解耦网络,将原始图文特征拆分为因果有害特征子空间、混淆噪声子空间,区别于现有整体特征融合、无显式解耦的检测架构。

25、2. 本发明基于三重联合约束的因果解耦正则化机制,同步结合 hsic 统计独立损失、特征正交几何损失、变分信息瓶颈 vib-kl 损失协同优化,从统计相关性、空间几何、信息冗余三个维度强制分离因果与混淆特征,单一约束无法实现完整解耦。

26、3. 本发明采用门控跨注意力双分支融合策略,独立对因果特征、混淆特征执行图文跨模态融合,推理阶段仅使用因果融合特征完成分类,完全屏蔽混淆特征对预测的干扰。

27、4. 本发明基于两阶段交替对抗去混淆训练机制,构建对抗判别器 + 主分类器双分支对抗框架,交替训练判别器挖掘混淆特征残留标签信息、优化主干网络清除混淆特征判别能力,彻底消除模型对虚假混淆线索的依赖。

28、5. 本发明采用仅依靠因果特征完成有害模因预测的推理范式,即训练与推理解耦,推理阶段丢弃全部混淆特征,仅基于纯净因果语义完成检测,解决现有模型依赖浅层虚假关联、隐性有害模因漏检误检问题。

29、6. 本发明包含多模态编码、模态专属解耦、多约束正则、跨模态融合、对抗去混淆、因果特征分类六大模块的一体化硬件/软件检测系统,可部署于社交平台内容审核服务器。