基于渐进式多模态融合网络的虚假新闻检测方法及系统

技术特征：
1.一种基于渐进式多模态融合网络的虚假新闻检测方法，其特征在于，包括以下步骤：获取待检测新闻数据，所述新闻数据包括图像信息和文本信息；基于预训练的虚假新闻检测模型，对所述待检测新闻数据进行检测；其中，所述虚假新闻检测模型包括文本特征编码器、视觉特征编码器、特征融合器和分类器；其中，所述视觉特征编码器包括依次相连的n级视觉特征提取块，所述特征融合器包括依次相连的n级特征融合块，所述文本特征编码器的输出端连接至第1级特征融合块；第i级视觉特征块的输出端均连接至第i级特征融合块，i<n；第n级视觉特征提取块和第n-1级特征融合块的输出端，均连接至第n级特征融合块。2.如权利要求1所述的虚假新闻检测方法，其特征在于，所述视觉特征编码器包括空间域特征编码器和频域特征编码器。3.如权利要求2所述的虚假新闻检测方法，其特征在于，获取待检测新闻数据后，对于其中的图像信息，进行图像分割，得到多个非重叠的k
×
k大小的补丁；将每个补丁展开，并提取r、g、b三分量，得到k
×
k
×
3大小的特征向量，通过线性嵌入层输入空间域特征编码器；所述空间域特征编码器中，每个下一级视觉特征提取块均对上一级视觉特征提取块得到的特征图进行下采样，及通道扩展。4.如权利要求2所述的虚假新闻检测方法，其特征在于，获取待检测新闻数据后，对于其中的图像信息，进行离散傅里叶变换，得到频域信息；将频域信息虚部和实部分离并连接，作为频域特征编码器的输入。5.如权利要求1所述的虚假新闻检测方法，其特征在于，所述文本特征编码器采用双向transformer预训练模型进行特征提取。6.如权利要求2所述的虚假新闻检测方法，其特征在于，所述第1级特征融合块对于得到的空间域视觉特征、频域视觉特征和文本特征，使用多层感知机进行特征融合；然后将融合得到的特征和特征t相结合作为下一级特征融合块的输入。7.如权利要求1所述的虚假新闻检测方法，其特征在于，所述分类器包括全连接层，所述全连接层的输出通过softmax函数产生分类标签的分布情况。8.一种基于渐进式多模态融合网络的虚假新闻检测系统，其特征在于，包括：数据获取模块，用于获取待检测新闻数据，所述新闻数据包括图像信息和文本信息；虚假检测模块，用于基于预训练的虚假新闻检测模型，对所述待检测新闻数据进行检测；其中，所述虚假新闻检测模型包括文本特征编码器、视觉特征编码器、特征融合器和分类器；其中，所述视觉特征编码器包括依次相连的n级视觉特征提取块，所述特征融合器包括依次相连的n级特征融合块，所述文本特征编码器的输出端连接至第1级特征融合块；第i级视觉特征块的输出端均连接至第i级特征融合块，i<n；第n级视觉特征提取块和第n-1级特征融合块的输出端，均连接至第n级特征融合块。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述基于渐进式多模态融合网络的虚假新闻检测方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述基于渐进式多模态融合网络的虚假新闻检测方法。

技术总结
本发明公开了一种基于渐进式多模态融合网络的虚假新闻检测方法及系统，所述方法包括：获取待检测新闻数据，所述新闻数据包括图像信息和文本信息；基于预训练的虚假新闻检测模型，对待检测新闻数据进行检测；其中，所述虚假新闻检测模型包括：视觉特征编码器，包括依次相连的n级视觉特征提取块；特征融合器：包括依次相连的n级特征融合块，文本特征编码器：输出端连接至第1级特征融合块；并且第i级视觉特征块的输出端均连接至第i级特征融合块，i<n，第n级视觉特征提取块和第n-1级特征融合块的输出端均连接至第n级特征融合块。本发明通过渐进式的融合方法，实现了细粒度的多模态信息融合，提高了检测精度。提高了检测精度。提高了检测精度。


技术研发人员：敬静 吴泓辰 孙杰 房晓畅 张化祥
受保护的技术使用者：山东师范大学
技术研发日：2022.01.10
技术公布日：2022/5/25