一种融合大语言模型推理的多模态虚假健康信息识别方法及电子设备

摘要: 本发明涉及健康信息及人工智能,具体涉及融合大语言模型推理的多模态虚假健康信息识别方法及电子设备。背景技术:1、随着社交媒体平台的发展,其已成为健康信息获取与传播...
一种融合大语言模型推理的多模态虚假健康信息识别方法及电子设备

本发明涉及健康信息及人工智能,具体涉及融合大语言模型推理的多模态虚假健康信息识别方法及电子设备。

背景技术:

1、随着社交媒体平台的发展,其已成为健康信息获取与传播的重要渠道。然而,社交媒体平台上大量未经验证的用户生成内容不断涌现,导致虚假健康信息问题日益严峻。同时,社交媒体中的信息形式逐渐呈现出多元化趋势,虚假健康信息在传播路径与内容生成方面表现出明显的多模态特征。相比于单一的文本内容,多模态信息能够传递更丰富的语义信息,从而实现更高效的内容表达与传播。因此,如何有效识别多模态虚假健康信息成为当前亟待解决的技术问题。

2、在现有的多模态虚假信息识别研究中,多数方案主要面向通用领域任务,针对虚假健康信息特定场景的关注和优化相对不足。此外,传统的多模态虚假信息识别方法通常依赖于小规模预训练模型(如bert、vgg19等),并主要通过对文本特征与图像特征进行拼接来实现跨模态融合。然而,此类融合策略难以有效捕捉跨模态之间的深层语义关联。在健康信息领域,由于涉及大量专业医学知识和复杂语义逻辑,仅依赖原始图文特征往往难以获得理想的识别效果。

3、近年来,大语言模型(large language models, llms)在多个自然语言处理任务上展现出显著的应用潜力与性能优势,能够从复杂信息中提取隐含逻辑关系。因此,如何利用大语言模型的推理能力增强多模态健康信息的语义表达,从而提高虚假健康信息识别准确率,成为亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种融合大语言模型推理的多模态虚假健康信息识别方法,通过引入大语言模型生成的推理文本作为补充语义信息,实现对健康图文内容更充分的理解,提高虚假健康信息识别性能。

2、为实现上述目的,本发明采用如下技术方案:

3、一种融合大语言模型推理的多模态虚假健康信息识别方法,包括:

4、获取待识别的健康信息样本,所述健康信息样本至少包括文本信息和图像信息,构建包含文本信息和图像信息的多模态虚假健康信息数据集;

5、将所述文本信息和图像信息输入大语言模型,基于所述文本信息与图像信息之间的语义关联关系生成推理文本;

6、分别提取所述文本信息的文本特征、所述图像信息的图像特征以及所述推理文本的推理特征;

7、对所述文本特征、图像特征和推理特征进行融合处理,获得联合特征向量;

8、将所述联合特征向量输入分类模型进行识别,输出所述健康信息样本的真实性识别结果。

9、优选的,所述大语言模型基于预设提示词对所述文本信息与图像信息进行联合分析,以生成描述图文语义关系的推理文本。

10、优选的,所述大语言模型生成推理文本时,基于以下至少一种因素进行推理分析:图文语义一致性、信息内容完整性、信息误导性、信息发布主体可信度、图像对文本内容的支撑关系、权威信息引用情况和医疗专业术语使用情况。

11、优选的,所述推理文本用于表征文本信息与图像信息之间的跨模态语义关系,并作为独立模态参与后续识别处理。

12、优选的,所述文本特征和推理特征通过文本编码网络提取;所述图像特征通过视觉编码网络提取。

13、更优选的,所述文本编码网络包括基于transformer架构的文本编码器;所述视觉编码网络包括基于vit-b/32的视觉编码器。

14、优选的,所述融合处理包括将文本特征、图像特征和推理特征进行向量拼接,以形成联合特征向量。

15、优选的,所述分类模型为神经网络分类模型,通过对联合特征向量进行非线性映射,并输出表示真实信息或虚假信息的分类结果。

16、本发明还提供一种多模态虚假健康信息识别装置,包括:

17、推理文本生成模块,用于表征文本信息与图像信息之间的跨模态语义关系,生成的推理文本作为独立模态参与后续识别处理;所述文本信息和图像信息来自于待识别的健康信息样本;

18、特征提取模块,通过文本编码网络提取文本信息中的文本特征和推理文本中的推理特征;通过视觉编码网络提取图像信息中的图像特征;

19、特征融合模块,用于对所述文本特征、图像特征和推理特征进行融合处理,获得联合特征向量;

20、分类识别模块,用于将所述联合特征向量输入分类模型进行识别,输出健康信息样本的真实性识别结果。

21、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行程序时实现上述任一多模态虚假健康信息识别方法的步骤。

22、与现有技术相比,本发明具有以下有益效果:

23、(1)引入大语言模型生成的推理文本作为补充语义信息,提高了对健康信息内容的理解能力;

24、(2)实现了原始文本、原始图像以及推理文本三类信息的联合建模,增强了跨模态语义关联表达能力;

25、(3)提高了虚假健康信息识别的准确率和召回率;

26、(4)实现从健康图文输入到真实性识别结果输出的自动化处理流程。

1.一种融合大语言模型推理的多模态虚假健康信息识别方法,其特征在于,包括:

2.根据权利要求1所述的多模态虚假健康信息识别方法,其特征在于,所述大语言模型基于预设提示词对所述文本信息与图像信息进行联合分析,以生成描述图文语义关系的推理文本。

3.根据权利要求1所述的多模态虚假健康信息识别方法,其特征在于,所述大语言模型生成推理文本时,基于以下至少一种因素进行推理分析:图文语义一致性、信息内容完整性、信息误导性、信息发布主体可信度、图像对文本内容的支撑关系、权威信息引用情况和医疗专业术语使用情况。

4.根据权利要求1所述的多模态虚假健康信息识别方法,其特征在于,所述推理文本用于表征文本信息与图像信息之间的跨模态语义关系,并作为独立模态参与后续识别处理。

5.根据权利要求1所述的多模态虚假健康信息识别方法,其特征在于,所述文本特征和推理特征通过文本编码网络提取;所述图像特征通过视觉编码网络提取。

6.根据权利要求5所述的多模态虚假健康信息识别方法,其特征在于,所述文本编码网络包括基于transformer架构的文本编码器;所述视觉编码网络包括基于vit-b/32的视觉编码器。

7.根据权利要求1所述的多模态虚假健康信息识别方法,其特征在于,所述融合处理包括将文本特征、图像特征和推理特征进行向量拼接,以形成联合特征向量。

8.根据权利要求1所述的多模态虚假健康信息识别方法,其特征在于,所述分类模型为神经网络分类模型,通过对联合特征向量进行非线性映射,并输出表示真实信息或虚假信息的分类结果。

9.一种多模态虚假健康信息识别装置,其特征在于,包括:

10.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~8任一所述多模态虚假健康信息识别方法的步骤。