多模态医疗大模型构建方法和装置、系统、存储介质

本发明属于大模型，尤其涉及一种多模态医疗大模型构建方法和装置、系统、存储介质。

背景技术：

1、ai大模型发展迅速，已经在领域展现出了极大的潜力和众多广泛的应用前景。从自然语言处理、计算机视觉到医学、金融等行业，ai大模型的能力正在不断提升。近年来，随着硬件算力的提升和数据规模的扩大，ai大模型的训练速度和精度得到了显着提高。它们能够处理海量数据，快速识别模式，生成高质量的文本、图像和其他内容。

2、但是，鼻腔医学大模型的发展也面临一些关键挑战，其中就是训练数据的准确性问题。如果医学大模型所依赖的数据之一不够准确、全面或高质量，就会导致模型在处理复杂的医疗任务时鼻腔医学领域的数据非常特殊，涵盖大量病史、医学影像、实验结果等，但这些数据通常具有高度的专业性、复杂性和隐私性，因此很难获得足够大规模且高的数据质量的训练数据。因此，提高鼻腔医学数据的质量、保证数据的多样性和准确性，成为提升鼻腔医学大模型性能的关键步骤。

3、目前，模态数据构建的大模型在某些特定任务上可能会表现出一定的优势，但整体来看，其准确率和泛化能力仍然存在局限性。模态数据图像，例如仅基于文本、单一或生物信号等单一信息源进行训练的模型，往往难以充分捕获复杂任务中涉及的多维度信息。这种限制使得模型在处理需要综合多维度信息的任务时，表现力不足，从而影响鼻腔疾病诊断或预测的准确性和可靠性。

技术实现思路

1、本发明要解决的技术问题是，提供一种多模态医疗大模型构建方法和装置、系统、存储介质，可以从不同的信息源中提取更全面和细化粗糙的特征，从而提高鼻腔疾病预测的准确性。

2、为实现上述目的，本发明采用如下的技术方案：

3、一种多模态医疗大模型构建方法，包括：

4、步骤s1、获取训练数据集；

5、步骤s2、根据训练数据集，得到跨模态对比学习模型；

6、步骤s3、基于迁移学习对跨模态对比学习模型进行微调，得到适应下游任务的任务模型，实现分类任务要求。

7、作为优选，训练数据集包含鼻内镜记录，每条鼻内镜记录包含检查报告和内窥镜图像。

8、作为优选，步骤s2包括：

9、采用mae范式对内窥镜图像进行图像重建；

10、根据检查报告和重建后的图像，采用多模态交叉注意模块将多个图像的视觉表示合并到文本编码器中：

11、通过多级别语义对齐模块进行分层多颗粒度图像报告跨模态对齐，得到跨模态对比学习模型。

12、本发明还提供一种多模态医疗大模型构建装置，包括：

13、获取模块，用于获取训练数据集；

14、训练模块，用于根据训练数据集，得到跨模态对比学习模型；

15、微调模块，用于基于迁移学习对跨模态对比学习模型进行微调，得到适应下游任务的任务模型，实现分类任务要求

16、作为优选，训练数据集包含鼻内镜记录，每条鼻内镜记录包含检查报告和内窥镜图像。

17、作为优选，训练模块包括：

18、第一处理单元，用于采用mae范式对内窥镜图像进行图像重建；

19、第二处理单元，用于根据检查报告和重建后的图像，采用多模态交叉注意模块将多个图像的视觉表示合并到文本编码器中：

20、第三处理单元，用于通过多级别语义对齐模块进行分层多颗粒度图像报告跨模态对齐，得到跨模态对比学习模型。

21、本发明还提供一种多模态医疗大模型构建系统，包括：存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行多模态医疗大模型构建方法。

22、本发明实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行多模态医疗大模型构建方法。

23、相比现有技术，本发明具有如下的技术效果：

24、1、跨模态的数据融合可以显着增强大模型的洞察能力。在鼻腔医学领域，跨模态数据的应用极为重要。例如，患者的病历文本、医学影像(如x光、ct扫描)、实验室检测结果和基因组数据等多种不同模态的信息，通常各自包含不同层次和角度的病理特征。

25、2、跨模态大模型可以有效地修复单一模态数据的缺陷。例如，鼻腔疾病在影像数据中可能不明显，但通过结合基因数据或生物标志物，可以更准确地捕捉此外，跨模态的大模型可以更好地应对医学数据中的不确定性，减少误判的风险，因为不同模态的信息之间可以相互验证和补充，提高模型的风险鲁棒性。

26、3、跨模态的数据集成，能够提升模型对鼻腔疾病的精准诊断，通过融合不同层次的信息，跨模态模型能够在更细粒度的水平上分析患者的健康状况，提供更全面、准确和个性化的健康状况医疗解决方案，从而极大地推动精准医疗的发展。

1.一种多模态医疗大模型构建方法，其特征在于，包括：

2.如权利要求1所述的多模态医疗大模型构建方法，其特征在于，训练数据集包含鼻内镜记录，每条鼻内镜记录包含检查报告和内窥镜图像。

3.如权利要求2所述的多模态医疗大模型构建方法，其特征在于，步骤s2包括：

4.一种多模态医疗大模型构建装置，其特征在于，包括：

5.如权利要求4所述的多模态医疗大模型构建装置，其特征在于，训练数据集包含鼻内镜记录，每条鼻内镜记录包含检查报告和内窥镜图像。

6.如权利要求5所述的多模态医疗大模型构建装置，其特征在于，训练模块包括：

7.一种多模态医疗大模型构建系统，其特征在于，包括：存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-3中的任一项所述的多模态医疗大模型构建方法。

8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-3中的任一项所述的多模态医疗大模型构建方法。