一种多模态对齐编码器的预训练方法、装置、设备及介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种多模态对齐编码器的预训练方法、装置、设备及介质。背景技术:1、随着医学影像智能诊断技术的快速发展,医学视觉语言大模型、病灶智能分...
一种多模态对齐编码器的预训练方法、装置、设备及介质与流程

本发明涉及人工智能,尤其涉及一种多模态对齐编码器的预训练方法、装置、设备及介质。

背景技术:

1、随着医学影像智能诊断技术的快速发展,医学视觉语言大模型、病灶智能分析等多模态任务对影像特征的语义表征能力与跨模态对齐能力提出了更高要求。

2、现有用于处理医学影像的编码器的预训练方案多依赖纯视觉自监督任务,仅能完成图像维度的特征学习,跨模态语义对齐能力薄弱,无法支撑针对医学影像的多模态任务的执行。

技术实现思路

1、本发明提供了一种多模态对齐编码器的预训练方法、装置、设备及介质,能够提高编码器的多模态对齐能力。

2、根据本发明的一方面,提供了一种多模态对齐编码器的预训练方法,所述方法包括:

3、获取跨模态训练数据集;所述跨模态训练数据集中的每一训练样本中包括医学影像以及对应的文本描述;

4、获取用于处理医学影像的图像编码器,以及用于处理文本的文本编码器,并将所述图像编码器以及所述文本编码器对所述训练样本的处理结果,输入扩散模型中,在扩散模型的训练过程中对所述图像编码器进行迭代优化;

5、在迭代结束后,得到预训练后的图像编码器,以将所述预训练后的图像编码器迁移至多种针对医学影像的任务处理模型中,以通过每种所述针对医学影像的任务处理模型执行对应的任务。

6、根据本发明的另一方面,提供了一种多模态对齐编码器的预训练装置,包括:

7、训练数据获取模块,用于获取跨模态训练数据集;所述跨模态训练数据集中的每一训练样本中包括医学影像以及对应的文本描述;

8、预训练模块,用于获取用于处理医学影像的图像编码器,以及用于处理文本的文本编码器,并将所述图像编码器以及所述文本编码器对所述训练样本的处理结果,输入扩散模型中,在扩散模型的训练过程中对所述图像编码器进行迭代优化;

9、预训练后的图像编码器确定模块,用于在迭代结束后,得到预训练后的图像编码器,以将所述预训练后的图像编码器迁移至多种针对医学影像的任务处理模型中,以通过每种所述针对医学影像的任务处理模型执行对应的任务。

10、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:

11、至少一个处理器;以及,

12、与所述至少一个处理器通信连接的存储器;其中,

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的多模态对齐编码器的预训练方法。

14、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的多模态对齐编码器的预训练方法。

15、本申请实施例的技术方案,通过获取跨模态训练数据集;所述跨模态训练数据集中的每一训练样本中包括医学影像以及对应的文本描述;获取用于处理医学影像的图像编码器,以及用于处理文本的文本编码器,并将所述图像编码器以及所述文本编码器对所述训练样本的处理结果,输入扩散模型中,在扩散模型的训练过程中对所述图像编码器进行迭代优化;在迭代结束后,得到预训练后的图像编码器,以将所述预训练后的图像编码器迁移至多种针对医学影像的任务处理模型中,以通过每种所述针对医学影像的任务处理模型执行对应的任务。本技术方案实现了图像编码器的跨模态对齐能力的预训练,提升了其泛化能力,能够为多种针对医学影像的任务处理模型提供支持。

16、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种多模态对齐编码器的预训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述训练样本的确定过程,包括:

3.根据权利要求1所述的方法,其特征在于,获取用于处理医学影像的图像编码器,包括:

4.根据权利要求3所述的方法,其特征在于,基于满足预设分辨率条件的医学影像对所述医学影像处理模型进行图像的压缩编码与重建解码能力的训练,得到训练后的医学影像处理模型,包括:

5.根据权利要求4所述的方法,其特征在于,将所述图像编码器以及所述文本编码器对所述训练样本的处理结果,输入扩散模型中,在扩散模型的训练过程中对所述图像编码器进行迭代优化,包括:

6.根据权利要求5所述的方法,其特征在于,所述图像编码器以及所述文本编码器对所述训练样本的处理过程,包括:

7.根据权利要求1所述的方法,其特征在于,将所述预训练后的图像编码器迁移至多种针对医学影像的任务处理模型中,包括:

8.一种多模态对齐编码器的预训练装置,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的多模态对齐编码器的预训练方法。