一种基于参考图像视觉提示的医学图像分割方法、系统、设备、介质及产品与流程

摘要: 本申请涉及医学图像分割,特别是涉及一种基于参考图像视觉提示的医学图像分割方法、系统、设备、介质及产品。背景技术:1、传统医学图像分割方法以有监督深度学习为主,其...
一种基于参考图像视觉提示的医学图像分割方法、系统、设备、介质及产品与流程

本申请涉及医学图像分割,特别是涉及一种基于参考图像视觉提示的医学图像分割方法、系统、设备、介质及产品。

背景技术:

1、传统医学图像分割方法以有监督深度学习为主,其核心依赖大量已完成像素级精细标注的医学图像开展模型训练。这类有监督分割模型需要由专业医师逐张、逐病灶勾勒目标区域,形成高质量标注数据集后,才能完成网络训练与参数优化。这种方式不仅人力成本高昂,且标注过程繁琐耗时。

技术实现思路

1、本申请的目的是提供一种基于参考图像视觉提示的医学图像分割方法、系统、设备、介质及产品,以实现医学图像的低样本分割。

2、为实现上述目的,本申请提供了如下方案。

3、第一方面,本申请提供了一种基于参考图像视觉提示的医学图像分割方法,包括:

4、采用视觉编码器分别对医学目标图像和n个医学参考图像进行特征提取,获得目标特征图和n个参考特征图;

5、利用提示编码器对每个参考特征图及每个参考特征图对应的视觉提示进行特征提取,生成多个参考视觉提示token;

6、利用解码器将目标特征图分别与各个参考视觉提示token进行交互,并对医学目标图像进行分割。

7、可选地,利用提示编码器对每个参考特征图及每个参考特征图对应的视觉提示进行特征提取,具体包括:

8、分别将每个参考特征图及所述参考特征图对应的视觉提示输入提示编码器进行特征提取,获得n个参考视觉提示特征;

9、当分割任务为通用分割时,将n个参考视觉提示特征进行聚类,并将同一个类别的参考视觉提示特征进行平均,得到各个类别的参考视觉提示token;

10、当分割任务为参考分割任务时,将n个参考视觉提示特征分别设置为n个参考视觉提示token。

11、可选地,所述提示编码器利用掩码交叉注意力进行特征提取,具体包括:

12、分别将视觉提示作为空间约束,对参考特征图进行空间掩码屏蔽,获得掩码筛选后的特征图;

13、对掩码筛选后的特征图,进行空间注意力计算,获得参考视觉提示特征;

14、其中,、、分别为第n个视觉提示、参考特征图和参考视觉提示,与相对应,即,是参考特征图对应的视觉提示。

15、可选地,所述解码器包括:提示分支和分割分支;

16、当分割任务为通用分割时,利用解码器将目标特征图分别与各个参考视觉提示token进行交互,并对医学目标图像进行分割,具体包括:

17、利用提示分支将目标特征图与各个参考视觉提示token做特征交互,获得各个参考视觉提示token对应的目标提示特征;

18、利用分割分支将目标特征图与各个分割token的特征交互,获得多个分割结果以及每个分割结果对应的分割特征;各个分割token为适配医学目标图像中不同类别、不同尺度、不同空间分布规律目标的差异化表征;

19、分别计算每个分割特征与各个目标提示特征的第一匹配分数,并确定每个分割特征的最优目标提示特征;分割特征的最优目标提示特征为与所述分割特征的第一匹配分数最高的目标提示特征;

20、分别确定各个分割特征的最优目标提示特征对应的类别,作为各个分割特征对应分割结果的类别。

21、可选地,所述解码器包括:提示分支和分割分支;

22、当分割任务为参考分割任务时,利用解码器将目标特征图分别与各个参考视觉提示token进行交互,并对医学目标图像进行分割,具体包括:

23、利用提示分支将目标特征图与各个参考视觉提示token做特征交互,获得各个参考视觉提示token对应的目标提示特征;

24、利用分割分支将目标特征图与各个分割token的特征交互,获得多个分割结果以及每个分割结果对应的分割特征;各个分割token为适配医学目标图像中不同类别、不同尺度、不同空间分布规律目标的差异化表征;

25、分别计算每个候选目标提示特征与各个分割特征的第二匹配分数,并确定各个候选目标提示特征的最优分割特征;候选目标提示特征的最优分割特征为与所述候选目标提示特征的第二匹配分数最高的分割特征;所述候选目标提示特征为参考分割任务所对应的目标提示特征;

26、分别确定各个候选目标提示特征的最优分割特征对应的分割结果,作为参考分割任务的分割结果。

27、可选地,采用视觉编码器分别对医学目标图像和n个医学参考图像进行特征提取,获得目标特征图和n个参考特征图,之前还包括:

28、对医学目标图像和各个医学参考图像进行标准化处理;

29、所述标准化处理包括:灰度归一化、降噪滤波、尺寸标准化和对比度增强。

30、第二方面,本申请提供了一种基于参考图像视觉提示的医学图像分割系统,所述基于参考图像视觉提示的医学图像分割系统应用上述的基于参考图像视觉提示的医学图像分割方法,所述基于参考图像视觉提示的医学图像分割系统,包括:

31、视觉编码模块,用于采用视觉编码器分别对医学目标图像和n个医学参考图像进行特征提取,获得目标特征图和n个参考特征图;

32、提示编码模块,用于利用提示编码器对每个参考特征图及每个参考特征图对应的视觉提示进行特征提取,生成多个参考视觉提示token;

33、解码模块,用于利用解码器将目标特征图分别与各个参考视觉提示token进行交互,并对医学目标图像进行分割。

34、第三方面,本申请提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述的基于参考图像视觉提示的医学图像分割方法。

35、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的基于参考图像视觉提示的医学图像分割方法。

36、第五方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的基于参考图像视觉提示的医学图像分割方法。

37、根据本申请提供的具体实施例,本申请具有了以下技术效果。

38、本申请提供了一种基于参考图像视觉提示的医学图像分割方法、系统、设备、介质及产品,本申请采用视觉编码器分别对医学目标图像和n个医学参考图像进行特征提取;利用提示编码器分别对每个参考特征图及参考特征图对应的视觉提示进行特征提取;利用解码器将目标特征图分别与提取得到的每个参考视觉提示token进行交互,并对医学目标图像进行分割。本申请将视觉提示应用到医学图像分割的过程中,仅需对少量图像进行标注作为提示信息,即可自动完成其余大量图像的分割任务,提升了分割效率,有效解决了传统方式中标注成本高、耗时长的问题。

1.一种基于参考图像视觉提示的医学图像分割方法,其特征在于,包括:

2.根据权利要求1所述的基于参考图像视觉提示的医学图像分割方法,其特征在于,利用提示编码器对每个参考特征图及每个参考特征图对应的视觉提示进行特征提取,具体包括:

3.根据权利要求2所述的基于参考图像视觉提示的医学图像分割方法,其特征在于,所述提示编码器利用掩码交叉注意力进行特征提取,具体包括:

4.根据权利要求1所述的基于参考图像视觉提示的医学图像分割方法,其特征在于,所述解码器包括:提示分支和分割分支;

5.根据权利要求1所述的基于参考图像视觉提示的医学图像分割方法,其特征在于,所述解码器包括:提示分支和分割分支;

6.根据权利要求1所述的基于参考图像视觉提示的医学图像分割方法,其特征在于,采用视觉编码器分别对医学目标图像和n个医学参考图像进行特征提取,获得目标特征图和n个参考特征图,之前还包括:

7.一种基于参考图像视觉提示的医学图像分割系统,其特征在于,所述基于参考图像视觉提示的医学图像分割系统应用权利要求1-6任一项所述的基于参考图像视觉提示的医学图像分割方法,所述基于参考图像视觉提示的医学图像分割系统,包括:

8.一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的基于参考图像视觉提示的医学图像分割方法。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于参考图像视觉提示的医学图像分割方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于参考图像视觉提示的医学图像分割方法。