基于文本驱动和切片感知的医学图像分割方法

摘要: 本发明涉及计算机视觉,具体而言,涉及图像处理技术,特别涉及基于文本驱动和切片感知的医学图像分割方法。背景技术:1、医学图像分割作为医学图像分析的核心环节,为临床...
基于文本驱动和切片感知的医学图像分割方法

本发明涉及计算机视觉,具体而言,涉及图像处理技术,特别涉及基于文本驱动和切片感知的医学图像分割方法。

背景技术:

1、医学图像分割作为医学图像分析的核心环节,为临床诊断与治疗决策提供了客观量化的依据。相较于耗时耗力且需要高度专业知识的人工分割,自动分割能够在毫秒级完成海量任务,并保持输出结果的逻辑一致性。基于深度学习的医学图像分割方法在数据量较大且任务复杂的情况下,展现出比传统方法更强的鲁棒性与更高的精度。此外,以clip为代表的对比式语言-图像预训练范式,使用户能够以自然语言形式提供视觉提示。相较于传统的点提示或框提示,自然语言表达更加灵活、直观且易于扩展,显著降低了对人工设计提示形式的依赖,开启了基于自然语言交互的视觉理解新模式。

2、然而,现有的医学图像分割及文本提示方法在实际应用中仍面临以下显著缺陷与技术挑战:

3、第一,现有深度学习模型的高性能通常仅限于训练集和测试集来自同一个数据域。由于不同医疗中心或设备收集的医学图像存在差异,不同医生的标注习惯不同,且各医院具备各自的成像规范及质量控制标准,当训练和测试不在同一个域时,模型性能会因域分布的差异而显著下降,造成域偏移。

4、第二,虽然基于文本提示的方法展现了巨大潜力,但直接应用于3d医学图像分割时,现存方法生成的文本提示通常为静态参数。实际上,即使是同一器官,在不同切面、不同角度,以及前部、中部和底部的解剖结构均存在显著差异。依赖全局且静态的文本提示难以充分适应局部结构的变化特性,导致局部解剖描述失配,从而严重限制了模型的分割性能与泛化能力。

5、因此,本领域亟需一种能够在关注全局语义的同时兼顾特定细节特征,从而实现对3d医学图像不同切片进行自适应特征调制的分割方案,以提升跨中心场景下模型的分割性能与跨域泛化能力。

技术实现思路

1、本发明旨在解决现有方法存在的在跨域场景下存在严重域偏移,以及现有静态文本提示难以适应3d医学图像切片解剖结构变化的问题,提供基于文本驱动和切片感知的医学图像分割方法。

2、第一方面,本发明提供了基于文本驱动和切片感知的医学图像分割方法,包括如下步骤:

3、获取三维医学图像及标注,划分为二维切片,并获取多条解剖区域文本与空间提示;

4、构建医学图像分割模型,包括文本编码器、嵌有解剖切片感知适配器的图像编码器、提示编码器和掩码解码器;

5、利用所述文本编码器提取所述多条解剖区域文本的文本特征,并根据所述二维切片的位置信息与文本位置锚点,通过高斯加权机制对所述文本特征进行动态融合,得到切片位置感知文本特征;

6、将所述切片位置感知文本特征与图像编码器的网络层级特征进行融合,得到联合条件特征;利用所述解剖切片感知适配器中的超网络,基于所述联合条件特征动态生成低秩适配参数;

7、将所述二维切片输入所述图像编码器,利用所述低秩适配参数对所述图像编码器的特征提取过程进行调制,得到经解剖切片感知调制的图像特征;

8、利用所述提示编码器对所述空间提示进行编码得到提示特征,并将所述图像特征与提示特征输入所述掩码解码器进行融合处理,输出所述二维切片的分割掩码及质量评估分数;

9、基于所述标注、分割掩码及质量评估分数计算联合损失以优化模型可训练参数;将未知目标域的二维切片、解剖区域文本和空间提示输入优化后的模型,将各切片结果按原顺序重组,获得三维分割结果。

10、作为本技术第一方面的一种可选实施方式,所述提取所述多条解剖区域文本的文本特征,包括:

11、将所述多条解剖区域文本进行张量维度变换并输入至词嵌入特征层,转换为初始特征表示;在序列维度上对所述初始特征表示分离出起始标记特征和文本标记特征;

12、引入可学习的提示向量,将其沿批次维度扩展后,插入所述起始标记特征和文本标记特征之间进行拼接,得到增强特征表示;

13、基于可学习的提示向量生成全量激活掩码矩阵,并按起始标记、提示向量、文本标记的顺序进行级联拼接,得到对齐的注意力掩码矩阵;

14、将所述增强特征表示与注意力掩码矩阵输入预训练的文本编码器中,通过多头注意力机制交互,提取输出结果中的第一个序列的隐层向量作为全局语义特征,经特征投影层映射后输出多条解剖区域文本的文本特征。

15、作为本技术第一方面的一种可选实施方式,其特征在于,所述得到切片位置感知文本特征,包括:

16、获取当前二维切片的归一化位置值,以及所述多条解剖区域文本各自对应的位置锚点;

17、基于所述归一化位置值与各个位置锚点之间的距离,计算各个位置锚点对应的高斯权重并进行归一化处理,得到归一化融合权重;

18、利用所述归一化融合权重对对应的解剖区域文本特征进行加权求和,得到所述切片位置感知文本特征。

19、作为本技术第一方面的一种可选实施方式,其特征在于,所述得到联合条件特征,基于所述联合条件特征动态生成低秩适配参数,包括:

20、为所述图像编码器的各个网络层分别设置可学习层嵌入;将所述可学习层嵌入与所述切片位置感知文本特征进行融合,并经归一化和非线性映射得到联合条件特征;

21、所述超网络包含共享的前置瓶颈映射网络以及第一预测分支、第二预测分支和偏置分支;

22、所述前置瓶颈映射网络将所述联合条件特征的维度压缩至中间维度;并通过第一预测分支、第二预测分支和偏置分支分别映射,生成第一低秩矩阵、第二低秩矩阵和偏置向量作为所述低秩适配参数;

23、在网络建立初期,将第二低秩矩阵的权重和偏置向量初始化为0,并将第一低秩矩阵的权重初始化为近零正态分布;使得所述超网络生成的参数变化量为零,所述图像编码器执行恒等映射。

24、作为本技术第一方面的一种可选实施方式,其特征在于,所述得到经解剖切片感知调制的图像特征,包括:

25、将所述二维切片切分为图像块并通过线性层映射,构造二维切片图像块特征矩阵;

26、当图像块特征矩阵的空间尺寸与预设绝对位置编码的固定空间尺寸不匹配时,对预设绝对位置编码进行维度置换及插值重采样,以匹配所述二维切片图像块特征矩阵的空间尺寸;

27、采用张量广播机制将尺寸匹配后的绝对位置编码与所述二维切片图像块特征矩阵进行融合;

28、将融合后得到的特征矩阵通过所述低秩矩阵进行降维和升维处理,并叠加所述偏置向量,经非线性激活后得到自适应特征偏移量;

29、将融合后得到的特征矩经层归一化处理后输入注意力计算模块得到注意力层的输出结果,再将所述输出结果输入第一个低秩动态适配器输出得到自适应特征偏移量,将所述自适应特征偏移量乘以缩放因子并和注意力层的输出结果、融合后得到的特征矩经层进行相加,得到中间更新特征;

30、将所述中间更新特征经层归一化处理后,分别输入至所述第二个低秩动态适配器和多层感知机;将所述第二个低秩动态适配器输出的自适应特征偏移量、多层感知机的输出结果,以及所述中间更新特征进行相加,得到最终输出的经解剖切片感知调制的图像特征。

31、作为本技术第一方面的一种可选实施方式,其特征在于,所述得到提示特征,包括:

32、所述空间提示包括点几何提示通、框几何提示、掩码提示;

33、对于点几何提示通过前置点编码网络将其转化为特征向量,对于框几何提示通过前置边界框编码网络将框型坐标区域转化为特征向量;将特征向量沿序列长度轴追加至初级级联容器中,形成全局稀疏提示特征;

34、对于无掩码提示输入时,将常驻的缺省掩码锚点权重进行维度重组,并通过张量广播扩展机制复制和平铺拉伸至目标尺寸,构造全局稠密提示特征。

35、作为本技术第一方面的一种可选实施方式,其特征在于,所述输出所述二维切片的分割掩码及质量评估分数,包括:

36、初始化用于预测交并比的第一标记和用于生成掩码的第二标记,拼接并拓展后与稀疏提示特征级联形成复合标记序列;

37、将所述图像特征和稠密提示特征逐元素相加得到特征源,将所述特征源、位置编码及复合标记序列进行双向注意力交互更新得到更新后的标记特征和图像特征源;并从更新后的标记中分离出新第一标记和新第二标记;

38、通过掩码生成分支对更新后的图像特征源上采样,与新第二标记生成的权重向量进行点积操作输出候选分割掩码;通过质量评估分支将新第一标记输入多层感知机输出质量评估分数。

39、作为本技术第一方面的一种可选实施方式,其特征在于,所述基于所述标注、分割掩码及质量评估分数计算联合损失以优化模型可训练参数,包括:

40、基于所述标注与所述分割掩码计算分割损失,所述分割损失包括dice损失、交叉熵损失或焦点损失中的一种或多种;

41、所述质量评估分数包括预测质量评估分数与实际分割质量评估分数,依据二者计算质量评估损失;

42、基于两类损失加权求和得到的联合损失优化所述文本编码器、解剖切片感知适配器及掩码解码器的参数,并保持所述图像编码器的主体参数冻结。

43、第二方面,本技术实施例提供了基于文本驱动和切片感知的医学图像分割系统,包括:

44、数据获取与预处理模块,用于获取三维医学图像及标注,划分为二维切片,并获取多条解剖区域文本与空间提示;

45、模型构建模块,用于构建医学图像分割模型,包括文本编码器、嵌有解剖切片感知适配器的图像编码器、提示编码器和掩码解码器;

46、文本特征提取与融合模块,用于利用所述文本编码器提取所述多条解剖区域文本的文本特征,并根据所述二维切片的位置信息与文本位置锚点,通过高斯加权机制对所述文本特征进行动态融合,得到切片位置感知文本特征;

47、跨模态融合与参数生成模块,用于将所述切片位置感知文本特征与图像编码器的网络层级特征进行融合,得到联合条件特征;利用所述解剖切片感知适配器中的超网络,基于所述联合条件特征动态生成低秩适配参数;

48、解剖切片感知图像编码模块,用于将所述二维切片输入所述图像编码器,利用所述低秩适配参数对所述图像编码器的特征提取过程进行调制,得到经解剖切片感知调制的图像特征;

49、提示编码与掩码解码模块,用于利用所述提示编码器对所述空间提示进行编码得到提示特征,并将所述图像特征与提示特征输入所述掩码解码器进行融合处理,输出所述二维切片的分割掩码及质量评估分数;

50、模型训练与推理重组模块,用于基于所述标注、分割掩码及质量评估分数计算联合损失以优化模型可训练参数;将未知目标域的二维切片、解剖区域文本和空间提示输入优化后的模型,将各切片结果按原顺序重组,获得三维分割结果。

51、第三方面,本技术实施例提供了一种电子设备,所述电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

52、第四方面,本技术实施例提供了一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

53、与现有技术相比,本发明提出了基于文本驱动和切片感知的医学图像分割方法,具有以下有益效果:

54、提出了一种基于文本的解剖切片感知适配器,将解剖语义先验与超网络驱动的动态参数生成相结合;在绝对冻结主干网络庞大基础权重的前提下,以极低的显存和参数微调代价实现了跨模态特征的深层对齐,从而实现了预训练图像编码器在跨域医学图像分割任务中的参数高效适配,显著提升了模型在复杂切片上的分割鲁棒性。

55、引入了一种位置感知的高斯加权机制,根据3d体积内标准化的切片位置,自适应融合多个解剖文本描述。使得同一器官底部、中间、顶端的文本语义能够随着切片位置连续变化,让相邻区域保持平滑过渡;该机制使模型能够在保持语义一致性的同时,有效避免单一静态文本向量造成的局部解剖描述失配,更好地适应切片方向的解剖结构变化。

56、构建了切片和网络间的层级联合机制,通过引入可学习的层嵌入,将相同的切片特定解剖语义应用于图像编码器的不同表示层级;该设计使不同深度的transformer块获得与其表征尺度相匹配的文本控制信息,改善了文本特征和视觉特征之间的跨层对齐,使编码器能够更好地捕捉解剖结构信息。

57、在超网络生成适配器参数时引入低秩矩阵分解思想,将庞大的全尺寸权重解构为降维的自适应解耦参数(低秩因子矩阵及偏置向量)。该设计避免了超网络直接预测全尺寸参数导致的参数量几何级数暴增,在网络拓扑层面上实现了极高的参数压缩比,显著降低了后续大矩阵预测分支的计算量。

58、建立了一种零增量初始化机制。在网络建立初期,将特定低秩因子矩阵的权重与偏置显式初始化为0,使得下游重构出的参数变化量在初始阶段严格等于0;该设计保证了预训练知识的绝对安全,并随着训练进行平滑引导超网络渐进式产生参数调整量,极大地提升了深度网络的训练稳定性和收敛速度。

59、仅使用单一源域的带标注医学图像进行训练,在未知目标域推理时不访问目标域标注数据,也不需要对模型进行再次训练或参数微调;在两个单域泛化医学图像分割任务上的大规模实验表明,所提出的方法在性能上持续优于当前最先进的方法。