一种基于方向感知与自动任务识别的三维血管分割方法

摘要: 本发明涉及医学图像处理领域,特别是一种基于方向感知与自动任务识别的三维血管分割方法。背景技术:1、现有三维血管分割方法通常采用的三维编码器—解码器结构如图1所示...
一种基于方向感知与自动任务识别的三维血管分割方法

本发明涉及医学图像处理领域,特别是一种基于方向感知与自动任务识别的三维血管分割方法。

背景技术:

1、现有三维血管分割方法通常采用的三维编码器—解码器结构如图1所示,三维医学图像首先通过图像输入单元101输入。所述三维医学图像由按照深度、高度和宽度排列的大量体素构成,每个体素对应一个空间位置及其图像强度。

2、编码器102依次利用三维卷积和下采样处理输入图像。三维卷积用于提取灰度变化、血管边界和局部形态等空间特征;下采样用于逐级减小特征在深度、高度和宽度方向上的尺寸,使深层特征能够包含较大范围的上下文信息。经过不同层级处理后,编码器102形成多个空间分辨率的编码特征,其中浅层特征通常保留较多的位置、边界和细小分支信息,深层特征则包含较大范围的血管形态及周围组织信息。

3、编码器102输出的最低空间分辨率特征进入瓶颈特征处理单元103,经过进一步的卷积或者特征融合处理后输入解码器104。解码器104通过逐级上采样恢复特征的空间分辨率,并通过同尺度跳跃连接接收编码器102输出的较高分辨率特征,使解码特征同时包含深层上下文信息以及浅层位置和边界信息。空间分辨率恢复后,固定分割头105通常利用1×1×1三维卷积,将每个体素位置的解码特征转换为背景及一个或者多个血管类别的得分,输出单元106再根据各通道得分形成三维血管分割结果。

4、现有三维医学图像分割方法通常采用编码器—解码器,并利用参数固定的分割头输出结果。在临床应用中,不同血管部位及不同病灶的分割目标不同,现有方法通常需要分别训练和部署专用模型,并由人工判断输入图像属于血管分割还是病灶分割任务,再选择对应模型。

5、因此,现有方法缺少能够处理多种分割任务的统一模型,增加了模型训练、选择和部署的复杂度;同时,现有方法难以根据输入图像自动判断其属于血管分割任务还是病灶分割任务,并据此选择相应的分割参数,可能造成模型选择错误或输出目标不匹配,具体存在下述问题。

6、(1)在血管方向特征提取方面,现有方法通常采用固定形状的三维卷积核提取局部特征,或者利用若干预设方向的卷积分别提取方向响应后,再进行固定求和、平均或者拼接。上述方法对不同输入图像采用相同的方向组合方式。但是,不同样本中的血管可能具有不同的空间走向、弯曲程度和分支形态,固定的方向组合方式不能根据当前样本调整不同方向特征的保留程度,因而可能对斜向延伸、弯曲或者直径较小的血管形成较弱响应。

7、(2)在上下文信息与空间细节的协同方面,普通局部卷积能够获取的信息范围有限;部分现有方法通过注意力运算或者序列建模运算传递较远位置的信息,但如果远距离响应缺少局部血管方向结构的约束,也可能将与血管形态不一致的背景响应传播至目标区域。与此同时,连续下采样虽然能够扩大特征的观察范围,但可能削弱细小血管的位置、边界和分支信息。普通跳跃连接主要在解码阶段传递同尺度的浅层特征,难以直接利用局部方向结构对深层上下文响应进行选择,并使浅层空间细节、中层形态信息和深层上下文信息共同参与深层特征处理。

8、(3)在多种目标血管分割任务中,现有方法通常采用固定多类别分割头,或者分别训练多个模型。前者在部分标注数据中可能将未标注血管作为背景而产生监督冲突,后者增加训练、存储和部署开销;两者均不能仅根据输入图像自动识别来源任务并生成样本专用分割参数。

技术实现思路

1、本发明克服了现有技术的不足,提供了一种基于方向感知与自动任务识别的三维血管分割方法,样本自适应的多方向权重,以局部方向结构约束深层上下文并融合多级编码特征;同时根据图像内容自动识别来源任务、生成动态分割参数,并将结果映射至统一类别空间。

2、为实现上述目的,本发明采用了下列技术方案:

3、一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:包括有通过共享三维编码器逐级提取第0级至第4级编码特征。在第3级和第4级深层编码阶段,一方面,分别沿三维图像的三个空间轴提取局部方向响应,根据当前样本生成三个方向响应的权重,并对所述方向响应进行加权融合;另一方面,通过正向选择性状态空间分支、反向选择性状态空间分支和局部序列分支,形成同时包含双向长距离信息和相邻位置信息的上下文表示。随后,由加权融合后的局部方向结构生成门控信号,对所述上下文表示进行调节,使深层上下文信息的保留受到当前样本局部血管方向结构的约束。同时,第3级调节结果经过特征变换后与该级原始特征进行残差融合,形成第3级精炼特征;第4级调节结果作为第4级方向门控表示。随后,将第0级至第4级编码特征调整至与第4级特征相同的空间尺寸并进行融合,形成多级上下文特征,再利用所述多级上下文特征对第4级方向门控表示进行软门控调节,得到瓶颈特征。共享解码器根据所述瓶颈特征逐级恢复空间分辨率,并与相应层级的编码特征进行融合,形成预测特征。

4、本发明的有益效果是:

5、1、本发明分别采用沿三维图像三个空间轴设置的各向异性卷积,提取三个互补的局部方向响应;再根据当前样本的整体特征生成三个方向权重,并对三个方向响应进行加权融合。由于方向权重随输入图像变化,不同样本可以根据其血管走向和形态,自适应地调整三个空间方向信息的保留程度。因此,当待分割血管具有不同延伸方向、弯曲程度或者分支形态时,本发明能够为当前样本形成相应的方向结构表示,有利于保留与目标血管实际走向相符的局部响应,并减少固定方向建模对不同血管形态适应不足的问题。

6、2、本发明在空间尺寸较小、形态信息较丰富的第3级和第4级编码阶段执行方向感知处理。正向和反向状态空间分支分别从两个相反的序列方向传递较远位置的信息,局部序列分支保留相邻位置之间的短距离变化;由局部方向结构生成的门控信号进一步调节上述上下文特征,使远距离传播信息的保留受到当前体素位置局部血管结构的约束。由此,可以在关联较远血管响应的同时,降低缺少局部血管方向依据的背景信息随长距离建模传播的可能性。与此同时,第0级至第2级浅层编码特征不执行上述长距离序列运算,而是保留其较高分辨率的位置、边缘和细小分支信息。瓶颈处理阶段还将第0级至第4级编码特征调整至共同空间尺寸并进行融合,使浅层空间细节、中层局部形态和深层上下文信息共同参与瓶颈特征形成。解码阶段再结合保留的浅层特征逐级恢复空间分辨率。因此,本发明能够使深层特征提供较大范围的血管形态和上下文信息,同时利用浅层及多级编码特征补充连续下采样过程中减弱的位置和边界线索,从而兼顾远距离血管关系建模与细小血管空间定位。

7、3、本发明根据图像描述向量自动生成任务概率和预测任务,并据此生成当前样本的动态分割参数。动态分割头仅预测背景和当前目标,再将结果映射至统一类别空间。因此,推理时无需提供任务标识,不同目标血管任务仍可共享编码器和解码器,并根据输入病例形成相应的分割参数。

1.一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:包括有

2.根据权利要求1所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s201包括有,

3.根据权利要求1所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s202包括有,

4.根据权利要求1所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s203中

5.根据权利要求4所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s203包括有,

6.根据权利要求5所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s204包括有,

7.根据权利要求1所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s205包括有,

8.根据权利要求1所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s206包括有,

9.根据权利要求1所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s207包括有,

10.根据权利要求1所述的一种基于方向感知与自动任务识别的三维血管分割方法,其特征在于:s208包括有,