一种医学图像分割方法、系统、终端以及存储介质与流程

1.本技术属于医学图像处理技术领域，特别涉及一种医学图像分割方法、系统、终端以及存储介质。


背景技术：

2.近年来，人工智能技术在图像分割领域的发展为ct(computed tomography，电子计算机断层扫描)图像的自动勾画带来了新的机遇。由于mr(magnetic resonance，核磁共振成像)图像具有较高的软组织对比度，因此在对ct图像进行分割时，医生常会对照mr图像勾画ct图像中的目标区域。
3.由于ct和mr图像本身是未配准的，现有的技术方案在图像分割之前需要先将两个图像进行域对齐处理。目前的域对齐方式主要分为空间域对齐和灰度域对齐。其中空间域对齐表示通过经典的迭代优化算法或voxelmorph等深度学习将mr图像向ct图像上配准。当mr和ct图像的空间域对齐后，多模态的图像将作为多通道张量被输入至深度学习神经网络中。随后通过神经网络中卷积模块、注意力模块等进行多模态信息的自适应融合。这种方式能够有效地提取出不同模态中有助于目标区域分割的特征，从而提升分割精度。该方式的不足在于：分割结果比较依赖于配准的结果，而在实际操作中很难通过设定的优化目标来同时实现全局和局部的精准对齐，导致后期在多模态信息融合时融入了不同类别的特征，给分类器造成了困惑，从而降低了分割精度；另外，经典的配准算法耗时较长，从而拉低了分割的速度。
4.灰度域对齐表示通过图像生成的方式将ct图像转化为mr图像的风格，然后对mr风格的图像进行分割。该方式生成的新图像是一种虚拟的图像，缺少一定的物理意义。另外，在保证图像整体风格与mr比较接近时，很难保证目标分割区域与周围组织的对比度有较大的提升。更严重的是，这种图像生成方式存在一定的改变组织细微结构的风险，同样会降低分割的精度。


技术实现要素：

5.本技术提供了一种医学图像分割方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
6.为了解决上述问题，本技术提供了如下技术方案：
7.一种医学图像分割方法，包括：
8.获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法对所述第一模态图像和第二模态图像进行超像素提取；
9.分别根据所述第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；
10.根据所述第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与k个邻域节点的连接模式构建每个跨模态节点的邻接矩阵；
11.根据所述跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的k个邻近节点，将每个跨模态节点在其他模态下的k个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合，得到特征融合后的多模态特征图；
12.通过分割网络对所述多模态特征图进行图像分割。
13.本技术实施例采取的技术方案还包括：所述第一模态图像为ct图像，所述第二模态图像为mr图像。
14.本技术实施例采取的技术方案还包括：所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵具体为：
[0015][0016]
其中w
k,j
表示第k个超像素与邻域内的第j个超像素的邻接关系，δp
k,j
和δg
k,j
分别表示第k个超像素与第j个超像素的中心位置和灰度均值的差异，[
·
||
·
]表示向量连接，fw表示位置灰度差异与邻接矩阵之间的映射关系，表示超像素节点k的邻域。
[0017]
本技术实施例采取的技术方案还包括：所述根据邻接矩阵计算每个超像素在当前模态下的特征值具体为：
[0018]
从网络卷积层输出的特征图中提取每个超像素的特征向量；
[0019]
通过所述邻接矩阵确定各个超像素在当前模态下的k个邻域节点，对k个邻域节点的特征向量进行加权求和，得到各个超像素在当前模态下的新特征；
[0020]
将所述新特征与对应超像素内所有像素点的特征值相加，得到各个超像素在当前模态下的特征值；在第i个尺度下第k个超像素的特征向量f
i,k
的计算过程包括：
[0021][0022][0023]
其中，sk表示第k个超像素，f
i,p
表示第i个尺度下第k个超像素内像素点p的特征向量；利用邻接矩阵w对f
i,j
进行加权，得到第i个尺度下第k个超像素的新特征f
′
i,k
。
[0024]
本技术实施例采取的技术方案还包括：所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与k个邻域节点的连接模式构建每个跨模态节点的邻接矩阵具体为：
[0025][0026]
其中w
k,*
表示第一模态图像中第k个节点与其邻域节点的连接模式，sim(w
k,*
,w
j,*
)表示第一模态图像中第k个节点与第二模态图像中第j个节点的连接模式相似度，f
cross
表示位置差异、连接模式相似度与跨模态邻接矩阵之间的映射关系。
[0027]
本技术实施例采取的技术方案还包括：所述将每个跨模态节点在其他模态下的k个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合具体为：
[0028]
将每个跨模态节点在其他模态下的k个邻近节点的特征向量进行加权求和，得到每个跨模态节点在其他模态下的新特征，并将所述新特征与对应超像素内所有像素点的特征值相加，得到融合后的多模态特征图；
[0029]
第i个尺度下第k个超像素在其他模态下的新特征和第k个超像素内的像素点p在第i个尺度下的特征图内的特征值获取公式为：
[0030][0031][0032]
其中和分别表示第i个尺度下第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的特征向量，w
k,j
和分别表示第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的邻接值，f
i,p
表示第i个尺度下第k个超像素内的像素点p上的特征向量。
[0033]
本技术实施例采取的技术方案还包括：所述通过分割网络对所述多模态特征图进行图像分割具体为：
[0034]
所述分割网络对多模态特征图进行解码处理，使所述多模态特征图上采样至第一模态图像大小，并输出第一模态图像中感兴趣区域的分割结果。
[0035]
本技术实施例采取的另一技术方案为：一种医学图像分割系统，包括：
[0036]
超像素提取模块：用于获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法对所述第一模态图像和第二模态图像进行超像素提取；
[0037]
单模态网络构建模块：用于分别根据所述第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；
[0038]
多模态网络构建模块：用于根据所述第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与k个邻域节点的连接模式构建每个跨模态节点的邻接矩阵；
[0039]
特征融合模块：用于根据所述跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的k个邻近节点，将每个跨模态节点在其他模态下的k个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合，得到特征融合后的多模态特征图；
[0040]
图像分割模块：用于通过分割网络对所述多模态特征图进行图像分割。
[0041]
本技术实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
[0042]
所述存储器存储有用于实现所述医学图像分割方法的程序指令；
[0043]
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分割。
[0044]
本技术实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述医学图像分割方法。
[0045]
相对于现有技术，本技术实施例产生的有益效果在于：本技术实施例的医学图像分割方法、系统、终端以及存储介质通过将不同模态的图像分成多个超像素，并利用图神经网络建立不同模态的图像中各个超像素与当前模态和其他模态中邻域超像素的对应关系，从而将不同模态图像进行多模态信息融合，实现空间域上的对齐，解决未配准的多模态医学图像信息融合的难题，并提高了整体的分割速度。本发明无需多模态图像预先的精细配准，避免了配准带来的分割误差和长耗时，使特征融合更加自适应，从而提高医学图像的分割精度。
附图说明
[0046]
图1是本技术实施例的医学图像分割方法的流程图；
[0047]
图2为本技术实施例的医学图像分割系统结构示意图；
[0048]
图3为本技术实施例的终端结构示意图；
[0049]
图4为本技术实施例的存储介质的结构示意图。
具体实施方式
[0050]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0051]
请参阅图1，是本技术实施例的医学图像分割方法的流程图。本技术实施例的医学图像分割方法包括以下步骤：
[0052]
s1：获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法(slic)分别对第一模态图像和第二模态图像进行超像素提取；
[0053]
本步骤中，第一模态图像和第二模态图像分别为ct图像和mr图像，具体也可以是dr等其他模态的医学图像。
[0054]
s2：分别以第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，通过第一模态图神经网络和第二模态图神经网络分别提取出各自模态下每个节点与其邻域节点的邻接关系，根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵；
[0055]
本步骤中，第一模态图神经网络和第二模态图神经网络分别为单模态分割网络，单模态分割网络可以提取出对应模态的图像中每个超像素(节点)与其邻域节点的邻接关系，并通过加权超像素的中心位置及灰度均值计算出每个超像素的邻接矩阵。超像素的邻接矩阵w计算过程如下：
[0056][0057]
其中δp
k,j
和δg
k,j
分别表示第k个超像素与第j个超像素的中心位置和灰度均值的差异，[
·
||
·
]表示向量连接，fw表示位置灰度差异与邻接矩阵之间的映射关系，表
示超像素节点k的邻域，计算得到的w
k,j
表示第k个超像素与邻域内的第j个超像素的邻接关系。
[0058]
s3：从网络卷积层输出的特征图中提取每个超像素的特征向量，并通过邻接矩阵确定不同模态下各个超像素在当前模态下的k个邻域节点，对k个邻域节点的特征向量进行加权求和，得到各个超像素在当前模态下的新特征，并将新特征与对应超像素内所有像素点的特征值相加，得到各个超像素在当前模态下的特征值；
[0059]
本步骤中，超像素内所有像素点的特征值是指一个超像素内每个像素位置的特征，将超像素索引图缩放至特征图大小，再根据索引，在特征图内取出当前超像素内所有像素点的特征值。假设图神经网络在第i个尺度下的特征图fi尺寸为c*h*w，需要将超像素索引图下采样到h*w，并计算每个超像素内所有像素点的特征均值，最终得到每个超像素的一个c维特征向量。通过邻接矩阵可以确定第i个尺度下第k个超像素sk在当前模态下的k个邻域节点，对超像素sk的k个邻域节点的特征进行加权求和，得到超像素sk在当前模态下的新特征f
′
i,k
，再将新特征加到超像素sk内所有像素点的特征值上，完成单模态下该超像素的特征提取。具体的，第i个尺度下第k个超像素的特征向量f
i,k
的计算过程如下：
[0060][0061][0062]
公式(2)中，sk表示第k个超像素，f
i,p
表示第i个尺度下第k个超像素内像素点p的特征向量。公式(3)中利用邻接矩阵w对f
i,j
进行加权，得到第i个尺度下第k个超像素的新特征f
′
i,k
。
[0063]
如此在多个尺度下进行上述计算，完成单模态下每个超像素的特征提取。
[0064]
s4：根据第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，并对比每个跨模态节点与k个邻域节点的连接模式，根据节点位置和连接模式确定多模态图神经网络中各个跨模态节点的邻接矩阵；
[0065]
本步骤中，由于多模态图像在灰度域上存在较大的鸿沟，直接使用灰度值或者网络中的特征图计算跨模态节点的邻接矩阵存在较大风险，而由于多模态图像中整体的组织器官结构是没有变化的，对应的超像素和各自邻域节点的连接模式相对稳定，因此本技术实施例通过结合两种模态图像中超像素的位置和连接模式来确定跨模态节点的邻接矩阵。例如，在第一模态图像中的一个超像素p和邻域超像素的连接权重向量可以表征该超像素p在第一模态图像下的连接模式，通过在第二模态图像中找出与超像素p坐标位置相近并与第一模态图像下该超像素p的连接模式较为相似(连接模式相似度高于设定阈值)的第二模态图像下的超像素来构建超像素p的邻接矩阵。具体的，邻接矩阵构建公式如下：
[0066][0067]
其中w
k,*
表示第一模态图像中第k个节点与其邻域节点的连接模式，sim(w
k,*
,w
j,*
)表示第一模态图像中第k个节点与第二模态图像中第j个节点的连接模式相似度，f
cross
表示位置差异、连接模式相似度与跨模态邻接矩阵之间的映射关系。
[0068]
基于上述，本技术实施例通过对比不同模态图像中各个超像素与k个邻域节点的连接模式，根据不同模态图像中跨模态节点与邻域节点之间的连接模式构建邻接矩阵，为不同模态之间存在的灰度域和特征域鸿沟提供了解决方案。
[0069]
s5：通过跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的k个邻近节点，将每个跨模态节点在其他模态下的k个邻近节点的特征向量进行加权求和，得到每个跨模态节点在其他模态下的新特征，并将新特征与对应超像素内所有像素点的特征值相加，得到结构未变但融合了其他模态特征的多模态特征图；
[0070]
本步骤中，第i个尺度下第k个超像素在其他模态下的新特征和第k个超像素内的像素点p在第i个尺度下的特征图内的特征值获取公式如下：
[0071][0072][0073]
其中和分别表示第i个尺度下第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的特征向量，w
k,j
和分别表示第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的邻接值，f
i,p
表示第i个尺度下第k个超像素内的像素点p上的特征向量。
[0074]
s6：通过分割网络对多尺度的多模态特征图进行解码处理，使多模态特征图逐级上采样至第一模态图像大小，并输出第一模态图像中感兴趣区域的分割结果；
[0075]
本步骤中，通过分割网络对多模态特征图进行逐级解码，将多模态特征图返回至第一模态图像大小，即可得到第一模态图像的感兴趣区域分割结果。分割网络包括若干个卷积层和反卷积层，每个尺度的解码阶段都加入了长程跳跃连接，来结合编码阶段的特征图，用以增加分割结果的细节信息。最终当解码出的特征图尺寸与第一模态图像一致时，通过计算其与金标准图像的交叉熵损失对网络参数进行反馈调整，获得最优网络参数。
[0076]
基于上述，本技术实施例的医学图像分割方法通过将不同模态的图像分成多个超像素，并利用图神经网络建立不同模态的图像中各个超像素与当前模态和其他模态中邻域超像素的对应关系，从而将不同模态图像进行多模态信息融合，实现空间域上的对齐，解决未配准的多模态医学图像信息融合的难题，并提高了整体的分割速度。本发明无需多模态图像预先的精细配准，避免了配准带来的分割误差和长耗时，使特征融合更加自适应，从而提高医学图像的分割精度。
[0077]
请参阅图2，为本技术实施例的医学图像分割系统结构示意图。本技术实施例的医学图像分割系统40包括：
[0078]
超像素提取模块41：用于获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法对第一模态图像和第二模态图像进行超像素提取；
[0079]
单模态网络构建模块42：用于分别根据第一模态图像和第二模态图像的超像素为
节点构建第一模态图神经网络和第二模态图神经网络，第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；
[0080]
多模态网络构建模块43：用于根据第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与k个邻域节点的连接模式构建每个跨模态节点的邻接矩阵；
[0081]
特征融合模块44：用于根据跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的k个邻近节点，将每个跨模态节点在其他模态下的k个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合，得到特征融合后的多模态特征图；
[0082]
图像分割模块45：用于通过分割网络对多模态特征图进行图像分割。
[0083]
请参阅图3，为本技术实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
[0084]
存储器52存储有用于实现上述医学图像分割方法的程序指令。
[0085]
处理器51用于执行存储器52存储的程序指令以控制医学图像分割。
[0086]
其中，处理器51还可以称为cpu(central processing unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0087]
请参阅图4，为本技术实施例的存储介质的结构示意图。本技术实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0088]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本技术中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本技术所示的这些实施例，而是要符合与本技术所公开的原理和新颖特点相一致的最宽的范围。