一种可适用于多模态的脑血管分割算法

1.本发明涉及医学图像分割技术领域，具体是涉及一种可适用于多模态的脑血管分割算法。


背景技术：

2.近年来，脑血管疾病已经成为我国成年人群体致死的首位病因，它以高病发率、高病残率、高死亡率等特点受到社会广泛关注。神经介入技术应运而生，在数字减影血管造影的辅助下，通过在脑血管内的导管实现选择性造影、栓塞、扩张等脑血管疾病治疗。因此，脑血管分割成为神经介入手术的技术基础。同时，对图像进行脑血管分割也是血管图像配准、运动估计、三维重建、路径规划等各种应用的重要前提，其结果还可用于定量描述血管结构不同特征、观察比较血管的几何变化，确定血管病灶位置，是医生术前诊断、术前规划以及术后治疗的重要参考依据。
3.目前，在进行医学图像分割时，现有的技术确实可以解决一部分分割问题，但面对较为复杂的分割任务时，不论传统分割方法或是基于深度学习的分割方法都有自己的局限性。对于传统的分割算法：针对不同类型的医学图像(如mra、ct等)，很难进行统一处理；且在图像特征提取过程中，人工参与较多，自动化程度较低。在这一方面，基于深度学习的分割方法表现出良好的特性，在很多分割任务上，基本可以实现半自动化甚至全自动化分割。目前，基于深度学习的分割方法大部分的分割任务为肿瘤、前列腺、主动脉血管等组织器官，并取得了比较好的分割结果，但分割目标大多具有结构整体性较高、几乎没有分支、体积相对较大等特点，在一定程度上降低了分割难度。在脑血管分割上，由于脑部血管细小、分支较多等特点，使得目前表现较好的网络模型在迁移到脑血管图片上训练时，出现血管断裂、细小血管很难提取到等问题。
4.因此，需要提供一种可适用于多模态的脑血管分割算法，旨在解决上述问题。


技术实现要素：

5.针对现有技术存在的不足，本发明实施例的目的在于提供一种可适用于多模态的脑血管分割算法，以解决上述背景技术中的问题。
6.为实现上述目的，本发明提供如下技术方案：
7.一种可适用于多模态的脑血管分割算法，包括以下步骤：
8.s1.获取真实患者的60组混合mra、cta临床病例；
9.s2.将60组病例进行数据预处理，所述数据预处理包括血管对比度调整、感兴趣区域筛选及ants偏置矫正；
10.s3.导出s2中的每组病例，分别得到横断面、矢状面和冠状面三个视角的切片数据，将其进行二值化处理及感兴趣区域分割，得到粗提取的脑血管二值图像；
11.s4.使用canny算法处理s3中得到的数据，得到粗提取脑血管边缘；
12.s5.求取s4中得到的血管边缘组成几何图形的质心，即为粗提取脑血管中心线上
的点；
13.s6.将预处理后的mra、cta数据与s5得到的对应患者的粗提取中心线进行空间对齐，将三维粗提取中心线注册到对应体积的脑部dicom数据上，并使用多图像作为网络模型的输入；
14.s7.构建可适用于多模态的脑血管分割模型；
15.s8.使用python中已包装好的mc三维重建算法将s7中得到的分割结果进行三维重建。
16.作为本发明进一步的方案，所述s2中血管对比度调整包括修改mra图像的阈值及cta图像的hu值，所述s2中的感兴趣区域筛选方式为在训练前切分每组数据并筛选掉不必要部分。
17.作为本发明进一步的方案，所述s4步骤中canny算法的步骤具体为：
18.s1.使用高斯滤波平滑图像，滤除噪声；
19.s2.计算梯度强度和方向；
20.s3.非极大值抑制；
21.s4.双阈值检测；
22.s5.孤立弱边缘抑制。
23.作为本发明进一步的方案，所述s5中质心计算公式为：
[0024][0025][0026][0027][0028]
v(i,j)是(i,j)点的灰度值，在二值化图形中，白色都为1，黑色都为0，m
00
的结果是所有白色区域的像素值的和，其中，m
10
是所有白色区域像素的x坐标的和，m
01
是所有白色区域y坐标的和，c
x
，cy即为质心坐标。
[0029]
作为本发明进一步的方案，所述s6中的mra、cta数据与粗提取脑血管中心线均需在每层神经网络上进行卷积操作、激活函数、池化操作，并通过跳跃链接和右侧上采样做contact操作，用于保证mra、cta数据与粗提取脑血管中心线在神经网络的训练过程中的一致性，并为目标区域的一致性损失计算提供条件。
[0030]
作为本发明进一步的方案，目标分割区域中mra、cta数据与粗提取脑血管中心线的一致性损失计算方式为：
[0031][0032]
loss(f)＝λloss(u) σloss(x,y)，
[0033]
loss(x,y)为判断目标分割区域中mra、cta数据与粗提取脑血管中心线一致性的损失函数。
[0034]
作为本发明进一步的方案，所述当目标区域中粗提取脑血管中心点与mra、cta数据的血管分割一致时，loss(x,y)的值为0，二者不一致时loss(x,y)值为1，loss(u)为原始3d-unet损失函数，λ、σ为loss(x,y)和loss(u)在loss(f)中的权重，且λ σ＝1。
[0035]
作为本发明进一步的方案，所述s7中脑血管分割模型的参数设置包括：将60组患者mra、cta数据和对应的粗提取脑血管中心线输入到网络模型中，分别通过下采样的两条通道经过3
×3×
3的卷积，每个卷积后依次接relu激活函数和dropout操作，接着使用2
×2×
2的最大池化，步幅为2，每层通过contact操作跳跃连接到同层的上采样模块，在上采样过程中，每层通过一个2
×2×
2的上卷积和两个3
×3×
3卷积组成，每个卷积面依次接relu激活函数和dropout操作。
[0036]
综上所述，本发明实施例与现有技术相比具有以下有益效果：
[0037]
1.通过将传统分割算法和基于深度学习的分割算法融合，将粗提取脑血管中心线嵌入3d-unet网络预处理与训练模块中，提高了血管分割的准确率与精确率，从根本上解决医疗影响重建过程中脑血管由于细小和分支多产生的血管断裂问题；
[0038]
2.实现了适用于多模态图像类型的输入、存储与处理的数据集成模块，通过数据集成模块，增强了网络模型的鲁棒性与复用性；
[0039]
3.通过在网络模型中引入dropout方法，避免了多数网络模型惯有的因参数增多引起的梯度问题，在保证脑部血管分割效果的同时，提高计算速度，保证实时性。
[0040]
为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。
附图说明
[0041]
图1为发明实施例的数据预处理示意图。
[0042]
图2为发明实施例中可使用于多模态的脑血管分割网络模型的结构示意图。
具体实施方式
[0043]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0044]
以下结合具体实施例对本发明的具体实现进行详细描述。
[0045]
在本发明的一个实施例中，参见图1和图2，所述一种可适用于多模态的脑血管分割算法，包括以下步骤：
[0046]
s1.获取真实患者的60组混合mra、cta临床病例；
[0047]
s2.将60组病例进行数据预处理，所述数据预处理包括血管对比度调整、感兴趣区
域筛选及ants偏置矫正，在本步骤中，血管对比度调整包括修改mra图像的阈值及cta图像的hu值，利于改进网络的训练学习，而感兴趣区域筛选方式为在训练前切分每组数据并筛选掉不必要部分，比如颈部，可以减小模型训练压力，提升训练效率；
[0048]
s3.导出s2中的每组病例，分别得到横断面、矢状面和冠状面三个视角的切片数据，即横断面、矢状面和冠状面三个视角的切片数据，将其进行二值化处理及感兴趣区域分割，得到粗提取的脑血管二值图像；
[0049]
s4.使用canny算法处理s3中得到的数据，得到粗提取脑血管边缘，本步骤包含以下子步骤：
[0050]
s1.使用高斯滤波平滑图像，滤除噪声，具体步骤为：
[0051][0052]
由于边缘检测算子不能在未处理的图像上很好的工作，所以需要原始图像与高斯核做卷积，高斯滤波使用的高斯核是具有x和y两个维度的高斯函数h(x,y)；
[0053]
s2.计算梯度强度和方向，具体步骤为：
[0054][0055]
θ＝arc tan(gy/g
x
)
ꢀꢀꢀ
(2)
[0056]
canny算法使用边缘检测算子来检测图像中的水平、垂直和对角边缘，并返回水平gx和垂直gy方向的一阶导数值，由此便可以确定像素点的梯度g和梯度方向θ；
[0057]
s3.非极大值抑制，仅仅依靠梯度并不能很好的确定边缘，为使边缘更清晰需要保留像素点局部梯度最大值，具体步骤如下：
[0058]
a.将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。
[0059]
b.如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制；
[0060]
s4.双阈值检测，定义一个高阈值和一个低阈值。梯度强度低于低阈值的像素点被抑制，不作为边缘点；高于高阈值的像素点被定义为强边缘，保留为边缘点；处于高低阈值之间的定义为弱边缘，留待进一步处理；
[0061]
s5.孤立弱边缘抑制，通常而言，由真实边缘引起的弱边缘像素点将连接到强边缘像素点，而噪声响应则未连接，通过查看弱边缘像素及其8个邻域像素，可根据其与强边缘的连接情况来进行判断，一般，可定义只要其中邻域像素其中一个为强边缘像素点，则该弱边缘就可以保留为强边缘，即真实边缘点；
[0062]
s5.求取s4中得到的血管边缘组成几何图形的质心，即为粗提取脑血管中心线上的点，由于血管的切片多为圆形或近圆形，且血管切面的中线点始终位于切面的几何中心，本算法假设脑血管中心线与图像切片的交点始终位于血管切面的质心。即，求取步骤4中得到的血管边缘组成几何图形的质心，即为粗提取脑血管中心线上的点；
[0063]
s6.将预处理后的mra、cta数据与s5得到的对应患者的粗提取中心线进行空间对齐，将三维粗提取中心线注册到对应体积的脑部dicom数据上，并使用多图像作为网络模型的输入；
[0064]
s7.构建可适用于多模态的脑血管分割模型；
[0065]
s8.使用python中已包装好的mc三维重建算法将s7中得到的分割结果进行三维重建。
[0066]
在本发明的一个实施例中，参见图1和图2，所述s5中质心计算公式为：
[0067][0068][0069][0070][0071]
v(i,j)是(i,j)点的灰度值，在二值化图形中，白色都为1，黑色都为0，m
00
的结果是所有白色区域的像素值的和，其中，m
10
是所有白色区域像素的x坐标的和，m
01
是所有白色区域y坐标的和，c
x
，cy即为质心坐标。
[0072]
在本发明的一个实施例中，参见图1和图2，在原始3d-unet网络模型的基础上，融合传统的分割方法，即可适用于多模态的脑血管分割模型，在可适用于多模态脑血管分割模型中，通过采用多类型图像输入，可以增强网络模型的适用范围；通过采用全新的下采样模式，即两条下采样路径，可以加强下采样过程中的特征提取；通过在激活函数relu后加入dropout，可以实现模型的简化，避免过拟合现象，提高两模型的泛化能力；通过在损失函数中加入粗提取中心线上的中心点与对应区域mra、cta数据的一致性损失，提高了细小血管的识别度，减少图像损失，避免血管的断裂，实现了传统方法与深度学习的融合，具体包括以下内容：
[0073]
a.将粗提取脑血管中心线和s2中得到的mra、cta数据同时作为网络模型的输入，在该神经网络每层中，粗提取脑血管中心线和mra、cta数据均需在每层上进行卷积操作、激活函数和池化操作，并通过跳跃链接和右侧上采样做contact操作，这样保证了在神经网络的训练过程中，粗提取脑血管中心线与mra、cta数据的一致性，同时为之后目标区域二者的一致性损失计算提供基础条件；同时，在训练过程中，选取合适的卷积核作用在s5中得到的粗提取脑血管中心线上，该卷积核不断强化质心特征，保证粗提取脑血管中心线在每层神经网络训练中不会因卷积、池化消失，同时保证其空间结构与神经网络中同层的mra、cta数据的相对位置不变；
[0074]
b.损失函数：在原3d-unet网络中损失函数使用的加权sigmoid损失函数，记为loss(u)，在本发明中，为了解决网络模型在分割过程中细小血管消失、断裂等问题，将目标分割区域中粗提取脑血管中心线与mra、cta的一致性损失加入损失函数：
[0075][0076]
loss(f)＝λloss(u) σloss(x,y)
ꢀꢀꢀ
(4)
[0077]
loss(x,y)为判断目标分割区域中粗提取脑血管中心线与mra、cta数据一致性的损失函数，当目标区域中粗提取脑血管中心点与mra、cta数据的血管分割一致时，loss(x,y)的值为0，二者不一致时loss(x,y)值为1，loss(u)为原始3d-unet损失函数，λ、σ为loss(x,y)和loss(u)在loss(f)中的权重，且λ σ＝1，通过调节λ、σ的不同比重，实现网络模型性能最优化。
[0078]
c.参数设置：将60组患者mra、cta数据和对应的粗提取脑血管中心线输入到网络模型中，分别通过下采样的两条通道经过3
×3×
3的卷积，每个卷积后依次接relu激活函数和dropout操作，接着使用2
×2×
2的最大池化，步幅为2，每层通过contact操作跳跃连接到同层的上采样模块，在上采样过程中，每层通过一个2
×2×
2的上卷积和两个3
×3×
3卷积组成，每个卷积面依次接relu激活函数和dropout操作。
[0079]
在本实施例中，本算法在实际应用于神经介入手术的脑部疾病的术前诊断、术前规划、术后治疗方面具有重要的实用价值，不仅实现了脑部血管复杂医学组织结构的分割，解决了由于脑血管细小导致的血管断裂的问题，将传统方法与深度学习相融合，减少特征损失，同时，实现了多种类医学图像的同一图像分割，本算法通过获取真实患者的60例mra、cta临床病例，对其进行训练处理，最后将分割出来的脑血管dicom数据进行三维重建显示，即可动态观察脑血管的三维结构及细小血管的连贯性。
[0080]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。