一种深静脉血栓的磁共振图像分割方法及装置，电子设备及存储介质与流程

1.本发明涉及医学图像与计算机计算交叉领域，具体涉及一种深静脉血栓的磁共振图像自动分割方法及装置，电子设备及存储介质。


背景技术：

2.深静脉血栓(deep venous thrombosis:dvt)是目前第三大心血管疾病，常发生于下肢深静脉和颅内静脉窦等位置。近年来，黑血血栓(black
‑
bloodthrombus imaging:bti)磁共振成像被用于dvt的诊断中，它使得血栓在不需要造影剂的情况下可以直接显示在扫描图像中，是目前诊断dvt最为流行的影像手段之一。从bti图像中准确量化血栓的分布、信号强度、体积和形状等特征信息，可以使得dvt治疗计划的制定更加准确和高效。量化这些血栓特征的关键步骤是从bti图像中准确分割出血栓区域，然而由于每位患者都有数百张扫描图像而且血栓自身分布、形态特点各不相同，这使得医生手动勾画血栓区域会耗费大量的精力并且还不能保证分割结果的准确性。
3.近年来，卷积神经网络(convolution neural network:cnn)因利用卷积的方法有效地从大量图像样本中学习到相应的特征，避免了复杂的特征提取过程从而在医学图像分割应用中展现出强大的潜力。目前cnn模型主要分为两类：一类是二维(two
‑
dimensional:2d)图像分割模型，该模型仅需病人的单张切片即可进行训练，优点是不占用大量的计算机资源，缺点是无法获取切片之间相关联的信息，对于多层扫描的三维医学图像往往分割精度较低，无法真正满足临床需求。
4.cnn模型第二类则是三维(three
‑
dimensional:3d)图像分割模型，整个病人的扫描数据直接或者划分为图像块输入到网络中进行训练。这种方法往往会受到计算机资源大小的限制，但是对于切片数量较多的图像，它既能提取到扫描图像的切片内信息，同时能充分利用到切片间的关联信息。网络训练过程中，三维卷积核在整个病人的数据上滑动并提取特征，cnn根据这些特征进行建模，最终实现自动分割。然而，目前尚未有关于bti图像上的深静脉血栓区域三维分割模型的具体解决方法。


技术实现要素：

5.鉴于现有技术的不足，本发明提供一种深静脉血栓的磁共振图像自动分割方法及装置，电子设备及存储介质。
6.为解决图像自动分割问题，本发明的采用如下技术方案：
7.获取深静脉血栓磁共振图像，并对所述深静脉血栓磁共振图像进行预处理；
8.对所述预处理的深静脉血栓磁共振图像进行三维图像分割，所述三维图像分割包括生成阶段和鉴别阶段；
9.所述生成阶段包括编码和解码，所述编码对所述预处理的深静脉血栓磁共振图像进行卷积运算，所述解码对所述编码结果进行反卷积和跳连接运算，所述编码和所述解码
提取所述深静脉血栓磁共振图像切片内的特征信号与切片间的空间位置信息，产生初步分割结果；
10.预先建立生成对抗网络，所述鉴别阶段是将所述初步分割结果与人工勾画结果输入到所述生成对抗网络中进行网络训练，直到使得所述生成对抗网络的模型收敛而获得最后分割结果。
11.进一步地，所述编码过程中采用3
×3×
3卷积核，所述解码过程是3
×3ꢀ×
3卷积核和1
×1×
1的卷积核叠加。
12.进一步地，在所述生成阶段中，将所述初步分割结果的像素与所述人工勾画结果的像素输入到预设的特征提取损失函数中，所述损失函数的公式如下所示：
[0013][0014]
其中，l
generator
代表所述生成阶段的损失函数，x为所述生成阶段的初步血栓分割结果，x
i
代表初步分割结果的第i个像素，y代表人工勾画的血栓， y
i
代表对应的人工勾画结果的第i个像素，log代表对数运算，n是像素的个数；
[0015]
在所述鉴别阶段中，所述生成对抗网络的公式如下表示：
[0016][0017]
其中，mse代表均方误差，e代表数学期望，g代表生成阶段，d代表鉴别阶段，θ
g
和θ
d
代表来自生成阶段以及鉴别阶段的图像元素。
[0018]
本发明的一种深静脉血栓的磁共振图像分割方法具有以下有益效果：
[0019]
(1)采用基于深度学习的图像分割方法去实现bti图像上深静脉血栓的精准分割，通过构建的三维生成器不仅能提取扫描图像切片内的血栓信息更能获得血栓空间结构的信息；
[0020]
(2)引入三维鉴别器来严格约束分割结果，避免将器官或者临近组织分割为血栓的错误；
[0021]
(3)在模型训练过程中则是引入了模型自动调参方法，减少了人工优化模型效果的负担，且提升血栓区域分割精度和加速模型训练的过程。
[0022]
本技术不仅实现了bti图像上深静脉血栓区域的自动分割，而且与现有技术相比，它能实现更加精准的血栓区域分割，避免了一些错误分割，减少了人工优化网络模型的步骤，使得在很少人工参与的情况下就能实现模型预测结果与医生手动勾画血栓区域的高度一致，大大降低了临床医生诊断dvt 的劳动成本，也提升了对该类疾病诊断的效率。
附图说明
[0023]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的不当限定，在附图中：
[0024]
图1为本发明整体方案步骤示意图；
[0025]
图2为本发明整体网络结构流程图；
[0026]
图3为本发明三维自动分割模型结构图；
[0027]
图4为本发明鉴别器网络结构图；
[0028]
图5为本发明网络模型仿真图；
[0029]
图6为本发明下肢深深静脉血栓分割结果与医生勾画血栓比较图；
[0030]
图7为本发明颅内静脉窦血栓分割结果与医生勾画血栓比较图。
具体实施方式
[0031]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
如图1所示为整体方案流程图。其中具体步骤如下：
[0033]
s1：获取原始深静脉血栓磁共振图像，并进行预处理；
[0034]
s2：对预处理图像进行编码，通过卷积获取编码结果；
[0035]
s3：对编码结果进行解码，利用反卷积和跳连接运算获得初步分割结果；
[0036]
s4：预先建立生成对抗网络，对初步分割结果和人工勾画结果进行网络训练；
[0037]
s5：生成对抗网络模型收敛，获得并输出最后分割结果。
[0038]
其中，步骤s1可通过图像处理模块对深静脉血栓磁共振图像进行预处理，步骤s2
‑
s3通过三维自动分割模型生成初步结果的步骤，步骤s4
‑
s5为鉴别步骤，通过预先建立的生成对抗网络经模型收敛获得并输出最佳分割效果。
[0039]
如图2所示，为本技术整体网络结构图。原始深静脉血栓bti图像p1经过图像预处理器101预处理后，生成图像块ip1(image patch)，在分割图像生成器102中，对图像块ip1进行三维自动分割，图像块ip1经上述步骤s2 和步骤s3后最终获得分割块sp2(segmented patch)，将分割块sp2与人工勾画结果gtp3(ground truth patch)输入至鉴别器103中，所述鉴别器预先建立生成对抗网络模型中，当模型获得收敛时输出最佳分割结果。
[0040]
本实施例中，以收集到的110例下肢深深静脉血栓bti数据以及53例颅内深静脉血栓bti数据作为原始图像数据进行本技术技术方案的详细讲解。
[0041]
首先，进行图像预处理过程s1：对收集到的原始深静脉血栓图像使用图像重采样的方法，获取这批数据空间分辨率数据的中位数，再将不同病人的空间分辨率统一为该中位数的数值。对于原始的bti影像数据，使用三次样条插值方法进行重采样，而对于医生手动勾画的标签数据使用最邻近插值方法进行空间分辨率的统一。本技术采用滑动窗口法对输入图像进行裁剪，窗口大小选定长宽高为192
×
160
×
64像素的尺寸，滑动窗口每次滑动的距离为选定尺寸的一半，这样不仅减少了计算机资源的损耗也不会存在输入图像信息的缺失。在图像预处理完成后，选择将80％的数据用于模型训练，20％的数据用于模型的测试。
[0042]
如图2
‑
3所示，其中生成器102中构建三维自动分割模块，所述三维分割模块包括编码步骤s2以及解码步骤s3，其中解码步骤s2即图3中向右箭头
“→”
a1所示，为卷积运算标识；解码步骤s3为图2中向左箭头
“←”
以及向下箭头
“↓”
，即分别为反卷积和跳连接两段运算过程。具体地，编码步骤s2的模块设计可根据实际需要增加运算模块，本实施例中，对原始下肢深深静脉血栓bti图像p1进行预处理，图像p1被分割成大小为192
×
160
×
64 的图像块ip1，其中对图像块ip1进行多次卷积运算a1后成为输出图像中的每个对应像素，经过卷
积核c1运算完成深静脉血栓bti图像p1的特征提取，本实施例中采用3
×3×
3卷积核，图像块ip1经6次卷积运算获取图像特征，随着卷积核c1以及卷积运算a1的增加，提取到的特征也从低级特征增加到高级特征，图像尺寸也在逐步缩小。同时，为实现加速训练过程，还可采用数据归一化处理，将数据映射到指定的给定范围，在给定范围内进行计算，加速运算速度。另外，卷积核c1中引入leakyrelu激活函数增加神经网络的各层之间非线性，加速全卷积神经网络收敛。
[0043]
在解码步骤s3中，设计3
×3×
3卷积核和1
×1×
1的卷积核c2，并在卷积核c2中引入softmax函数，其具体过程为：从卷积核c1中提取到的每一阶段特征图，经过反卷积运算a2逐步还原为最初的尺寸大小，从而最终获得分割块sp2，而跳连接运算a3为图像的分割提供了来自编码阶段的信息，进一步提升分割效果。
[0044]
通过编码步骤s2和解码步骤s3两段步骤，完成了深静脉血栓bti图像p1自动分割的生成阶段，为进一步加速模型的收敛，以及使得模型在训练时注意细小血栓区域的分割，模型中采用损失函数优化，损失函数具体表达式为公式(1)：
[0045][0046]
式(1)中，l
generator
代表所述生成阶段的损失函数，x为所述生成阶段的初步血栓分割结果，x
i
代表初步分割结果的第i个像素，y代表人工勾画的血栓，y
i
代表对应的人工勾画结果的第i个像素，log代表对数运算，n是像素的个数。
[0047]
如图4所示为鉴别器103的网络结构，鉴别器103用于进一步约束生成器102的分割结果，去除错误分割。鉴别器103由三层卷积模块c3组成生成对抗网络，每个卷积模块模块c3包括1
×1×
1的卷积核以及leakyrelu激活函数。本实施例中，鉴别器103的具体训练过程如下：生成器102生成的分割块sp2以及医生手动勾画的人工勾画结果gtp3一起输入到三层卷积模块c3中，三层卷积模块c3的每一层卷积模块去提取特征并进行比较，判断并输出分割块sp2的真伪，迫使分割块sp2接近于人工勾画结果gtp3，从而进一步约束生成器102以降低错误分割的可能，并输出最终结果fp4。在此阶段，我们使用ganloss进行模型的训练，具体表达式为公式(2)：
[0048][0049]
式(2)中，均方误差l
mse
(meansquareerror:mse)被用来处理损失函数,而θ
g
和θ
d
代表来自生成器以及鉴别器的图像元素。
[0050]
如图5所示，随着训练迭代的轮数(epoch)增加各项指标参数呈现的变化趋势，每60个epoch进行一次自检，图5a、图5b表示训练集和验证集均随轮数增加而损失值降低，在本实施例中，利用adam优化器将初始学习率设定为3e
‑4，并且采用模型自动调参的策略：当训练集loss在30个epoch内减少小于5e
‑3，该模型学习率将缩小五倍，模型继续训练；图5c代表随训练迭代的轮数增加评估指标(evaluationmetric)不断上升，而当验证集上的loss在60个epoch内减少小于5e
‑3，或者学习率小于1e
‑6，网络模型的评估指标不再提升，模型停止训练并保存最优模型模型，此时达到了最佳的分割效果。
[0051]
本实施例中，评价器103分别采用dice相似系数(dicesimilariycoefficient:dsc)、平均豪斯多夫距离(averagehausdorffdistance:ahd)和绝对体积误差(absolute
volume difference:avd)等评价方法来对分割模型的性能进行评估，各指标的计算方法如下公式(3)
‑
(5)：
[0052][0053][0054]
ahd＝max{gd(gt,p),igd(gt,p)}
ꢀꢀꢀ
(5)
[0055]
其中，真阳性(true positive:tp)表示被模型预测为血栓，实际上也是血栓的像素总数,真阴性(true negative:tn)表示被模型预测为其它组织，实际上不是血栓的像素总数,假阳性(false positive:fp)表示被模型预测为血栓，实际上是其它组织的像素总数,假阴性(false negative:fn)表示被模型预测为其它组织，实际上是血栓的像素总数。血栓真实体积(ground truth volume:gtv)和模型预测体积(prediction volume:pv)通过空间分辨率等信息被计算出并进行比较。此外，世代距离(generational distance：gd)与反世代距离(invertedgenerational distance：igd)被用来计算手工勾画结果(ground truth:gt)与模型预测结果(prediction:p)之间的距离差距。
[0056]
本实施例中，附图6
‑
7是结合下肢深深静脉血栓和颅内静脉窦血栓实施例进行分析，利用资深影像科医生对于模型的分割结果与手动勾画结果进行比较和评价。本实施例中，采用20％的dvt图像数据用于模型的测试，结合表1 的各项血栓分割评价指标可以看到，在下肢深深静脉血栓bti图像的分割中，本技术网络模型的平均dsc达到了0.78，且平均avd为0.12，值较小，证明本技术技术方案的分割体积接近于真实情况，另外平均ahd(mm)反应的是分割模型的边界差异，表中的结果证明该方法的边界分割细节较好。从附图6的分割结果角度展示了模型预测效果，从冠状位截图可以看到，附图6a为采集的原始图片，本技术提出的方法分割结果(图6b)与医生手动勾画的图像(图6c)非常符合。从三维整体效果图来看，模型预测的血栓结果(图6d)也与真实勾画结果(图6e)一致。在颅内深静脉血栓bti图像的分割中，本技术提出的方法平均 dsc为0.74，平均avd为0.17，平均ahd(mm)为3.1,反映出本技术的三维分割模型的血栓分割效果较好。从附图7中可以看到，图7a为采集的原始图片，模型预测的血栓结果不仅是在冠状位(图7b)还在三维展示(图7d)效果上都与真实勾画结果(图7c、图7e)符合。因此，医务人员基于本技术建立的模型预测的血栓结果以及后续基于分割的数值计算，就能获得血栓的位置分布、血栓信号强度以及血栓体积大小等信息，满足目前紧张的临床需求。
[0057]
表1bti图像上深静脉血栓区域的模型分割结果
[0058][0059]
综上，本技术采用基于深度学习的图像分割方法去实现bti图像上深静脉血栓的精准分割，通过构建的三维生成器不仅能提取扫描图像切片内的血栓信息更能获得血栓空间结构的信息，再引入三维鉴别器来严格约束分割结果，避免将器官或者临近组织分割为血栓的错误，而在模型训练过程中则是引入了模型自动调参方法，减少了人工优化模型效
果的负担。本技术不仅实现了 bti图像上深静脉血栓区域的自动分割，而且与现有技术相比，它能实现更加精准的血栓区域分割，避免了一些错误分割，减少了人工优化网络模型的步骤，使得在很少人工参与的情况下就能实现模型预测结果与医生手动勾画血栓区域的高度一致，大大降低了临床医生诊断dvt的劳动成本，也提升了对该类疾病诊断的效率。
[0060]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，例如本技术网络模型的三层三维鉴别器可替换为其他网络层数的鉴别器，网络的gan损失函数可以由其他种类的损失函数代替，且本技术不仅仅是用于分割深静脉血栓图像，对于处理这一系列血管疾病的病灶分割问题都有很好的应用场景，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。