一种血管分割方法、装置、存储介质及电子设备

1.本发明涉及影像处理领域，尤其涉及一种血管分割方法、装置、存储介质及电子设备。


背景技术：

2.根据世界卫生组织的最新统计结果，脑卒中已经成为了世界第二大死因，其中颈动脉粥样硬化是引发脑卒中疾病的重要原因。准确评估颈部动脉的血管形态并进行量化分析和诊断，有助于脑卒中的预防。
3.时间飞跃法磁共振血管造影成像(time of flight magnetic resonance angiography，tof mra)是基于流入增强效应，使静止的组织产生低信号但流动的血液产生高信号的核磁共振血管造影技术，具有安全无辐射、成像速度快、对比度高、空间分辨率高和覆盖面大等优点，是临床上颈动脉病变的重要检查手段。基于三维tof mra图像进行血管分割和可视化，是描述血管形态的关键。随着病人数量的增加，加之专业医师数量的匮乏，计算机辅助磁共振血管影像进行血管分割已经成为了一个重要的发展方向。
4.随着传统方法的不断改进和人工智能技术的发展，一些基于二维tof mra或三维tof mra图像的全自动血管分割方法相继被提出，但这些方法都难以挖掘tof mra自带的图像特征，分割效果不尽如人意。
5.相关技术中，基于二维tof mra或三维tof mra图像的全自动血管分割方法主要分为传统算法和深度学习算法，传统算法中以大津阈值进行前景背景分割，通过拟合混合分布模型进行血管分割和自动选取种子点进行区域生长为主，深度学习算法中主要是基于先进的u-net或3d u-net模型进行分割任务的学习和建模。
6.然而，现有技术存在如下缺点：
7.a、传统的全自动分割方法准确率低，对图像质量要求较高。
8.b、已有的深度学习分割方法未充分利用tof mra的图像特征，准确率提升非常有限。
9.c、模型的可移植性差，容易受到计算机硬件的限制，难以用于高分辨图像的分割场景。


技术实现要素：

10.为解决上述问题，本发明实施例提供一种血管分割方法、装置、存储介质及电子设备，可以实现三维血管影像的全自动、准确分割，且分割结果图像质量较高；充分利用了图像特征，可用于高分辨图像的分割场景。
11.第一方面，本发明实施例提供一种血管分割方法，包括：
12.获取三维血管影像；
13.对所述三维血管影像进行裁剪，得到多个预设尺寸的三维切块；
14.将每一三维切块分别输入预先训练的卷积神经网络模型，得到每一三维切块对应
的血管分割结果，各三维切块对应的血管分割结果拼合得到所述三维血管影像的血管分割结果。
15.在一些实施方式中，所述卷积神经网络模型包括3d u-net模型；所述3du-net模型包括四个编码层和四个解码层，且每个编码层和每个解码层均引入残差结构，以将上一层的特征图与本层卷积后的特征图进行结合后再输送给下一层。
16.在一些实施方式中，所述3d u-net模型的每层跳过连接中均加入下采样至本层的三维切块，以将每层编码器输出的特征图与下采样至本层的三维切块的特征进行结合后送至相应层级的解码器。
17.在一些实施方式中，所述方法还包括：
18.获取原始的三维血管影像及对应的已标注的血管标注图像；
19.对所述原始的三维血管影像及对应的已标注的血管标注图像进行裁剪，得到多个预设尺寸的三维切块；
20.以所述原始的三维血管影像的三维切块为输入、已标注的血管标注图像的三维切块为输出，训练卷积神经网络模型。
21.在一些实施方式中，所述对所述原始的三维血管影像及对应的已标注的血管标注图像进行裁剪，得到多个预设尺寸的三维切块，包括：
22.以数据增殖的方式分别在所述原始的三维血管影像及对应的已标注的血管标注图像的三个方向上随机进行不同步长的平移，裁剪出多个预设尺寸的三维切块。
23.在一些实施方式中，在以所述原始的三维血管影像的三维切块为输入、已标注的血管标注图像的三维切块为输出，训练卷积神经网络模型之前，还包括：
24.将每一三维切块进行z-score标准化处理。
25.在一些实施方式中，所述将每一三维切块进行z-score标准化处理，包括：
26.将每一三维切块的每个体素值减去当前三维切块全部体素值的平均值，再将所述平均值除以当前三维切块全部体素值的标准差，将所得结果替换为当前三维切块的当前体素值。
27.第二方面，本发明实施例提供一种血管分割装置，包括：
28.影像获取模块，用于获取三维血管影像；
29.影像裁剪模块，用于对所述三维血管影像进行裁剪，得到多个预设尺寸的三维切块；
30.血管分割模块，用于将每一三维切块分别输入预先训练的卷积神经网络模型，得到每一三维切块对应的血管分割结果，各三维切块对应的血管分割结果拼合得到所述三维血管影像的血管分割结果。
31.第三方面，本发明实施例提供一种计算机可读存储介质，包括：所述计算机可读存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如第一方面所述的血管分割方法。
32.第四方面，本发明实施例提供一种电子设备，包括：包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述计算机程序被所述一个或多个处理器执行时实现如第一方面所述的血管分割方法。
33.与现有技术相比，本发明的一个或多个实施例至少具有如下有益效果：
34.本发明提供的血管分割方法、装置、存储介质及电子设备，由于基于三维切块的训练和预测，因此对于不同尺寸大小的图像，改进后的卷积神经网络都能进行训练和预测，并输出与输入图像尺寸一致的分割掩膜图像，解决了模型训练预测的图像尺寸大小通用性问题；对卷积神经网络结构进行有效改进，更多地引入图像特征，从而实现了对图像数据进行系统而有目的性地学习和预测，提高了血管分割的准确度。通过改进的卷积神经网络对三维血管影像进行学习和建模，实现对新图像数据自动且正确的血管分割，为医师获取血管的形态学特征提供帮助，能够大幅提高医生的工作效率。本方法可以推广到其他部位的3d tof mra血管分割过程中。
附图说明
35.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。
36.图1是本发明实施例提供的血管分割方法流程图；
37.图2是本发明实施例提供的3d u-net模型结构示意图；
38.图3是本发明实施例提供的血管分割装置框图。
具体实施方式
39.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.实施例一
41.图1是本发明实施例提供的血管分割方法流程图，如图1所示，本实施例提供的血管分割方法，至少包括步骤s101～步骤s103：
42.步骤s101、获取三维血管影像。
43.在实际应用中，三维血管影像可以是但不限于三维tof mra影像。
44.步骤s102、对三维血管影像进行裁剪，得到多个预设尺寸的三维切块。
45.由于受到计算机硬件(如显卡内存大小)的限制，在原始三维tof mra影像中裁剪出尺寸大小满足计算机硬件运行的三维切块，选取的切块尺寸尽量大，预设尺寸可以根据实际情况确定。裁剪后利用卷积神经网络模型进行各三维切块分割结果的预测，并将预测的分割结果进行拼合得到完整的分割掩膜图像，作为血管分割结果。
46.步骤s103、将每一三维切块分别输入预先训练的卷积神经网络模型，得到每一三维切块对应的血管分割结果，各三维切块对应的血管分割结果拼合得到三维血管影像的血管分割结果。
47.三维tof mra影像裁剪出的各三维切块输入到卷积神经网络模型后，通过卷积和池化操作不断提取不同层级的特征，以完成最终的预测。在卷积神经网络模型中，前面的卷
积层会提取(三维切块)图像的初步局部信息，后面的卷积层能够提取更高层次的全局特征，这些特征结合起来可以用于区分血管与其他组织的边界，以及获取血管之间的连续性等。
48.本实施例的方法，由于采用的是基于三维切块的训练和预测，因此对于不同尺寸大小的图像，卷积神经网络都能够进行训练和预测，并输出与输入图像尺寸一致的分割掩膜图像，解决了模型训练预测的图像尺寸大小通用性问题。
49.上述卷积神经网络模型包括3d u-net模型，如图2所示。
50.该3d u-net模型包括四个编码层和四个解码层，且每个编码层和每个解码层均引入残差结构，以将上一层的特征图与本层卷积后的特征图进行结合后再输送给下一层。每个卷积操作都采用relu激活函数。
51.本实施例中，通过在原有3d u-net结构上增加一层编码层和解码层，改进为四个编码层和四个解码层，来应对大尺寸的输入图像，因此该网络的下采样率为2的4次方等于16倍，能够在大尺寸图像中获取更深层次的特征。在每一层的卷积操作中加入残差结构，能够将上一层的特征图与本层卷积后的特征图进行结合，然后再输送给下一层，这种残差学习操作能够解决网络退化问题，有利于网络训练的深入。
52.在一些实施方式中，3d u-net模型的每层跳过连接中均加入下采样至本层的三维切块，以将每层编码器输出的特征图与下采样至本层的三维切块的特征进行结合后送至相应层级的解码器。
53.将输入的tof mra图像切块分别进行1倍、2倍、4倍、8倍降采样后，与每层编码器输出的特征图进行结合，通过跳过连接将tof mra图像切块的自带特征和编码器提取的特征一起输送至相应层级的解码器进行训练学习。这一结构的加入使得网络能接收到更多的tof mra图像信息，更好地学习到原图的图像特征，更好地提升网络对tof mra图像分割任务的泛化能力。
54.进一步地，本方法还包括步骤s201～步骤s203：
55.步骤s201、获取原始的三维血管影像及对应的已标注的血管标注图像。
56.本实施例中的卷积神经网络模型属于有监督学习的深度学习类别，在模型的训练过程中，需要提供原始的tof mra影像和对应的专业的血管标注图像，卷积神经网络通过大量样本学习，建立原始影像和对应的标注图像之间的高级联系。在模型训练学习过程中，以标注的血管标注图像输入到卷积神经网络中进行模型的训练，模型训练结束后得到的模型可以用于未来新样本的预测，从而得到tof mra影像(例如颈部三维tof mra影像)的血管分割结果。
57.步骤s202、对原始的三维血管影像及对应的已标注的血管标注图像进行裁剪，得到多个预设尺寸的三维切块。
58.由于受到计算机硬件(如显卡内存大小)的限制，在原始三维tof mra影像中裁剪出尺寸大小满足计算机硬件运行的三维切块，选取的切块尺寸尽量大，预设尺寸可以根据实际情况确定。
59.在一些实施方式中，对原始的三维血管影像及对应的已标注的血管标注图像进行裁剪，得到多个预设尺寸的三维切块，包括：
60.以数据增殖的方式分别在原始的三维血管影像及对应的已标注的血管标注图像
的三个方向上随机进行不同步长的平移，裁剪出多个预设尺寸的三维切块。
61.通过对原始的三维tof mra影像、血管标注图像进行数据增殖，提高了模型的泛化能力，避免了模型在训练过程中出现过拟合的问题。
62.应当理解的是，以数据增殖的方式在三维血管影像的三个方向上随机进行不同步长的平移，裁剪出多个预设尺寸的三维切块，适用于原始的三维血管影像和已标注的血管标注图像。
63.步骤s203、以原始的三维血管影像的三维切块为输入、已标注的血管标注图像的三维切块为输出，训练卷积神经网络模型。
64.卷积神经网络作为一种端到端的训练推理方法，能够在模型内部自动进行特征提取和加工，运行过程中不需要任何人为操作。因此，只需要将原始的tof mra影像输入卷积神经网络，就可以自动进行学习建模，输出分割结果。避免了复杂的卷积模块和后处理步骤，实现端到端的分割任务。
65.在一些情况下，在以原始的三维血管影像的三维切块为输入、已标注的血管标注图像的三维切块为输出，训练卷积神经网络模型之前，还包括：将每一三维切块进行z-score标准化处理。
66.进一步地，将每一三维切块进行z-score标准化处理，包括：
67.将每一三维切块的每个体素值减去当前三维切块全部体素值的平均值，再将所述平均值除以当前三维切块全部体素值的标准差，将所得结果替换为当前三维切块的当前体素值。
68.相比于已有的3d u-net，本实施例中的3d u-net模型至少在如下方面存在改进：
69.(1)针对高分辨率大尺寸的输入图像，增加了一层编码器和解码器，加深了网络结构，提取到更高级的特征。
70.(2)在每层编码器和解码器中引入残差结构，避免了在网络深化过程中出现网络退化问题。
71.(3)通过在每层跳过连接中加入下采样至与该层级特征图同尺寸的原图，加入的原图能够起到区域响应增强的门控效果，抑制了无关区域的信息，更加突显目标区域，从而增加网络对tof mra图像的特征学习能力，并提高网络对tof mra图像分割任务的泛化能力。
72.通过上述步骤训练得到的卷积神经网络模型，可以实现三维血管影像的全自动、准确分割，且分割结果图像质量较高；充分利用了tof mra的图像特征，准确率明显提升，此外，模型的可移植性较好，不受计算机硬件的限制，可用于高分辨图像的分割场景。
73.实施例二
74.图3是本实施例的一种血管分割装置框图，本实施例提供的血管分割装置，如图3所示，包括：
75.影像获取模块301，用于获取三维血管影像；
76.影像裁剪模块302，用于对三维血管影像进行裁剪，得到多个预设尺寸的三维切块；
77.血管分割模块303，用于将每一三维切块分别输入预先训练的卷积神经网络模型，得到每一三维切块对应的血管分割结果，各三维切块对应的血管分割结果拼合得到三维血
管影像的血管分割结果。
78.在一些实施方式中，上述卷积神经网络模型包括3d u-net模型。该3d u-net模型包括四个编码层和四个解码层，且每个编码层和每个解码层均引入残差结构，以将上一层的特征图与本层卷积后的特征图进行结合后再输送给下一层。
79.在一些实施方式中，3d u-net模型的每层跳过连接中均加入下采样至本层的三维切块，以将每层编码器输出的特征图与下采样至本层的三维切块的特征进行结合后送至相应层级的解码器。
80.进一步地，本装置还可以包括：
81.模型训练模块，用于获取原始的三维血管影像及对应的已标注的血管标注图像；对原始的三维血管影像及对应的已标注的血管标注图像进行裁剪，得到多个预设尺寸的三维切块；以原始的三维血管影像的三维切块为输入、已标注的血管标注图像的三维切块为输出，训练卷积神经网络模型。
82.其中，对原始的三维血管影像及对应的已标注的血管标注图像进行裁剪，得到多个预设尺寸的三维切块，包括：以数据增殖的方式分别在原始的三维血管影像及对应的已标注的血管标注图像的三个方向上随机进行不同步长的平移，裁剪出多个预设尺寸的三维切块。
83.在一些情况下，在以原始的三维血管影像的三维切块为输入、已标注的血管标注图像的三维切块为输出，训练卷积神经网络模型之前，还包括：将每一三维切块进行z-score标准化处理。
84.进一步地，将每一三维切块进行z-score标准化处理，包括：
85.将每一三维切块的每个体素值减去当前三维切块全部体素值的平均值，再将所述平均值除以当前三维切块全部体素值的标准差，将所得结果替换为当前三维切块的当前体素值。
86.应当理解的是，本实施例的装置具备方法实施例的全部有益效果。
87.本领域的技术人员应当明白，上述各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何限定的硬件和软件结合。
88.实施例三
89.本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被一个或多个处理器执行时，实现实施例一的血管分割方法。
90.本实施例中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
91.实施例四
92.本实施例提供一种电子设备，包括存储器和一个或多个处理器，存储器上存储有计算机程序，计算机程序被一个或多个处理器执行时实现实施例一的血管分割方法。
93.在实际应用中，电子设备可以是手机、平板电脑等终端设备。本实施例中，处理器可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。在处理器上运行的计算机程序被执行时所实现的方法可参照本发明前述实施例提供的方法的具体实施例，此处不再赘述。
94.在本发明实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。
95.需要说明的是，在本文中，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
96.虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。