一种血管分割方法、装置、存储介质及电子设备与流程

1.本发明涉及血管分割技术领域，尤其涉及一种血管分割方法、装置、存储介质及电子设备。


背景技术：

2.血管分割的现有方法是基于深度学习中u
‑
net模型直接预测血管的分割，但现有方法通常会出现以下问题：（1）易断裂：血管很细，平均直径只有10个像素，普通的分割模型极易出现分割时血管断裂的问题。
3.（2）易粘连：每种血管周边也存在一些其他类型的血管（如冠脉血管周边粘连有肝脏血管），分割的时候很容易将其他类型的血管也分割进来，如何移除粘连的血管，是现阶段面临的最具挑战的问题。
4.（3）血管分割相比于一般的医疗影像分割，具有较大的前景区域，因此血管分割对算法的精度要求更高。
5.因此，亟需提供一种血管分割方法，解决上述血管分割时出现的问题。


技术实现要素：

6.本发明提供一种血管分割方法、装置、存储介质及电子设备，以至少解决现有技术中存在的以上技术问题。
7.本发明一方面提供一种血管分割方法，包括：通过预设尺寸的滑窗在血管图像上进行图像采样，得到多个图像块，相邻的两个所述图像块的重叠率等于第一阈值；确定所述图像块中包括血管图像的图像块；将全部所述包括血管图像的图像块融合，得到候选血管图像块；基于所述血管图像和所述候选血管图像块确定目标血管图像块。
8.上述分割方法能够尽可能多地召回血管段，得到完整的血管信息；同时移除多余的粘连血管，得到精细血管分割的同时也不会出现断裂的情况。
9.本发明另一方面提供一种血管分割装置，包括：图像块获取模块，通过预设尺寸的滑窗在血管图像上进行图像采样，得到多个图像块，相邻的两个所述图像块的重叠率等于第一阈值；图像块确定模块，用于确定所述图像块中包括血管图像的图像块；候选血管图像块获取模块，用于将全部所述包括血管图像的图像块融合，得到候选血管图像块；目标血管图像块确定模块，用于基于所述血管图像和所述候选血管图像块确定目标血管图像块。
10.本发明再一方面提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明所述的血管分割方法。
11.本发明还一方面提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明所述的血管分割方法。
附图说明
12.图1示出了本发明实施例提供的血管分割方法的步骤流程图；图2示出了本发明实施例提供的粗分割的步骤流程图；图3示出了本发明实施例提供的利用滑窗在血管图像样本上进行图像采样的示意图；图4示出了本发明实施例提供的细分割的步骤流程图；图5示出了本发明实施例提供的血管分割装置的结构框图。
13.附图标记：100
‑
图像块获取模块；200
‑
图像块确定模块；300
‑
候选血管图像块获取模块；400
‑
目标血管图像块确定模块；101
‑
图像块获取单元；102
‑
图像块划分单元；201
‑
第一模型训练单元；202
‑
第一模型调整单元；203
‑
第一模型预测单元；204
‑
图像块确定单元；401
‑
第一图像块获取单元；402
‑
第二模型训练单元；403
‑
第一模型调整单元；404
‑
分割图像块确定单元；405
‑
目标血管图像块确定单元；1
‑
样本滑窗；2
‑
重叠区域；3
‑
目标血管。
具体实施方式
14.为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.图1示出了本发明实施例提供的血管分割方法的步骤流程图，请查看图1，本发明实施例提供的血管分割方法包括以下步骤：步骤s1：通过预设尺寸的滑窗在血管图像上进行图像采样，得到多个图像块，相邻的两个图像块的重叠率等于第一阈值。
16.步骤s2：确定图像块中包括血管图像的图像块。
17.步骤s3：将全部包括血管图像的图像块融合，得到候选血管图像块。
18.步骤s4：基于血管图像和候选血管图像块确定目标血管图像块。
19.上述分割方法主要从：粗分割和细分割，这两个方面进行血管分割。一幅原始血管图像中不仅包括有血管，还有其他多余的背景图像，粗分割是将原始血管图像中包含有血管的图像提取出来，尽可能保留血管信息，为细分割提供基础。通常，一种类型的血管周边还粘连有一些其他类型的血管，例如：冠脉血管周边粘连有肝脏血管，为保证获取的冠脉血管的准确性，需要将周边的肝脏血管剔除。因此，细分割需要在粗分割得到的血管图像的基础上，将其他血管移除。
20.具体的，步骤s1至s3为粗分割，步骤s4为细分割。
21.对于粗分割，本发明的实施例是通过滑窗的方式先将一副血管图像划分为多个图像块，再确定多个图像块中包含有血管的图像块，最终将包含有血管的图像块组成一副完整的图像，即为步骤s3得到的候选血管图像块。这样做能够尽可能分割出一副血管图像中
所有的血管，保证血管的召回率。
22.以下通过附图对粗分割和细分割进行详细说明。
23.图2示出了本发明实施例提供的粗分割的步骤流程图，请查看图2，本发明实施例提供的粗分割包括以下步骤：步骤s11：利用样本滑窗在血管图像样本上进行图像采样，得到多个图像块样本，相邻的两个图像块样本的重叠率等于第一阈值。
24.具体的，在使用血管分割模型进行粗分割之前，需要对血管分割模型进行训练，训练的同时根据实际值与预测值之间的误差对应修改血管分割模型中的参数，使得训练完成的血管分割模型更加准确。本发明的步骤s11至步骤s14为训练血管分割模型的方法。
25.本发明实施例的血管图像样本可以是拍摄的冠状动脉cta（ct angiography，血管造影）图像，根据血管图像样本的尺寸大小和具体情况，预先设置样本滑窗的尺寸，再使用样本滑窗在血管图像样本上采样。
26.本发明实施例中，样本滑窗可以为正方形，或者长方形等规则形状；且在采样时第一阈值可以为50%。
27.图3示出了本发明实施例提供的利用滑窗在血管图像样本上进行图像采样的示意图，如图3中所示，血管图像样本上包括目标血管3，样本滑窗1为虚线正方形。当正方形的样本滑窗1完成第一个图像块样本的采样后，将样本滑窗1向右平移，平移的距离为样本滑窗1宽度的一半，平移后得到两个样本滑窗1的重叠区域2；之后也可以再将样本滑窗1向左平移、向上平移或向下平移，平移的距离均为样本滑窗1宽度的一半。使得血管图像样本上，除了最边缘的位置，其他任意位置均能够被两个以上的图像块样本所覆盖。以此保证数据的完整性，进而保证了血管的召回率，召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，广泛用于信息检索和统计学分类领域，用于评价结果的质量。本实施例中保证血管的召回率，即为保证血管图像中血管的查全率，使得血管图像中任意位置的血管不被漏检。图3中的正方形的样本滑窗1在整个血管图像中所占面积较大，是为了更清楚地说明滑窗是如何进行取样的，实际取样时滑窗的具体尺寸需要根据具体的血管图像进行设置，本发明实施例不再进行限定。
28.步骤s12：将图像块样本划分为正例图像块样本集和负例图像块样本集。
29.具体的，正例图像块样本集表示包含有血管的图像块样本的集合，负例图像块样本集表示不包含血管的图像块样本的集合，以此通过正负样本分别训练血管分割模型。
30.通常情况下，不包含血管的背景区域的面积占比大于包含血管的目标区域的面积占比，因此正例图像块样本集的样本数量小于负例图像块样本集的样本数量。当正例图像块样本集的样本数量和负例图像块样本集的样本数量比例不平衡时，将会影响之后血管分割模型的预测的准确性，因此，需要保证正例图像块样本集的样本数量和负例图像块样本集的样本数量比例为1:1。
31.为保证正例图像块样本集的图像块样本数量和负例图像块样本集的图像块样本数量比例满足第一条件。本发明实施例的第一条件可以为：正例图像块样本集的图像块样本数量和负例图像块样本集的图像块样本数量比例为1:1。
32.为保证正例图像块样本集和负例图像块样本集的样本数量比例为1:1，需要对正例图像块样本集进行样本数据增加处理。优选的，本发明实施例通过以下处理方式中的一
种或多种增加正例图像块样本集的样本数量：对正例图像块样本集进行水平翻转、垂直翻转、任意角度的旋转、平移任意距离、调节对比度、添加噪声和添加遮挡；保留经过上述处理后的正例图像块样本集。
33.具体的，水平翻转是指将正例图像块样本集中的任意图像块水平翻转，得到翻转后的图像块样本。垂直翻转是指将正例图像块样本集中的任意图像块垂直翻转，得到翻转后的图像块样本。任意角度的旋转是指将正例图像块样本集中的任意图像块样本进行任意角度的旋转，顺时针或逆时针旋转任意角度均可，保留旋转后的图像块样本。
34.平移任意距离是指正例图像块样本集中的任意图像块样本覆盖了血管图像的位置a，将该图像块样本从位置a平移至位置b，作为预测位置b的图像块样本，之后保留该图像块样本。
35.调节对比度是指对正例图像块样本集中的任意图像块样本进行对比度的调节，保留调节后的图像块样本。
36.添加噪声是指对正例图像块样本集中的任意图像块样本进行噪声添加，使得仿真时的图像更加符合实际图像。添加遮挡是指给正例图像块样本集中的任意图像块样本添加多余的阴影，以此丰富数据类型。
37.步骤s13：将正例图像块样本集和负例图像块样本集输入血管分割模型，预测图像块样本是否为血管图像块。
38.步骤s14：确定预测结果与图像块样本的标签之间的差异，基于差异调整血管分割模型的损失函数。
39.具体的，图像块样本的标签为该图像块样本中标注的真实血管图像，对预测结果和图像块样本中标注的真实血管图像进行比较，如果该血管分割模型输出的预测结果与图像块样本中标注的真实血管图像的差异较大，则说明该血管分割模型预测准确率低，此时需要调整血管分割模型的损失函数，具体为：基于差异调整血管分割模型的参数，直至血管分割模型的损失函数的值达到预设值，进而实现损失函数的快速收敛，使得血管分割模型输出的预测结果与图像块样本无差异或差异较小，得到训练完成的血管分割模型。
40.本发明实施例中的血管分割模型可以是u
‑
net网络结构，主干网络可以是resnet50，损失函数可以是focal loss。
41.损失函数的参数可以包括：学习率、weight_decay、beta1、beta2。其中，上述参数值可以为：学习率1e
‑
3，weight_decay:1e
‑
4，beta1:1e
‑
5，beta2:1e
‑
3。
42.本发明实施例的血管分割模型的训练使用的优化器可以是二阶冲量优化算法adam，在深度学习模型中能够用来替代随机梯度下降的优化算法，所需内存少，调参相对简单，默认参数就可以处理绝大部分的问题，能够直截了当地解决参数优化问题和含大规模数据时的计算问题，从而加速收敛。同时adam的参数配置，也称为学习率或步长因子，用于控制权重的更新比率，降低会使训练收敛到更好的性能。
43.以下步骤s15至步骤s17是使用训练完成的血管分割模型，对拍摄到的某一原始血管图像进行血管粗分割。
44.步骤s15：将在血管图像上进行图像采样得到的多个图像块输入血管分割模型中，得到多个图像块包括血管图像的概率值。
45.具体的，该步骤是将采样得到的原始血管图像上的所有图像块均输入血管分割模
型，血管分割模型输出每个图像块包括有血管图像的概率值。
46.其中，若原始血管图像中任意位置点的包括血管图像的概率值为60%
‑
100%，则说明该位置点对应的图像块中包括血管图像。若原始血管图像中任意位置点的包括血管图像的概率值为60%以下，则说明该位置点对应的图像块中不包括血管图像。
47.步骤s16：对在任意位置重叠的两个以上的图像块，计算图像块包括血管图像的概率值的平均值，得到位置的包括血管图像的概率值；若概率值大于第二阈值，则确定概率值对应的图像块中包括血管图像。
48.具体的，本发明实施例中，相邻两个图像块有50%的重叠率，所以除了原始血管图像的最边缘位置，该原始血管图像中的任意点a都会被两个以上的图像块所覆盖，因此需要对覆盖了a点的两个以上的图像块的预测结果求平均值，该平均值作为a点包括血管图像的概率值。以此类推，得到原始血管图像中所有位置点的包括血管图像的概率值。
49.第二阈值可以为60%，即原始血管图像中任意位置点的包括血管图像的概率值大于60%，则说明该位置点对应的图像块中包括血管图像。
50.步骤s17：将全部包括血管图像的图像块融合，得到候选血管图像块，包括：将包括血管图像的图像块按照血管图像的图像块在血管图像中的位置，融合为候选血管图像块。
51.具体的，该步骤是在上一步骤获得的所有位置点的概率值的基础上，按照概率值得到一幅完整的血管图像，作为粗分割后的候选血管图像块。
52.图4示出了本发明实施例提供的细分割的步骤流程图，请查看图4，本发明实施例提供的细分割包括以下步骤：步骤s21：对血管图像和候选血管图像块进行与操作，得到第一图像块。
53.具体的，上述粗分割中，血管分割模型的输入是通过滑窗剪裁得到的图像块，而细分割中，血管分割模型的输入是粗分割得到的候选血管图像块与原始血管图像与操作后得到的第一图像块，不仅保证了图像信息的完整性，使得本步骤的血管分割更加精细；同时由于第一图像块中还移除了多余的背景信息，只包括血管信息，使得以下步骤的模型训练更加简化。
54.步骤s22：将第一图像块输入血管分割模型，预测第一图像块是否为包含多余血管的血管图像块。
55.步骤s23：确定预测结果与第一图像块分割的图像标签的差异，基于差异调整血管分割模型的参数，直至血管分割模型的损失函数的值达到预设值。
56.具体的，第一图像块分割的图像标签为第一图像块标注的真实血管图像，对预测结果和第一图像块标注的真实血管图像进行比较，如果该血管分割模型输出的预测结果与第一图像块标注的真实血管图像的差异较大，则说明该血管分割模型预测准确率低，此时需要调整血管分割模型的损失函数，具体为：基于差异调整血管分割模型的参数，直至血管分割模型的损失函数的值达到预设值，进而实现损失函数的快速收敛，使血管分割模型输出的预测结果与第一图像块无差异或差异较小，得到训练完成的血管分割模型。同时，由于该步骤中，已经移除了第一图像块中多余的背景信息，说明第一图像块属于正例图像块。因此，血管分割模型的训练中，模型输入不包括负例图像块，无需解决正负样本数量比例不平衡的问题，同时增加了模型分割的精确度。
57.本发明实施例中的血管分割模型可以是u
‑
net网络结构，主干网络可以是
resnet18，损失函数可以是focal loss。
58.损失函数的参数可以包括：学习率、weight_decay、beta1、beta2。其中，上述参数值可以为：学习率1e
‑
3，weight_decay：1e
‑
4，beta1：1e
‑
5，beta2：1e
‑
3。
59.本发明实施例的血管分割模型的训练使用的优化器可以是二阶冲量优化算法adam，在深度学习模型中能够用来替代随机梯度下降的优化算法，所需内存少，调参相对简单，默认参数就可以处理绝大部分的问题，能够直截了当地解决参数优化问题和含大规模数据时的计算问题，从而加速收敛。同时adam的参数配置，也称为学习率或步长因子，用于控制权重的更新比率，降低会使训练收敛到更好的性能。
60.步骤s24：基于第一图像块确定分割图像块。
61.在一些实施例中，基于第一图像块确定分割图像块包括：将第一图像块输入血管分割模型，得到分割图像块。
62.具体的，该步骤的血管分割模型是已经训练完成的模型，该血管分割模型输出的分割图像块是不包含多余血管的血管图像。
63.步骤s25：将分割图像块与候选血管图像块进行与操作，得到目标血管图像块。
64.具体的，将不包含多余血管分割图像块和粗分割得到的候选血管图像块与操作，进一步提高血管分割的精确度，解决血管分割时出现的易断裂的问题。
65.图4示出了本发明实施例提供的血管分割装置的结构框图，请查看图4，本发明实施例提供的血管分割装置包括：图像块获取模块100、图像块确定模块200、候选血管图像块获取模块300、目标血管图像块确定模块400。
66.其中，图像块获取模块100通过预设尺寸的滑窗在血管图像上进行图像采样，得到多个图像块，相邻的两个图像块的重叠率等于第一阈值。图像块确定模块200用于确定图像块中包括血管图像的图像块。候选血管图像块获取模块300用于将全部包括血管图像的图像块融合，得到候选血管图像块。目标血管图像块确定模块400用于基于血管图像和候选血管图像块确定目标血管图像块。
67.图像块获取模块100包括：图像块获取单元101，用于利用样本滑窗在血管图像样本上进行图像采样，得到多个图像块样本，相邻的两个图像块样本的重叠率等于第一阈值。图像块划分单元102，用于将图像块样本划分为正例图像块样本集和负例图像块样本集。
68.图像块确定模块200包括：第一模型训练单元201，用于将正例图像块样本集和负例图像块样本集输入血管分割模型，预测图像块样本是否为血管图像块。第一模型调整单元202，用于确定预测结果与图像块样本的标签之间的差异，基于差异调整血管分割模型的损失函数。第一模型预测单元203，用于将在血管图像上进行图像采样得到的多个图像块输入血管分割模型中，得到多个图像块包括血管图像的概率值。图像块确定单元204，用于对在任意位置重叠的两个以上的图像块，计算图像块包括血管图像的概率值的平均值，得到位置的包括血管图像的概率值；若概率值大于第二阈值，则确定概率值对应的图像块中包括血管图像。
69.目标血管图像块确定模块400包括：第一图像块获取单元401，用于将血管图像和候选血管图像块进行与操作，得到第一图像块。第二模型训练单元402，将第一图像块输入血管分割模型，预测第一图像块是否为包含多余血管的血管图像块。第一模型调整单元403，用于确定预测结果与第一图像块的图像标签的差异，基于差异调整血管分割模型的参
数，直至血管分割模型的损失函数的值达到预设值。分割图像块确定单元404，用于基于第一图像块确定分割图像块，包括：将第一图像块输入血管分割模型，得到分割图像块。目标血管图像块确定单元405，用于将分割图像块和候选血管图像块进行与操作，得到目标血管图像块。
70.除了上述方法和装置以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“血管分割方法”部分中描述的根据本技术各种实施例的方法中的步骤。
71.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
72.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“血管分割方法”部分中描述的根据本技术各种实施例的方法中的步骤。
73.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器（cd
‑
rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。
74.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
75.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
76.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
77.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
78.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实
施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。