一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种冠状动脉钙化积分的计算方法、装置及存储介质与流程

2022-10-22 06:57:07 来源:中国专利 TAG:


1.本技术涉及钙化积分计算技术领域,尤其是涉及一种冠状动脉钙化积分的计算方法、装置及存储介质。


背景技术:

2.心血管疾病是全世界最常见的死亡原因。冠脉中的钙化斑块的钙化程度是监控心血管疾病的重要指标,也是预测心血管疾病的重要手段。平扫ct作为常用的冠心病筛查手段,常被用于计算钙化积分等指标,根据平扫ct图像计算的钙化积分就是反映冠脉中钙化程度的评价指标。在实际情况中,平扫ct图像很难看清冠脉血管位置,而且缺少心电图同步,心脏的运动伪影和扫描剂量也会产生图像噪声,致使通过人工标记得到的钙化区域标记错误或积分不准确,从而使得到的钙化区域积分不准确。并且通过人工标记钙化区域的方法,还存在冠脉钙化积分计算效率低的问题。


技术实现要素:

3.有鉴于此,本技术的目的在于提供一种冠状动脉钙化积分的计算方法、装置及存储介质,可以快速精确的完成基于平扫ct的冠脉钙化积分的计算。
4.本技术实施例提供了一种冠状动脉钙化积分的计算方法,所述计算方法包括:
5.将获取到的目标患者的目标三维冠脉平扫ct图像输入至预先训练好的图像分割模型中进行图像分割,获取所述目标患者心脏区域处的初始三维医学图像;
6.对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所述初始三维医学图像中的位置信息;
7.将从所述初始三维医学图像中识别出的每个目标区域图像和每个目标区域图像的位置信息输入预先构建好的第一冠脉分类模型中,确定所述初始三维医学图像中每个目标区域图像中冠脉血管的类别;
8.将所述初始三维医学图像输入至预先构建好的第二冠脉分类模型中,确定所述初始三维医学图像包括的钙化斑块的钙化预测区域、每个钙化预测区域在所述初始三维医学图像中的位置信息,以及所对应的冠脉血管的类别;
9.通过所述第一冠脉分类模型和所述第二冠脉分类模型识别出的具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域,将所述具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域在所述初始三维医学图像中进行标注,得到目标三维医学图像;
10.根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分。
11.可选的,通过以下步骤构建图像分割模型:
12.获取多张待训练三维冠脉平扫ct图像;其中,预先对每张待训练三维冠脉平扫ct图像中的心脏区域进行分割,确定每张待训练三维冠脉平扫ct图像中的心脏区域的真实分割结果;
13.将所述多张待训练三维冠脉平扫ct图像输入至分割神经网络中,确定每张待训练三维冠脉平扫ct图像的预测分割结果;其中,所述分割神经网络是基于3d-u-net构建的;
14.分别使用每张待训练三维冠脉平扫ct图像的预测分割结果和该待训练三维冠脉平扫ct图像的真实分割结果进行对比计算,确定混合损失函数的数值;
15.根据所述混合损失函数的数值,采用反向梯度传播算法对所述分割神经网络进行迭代训练,得到所述图像分割模型。
16.可选的,所述对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所述初始三维医学图像中的位置信息,包括:
17.根据预设ct阈值,对所述初始三维医学图像进行二值化处理,生成三维二值医学图像;所述三维二值医学图像用于确定冠状动脉中的疑似钙化斑块的区域;
18.基于所述三维二值医学图像进行连通域构建,并将构建出的每个连通域确定为所述三维二值医学图像中包括的疑似钙化斑块的区域,确定出至少一个初始钙化区域;
19.基于阈值法,从所述至少一个初始钙化区域中筛选出符合阈值要求的至少一个初始钙化区域,并将筛选出的初始钙化区域确定为目标钙化区域,得到至少一个目标钙化区域;
20.针对每个目标钙化区域,根据该目标钙化区域的边界框的数值,从所述初始三维医学图像中裁剪出相应大小的目标区域图像,并确定裁剪出的每个目标区域图像在所述初始三维医学图像中的位置信息。
21.可选的,所述根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分,包括:
22.分别计算每支所述冠脉血管在每层切片中的钙化斑块区域的agaston积分、体积积分以及质量积分;
23.将每支所述冠脉血管在各层切片中的agaston积分、体积积分以及质量积分对应相加,得到每支所述冠脉血管的agaston积分、体积积分以及质量积分;
24.将每支所述冠脉血管的agaston积分、体积积分、质量积分分别相加,得到所述冠状动脉钙化总积分。
25.可选的,所述基于阈值法,从所述至少一个初始钙化区域中筛选出符合阈值要求的至少一个初始钙化区域,并将筛选出的初始钙化区域确定为目标钙化区域,包括:
26.将体积小于第一体积阈值、面积大于第一面积阈值以及体素数量大于第一数量的初始钙化区域确定为目标钙化区域。
27.可选的,所述混合损失函数包括交叉熵损失函数、结构相似性损失函数以及iou损失函数。
28.可选的,所述冠脉血管的类别包括:左前降支、右冠状动脉、左回旋支、左主干以及分支血管。
29.可选的,所述第二冠脉分类模型包括三个部分:backbone部分,neck部分和prediction部分。
30.本技术实施例还提供了一种冠状动脉钙化积分的计算装置,所述计算装置包括:
31.分割模块,用于将获取到的目标患者的目标三维冠脉平扫ct图像输入至预先训练
好的图像分割模型中进行图像分割,获取所述目标患者心脏区域处的初始三维医学图像;
32.识别模块,用于对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所述初始三维医学图像中的位置信息;
33.第一确定模块,用于将从所述初始三维医学图像中识别出的每个目标区域图像和每个目标区域图像的位置信息输入预先构建好的第一冠脉分类模型中,确定所述初始三维医学图像中每个目标区域图像中冠脉血管的类别;
34.第二确定模块,用于将所述初始三维医学图像输入至预先构建好的第二冠脉分类模型中,确定所述初始三维医学图像包括的钙化斑块的钙化预测区域、每个钙化预测区域在所述初始三维医学图像中的位置信息,以及所对应的冠脉血管的类别;
35.标注模块,用于通过所述第一冠脉分类模型和所述第二冠脉分类模型识别出的具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域,将所述具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域在所述初始三维医学图像中进行标注,得到目标三维医学图像;
36.计算模块,用于根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分。
37.可选的,所述计算装置还包括模型构建模块,所述模型构建模块用于:
38.获取多张待训练三维冠脉平扫ct图像;其中,预先对每张待训练三维冠脉平扫ct图像中的心脏区域进行分割,确定每张待训练三维冠脉平扫ct图像中的心脏区域的真实分割结果;
39.将所述多张待训练三维冠脉平扫ct图像输入至分割神经网络中,确定每张待训练三维冠脉平扫ct图像的预测分割结果;其中,所述分割神经网络是基于3d-u-net构建的;
40.分别使用每张待训练三维冠脉平扫ct图像的预测分割结果和该待训练三维冠脉平扫ct图像的真实分割结果进行对比计算,确定混合损失函数的数值;
41.根据所述混合损失函数的数值,采用反向梯度传播算法对所述分割神经网络进行迭代训练,得到所述图像分割模型。
42.可选的,所述识别模块在用于对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所述初始三维医学图像中的位置信息时,所述识别模块用于:
43.根据预设ct阈值,对所述初始三维医学图像进行二值化处理,生成三维二值医学图像;所述三维二值医学图像用于确定冠状动脉中的疑似钙化斑块的区域;
44.基于所述三维二值医学图像进行连通域构建,并将构建出的每个连通域确定为所述三维二值医学图像中包括的疑似钙化斑块的区域,确定出至少一个初始钙化区域;
45.基于阈值法,从所述至少一个初始钙化区域中筛选出符合阈值要求的至少一个初始钙化区域,并将筛选出的初始钙化区域确定为目标钙化区域,得到至少一个目标钙化区域;
46.针对每个目标钙化区域,根据该目标钙化区域的边界框的数值,从所述初始三维医学图像中裁剪出相应大小的目标区域图像,并确定裁剪出的每个目标区域图像在所述初始三维医学图像中的位置信息。
47.可选的,所述计算模块在用于根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分时,所述计算模块用于:
48.分别计算每支所述冠脉血管在每层切片中的钙化斑块区域的agaston积分、体积积分以及质量积分;
49.将每支所述冠脉血管在各层切片中的agaston积分、体积积分以及质量积分对应相加,得到每支所述冠脉血管的agaston积分、体积积分以及质量积分;
50.将每支所述冠脉血管的agaston积分、体积积分、质量积分分别相加,得到所述冠状动脉钙化总积分。
51.可选的,所述识别模块在用于基于阈值法,从所述至少一个初始钙化区域中筛选出符合阈值要求的至少一个初始钙化区域,并将筛选出的初始钙化区域确定为目标钙化区域时,所述识别模块用于:
52.将体积小于第一体积阈值、面积大于第一面积阈值以及体素数量大于第一数量的初始钙化区域确定为目标钙化区域。
53.可选的,所述混合损失函数包括交叉熵损失函数、结构相似性损失函数以及iou损失函数。
54.可选的,所述冠脉血管的类别包括:左前降支、右冠状动脉、左回旋支、左主干以及分支血管。
55.可选的,所述第二冠脉分类模型包括三个部分:backbone部分,neck部分和prediction部分。
56.本技术实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的计算方法的步骤。
57.本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的计算方法的步骤。
58.本技术实施例提供的一种冠状动脉钙化积分的计算方法、装置及存储介质,所述计算方法包括:将获取到的目标患者的目标三维冠脉平扫ct图像输入至预先训练好的图像分割模型中进行图像分割,获取所述目标患者心脏区域处的初始三维医学图像;对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所述初始三维医学图像中的位置信息;将从所述初始三维医学图像中识别出的每个目标区域图像和每个目标区域图像的位置信息输入预先构建好的第一冠脉分类模型中,确定所述初始三维医学图像中每个目标区域图像中冠脉血管的类别;将所述初始三维医学图像输入至预先构建好的第二冠脉分类模型中,确定所述初始三维医学图像包括的钙化斑块的钙化预测区域、每个钙化预测区域在所述初始三维医学图像中的位置信息,以及所对应的冠脉血管的类别;通过所述第一冠脉分类模型和所述第二冠脉分类模型识别出的具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域,将所述具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域在所述初始三维医学图像中进行标注,得到目标三维医学图像;根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分。
59.这样,本技术通过基于混合损失函数训练得到的图像分割模型,提高了心脏区域
图像分割的效率和准确率,并通过两种冠脉分类模型实现了对心脏区域的三维图像的局部特征和全局特征的综合识别,从而提高了钙化区域以及冠脉血管类别识别结果的准确性,进而提高了钙化积分计算结果的准确度。
60.为使本技术的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
61.为了更清楚地说明本技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
62.图1为本技术实施例所提供的一种冠状动脉钙化积分的计算方法的流程图;
63.图2为本技术提供的spp结构的示意图;
64.图3为本技术提供的冠状动脉钙化积分的计算方法的技术架构示意图;
65.图4为本技术实施例所提供的一种冠状动脉钙化积分的计算装置的结构示意图之一;
66.图5为本技术实施例所提供的一种冠状动脉钙化积分的计算装置的结构示意图之二;
67.图6为本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
68.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围,而是仅仅表示本技术的选定实施例。基于本技术的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本技术保护的范围。
69.心血管疾病是全世界最常见的死亡原因。冠脉中的钙化斑块的钙化程度是监控心血管疾病的重要指标,也是预测心血管疾病的重要手段。平扫ct作为常用的冠心病筛查手段,常被用于计算钙化积分等指标,根据平扫ct图像计算的钙化积分就是反映冠脉中钙化程度的评价指标。在实际情况中,平扫ct图像很难看清冠脉血管位置,而且缺少心电图同步,心脏的运动伪影和扫描剂量也会产生图像噪声,致使通过人工标记得到的钙化区域标记错误或积分不准确,从而使得到的钙化区域积分不准确。并且通过人工标记钙化区域的方法,还存在冠脉钙化积分计算效率低的问题。
70.基于此,本技术实施例提供了一种冠状动脉钙化积分的计算方法,可以快速精确的完成基于平扫ct的冠脉钙化积分的计算。
71.请参阅图1,图1为本技术实施例所提供的一种冠状动脉钙化积分的计算方法的流程图。如图1中所示,本技术实施例提供的计算方法,包括:
72.s101、将获取到的目标患者的目标三维冠脉平扫ct图像输入至预先训练好的图像分割模型中进行图像分割,获取所述目标患者心脏区域处的初始三维医学图像。
73.这里,所述图像分割模型为用于将冠脉平扫ct图像中心脏区域的图像分割出来,得到只包含目标患者心脏区域处的三维医学图像的模型。
74.这里,之所以需要使用图像分割模型从冠脉平扫ct图像中分割出心脏区域的三维医学图像,是为了将骨骼等假阳性噪声高发区域排除在外,从而提高后续钙化积分计算结果的准确性。
75.其中,平扫ct图像为患者进行拍摄时未打造影剂所获取的三维医学图像,平扫ct图像常被用于冠心病的初筛,计算钙化积分。在平扫ct中可以观察到钙化和支架等高密度物,但却难以观察到血管。
76.在本技术提供的一种实施方式中,通过以下步骤构建图像分割模型:获取多张待训练三维冠脉平扫ct图像;其中,预先对每张待训练三维冠脉平扫ct图像中的心脏区域进行分割,确定每张待训练三维冠脉平扫ct图像中的心脏区域的真实分割结果;将所述多张待训练三维冠脉平扫ct图像输入至分割神经网络中,确定每张待训练三维冠脉平扫ct图像的预测分割结果;其中,所述分割神经网络是基于3d-u-net构建的;分别使用每张待训练三维冠脉平扫ct图像的预测分割结果和该待训练三维冠脉平扫ct图像的真实分割结果进行对比计算,确定混合损失函数的数值;根据所述混合损失函数的数值,采用反向梯度传播算法对所述分割神经网络进行迭代训练,得到所述图像分割模型。
77.这里,针对每张待训练三维冠脉平扫ct图像,预先对该待训练三维冠脉平扫ct图像中的心脏区域进行分割,确定每张待训练三维冠脉平扫ct图像中的心脏区域的真实分割结果,是为了给待训练三维冠脉平扫ct添加可用于模型识别和训练的标签信息。
78.这里,混合损失函数包括交叉熵损失函数bce、结构相似性损失函数ssim以及iou损失函数。所述混合损失函数是由这三种损失函数沟通构成的。
79.其中,其中bce不考虑邻域标签,按像素计算的;ssim是片级的损失,有助于优化聚焦于边界和前景区域;iou损失是块级别的度量,更强调大的前景区域,因此能够为这些区域产生相对均匀和更精确的概率。三种损失的混合保留了bce能保持所有像素的平滑梯度的特点、iou将更多的焦点放在前景上的特性以及ssim可以尊重原始图像的结构,通过使用边界附近的较大损失,以及进一步推动背景预测为零的优势。
80.这里,在采用反向梯度传播算法对所述分割神经网络进行迭代训练,是对所述分割神经网络的权重系数进行更新,使得更新后的权重对应的图像分割模型,进行图像分割时所得到的分割结果更加接近真实情况。
81.s102、对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所述初始三维医学图像中的位置信息。
82.这里,对心脏区域的初始三维医学图像中的钙化斑块存在的区域进行识别,是为了在进行冠脉分类前对将初始三维医学图像中存在异常但不是钙化斑块的区域删除。例如将体积过大、面积过小的疑似区域删除。
83.在本技术提供的一种实施方式中,所述对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所
述初始三维医学图像中的位置信息,包括:根据预设ct阈值,对所述初始三维医学图像进行二值化处理,生成三维二值医学图像;所述三维二值医学图像用于确定冠状动脉中的疑似钙化斑块的区域;基于所述三维二值医学图像进行连通域构建,并将构建出的每个连通域确定为所述三维二值医学图像中包括的疑似钙化斑块的区域,确定出至少一个初始钙化区域;基于阈值法,从所述至少一个初始钙化区域中筛选出符合阈值要求的至少一个初始钙化区域,并将筛选出的初始钙化区域确定为目标钙化区域,得到至少一个目标钙化区域;针对每个目标钙化区域,根据该目标钙化区域的边界框的数值,从所述初始三维医学图像中裁剪出相应大小的目标区域图像,并确定裁剪出的每个目标区域图像在所述初始三维医学图像中的位置信息。
84.这里,根据预设ct阈值,将所述初始三维医学图像转变为三维二值医学图像,是将灰度图像转化为黑白图像。所述ct阈值可根据实际情况进行适用性选择。
85.示例的,根据预设ct阈值,对所述初始三维医学图像进行二值化处理,生成三维二值医学图像,可以为:假设预设ct阈值为130,首先确定初始三维医学图像中每个体素的ct值;然后将ct值大于等于130的体素的ct值更改为显示纯白时对应的ct值,将ct值小于130的体素的ct值更改为显示纯黑时对应的ct值,这样,就得到了三维二值医学图像。需要说明的是,平扫ct图像中钙化斑块的ct值一般均大于130。
86.这里,基于所述三维二值医学图像进行连通域构建时,具体可以采用skimage的连通域函数构建多连通域,这样,可构建出出至少一个连通域,一般情况下,可构建出多个连通域。其中,构建出的每个连通域均是疑似斑块存在的区域。
87.这里,在基于阈值法从初始钙化区域中筛选出目标钙化区域,实际上是将一些疑似钙化区域但并非为钙化区域的连通域删除,尽可能的只保留钙化斑块存在的区域。
88.在本技术提供的另一种实施方式中,所述基于阈值法,从所述至少一个初始钙化区域中筛选出符合阈值要求的至少一个初始钙化区域,并将筛选出的初始钙化区域确定为目标钙化区域,包括:将体积小于第一体积阈值、面积大于第一面积阈值以及体素数量大于第一数量的初始钙化区域确定为目标钙化区域。
89.所述第一体积阈值、所述第一面积阈值以及所述第一数量是根据实际情况预先确定好的。通常将体积大于1000mm3或面积小于1mm2或者小于3个体素点的区域均不被认作是钙化斑块存在的区域。这样,借助面积阈值、体积阈值来过滤掉体积过大和或面积过小的非钙化斑块区域。
90.这里,筛选得到的目标钙化区域也是连通域,目标钙化区域的边界框也就是对应连通域的边界框。
91.s103、将从所述初始三维医学图像中识别出的每个目标区域图像和每个目标区域图像的位置信息输入预先构建好的第一冠脉分类模型中,确定所述初始三维医学图像中每个目标区域图像中冠脉血管的类别。
92.这里,所述第一冠脉分类模型的输入特征是由目标区域图像和目标区域图像在所述初始三维医学图像中位置信息构成的,这样,所述第一冠脉分类模型处理的是平扫ct的连通域,而不是一整张平扫ct图像。
93.所述第一冠脉分类模型是基于添加有图像自注意力senet的resnet构建成的,自注意力机制的引入,令特征权重重新赋值,使得模型更专注在感兴趣的主要冠脉血管类别
上。
94.所述冠脉血管的类别包括:左前降支lad、右冠状动脉rca、左回旋支lcx、左主干lm以及分支血管。其中,将除左前降支lad、右冠状动脉rca、左回旋支lcx以及左主干lm以外的冠脉血管均称为分支血管。
95.其中,在通过第一冠脉分类模型确定每个目标区域图像中冠脉血管的类别,也就是确定钙化斑块存在那支血管中时,具体地说,首先将感兴趣连通域(目标区域图像)和其坐标信息(位置信息)构建成的高维张量作为第一分类模型的输入以学习抽取带着位置信息的抽象特征。然后将抽象特征压缩来获取全局的感受野信息,并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布,而且使得靠近输入的层也可以获得全局的感受野。其次是抓取操作,它是一个类似于循环神经网络中门的机制。通过权重参数来为每个特征通道生成权重,其中权重参数被学习用来显式地建模特征通道间的相关性。最后是一个权重重新赋值的操作,我们将提取的输出的权重看做是经过特征选择后的每个特征通道的权重,然后通过乘法逐通道加权到先前的特征上,完成在通道维度上的对原始特征的重标定。最后通过全连接层输出冠脉血管的类别预测。
96.需要说明的是,所述第一冠脉分类是用于对平扫ct图像中的局部特征进行识别。
97.s104、将所述初始三维医学图像输入至预先构建好的第二冠脉分类模型中,确定所述初始三维医学图像包括的钙化斑块的钙化预测区域、每个钙化预测区域在所述初始三维医学图像中的位置信息,以及所对应的冠脉血管的类别。
98.这里,所述第二冠脉分类模型的输入特征是整张图像,故所述第二冠脉分类模型是用于对平扫ct图像中的全局特征进行识别。
99.所述第二冠脉分类模型包括三个部分:backbone部分,neck部分和prediction部分。并且在所述第二冠脉分类模型中引入了spp结构。
100.其中,backbone部分是以darknet为主体,其结构类似于resnet,堆叠了多个残差模块,其主要是为了提取更有效的特征图。整个darknet是一个全卷积网络,大量使用残差的跳层连接,同时通过改变卷积核的步长来实现降采样以降低池化带来的梯度负面效果。残差连接强化了平扫ct钙化斑块的细节特征,使得backbone模块能更好的学习钙化斑块的上下文和纹理信息。
101.neck部分采用的是基于fpn的改进版本panet,fpn主要方法是自顶向下对浅层大尺度特征图进行下采样与深层特征图进行特征融合,输出多个不同尺度的特征图进行预测,panet在此基础之上增加了对深层特征图的上采样操作,将深层小尺度特征图上采样后拼接在一起,提出了一种自顶向下 自底向上的特征融合方式。这种类似于金字塔的结构更能适应于不同大小的钙化斑块,以建立像素级别的连接,通过钙化斑块全局的和局部的信息构建起不同尺度的斑块特征间的依赖性。panet可以被看作一个多尺度输入多尺度输出的编码器。它对网络性能影响最大的主要有两个方面:(1)多尺度特征融合;(2)分而治之:简而言之就是输出多个不同尺度具有不同感受野特征图。
102.neck部分和prediction部分的衔接处采用的是插入spp结构的卷积集,spp结构实现了不同尺度的特征融合。不同尺度特征的学习更好的强化网络获取不同尺度大小的钙化斑块的感受野的能力,最后将三种池化后的张量按通道拼接。为了保证拼接时每个分支的张量大小相同,在进行最大池化时要进行不同程度的填充。示例的,请参阅图2,图2为本申
请提供的spp结构的示意图。
103.所述prediction部分是一种解码器结构,它的主要结构是一个conv bn act模块与一个卷积核大小为1
×1×
1卷积分类层,用1
×1×
1卷积代替全连接层进行分类的主要原因有两点:(1)全连接层输入尺度被限定,而卷积层只用限定输入和输出通道数;(2)全连接层输出是一维或二维,特征图输入到全连接层时需要对其进行滤波,这样在一定程度上破环了特征图的空间信息。而卷积层输出为四维(c,z,x,y),其中c为置信度,xyz分别为在xyz轴上的中心点坐标,选择卷积层作为解码器,极大保留了特征图上对应原图的空间结构信息。
104.需要说明的是,第一冠脉分类模型和第二冠脉分类模型是同步进行的,但是两者有着不同的输入形式,第二冠脉分类模型的输入是整张平扫ct,模型的表达能力更体现在全局信息上。基于自注意力机制的第一冠脉分类模型是以单张平扫ct的单连通域及其位置信息来预测冠脉血管的类别的,更多的在局部信息上来学习类别特征。
105.s105、通过所述第一冠脉分类模型和所述第二冠脉分类模型识别出的具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域,将所述具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域在所述初始三维医学图像中进行标注,得到目标三维医学图像。
106.需要说明的是,第一冠脉分类模型用于从局部特征对平扫ct图像中的钙化斑块进行第一次识别,输入一组识别结果;而第二冠脉分类模型用于从全局特征同步对平扫ct图像中的钙化斑块进行第二次识别,输入一组识别结果。
107.这里,所确定的目标三维医学图像,是基于逻辑与的思想,将两个冠脉分类模型均识别为真(具有相同位置信息和相同类别的冠脉血管)的区域(钙化斑块存在的区域)在所述初始三维医学图像进行标注得到的。
108.这样,所述目标三维医学图像中标注的区域为最终进行钙化积分计算的区域,并且每个区域对应的冠脉血管的类别也可以确定出。
109.s106、根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分。
110.在本技术提供的一种实施方式中,所述根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分,包括:分别计算每支所述冠脉血管在每层切片中的钙化斑块区域的agaston积分、体积积分以及质量积分;将每支所述冠脉血管在各层切片中的agaston积分、体积积分以及质量积分对应相加,得到每支所述冠脉血管的agaston积分、体积积分以及质量积分;将每支所述冠脉血管的agaston积分、体积积分、质量积分分别相加,得到所述冠状动脉钙化总积分。
111.这里,首先计算冠脉血管lm、lad、lcx、rca及分支血管在每层切片中的钙化区域的agaston积分、体积积分以及质量积分;然后,分别将冠脉血管lm、lad、lcx、rca及分支血管在每层切片中的钙化区域的agaston积分、体积积分以及质量积分相加,得到冠脉血管lm、lad、lcx、rca及分支血管的agaston积分、体积积分以及质量积分;最后,将冠脉血管lm、lad、lcx、lcx、rca及分支血管的agaston积分、体积积分以及质量积分分别相加,得到冠状动脉钙化总积分。其中,冠状动脉钙化总积分中包括三类积分:agaston积分、体积积分以及质量积分。
112.示例的,请参阅图3,图3为本技术提供的冠状动脉钙化积分的计算方法的技术架构示意图。如图3所示,本方案的计算过程可简单概括为:首先,对目标三维冠脉平扫ct图像的心脏区域分割;然后,将分割后心脏平扫ct同步实现基于局部特征的分类任务和全局特征的分类任务;最后,以与门的逻辑来确定斑块的归属,并计算agaston积分、质量积分和体积积分,至此完成了自动计算钙化积分的闭环。
113.这样,本技术通过基于混合损失函数训练得到的图像分割模型,提高了心脏区域图像分割的效率和准确率,并通过两种冠脉分类模型实现了对心脏区域的三维图像的局部特征和全局特征的综合识别,从而提高了钙化区域以及冠脉血管类别识别结果的准确性,进而提高了钙化积分计算结果的准确度。
114.请参阅图4、图5,图4为本技术实施例所提供的一种冠状动脉钙化积分的计算装置的结构示意图之一;图5为本技术实施例所提供的一种冠状动脉钙化积分的计算装置的结构示意图之二。如图4中所示,所述计算装置400包括:
115.分割模块410,用于将获取到的目标患者的目标三维冠脉平扫ct图像输入至预先训练好的图像分割模型中进行图像分割,获取所述目标患者心脏区域处的初始三维医学图像;
116.识别模块420,用于对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所述初始三维医学图像中的位置信息;
117.第一确定模块430,用于将从所述初始三维医学图像中识别出的每个目标区域图像和每个目标区域图像的位置信息输入预先构建好的第一冠脉分类模型中,确定所述初始三维医学图像中每个目标区域图像中冠脉血管的类别;
118.第二确定模块440,用于将所述初始三维医学图像输入至预先构建好的第二冠脉分类模型中,确定所述初始三维医学图像包括的钙化斑块的钙化预测区域、每个钙化预测区域在所述初始三维医学图像中的位置信息,以及所对应的冠脉血管的类别;
119.标注模块450,用于通过所述第一冠脉分类模型和所述第二冠脉分类模型识别出的具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域,将所述具有相同位置信息和相同类别的冠脉血管的钙化斑块的区域在所述初始三维医学图像中进行标注,得到目标三维医学图像;
120.计算模块460,用于根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分。
121.可选的,如图5所示,所述计算装置400还包括模型构建模块470,所述模型构建模块470用于:
122.获取多张待训练三维冠脉平扫ct图像;其中,预先对每张待训练三维冠脉平扫ct图像中的心脏区域进行分割,确定每张待训练三维冠脉平扫ct图像中的心脏区域的真实分割结果;
123.将所述多张待训练三维冠脉平扫ct图像输入至分割神经网络中,确定每张待训练三维冠脉平扫ct图像的预测分割结果;其中,所述分割神经网络是基于3d-u-net构建的;
124.分别使用每张待训练三维冠脉平扫ct图像的预测分割结果和该待训练三维冠脉平扫ct图像的真实分割结果进行对比计算,确定混合损失函数的数值;
125.根据所述混合损失函数的数值,采用反向梯度传播算法对所述分割神经网络进行迭代训练,得到所述图像分割模型。
126.可选的,所述识别模块420在用于对所述初始三维医学图像中的钙化斑块的区域进行识别,确定出至少一个钙化斑块对应的目标区域图像以及每个目标区域图像在所述初始三维医学图像中的位置信息时,所述识别模块420用于:
127.根据预设ct阈值,对所述初始三维医学图像进行二值化处理,生成三维二值医学图像;所述三维二值医学图像用于确定冠状动脉中的疑似钙化斑块的区域;
128.基于所述三维二值医学图像进行连通域构建,并将构建出的每个连通域确定为所述三维二值医学图像中包括的疑似钙化斑块的区域,确定出至少一个初始钙化区域;
129.基于阈值法,从所述至少一个初始钙化区域中筛选出符合阈值要求的至少一个初始钙化区域,并将筛选出的初始钙化区域确定为目标钙化区域,得到至少一个目标钙化区域;
130.针对每个目标钙化区域,根据该目标钙化区域的边界框的数值,从所述初始三维医学图像中裁剪出相应大小的目标区域图像,并确定裁剪出的每个目标区域图像在所述初始三维医学图像中的位置信息。
131.可选的,所述计算模块460在用于根据所述目标三维医学图像中标注的钙化斑块区域,进行钙化积分计算,得到冠状动脉钙化总积分时,所述计算模块460用于:
132.分别计算每支所述冠脉血管在每层切片中的钙化斑块区域的agaston积分、体积积分以及质量积分;
133.将每支所述冠脉血管在各层切片中的agaston积分、体积积分以及质量积分对应相加,得到每支所述冠脉血管的agaston积分、体积积分以及质量积分;
134.将每支所述冠脉血管的agaston积分、体积积分、质量积分分别相加,得到所述冠状动脉钙化总积分。
135.可选的,所述识别模块420在用于基于阈值法,从所述至少一个初始钙化区域中筛选出符合阈值要求的至少一个初始钙化区域,并将筛选出的初始钙化区域确定为目标钙化区域时,所述识别模块420用于:
136.将体积小于第一体积阈值、面积大于第一面积阈值以及体素数量大于第一数量的初始钙化区域确定为目标钙化区域。
137.可选的,所述混合损失函数包括交叉熵损失函数、结构相似性损失函数以及iou损失函数。
138.可选的,所述冠脉血管的类别包括:左前降支、右冠状动脉、左回旋支、左主干以及分支血管。
139.可选的,所述第二冠脉分类模型包括三个部分:backbone部分,neck部分和prediction部分。
140.请参阅图6,图6为本技术实施例所提供的一种电子设备的结构示意图。如图6中所示,所述电子设备600包括处理器610、存储器620和总线630。
141.所述存储器620存储有所述处理器610可执行的机器可读指令,当电子设备600运行时,所述处理器610与所述存储器620之间通过总线630通信,所述机器可读指令被所述处理器610执行时,可以执行如上述图1至图3所示方法实施例中的步骤,具体实现方式可参见
方法实施例,在此不再赘述。
142.本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1至图3所示方法实施例中的步骤,具体实现方式可参见方法实施例,在此不再赘述。
143.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
144.在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
145.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
146.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
147.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
148.最后应说明的是:以上所述实施例,仅为本技术的具体实施方式,用以说明本技术的技术方案,而非对其限制,本技术的保护范围并不局限于此,尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献