基于深度神经网络和模型先验的3D心脏形状重建方法

隐空间采样，对参数回归网络的训练集增强；
13.步骤s3、构建参数回归网络，使用步骤s2中生成的参数回归网络的训练集训练参 数回归网络；
14.步骤s4、从三维模型集生成分割网络的训练集，构建分割网络，使用分割网络的训 练集训练分割网络；
15.步骤s5、将步骤s4中经过训练的分割网络与步骤s3中经过训练的参数回归网络 连接构成联合网络，对联合网络进行训练；
16.步骤s6、用训练好的联合网络执行三维重建任务。
17.进一步地，步骤s1的具体步骤为：
18.1-1、对每个原始ct三维体积沿横断面法线方向进行切片，得到一系列二维图像， 并对每张二维图像中的左心室进行分割，获得二维图像的掩膜；
19.1-2、将一系列二维图像的掩膜堆叠构成掩膜体积，使用marching cubes算法生成分 割区域的表面网格，并进行平滑操作，得到心脏三维模型；
20.1-3、对所获得的所有三维模型依次执行刚性配准，非刚性配准，使得所有的三维模 型的空间分布相近、拓扑结构一致；
21.1-4、对所有的三维模型使用主成分分析，获得各个三维模型的参数，进而产生低维 的参数隐空间；
22.其中，三维模型集由原始ct三维体积、掩膜体积、三维模型和三维模型的参数构成。
23.进一步地，步骤s2的具体步骤为：
24.2-1、在均值模型上手工确定5个关键点用于决定切平面位置，从而获得对应的5个 顶点索引，因为由参数获得的三维模型之间顶点是一一对应的，任意三维模型的关键点 就能根据顶点索引直接确定；
25.2-2、参数回归网络的训练集的数据为由步骤2-1获得的关键点对三维模型集中的三 维模型切片，所获得的三维模型的一组切片掩膜，对应的标签为三维模型的参数；
26.2-3、对三维模型集的参数分布进行分析，并以每个样本的参数为中心进行高斯采样， 从而获得与样本不同的参数；从获得的参数生成三维模型，由步骤2-1获得的关键点对 三维模型切片，获得三维模型的一组切片掩膜；将切片掩膜和三维模型的参数加入到由 步骤2-2获得的参数回归网络的训练集中，从而对参数回归网络的训练集增强。
27.进一步地，其具体步骤为：
28.3-1、对于已知三维模型，将获得的5个关键点分别标记为a、b、c、d、e；
29.3-2、心脏的短轴视图平面序列，由以a、b连线为法线，经过ab连线上具有间隔 的点的10张平面构成，使用这10张平面对三维模型截面生成10张切片掩膜；
30.3-3、心脏的长轴二腔心视图平面，定义为经过a、b、c三点构成的平面，使用该 平面对三维模型截面生成1张切片掩膜；
31.3-4、心脏的长轴三腔心视图平面，定义为经过a、b、d三点构成的平面，使用该 平面对三维模型截面生成1张切片掩膜；
32.3-5、心脏的长轴四腔心视图平面，定义为经过a、b、e三点构成的平面，使用该平 面对三维模型截面生成1张切片掩膜；
33.通过上述方式，每个三维模型可以获得一组共13张切片掩膜。
34.进一步地，步骤s3中所述参数回归网络由4个下采样模块与3个全连接层构成，每 个下采样模块由两个3
×
3卷积层、两个relu激活函数和一个2
×
2池化层组成；网络 的输入是一组13张尺寸为192
×
192的切片掩膜，输出是k维的参数向量。
35.进一步地，步骤s3中所述参数回归网络的损失函数：
[0036][0037]
权重wi与特征向量的方差比正相关，αi是模型参数在第i维的真实值，是模型 参数在第i维的预测值。
[0038]
进一步地，步骤s4中所述生成分割网络的训练集的具体方法是，对于三维模型集中 每个原始ct三维体积和其对应的掩膜体积，对原始ct三维体积切片，获得视图图像 及其对应的切片掩膜；所生成的分割网络的训练集，数据为由一个原始ct三维体积获 得的13张视图图像，对应的标签为13张切片掩膜。
[0039]
进一步地，所述获得视图图像及其对应的切片掩膜，具体步骤为：
[0040]
4-1、在原始ct三维体积的横断面视图上定位左心室心尖与二尖瓣的中点，然后沿 着这条线扫描，获得长轴二腔心视图图像，再对掩膜体积进行同样的操作获得切片掩膜；
[0041]
4-2、在长轴二腔心视图平面上，扫描连接二尖瓣中点和左心室心尖的线，获得长轴 四腔心视图图像和其切片掩膜，再对掩膜体积进行同样的操作获得切片掩膜；
[0042]
4-3、以长轴四腔心视图平面为参考平面，沿左心室长轴方向连续垂直扫描，得到一 系列图像组成视图序列图像，再对掩膜体积进行同样的操作获得切片掩膜；
[0043]
4-4、在基底短轴视图平面上，扫描连接主动脉瓣中点和左心室中点的线，获得长轴 三腔心视图图像和其切片掩膜，再对掩膜体积进行同样的操作获得切片掩膜；
[0044]
通过上述方式，每个原始ct三维体积可以获得一组共13张视图图像和对应的切片 掩膜。
[0045]
进一步地，步骤s5中所述联合网络的总损失为：
[0046]
l
joint
＝λ
·
l
seg
μ
·
l
seg
[0047]
其中l
seg
是分割损失，l
seg
是参数回归损失,λ和μ是它们各自的权重。
[0048]
联合网络的训练集，数据为由三维模型集中一个原始ct三维体积获得的13张视图 图像，对应的标签为13张切片掩膜和三维模型的参数。
[0049]
根据权利要求1所述的一种基于端到端深度神经网络和模型先验的3d心脏形状重 建方法，其特征在于，在所述步骤s6中，从任意一个原始ct三维体积获得的13张视 图图像，将它们送入分割网络，获得13张切片掩膜，再将它们输入到参数回归网络， 预测三维模型的参数，最后由参数生成三维模型。
[0050]
与最接近的现有技术相比，本方面提供的技术方案具有的有益效果是：
[0051]
本发明提出了一种新颖的基于端到端的深度学习网络，利用深度学习的端到端方法 的优势，使得推理过程高效快速；
[0052]
本发明通过构建参数模型，加入了模型先验，使得结果符合真实，更加合理；
[0053]
本发明提出了一种联合优化架构，由分割网络和参数回归网络构成，通过分割任
务 的辅助，来获得个性化的模型参数，而参数回归损失的加入，相当于在分割中加入了模 型的解剖先验信息，从而使得分割结果更合理；
[0054]
针对训练数据规模小的问题，本发明提出了一种数据增强方法，从大量合成数据的 训练中提升参数估计网络的泛化性能。
附图说明
[0055]
图1为本发明提供的一种基于端到端深度神经网络和模型先验的3d心脏形状重建 方法流程图；
[0056]
图2为本发明提供一种基于端到端深度神经网络和模型先验的3d心脏形状重建方 法框架图，其中(a)是参数模型构建，(b)是参数回归网络预训练阶段，(c)是联合网络训 练阶段；
[0057]
图3为本发明中各个切片位置与左心室三维模型的相对位置关系示意图；
[0058]
图4为使用本发明得到的部分分割结果图，图4中(a)(b)分别代表一个例子，每个 例子中第一行为原图，第二行为真值掩膜，第三行为本方法生成的掩膜；
[0059]
图5为使用本方法得到的部分三维重建结果图，图5中(a)(b)(c)(d)(e)(f)分别代表 一个例子，每个例子中第一行为三维模型，第二行为误差图。
具体实施方式
[0060]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中 的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例 是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技 术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。
[0061]
实施例一
[0062]
图1为本发明提供的一种基于端到端深度神经网络和模型先验的3d心脏形状重建 方法流程图，下面参照图1，详细说明个步骤。
[0063]
步骤s110、从原始ct构建心脏的三维模型集，执行主成分分析从而产生低维的参 数隐空间。
[0064]
在本实施例中，所获取的心脏原始ct图像的样本集包含多个三维体积，对每个三 维体积沿横断面法线方向进行切片，得到一系列二维图像，并对每张二维图像中的左心 室进行分割。
[0065]
将二维图像的掩膜堆叠获得掩膜体积，使用marching cubes算法生成分割区域的表 面网格，并进行平滑操作，得到左心室的三维模型。
[0066]
假设左心室的三维模型的集合有m个模型，不同的模型有不同 的顶点数量。参数化模型主要由参数决定。只要得到参数，就可以重建心脏模型。
[0067]
首先使用迭代最近点(icp)算法将每个三维模型与模板进行刚性配准，并将模板 通过非刚性配准变形到每个三维模型上，使得所有三维模型的空间分布相近、拓扑结构 一致。从而获得一组三维模型并且其中n是模 板的顶点数。
[0068]
三维模型的集合构建完成后，通过统计分析可以得到其参数隐空间。我们使用主成 分分析(pca)在刚刚通过配准获得的集合上构造模型的参数。将形状si映射到向量 从而获得s
map
＝[s1,s2,
…
,sm]和平均形状通过协方差矩阵的奇异值分解(svd)得到由参数获得三维形状的公式如 下：
[0069][0070]
其中α表示属于参数隐空间的参数，k是参数隐空间的维数。
[0071]
在本实施例中，m取150，m取8000，k取50。
[0072]
所构建的三维模型集由原始ct三维体积、掩膜体积、三维模型和三维模型的参数 构成。
[0073]
步骤s120、从三维模型集生成参数回归网络的训练集，对基于步骤s110中得到的 参数隐空间采样，对参数回归网络的训练集增强。
[0074]
本方法中参数回归网络采用的训练集通过如下方式生成：
[0075]
影像科医师根据经验，在均值模型上手工确定了决定切平面位置的5个关键点，因 为由参数获得的三维模型之间顶点是一一对应的，任意三维模型的关键点就能根据顶点 索引直接确定。对于每个三维模型，由获得的关键点(标记为a、b、c、d、e)对其 在特定平面上进行切片，获得三维模型的一组切片掩膜。各个切片位置与左心室三维模 型的相对位置关系示意图如图3所示。获得三维模型的一组切片掩膜的方法为：
[0076]
1)心脏的短轴视图平面序列，由以a、b连线为法线，经过ab连线上具有间隔 的点的10张平面构成，使用这10张平面对三维模型截面生成10张切片掩膜；
[0077]
2)心脏的长轴二腔心视图平面，定义为经过a、b、c三点构成的平面，使用该平 面对三维模型截面生成1张切片掩膜；
[0078]
3)心脏的长轴三腔心视图平面，定义为经过a、b、d三点构成的平面，使用该 平面对三维模型截面生成1张切片掩膜；
[0079]
4)心脏的长轴四腔心视图平面，定义为经过a、b、e三点构成的平面，使用该平 面对三维模型截面生成1张切片掩膜。
[0080]
通过上述方式，每个三维模型可以获得一组共13张切片掩膜。
[0081]
通过上述实施方式，我们可以获得参数回归网络的训练集，数据为由对三维模型集 中一个三维模型切片获得的13张切片掩膜，对应的标签为生成这个三维模型的参数。
[0082]
本方法中对参数回归网络的训练集通过如下方式进行增强：
[0083]
对三维模型集的参数分布进行分析，并以每个样本的参数为中心进行高斯采样，从 而获得与样本不同的参数；从获得的参数生成三维模型，由步骤2-1获得的关键点对三 维模型切片，获得三维模型的一组切片掩膜；将切片掩膜和三维模型的参数加入到由步 骤2-2获得的参数回归网络的训练集中，从而对参数回归网络的训练集增强。
[0084]
步骤s130、构建参数回归网络，使用步骤s120中生成的参数回归网络的训练集训 练参数回归网络。
[0085]
参数回归网络由4个下采样模块与3个全连接层构成，每个下采样模块由两个3
×
3 卷积层、两个relu激活函数和一个2
×
2池化层组成。网络的输入是13张尺寸为192
×ꢀ×
192的切片掩膜，输出是k维的参数向量。
[0086]
进一步的，考虑到模型参数是通过pca运算生成的，方差贡献较大的特征向量对 应的系数更重要，能更好地反映模型的拓扑结构。因此，我们使用加权二范数函数作为 回归网络的损失函数：
[0087][0088]
权重wi与特征向量的方差比正相关，αi是模型参数在第i维的真实值，是模型 参数在第i维的预测值。
[0089]
步骤s140、从三维模型集生成分割网络的训练集，构建分割网络，使用分割网络的 训练集训练分割网络。
[0090]
本方法中分割网络采用的训练集通过如下步骤生成：
[0091]
1)在原始ct三维体积的横断面视图上定位左心室心尖与二尖瓣的中点，然后沿 着这条线扫描，获得长轴二腔心视图图像，再对掩膜体积进行同样的操作获得 切片掩膜；
[0092]
2)在长轴二腔心视图平面上，扫描连接二尖瓣中点和左心室心尖的线，获得长轴 四腔心视图图像和其切片掩膜，再对掩膜体积进行同样的操作获得切片掩膜；
[0093]
3)以长轴四腔心视图平面为参考平面，沿左心室长轴方向连续垂直扫描，得到一 系列图像组成视图序列图像，再对掩膜体积进行同样的操作获得切片掩膜；
[0094]
4)在基底短轴视图平面上，扫描连接主动脉瓣中点和左心室中点的线，获得长轴 三腔心视图图像和其切片掩膜，再对掩膜体积进行同样的操作获得切片掩膜；
[0095]
通过上述实施方式，可以得到共13个视图图像和其切片掩膜，每个视图图像中像 素的值由原始ct体积经过三线性插值获得。
[0096]
通过上述实施方式，可以获得分割网络的训练集，数据为由三维模型集中一个原始 ct三维体积获得的13张视图图像，对应的标签为13张切片掩膜。
[0097]
作为优选，分割网络为unet网络，由下采样路径、上采样路径和跳跃连接组成。 下采样路径由4个下采样模块构成，每个下采样模块由两个3x3卷积层、两个relu激 活函数和一个2x2池化层组成。上采样路径由4个上采样模块构成，每个上采样模块由 两个3x3卷积层、两个relu激活函数和一个双线性插值函数组成。将下采样阶段产生 的特征图与同层上采样阶段产生的特征图通过跳跃连接结合。网络的输入是13张尺寸 为192
×
192的图像，输出是13张尺寸为192
×
192的切片掩膜。损失函数为：
[0098][0099]
其中，yi表示像素i的标签，p(yi)是预测为正类的概率。
[0100]
步骤s150、将步骤s140中经过训练的分割网络与步骤s130中经过训练的参数回 归网络连接构成联合网络，对联合网络进行训练。
[0101]
本方法中联合网络采用的训练集，数据为由三维模型集中一个原始ct三维体积获 得的13张视图图像，对应的标签为13张切片掩膜和三维模型的参数。
[0102]
联合网络的总损失为：
[0103]
l
joint
＝λ
·
l
seg
μ
·
l
seg
[0104]
其中l
seg
是分割损失，l
seg
是参数回归损失,λ和μ是它们各自的权重。步骤s160、 用训练好的联合网络执行三维重建任务。
[0105]
从任意一个原始ct三维体积获得的13张视图图像，经过分割网络，获得13张切 片掩膜，再将其输入到参数回归网络，预测三维模型的参数，最后由参数生成三维模型， 过程如图2(c)所示。
[0106]
通过上述实施方式，我们可以由原始ct体积获得对应的三维模型。本发明的部分 分割输出结果如图4所示，部分重建输出结果如图5所示。
[0107]
本发明未详述之处，均为本领域技术人员的公知技术。
[0108]
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上 技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说， 在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本 发明的保护范围。