2D/3D冠状动脉自动配准方法、系统及介质与流程

2d/3d冠状动脉自动配准方法、系统及介质
技术领域
1.本发明涉及医学领域，具体地，涉及一种2d/3d冠状动脉自动配准方法、系统及介质，更为详细的，涉及基于双流特征提取与角位移预测深度神经网络的2d/3d冠状动脉自动配准方法。


背景技术：

2.在pci(经皮冠状动脉介入)手术中，通常采用术中xca造影图像作为引导图像，它具有动态实时、无伪影、解剖结构清晰等优势。但其本质为二维投影图像，损失了空间三维结构信息，存在着较为严重的组织重叠现象，故难以直观地引导医生进行导丝行进、支架放置等一系列复杂操作。而术前cta作为一种三维重建成像方式，能立体地呈现冠状动脉的整体结构及走形，因此将术前cta影像包含的三维信息融入术中，能够弥补xca造影的先天不足，为pci手术提供更为直观、完整、实时的三维冠脉结构图像作为引导，极大提高手术的效率以及精度。
3.2d/3d冠状动脉图像配准具有重要临床意义，文献检索发现，已有一系列技术发表。groher等人在论文《deformable 2d-3d registration of vascular structures in a one view scenario》中通过gold and rangarajan方法建立点对间的软对应关系，将欧氏距离作为目标优化项，使用了bfgs优化器来控制优化过程，避免陷入全局最小值。
4.serradell等人在论文《simultaneous correspondence and non-rigid 3d reconstruction of the coronary tree from single x-ray images》中首先通过k聚类的方法对三维空间以及二维空间的点分别进行采样，结合距离与方向两种信息建立点之间的对应关系，使用hungarian算法进行匹配。再利用弱先验知识，对已有三维结构加入高斯扰动，产生一系列基样本，将高维的形变场预测转化为对基样本的权重预测，压缩了预测参数量，加速了迭代优化的进程。
5.liu等人在论文《a 3d/2d registration of the coronary arteries based on tree topology consistency matching》中考虑了冠状动脉的树状结构与血管分级对应关系，在去除伪分叉点的基础上，对于每个真实分叉点，严格将其上游血管与下游分支血管对齐，由此构建全局匹配，避免错误优化。使用薄板样条形变来控制运动，优化对应点间的欧氏距离。
6.baka等人在论文《oriented gaussian mixture models for nonrigid 2d/3d coronary artery registration》中将三维空间与二维空间的中心线点集看作两个独立的高斯分布模型，将两者进行配准，即要两个高斯分布尽可能接近，于是可以构建高斯混合模型，并优化参数使l2距离最小。上述方法都基于迭代优化思想，总体算法较为复杂，预测参数量大，优化过程缓慢，且容易出现不收敛或陷入局部极小值的情况，鲁棒性仍待提高。目前，仍然没有一个配准效果好，运行速度快的方法。


技术实现要素：

7.针对现有技术中的缺陷，本发明的目的是提供一种2d/3d冠状动脉自动配准方法、系统及介质。
8.根据本发明提供的一种2d/3d冠状动脉自动配准方法，包括如下步骤：
9.预处理步骤：对病人的术前三维cta影像与对应的术中二维xca影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
10.双流特征提取步骤：将三维cta影像对应的3d血管中心线结构、二维xca影像对应的2d血管中心线结构分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合，形成双流特征；
11.角位移预测步骤：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
12.优选地，所述预处理步骤包括：
13.cta影像训练步骤：随机选取cta影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3d u-net；
14.cta处理步骤：利用训练好的3d u-net，对新数据的cta进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的cta中心线进行进一步的平滑；
15.xca影像训练步骤：随机选取xca影像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2d u-net；
16.xca处理步骤：利用训练好的2d u-net，对新数据的xca进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的xca中心线进行进一步的平滑。
17.优选地，所述双流特征提取步骤包括：
18.cta坐标表示步骤：cta血管段中心线表示为一系列连续点的集合c＝{a1，...，an}，其中an＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息a1与形态信息{a
2-a1，...，a
n-a
n-1
}，其中形态用相邻两点间的偏移量构成的集合表示；
19.xca坐标表示步骤：xca血管段中心线表示为一系列连续点的集合x＝{b1，...，bn}，其中bn＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息b1与形态信息{b
2-b1，...，b
n-b
n-1
}，其中形态用相邻两点间的偏移量构成的集合表示；
20.cta特征融合步骤：将维度为n
×3×
1的cta中心线起点信息集合输入cta起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为n
×m×
1的cta起点特征；将维度为n
×3×
(n-1)的cta中心线形态信息集合输入cta形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为n
×m×
(n-1)的cta形态特征；最后将n
×m×
1的起点特征沿着最后一维复制为n
×m×
(n-1)，与形态特征相加进行特征融合；
21.xca特征融合步骤：将维度为n
×2×
1的xca中心线起点信息集合输入xca起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为n
×m×
1的xca起点特征；将维度为n
×2×
(n-1)的xca中心线形态信息集合输入xca形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为n
×m×
(n-1)的xca形态特征；最后将n
×m×
1的起点特征沿着最后一维复制为n
×m×
(n-1)，与形态特征相加进行特征融合；
22.拼接融合步骤：将cta特征与xca特征进行通道维度的拼接，得到维度为n
×
2m
×
(n-1)的跨模态融合特征。
23.优选地，所述角位移预测步骤包括：
24.角度偏移输出步骤：将融合了cta与xca信息的跨模态融合特征输入角位移预测网络；角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
25.形态还原步骤：根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
[0026][0027][0028][0029]
其中，θ与为空间中两个角度的变化量，r为相邻两点的距离；训练阶段建立一个高斯混合模型来度量两个点集的相似性：
[0030][0031]
其中，l
gmm
表示误差，p
cta
表示cta点集，p
xca
表示xca点集，σ表示平滑参数。
[0032]
根据本发明提供的一种2d/3d冠状动脉自动配准系统，包括如下模块：
[0033]
预处理模块：对病人的术前三维cta影像与对应的术中二维xca影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
[0034]
双流特征提取模块：将三维cta影像对应的3d血管中心线结构、二维xca影像对应的2d血管中心线结构分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合，形成双流特征；
[0035]
角位移预测模块：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
[0036]
优选地，所述预处理模块包括：
[0037]
cta影像训练模块：随机选取cta影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3d u-net；
[0038]
cta处理模块：利用训练好的3d u-net，对新数据的cta进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的cta中心线进行进一步的平滑；
[0039]
xca影像训练模块：随机选取xca影像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2d u-net；
[0040]
xca处理模块：利用训练好的2d u-net，对新数据的xca进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的xca中心线进行进一步的平滑。
[0041]
优选地，所述双流特征提取模块包括：
[0042]
cta坐标表示模块：cta血管段中心线表示为一系列连续点的集合c＝{a1，...，an}，其中an＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息a1与形态信息{a
2-a1，...，a
n-a
n-1
}，其中形态用相邻两点间的偏移量构成的集合表示；
[0043]
xca坐标表示模块：xca血管段中心线表示为一系列连续点的集合x＝{b1，...，bn}，其中bn＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息b1与形态信息{b
2-b1，...，b
n-b
n-1
}，其中形态用相邻两点间的偏移量构成的集合表示；
[0044]
cta特征融合模块：将维度为n
×3×
1的cta中心线起点信息集合输入cta起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为n
×m×
1的cta起点特征；将维度为n
×3×
(n-1)的cta中心线形态信息集合输入cta形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为n
×m×
(n-1)的cta形态特征；最后将n
×m×
1的起点特征沿着最后一维复制为n
×m×
(n-1)，与形态特征相加进行特征融合；
[0045]
xca特征融合模块：将维度为n
×2×
1的xca中心线起点信息集合输入xca起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为n
×m×
1的xca起点特征；将维度为n
×2×
(n-1)的xca中心线形态信息集合输入xca形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为n
×m×
(n-1)的xca形态特征；最后将n
×m×
1的起点特征沿着最后一维复制为n
×m×
(n-1)，与形态特征相加进行特征融合；
[0046]
拼接融合模块：将cta特征与xca特征进行通道维度的拼接，得到维度为n
×
2m
×
(n-1)的跨模态融合特征。
[0047]
优选地，所述角位移预测模块包括：
[0048]
角度偏移输出模块：将融合了cta与xca信息的跨模态融合特征输入角位移预测网络；角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
[0049]
形态还原模块：根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
[0050][0051][0052][0053]
其中，θ与为空间中两个角度的变化量，r为相邻两点的距离；训练阶段建立一个高斯混合模型来度量两个点集的相似性：
[0054][0055]
其中，l
gmm
表示误差，p
cta
表示cta点集，p
xca
表示xca点集，σ表示平滑参数。
[0056]
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0057]
与现有技术相比，本发明具有如下的有益效果：
[0058]
1、本发明具有稳定可靠、运算效率高、结果精确等优点。
[0059]
2、本发明利用基于深度学习的2d/3d冠状动脉配准网络，进行形态信息与起点信息的双流特征提取，丰富特征信息，同时进行角位移预测。
[0060]
3、本发明摒弃传统优化函数中复杂的显式长度约束，极大简化网络的训练过程，加速收敛，使配准网络模型更加鲁棒，实现冠状动脉结构的自动快速配准，为pci手术打下了良好的基础。
附图说明
[0061]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0062]
图1为基于双流特征提取与角位移预测深度神经网络的2d/3d冠状动脉自动配准方法流程图。
[0063]
图2为2d/3d冠状动脉配准网络的结构图。
[0064]
图3为配准的效果图。
具体实施方式
[0065]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0066]
如图1至图3所示，本发明针对现有技术存在的不足，提供一种基于双流特征提取与角位移预测深度神经网络的2d/3d冠状动脉自动配准方法，包括以下步骤：
[0067]
步骤1、预处理：对病人的术前三维cta(ct冠状动脉造影)影像与对应的术中二维xca(x光冠状动脉造影)影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
[0068]
步骤2、双流特征提取：将对应的2d/3d血管中心线结构分解为起点信息与形态信息，分别经过起点特征提取支路与形态特征提取支路，由两个信息流动通道进行特征提取与特征融合；
[0069]
步骤3、角位移预测：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
[0070]
进一步地，所述步骤1包括以下步骤：
[0071]
步骤11、随机选取一些ct冠状动脉造影影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3d u-net；
[0072]
步骤12、利用训练好的冠状动脉分割网络3d u-net，对新数据的cta进行分割，在此基础上利用形态学方法进行中心线提取，并利用平滑算法对提取的cta中心线进行进一步的平滑；
[0073]
步骤13、随机选取一些x光冠状动脉造影图像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2d u-net；
[0074]
步骤14、利用训练好的冠状动脉分割网络2d u-net，对新数据的xca进行分割，在此基础上利用形态学方法进行中心线提取，并利用平滑算法对提取的xca中心线进行进一步的平滑。
[0075]
进一步地，所述步骤2包括以下步骤：
[0076]
步骤21、cta血管段中心线可表示为一系列连续点的集合c＝{a1，...，an}，其中an＝(xn，yn，zn)由点在三维空间的欧式坐标表示。可将其分解为起始点信息a1与形态信息{a
2-a1，...，a
n-a
n-1
}，其中形态用相邻两点间的偏移量构成的集合表示；
[0077]
步骤22、xca血管段中心线可表示为一系列连续点的集合x＝{b1，...，bn}，其中b＝(xn，yn，zn)由点在三维空间的欧式坐标表示。可将其分解为起始点信息b1与形态信息{b
2-b1，...，b
n-b
n-1
}，其中形态用相邻两点间的偏移量构成的集合表示；
[0078]
步骤23、将维度为n
×3×
1的cta中心线起点信息集合输入cta起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为n
×m×
1的cta起点特征；将维度为n
×3×
(n-1)的cta中心线形态信息集合输入cta形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为n
×m×
(n-1)的cta形态特征。最后将n
×m×
1的起点特征沿着最后一维复制为n
×m×
(n-1)，与形态特征相加进行特征融合；
[0079]
步骤24、将维度为n
×2×
1的xca中心线起点信息集合输入xca起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为n
×m×
1的xca起点特征；将维度为n
×2×
(n-1)的xca中心线形态信息集合输入xca形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为n
×m×
(n-1)的xca形态特征。最后将n
×m×
1的起点特征沿着最后一维复制为n
×m×
(n-1)，与形态特征相加进行特征融合；
[0080]
步骤25、将cta特征与xca特征进行通道维度的拼接，得到维度为n
×
2m
×
(n-1)的跨模态融合特征。
[0081]
进一步地，所述步骤3包括以下步骤：
[0082]
步骤31、将融合了cta与xca信息的跨模态融合特征输入角位移预测网络。角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
[0083]
步骤32、根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
[0084][0085][0086][0087]
其中，θ与为空间中两个角度的变化量，r为相邻两点的距离。训练阶段建立一个高斯混合模型来度量两个点集的相似性：
[0088][0089]
其中，l
gmm
表示误差，p
cta
表示cta点集，p
xca
表示xca点集，σ表示平滑参数。
[0090]
本发明还提供一种2d/3d冠状动脉自动配准系统，包括如下模块：
[0091]
预处理模块：对病人的术前三维cta影像与对应的术中二维xca影像分别进行血管结构的分割与中心线提取，将包含血管几何拓扑结构信息的中心线作为血管特征；
[0092]
双流特征提取模块：将三维cta影像对应的3d血管中心线结构、二维xca影像对应的2d血管中心线结构分解为起点信息与形态信息，起点信息经过起点特征提取支路，形态信息经过形态特征提取支路，由两个信息流动通道进行特征提取与特征融合，形成双流特征；
[0093]
角位移预测模块：将双流特征输入深度神经网络，预测相邻两点之间的角度偏转作为位移场，据此对术前获取的三维冠状动脉结构进行形变建模，并投影到术中二维影像平面上，完成配准。
[0094]
所述预处理模块包括：
[0095]
cta影像训练模块：随机选取cta影像，进行逐体素的血管标注，基于原图与对应标签，训练用于三维冠状动脉分割的卷积神经网络3d u-net；
[0096]
cta处理模块：利用训练好的3d u-net，对新数据的cta进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的cta中心线进行进一步的平滑；
[0097]
xca影像训练模块：随机选取xca影像，进行逐像素的血管标注，基于原图与对应标签，训练用于二维冠状动脉分割的卷积神经网络2d u-net；
[0098]
xca处理模块：利用训练好的2d u-net，对新数据的xca进行分割，利用形态学方法进行中心线提取，并利用平滑算法对提取的xca中心线进行进一步的平滑。
[0099]
所述双流特征提取模块包括：
[0100]
cta坐标表示模块：cta血管段中心线表示为一系列连续点的集合c＝{a1，...，an}，其中an＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息a1与形态信息{a
2-a1，...，a
n-a
n-1
}，其中形态用相邻两点间的偏移量构成的集合表示；
[0101]
xca坐标表示模块：xca血管段中心线表示为一系列连续点的集合x＝{b1，...，bn}，其中bn＝(xn，yn，zn)由点在三维空间的欧式坐标表示；可分解为起始点信息b1与形态信息{b
2-b1，...，b
n-b
n-1
}，其中形态用相邻两点间的偏移量构成的集合表示；
[0102]
cta特征融合模块：将维度为n
×3×
1的cta中心线起点信息集合输入cta起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为n
×m×
1的cta起点特征；将维度为n
×3×
(n-1)的cta中心线形态信息集合输入cta形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为n
×m×
(n-1)的cta形态特征；最后将n
×m×
1的起点特征沿着最后一维复制为n
×m×
(n-1)，与形态特征相加进行特征融合；
[0103]
xca特征融合模块：将维度为n
×2×
1的xca中心线起点信息集合输入xca起点特征提取支路，采用一系列大小为1的一维卷积核进行卷积，得到维度为n
×m×
1的xca起点特征；将维度为n
×2×
(n-1)的xca中心线形态信息集合输入xca形态特征提取支路，采用一系列大小为3的一维卷积核进行卷积，得到维度为n
×m×
(n-1)的xca形态特征；最后将n
×m×
1的起点特征沿着最后一维复制为n
×m×
(n-1)，与形态特征相加进行特征融合；
[0104]
拼接融合模块：将cta特征与xca特征进行通道维度的拼接，得到维度为n
×
2m
×
(n-1)的跨模态融合特征。
[0105]
所述角位移预测模块包括：
[0106]
角度偏移输出模块：将融合了cta与xca信息的跨模态融合特征输入角位移预测网络；角位移预测网络以一系列大小为3的一维卷积核为基础，分为降采样与上采样两部分，采用跳跃连接结构，最后输出中心线上某一点相对于上一点的角度偏移；
[0107]
形态还原模块：根据输出的角度偏移，还原出形变后的三维冠状动脉形态，依据公式如下：
[0108][0109][0110][0111]
其中，θ与为空间中两个角度的变化量，r为相邻两点的距离；训练阶段建立一个
高斯混合模型来度量两个点集的相似性：
[0112][0113]
其中，l
gmm
表示误差，p
cta
表示cta点集，p
xca
表示xca点集，σ表示平滑参数。
[0114]
本实施例在一台64位的linux系统，64gb的ram，intel(r)xeon e5-2630 v3 cpu，nvidia titan x pascal gpu的电脑上实现，整个方法基于pytorch深度学习框架，采用python编程语言实现。将采集到的临床医学数据加载输入网络模型，即可完成配准工作，效果图展示了两个实例(黑色表示待配准cta中心线投影，灰色表示目标xca中心线。第一行表示配准前初始状态，第二行表示配准后结果)。本发明可快速有效地实现cta结构与xca结构的配准对齐，平均误差控制在0.8mm。
[0115]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。