新型的OCT空间重建方法与流程

新型的oct空间重建方法
技术领域
1.本发明涉及医疗影像处理技术领域，尤其涉及基于xray和oct图像进行的新型的oct空间重建方法。


背景技术：

2.心脑血管疾病被称为威胁人类生命健康的第一杀手。随着人们生活水平的日益提高，生活物质资料也越来越充足。因此肥胖人群的比例呈上升的趋势，这些人群恰恰是心脑血管疾病发作的高危群体。科技发展带动医疗诊断技术的不断革新，医学影像技术的蓬勃发展给诊断各种疾病带来便利的措施和有效的手段。诸如冠脉造影成像(xray)、计算机x射线断层扫描(ct)、核磁共振成像(mri)图像、血管内超声成像(ivus)、光学相干断层成像(oct)等都已经广泛的应用到医学诊断当中。
3.利用两幅或者多幅xray冠脉图像可以进行空间三维信息重建，从而恢复冠脉的真实血管三维结构。这种重建方法称为多视几何重建，以此方法建立的空间三维血管模型，可以从外部空间视角观察冠脉空间结构信息，血管走向，血管直径，血管狭窄病变等。但该方法只能看到外部信息，但对血管腔内信息却无能为力。
4.基于oct序列图像的三维重建。该方法是利用多张序列图像进行三维重建，获取的图像数据为光学旋转断层扫描数据，所以每张图像的信息是包含从血管内壁到管腔的内部结构信息。以此序列图像重建的空间模型可以观察血管内空间信息，包括血管内钙化情况，血管阻塞情况等。但是该方法不能重建血管的空间走向信息，所以空间模型不是真实形态信息。
5.结合xray造影图像和oct序列图像进行oct空间重建方法是结合两者分别对外部血管信息结构探测和内部血管信息结构探测的方法，构建出具有空间真实走向的血管三维模型结构信息。但是，在实际场景中，利用多视几何重建方法构建的三维血管模型智能在有限角度下了解血管的空间结构和走向，由于血管的特殊走向，我们无法对进行全角度的拍摄，因此，单独采用多视几何重建方法，无法了解，不可视部分的血管是否发生畸变。因此需要对利用xray造影图像和oct序列图像进行三维血管重建的方法进行改进。


技术实现要素：

6.因此，本发明的目的在于提供一种新型的oct空间重建方法，在利用xray造影图像和oct序列图像的基础上采用深度学习进行多视角立体匹配，并采用对极几何算法，进行匹配校正，根据匹配校正后的冠脉造影图像获取三维血管骨架，并对冠脉oct序列图像进行重排，由此实现了真实姿态的三维空间模型。
7.为了实现上述目的，本发明的一种新型的oct空间重建方法，包括:
8.获取多张不同角度的冠脉造影影像数据；
9.在每个角度获取的冠脉造影影像数据中，提取不同心动周期中同一时刻的冠脉造影图像；并根据冠脉造影图像，提取血管骨架；
10.在提取血管骨架时，包括对不同角度的；采用深度学习进行多视角立体匹配，并采用对极几何算法，进行匹配校正，根据匹配校正后的冠脉造影图像获取三维血管骨架；
11.获取冠脉oct序列图像，并结合三维血管骨架的走向进行重排；
12.对重排后的图像进行体渲染，渲染出真实姿态的三维空间模型。
13.优选的，在获取多张不同角度的冠脉造影影像数据时，包括在胸口位置设置定位标记，所述定位标记用于对获取的冠脉造影影像数据进行追踪校准。
14.在上述任意一项实施例中优选的，对不同角度的冠脉造影图像；采用深度学习进行包括如下方法：
15.将任意一个角度下获取的冠脉造影图像输入深度神经网络，生成多个重建结果点云集；
16.根据每个角度下获取的冠脉造影图像生成的重建结果点云集；
17.根据预设的一致性损失函数和任意两个点云集之间的距离，得出一致性优化后的多角度重建结果点云。
18.在上述任意一项实施例中优选的，所述深度神经网络中预设条件生成模型，根据加入的多个噪声生成多个重建结果；所述条件生成模型包括如下公式所示的多样性约束：
19.loss
div
＝max(0,||r
1-r2||
2-αemd(s1,s2))
20.其中：r1和r2分别表示同一角度的冠脉造影图像中加入的任意两个噪声；emd(s1,s2)表示生成的两个重建结果点云集s1和s2的推土距离；α为权重。
21.在上述任意一项实施例中优选的，所述一致性损失函数采用如下公式进行计算：
[0022][0023]
其中：n表示，输入的多角度图像数，i和j表示任意两角度图像，cd(si,sj)表示任意两角度图像对应生成的多个重建结果点云集si和sj之间的倒角距离。
[0024]
在上述任意一项实施例中优选的，在采用对极几何算法，进行匹配校正时，包括如下方法：
[0025]
在任意两角度的重建结果点云中，提取关键点的三维坐标；根据多视几何原理及物理坐标与像素坐标之间的转换关系，采用如下公式计算相比较的任意两角度冠脉造影图像是否匹配：
[0026][0027]
其中p
ijt
为投影矩阵pi的第j行，(x1,y1)、(x2,y2)分别为同一个物像投影点在两个角度图像中的坐标。
[0028]
在上述任意一项实施例中优选的，对获取的冠脉oct序列图像，并结合三维血管骨架的走向进行重排时，采用如下方法：
[0029]
对三维血管骨架走向提取包络线；根据获取的冠脉oct序列图像的图像帧数，在包络线上进行等间距插值；将冠脉oct序列图像的序列，与每个插值，在包络线上进行位置对
应；按照对应的位置对冠脉oct序列图像进行排序。
[0030]
在上述任意一项实施例中优选的，利用相机的内外参数矩阵对获得的重建结果点云进行坐标标注。
[0031]
本技术公开的一种新型的oct空间重建方法，相比于现有技术至少具有以下优点：
[0032]
1、本技术提供的新型oct空间重建方法，采用深度学习与对极几何算法相结合，利用，利用深度学习算法对输入的多角度冠脉造影图像，进行立体匹配，利用对极几何算法进行校正后，既实现了对于不可视部分的预测，也保证了对于可视部分三维重建的正确性，为后期对血管畸形病变等情况的筛查，提供了数据基础。
[0033]
2、本技术提供的新型oct空间重建方法，通过深度学习的条件生成模型，对任意角度的冠脉造影图像，构造出来多个重建结果点云，在通过一致性优化后得到唯一确定的多角度重建结果点云，通过对任意两个角度的冠脉造影图像最终得到的多角度重建结果点云，利用条件生成模型加入多个噪声生成多个重建结果；对不可视部分提供了多种预测的可能性，对于局部血管的畸形病变筛查，提供了数据基础。
[0034]
3、本技术提供的新型oct空间重建方法，通过对病人身体胸口位置，贴mark标记，来对获取的图像进行追踪校准，以便精确获取匹配参数从而得到精确的空间几何结构。
[0035]
4、本技术提供的新型oct空间重建方法，通过对三维血管骨架走向提取包络线；通过在包络线上进行等间距插值，方便对冠脉oct序列图像进行调整。
附图说明
[0036]
图1为本发明一种新型的oct空间重建方法的流程示意图。
[0037]
图2(a)为本发明一种新型的oct空间重建方法的任意一个角度的重建结果点云集；
[0038]
图2(b)为本发明一种新型的oct空间重建方法的另一个角度的重建结果点云集；
[0039]
图3(a)为本发明提取的血管骨架的一个角度的示意图；
[0040]
图3(b)为本发明提取的血管骨架的另一个角度示意图；
[0041]
图4(a)为本发明提取的血管骨架在三维坐标环境下一个角度的示意图；
[0042]
图4(b)为本发明提取的血管骨架在三维坐标环境下另一个角度的示意图；
[0043]
图5为本发明一种新型的oct空间重建方法的冠脉oct序列图像重排示意图；
[0044]
图6为本发明一种新型的oct空间重建方法的渲染后的血管真实姿态的三维空间模型。
具体实施方式
[0045]
以下通过附图和具体实施方式对本发明作进一步的详细说明。
[0046]
如图1所示，本发明一方面实施例提供的一种新型的oct空间重建方法，包括:
[0047]
s1、获取多张不同角度的冠脉造影影像数据；优选的，在获取多张不同角度的冠脉造影影像数据时，包括在胸口位置设置定位标记，所述定位标记用于对获取的冠脉造影影像数据进行追踪校准。
[0048]
在本发明的一个实施例中，实验前，对病人胸口部位进行mark点标准。利用大c造影机对注射造影剂的病人冠脉部分进行连续成像，然后换不同角度进行连续成像。
[0049]
s2、在每个角度获取的冠脉造影影像数据中，提取不同心动周期中同一时刻的冠脉造影图像；并根据冠脉造影图像，提取血管骨架；
[0050]
如图2所示，在提取血管骨架时，包括对不同角度的冠脉造影图像；采用深度学习进行多视角立体匹配，并采用对极几何算法，进行匹配校正，根据匹配校正后的冠脉造影图像获取三维血管骨架；
[0051]
进一步，对不同角度的冠脉造影图像；采用深度学习进行包括如下方法：
[0052]
将任意一个角度下获取的冠脉造影图像输入深度神经网络，生成多个重建结果点云集；
[0053]
根据每个角度下获取的冠脉造影图像生成的重建结果点云集；
[0054]
根据预设的一致性损失函数和任意两个点云集之间的距离，得出一致性优化后的多角度重建结果点云。
[0055]
在上述任意一项实施例中优选的，所述深度神经网络中预设条件生成模型，根据加入的多个噪声生成多个重建结果；所述条件生成模型包括如下公式所示的多样性约束：
[0056]
loss
div
＝max(0,||r
1-r2||
2-αemd(s1,s2))
[0057]
其中：r1和r2分别表示同一角度的冠脉造影图像中加入的任意两个噪声；emd(s1,s2)表示生成的两个重建结果点云集s1和s2的推土距离；α为权重。
[0058]
在上述任意一项实施例中优选的，所述一致性损失函数采用如下公式进行计算：
[0059][0060]
其中：n表示，输入的多角度图像数，i和j表示任意两角度图像，cd(si,sj)表示任意两角度图像对应生成的多个重建结果点云集si和sj之间的倒角距离。
[0061]
利用相机的内外参数矩阵对获得的重建结果点云进行坐标标注。
[0062]
在采用对极几何算法，进行匹配校正时，包括如下方法：
[0063]
在任意两角度的重建结果点云中，提取关键点的三维坐标；根据多视几何原理及物理坐标与像素坐标之间的转换关系，采用如下公式计算相比较的任意两角度冠脉造影图像是否匹配：
[0064][0065]
其中p
ijt
为投影矩阵pi的第j行，(x1,y1)、(x2,y2)分别为同一个物像投影点在两个角度图像中的坐标。
[0066]
s3、获取冠脉oct序列图像，并结合三维血管骨架的走向进行重排；
[0067]
对获取的冠脉oct序列图像，并结合三维血管骨架的走向进行重排时，采用如下方法：
[0068]
具体的，如图3和图4所示，对于空间骨架重建：在进行空间骨架重建之间，需要对所使用的图像进行畸变校正，运动位移恢复，特征提取和特征匹配。特征提取包括：血管边界分割，血管中轴线提取，分叉点提取等。特征匹配包括：血管段匹配，血管点匹配，其中血
管点的匹配可以依靠极线约束匹配或者基于纹理特征的sift匹配等。建立匹配关系后，利用获取的几何参数，结合几何原理可以求出空间三维点坐标，然后对连续的空间点进行拟合获取空间骨架。
[0069]
如图5所示，对三维血管骨架走向提取包络线；根据获取的冠脉oct序列图像的图像帧数，在包络线上进行等间距插值；将冠脉oct序列图像的序列，与每个插值，在包络线上进行位置对应；按照对应的位置对冠脉oct序列图像进行排序。获取的oct序列图像数据结合空间骨架走向包括角度和弧度变化，进行重排。
[0070]
如图6所示，s4、对重排后的图像进行体渲染，渲染出真实姿态的三维空间模型。
[0071]
体渲染重建的方法可以使用光线投射方法，也可以使用纹理渲染的方法。在进行体渲染时，需要设置渲染所需要的透明传递函数和颜色传递函数。梯度传递函数可以根据需求进行选择设置。体渲染的场景背景，可以设置成白色或者黑色。
[0072]
显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。