双模冠脉血管图像三维融合的方法和融合系统与流程

1.本发明涉及血管成像技术领域，尤其涉及双模冠脉血管图像三维融合的方法。


背景技术：

2.全球范围内，心脑血管疾病已经成为了威胁人类健康的主要疾病之一，冠状动脉粥样硬化是心脑血管疾病的主要病因。x射线冠状动脉造影(coronary angiography，cag)、血管内超声(intravascular ultrasound，ivus)和光学相干断层成像(optical coherence tomography，oct) 是当前诊断心脑血管疾病的主要影像学技术。该影像学技术只能提供二维的平面图像信息，并不能直观的反映实际的空间情况。由于二维图像的种种局限性，医学图像的三维重建和可视化已成为目前的研究热点。
3.cag 通过静止或动态观察造影剂的充盈和消失情况来判断血管解剖学形态异常的部位、性质和程度。它不仅能对冠状动脉的结构和血管狭窄进行客观诊断，而且还能实现病变的量化描述，通过三维重建可以获得具有空间形态结构的三维骨架，便于直接观察。但是，该重建结果仅描述了血管内腔的空间位置和形态，无法得到管腔截面的形态和硬化斑块的弥漫程度及组成。
4.ivus 和oct的成像原理相似，都是采用能量束在血管腔中进行360
°
扫描，获得管腔横截面图像，且两者具有优势互补的特点。ivus由于利用的是超声波的反射现象，因此有利于显示深部结构，即探测深度较深，但对微细结构图像的分辨率却受限。oct的分辨率较高，轴向分辨率大概是ivus的10~20倍，但其穿透组织的能力明显不如ivus。对oct和ivus 图像进行三维重建，能够很好地表现动脉血管壁复杂的解剖结构，并且各具优势。传统的ivus和oct三维重建是把一系列的图像按采集顺序叠加起来形成一个三维直血管段。由于ivus和oct本身不能提供每一帧图像的空间几何信息，因此这种方法没有考虑在图像获取过程中导管的弯曲和扭曲，其结果也是不准确的。


技术实现要素：

5.因此，本发明的目的在于提供一种双模冠脉血管图像三维融合方法及系统，同时融合了oct和ivus两种冠脉检查技术，在cag 图像基础上，能进一步对血管的壁厚和血管内斑块的大小或形态，进行进一步准确的判断，在一次血管导管置入的过程中，能实现多个指标的监测，节约检测时间，检测结果更准确。
6.为了实现上述目的，本发明的一种双模冠脉血管图像一种双模冠脉血管图像三维融合的方法，包括以下步骤：s1、利用血管导管，获取oct模式下的血管图像和ivus模式下的血管图像；s2、在血管导管回撤的过程中，获取血管的cag图像；s3、根据所述cag图像，提取cag图像中的血管三维骨架，并根据所述血管三维骨架拟合得出血管中心线；s4、将所述血管中心线作为导管回撤路径，将oct模式下的血管图像和ivus模式下
的血管图像分别映射到血管导管回撤路径的相应位置上，完成图像映射；s5、将映射后的图像进行oct模式和ivus模式的三维融合。
7.进一步优选的，在s1中，所述获取血管导管的oct模式下的血管图像和ivus模式下的血管图像时，包括同步采集模式和异步切换模式；所述同步采集模式为同时获取的oct模式下的血管图像和ivus模式下的血管图像的工作模式；所述异步切换模式为oct模式和ivus模式切换采集图像的工作模式。
8.进一步优选的，在s2中还包括，对获取的cag图像进行预处理，所述预处理包括如下步骤：s201、对获取的cag图像进行中值滤波，滤除图像中的噪声，并采用直方图进行均衡化处理，提高图像的对比度；s202、对均衡化处理后的图像进行多尺度frangi滤波，对不同尺度大小的血管进行边缘增强，得到增强图像；s203、对所述增强图像进行细化处理，消除垂直走向和面积小于预设阈值的血管分支。
9.进一步优选的，在s3中，所述根据cag图像，提取cag图像中的血管三维骨架，并根据所述血管三维骨架拟合得出血管中心线时，包括以下方法：将血管导管回撤的过程，获取的cag图像，按照采集时间进行顺序叠放，将叠放后cag图像，采用b 样条曲线拟合的方法，得出三维拟合曲线，作为血管三维骨架；以血管导管回撤的初始时刻选取的参考点，作为坐标原点，建立三维坐标系，计算所述三维拟合曲线的三维坐标；根据三维拟合曲线的三维坐标，计算三维拟合曲线的中心线的坐标。
10.根据所述中心线的坐标，拟合得出血管中心线。
11.进一步优选的，在s4中，将oct模式下的血管图像和ivus模式下的血管图像分别映射到回撤血管路径的相应位置上，完成图像映射，具体包括如下步骤：将所述血管中心线作为导管回撤路径，根据采样频率计算图像间距，确定每个oct模式下的血管图像和ivus模式下的血管图像的轴向位置；建立微分几何模型，确定图像序列的角度，得到得oct模式下的血管图像和ivus模式下的血管图像沿导管回撤路径的排列结果；将所述排列结果，作为oct模式下的血管图像和ivus模式下的血管图像，在导管回撤路径上的映射结果，完成图像映射。
12.进一步优选的，在s5中，oct模式和ivus模式三维融合，包括如下步骤：以oct模式下的血管图像作为参考图像，ivus模式下的血管图像作为待配准图像，计算互信息公式；根据互信息公式中目标函数取得最大值时对应的最优变换参数，对oct模式下的血管图像和ivus模式下的血管图像进行融合。
13.进一步优选的，所述互信息公式按照如下公式表示：其中，向量x为原图像的坐标；向量y为变换后的目标图像坐标；s为比例因子；t为平移矩阵；r为旋转矩阵。
14.进一步优选的，还包括，所述互信息公式中的变换参数，按照以下步骤进行优化：分别获取参考图像采样点和待配准图像采样点，计算参考图像采样点和待配准图像采样点，融合时对应的变换参数；提高采样频率，将当前分辨率下的配准结果作为下一分辨率下优化的起始点以减小变换参数的搜索范围，最终得到最优的变换参数。
15.本发明还提供一种双模冠脉血管图像三维融合系统，包括血管导管、oct检测探头、ivus检测探头和数据处理模块；所述血管导管用于搭载oct检测探头或ivus检测探头，获取oct模式下的血管图像和ivus模式下的血管图像；在回撤的过程中，获取血管的cag图像；所述数据处理模块，用于根据所述cag图像，提取cag图像中的血管三维骨架，并根据所述血管三维骨架拟合得出血管中心线；将所述血管中心线作为导管回撤路径，将oct模式下的血管图像和ivus模式下的血管图像分别映射到血管导管回撤路径的相应位置上，完成图像映射；将映射后的图像进行oct模式和ivus模式的三维融合。
16.进一步优选的，所述血管导管中同时集成oct光学探头与ivus换能器；所述oct光学探头与ivus换能器的数据输出口呈180
°
。
17.本发明公开了一种双模冠脉血管图像三维融合的方法及系统，相比于现有技术，至少具有以下优点：本技术同时集成了oct模式和ivus模式两种检测方式，将映射后的图像进行oct模式和ivus模式的三维融合；充分发挥三维cag图像空间上的优势以及ivus的强组织穿透力和oct高分辨率的优势，便能够获得血管壁和冠状动脉粥样硬化斑块更加全面的信息，从而为冠心病的计算机辅助诊治和对介入治疗效果的评价等提供更为有效的依据。
18.本技术提供的融合方法，融合以后的三维血管图像不仅具有较高的分辨率，而且具有较深的探测深度，并且能够反映血管真实的空间位置，将三者的优势互补，弥补了单一信息源的不足，从而为冠心病的计算机辅助诊治和对介入治疗效果的评价等提供更为有效和直观的依据。
附图说明
19.图1为本发明的方法流程示意图；图2为依据cag三维重建结果重排图像序列的示意图；图3为oct融合cag三维重建结果的某角度示意图；图4为oct融合cag三维重建结果的另一角度示意图；图5为ivus融合cag三维重建的结果的某角度示意图图6为ivus融合cag三维重建的结果的另一角度示意图；图7为基于互信息的三维配准的流程示意图；图8为oct和ivus三维融合结果的某角度示意图；图9为oct和ivus三维融合结果的另一角度示意图。
具体实施方式
20.以下通过附图和具体实施方式对本发明作进一步的详细说明。
21.如图1所示，本发明一方面实施例提供的一种双模冠脉血管图像一种双模冠脉血管图像三维融合的方法，包括以下步骤：s1、利用血管导管，获取oct模式下的血管图像（以下简称oct图像）和ivus模式下的血管图像（以下简称ivus图像）；s2、在血管导管回撤的过程中，获取血管的cag图像；进一步优选的，在s1中，所述获取血管导管的oct模式下的血管图像和ivus模式下的血管图像时，包括同步采集模式和异步切换模式；所述同步采集模式为同时获取的oct模式下的血管图像和ivus模式下的血管图像的工作模式；所述异步切换模式为oct模式和ivus模式切换采集图像的工作模式。
22.需要说明的是，oct和ivus血管图像的获取是从oct-us双模成像系统中实时采集的数据，显示血管壁的结构形态，cag造影则同步显示探头在管腔内的部位。在 cag 中发现可疑血管后，向目标血管内注入硝酸甘油，在x射线透视图像的指导下将导管穿越病变部位，到达血管远端，将探头与成像仪连接去除伪影后，经马达控制匀速回撤导管，并记录图像。cag 图像的采集，采用仅在导管回撤路径的起点拍摄一对角度近似垂直的造影图像。
23.进一步优选的，在s2中还包括，对获取的cag图像进行预处理，所述预处理包括如下步骤：s201、对获取的cag图像进行中值滤波，滤除图像中的噪声，并采用直方图进行均衡化处理，提高图像的对比度；s202、对均衡化处理后的图像进行多尺度frangi滤波，对不同尺度大小的血管进行边缘增强，得到增强图像；s203、对所述增强图像进行细化处理，消除垂直走向和面积小于预设阈值的血管分支。
24.s3、根据所述cag图像，提取cag图像中的血管三维骨架，并根据所述血管三维骨架拟合得出血管中心线；进一步在s3中，所述根据cag图像，提取cag图像中的血管三维骨架，并根据所述血管三维骨架拟合得出血管中心线时，包括以下方法：将血管导管回撤的过程，获取的cag图像，按照采集时间进行顺序叠放，将叠放后cag图像，采用b 样条曲线拟合的方法，得出三维拟合曲线，作为血管三维骨架；以血管导管回撤的初始时刻选取的参考点，作为坐标原点，建立三维坐标系，血管中心线的三维重建运用外极线匹配和血管拓扑特性相结合的方法匹配血管段，同时求出血管骨架点的三维坐标。
25.根据三维拟合曲线的三维坐标，计算三维拟合曲线的中心线的坐标。
26.根据所述中心线的坐标，拟合得出血管中心线。
27.s4、将所述血管中心线作为导管回撤路径，将oct模式下的血管图像和ivus模式下的血管图像分别映射到血管导管回撤路径的相应位置上，完成图像映射；进一步优选的，将oct模式下的血管图像和ivus模式下的血管图像分别映射到回撤血管路径的相应位置上，完成图像映射，具体包括如下步骤：将所述血管中心线作为导管回撤路径，根据采样频率计算图像间距，确定每个oct模式下的血管图像和ivus模式下的血管图像的轴向位置；
建立微分几何模型，确定图像序列的角度，具体包括以下步骤：根据提取的血管中心线建立曲线参数方程：t 为参数，a和b为根据中心线长度设置的起始和终止范围，设是曲线上的任意点，简称点。是其邻点。两点决定向量：那么是曲线c在的切向量。
28.那么同理，可得到所有图像在曲线切向方向的向量，根据向量方向，可以确定每个图像的角度。
29.得到得oct模式下的血管图像和ivus模式下的血管图像沿导管回撤路径的排列结果；将所述排列结果，作为oct模式下的血管图像和ivus模式下的血管图像，在导管回撤路径上的映射结果，完成图像映射。
30.在本技术的一个具体实施例中，在进行图像映射时包括：首先，对获得的oct图像和ivus图像预处理。
31.双模成像系统在获取血管图像的过程中会受到噪声的污染，必须对获取的血管图像作去噪处理。在本实施案例中，优选3*3大小的中值滤波器对图像进行去噪。为了提高信噪比，尖锐图像边缘，再将图像灰度线性拉伸至0~255。
32.其次，确定各帧oct图像和ivus图像在三维回撤路径中的轴向位置。
33.本发明提出的双模成像系统是以恒定速率回撤成像导管，且采样速率为恒定参数，那么oct和ivus图像序列就是沿着导丝等间距分布的，从而确定了各帧图像的轴向位置。
34.最后，利用建立微分几何模型的方法确定图像序列的角度，从而获得oct和ivus图像序列沿三维导管路径的排列结果，其示意图如图2所示。
35.优选的，还包括采用光线投射体渲染方法对序列重排后的oct图像和ivus图像分别进行三维重建，重建后的图像不仅可以看到真实的血管内窥结构信息，而且能够反映血管真实的空间形态，oct图像和ivus三维重建后的结果分别如图3、图4、图5、图6所示。
36.s5、将映射后的图像进行oct模式和ivus模式的三维融合。
37.进一步优选的，在s5中，oct模式和ivus模式三维融合，包括如下步骤：以oct模式下的血管图像作为参考图像，ivus模式下的血管图像作为待配准图像，计算互信息公式；根据互信息公式中目标函数取得最大值时对应的最优变换参数，对oct模式下的血管图像和ivus模式下的血管图像进行融合。
38.在本实施案例中，优选采用基于互信息的三维融合方法。基于互信息的三维融合方法本质上是一个多参数优化问题，其目的是求取目标函数取得最大值时对应的变换参数。传统的刚体变换包括平移、旋转矩阵，分别以t、r表示，本发明中通过增加比例因子s解决弹性配准问题。
39.互信息公式按照如下公式表示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)s、r和t分别为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)(3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，向量x为原图像的坐标；向量y为变换后的目标图像坐标；s为比例因子；t为平移矩阵；r为旋转矩阵。
40.所述互信息公式中的变换参数，按照以下步骤进行优化：分别获取参考图像采样点和待配准图像采样点，计算参考图像采样点和待配准图像采样点，融合时对应的变换参数；提高采样频率，将当前分辨率下的配准结果作为下一分辨率下优化的起始点以减小变换参数的搜索范围，最终得到最优的变换参数。
41.如图7所示，在一个具体实施例中，在配准的过程中，oct图像作为参考图像，ivus图像为待配准图像；具体图像配准过程如下，读取oct和ivus三维图像数据，设置几何搜索空间位置的起始参数（通常设置为9个），设置采样步长，通过优化搜索最大互信息的值，得到优化的结果参数，在当前参数下可选的进行三维图像融合，融合后判断是否进行更精确的配准，判断结果为否则结束配准，若为是，则保存当前参数，并重新调整几何搜索的空间的起始参数，设置采样补偿，重复上述步骤。多参数优化的方法可以采用powell算法，亦可采用模拟退火、遗传算法等。由于庞大的3d体数据极大地增加了计算的负担，因此只采用部分数据点来计算图像的直方图。对源图进行 m
×n×
l 的间隔进行采样，计算互信息，然后逐步提高采样率，将当前分辨率下的配准结果作为下一分辨率下优化的起始点以减小变换参数的搜索范围，从而达到减少迭代次数提高配准速度的效果。经过几种采样率下由粗糙到精细进行配准，最终得到最优的变换参数，最后在最优参数下进行融合。最终的结果如图8和图9所示。
42.本发明还提供一种双模冠脉血管图像三维融合系统，用于实施上述方法，包括血管导管、oct检测探头、ivus检测探头和数据处理模块；所述血管导管用于搭载oct检测探头或ivus检测探头，获取oct模式下的血管图像和ivus模式下的血管图像；在回撤的过程中，获取血管的cag图像。
43.oct和ivus血管图像的获取是从oct-us双模成像系统中实时采集的数据，显示血
管壁的结构形态，cag造影则同步显示探头在管腔内的部位。在 cag 中发现可疑血管后，向目标血管内注入硝酸甘油，在x射线透视图像的指导下将导管穿越病变部位，到达血管远端，将探头与成像仪连接去除伪影后，经马达控制匀速回撤导管，并记录图像。cag 图像的采集，采用仅在导管回撤路径的起点拍摄一对角度近似垂直的造影图像。
44.所述数据处理模块，用于根据所述cag图像，提取cag图像中的血管三维骨架，并根据所述血管三维骨架拟合得出血管中心线；将所述血管中心线作为导管回撤路径，将oct模式下的血管图像和ivus模式下的血管图像分别映射到血管导管回撤路径的相应位置上，完成图像映射；将映射后的图像进行oct模式和ivus模式的三维融合。
45.进一步优选的，所述血管导管中同时集成oct光学探头与ivus换能器；所述oct光学探头与ivus换能器的数据输出口呈180
°
。
46.在本发明提出的oct-us双模成像系统中，采用的是单个导管，在同一个导管内，oct光学探头与ivus换能器背靠背固定在金属帽内，背靠背的设计即在同一轴向位置的声光出口相距180
°
，oct的帧率为180帧/s，回撤速度为20mm/s，图像大小为1024*1024；ivus的帧率为30帧/s，回撤速度为0.5mm/s，图像大小为1024*1024。本实施案例中，为了保证数据采集的同步性和一致性，采用一次回撤同时采集oct和ivus图像数据的方法，根据需要对感兴趣局部血管段，进行1mm/s速度回撤，回撤时间3s。因此，在相同3mm的血管段中，oct将会产生540帧图像，而ivus将会产生90帧图像。
47.显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。