一种3D-DSA图像的重建方法及系统

一种3d-dsa图像的重建方法及系统
技术领域
1.本发明涉及稀疏视图3d-dsa成像技术领域，特别涉及一种基于超稀疏2d投影视图重建血管3d-dsa图像的方法及系统。


背景技术：

2.脑血管疾病是引起人类死亡的主要疾病之一，是危害人类健康和生命的常见病和多发病。在头颈部血管检查手段中，数字减影血管造影(digital subtraction angiography，dsa)技术被公认为是脑血管疾病诊断的“金标准”。然而，常规的二维血管造影术(2d-dsa)显示范围有限，难以清晰显示脑部血管复杂的结构及相互关系，导致部分病变血管与周围血管的关系显示不清，甚至部分血管狭窄会被遮挡而遗漏。三维数字减影血管造影(3d-dsa)技术就是为了解决这些问题而生的，3d-dsa技术是c形臂围绕患者做两次旋转，并采集一系列连续角度的2d-dsa图像，通过专业设备完成血管三维模型重建以及综合评估。
3.目前临床上使用的金标准3d-dsa成像方法是基于fdk算法实现的，西门子、通用电气(ge)、飞利浦和其他医疗设备制造商对基于fdk的算法进行了修订和使用，但这种传统的3d-dsa扫描和重建方法要求患者持续暴露于辐射中，采集的2d-dsa图像越多，患者在采集过程中需要注射造影剂用量越大，遭受辐射时间越长。因此，降低3d-dsa成像的辐射剂量是具有重大临床意义的，但是迄今为止，尚未报道在确保重建图像质量的条件下，可以显著降低辐射剂量的有效方法。
4.深度学习(dl)是一种机器学习技术，它使用多层人工神经网络来自动分析信号或数据。卷积神经网络(cnn)是深度学习技术中最成功且广泛使用的模型之一，它擅长以2d或3d图像数据作为输入来拟合非线性函数，同时不需要使用手动设计提取图像特征。近年来已经出现一些将卷积神经网络用于医学成像领域的2d(x射线)-3d计算机断层扫描(ct)重建方法的工作，比如使用稀疏的视图进行三维重建。但由于脑血管的复杂程度较高，目前尚未出现将深度学习的算法直接应用在脑血管dsa重建中。基于此，现提出一种3d-dsa图像的重建方法及系统，通过该重建方法及系统可以在采集到极少的2d图像的基础上重建获得血管的3d-dsa图像。


技术实现要素：

5.本发明的目的旨在克服现有技术的缺陷，提供一种3d-dsa图像的重建方法及系统，通过极少的2d图像便可以有效地重建多尺度人类脑血管系统，不仅可以确保重建图像的质量，还能够显著降低病人所承受的辐射剂量。
6.本发明的上述技术目的是通过以下技术方案得以实现的：一种3d-dsa图像的重建方法，所述方法包括以下步骤：
7.s1，采集基于微血管的2d-dsa图像，对所述2d-dsa图像进行预处理；
8.s2，将预处理后的所述2d-dsa图像以及对应的相机参数输入至训练好的3d-dsa重
建网络中，获得重建的3d-dsa图像。
9.进一步地，所述步骤s1中的预处理具体包括去噪、去运动伪影以及去造影剂流动干扰处理，所述步骤s2中的所述相机参数包括采集所述2d-dsa图像的视角。
10.进一步地，所述步骤s1之前，所述方法还包括：
11.s10，根据预先获得的2d-dsa图像构建特征数据库，所述特征数据库中包括若干组训练集，所述训练集中包括若干个二维投影图像及其对应的视角；
12.s20，从所述特征数据库中选取一组所述训练集作为输入数据，所述输入数据中的所述二维投影图像为输入图像，将所述输入数据输入至深度神经网络中进行三维重建，获得三维重建结果；
13.s30，通过可微分投影将所述三维重建结果在与所述输入图像相同的视角下进行投影，获得二维图像，使用损失函数计算相同视角下的所述二维图像与所述输入图像之间的损失值，基于所述损失值对所述深度神经网络的网络权重进行反向传播与梯度更新，得到待优化的3d-dsa重建网络；
14.s40，基于所述待优化的3d-dsa重建网络循环执行所述步骤s20和所述步骤s30，获得训练好的3d-dsa重建网络。
15.进一步地，所述步骤s20具体包括：
16.s201，采用线性插值方法对所述输入图像的分辨率进行调整，获得低分辨率图像；
17.s202，对所述低分辨率图像进行多视角信息融合，获得融合结果；
18.s203，将所述融合结果输入至所述深度神经网络中进行三维重建，获得低分辨率重建结果；
19.s204，将所述输入图像与所述低分辨率重建结果进行级联，获得级联结果；
20.s205，将所述级联结果输入至所述深度神经网络中进行三维重建，获得高分辨率重建结果；
21.s206，使用阈值裁剪去除所述高分辨率重建结果中的显著噪声，获得所述三维重建结果。
22.进一步地，所述步骤s202具体包括：
23.不同视角的所述低分辨率图像以不同通道的形式作为输入，所述低分辨率图像沿每个视角的垂直方向被复制预设次数，在每个通道中生成3d体素数据；
24.对所述3d体素数据进行随机裁剪，对裁剪后的所述3d体素数据进行卷积操作并提取每个通道的特征，获得每个通道的低分辨率数据；
25.将每个通道的所述低分辨率数据相加，得到所述融合结果。
26.进一步地，所述步骤s203和所述步骤s205中的所述三维重建具体包括：使用3du-net对数据进行编码和解码，然后对经过编码和解码后的所述数据进行连续的调整大小和卷积操作，得到重建结果；
27.其中，在步骤s203中，所述数据为所述融合结果，所述重建结果为所述低分辨率重建结果，在步骤s205中，所述数据为所述级联结果，所述重建结果为所述高分辨率重建结果。
28.进一步地，所述步骤s20中的所述三维重建结果表示如下：
29.f(x1,x2...xn,θ1,θ2...θn)＝y
pred
30.其中，{x1,x2...xn}为若干个二维投影图像，{θ1,θ2...θn}为所述二维投影图像对应的视角，f为深度神经网络对应的映射函数，y
pred
为三维重建结果。
31.进一步地，所述步骤s30中的所述可微分投影的算法表示如下：
32.yi＝p(y
pred
；θi)
33.其中，yi表示y
pred
在视角θi上投影的二维图像，i表示二维图像的个数。
34.进一步地，所述步骤s30中的损失函数定义为所述二维图像与相应的所述输入图像之间的均方误差，所述损失函数的表达式如下：
[0035][0036]
其中，n是二维投影图像的数量。
[0037]
此外，本发明还提供一种血管3d-dsa图像的重建系统，所述重建系统包括：
[0038]
图像采集装置，用于采集基于微血管的2d-dsa图像；
[0039]
图像处理模块，用于对所述2d-dsa图像进行去噪、去运动伪影以及去造影剂流动干扰预处理；
[0040]
3d-dsa重建网络训练模块，用于根据预先获得的2d-dsa图像构建特征数据库，基于所述特征数据库对深度神经网络进行训练优化，获得训练好的3d-dsa重建网络；
[0041]
图像重建模块，用于将预处理后的所述2d-dsa图像以及对应的相机参数输入至训练好的3d-dsa重建网络中，获得重建的3d-dsa图像。
[0042]
本发明的有益效果是：
[0043]
1、本发明的3d-dsa图像的重建方法及系统，通过采集少量的基于微血管的2d-dsa图像并对图像进行预处理，将预处理后的2d-dsa图像输入训练好的3d-dsa重建网络中，即可获得3d-dsa重建图像，与传统的金标准重建结果需要采集约133张2d图像相比，本发明的重建方法仅使用8张有详细微血管的2d图像，便可以有效地重建多尺度人类脑血管系统，并且患者仅需要受到金标准成像方法期间使用辐射剂量的1/16.7，可以大幅缩减病人所承受的辐射剂量，同时实现较高的重建图像质量。
[0044]
2、本发明的3d-dsa图像的重建方法，通过让深度神经网络学习血管重建的先验知识，获得训练好的3d-dsa重建网络，实现从超稀疏2d投影视图重建3d-dsa图像，在网络训练过程中，使用输入图像本身作为监督，不仅可以进行高效的稀疏重建，取得很好的重建结果，而且不需要完全对齐难以获取的3d标签，能够缓解3d图像中背景过多的问题，稳定网络的学习训练收敛过程。
[0045]
3、本发明的3d-dsa图像的重建方法，对输入图像进行反投影操作以及通过卷积操作来融合不同视角的信息，并通过3d u-net网络对齐进行多尺度的特征提取，实现3d重建，采用级联的方法，使用从粗到细的优化提升网络的感受野、增加重建的精度，还可以根据临床应用的需求，重建对应的分辨率，3d重建过程不需要放射科医生的注释，并且无需使用3d数据用作训练3d-dsa重建网络的监督。
附图说明
[0046]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]
图1是本发明一种3d-dsa图像的重建方法的流程示意图；
[0048]
图2是本发明一种3d-dsa图像的重建方法中3d-dsa重建网络第一实施例的训练步骤示意图；
[0049]
图3是本发明一种3d-dsa图像的重建方法中3d-dsa重建网络第二实施例的训练步骤示意图；
[0050]
图4是本发明一种3d-dsa图像的重建方法中3d-dsa重建网络的框架示意图；
[0051]
图5是采用本发明一种3d-dsa图像的重建方法获得的重建结果示意图。
具体实施方式
[0052]
下面将结合具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
参见图1，本发明提供了一种3d-dsa图像的重建方法，所述重建方法包括以下步骤：
[0054]
s1，采集基于微血管的2d-dsa图像，对所述2d-dsa图像进行预处理；
[0055]
s2，将预处理后的所述2d-dsa图像以及对应的相机参数输入至训练好的3d-dsa重建网络中，获得重建的3d-dsa图像。
[0056]
在具体实现中，通过采集极少的有详细微血管的2d-dsa图像，对2d-dsa图像进行预处理，具体包括去噪、减少运动伪影以及去造影剂流动干扰处理，有利于提高图像重建的精度和质量，将经过预处理后的2d-dsa图像输入至训练好的3d-dsa重建网络中，便可获得血管的3d-dsa重建图像。与传统的金标准重建结果需要采集约133张2d图像相比，本发明的重建方法仅使用8张有详细微血管的2d图像，便可以有效地重建多尺度人类脑血管系统，并且患者仅需要受到金标准成像方法期间使用辐射剂量的1/16.7，可以大幅缩减病人所承受的辐射剂量，同时实现较高的重建图像质量。需要说明的是，步骤s2中的所述相机参数包括采集所述2d-dsa图像的视角。
[0057]
参见图2，图2为本发明一种3d-dsa图像的重建方法中3d-dsa重建网络第一实施例的训练步骤示意图，在本实施例中，所述步骤s1之前，所述重建方法还包括：
[0058]
s10，根据预先获得的2d-dsa图像构建特征数据库，所述特征数据库中包括若干组训练集，所述训练集中包括若干个二维投影图像及其对应的视角；
[0059]
s20，从所述特征数据库中选取一组所述训练集作为输入数据，所述输入数据中的所述二维投影图像为输入图像，将所述输入数据输入至深度神经网络中进行三维重建，获得三维重建结果；
[0060]
s30，通过可微分投影将所述三维重建结果在与所述输入图像相同的视角下进行投影，获得二维图像，使用损失函数计算相同视角下的所述二维图像与所述输入图像之间的损失值，基于所述损失值对所述深度神经网络的网络权重进行反向传播与梯度更新，得到待优化的3d-dsa重建网络；
[0061]
s40，基于所述待优化的3d-dsa重建网络循环执行所述步骤s20和所述步骤s30，获得训练好的3d-dsa重建网络。
[0062]
本实施例通过让深度神经网络学习血管重建的先验知识，获得训练好的3d-dsa重建网络，实现从超稀疏2d投影视图重建3d-dsa图像。本实施例中的3d-dsa重建网络包含三个模块：多视角信息融合、三维重建网络和自监督模块，在多视角信息融合中，通过对输入的二维投影图像调整大小，进行反投影操作以及通过卷积操作来融合不同视角的信息，在三维重建模块中，使用包含编码和解码操作的3d u-net实现3d重建，在自监督模块中，通过可微分投影从三维重建结果中获得二维图像，并使用损失函数来减小输入图像与相同角度投影的二维图像之间的差异，通过使用输入图像本身作为监督，不仅可以进行高效的稀疏重建，而且不需要完全对齐难以获取的3d标签，能够缓解3d图像中背景过多的问题，稳定网络的学习训练收敛过程。证明了使用输入图像本身作为监督的自监督学习方法也可以取得很好的重建结果。需要说明的是，预先获得的2d-dsa图像为本实施例根据现有病人的脑血管2d-dsa图像自行构建获取的。
[0063]
参见图4，图4为本发明一种3d-dsa图像的重建方法中3d-dsa重建网络的框架示意图，当已知一系列二维投影{x1,x2...xn}及其对应的视角{θ1,θ2...θn}时，用一个深度神经网络作为映射函数f来预测相应的三维重建结果y
pred
，可以采用如下表达式进行表述：
[0064]
f(x1,x2...xn,θ1,θ2...θn)＝y
pred
[0065]
不同视角的二维投影图像以不同通道的形式进入深度神经网络后，模型输出单个通道的三维预测结果。在此之后，三维预测结果在与输入图像相同的视角下进行可微分投影，可微分投影的计算方法可以表示如下：
[0066]
yi＝p(y
pred
；θi)
[0067]
其中，yi表示y
pred
在视角θi上投影的二维图像，i表示二维图像的个数。在实际的临床设定中，电子以锥形束的形式发射。为便于诊断过程，需对2d-dsa图像进行校正，并近似为平行束的投影。因此，我们采用不同角度的平行光束进行投影来模拟真实场景。每个光束的最大值被用来获得一个数字生成的投影。这可以表示如下：
[0068]
yi(r
p
)＝p(y
pred
(r)；θi)＝max(y
pred
(r))
[0069]
其中r表示光束在θi角通过y
pred
的位置索引，yi是y
pred
在视角θi上投影的二维图像，r
p
是r在θi角投影后在yi中对应位置的指数，r与yi所在平面正交。
[0070]
进一步地，所述步骤s30中的损失函数定义为所述二维图像与相应的所述输入图像之间的均方误差，所述损失函数的表达式如下：
[0071][0072]
其中，n是二维投影图像的数量。
[0073]
参见图3，图3为本发明一种3d-dsa图像的重建方法中3d-dsa重建网络第二实施例的训练步骤示意图，基于上述第一实施例，在本实施例中，所述步骤s20具体包括：
[0074]
s201，采用线性插值方法对所述输入图像的分辨率进行调整，获得低分辨率图像；
[0075]
s202，对所述低分辨率图像进行多视角信息融合，获得融合结果；
[0076]
s203，将所述融合结果输入至所述深度神经网络中进行三维重建，获得低分辨率重建结果；
[0077]
s204，将所述输入图像与所述低分辨率重建结果进行级联，获得级联结果；
[0078]
s205，将所述级联结果输入至所述深度神经网络中进行三维重建，获得高分辨率重建结果；
[0079]
s206，使用阈值裁剪去除所述高分辨率重建结果中的显著噪声，获得所述三维重建结果。
[0080]
进一步地，所述步骤s202具体包括：
[0081]
不同视角的所述低分辨率图像以不同通道的形式作为输入，所述低分辨率图像沿每个视角的垂直方向被复制预设次数，在每个通道中生成3d体素数据；
[0082]
对所述3d体素数据进行随机裁剪，对裁剪后的所述3d体素数据进行卷积操作并提取每个通道的特征，获得每个通道的低分辨率数据；
[0083]
将每个通道的所述低分辨率数据相加，得到所述融合结果。
[0084]
进一步地，所述步骤s203和所述步骤s205中的所述三维重建具体包括：使用3d u-net对数据进行编码和解码，然后对经过编码和解码后的所述数据进行连续的调整大小和卷积操作，得到重建结果；其中，在步骤s203中，所述数据为所述融合结果，所述重建结果为所述低分辨率重建结果，在步骤s205中，所述数据为所述级联结果，所述重建结果为所述高分辨率重建结果。
[0085]
本实施例对3d-dsa重建网络的训练过程包含的两个阶段进行了说明，第一阶段使用低分辨率的图像进行3d-dsa重建，其预测结果与高分辨率图像融合作为第二阶段的输入再预测高分辨率下的3d-dsa图像。应理解的是，采集的2d-dsa图像以及训练使用的输入图像均为高分辨率图像，分辨率过高会由于硬件设备的限制导致感受野较低致重建精度下降，分辨率过低直接导致重建精度下降。因此考虑两个阶段先低分辨率获得高感受野，再高分辨率考虑更多细节，两个阶段的网络分别考虑不同分辨率的图像输入，第一阶段是低分辨率输入并重建，第二阶段是高分辨率输入并重建，高分辨率网络的重建输出即是最后的结果。
[0086]
当全分辨率的3d u-net作为3d重建任务时，由于样本的数据量很大，只能考虑较少的上下文信息。因此，我们采用级联的方法来增加高分辨率三维重建的感受野，并改进了三维重建方法的结果，如图4所示，首先对下采样数据进行3d u-net训练，然后利用第二个全分辨率3d u-net对低分辨率重建结果进行细化。在临床应用中，重建分辨率和级联数可根据应用需求确定。级联网络可以在数学上表示为：
[0087]
f1(x1,x2...xn,θ1,θ2...θn)＝y'
pred
[0088]
f2(x1,x2...xn,θ1,θ2...θn,y'
pred
)＝y”pred
[0089]
其中f1表示第一级神经网络，f2表示第二级神经网络，y'
pred
是第一级神经网络的预测结果，y”pred
是第二级神经网络的预测结果。如果考虑两级级联，则y”pred
为模型的最终输出。在训练和测试过程中，根据不同阶段的网络需求，采用线性插值方法对输入图像进行不同分辨率的缩放。
[0090]
需要说明的是，获得高分辨率重建结果后，采用阈值裁剪对重建结果某一个切片的平均值进行计算，如果这个值大于预设阈值，则认为是背景，我们在重建实验中发现会出现这种切片的噪声，因此通过这种方式去除，这是一种后处理方式，可以进一步提高重建图像的精度和质量。
[0091]
下面结合具体的数据对3d-dsa重建网络的训练过程进行详细描述：
[0092]
在维度提升阶段，不同视角的二维投影图像以不同通道的方式合并作为输入。我们使用4/6/8/10/12通道(根据输入图像的数量选择)进行研究。将两个不同分辨率的数据集分别输入到低分辨率和高分辨率的网络，重建高质量多尺度的脑血管。
[0093]
首先是多视角信息融合阶段，在高分辨率尺度下，图像尺寸为512
×
395像素。在低分辨率尺度下，每通道512
×
395像素被调整为每通道256
×
128像素。随后，在给定的两个不同尺度的条件下，图像沿每个视角的垂直方向被复制了512(256)次，导致在每个通道中生成包含512
×
512
×
395(256
×
256
×
128)的3d体素数据，并随机裁剪为512
×
512
×
32(256
×
256
×
32)。然后我们在卷积操作的过程中提取了每个通道的特征，卷积算子的大小是3
×3×3×
16，得到的数据是每个通道512
×
512
×
32
×
16(256
×
256
×
32
×
16)体素。再将每个通道得到的低分辨率数据相加，得到最终数据(256
×
256
×
32
×
16)体素，这是低分辨率重建阶段的输入数据。高分辨率数据的输入与低分辨率重建阶段的输出数据级联，得到的数据作为高分辨率重建阶段的输入。
[0094]
在低分辨率重建阶段，数据用于编码和解码，然后对数据进行连续的调整大小和卷积操作。我们使用3d u-net进行编码和解码。在编码过程中，数据经过四个循环的池化和卷积操作(卷积核大小：3
×3×
3)。在解码过程中，数据经过四个周期的上采样和卷积操作(卷积核大小：3
×3×
3)。跳跃连接的方法用于连接在编码和解码过程中获得的相同大小的数据。最后，16组数据经过1
×
1卷积操作整合为1组3d数据。在高分辨率重建阶段，使用相同的3du-net进行编码和解码，唯一的区别是输入数据的分辨率更高。在重建阶段结束后，使用阈值裁剪以去除显著的噪声。
[0095]
在自监督模块，对三维重建结果进行与输入图像相同角度的投影，并与输入图像进行比较，通过损失函数计算得到损失值后再对网络权重进行反向传播与梯度更新，完成一次完整的训练过程，经过几百次对所有数据训练后，即可得到充分学习后的网络权重，从而获得训练好的3d-dsa重建网络。在需要对新的数据进行重建时只需要将采集与去噪后的二维图像输入到已训练的网络权重即可。如图5所示为采用本发明一种3d-dsa图像的重建方法获得的重建结果示意图，从图5中可以看出即使是8个视角也能较好地重建出结果。
[0096]
此外，本发明还提供一种血管3d-dsa图像的重建系统，所述重建系统包括：
[0097]
图像采集装置，用于采集基于微血管的2d-dsa图像；
[0098]
图像处理模块，用于对所述2d-dsa图像进行去噪、去运动伪影以及去造影剂流动干扰预处理；
[0099]
3d-dsa重建网络训练模块，用于根据预先获得的2d-dsa图像构建特征数据库，基于所述特征数据库对深度神经网络进行训练优化，获得训练好的3d-dsa重建网络；
[0100]
图像重建模块，用于将预处理后的所述2d-dsa图像以及对应的相机参数输入至训练好的3d-dsa重建网络中，获得重建的3d-dsa图像。
[0101]
本实施例的血管3d-dsa图像的重建系统，可以通过采集极少的基于微血管的2d-dsa图像有效地重建多尺度人类脑血管系统，在确保重建图像质量的同时，能够显著降低病人所承受的辐射剂量。