基于血管图像的血管功能评估方法和血管功能评估装置与流程

1.本公开涉及一种基于血管图像的血管功能评估方法和血管功能评估装置。


背景技术：

2.当由于冠状动脉病变而使心脏供血不足时，可能会发生心肌缺血。病变信息可通过计算机断层扫描血管造影（cta）或冠状x线血管造影（cag）等放射学技术进行评估。在这些技术中，通常在捕获图像的同时将造影剂注入血流。造影剂突出显示冠状血管的管腔结构，然后可以进行医学图像分析以量化血管的几何形状。尽管这些技术提供了可视化血管几何形状的方法，但它们无法提供功能性血液供应和冠状动脉病变的血流动力学意义的评估。例如，来自血管几何形状的严重狭窄可能不会明显导致该血管向心肌块的血液供应不足。仅基于这种视觉解释的病变诊断可能会导致不必要的经皮冠状动脉介入治疗（pci）。
3.目前评估冠状动脉病变在提供血液中的功能重要性的金标准是基于有创造影术中的功能评估，包括血流储备分数（fractional flow reserve, ffr）或者瞬时无波形比值（instantaneous wave-free ratio, ifr）等。此外，基于cta或cag的ffr仿真技术采用血管几何建模和血液动力学控制方程来求解血液动力学参数。现有技术可以从独立的cta或cag成像技术获得虚拟ffr评估，然而这两者都有其优势和局限性。
4.在cta衍生的虚拟ffr中，从cta体积数据中分割出与血管腔相对应的区域，并将其重建为3d冠状动脉树。在cta中，每个体素都有固定的已知空间尺寸。因此，cta保留了出色的空间完整性，从cta重建的3d模型包含准确的位置信息。但是，由于分辨率的限制，cta分割可能不足以进行精确的血管管腔尺寸（即假设血管呈管状结构的半径）的估算。另外，一些与cta相关的成像问题（例如与严重钙化有关的运动伪影和泛光伪影）可能会严重妨碍邻近区域血管的精确分割，尤其是对于病变狭窄的准确重塑。最后，cta成像不提供患者特定的血流信息，这对于ffr计算很重要。
5.在cag衍生的虚拟ffr中，通常使用来自不同角度和预定义角度的两个或多个2d血管造影术序列来重建血管的3d模型。cag图像是当前狭窄量化的黄金标准。由于x射线图像的分辨率更高，因此与cta衍生的对应物相比，可以更准确地描绘血管边界，同时还能够提取患者特定的冠状动脉血流信息，例如，可以使用基于timi（心肌梗塞中的血栓溶解）帧计数方法的方法。基于cag成像的虚拟ffr的主要局限性是从2d图像的多个视图进行3d重建时遇到的困难。首先，从数量有限的视图中重建3d模型时会存在固有的模糊性，尤其是在血管轮廓重叠的区域。其次，图像序列之间的视角必须大于特定的阈值（例如25度），以允许在两个视图之间进行准确的重建，理想地，视角应垂直于感兴趣的血管，以便完全捕获其包括病变的真实几何形状。然而，在临床常规过程中，确保介入医师的这种精确操作是不切实际的。实际上，视角偏离直角的距离越多，发生的透视就越多，从而导致重建模型中血管的长度和半径的准确性越差。在血管重建过程中，至少需要两个视角来进行血管重建，这会给介入医师带来额外的干扰，这不可避免地增加了临床工作量和负担。
6.此外，基于流场仿真的计算方法需要对血管进行网格划分，并且求解复杂的流体
力学偏微分方程，计算量大。且该类方法是基于模型的方法，模型中需要的参数是基于经验所得或者基于少量数据进行调节的，模型的扩展性差，同时模型性能也不会随着数据量的增加而提升。


技术实现要素：

7.提供本公开是为了克服上述技术缺陷。本公开引入了该方法在对血管功能进行评估时，获取的血管至少一个位置的特征信息融合了血管cta图像的整体空间特征信息和血管cag图像的受益于图像高分辨率的血管特征信息的方法，如此能有效对血管功能进行评估，同时减少介入医师的临床工作量和负担。
8.在第一方面，本公开提供了一种基于血管图像的血管功能评估方法，包括：获取血管的cta图像和所述血管的cag图像；基于所获取的所述血管的cta图像，提取所述血管的3d中心线；基于所获取的所述血管的cag图像，提取所述血管的2d中心线；建立所述血管的3d中心线和所述血管的2d中心线之间的映射关系，以得到3d中心线和2d中心线各点的对应关系；获取3d中心线上的至少一个位置的第二特征信息，使得各个位置的第二特征信息至少包含从所述血管的cag图像提取的该位置对应的第一特征信息；基于3d中心线上的至少一个位置的第二特征信息，利用训练好的学习网络，确定所述至少一个位置的血管功能评估参数。
9.在第二方面，本公开提供了一种基于血管图像的血管功能评估装置，包括接口和至少一个处理器。所述接口配置为获取血管的cta图像和所述血管的cag图像。所述至少一个处理器可以配置为执行根据本公开各个实施例的基于血管图像的血管功能评估方法。该血管功能评估方法包括如下步骤。可以获取血管的cta图像和所述血管的cag图像。可以基于所获取的所述血管的cta图像，提取所述血管的3d中心线。可以基于所获取的所述血管的cag图像，提取所述血管的2d中心线。可以将所述血管的3d中心线和所述血管的2d中心线，通过包括配准等在内的方法建立3d中心线和2d中心线之间的映射关系。建立映射关系后，从而可以获取3d中心线上的至少一个位置的第二特征信息，使得各个位置的第二特征信息至少包含从所述血管的cag图像提取的该位置对应的第一特征信息。可以基于所获取的3d中心线上的至少一个位置的第二特征信息，利用训练好的学习网络，确定所述至少一个位置的血管功能评估参数。
10.在第三方面，本公开提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据本公开第一方面各实施例的血管功能评估方法。
11.如此，本公开的第一、第二、第三方面从cta图像提取的3d中心线上的第二特征信息融合了血管cta图像的整体空间特征信息和cag图像的受益于图像高分辨率的血管特征信息，这样基于第二特征信息能够更准确地确定血管功能评估参数，同时减少介入医师的临床工作量和负担。
12.应当理解，以上一般性描述和以下详细描述仅为示例性和说明性的，并不作为对要求保护的本发明的限制。
附图说明
13.在不一定按比例绘制的附图中，相同的附图标记可以描述不同视图中的类似部
件。具有字母后缀或不同字母后缀的相同数字可表示类似部件的不同实例。附图通常通过示例而非通过限制的方式示出了各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是例证性的，而并非旨在作为本方法、装置、系统或其上存储有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他实施例。
14.图1a示出了根据本公开实施例的血管功能评估方法的流程图。
15.图1b示出了根据本公开实施例的各个位置的第二特征信息获取方法的一流程图。
16.图1c示出了根据本公开实施例的各个位置的第二特征信息获取方法的又一流程图。
17.图2示出了根据本公开实施例的血管功能评估方法的示意图。
18.图3a示出了根据本公开的实施例的cag图像。
19.图3b示出了根据本公开的实施例的cag图像的二元图。
20.图3c示出了根据本公开的实施例的中心线映射结果。
21.图4示出了根据本公开的实施例的半径转移后的血管图像。
22.图5示出了根据本公开的实施例的血管功能评估装置的框图。
23.图6示出了根据本公开的另一实施例的血管功能评估装置的框图。
具体实施方式
24.本文中的表述“第一图像”和“第二图像”仅仅是出于表述的目的对图像进行区分，并不旨在限定数量，“第一图像”和“第二图像”也可以是相同的一幅图像或者不同的图像。本文中所描述的各个流程中，附图中所示的步骤顺序仅仅作为示例，在不影响各个步骤的逻辑关系的情况下，相关步骤可以采用与图示不同的顺序来灵活执行。
25.图1a示出了根据本公开实施例的基于血管图像的血管功能评估方法的流程图。图2示出了根据本公开实施例的基于血管图像的血管功能评估方法的示意图。
26.在步骤s1中，获取血管的cta图像（如图2的101）和所述血管的cag图像（如图2的103）；在步骤s2中，基于所获取的所述血管的cta图像，提取所述血管的3d中心线（如图2的102）。步骤s2中对血管的3d中心线的“获取”包含直接取得现成的3d中心线或者通过对计算机断层扫描造影（cta）图像的一系列处理来提取得到。比如：在血管的cta成像装置中，通常在血管功能评估装置中安装有血管的3d中心线的提取单元（软件模块），用于提取血管的3d中心线。步骤s2可以通过利用独立的获取单元与该提取单元交互以取得后者提取出的现成的3d中心线，也可以自主执行一系列提取步骤来得到血管的3d中心线。在一些实施例中，从cta图像中提取血管树的3d中心线包括：接收所述cta图像；对所述cta图像进行血管分割。可以采用常用的图像分割方式，在此不做出限定。在一些实施例中，血管包括冠脉树，基于所述cta图像的分割结果，可以获取左冠状动脉（lca）和右冠状动脉（rca）的冠脉树，从冠脉树中可以提取其3d中心线。该3d中心线可以提供冠脉解剖结构的准确空间信息，以用于血管模型的重建。
27.在一些实施例中，上述过程还可以同时获取血管的3d血管几何信息，至少包括3d中心线上各个位置的半径，还可以包括直径、3d位置信息等。
28.在步骤s3中，基于所获取的所述血管的cag图像，提取所述血管的2d中心线（如图2
的104）。
29.在一些实施例中，以冠脉树和冠脉x射线造影术（cag）图像作为示例进行说明。血管的cag图像和冠脉树、冠脉x射线造影术（cag）图像的处理过程则相同。在传统的基于cag图像重建血管树模型的过程中，通常使用不同投影角度的两个血管2d图像序列来重建血管树的3d模型，为了确保重建的效果，需要医师谨慎地选择两个2d图像序列的投影角度和夹角，以尽量消除缩短和变形；而且缩短和变形频繁发生，导致无法从基于cag的3d重建中恢复完整的空间信息。
30.在本公开提供的方法中，可以结合使用上述3d中心线提供的冠脉解剖结构的准确空间信息，因此只需要获取单个投影角度的cag图像，就可以实现血管3d模型的准确重建，且对于单个投影角度的选择没有严格要求，这大大减轻了介入医师的工作负担。获取2个投影角度的血管的cag图像序列是心血管检查中的例行常见检查，也可以复用例行采集的2个投影角度的血管的cag图像序列中的任一投影角度的血管树的cag图像，以执行根据本公开的准确的血管树的3d重建的流程。根据本公开的基于血管图像的血管功能评估方法可以利用例行常见的心血管检查结果，来执行根据本公开的准确的血管的3d重建的流程，从而实现成本低，且用户友好度较高。
31.步骤s3中所述血管的2d中心线和2d血管几何信息的获取方式类似于3d中心线的获取方式，可以直接取得现成的2d中心线和2d血管几何信息（例如从cag成像装置配套的2d提取软件模块获取），或者通过对cag图像的一系列处理来提取得到。在一些实施例中，从cag图像中提取血管的2d中心线和2d血管几何信息包括：接收所述cag图像；对所述cag图像进行血管分割；而可以采用常用的图像分割方式，如通过算法自动实现或者通过界标识别由介入医师指定要重建的关注的血管段的近端和远端来实现，在此不做出限定。在一些实施例中，血管树包括冠脉树，基于所述cag图像的分割结果，可以提取血管的2d中心线和2d血管几何信息，常用的提取方法如基于深度卷积神经网络（例如但不限于u-net）的方法等，在此不做出限定。在一些实施例中，所述2d血管几何信息至少包括2d中心线上各个位置的半径，还可以包括直径、2d位置信息等。
32.图3a示出了根据本公开的实施例的cag图像。如图3a所示，cag图像能够提供准确的2d血管几何信息，相较于cta图像其血管几何信息在二维上具有更好的准确性和更高的图像分辨率。
33.步骤s3之后可以建立所述血管的3d中心线和所述血管的2d中心线之间的映射关系，以便整合来自cta图像的3d中心线的整体3d空间信息和来自cag图像的中心线的详细2d血管几何信息，从而实现准确的3d建模（如图2的105），所得的3d模型兼具准确的3d空间信息以及细节处准确的2d血管几何信息。本公开以将所述血管的3d中心线配准到所述血管的2d中心线，以得到配准后的3d中心线作为建立该映射关系的示例（图1a的步骤s4），也可以采用其它各种建立该映射关系的方法，比如建议映射表格或者基于模型学习的方法建立该映射关系，在此不再做具体限定。
34.在一些实施例中，也可以引入机器学习算法来建立3d和2d的血管树中心线。再例如，也可以包括可以确定所述血管的2d血管二元图，所述2d血管二元图中的二元值表示对应像素是否属于血管。可以利用所述3d血管几何信息，来构建用于将所述3d中心线投影到所述2d血管二元图的投影矩阵。以及，可以优化所述投影矩阵以最小化投影损失。在一些实
施例中，可以采用刚性变换的方法来配准3d和2d的血管树中心线，刚性变换是指通过旋转和平移进行的空间变换。在一些实施例中，也可以通过结合基于刚性变换的投影矩阵的初始化以及后续优化算法（例如但不限于基于深度学习的优化、基于配准对象双方之间的相似性（例如互信息等指标）的优化等等），如此可以在确保配准精确度的同时保持合理的计算负荷和计算耗时。
35.图3b示出了根据本公开的实施例的所述血管（例如冠脉树）的2d血管二元图，所述2d血管二元图中的二元值（黑色表示背景且白色表示血管）表示对应像素是否属于血管。可见，相比于图3a原始的cag图像，图3b的二元图只显示出明显的血管主体，血管树中的分支和重叠的部分被忽略，也就是说血管的空间结构信息在cag图像中无法被准确地呈现，本公开的基于血管图像的血管功能评估方法则有效利用cta图像提供的3d空间信息对其进行弥补。
36.在本实施例，利用所述3d血管几何信息构建用于将所述3d中心线投影到所述2d血管二元图的投影矩阵。前述获取的3d血管几何信息作为构建投影矩阵的依据之一，初始投影矩阵的构建还可以根据cag图像的dicom元数据中存储的成像参数来构建，该成像参数包括但不限于成像角度、坐标系中的坐标值等等。所构建的投影矩阵旨在将cta的3d中心线投影到cag图像的2d血管图，在初始投影矩阵的基础上，可以来优化投影矩阵以最小化投影损失，优化后的投影矩阵即可用于执行配准。
37.优化方法包括但不限于基于深度学习的方法以及基于3d中心线与2d血管二元图之间的相似度来进行优化的方法。如图3c所示，经过优化投影后的中心线配准结果，其能够显示出血管树中重叠和分支的血管空间结构。建立了3d血管中心线和2d血管图之间的映射后，能够有效地利用cta图像提供的准确的血管树空间结构信息，以弥补cag图像的空间信息模糊不全的缺陷，同时上述cag图像为单个投影角度获取的图像，无需获取多个投影角度，这大大减轻了介入医师的工作负荷。
38.本公开基于通过建立3d和2d的中心线映射关系，报告两条中心线上的各点之间的对应关系，可以将所述血管树的2d中心线上各个位置的2d血管几何信息转移到（赋值给）所述血管树的3d中心线上的相应位置。如上所述，cag图像能够提供准确的2d血管几何信息，相较于cta图像其血管集合信息具有更好的准确性。因此，将2d血管几何信息转移到血管树的3d中心线上的相应位置，能够使得转移后的血管既具备准确的3d空间结构信息，同时又具备准确且详细的2d血管几何信息，投影结果如图4所示，其中体现了具有准确半径信息（转移得到）的投影后的混合中心线的图像。
39.在步骤s5中，获取配准后的3d中心线上的至少一个位置的第二特征信息，使得各个位置的第二特征信息至少包含从所述血管的cag图像提取的该位置对应的第一特征信息，这样可以获得两种模态对应的特征信息。
40.在一些实施例中，所述至少一个位置分布于血管树、血管分支、血管路径、单个血管位置中的至少一个上。所述至少一个位置的特征信息包括一系列的位置的特征信息或者树结构的多个位置的特征信息。从而，本公开能够对任何血管形态、位置图像进行血管功能评估，这样能够适用不同患者的血管功能评估。
41.本公开中以血管树作为示例进行说明。本公开的所述血管的3d中心线配准到所述血管的2d中心线后，位于3dcta 中心线上的点可以匹配和2d cag 中心线上的点，从而可
以得到两种模态下中心线点的对应关系。在此基础上，可以进一步提取两种模态对应的影像信息、几何信息，功能信息等。
42.在一些实施例中，各个位置的第二特征信息包含从所述血管的cag图像提取的该位置对应的结构信息和/或功能信息，此时，将从cag图像提取的对应位置的结构信息和/或功能信息作为获取的单个血管位置的第二特征信息。所述结构信息包括血管半径、狭窄程度和血管曲率中的至少一种，所述功能信息包括流动帧差值和血流相关信息中的至少一种。所述流动帧差值是指血液在血管中流动的时间帧差。其测量可以方法为：计算血液从血管的第一位置流动到第二位置所用的时间。所述血流相关信息包括血流速度，其计算方法可以为：分别获取血液从血管的第一位置流动到第二位置所用的时间、第一位置到第二位置之间的距离，将第一位置到第二位置之间的距离除以从血管的第一位置流动到第二位置所用的时间，便可计算得到血流速度。此外还可以采用心肌梗死溶栓治疗临床试验（timi）血流计帧法来确定患者特异性的当前的血流信息。由于血管半径、狭窄程度和血管曲率等参数都是反映血管具体而精细的结构参数，流动帧差值和血流相关信息是反映血管功能情况具体而精细的参数，这样能使获取的第二特征信息具有更准确的空间结构信息、血管几何信息和血管功能信息。
43.在一些实施例中，各个位置的第二特征信息包含从所述血管的cag图像提取的该位置对应的结构信息和/或功能信息，以及（结合）从所述血管的cta图像提取的该位置对应的周边图像信息；其中，各个位置对应的周边图像信息包括该位置周边的图像块、基于该位置周边的图像块提取的预定义的显性图像特征信息和基于该位置周边的图像块利用学习网络提取的隐性图像特征信息中的至少一种。比如，血管某一位置的周边骨骼。则血管某一位置的周边图像信息包括：骨骼图像块、基于该骨骼图像块提取的预定义的显性图像特征信息和隐性图像特征信息中的至少一种。鉴于cta图像能够表征在立体空间上的各个体素之间的关联性，该第二特征信息从所述血管的cag图像提取的该位置对应的结构信息和/或功能信息的基础上融合了从所述血管的cta图像提取的该位置对应的周边图像信息，能获得丰富全面的本地连同周边的特征信息。
44.在一些实施例中，若各个位置对应的周边图像信息为基于该位置周边的图像块利用学习网络提取的隐性图像特征信息，各个位置的第二特征信息的提取可以通过步骤s201-s203来实现，如图1b所示。具体说来，在s201，从所述血管的cag图像中该位置周边的图像块利用学习网络提取第一特征图；在s202，从所述血管的cta图像中该位置周边的图像块提取第二特征图；在s203，将所述第一特征图与所述第二特征图连接得到各个位置的第二特征信息。这样所述第二特征信息则融合了所述血管的cag图像中该位置的周边的图像信息，由于血管上单点的特征与其附近点的特征往往具有较强关联性，这种信息融合能有助于提升单点上的预测精度，便于得到能够表征二维上的高分辨率兼具三维上全面的空间约束关系的周边特征信息，从而实现更准确的血管功能评估。
45.例如，可以对于cta图像提取图像块（例如立方块），经由3d 编码器（作为特征提取单元）得到维度为32*32*32（x轴、y轴和z轴上的尺寸）*64（个通道）的特征图，作为所述第二特征图。类似地，对于cag图像也是提取同空间位置所对应的图像块（线或图像块），经由2d编码器（作为特征提取单元）得到维度为32*32（二维平面上的尺寸）*64（个通道）的特征图，作为所述第一特征图。可以将所述第一特征图和第二特征图连接（concatenate），例如可以
将各个特征图展开为一维并首尾相连，以得到各个位置的所述第二特征信息。各个位置的第二特征信息可以馈送到解码器（作为分类器或者回归器，以得到所需的血管功能评估参数。
46.在一些实施例中，也可以先将经由造影剂体现血流相关特征信息的cag图像的图像信息融合到cta的图像块，得到融合的3d图像块。在对于融合的3d图像块提取第二特征信息，如此得到的第二特征信息中也能够表征二维上的高分辨率兼具三维上全面的空间约束关系，从而实现更准确的血管功能评估。
47.在一些实施例中，各个位置的第二特征信息可以经由步骤s301-s303来获取，如图1c所示。具体说来，在s301，确定所述血管的cag图像中该位置的血流参数；在s302，从所述血管的cta图像中该位置周边的图像块提取第二特征图；在s303，将所述血流参数与所述第二特征图连接得到各个位置的第二特征信息。这样所述第二特征信息则融合了所述血管的cag图像中该位置的血流参数，便于后续得到准确的血管功能评估参数。
48.例如，可以对cag图像添加一个时间轴，从而得到维度为32*32（二维平面上的尺寸）*5（帧，前两帧 当前帧 后两帧）的图像块。可以基于这5帧确定当前帧的流速参数。相应地，该一维的流速参数也可以与图像块的特征图连接（concatenate），例如可以将图像块的特征图展开为一维并与流速参数连接起来作为所述第二特征信息，如此得到的第二特征信息可以再馈送到解码器，以得到所需的血管功能评估参数。
49.在一些实施例中，各个位置的第二特征信息包含从所述血管的cag图像提取的该位置对应的结构信息和/或功能信息，以及从所述血管的cta图像提取的该位置对应的周边空间结构信息；此时，所述第二特征信息不仅融合了从cag图像提取的该位置对应的结构信息和/或功能信息，还融合了从所述血管的cta图像提取的该位置对应的周边空间结构信息，这样能更准确、全面反映该位置的空间结构。
50.在一些实施例中，各个位置的第二特征信息包含从所述血管的cag图像提取的该位置对应的周边图像信息以及从所述血管的cta图像提取的该位置对应的周边图像信息。在此第二特征信息融合了从所述血管的cag图像提取的该位置对应的周边图像信息以及从所述血管的cta图像提取的该位置对应的周边图像信息，这样能获得更准确的空间信息。
51.本公开采用血管上的单点特征融合中心线上多点特征对某一点结果进行预测，能让后续的模型预测更加准确。因为血管上单点的特征与其附近点的特征往往具有较强关联性，这种信息融合能有助于提升模型在单点上的预测精度。以上关于各个位置的第二特征信息的各个组合仅仅作为示例，只要能够使得各个位置的第二特征信息至少包含从所述血管的cag图像提取的该位置对应的第一特征信息都可以结合于此，在此不做特别限定。
52.在步骤s6中，基于所获取的配准后的3d中心线上的至少一个位置的第二特征信息，利用训练好的学习网络，确定所述至少一个位置的血管功能评估参数。其中，血管功能评估参数包括血管功能评估的分类参数和/或预测参数（如图2的106）。
53.本公开获取3d中心线上的第二特征信息后，可以通过机器学习网络对血管进行功能评估。具体为可以采用分类或回归网络对血管进行分类（是否缺血）或者得到预测值（比如ffr阴阳性及ffr值）。学习网络的输出结果可以是针对整个血管树、血管分支、血管路径的分类或者回归结果，也可以是中心线上各点的分类或者预测值，在此不做具体的限定。学习网络的输入可以是3d中心线上各点的多模态特征（第二特征信息），其包括血管的几何信
息（血管半径，狭窄程度等）和/或功能信息（流动帧差，血流平均流速等）和/或影像信息（cta上血管及周边区域像素值等）等。同时学习网络的输入信息也可以是图像块或者经过处理后的特征（比如采用encoder之后提取的特征）。机器学习网络可以是传统机器学习算法，比如支持向量机（svm）、随机森林和决策树等，也可以是基于深度学习模型。
54.在一些实施例中，所述至少一个位置的特征信息包括一系列的位置的特征信息，所述学习网络包括递归神经网络；在递归神经网络中，可以将血管中心点上的特征序列作为输入，输出是融合后的特征，应用融合特征训练相应的分类器或回归模型从而达到准确预测中心线上每个点的结果。
55.在一些实施例中，所述至少一个位置的特征信息包括树结构的多个位置的特征信息，所述学习网络包括树形学习网络和/或图结构学习网络。具体地，所述学习网络可以采用基于血管路径的递归神经网络模型，或者基于血管树形的树形网络模型。
56.综上，本公开第一方面提供的方法，从cta图像提取的3d中心线上的第二特征信息融合了血管cta图像的表征整体空间约束关系的特征信息和cag图像的源自高分辨率图像信息的特征信息，这样基于第二特征信息能够更准确的确定血管功能评估参数，同时减少介入医师的临床工作量和负担。如此，不仅相较传统的cta图像和cag图像可以生成更准确的血管树的3d模型，同时采用机器学习方法能够更方便融合不同模态的信息，从而更有效对血管功能进行评估。从医师角度来看，不仅可以根据几何窄化信息来评估血管病变的严重程度，还能够获得患者特异性的实时的定量功能信息，包括血管树各处的空间位置定位精准的ffr以及血流信息，使得医师能够更迅速更准确地进行临床决策。此外，根据本公开的各种实施例的血管功能评估方法，高效利用和融合了常见的心血管临床检查的结果，并不依赖于新的成像模态（新模态的成像装置），由此适于在临床推广，用户友好度较高，成本也得到有效控制。
57.本公开的第二方面提供了一种基于血管图像的血管功能评估装置，如图5所示，该装置包括图像获取单元501、第一中心线提取单元502、第二中心线提取单元503、中心线配准单元504和特征信息获取单元505和血管功能评估单元506。其中，图像获取单元501被配置为获取血管的cta图像和所述血管的cag图像。第一中心线提取单元502被配置为基于所获取的所述血管的cta图像，提取所述血管的3d中心线。第二中心线提取单元503被配置为基于所获取的所述血管的cag图像，提取所述血管的2d中心线。中心线配准单元504，被配置为建立所述血管的3d中心线和所述血管的2d中心线之间的映射关系。本公开以将所述血管的3d中心线配准到所述血管的2d中心线，以得到配准后的3d中心线作为建立该映射关系的示例。特征信息获取单元505被配置为获取配准后的3d中心线上的至少一个位置的第二特征信息，使得各个位置的第二特征信息至少包含从所述血管的cag图像提取的该位置对应的第一特征信息。血管功能评估单元506被配置为基于所获取的配准后的3d中心线上的至少一个位置的第二特征信息，利用训练好的学习网络，确定所述至少一个位置的血管功能评估参数。
58.在一些实施例中，各个位置的第二特征信息包含从所述血管的cag图像提取的该位置对应的结构信息和/或功能信息；和/或各个位置的第二特征信息包含从所述血管的cag图像提取的该位置对应的结构信息和/或功能信息，以及从所述血管的cta图像提取的该位置对应的周边图像信息；和/或各个位置的第二特征信息包含从所述血管的cag图像提
取的该位置对应的结构信息和/或功能信息，以及从所述血管的cta图像提取的该位置对应的周边空间结构信息；和/或各个位置的第二特征信息包含从所述血管的cag图像提取的该位置对应的周边图像信息以及从所述血管的cta图像提取的该位置对应的周边图像信息。
59.在一些实施例中，所述结构信息包括血管半径、狭窄程度和血管曲率中的至少一种，所述功能信息包括流动帧差值和血流相关信息中的至少一种，所述血管功能评估参数包括血流压力、压降、血流速度、血流量、壁面剪切力、血流储备分数（ffr）、相邻血管中心线点之间的ffr变化、瞬时无波形比值（ifr）以及相邻血管中心线点之间的ifr变化中的至少一种；和/或各个位置对应的周边图像信息包括该位置周边的图像块、基于该位置周边的图像块提取的预定义的显性图像特征信息和基于该位置周边的图像块利用学习网络提取的隐性图像特征信息中的至少一种。
60.在一些实施例中，各个位置对应的周边图像信息为基于该位置周边的图像块利用学习网络提取的隐性图像特征信息，所述特征信息获取单元505，被配置为从所述血管的cag图像中该位置周边的图像块利用学习网络提取第一特征图；从所述血管的cta图像中该位置周边的图像块提取第二特征图；将所述第一特征图与所述第二特征图连接得到各个位置的第二特征信息。
61.在一些实施例中，所述特征信息获取单元505，被配置为确定所述血管的cag图像中该位置的血流参数；从所述血管的cta图像中该位置周边的图像块提取第二特征图；将所述血流参数与所述第二特征图连接得到各个位置的第二特征信息。
62.在一些实施例中，所述至少一个位置的特征信息包括一系列的位置的特征信息，所述学习网络包括递归神经网络；和/或所述至少一个位置的特征信息包括树结构的多个位置的特征信息，所述学习网络包括树形学习网络和/或图结构学习网络。
63.在一些实施例中，血管功能评估参数包括血管功能评估的分类参数和/或预测参数。例如，分类参数包括血管是否发生功能异常、血管的功能异常级别（是否需要医疗介入）等等。又例如，预测参数可以表示连续的预测值，例如但不限于血流压力、压降、血流速度、血流量、壁面剪切力、血流储备分数（ffr）、相邻血管中心线点之间的ffr变化、瞬时无波形比值（ifr）以及相邻血管中心线点之间的ifr变化等。
64.在一些实施例中，所述至少一个位置分布于血管树、血管分支、血管路径、单个血管位置中的至少一个上。
65.本公开第二方面提供的装置，结合了血管树cta图像的整体空间信息和单个投影角度的cag图像的血管几何信息，如此能够获得更加准确的血管树3d模型，同时减少介入医师的临床工作量和负担。
66.图6示出了根据本公开的另一实施例的基于血管图像的血管功能评估装置的框图。所述血管功能评估装置可以包括接口607。该接口607被配置为接收由例如图像采集装置采集的血管图像等。该接口607可以采用各种通信接口。在一些实施例中，借助于接口607，血管功能评估装置可以连接到网络（未示出），例如但不限于医院中的局域网或互联网。接口607可以包括网络适配器、电缆连接器、串行连接器、usb连接器、并行连接器、诸如光纤的高速数据传输适配器、usb 9.0、闪电、无线网络适配器如wifi适配器、电信（9g、4g / lte等）适配器。网络可以提供局域网（lan）、无线网络、云计算环境（例如，作为服务的软件、作为服务的平台、作为服务的基础设施等）、客户端-服务器、广域网（wan）等的功能。
67.例如，可以经由网络将血管功能评估装置与诸如图像采集装置（未示出）的外部装置、医学图像数据库608、图像数据存储装置609连接。图像采集装置可以是能够获取图像的任何装置，例如cta成像装置、cag成像装置、dsa成像设备、mri成像设备、ct成像设备、pet成像设备、超声设备、荧光透视设备、spect成像设备或用于获得患者的医学图像的其他医学成像设备。例如，成像装置可以是肺部ct成像装置等。
68.在一些实施例中，血管功能评估装置可以是专用智能装置或通用智能装置，例如，为图像数据采集和图像数据处理任务定制的计算机，或者置于云端的服务器。血管功能评估装置可以被集成到图像采集装置中。可选地，该装置可以包括或者与3d重建单元协作，3d重建单元用于基于由图像采集装置采集的图像来重建3d图像。
69.血管功能评估装置可以包括（至少一个）处理器601和存储器604，并且可以另外包括输入/输出602和图像显示器603中的至少一个。
70.处理器601可以是包括一个或多个通用处理设备（诸如微处理器、中央处理单元（cpu）、图形处理单元（gpu）等）的处理设备。更具体地说，处理器601可以是复杂指令集计算（cisc）微处理器、精简指令集计算（risc）微处理器、超长指令字（vliw）微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器601也可以是一个或多个专用处理设备，例如专用集成电路（asic）、现场可编程门阵列（fpga）、数字信号处理器（dsp）、片上系统（soc）等等。如本领域技术人员将理解的，在一些实施例中，处理器601可以是专用处理器，而不是通用处理器。处理器601可以包括一个或多个已知处理设备，诸如由英特尔公司制造的pentium tm
、core tm
、xeon tm
或itanium tm
系列的微处理器，由amd公司制造的turion tm
、athlon tm
、sempron tm
、opteron tm
、fx
™
、phenom
™
系列的微处理器或太阳微系统（sun microsystems）制造的各种处理器的任一种。处理器601还可以包括图形处理单元，诸如来自nvidia公司制造的geforce
®
、quadro
®
、tesla
®
系列的gpu，由英特尔公司制造的gma、iris tm
系列的gpu或者由amd 公司制造的radeon tm
系列gpu。处理器601还可以包括加速的处理单元，诸如amd公司制造的桌面a-4（6,8）系列，英特尔公司制造的xeon phi tm
系列。所公开的实施例不限于任何类型的处理器或处理器电路，这些处理器或处理器电路以其他方式被配置为满足如下计算需求：识别、分析、计算、维护和/或提供大量成像数据或操纵此类成像数据以与所公开的实施例一致。另外，术语“处理器”或“图像处理器”可以包括多于一个处理器，例如，多核设计或多个处理器，所述多个处理器中的每个处理器具有多核设计。处理器601可以执行存储在存储器604中的计算机程序指令的序列，以执行本文公开的各种操作、过程、方法。
71.处理器601可以通信地耦合到存储器604并且被配置为执行存储在其中的计算机可执行指令。存储器604可以包括只读存储器（rom）、闪存、随机存取存储器（ram）、诸如同步dram（sdram）或rambus dram的动态随机存取存储器（dram）、静态存储器（例如，闪存、静态随机存取存储器）等，其上以任何格式存储计算机可执行指令。在一些实施例中，存储器604可以存储一个或多个图像处理程序605的计算机可执行指令。计算机程序指令可以被处理器601访问，从rom或者任何其他合适的存储位置读取，并加载到ram中供处理器601执行。例如，存储器604可以存储一个或多个软件应用程序。存储在存储器604中的软件应用程序可以包括例如用于通用计算机系统的操作系统（未示出）以及软控制设备。此外，存储器604可以存储整个软件应用程序或仅存储软件应用程序的一部分（例如图像处理程序605）以能够
由处理器601执行。另外，存储器604可以存储多个软件模块，用于实现根据本公开各个实施例的血管功能评估方法。例如，如图5中所示的图像获取单元501、第一中心线提取单元502、第二中心线提取单元503、中心线配准单元504和特征信息获取单元505和血管功能评估单元506可以作为软件模块存储在存储器604上，或加载到存储器604上，以执行根据本公开各个实施例的血管功能评估方法的对应步骤。
72.此外，存储器604可以存储在执行计算机程序时生成/缓存的数据，例如医学图像数据606，其包括从图像采集装置、医学图像数据库608、图像数据存储装置609等发送的医学图像。处理器601可以执行图像处理程序605以实现用于本公开的血管功能评估方法。在一些实施例中，当执行图像处理程序605时，处理器601可以将图像处理过程中的数据以及学习网络传输到存储器604，以便将其保留作为医学图像数据606。可选地，存储器604可以与医学图像数据库608通信以从中获得图像，以供其他医学图像处理装置视需要访问、获得和利用。
73.输入/输出602可以被配置为允许血管功能评估装置接收和/或发送数据。输入/输出602可以包括允许血管功能评估装置与用户或其他机器和设备通信的一个或多个数字和/或模拟通信设备。例如，输入/输出602可以包括允许用户提供输入的键盘和鼠标。
74.除了显示医学图像之外，图像显示器603还可以显示其他信息。图像显示器603可以是lcd、crt或led显示器。
75.这里描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。这样的内容可以是可直接执行（“对象”或“可执行”形式）的源代码或差异代码（“增量”或“块”代码）。软件代码或指令可以存储在计算机可读存储介质中，并且当被执行时，可以使机器执行所描述的功能或操作，并且包括用于以机器可访问的形式存储信息的任何机构（例如，计算设备，电子系统等），诸如可记录或不可记录介质（例如，只读存储器（rom）、随机存取存储器（ram）、磁盘存储介质、光存储介质、闪存设备等）。
76.这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质，所述指令可操作以配置电子设备执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用java、python、c、c 、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被集成到计算机系统和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘（例如，光盘和数字视频盘）、磁带盒、存储卡或棒、随机存取存储器（ram），只读存储器（rom）等。
77.本公开的第三方面提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据本公开第一方面各实施例的血管功能评估方法。
78.公开第三方面提供的非暂时性计算机可读介质，当其上存储的指令由处理器执行时，其执行的方法结合了血管树cta图像的表征整体空间约束关系的特征信息和（至少一个）投影角度的cag图像的源自高分辨率图像信息的特征信息，如此能够获得更加准确的血
管功能评估参数，同时减少介入医师的临床工作量和负担。
79.此外，尽管在此描述了说明性实施例，但是范围包括具有基于本公开的等效要素、修改、省略、组合（例如，跨各种实施例的方案的组合）、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本技术的存续期间描述的示例。此外，所公开的方法的步骤可以以任何方式进行修改，包括通过重新排序步骤或插入或删除步骤。因此，意图仅仅将描述视为例子，真正的范围由以下权利要求及其全部等同范围表示。
80.以上描述旨在是说明性的而非限制性的。例如，上述示例（或其一个或多个方面）可以彼此组合使用。在阅读以上描述之后，例如本领域普通技术人员可以使用其他实施例。而且，在以上详细描述中，可以将各种特征组合在一起以简化本公开。这不应被解释为意图未请求保护的公开特征对于任何权利要求是必不可少的。因此，以下权利要求作为示例或实施例结合到具体实施方式中，其中每个权利要求自身作为单独的实施例，并且可以预期这些实施例可以以各种组合或置换彼此组合。应参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定本发明的范围。