一种冠状动脉路径图的生成方法、装置、可读存储介质

1.本发明涉及图像处理技术，更具体地，涉及一种冠状动脉路径图的生成方法、装置、可读存储介质。


背景技术：

2.经皮冠状动脉介入治疗（pci）所需的造影剂的数量取决于多个因素：首先最重要的是介入术者的经验，其次是解剖结构的复杂性，再次是靶血管靶病变及术式的复杂性。目前在pci期间，导引导丝在冠状动脉内推进，球囊导管及相关器械的推进及定位等操作均需反复进行冠状动脉内造影剂推注进行辅助或确认。
3.在pci术中，特别是在冠脉分支较多、血管迂曲、患者身体较胖、透视影像质量不好、血管影像重叠较多的情况下，术者对靶血管靶病变的辨识度明显下降，介入操作难度提升，需要反复推注造影剂进行辅助或确认，势必造成造影剂使用量增加，手术时间延长。目前已知造影剂相关并发症包括造影剂相关肾病，造影剂过敏等，严重时可能危及患者生命，而以上并发症的发生均与造影剂使用量正相关。传统的pci手术需要多次使用造影剂来确定导丝及血管位置，传统路径图制作方法包括取蒙片、取靶片、减影和叠加等计算过程，即只能对静态血管进行指导功能，不适用于心脏跳动、实时动态的pci手术环境。传统的动态冠脉路图需要大量的透视时间和造影剂剂量。发明人发现，已有的心脏动态路图，虽然为临床医生带来了一定的帮助，但因为只其考虑了心动周期（ecg），没有考虑呼吸运动的影响，由于心脏血管形态会受到呼吸运动的影响，因此传统的心脏动态路图在精度上不高，无法满足临床进行准确判断的需要，造成动态路图功能在临床上的使用频率并不高。另外，不仅传统的血管分割方法速度慢，而且ecg信号的接入需要对设备兼容性提出了更高的要求。


技术实现要素：

4.提供了本发明以解决现有技术中存在的上述问题。需要一种冠状动脉路径图的生成方法、装置、可读存储介质，其能够减少造影剂的使用量，降低造影剂对人体的副作用影响。同时，能够利用深度学习网络对包含呼吸和心跳两种运动特质的标记目标进行分割，以高效的方式获取准确度更高的动态冠状动脉路径图，以满足实时性的需要。
5.根据本发明的第一方案，一种冠状动脉路径图的生成方法，包括获取冠状动脉的动态的透视图像；获取冠状动脉的预设时间段的血管造影图像的序列，在所述预设时间段内心脏执行了周期性的运动；在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的血管造影图像；将所述透视图像与所述相位相符的血管造影图像进行融合，以生成动态的冠状动脉路径图。
6.根据本发明的第二方案，一种用于生成冠状动脉路径图的装置，所述装置包括处理器，所述处理器被配置为执行本发明各个实施例所述的冠状动脉路径图的生成方法。
7.根据本发明的第三方案，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发
明各个实施例所述的冠状动脉路径图的生成方法。
8.与现有技术相比，本发明实施例的有益效果在于：在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的血管造影图像，匹配精度高，将所述透视图像与所述相位相符的血管造影图像进行融合，以生成准确度高的动态的冠状动脉路径图。不仅有利于降低造影剂的使用量，减小造影剂对人体的伤害，而且，能够满足实时性的要求，为pci手术提供自动、实时的图像引导，为医生提供导丝和血管的连续和具体的位置反馈，极大降低了盲穿带来的风险。
9.上述的一般描述和以下的详细描述只是示例性和说明性的，并不旨在限制要求保护的发明。
附图说明
10.在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
11.图1示出根据本发明实施例的冠状动脉路径图的生成方法的流程图；图2示出根据本发明实施例的透视图像的图示；图3示出根据本发明实施例的在血管造影图像的序列中匹配出与透视图像的相位相符的血管造影图像的方法流程图；图4示出根据本发明实施例中经过图像配准后获得的血管造影图像的图示；图5示出根据本发明实施例的冠状动脉路径图的生成方法生成的冠状动脉路径图的图示；图6示出根据本发明实施例中用于执行冠状动脉路径图的生成方法的系统。
具体实施方式
12.为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。下面结合附图和具体实施例对本发明的实施例作进一步详细描述，但不作为对本发明的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
13.本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分部分的称谓。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
14.本发明使用的所有术语（包括技术术语或者科学术语）与本发明所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语
应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
15.图1示出根据本发明实施例的冠状动脉路径图的生成方法的流程图。
16.如步骤s101所示，所述冠状动脉路径图的生成方法包括获取冠状动脉的动态的透视图像，其中，所述动态的透视图像可以是术中实时获取的动态的透视图像，也可以是从图像数据库中提取的动态的透视图像或者基于其他方式获取的动态的透视图像，具体不做限定。其中，对于透视图像或摄影图像的获取方式包括但不限于通过各种成像模态直接获取，例如但不限于通过ct、mr、心肌核素扫描、螺旋ct、正电子发射断层扫描、x射线成像、荧光成像及超声成像等医学造影成像技术，或基于由成像装置获取的原始图像重建获得。例如，采用x射线成像对准估计的目标位置上的中心，执行透视扫描以获得的透视图像。其中，技术术语“获取”表示在有或没有附加降噪、裁剪、重建等图像处理的情况下直接或间接获得的任何方式。
17.如步骤s102所示，获取冠状动脉的预设时间段的血管造影图像的序列，在所述预设时间段内心脏执行了周期性的运动。其中，血管造影图像是对血管结构的成像，通过数字减影血管造影(dsa，digital subtraction angiography)设备等造影图像。数字减影血管造影是将在x射线照射下透明的含有机化合物的造影剂快速注入血流，将血管在x线照射下显影，将血管腔的显影过程拍摄下来，从显影的结果可以看到含有造影剂的血液流动顺序，以及血管充盈情况，从而了解血管的生理和解剖的变化。
18.具体地，例如，在最佳造影剂注射下获取冠状动脉的预设时间段的血管造影图像的序列。其中，最佳造影剂可以是指在将造影剂注入冠脉的感兴趣区域之后取得的图像，此时血管处于充盈状态，能够持续完成至少一个心脏运动周期。造影剂可以通过动脉注射的方式被添加到目标对象的血液中，在图像的拍摄过程中，利用造影剂对x摄像具有较强衰减的特性，实现目标对象的血管系统的显影从而获得血管充盈的灰度图像，通过对图像中的血管的观察可以辅助对血管疾病的诊断和治疗。
19.步骤s101和步骤s102不限定先后顺序，例如，可以先获取冠状动脉的动态的透视图像，再获取冠状动脉的预设时间段的血管造影图像的序列；也可以是先获取冠状动脉的预设时间段的血管造影图像的序列，再获取冠状动脉的动态的透视图像；还可以是同时获取冠状动脉的动态的透视图像和冠状动脉的预设时间段的血管造影图像的序列。
20.如步骤s103，在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的血管造影图像，以匹配出与当前透视图像匹配度最好的即处于至少相符的心动周期相位的血管造影图像，用于生成动态的冠状动脉路径图。注意，相符的相位至少包括心动周期相位，也可以进一步包括呼吸运动周期的相位。也就是说，至少心动周期的相位相符，也可以心动周期和呼吸运动周期的两个相位均相符。相符可以理解为完全相同或者存在可接受的偏差，在匹配时，两者之间的相位允许存在合理的偏差，当然此偏差需要在合理范围内，以保证匹配的精准度。其中，对于匹配的方法包括但不限于基于特征的图像配准方法，例如，提取两幅图像中的图像特征，基于图像特征来进行两幅图像的配准，以获得两幅图像中同名像点间的对应关系，仅以此为示例，还可以包括其他能够实现配准的方法。对于具体的匹
配方式不做具体限定，只要能够基于该实施例的构思在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的血管造影图像即可。
21.如步骤s104，将所述透视图像与所述相位相符的血管造影图像进行融合，以生成动态的冠状动脉路径图，以获取准确度更高的、动态的、实时的冠状动脉路径图，为医生进行pci手术提供精准导航，提高了手术效率，缩短了手术时间。基于所述实施例，无需使用更多造影剂，对导丝操作发挥更明确、更直观的指引作用，避免盲穿所引入的手术风险。例如，当患者患有心脏疾病，在进行心脏手术之前，医生可以提前向患者体内注入造影剂，保持心脏的感兴趣区域处于充盈，获取血管造影图像的序列。在手术过程中，医生可以向患者体内注入少量的造影剂甚至无需再次注入造影剂，在血管造影图像的序列中匹配出与术中实时的透视图像的相位相符的血管造影图像，将透视图像与相位相符的血管造影图像进行融合，即可生成实时的、精准的冠状动脉路径图。该实施方式仅仅为一种示例，并非作为对冠状动脉路径图生成方法的具体限定。此外，对于该实施例，无需外部设备介入，相应改善了设备的兼容性。
22.在一些实施例中，所述冠状动脉的动态的透视图像包括术中实时的冠状动脉的透视图像，以适应于心脏跳动、实时动态的pci手术环境，满足实时性的要求。在手术过程中，伴随着复杂的心跳过程，可以获取实时的动态的冠状动脉的透视图像，如图2所示，对于该动态的透视图像，可以在术中迅速实现与相位相符的血管造影图像的精确配准，进而呈现实时的动态冠状动脉路径图，使得医生能够直接观察到清晰的血管路径。
23.进一步地，所述预设时间段至少包括一个呼吸运动周期，或者呼吸运动周期与心动周期的最小公倍数周期。所述心动周期只能反映心跳运动，不包括呼吸运动相关状态。本发明发现只考虑心动周期，不考虑呼吸运动的影响，不能全面地体现心脏的运动周期，无法实现精确配准。该实施例兼顾考虑到呼吸运动周期的影响，以在所述预设时间段内心脏执行了周期性的运动与心动周期相区分。在所述预设时间段内心脏执行了周期性的运动可以是一个或多个呼吸运动周期以体现心脏的周期性运动，或者也可以是一个或多个呼吸运动周期和心动周期的最小公倍数周期以体现心脏的周期性运动，如此，能够使得所获取的血管造影图像的序列在经历若干个心脏收缩周期和若干个呼吸运动周期后，使得心脏回到了最初的位置（下文中也称为完整的心脏运动周期），进而能够周到地反映出心动周期的相位连同呼吸运动周期的相位的联合变化过程。如此，能够实现在两种相位上与实时的透视图像的精确配准。最小的完整心脏运动周期是呼吸运动周期和心动周期的最小公倍数。
24.在一些实施例中，所述预设时间段可以恰好是呼吸运动周期和心动周期的最小公倍数周期，以使得其以最短的持续时间让心脏回到最初的位置。具体说来，该预设时间段的起始时间可以设置为第一个心动周期的起始时间兼第一个呼吸运动周期的起始时间。不限于该实施方式，所述预设时间段还可以大于呼吸运动周期和心动周期的最小公倍数周期，以保证心脏至少有一次回到最初的位置。例如，预设时间段为最小公倍数周期和一个呼吸运动周期或一个心动周期，或者其他方式。如此，可以充分考虑心跳运动和呼吸运动两者的关键特征，有利于提高配准精度，获取动态的实时动脉冠状路径图，为pci手术提供自动、实时的图像引导，为医生提供导丝和血管连续和具体的位置反馈，降低盲穿带来的风险。
25.在一些实施例中，将所述透视图像与所述相位相符的血管造影图像进行融合，以生成动态的冠状动脉路径图进一步包括在所述透视图像上的冠状动脉上，呈现所述相位相
符的血管造影图像中的冠状动脉的分割出的血管。经过精确配准，获得与透视图像相位相符的血管造影图像，所述血管造影图像具有与当前所述透视图像相同的相位，例如，提取出的血管造影图像可以与当前所述透视图像具有相同的心动周期相位、或具有相同的心动周期相位连同呼吸运动周期相位，以保证在两个相位上的精确配准。通过将所述透视图像与所述相位相符的血管造影图像进行融合，使得在透视图像中无法显示的血管或者清晰度较差的血管得到清晰的同步呈现。
26.其中，所述融合是指将待融合的图像经过图像处理和计算机技术等，最大限度的提取各自的有利信息，最后综合成高质量的图像，以提升原始图像的分辨率。在一些实施例中，图像融合由低到高可以分为三个层次:数据级融合、特征级融合、决策级融合。数据级融合也称像素级融合，是指直接对数据进行处理而获得融合图像的过程，它是高层次图像融合的基础。在该实施例中，对于融合的具体方式不做限定。
27.进一步地，将所述透视图像与所述相位相符的血管造影图像进行融合，以生成动态的冠状动脉路径图还可以包括在所述透视图像上的冠状动脉上，呈现所述相位相符的血管造影图像中的冠状动脉的分割出的血管，且各处分割结果的视觉效果根据其置信度不同而改变，以便于用户直观获知分割出的血管及其可靠程度，降低工作负荷。例如，在手术过程中，医生需要全神贯注的进行手术，工作负荷重。系统自动识别分割出的血管的置信度，并基于置信度的高低呈现不同的视觉效果，具体地，当分割出的血管的置信度较低时，说明该血管有可能并非实际血管，系统赋予其淡粉色，对于置信度较高的血管，系统赋予其颜色更深的红色，医生通过分割结果的视觉效果的差异，能够快速分辨出血管的位置和可靠性，并快速作出术中反应，降低了工作负荷，提高了工作效率，仅以此作为具体实施例，并非具体限定方式。
28.在一些实施例中，所述置信度可以表征不确定性水平。如此，可以将确定性水平超过阈值的部分呈现给医生，并将需要向医生呈现的部分以视觉效果呈现，提示医生需要重点关注哪些信息，不需要向医生呈现的信息被直接筛除。医生可以将精力倾向于置信度高的分割结果以进行详细分析，对比而言，医生可以仅利用余力参考置信度低的分割结果，从而实现工作负荷的优化配置，同时，也为医生提供了额外的信息作为参考。
29.其中，对于具体的视觉效果和置信度之间的关系不做具体的限定，例如，在置信度高时，系统可以赋予冷色调的视觉效果，也可以赋予其暖色调的视觉效果，以便于区分为准。
30.在一些实施例中，如图3所示，在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的血管造影图像具体包括：步骤s301示出对血管造影图像的序列中的各个血管造影图像进行第一图像分割，以提取出追踪呼吸运动的第一标记物和追踪心跳运动的第二标记物。通过追踪呼吸运动的第一标记物和追踪心跳运动的第二标记物，以得到至少包含一个完整心脏运动周期（也即呼吸运动周期和心动周期的公倍数周期）的血管造影序列，为后续配准提供关键特征。所述追踪呼吸运动的第一标记物用于体现呼吸运动的周期性变化轨迹，所述追踪心跳运动的第二标记物用于体现心跳运动的周期性变化轨迹，基于第一标记物和第二标记物进行图像配准，有利于提高配准精度。
31.步骤s302示出对透视图像进行第二图像分割，以提取出相应的第一标记物和第二
标记物，进行第二图像分割时，提取的所述第一标记物和所述第二标记物与上述步骤s301中的所述第一标记物和所述第二标记物相同，都是分别用于体现呼吸运动的周期性变化轨迹和用于体现心跳运动的周期性变化轨迹。
32.步骤s303示出通过比较由所述第一图像分割和所述第二图像分割分别提取的所述第一标记物和所述第二标记物的几何相关特征和/或所述第一标记物与所述第二标记物之间的相对位置，将所述透视图像与所述血管造影图像的序列进行配准，从而在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的血管造影图像。通过综合考虑所述第一标记物和所述第二标记物的几何相关特征和/或所述第一标记物和所述第二标记物之间的相对位置，能够实现高效且精确的配准，避免出现配准错误，并且使得配准速度适合术中时间有限的动态配准的需要。
33.具体说来，在实际的心脏运动过程中，既有心跳运动（即所述心动周期反映心跳运动）又有呼吸运动（即呼吸运动周期反映呼吸运动），受到呼吸运动的影响，在匹配时，整个位置有可能出现旋转或者位置上的变化，通过结合呼吸和心跳这两个特征进行运动周期的判断，能够实现更高的配准精确度。在具体配准过程中，可以采用不同的方式进行配准。例如，将从血管造影图像序列进行第一图像分割提取出的第一标记物与从实时的透视图像进行第二图像分割提取的第一标记物的几何相关特征进行匹配，通过空间变换、结构匹配或者像素叠加等方式进行匹配，以实现基于第一标记物的几何相关特征的配准。之后，再采用类似的方式进行基于第二标记物的几何相关特征的配准。或者，可以将从血管造影图像序列进行第一图像分割提取出的第一标记物与从实时的透视图像进行第二图像分割提取的第一标记物的几何相关特征进行匹配的同时配准从血管造影图像序列进行第一图像分割提取出的第二标记物与从实时的透视图像进行第二图像分割提取的第二标记物的几何相关特征。
34.或者，也可以在匹配时仅仅对相对位置进行配准。例如，将从血管造影图像提取的第一标记物和第二标记物的相对位置与从透视图像提取的第一标记物和第二标记物的相对位置进行匹配，精确匹配后获得与所述透视图像相位相符的血管造影图像。
35.或者，在配准时，综合考虑不同关键特征的几何相关特征和相对位置，基于这两方面的考虑，进一步提高配准精确度。例如，第一种方式可以是先对从血管造影图像序列提取的第一标记物和第二标记物与从透视图像提取的第一标记物和第二标记物的几何相关特征进行匹配，匹配完成后，再将从血管造影图像序列提取的第一标记物和第二标记物之间的相对位置与从透视图像提取的第一标记物和第二标记物之间的相对位置进行匹配。由于心脏运动的复杂，使得在基于几何相关特征进行配准时，有可能出现偏差，通过进一步基于相对位置进行配准，有利于排除掉基于几何相关特征没有配好的情况。第二种方式可以是关于几何相关特征的匹配和关于相对位置的匹配同时进行，通过综合考虑这两种因素，极大地提高了配准的精确度。
36.在一些实施例中，所述第一标记物包括膈肌和/或肺部的解剖标志物，所述第二标记物包括固定到冠状动脉口部的导管和/或心影，其中，膈肌是呼吸运动密切相关的特征，可以用于追踪呼吸运动轨迹，导管被固定在冠状动脉口，用于追踪心跳运动轨迹。所述肺部的解剖标志物包括但不限于气管、血管。所述膈肌和导管都具有各自的几何相关特征，同时，膈肌和导管之间具有相对位置，在呼吸运动和心跳运动过程中，膈肌和导管之间的相对
位置发生变化。综合考虑膈肌和导管进行配准，既保留了必要的图像特征，又缩小了待配准的图像范围，所以，在提高了图像配准效率的同时，也提高了图像配准精度。
37.在一些实施例中，通过对比由所述第一图像分割和所述第二图像分割分别提取的所述第一标记物和所述第二标记物的几何相关特征和/或所述第一标记物与所述第二标记物之间的相对位置，将所述透视图像与所述血管造影图像的序列进行配准具体包括通过对由所述第一图像分割和所述第二图像分割分别提取的所述第一标记物的几何相关特征连同所述第一标记物与所述第二标记物之间的相对位置进行比较，将所述透视图像与所述血管造影图像的序列进行第一配准，从而在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的第一血管造影图像。具体地，例如所述第一标记物为膈肌，所述第二标记物为固定在冠状动脉口部的导管，在匹配过程中，可以将所述膈肌的几何相关特征连同膈肌与导管的相对位置进行比较，对于比较的具体方式可以包括两种。比如，一种是先比较膈肌的几何相关特征，判断膈肌的几何相关特征是否配准，配准后再比较膈肌与导管的相对位置，以此提高配准精度；另一种是在比较膈肌的几何相关特征的同时比较膈肌与导管的相对位置，同时对几何相关特征和相对位置进行匹配。通过该实施方式获得在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的第一血管造影图像。
38.所述配准方法还包括通过对由所述第一图像分割和所述第二图像分割分别提取的所述第二标记物的几何相关特征连同所述第一标记物与所述第二标记物之间的相对位置进行比较，将所述透视图像与所述血管造影图像的序列进行第二配准，从而在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的第二血管造影图像。具体地，例如所述第二标记物为导管，所述第一标记物为膈肌，配准时，将导管的几何相关特征连同膈肌与导管的相对位置进行综合配准，对于配准的具体方式也可以包括两种。比如，一种是先比较导管的几何相关特征，判断导管的几何相关特征是否配准，配准后再比较膈肌与导管的相对位置，以此提高配准精度；另一种是在比较导管的几何相关特征的同时比较膈肌与导管的相关位置，同时对几何相关特征和相对位置进行匹配。通过该实施方式获得在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的第二血管造影图像。
39.由于呼吸运动的影响，导致发生旋转等位置的变化，有可能在基于单个关键特征连同相对位置进行配准时出现偏差，因此，本发明实施例在获取了所述第一血管造影图像和所述第二血管造影图像后，判定所述第一血管造影图像与所述第二血管造影图像的差异度，在差异度低于阈值时，使用所述第一血管造影图像和/或所述第二血管造影图像得出与所述透视图像的相位相符的最终匹配的血管造影图像，以进一步提高配准结果的可信度。具体地，当所述第一血管造影图像与所述第二血管造影图像的差异度低于阈值时，说明获取所述第一血管造影图像与所述第二血管造影图像的配准精确度较高，具有较高的可信度，可以基于所述第一血管造影图像和/或所述第二血管造影图像得出与所述透视图像的相位相符的最终匹配的血管造影图像。相反，如果所述第一血管造影图像与所述第二血管造影图像的差异度高于阈值，说明配准精度较差，需要重新配准。其中，对于阈值的设定可以基于实际需要进行设定，例如可以是系统出厂时已经设定好的，也可以是用户基于实际情况进行手动设定的数值。
40.在另一个实施例中，所述配准方法还包括将由所述第一图像分割和所述第二图像分割分别提取的所述第一标记物和所述第二标记物的几何相关特征连同所述第一标记物
与所述第二标记物之间的相对位置进行比较，将所述透视图像与所述血管造影图像的序列进行配准，从而在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的血管造影图像，通过所述实施例获得的血管造影图像具有更高的精准度。例如，所述第一标记物为膈肌，第二标记物为导管，在配准过程中，如果只基于导管或者膈肌，有可能出现配错。在心脏运动过程中，整个冠脉的形状会受呼吸运动的影响发生一些旋转、运动，如果只考虑导管，不考虑呼吸，有些相位点上的偏差比较大。具体地，比如当前的呼吸周期在最高点往下运动时和从最低点往上运动时，心跳可能有一个相同的周期，即出现心动周期相同，但是呼吸周期可能相反的情况，导致配准出现较大的偏差。因此，无论是仅仅考虑几何相关特征还是仅仅考虑相对位置，都有可能出现在不同的周期下出现相同的一帧，从而配错。
41.基于本实施例所述的配准方法，同时考虑第一标记物、第二标记物的几何相关特征连同考虑相对位置，进行综合比较配准，能够确保高精度的配准，避免出现配准错误的情况。例如，基于膈肌和导管的关键特征进行配准，仍然可以包括两种方式，一种是首先将膈肌和导管的几何相关特征进行配准，配准无误后，再比较膈肌和导管的相对位置；另一种是在对膈肌、导管的几何相关特征进行配准的同时比较膈肌和导管的相对位置关系，以此避免出现错配，提高配准的精确度，保证配准质量。如图4所示，经过图像配准后获得的血管造影图像具有能够分割出准确的血管，能够基于所述血管造影图像识别出血管的位置。通过将所述透视图像与所述相位相符的血管造影图像进行融合，获得如图5所述的动态的冠状动脉路径图，便于医生直观的分辨出血管的位置。所述膈肌和导管之间的相对位置可以为距离。
42.其中，在上述各个实施例中，在所述血管造影图像的序列中匹配出与所述透视图像的相位相符的血管造影图像，能够极大地降低计算负荷。例如，这在几十毫秒到一百毫秒就能够完成，有利于获得实时的冠状动脉路径图，尤其适于术中实时应用。
43.在一些实施例中，所述第一标记物的几何相关特征包括所述第一标记物的拟合曲线、曲率、位置、形状，所述第二标记物的几何相关特征包括所述第二标记物的拐角、位置、方向、曲率、形状、宽度，以实现关于几何相关特征的精确配准。
44.在一些实施例中，所述冠状动脉的预设时间段的血管造影图像的序列中，关注血管段保持充盈状态，以获得准确的血管造影图像的序列中。
45.在一些实施例中，所述动态冠状动脉路径图的生成方法还包括分别使用学习网络执行所述第一图像分割和所述第二图像分割，以得到第一分割图像和第二分割图像，例如，学习方法分割出导管、导丝、血管和膈肌等特征，预测出的血管图制作冠状动脉路线图，而预测出的导管及膈肌用作步骤s103进行图像配准。例如，还包括对医学图像进行分割提取，得到血管图像之前，该方法还包括：获得训练数据，将图像转换为固定尺寸（如：512*512），并进行归一化处理，将像素转化为0-1之间，其中，训练数据中包括分割标注信息（血管、导丝、导管、膈肌）的医学图像，对上述训练数据进行图像水平翻转、垂直翻转、随机缩放、随机亮度、随机对比度、随机噪声等图像处理方法进行数据增强，使用增强后的训练数据对分割网络模型进行学习训练，得到图像分割模型。
46.上述的分割网络模型可以为resunet、transunet等分割网络模型，进行网络血管和其他特征提取，极大的提高了特征的提取效率，是实时导航实现的根本保证。通过采用多种分割标注信息（血管、导丝、导管、膈肌）的医学图像的训练数据对分割网络模型进行学习
训练，即可得到图像分割模型，从而保证利用得到的图像分割模型对分割目标的分割准确性和速度。
47.其中，第二分割图像与透视图像具有相同尺寸且各个像素的强度值指示该处属于分割目标的概率相关参数，第一分割图像与各个血管造影图像具有相同尺寸且各个像素的强度值指示该处属于分割目标的概率相关参数，所述分割目标至少包括血管、所述第一标记物和所述第二标记物。在实施例提供的深度学习模型的生成方法中，对医学图像进行分割提取，得到分割图像包括：使用图像分割模型对医学图像进行分割，确定医学图像上每个像素表示分割目标的概率值；将概率值大于预设概率的像素进行提取，得到该分割目标预测图像。每一类分割目标都可得到该分割目标预测图像，即图像分割模型预测图像为包含分割目标（血管、导丝、导管、膈肌）的多幅预测图像。
48.在上述实施例中，使用图像分割模型进行分割的计算过程，实际是图像分割模型对图像中的每一个像素进行预测，得到该像素表示分割目标的概率值，当预测该像素在分割目标上的概率值大于预设概率时，判断该像素表示属于该分割目标。逐一预测，最后得到所有表示该分割目标的像素，以完成图像分割，得到分割结果。
49.具体地，基于所述第一分割图像，提取出血管造影图像中的血管、所述第一标记物和所述第二标记物；基于所述第二分割图像，提取出透视图像中的血管、所述第一标记物和所述第二标记物，用于后续的配准，能够极大地提高配准精度。
50.在一些实施例中，基于所述第一分割图像，确定提取出的血管各处的置信度，以用于与分割出的血管的各处相关联地显示。可选地，在实施例提供的冠状动脉路图的生成方法中，确定血管图像上各处血管的置信度包括：基于表示分割目标的像素的概率值确定血管图像上各处血管的置信度。由于图像分割模型预测的每个像素的概率值与血管分割准确性的置信度是相关的。即基于表示血管的像素的概率值可以确定出血管图像上各处血管的置信度。基于各处血管的置信度，确定血管图像上各处血管的像素颜色，由此生成冠脉路线图，便于医生直观的判断出血管的位置，提高了医生的工作效率。
51.图6示出根据本发明实施例中用于执行冠状动脉路径图的生成方法的系统，在一些实施例中，冠状动脉路径图的生成装置600可以是专用智能装置或通用智能装置。例如，冠状动脉路径图的生成装置600可以是为冠状动脉路径图的生成任务定制的计算机，或者云端的服务器。例如，冠状动脉路径图的生成装置600可以被集成到图像处理装置中。
52.作为示例，在冠状动脉路径图的生成装置600中，至少包括接口601和处理器603，在一些实施例中，还可以包括存储器602。
53.在一些实施例中，接口601被配置为接收由成像装置获取的冠状动脉的动态的透视图像和/或血管造影图像的序列，例如，接口601可以经由通信电缆、无线局域网（wlan）、广域网（wan）、无线网络（诸如经由无线电波、蜂窝或电信网络、和/或本地或短程无线网络（例如，蓝牙tm））或其他通信方法接收由各种成像装置获取的冠状动脉的动态的透视图像和/或血管造影图像的序列。
54.在一些实施例中，接口601可以包括集成服务数字网（isdn）卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供数据通信连接。在这样的实现中，接口601可以经由直接通信链路来发送和接收电信号、电磁信号和/或光学信号，其承载表示各种类型的信息的模拟/数字数据流。在另外一些实施例中，接口601还可以包括局域网（lan）卡（例如，以太
网适配器），以提供到兼容lan的数据通信连接。作为示例，接口601还可以包括网络接口6011，经由网络接口6011，冠状动脉路径图的生成装置600可以连接到网络（未示出），例如包括但不限于医院中的局域网或互联网。网络可以将冠状动脉路径图的生成装置600与诸如图像采集装置（未示出）的外部装置、图像数据库604、图像数据存储装置605连接。图像采集装置可以是获取对象的图像的任何装置，例如mri成像设备、ct成像设备、心肌核素扫描、超声设备或用于获得患者的冠状动脉的动态的透视图像和/或血管造影图像的序列的其他医学成像设备。
55.在一些实施例中，冠状动脉路径图的生成装置600可以额外包括输入/输出606和图像显示器607中的至少一个。
56.处理器603被配置为执行根据本发明各个实施例所述的冠状动脉路径图的生成方法，是包括一个或多个通用处理设备（诸如微处理器，中央处理单元（cpu），图形处理单元（gpu）等）的处理设备。更具体地说，处理器603可以是复杂指令集计算（cisc）微处理器、精简指令集计算（risc）微处理器、超长指令字（vliw）微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器603也可以是一个或多个专用处理设备，例如专用集成电路（asic）、现场可编程门阵列（fpga）、数字信号处理器（dsp）、片上系统（soc）等等。如本领域技术人员将理解的，在一些实施例中，处理器603可以是专用处理器，而不是通用处理器。处理器603可以包括一个或多个已知处理设备，诸如由英特尔公司制造的pentium tm
、core tm
、xeon tm
或itanium tm
系列的微处理器，由amd公司制造的turion tm
、athlon tm
、sempron tm
、opteron tm
、fx
™
、phenom
™
系列的微处理器或太阳微系统（sun microsystems）制造的各种处理器的任一种。处理器603还可以包括图形处理单元，诸如来自nvidia公司制造的geforce
®
、quadro
®
、tesla
®
系列的gpu，由英特尔tm制造的gma、iris tm
系列的gpu或者由amd 公司制造的radeon tm
系列gpu。处理器603还可以包括加速的处理单元，诸如amd公司制造的桌面a-4（6,8）系列，英特尔公司制造的xeon phi tm
系列。所公开的实施例不限于任何类型的处理器或处理器电路，这些处理器或处理器电路以其他方式被配置为满足如下计算需求：执行诸如根据本发明各实施例的冠状动脉路径图的生成方法。另外，术语“处理器”或“图像处理器”可以包括多于一个处理器，例如，多核设计或多个处理器，所述多个处理器中的每个处理器具有多核设计。处理器603可以执行存储在存储器602中的计算机程序指令的序列，以执行本文公开的各种操作、过程、方法。
57.处理器603可以通信地耦合到存储器602并且被配置为执行存储在其中的计算机可执行指令。存储器602可以包括只读存储器（rom）、闪存，随机存取存储器（ram）、诸如同步dram（sdram）或rambus dram的动态随机存取存储器（dram）、静态存储器（例如，闪存，静态随机存取存储器）等，其上以任何格式存储计算机可执行指令。计算机程序指令可以被处理器603访问，从rom或者任何其他合适的存储位置读取，并加载到ram中供处理器603执行。例如，存储器602可以存储一个或多个软件应用程序。存储在存储器602中的软件应用程序可以包括例如用于通用计算机系统的操作系统（未示出）以及软控制设备（未示出）。此外，存储器602可以存储整个软件应用程序或仅存储软件应用程序的一部分以能够由处理器603执行。另外，存储器602可以存储多个软件模块，用于实现与本发明各个实施例所述的各个步骤。此外，存储器602可以存储在执行计算机程序时生成/缓存的数据，例如从图像采集装置、图像数据库604、图像数据存储装置605等发送的医学图像。
58.在一些实施例中，用于自动分割的学习网络可以被存储在存储器602中。在另一些实施例中，用于分割的学习网络可以被存储在远程设备、分立的数据库（诸如图像数据库604）、分布式设备中。
59.输入/输出606可以被配置为允许冠状动脉路径图的生成装置600接收和/或发送数据。输入/输出606可以包括允许冠状动脉路径图的生成装置600与用户或其他机器和装置通信的一个或多个数字和/或模拟通信设备。例如，输入/输出606可以包括允许用户提供输入的键盘和鼠标。
60.网络接口6011可以包括网络适配器、电缆连接器、串行连接器、usb连接器、并行连接器、诸如光纤的高速数据传输适配器、usb 3.0、闪电、无线网络适配器如wifi适配器、电信（3g、4g / lte等）适配器。冠状动脉路径图的生成装置600可以通过网络接口6011连接到网络。网络可以提供局域网（lan）、无线网络、云计算环境（例如，作为服务的软件、作为服务的平台、作为服务的基础设施等）、客户端服务器、广域网（wan）等的功能。
61.除了血管造影图像、动态的冠状动脉路径图之外，图像显示器607还可以显示其他信息，诸如血管的位置参数、厚度等。例如，图像显示器607可以是lcd、crt或led显示器。
62.本发明描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。此类内容可以是可以直接执行的源代码或差分代码(“增量”或“补丁”代码) (“对象”或“可执行”形式)。软件代码或指令可以存储在计算机可读存储介质中，并且在被执行时，可以使机器执行所描述的功能或操作，并且包括以机器(例如，计算装置、电子系统等)可访问的形式存储信息的任何机制，例如可记录或不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光学存储介质、闪存装置等)。
63.本发明描述的示例性方法可以至少部分地由机器或计算机实现。在一些实施例中，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明各个实施例所述的冠状动脉路径图的生成方法。这样的方法的实现可以包括软件代码，例如微代码、汇编语言代码、高级语言代码等。可以使用各种软件编程技术来创建各种程序或程序模块。例如，程序部分或程序模块可以用或借助java、python、c、c 、汇编语言或任何已知的编程语言来设计。可以将这样的软件部分或模块中的一个或多个集成到计算机系统和/或计算机可读介质中。这样的软件代码可以包括用于执行各种方法的计算机可读指令。该软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在示例中，软件代码可以有形地存储在一个或多个易失性，非暂时性或非易失性有形计算机可读介质上，例如在执行期间或在其他时间。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如光盘和数字视频盘)、盒式磁带、存储卡或存储棒、随机存取存储器(ram)、只读存储器(rom)等。
64.对本发明的方法、装置以进行各种变型和更改。鉴于所公开的系统和相关方法的描述和实践，可以由本领域的技术人员衍生出其他实施例。本发明的各个权利要求都可理解为独立实施例，并且它们之间的任意组合也用作本本发明的实施例，并且这些实施例被视为都包括在本发明中。
65.意图描述和示例仅视为示例性的，真实范围由所附权利要求书及其等效来表示。