用于动脉图像区域及其特征的分类的系统和方法与流程

用于动脉图像区域及其特征的分类的系统和方法
1.相关申请的交叉引用
2.本技术要求美国临时专利申请no.62/791,876(2019年1月13日提交)的优先权和利益，该美国临时专利申请的全部公开内容在此通过引用并入本文。
技术领域
3.本技术部分地涉及对动脉成像和对其组成部分分割和表征。特别地，在一些实施例中，本技术涉及机器学习应用以对动脉组织和相关的受关注的动脉区域和特征进行表征和/或分类。


背景技术：

4.光学相干断层成像(oct)是在眼科学、心脏病学、肠胃病学和其它医疗领域具有广泛应用的干涉成像技术。通过小直径光纤光学探头以高分辨率观看表面下结构的能力使得oct对于内部组织和器官的微创成像特别有用。oct系统可每秒生成多至100帧，使其可以在数秒内在跳动的心脏动脉中进行冠状动脉成像。oct在时域(td
‑
oct)和频域(傅立叶域oct或光频域成像，ofdi)中均可实施。oct可结合各种其它成像技术使用，例如血管内超声(ivus)、血管造影、透视造影、基于x光的成像系统和其它成像技术。
5.患者身体部分的oct成像为医生提供有用工具以确定最佳治疗类型和路径。例如，通过血管内oct进行冠状动脉成像可揭示狭窄的位置、易损斑块的存在或动脉粥样硬化斑块的类型。这种信息有助于心脏病医生选择哪种治疗将对患者最为有效――药物疗法(例如降低胆固醇的药疗)、基于导管的疗法(如血管成形术和支架设置)或侵入式外科手术(如冠脉搭桥手术)。除了其在临床医学中的应用以外，oct对于动物和临床试验中的药物开发也很有用。
6.正常动脉具有一致的层结构，由内膜、中膜和外膜构成。作为动脉粥样硬化过程的结果，内膜变得病理学增厚并可包含斑块，斑块由不同类型的组织组成，包括纤维、蛋白多糖、脂质和钙、以及巨噬细胞和其它炎性细胞。这些组织类型具有不同的光学性能，可通过人工测量和成像技术测量。据信，最具病理学重要性的斑块是所谓易损斑块，其具有纤维帽，下层具有脂质池。
7.在典型的oct成像系统中，安装到导管上的光学探头被小心操纵至关注部位，例如在冠脉血管内。然后发射光束，并使用干涉仪通过干涉探测接收背散射信号。随着探头扫过预定的线或面积，可收集许多数据线。图像(2d或3d)然后使用公知技术重构。此图像然后由心脏病医生视觉分析以评估病理学特征，例如血管壁增厚和斑块成分。
8.由于组织类型通过其在屏幕上的外观进行识别，因而在分析时可能由于特定信息(例如组织类型)无法轻易认出而发生错误。关于给定的患者动脉、器官或其它身体部分的各种其它组成部分或受关注的区域难以通过视觉查看准确分类，这种情况发生在几乎所有医疗分支中。因此，需要一种探测图像数据中各种目标并将其向终端用户表现的系统和方法。本公开内容着重于这些挑战和其它挑战。


技术实现要素：

9.一个或多个计算机的系统可被构造为：利用安装到系统上的软件、固件、硬件或它们的组合(其在操作时使系统执行动作)执行特定的操作或动作。一个或多个计算机程序可被构造为：利用所包含的指令(其在由数据处理设备执行时使设备执行动作)执行特定操作或动作。一个通常方面包括一种使用一个或多个机器学习系统评估冠状动脉的方法。
10.在一个实施例中，本公开内容涉及各种方法步骤。所述方法可包括：获取包括极坐标图像帧的一系列图像数据；在所述一系列图像的每个极坐标图像中注释一个或多个关注区域或特征，使得每个注释的区域或特征是实地真实注释；使用一系列注释的极坐标图像对机器学习系统的神经网络进行训练，其中每个极坐标区域中的多个区域中的每个按类别识别；将极坐标图像数据输入到训练后的神经网络；显示预测性输出图像，其中，预测性输出图像包括颜色编码的区域，其中每个颜色对应一类别。
11.在一个实施例中，所述系统包括：一个或多个ai处理器(其具有相关联的记忆体)，其中一个或多个训练后的基于软件的神经网络在一个或多个ai处理器上执行。机器学习系统可包括卷积神经网络。所述方法可包括：获取一系列图像数据，例如动脉图像数据。在一个实施例中，图像数据包括血管内图像数据。在一个实施例中，图像数据包括极坐标图像。所述方法可包括：在所述一系列图像的每个极坐标图像中注释一个或多个关注区域或特征，使得每个注释的区域或特征是实地真实注释。实地真实注释可作为一系列实地真实掩模存储于记忆体中。所述方法可包括：使用一系列注释的极坐标图像(例如通过所述一系列实地真实掩模)训练机器学习系统的神经网络。在一个实施例中，一个实地真实掩模包括对应于特定特征或通道的关注区域。
12.因此，实地真实掩模的第一区域可对应于第一特征，实地真实掩模的第二区域可对应于第二特征。上述可应用于m特征和p区域，其中，每个特征对应于一个或多个区域。作为示例，钙的两个或更多个区域、管腔的区域和内膜的区域可为一个实地真实掩模的一部分，而其按照类别或类型的分类将为钙、管腔和内膜，其中每个区域如此分类/分割。在一个实施例中，实地真实掩模用于训练神经网络以探测/预测来自用户的输入图像数据中的哪个区域对应于特定特征或通道。在一个实施例中，所述方法包括：将图像数据(例如极坐标图像数据和/或实地真实掩模)输入到神经网络以训练神经网络。神经网络在一个或多个全周中训练，直到其在误差阈值内可操作地探测到多个特征/通道。在一个实施例中，所述方法包括：将图像数据(例如极坐标图像数据)输入训练后的神经网络，并显示来自机器学习系统的预测性输出图像。在一个实施例中，实地真实图像掩模响应于对用户界面中的图像的图示进行注释而生成。在各个实施例中，极坐标图像在这样的用户界面中被注释。神经网络在一个或多个软件应用程序中实现，例如pytorch,libtorch,以及在本文中公开的其它应用程序。本方面的其它实施例包括：对应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序，其中每个均被构造以执行所述方法的动作。
13.实施方案可包括以下过程或步骤中的一个或多个。在一个实施例中，每个图像包括：关于冠状动脉的多个图像数据元素。在一个实施例中，注释通过图形用户界面执行，所述图形用户界面包括用户控制器，以选择成组像素或用于限定关注特征的二维边界。在一个实施例中，重复训练所述神经网络，直到成本函数的输出处于或低于阈值，其中所述成本函数将mls的预测性输出与实地真实输入进行比较。在各个实施例中，使用交叉熵评估来测
量与成本函数相关联的测量误差。所述方法可进一步包括：将每个极坐标图像的一个或多个关注区域或特征分类为一类型或类别。在一个实施例中，所述类型或类别选自包括以下项的组：内膜、中膜、外膜、管腔、外弹性层(eel)、内弹性层(iel)、斑块、钙、钙斑。在一个实施例中，用于本文中公开的系统和方法的图像数据包括：地毯视图图像，扫描线，像素，2d图像，3d图像，血管造影图像，血管内图像，ct扫描图像，x光图像和其它的动脉、静脉、器官或循环系统其它组成部分的图像。前述的特征、区域、通道、类别等可使用关于其训练的神经网络进行探测。
14.在一个实施例中，所述特征、区域、类型和/或类别包括一个或多个边支，管腔，导丝，支架筋，支架，拘禁支架，生物可吸收血管模架(bvs)，药物洗脱支架(des)，晕状伪影，压力丝，导丝，脂质，动脉粥样硬化斑块，狭窄，钙，钙化斑块，含钙组织，损伤，脂肪，设置不良的支架；膨胀不足的支架；膨胀过度的支架；不透无线电的标记；动脉树分支角度；探头的校准元件，掺杂膜；光散射颗粒，鞘；掺杂鞘；基准对准点，直径测量，钙弧测量，关注区域或特征厚度，径向测量，引导导管，阴影区域，导丝区段，长度，厚度，以及如本文中公开的其它参数。
15.在一个实施例中，每个数据元素、图像和输出被存储在与所述机器学习系统电子连通/通讯的机器可读记忆体中。在一个实施例中，所述一系列的注释极坐标图像包括：包含一个或多个成像伪影或不希望存在的成像状况的图像。在一个实施例中，所述一个或多个成像伪影或不希望存在的成像状况选自包括以下的组：动脉在血管内成像之前不完全清除；对比度不足；对比溶液不足；光强度低于血管内成像平均水平；对比云；非均匀旋转扭曲(nurd)；晕状伪影；拘禁边支；来自成像探头组件的反射。在一个实施例中，本文中公开的方法和系统可操作进行或执行：在预测性输出图像中识别ca和eel的相似度的一个或多个基于弧的量度、测量值；探测到的eel直径；探测到的ca深度。在一个实施例中，所述神经网络是卷积神经网络，其中用于第一节点或层的输入通道数量是四个通道。在一个实施例中，本文中公开的方法和系统可操作进行或执行：使用线投影生成地毯视图，并过滤所述地毯视图以减少所述预测性输出图像中的噪声。
16.在一个实施例中，前述中的每个(和本文中公开的相对于输入图像数据中的可识别元素的其它示例)是数据通道，其可用作关注区域(roi)或关注特征(foi)，以训练mls而且能够由训练后的mls探测到。在一个实施例中，前述中的每个具有相关联的掩模或数据通道，或是图像掩模(例如实地真实掩模或输出掩模)中的一个元素。在一个实施例中，输出掩模包括多个区域，其中，不同区域对应于不同通道，使得多通道分割表现物相对于输入数据生成。在一个实施例中，图像数据的第一帧通过mls神经网络处理以生成对应于图像数据第一帧的第一输出掩模，其中，第一掩模被修改而使得关注区域/特征通过记号(例如颜色编码、影线或其它记号)识别。因此，第一输出掩模包括：对图像数据或掩模区域具有叠层、改变(以识别其类别/类型)或对于被分类为特定特征、类别等的像素区域具有其它记号的输入图像数据。
17.在一个实施例中，所述预测性输出图像包括：一个或多个记号，其指示被预测或分类的特征的边界。所述方法进一步包括：将预测性输出图像从极坐标形式转换为笛卡尔形式。这样，输出极坐标图像掩模(其具有对应于探测roi/foi的记号)可转换为笛卡尔图像，其中所述记号在笛卡尔图像中转换和表现。在各个实施例中，避免对笛卡尔图像进行注释
和操作以生成实地真实图像/掩模和训练神经网络，而是对实地真实极坐标图像操作并使用其训练给定的神经网络。在一个实施例中，地毯视图掩模及其子系列/子集可使用。在一个实施例中，地毯视图具有对应于帧数量的第一轴线和对应于扫描线数量的第二轴线。
18.在一个实施例中，所述神经网络是共形神经网络。在一个实施例中，所述mls包括：人工智能(ai)处理器，其中所述ai处理器包括一个或多个并行处理元件。在一个实施例中，所述ai处理器包括n个并行处理元件，并进一步包括专用ai处理器记忆体。在一个实施例中，专用ai处理器记忆体的范围从约8gb至约64gb。在一个实施例中，专用ai处理器记忆体的范围从约64gb至约128gb。在一个实施例中，所述ai处理器是图形处理单元。在一个实施例中，所述并行处理元件选自于包括以下的组：cuda核处理器、核处理器、张量核处理器、流处理器。在一个实施例中，ai处理器通过边缘网络设施或服务器在本地运行。在一个实施例中，使用ai处理器(例如图形处理单元)，其包括8gb或更大专用记忆体结合32gb或更大自载ram(作为数据收集/成像系统的壳体内设置的计算装置的一部分)。
19.在一个实施例中，所述方法进一步包括：当对用户图像数据分类时，通过将所述图像数据在输入神经网络之前扁平化而减少mls处理时间。这可应用于训练阶段中和当分类、探测和/或识别关注特征/区域时关于患者图像数据应用。所述方法进一步包括：当对用户图像数据分类时，通过将图像在输入到神经网络之前调整尺寸或排除区域而减少mls处理时间。所述方法进一步包括：对于所述极坐标图像中的一个或多个，执行1、2或3次圆周轮转。所述方法进一步包括：对于所述极坐标图像中的一个或多个，执行左右翻转。所述方法进一步包括：使用图像处理方法或机器学习方法执行管腔探测以生成一系列探测到的管腔边界数据。所述方法进一步包括：对于在患者图像中识别的每个关注区域或特征生成一个或多个图像掩模。所述技术的实施方案可包括：硬件、方法或过程或在计算机可访问介质上的计算机软件。所述方法和系统可包括各种总线和接口组件。
20.一个通常方面包括：执行管腔探测以探测管腔边界。在一个实施例中，探测到的管腔边界数据(例如基于每个图像)也与患者极坐标图像数据一起输入神经网络。本方面的其它实施例包括：对应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序，其中每个被构造以执行所述方法的动作。
21.实施方案可包括一个或多个以下特征。在一个实施例中，输入探测到的管腔边界数据使得对患者极坐标图像数据中的关注区域和特征进行分类的等待时间减少。所述技术的实施方案可包括：硬件、方法或过程或在计算机可访问介质上的计算机软件。在一个实施例中，用于训练或处理患者数据的每个输入图像转变为多个版本，其中所述多个版本通过左右翻转和圆周轮转而生成。这提供增强的数据集，其进而减少误差并增大神经网络/mls的准确度。在各个实施例中，提及mls也包括神经网络，反之亦然。
22.一个通常方面包括：数据收集和/或成像和区域/特征表征系统。所述系统还包括壳体。所述系统还包括：帧抓取器，用于接收图像数据中的一种或多种，例如极坐标数据、超声数据、光图像数据、x光图像数据和血管内图像数据。血管内系统还包括电源。血管内系统还包括：一个或多个电子记忆存储装置，其与所述电源电连通。所述血管内系统还包括：一个或多个图像处理软件模块，其能够在所述处理器上执行并存储在所述一个或多个电子记忆存储装置中。血管内系统还包括：计算装置，其包括第一处理器，所述计算装置与所述电源和所述第一处理器电子连通。在一个实施例中，一个或多个ai处理器和专用ai处理器记
忆体设置在壳体中或者通过一个或多个端口、总线或网络连接到壳体。在一个实施例中，mls及其训练后的神经网络远程操作，例如通过客户端/服务器实施方案、边缘计算实施方案，或作为服务实施方案的云或软件实现。
23.在一个实施例中，所述系统还包括一个或多个软件程序，其存储在所述一个或多个电子记忆存储装置中。所述系统还包括：机器学习系统，其包括神经网络，且所述神经网络包括一个或多个机器学习软件模块。血管内系统还包括一个或多个ai处理器，其中所述一个或多个机器学习软件模块能够在所述一个或多个ai处理器上执行，其中所述一个或多个ai处理器包括专用记忆体；总线；ai处理器记忆体；接口，用于相对于第一处理器收发图像数据；所述机器学习系统，其与电源电连通，其中机器学习系统、计算装置和一个或多个电子记忆存储装置设置在壳体中。在一个实施例中，总线是pcie总线。本方面的其它实施例包括：对应的计算机系统、设备、在一个或多个计算机存储装置上记录的计算机程序、ai处理器、专用集成电路(asics)、电路和电路组件，其中每个被构造以执行所述方法的动作。在一个实施例中，总线连接ai处理器和自载记忆体和诊断/成像系统的处理器。
24.实施方案可包括一个或多个以下特征。所述系统，其中壳体是光学相干断层成像系统或血管内超市成像系统的壳体。所述系统，其中所述一个或多个图像处理软件模块包括以下中的一个或多个：血管内极坐标图像至笛卡尔坐标图像转换软件；包括血管内笛卡尔坐标图像至极坐标图像转换软件；当向终端用户显示时标识出关注区域或特征的组织分类叠层软件；管腔探测软件模块；图像扁平化预处理软件模块；图像调整尺寸软件模块；具有gui以通过实地真实数据标识或标记训练图像的图像注释软件；预处理软件模块和圆周轮转软件模块。所述系统，其中所述一个或多个机器学习软件模块包括以下中的一个或多个：神经网络界面；管腔轮廓预测；边支预测；图像调整尺寸模块；用户界面和输入处理软件模块；控制并设定神经网络的参数的mls界面软件模块；mls记忆管理软件；预处理软件模块；支架筋预测软件模块；拘禁支架预测软件模块；导丝预测软件模块；用于与成像系统交换数据的界面模块。所述技术的实施方案可包括：硬件、方法或过程，或者在计算机可访问介质上的计算机软件。
25.本公开内容部分地涉及基于计算机的方法和系统，适合于使用机器学习(ml)方法和系统实时地或以大致实时的基准来评估来自患者的图像数据。在各个实施例中，一系列图像数据(例如血管内数据的拉回)使用训练后神经网络(例如卷积神经网络)以大致实时的基准分类。在各个实施例中，所述一系列图像数据包括约400帧至约600帧之间，从记忆体获得或者通过使用成像系统对患者成像获得。在一个实施例中，一系列图像数据(包括约400帧至约600帧之间)被分类。在一个实施例中，大致实时的基准的范围从约1秒至约60秒。在一个实施例中，大致实时的基准的范围从约1秒至约30秒。在一个实施例中，大致实时的基准的范围从约1秒至约20秒。在一个实施例中，大致实时的基准的范围从约1秒至约15秒。在一个实施例中，大致实时的基准的范围从约1秒至约10秒。在一个实施例中，大致实时的基准是小于约10秒。本公开内容部分地涉及使用机器学习技术应用于与具有笛卡尔坐标和极坐标表现物的血管内图像相关联的特定问题来改善终端用户(例如心脏病医生和成像专家)的诊断工具。进一步，若使用旋转探头获得oct、ivus图像数据或其它成像数据，则处理与其相关联的两种坐标系统构成挑战。本公开内容着重于这些以及与解决患者快速成像和诊断问题相关的多种其它挑战，使得支架设置和其它手术可以在导管室中的单一环节中施
行。将图像分割为多个关注特征或区域的能力，通过为临床医生提供诊断信息以告知支架规划、搭桥评估、心血管手术和其它外科手术选项，并评估患者状况随时间的变化，减少了患者在初始诊断进程和随后的治疗进程中花费的时间。
26.在一个实施例中，mls系统训练使用由专家注释的极坐标图像或者极坐标图像元素执行。注释极坐标图像用于训练mls。mls对来自患者的新极坐标图像操作以生成仍为极坐标形式的分类后图像区域的输出。在使用训练mls预测和推测之后，来自mls的极坐标形式预测性输出然后转换为笛卡尔坐标形式，具有分类后组织区域(管腔、内膜、边支、导丝、支架、斑块、钙，等等)的图像然后以笛卡尔坐标形式显示。在一个实施例中，坐标可能会被标注为笛卡尔形式的图像，然后在处理后最终转换为极坐标形式。
27.在各个实施例中，概率图谱和组织图谱被生成以为各个工作流提供用户界面反馈。此外，概率图谱和组织图谱可组合、比较、卷积，并以其它方式用于使用训练后神经网络生成关注区域和特征分类输出结果。在各个实施例中，给定神经网络优选地使用注释极坐标图像训练。
28.本公开内容部分地涉及用户界面设计，其基于身体管腔(例如冠状动脉)的表征组织使用一个或多个组织图谱表现物而有利于改进信息和时间管理。在各个实施例中，各个探测到的roi/foi可与血管造影数据配准并使用一个或多个用户界面(其作为成像系统或其它诊断系统的一部分)显示。
29.本公开内容部分地涉及用于识别血管中关注区域的方法，所述关注区域可包括组织类型和其它特征，例如边支、支架、导丝和血管的其它特征、特性和材料，其中，使用成像处理渠道探测前述关注特征并使用神经网络探测其它roi/foi，例如钙、管腔、中膜、内膜、脂质和在本文中公开的其它特征。
30.在一个实施例中，被选择用于分割和/或探测和在一个或多个掩模、图像或输出中表现的组织类型或组织特性、关注区域(roi)、关注特征、类别或类型或血管特征包括组织图谱，包括以下的一种或多种：胆固醇、纤维、脂质池、脂质、纤维脂肪、钙化、钙结节、钙板、内膜、血栓、泡沫细胞、蛋白多糖和如本文中公开的其它参数。本文中公开的各种系统可操作以使用专用电路、控制器、fpga、ai处理器，以及如本文中公开的其它组件执行本文中公开的所有方法和过程。
31.尽管本公开内容涉及不同的方面和实施例，但是应理解，本文中公开的不同方面和实施例在适合时可集成、组合或作为组合系统或部分地作为分立组件、装置，以及系统而一起使用。因此，本文中公开的每个实施例可并入每个方面中，改变到一定程度而适合于给定实施方案。
附图说明
32.各图无需按比例，而是着重于在整体上例示原理。各图将被认为在所有方面是例示性的，而非意在限制本公开内容，本公开内容的范围仅由权利要求书限定。
33.本专利或申请文件包含至少一个彩色绘制图。具有彩图的本专利或专利申请公开物的拷贝将根据请求且在支付必要费用的情况下由局方提供。
34.图1是根据本公开内容的例示性实施例的系统的示意图，所述系统适于使用相对于动脉图像数据(例如图像帧)获得的实地真实掩模来训练神经网络，并适于使用例如网络
来生成对特定关注特征/区域分类的预测性输出。
35.图1a是根据本公开内容的例示性实施例的机器学习系统的示意图，所述机器学习系统适合在训练阶段中使用图像数据，例如针对动脉获得的图像数据。
36.图1b是根据本公开内容的例示性实施例的机器学习系统的示意图，所述机器学习系统适合使用用户图像数据，例如针对动脉获得的图像数据，以对用户图像数据中的关注特征进行探测、预测和/或分类。
37.图1c是根据本公开内容的例示性实施例的机器学习系统的示意图，所述机器学习系统适合使用显示出输入极坐标图像数据(例如oct图像数据)的用户图像数据，其被操作以生成用于训练mls的实地真实图像数据和使用训练后mls而获得的预测性图像数据。
38.图1d是根据本公开内容的例示性实施例的机器学习系统的示意图，所述机器学习系统适合使用用户图像数据，其生成关于用户图像数据的分类/表征的关注特征/区域。
39.图1e是根据本公开内容的例示性实施例的机器学习系统的示意图，所述机器学习系统适合使用用户图像数据，其生成关于用户图像数据的分类/表征的关注特征/区域，包括管腔探测系统和预处理系统。
40.图1f是用于本公开内容的给定例示性实施例的训练过程和后续的预测过程的示例性过程流程。
41.图1g显示出用于本公开内容的给定例示性实施例的患者成像以及三个输出概率图谱(对应于以独立通道探测中膜、钙和管腔)的图像数据。
42.图2是根据本公开内容的例示性实施例的多层神经网络架构，适用于使用实地真实注释进行训练和生成预测性结果。
43.图2a是根据本公开内容的例示性实施例的示意图，显示出来自mls的一系列输出(包括对应于各种颜色编码类别的记号)，以及使用所述记号获得投影并生成地毯视图(以及可选的组织图谱)。
44.图2b是根据本公开内容的例示性实施例的mls系统的图线，显示出测试数据和训练数据的损失函数值。
45.图2c是根据本公开内容的例示性实施例的mls系统的图线，显示出测试数据和训练数据的失配百分比值。
46.图2d显示出根据本公开内容的例示性实施例的患者动脉的血管内极坐标图像、以已分类的实地真实区域注释或增强的极坐标图像、具有使用mls分类的关注特征和/或区域的极坐标图像。
47.图2e至图2h从左到右显示出根据本公开内容的例示性实施例的动脉的极坐标图像数据、以实地真实管腔数据注释的极坐标图像、通过具有二维神经网络的mls执行的管腔探测结果、通过具有三维神经网络的mls执行的管腔探测结果。
48.图3a显示根据本公开内容的例示性实施例的mls系统的图形用户界面，适用于浏览图像数据和对其注释以训练mls或其组成部分。
49.图3b是根据本公开内容例示性实施例的来自经过动脉的成像探头的拉回的图像数据的极坐标帧(已使用mls的基于图形用户界面的训练工具注释)。
50.图3c是根据本公开内容的例示性实施例的分割动脉图像的笛卡尔形式的示意图，其中各组织区域通过mls的预测性操作而分类。
51.图3d和3e是根据本公开内容的例示性实施例的来自mls的输出图像，其转变为笛卡尔形式，显示出输入图像和各图像的语义分割，以显示出mls分类的中膜、管腔、和ca区域/掩模。
52.图4a至图4c是示例性成像和诊断系统，其包括一个或多个机器学习系统，所述机器学习系统实现或者可以集成于或以其它方式结合于成像系统。
53.图5a是根据本公开内容的例示性实施例的系统的示意图，所述系统适合于使用光学成像系统(例如oct成像系统)执行引导心血管手术。
54.图5b是根据本公开内容的例示性实施例的方法的示意图，所述方法适合于使用光学成像系统(例如oct成像系统)执行引导心血管手术。
55.图5c和5d是根据本公开内容的例示性实施例的使用mls系统(例如基于深度学习的系统)分割以高亮显示钙斑区域的oct图像。
56.图5e是根据本公开内容的例示性实施例的钙斑的三维、截面、纵向视图上的用户界面显示。
57.图5f是根据本公开内容的例示性实施例的钙图谱，在血管造影系统上使用血管造影配准(co
‑
registration)形成。
58.图5g和5h显示出根据本公开内容的例示性实施例的注释的笛卡尔oct图像。
59.图5i显示出根据本公开内容的例示性实施例的识别动脉各层的放大的笛卡尔oct图像。
60.图5j显示出根据本公开内容的例示性实施例的图5c的动脉的组织学图像，其中动脉各层被识别为适合于注释用于给定mls实施例的图像数据的实地真实值或训练集复查的一部分。
61.图6a和6b根据本公开内容的例示性实施例显示笛卡尔oct图像和识别出管腔、中膜和钙斑的mls的预测性输出，并相应地显示出示例性直径测量值。
62.图6c至6f显示出根据本公开内容的例示性实施例的另外的oct图像、实地真实掩模和输出掩模，其指示出使用mls的组织分类和预测。
63.图7a显示出根据本公开内容的例示性实施例的使用基于成像和mls的组合系统获得的笛卡尔形式的初始示例性oct图像。
64.图7b、7c、7d显示出根据本公开内容例示性实施例的灰度极坐标图像、实地真实掩模和以图7b的图像作为输入进行注释、训练且然后使用训练后mls预测而生成的mls实施例的深度学习输出。
65.图8a显示出根据本公开内容的例示性实施例的在以专家数据/实地真实数据注释之前对极坐标oct图像进行的预处理操作。
66.图8b至8d显示出根据本公开内容的例示性实施例的各种示例性极坐标图像掩模，用于探测管腔、中膜和钙。
67.图9a至9c是根据本公开内容的例示性实施例的极坐标oct图像，显示出施加于初始oct极坐标图像的圆周轮转和左右翻转，作为预处理步骤的一部分。
68.图10a至10b是根据本公开内容的例示性实施例的图像，其显示出实地真实注释的图像和预测的输出。
69.图11a至11d是根据本公开内容的例示性实施例的图像，其显示出已被开发以增加
mls处理速度以减少患者等待时间的各种预处理步骤。
70.图12a和12b是根据本公开内容的例示性实施例的示例性处理步骤的流程图，由此使原始图像数据与实地真实数据注释一起路由和处理。
71.图13a和13b显示出根据本公开内容的例示性实施例的示例性用户界面，用于诊断工具以支持通过虚拟支架设置实现支架规划，其中包含使用mls系统和方法的组织分类。
72.图14显示出根据本公开内容的例示性实施例的动脉的表现图(其中包括来自对象动脉oct扫描的边界上的各种切面)和使用在拉回过程中获得的各系列图像数据生成组织图谱。
73.图15是根据本公开内容的例示性实施例的动脉的示意表现图，使用一个或多个成像模态和适合于生成组织图谱的不同切面而获得。
74.图16至图18显示出根据本公开内容的例示性实施例的各种组织图谱表现图，其使用动脉的oct成像拉回而生成，其中各种记号集成于显示各种组织图谱的用户界面中，以支持诊断和治疗规划，例如支架设置和心血管手术。
具体实施方式
75.各种数据收集和分析系统可用于获得冠脉系统相关信息。使用来自血管的装置获得的数据或者得自与其相关联的血管内或血管外测量值的数据可被分析或显示给辅助研究人员和临床医生。光学相干断层成像(oct)是使用干涉仪获得相对于血管或其中所置对象的距离测量值的成像模态。血管内超声(ivus)也可用于探头中对血管部分成像。血管造影系统和透视造影系统也常用于对患者成像，从而能够进行诊断决策和能够执行各种可能的处理选项，例如支架安置。这些和其它成像系统可用于在外部或在内部对患者成像以获得原始数据(可包括各种类型的图像数据)。本公开内容涉及各种机器学习系统(mls)实施例，包括一个或多个网络(例如神经网络)以提供医疗成像数据组成部分的改进的分类。示例性的基于mls的系统通过图1、1a、1b、1c、1d、1e、4a、4b和在本文中公开和图示的其它系统进行显示。
76.特别地，关于身体管腔(例如冠状动脉)获得的图像数据受到特别关注。进一步地，鉴于诊断用血管内成像、流测量、支架规划和其它的益处，使用mls系统获得及时图像分析和组织归类和分类具有巨大价值。这些系统常需要大量时间执行图像处理任务。因此，使用mls系统减少处理一系列患者图像数据所需的时间是本公开内容的各个实施例的一个特征。
77.通常，本公开内容可应用于任意血管内数据收集装置，所述装置可用于生成和接收信号，包括关于在其中使用所述装置的血管的诊断信息(例如图像数据)。这些装置可包括但不限于：成像装置(例如光学或超声探头)、压力传感器装置和其它适合收集血管或心血管系统其它组成部分的相关数据的装置。
78.图1包括一种系统，适合于执行本公开内容的各个步骤，例如收集图像数据用于注释和生成实地真实掩模且用于使用训练后神经网络分类和将这样的预测性结果显示给用户。在此描述各种用户界面特征以观看和评估动脉信息的视觉表现。这些用户界面可包括一个或多个可动元素，可动元素可由用户以鼠标、操纵杆或其它控制器控制，并可使用一个或多个处理器和记忆存储元件操作。
79.在支架传输规划过程中，对于贴附的范围和位置，用户可参照oct和注释的血管造影以进一步使支架扩张和移动，作为传输规划的一部分。这些系统特征和方法可使用图1中所示系统3实现。
80.图1显示出系统3包括各种数据收集子系统，适合于收集数据或者探测对象4的特征或者传感对象4的状况或者以其它方式诊断对象4。在一个实施例中，对象设置在适合的支撑体19(例如桌、床、乃至椅、或其它适合的支撑体)上。典型地，对象4是具有特定的关注区域25的人或者其它动物。
81.数据收集系统3包括：非侵入式成像系统，例如核磁共振、x光、计算机辅助断层成像或者其它适合的非侵入式成像技术。如图所示，作为这种非侵入式成像系统的非限制性示例，显示出血管造影系统20，其例如适合于生成电影。血管造影系统20可包括：透视造影系统。血管造影系统20被构造为：将对象4非侵入式成像，从而生成血管造影数据的帧(典型地采用图像数据帧的形式)，而拉回过程使用探头30执行，使得对象4的区域25中的血管使用一个或多个成像技术(例如oct或ivus)的血管造影而成像。
82.血管造影系统20与血管造影数据存储和图像管理系统22(在一个实施例中，其可实现为工作站或服务器)连通/通讯。在一个实施例中，与所收集的血管造影信号相关的数据处理直接在血管造影系统20的探测器上执行。来自系统20的图像由血管造影数据存储和图像管理系统22存储和管理。
83.在一个实施例中，系统服务器50或工作站85处置系统22的功能。在一个实施例中，整个系统20生成电磁辐射(例如x光)。系统20还接收穿过对象4后的这样的辐射。进而，数据处理系统22使用来自血管造影系统20的信号将对象4的一个或多个区域(包括区域25)成像。
84.如图所示，在此特定示例中，关注区域25是血管或外围血管系统的子集，例如特定血管。这可使用oct成像。基于导管的数据收集探头30被引入对象4中并设置在特定血管(例如冠状动脉)的管腔中。探头30可为各种类型的数据收集探头，例如oct探头、ffr探头、ivus探头、结合前述两种或更多种的特征的探头，以及适合于血管内成像的其它探头。探头30典型地包括：探头尖端，一个或多个不透辐射的标记物，光纤，扭矩丝。此外，探头尖端包括：一个或多个数据收集子系统，例如：光束导向器、声束导向器、压力探测传感器、其它换能器或探测器，以及前述的组合。
85.对于包括光束导向器的探头而言，光纤33与探头通过束导向器光学连通/通讯。扭矩丝限定供光纤设置其中的孔。在图1中，显示出光纤33，其周围没有扭矩丝包围。此外，探头30还包括：形成导管的一部分的鞘，例如聚合物鞘(未示出)。光纤33(在oct系统的应用环境中为干涉仪的样本臂的一部分)光学耦合/联接于患者接口单元(piu)35，如图所示。
86.患者接口单元35包括：探头连接器，其适合于接纳探头30的末端并与其光学耦合/联接。典型地，数据收集探头30是一次性的。piu 35包括：基于所用数据收集探头的类型而言的适合的接头和元件。例如，组合式oct和ivus数据收集探头需要oct和ivus的piu。piu 35典型地还包括：马达，其适合于拉回扭矩线、鞘和设置其中的光纤33，作为拉回进程的一部分。除了拉回以外，探头尖端还典型地通过piu 35旋转。以这种方式，对象4的血管可沿纵向或以截面成像。探头30也可用于测量特定参数，例如血流储备分数(ffr)或其它压力测量值。
87.进而，piu 35被连接到一个或多个血管内数据收集系统40。血管内数据收集系统40可为：oct系统、ivus系统、另一成像系统、和前述的组合。例如，在探头30为oct探头的应用环境中，系统40可包括：干涉仪的样本臂、干涉仪的基准臂、光电二极管、控制系统、患者接口单元。类似地，作为另一示例，在ivus系统的应用环境中，血管内数据收集系统40可包括：超声信号发生和处理电路、噪声过滤器、可旋转的接头、马达、接口单元。在一个实施例中，数据收集系统40和血管造影系统20具有共享的时钟或其它时序信号(被构造使血管造影视频帧时间戳与oct图像帧时间戳同步)。
88.除了图1的侵入式和非侵入式图像数据收集系统和装置以外，各种其它类型的数据可关于对象的区域25和对象的其它关注参数进行收集。例如，数据收集探头30可包括：一个或多个压力传感器，例如压力线。压力线可在未附加oct或者超声组成部分的情况下使用。压力读数可沿对象4的区域25中的血管的区段获得，
89.这样的读数可通过有线连接或经无线连接转发。如图所示，在血流储备分数(ffr)数据收集系统中，无线收发器47被构造为从探头30接收压力读数并将其发送到系统，以生成ffr测量值或者沿被测量血管的更多位置。一个或多个显示器82、83也可用于显示血管造影数据帧、oct帧、用于oct和血管造影数据的用户界面，以及其它关注控制参数和特征。
90.使用数据收集探头30生成的血管内图像数据(例如血管内数据的帧)可路由到数据收集处理系统40，数据收集处理系统40经由piu 35联接到探头。使用血管造影系统22生成的非侵入式图像数据可被发送到一个或多个服务器或工作站(例如配准服务器50、工作站85)、存储于所述服务器或工作站中，并且由所述服务器或工作站处理。视频帧抓取装置55(例如计算板)被构造为从系统22捕获血管造影图像数据，可用于各种实施例中。
91.在一个实施例中，服务器50包括：一个或多个配准软件模块67，其存储于记忆体70中并由处理器80执行。服务器可包括训练神经网络52，适合于实现本公开内容的各个实施例。在一个实施例中，ai处理器(例如图形处理单元)53被包括在服务器50中，并与记忆体70电连通/通讯。计算装置/服务器50可包括用于基于处理器的计算服务器的其它典型部件。可替代地，更多数据库(例如数据库90)可被构造以接收所生成的图像数据、对象的参数，以及其它所生成的、接收的或由图1中所示系统、装置或组成部分中的一个或多个传输到数据库90的信息。
92.虽然数据库90显示为：当存储于工作站85处的记忆体中时连接到服务器50，不过这仅为一种示例性构造。例如，软件模块67可在工作站85处的处理器上运行，数据库90可位于服务器50的记忆体中。用于运行各种软件模块的装置或系统作为示例提供。在各种组合方案中，在本文中描述的硬件和软件可用于获得图像数据帧、处理这样的图像数据、并配准这样的图像数据。各种软件模块还可包括组织图谱生成软件，其适合于生成一个或多个组织图谱而显示出一个或多个关注区域(roi)和/或探测或表征的组织或动脉材料(例如钙)。
93.如在本文中另外所述，软件模块67可包括软件，例如预处理软件、变换式、矩阵和用于处理图像数据或响应患者触发的其它基于软件的组成部分(以利于不同类型的图像数据通过其它基于软件的组成部分67而配准或者以其它方式执行图像数据的注释以生成实地真实值)，以及适合用于实现本公开内容的各种实施例的其它软件、模块和功能。所述模块可以包括：管腔探测(使用基于扫描线或基于图像的方式)；支架探测(使用基于扫描线或基于图像的方式)；指示物生成；贴附条生成(用于支架规划)；导丝阴影指示物(以防与异物
混淆)；边支和丢失数据；以及其它。
94.数据库90可被构造接收和存储血管造影图像数据92，例如由血管造影系统20生成并由帧抓取器55服务器50获得的图像数据。数据库90可被构造接收和存储oct图像数据95，例如由oct系统40生成并由服务器50的帧抓取器55获得的图像数据。
95.此外，对象4可经由一个或多个电极电联接到一个或多个监视器，例如监视器49。监视器49可包括但不限于：心电监视器，其被构造以生成与心功能相关且显示对象各种状态(例如心舒期和心缩期)的数据。
96.在给定的图中使用或者不使用显示方向性的箭头并非意在限制或要求使信息能够沿其流动的方向。对于给定连接物，例如图1中所示的连接各元件的箭头和线，信息可沿一个或多个方向流动，或者仅沿一个方向流动，以适合于给定实施例。所述连接可包括各种适合的数据传输连接，例如光学、有线、动力、无线或电连接。
97.一个或多个软件模块可用于处理从血管造影系统(例如图1中所示系统22)接收的血管造影数据帧。各种软件模块(可包括但不限于软件、其组成部分，或者基于软件的或由处理器执行的方法的一个或多个步骤)可用于本公开内容的给定实施例中。
98.本公开内容部分地涉及血管内数据收集系统和相关方法，由此通过血管内探头收集的血管内数据可被转变或者由基于处理器的系统分析。这种分析和转变的结果可通过各种表现方式向终端用户显示，例如通过与给定mls(其具有神经网络以对医疗图像的组成部分分类)通讯/连通的显示器实现。在一个实施例中，给定的成像系统(例如oct、ivus、基于x光的成像系统)与mls电子通讯/连通，并且当使用给定类型成像系统在相同环节中获得图像数据时能够显示这些图像数据的修改版本。各种神经网络架构可用于图像分割，例如，v
‑
net、u
‑
net、cumedvision1、cumedvision2、vggnet、多级多递归输入全卷积网络(m2fcn)、粗到细堆叠全卷积网络、深度主动学习框架、resnet、它们的组合，以及适合用于图像分割的其它神经网络和基于软件的机器学习框架。
99.在一个实施例中，mls包括专用的硬件系统以处置必要的机器学习操作及其训练过程，使得结果可按加快方式(例如在约2秒至约30秒内)获得。在一个实施例中，结果在少于约45秒内获得。给定mls实施例的专用硬件系统可包括多个处理器，例如ai/ml处理器。机器学习系统可通过以下方式实现：训练分类器，以对图像分割或操作，使其构成组织、组织类型，以及被探测到并基于类型或另一参数而表征的其它关注区域。在一个实施例中，管腔、内膜、中膜和斑块被探测和识别为具有对应于这些不同组织的边界。训练给定mls/神经网络包括：使用已知的输入和已知的输出来教导所述网络。
100.本公开内容涉及先进机器学习系统，其包括一个或多个ai处理器，ai处理器包括：基于每个处理器分配的更多记忆量。先进机器学习系统被设计为支持多通道分割方式。对于给定实施方案，各个通道可按不同的关注区域和特性进行选择。例如，在一个实施例中，第一通道、第二通道、第三通道、第四通道被规定为使得各个前述通道中的一个关联于管腔、内膜、中膜、斑块。其它类别/类型可关联于不同通道以利于分割。
101.在一个实施例中，斑块类型被分类。在一些实施例中，斑块类型可根据钙化情况分类。此外，如果动脉给定区部存在斑块和其它可探测到的特征可指示出存在缩窄(例如由于狭窄所致)，则本公开内容的另一特征能够快速自动获得与给定斑块或狭窄相关联的一个或多个得分，以利于终端用户进行决策。例如，使用图像数据及其基于机器学习的分析所确
定的给定得分可有助于确定是否不建议立刻采取行动，或者是否应针对狭窄安置支架，或者是否有必要进行心血管手术或其它手术(例如搭桥)。
102.对于健康患者，动脉具有以一致结构布置的各层，包括内膜、中膜和外膜。作为动脉粥样硬化过程的结果，内膜变得病理性增厚，并可能包含由不同类型组织(包括纤维、蛋白多糖、脂质和钙、以及巨噬细胞和其它炎性细胞)构成的斑块。当使用各种成像系统成像时，这些组织类型具有不同的特性，这可用于建立一系列训练数据用于本公开内容的一个或多个机器学习系统。据信，在病理学上最重要的斑块是所称的易损斑块，其由具有下层脂质池的纤维帽构成。不同动脉粥样硬化斑块具有不同几何形状。例如，泡沫细胞常在大脂质池的肩部上形成带状特征；中膜呈现围绕血管的环状，等等。形状信息当前用于oct图像定性评估。在一个实施例中，神经网络被训练以识别纤维帽和/或具有下层脂质池的纤维帽。在各个实施例中，在此对钙的参照还包括但不限于：钙化斑块和其它含钙组织。
103.在患者仍被插有导管且准备接受支架或其它治疗选项时，能够对患者快速执行成像过程并获得动脉图像且然后使用机器学习系统处理图像，实现显著的省时和患者效果改善。
104.医生在介入过程中利用中膜和中膜外边缘(称为外弹性薄层eel)确定其支架的尺寸。在局部患病的组织中找到中膜并测量直径耗时而且困难。其还需要图像解译训练。eel直径的自动探测和测量着眼于这些在进行诊断或者以其它方式评估患者治疗选项时面临的技术问题。这种直径测量的示例显示在图6b中。图3c在动脉的笛卡尔视图中显示出一系列标识掩模和roi掩模。
105.roi显示为通用示例并可对应于钙或另一关注特征，例如包含边支或支架筋的区域。对应于管腔l、内膜i、斑块q、外膜adv、成像探头p、中膜m和其它结构的每个区域/特征可以通过mls使用训练后神经网络(nn)(如cnn)生成。图3c的图像385可作为诊断工具而用于协助引导和通知临床医生。在各个实施例中，图3c中的各种特征的探测使用一个或多个用户界面显示，并可与血管造影数据(例如图5f中所示)配准。在一些实施例中，一个或多个特征、区域、类型、类别、预测性结果与血管造影数据配准。在图5f中，oct中探测到的钙斑形成图谱/相对于血管造影图像配准，以进行复查和规划。在一些实施例中，组织图谱和其它图像数据表现物用于支持诊断和治疗提议。在一个实施例中，所识别的每个特征或类别(例如adv、eel、iel、l、p、i、q)可以使用本文中公开的训练后神经网络中的一个或多个而生成为掩模或预测性掩模。对应于输出结果的记号可使用颜色编码记号和其它记号显示。
106.在一个实施例中，对应于像素系列或组的各注释掩模区域限定实地真实掩模，用于训练本文公开的一个或多个神经网络。一旦神经网络被训练，则生成包括系列像素的预测性或探测掩模，所述像素对应于用户数据区域以及所述区域的特征或类别的识别物，例如其是否为管腔、钙、eel或者本文中公开的其它类别或特征。在一个实施例中，基于每个类别生成预测性结果，然后对于给定的图像数据输入(例如oct、ivus、或其它图像数据的输入帧)的所有预测性结果进行像素级比较，以对于所有类别生成最终的预测性结果。在一个实施例中，预测性结果显示为输出图像掩模，其中具有与由记号(例如颜色和一个或多个图例，总结出哪个记号反映出哪个类别)指示的特定类别相对应的区域。
107.探测斑块和斑块类型分类有助于医生选择其介入策略。他们可以当钙负荷过高时选择执行心血管手术，或者根据基础斑块成分选择将支架安放在不同区。斑块识别和表征
过程的自动化使医生易于进行图像解译和改进其工作流程。
108.本文中公开的mls可通过各种神经网络实现，并集成于各种成像和诊断系统。在一个实施例中，所述系统和方法使用深度学习框架实现。在各个实施例中，mls包括以下中的一种或多种：神经网络、规则引擎、模糊逻辑系统、比较器、图像处理模块(例如扁平化、轮转/移位和尺寸调整模块，例如启发式系统)、图样匹配和图样识别系统、上述的软件实施方式。
109.在一个实施例中，mls使用神经网络(nn)(例如卷积神经网络cnn)。cnn包括多个节点或神经元，并可接收和输出图像数据、源自图像数据的数据和/或对图像数据的改变和/或关于图像数据组成部分或分割部分的分类信息。在一个实施例中，cnn执行语义图像分割。在一个实施例中，使用给定mls实施例的语义分割可用于：探测图像是否具有钙和eel和识别具有钙和eel的像素。这有助于医生解决与选择治疗选项和引导特定治疗相关的各种问题。在一个实施例中，mls使用三维cnn，例如pytorch三维cnn或v
‑
net。本文中所述的神经网络可使用各种框架实现，包括：pytorch，微软cognitive toolkit(cntk)，tensorrt，tensorflow和其它类似的专有和开源ml框架和工具。
110.在一个实施例中，被选择用于数据注释的工具允许用户选择、移动像素和/或绘制边界。这样的示例性用户界面工具305显示在图3a和3b中。gui用法支持逐帧注释(特别是三维)的一致性。如果使用标准化工具(例如基于gui的注释工具)，则对所述工具和注释系列动作的约束支持一致性的训练数据。这区别于不同用户手动注释图像并然后对图像扫描或处理。在一个实施例中，gui的有用特征是能够拷贝从先前帧传送的数据。进一步地，在一个实施例中，各点以极坐标注释，不必在预处理过程中进行笛卡尔坐标到极坐标的转换。
111.在一个实施例中，向mls的输入包括约450个专家注释图像的训练集，其中每个图像像素的组织类型由一个或多个专家用户注释。在一个实施例中，在使用图像数据作为训练集之前，训练集可由相同或另一mls预处理以执行管腔探测。这样，在一个实施例中，第一系列的训练数据使用一个或多个预处理技术进行预先预处理。预处理技术可包括：使用先前已训练(使用具有注释管腔区域或区段的训练集实现)的mls进行管腔探测。也可选择预处理技术以加快网络训练和/或训练后网络在反向传播过程中的预测速度。因此，预处理技术还可以包括：图像数据扁平化、周期轮转过程、圆周轮转过程(其中排除部分图像数据，例如低于噪声基底的深度数据，数据去除可按交替方式执行，使得图像的扫描线每隔一条被去除或者每隔一列被去除，像素可被过滤以去除噪声和增大区域均匀性)和其它预处理步骤。
112.在一个实施例中，训练集包括约400至约600之间的图像数据元素，例如独立的图像，或者图像、扫描线或像素(图像数据元素)的组、群或子集。在一个实施例中，训练集包括：约500至约700之间的图像或图像数据元素。在一个实施例中，训练集包括：约700至约800之间的图像或图像数据元素。在一个实施例中，训练集包括：约800至约900之间的图像或图像数据元素。在一个实施例中，训练集包括：约900至约1000之间的图像或图像数据元素。在一个实施例中，训练集包括：约1000至约1100之间的图像或图像数据元素。在一个实施例中，训练集包括：约1000至约5000之间的图像或图像数据元素。
113.在一个实施例中，用于特定mls的给定cnn包括多个节点或神经元。这样的网络可包括各个层，包括隐蔽层。网络各元素可具有当网络被训练以对于输入图像数据(例如oct、
ivus、血管造影、ct扫描或其它图像数据)进行学习时随时间变化的权重值、过滤值或偏置值。在一个实施例中，用于给定mls实施方案的网络包括：多个过滤器，其响应于训练集(其包括极坐标和/或笛卡尔坐标图像数据输入)而随时间变化。
114.在一个实施例中，cnn界面(可包括一个或多个图形用户界面组成部分)用于协助图像数据批量输入。给定图像是图像数据的示例。图像数据还可包括：来自血管内拉回图和适合于分割和分类的医疗成像数据的其它源的扫描线。在一个实施例中，构成图像数据(实地真实值)的每个图像分为不同部分、类别或类型以支持使用这样的数据训练网络以在对于新的患者图像数据进行操作时探测这样的部分、类别或类型。在一个实施例中，实地真实训练集是对于关注区域或特征(关注用于分类和生成训练后mls)生成的掩模，以在各个实施例中当mls运行时自动(无人为介入)对它们进行预测或探测。人员或机器学习可以用于生成训练集/实地真实值。这些中的每种可实现为掩模或数据通道。每个数据通道在各个实施例中以颜色编码。
115.如图1a中所示，图示出系统5的示意表现图，系统5用于实现mls(适合对于给定系列的医疗图像数据对组织和其它数据类型进行分类)的训练阶段。组织的各种特征、区域、类型和/或类别和图像中的区域、像素、轮廓和边界可相对于图像数据被标出或识别以获得标注图像数据(例如实地真实掩模)。进而，前述可用于训练神经网络，使得网络可对图像数据操作以使用训练后网络生成图像数据输出，其具有记号适合对组织的特征、区域、类型和/或类别以及区域、像素、轮廓和边界实现分类和可视化。给定的实地真实匹配可包括：对应于特定通道或特征的一个区域，或者对应于特定通道或特征的一组区域。给定区域包括：在给定实地真实掩模中的一系列像素。在一个实施例中，实地真实掩模可被注释以包括对应于特定类型或类别(例如，钙、斑块、eel边界和本文中公开的各种其它类别、类型和分类)的区域或特征。
116.在一个实施例中，通过以下方式进行数据增强：通过对图像数据、注释图像数据和/或实地真实掩模执行一次或多次转变而增大图像数据集的基数。这些转变可包括以下中的一种或多种：圆周轮转，向左翻转、向右翻转、扁平化、尺寸调整、裁剪、过滤、二值化、规范化。当图像数据是oct数据、ivus数据或其它使用一个或多个旋转元素获得的数据时，数据增强在避免与所执行成像不一致的转变的条件下执行。
117.在一个实施例中，mls包括cnn，该cnn包括一个或多个输入以接收图像数据并基于对图像数据操作的mls生成输出。在一个实施例中，mls和/或cnn包括深度学习分类器。在一个实施例中，约400至约2000个图像数据元素(例如oct、ivus或血管造影图像)由专家或第一mls注释，并作为图像数据提供给mls。这种图像数据包括图像数据元素和实地真实注释乃至从一个或多个专家和/或用于图像预处理(如管腔探测)的第一mls获得的这种数据元素。在一个实施例中，每个图像数据元素的像素(或其子系列/子集)由第一mls的专家注释。
118.因此，图像数据(包括图像数据元素和对其的实地真实注释)构成训练集，训练集作为输入提供给mls。在一个实施例中，训练集被输入到包括cnn和/或深度学习分类器的mls。如图1a中所示，图像数据/图像数据元素和实地真实注释输入到mls。来自mls的输出与实地真实注释比较和/或与结合实地真实注释的图像数据元素比较，并生成误差值。在一个实施例中，误差值是成本函数的输出。在一个实施例中，误差值是训练误差值。各种量度、得分和检测可用于评估训练误差相对于容许阈值的差别和随时间的收敛性。在各个实施例
中，掷骰(dice)、杰卡德(jaccard)、余弦相似性，以及重叠距离、量度、得分或系数可为输出、输入、或成本函数的组成部分。与成本函数相关的更多的细节在本文中描述。图1a的系统和在本文中公开的其它系统可包括各种预处理步骤以进一步改善训练和/或处理时间。
119.图1f是本公开内容的示例性方法80，其包括：训练过程和后续的预测过程，适合用于各种关注区域/特征，例如管腔、钙、中膜和内膜。在一个实施例中，被训练的神经网络使用实地真实注释训练，包括钙、内膜、管腔、中膜。在一个实施例中，被训练的神经网络使用实地真实注释训练，其包括或特别涉及以下中的一种或多种：钙、内膜、管腔、中膜。所述方法包括：获取图像数据，其可包括极坐标图像数据，例如血管内数据。步骤100。起初，一系列的实地真实数据(例如实地真实掩模)通过对所述系列的图像数据复查和注释而建立。在一个实施例中，所述方法包括：在所述一系列图像的每个极坐标图像中注释一个或多个关注区域或特征，使得每个注释的区域或特征是实地真实的注释。步骤102。对应于实地真实注释的像素可存储到持久电子记忆体(例如图1的数据库)中。本文中所述的所有数据和注释可存储到数据库或者其它被神经网络和给定成像系统的图像处理软件模块容许的数据结构中。
120.在一个实施例中，实地真实注释可通过如本文中所示且更详细论述的用户界面(例如参见图3a)执行。在一个实施例中，所述注释被存储为实地真实掩模，并可包括通过用户识别的一系列关注区域或特征以及构成所述区域或特征的边界或像素。在一个实施例中，掩模包括与初始图像(例如极坐标图像)组合的像素叠层。在一个实施例中，掩模包括对应于特定实地真实注释或预测性结果的像素的地址/清单。
121.使用一系列注释的极坐标图像进行机器学习系统的神经网络的训练。步骤104。所述训练可使用实地真实掩模和被注释以获得实地真实掩模的图像数据进行。实地真实掩模可使用圆周翻转、向右翻转、向左翻转和其它可用于旋转成像模态的增强转变方式进行增强。本公开内容部分地涉及增强极坐标图像，其中一个实地真实掩模被修改以增大实地真实掩模的数量。在一个实施例中，管腔探测作为起初探测步骤执行，使得实地真实掩模包括管腔边界或管腔特征或管腔区域。在一个实施例中，执行训练直到一个或多个量度(例如成本函数或其它误差测量值)减至容许水平。随着误差减小，mls的探测/预测准确度增大。
122.一旦mls被训练，则执行对神经网络输入图像数据以生成各个关注特征/区域的一系列图像数据(具有预测、探测、分类等等)。步骤105。生成k个概率掩模(针对k个类别/类型中的每个)。步骤106。当k为3(三个不同类别)时，概率图谱输出/概率掩模的示例显示在图1g中。特别地，图1g显示出患者成像的图像数据和对于不同类别的三种输出概率图谱/概率掩模。对应于作为分立通道而探测中膜m、钙ca和管腔l的输出掩模/图谱给出本公开内容的例示性实施例。如图所示，对于每个相应的通道，被探测类别以红色显示。因此，在图1g中，中膜m在中膜通道中为红色，两个探测到的钙区域ca在钙通道中为红色，管腔l在管腔通道中显示为红色。其它记号可用于颜色编码或者表现与关注区域/特征相对应的各种探测/预测类别。在一个实施例中，关注特征的每个类别或类型被指配相关联的通道，用于追踪掩模、图谱和最终输出(其具有与图像的用于网络训练的每个部分的分类相关的预测)。
123.如果钙、中膜、管腔和内膜是用于神经网络训练对特征/区域分类的类别/类型，则k为4。在一个实施例中，神经网络的输出包括：k个概率图谱，使得对于每个类别/类型存在一个概率图谱。所述方法可包括：对输入图像数据的每个帧生成最终预测性输出。步骤107。
在一个实施例中，k个概率图谱中的每个(针对于不同的k个类别/类型中的每个)基于每个像素而被比较和评估，使得对于给定图像帧的每个像素被评估，然后最终的预测性结果被指配到每个像素。以此方式，图像数据的每个帧被处理，以生成最终的预测性输出。在一个实施例中，最终的预测性结果是预测性输出掩模，其包括对应于一类型/类别的一个或多个记号。在一个实施例中，所述方法包括：显示来自神经网络/机器学习系统的具有类别/类型记号的最终预测性输出图像。步骤108。
124.在一个实施例中，各种记号用于颜色编码或者以其它方式可视化或显示使用训练后mls识别出的不同关注区域和特征之间的分割。在一个实施例中，显示输出图像数据，其已修改为包括使用神经网络/机器学习系统识别/预测的关注特征/区域。前述步骤可使用本文中公开的基于计算机的和基于ai处理器的系统中的一种或多种执行。
125.各种神经网络架构可用于本文中公开的实施例。例如，v
‑
net、u
‑
net、cumedvision1、cumedvision2、vggnet、多级多递归输入全卷积网络(m2fcn)、粗到细堆叠全卷积网络，深度主动学习框架，resnet、它们的组合，以及其它神经网络和基于软件的机器学习框架可适合执行如本文中公开的关注特征/区域图像分割和分类。图2是用于卷积神经网络的架构的示例，适合使用注释实地真实掩模训练并生成概率图谱，所述概率图谱适于评估预测性输出和显示具有分类关注区域/特征的分类图像数据。图2的多层神经网络架构115适合使用实地真实注释进行训练和生成预测性结果。图2的神经网络架构可对于各种类型/类别(钙、管腔、中膜、内膜和本文中公开的多种其它组)通过实地真实掩模训练。网络115可以是本文中公开的任意网络架构，或者其修改版本或其组合。在一个实施例中，网络115是卷积网络。
126.神经网络115包括输入111和输出117。输出117是对于每个图像数据输入的k个概率图谱(当规定k个类别以对受关注的特征和区域分类时)。k个概率图谱使用评分或权重系统(由此使输出概率图谱针对图像数据111的每个帧进行比较并用于确证哪些像素具有更高的相对概率成为k个类别之一)评估。作为评估结果，生成最终的预测性输出，其显示出这些k个类别和具有记号和图例以区分类别的相关联特征和区域。
127.各个节点是网络115中所示的n1－n9，其具有可施加于图像数据通道的相关联的系列操作和转变“op”。在网络115的各个实施方案中，通道t的数量典型地为16或更多个通道。在努力提高网络115的处理速度时，申请人已发现：设定t为4，t＝1，适合对网络分类和训练，以评估动脉图像数据。这样，在各个实施例中，t个通道对应4通道，2t、4t、8t、16t个通道对应于8通道、16通道、32通道、64通道。这些各个通道被设定在网络的每个层/隐蔽层处以规定对于网络各个节点各个功能op而言应如何对输入数据情形进行操作。在一个实施例中，网络115通过实地真实掩模使用函数/算子(例如适应性学习算法)训练。在一个实施例中，基于梯度下降的方法用于训练网络115以及注释的实地真实掩模。
128.网络115的各个节点包括用于所示9个节点n1－n9的系列操作和转变op：op1,op2,op3,op4,op5,op6,op7,op8,op9。其它的节点和层可添加到节点n2、n3和节点n7、n8之间，如网络元素128a、128b所示。网络115左侧(包括节点n1,n2,n3,n4)和从节点n4至n5的输入箭头执行一个或多个下行采样/下行转换操作dc。与此不同，在网络115右侧上(包括从节点n5至n6的输出箭头和节点n6－n9)，网络的此部分在各节点之间执行一个或多个上行采样/上行转换操作uc。在一个实施例中，神经网络架构包括编码器(捕获场景信息)和对称的解码
器路径(能够实现精确定位)。
129.网络115的左部分是下行采样编码器部分，其中，卷积块和下行采样操作用于以多种不同级别将输入图像编码为特征表现形式。网络的右部分包括上行采样卷积操作和级联操作。网络的右部分操作以输出将与输入图像具有相同尺度的图像。在一个实施例中，网络架构具有4种情形的下行采样操作或上行采样操作，因而输入图像的尺度将需要除以16以避免尺度失配。在此文件中，图像数据具有m
×
n像素尺度。
130.在一个实施例中，m
×
n尺度为912
×
512，不过也可使用其它规定尺度。在一个实施例中，不同于规定的m
×
n尺寸的图像被拉伸或裁剪以匹配于规定尺度。在各个实施例中，在每个节点(op1
‑
op9)处执行的op操作和函数选自以下过程的组：卷积，解卷积，加性过程，级联过程，上行转换过程，下行转换过程，softmax过程和prelu过程。在一个实施例中，softmax和参数修正线性单元(prelu)过程在一个或多个节点之间作为层而执行，将来自图像数据的在节点之间传输的网络参数转变为输出概率图谱中包括的概率。在一个实施例中，神经网络的输出包括概率指配层，例如可使用softmax函数构造。基于像素或根据另一种分组方式(例如按扫描线或按掩模区域)、基于训练类别系列(也称为类型或标识)，所述概率作为用于k类别中的每种的多个输出117提供。在一个实施例中，每个节点可作为层而操作，或者层可通过两个水平节点和它们之间的箭头限定。在一个实施例中，各节点之间的传输(由从网络左侧向右侧的箭头130a
‑
130d显示)对应于从架构左侧向架构右侧组合或级联一个或多个通道。
131.在一个实施例中，图2的网络架构被构造以表征三个或更多个类型/类别的像素标识，例如钙、中膜、管腔和已成像对应关注特征和区域的其它类别和类型。在一个实施例中，网络115减小通道计数，使t为4(对于所有所示t通道而言)，使得网络的处理速度大致为实时的(在约400至约600帧的图像数据之间)。如果目的是减少患者在导管室中在成像和其它进程中的时间，则复合神经网络(例如t大于4的网络)在生成预测性结果/概率时引起推测时间减慢，而且导致诸如训练过程中过拟合之类的其它问题。在各个实施例中，在图2的网络115中t设定为4使得网络准确度改善，同时减少推测时间。在一个实施例中，对于t等于4，则图2的通道为4、8、16、32、64，对应于所示t个通道、2t个通道、4t个通道、8t个通道、16t个通道。
132.在一个实施例中，每个水平层(如给定节点或由传输操作130a
‑
130d链接的两个节点)是卷积层，其进行op1
‑
op9中的这一个或多个的卷积操作和/或在节点之间的竖直dc操作。这些层提取或学习输入实地真实数据的一些特征。对于左侧的卷积层而言，可对每个节点设定各种跨越。在卷积操作中，给定跨越提供对卷积操作过程中图像尺寸减小的控制。例如，如果图像尺寸为256
×
256，则卷积之后的输出尺寸将为128
×
128(256/跨越)。网络右侧的解卷积对各种uc操作中的每个执行粗化。
133.图2a的示意图显示出根据本公开内容的例示性实施例的来自mls的一系列输出，其包括对应于各个颜色编码类别的记号(ca(红色)、管腔(蓝色)、中膜(绿色))，并且显示出使用前述获得轴向投影和生成地毯视图(以及可选的组织图谱)。
134.在各个实施例中，神经网络架构可为二维(2d)或三维(3d)网络，这样可操作以处理2d数据和3d数据。在一个实施例中，用于f帧拉回的3d(其中每个帧为2d极坐标图像)使用地毯视图表现方式显示。在各个实施例中，过滤器可施加于2d地毯视图，以去除噪声或其它
不希望存在的特征，使得处理时间比使用3d算子时更长。与使用地毯视图相关的另外的细节参照图2a提供。
135.在中膜和钙探测过程之后，对于所关注的中膜m和钙ca区域/特征，极坐标空间中的每个帧将具有对应的帧/掩模。这些帧/掩模可包括管腔l和用于训练神经网络以进行roi/foi探测的其它类别。一系列四个输出图像掩模/帧190作为示例显示。在各个实施例中，该系列的帧将会包括约400至约600之间的帧。已使用颜色编码记号，其显示在图2a中的帧和图像中，蓝色为管腔，红色为钙，绿色为中膜。当使用oct或ivus数据时，输出图像掩模可覆盖整个拉回图。在一个实施例中，中膜和钙掩模(在此示例中还包括管腔)的所有帧沿轴线(例如x轴线或y轴线)投影(作为or操作)以得到一连串掩模。源于投影操作的各线显示为四条线193。在投影线中的像素的颜色编码可见：绿色为中膜、红色为钙。在一个实施例中，所有线基于从近到远的帧的顺序从左到右组合为一个二值/二元中膜掩模和二值/二元钙掩模。
136.这种线投影组合193显示为地毯视图195。可选地，在一些实施例中，地毯视图或线投影192用于形成所示的组织图谱198。组织图谱的最外环对应于近方向，而最内环显示出远方向。在一个实施例中，通过关于地毯视图执行极坐标转换而形成组织图谱198。地毯视图包括：3d数据(基本包括来自拉回的所有帧)。在一个实施例中，二值/二元形貌重构过滤器被施加于中膜和钙地毯视图图像198，以清除噪声和小结构。在一个实施例中，这样的地毯视图过滤步骤，相对于基于来自神经网络的预测性输出帧/掩模的地毯视图，有利地将地毯视图图像中的小的探测区去除，而大的探测区保持不变。
137.在一个实施例中，处理后的地毯视图图像然后可以施加于中膜和钙掩模(例如通过卷积、加性或比较过程实现)以去除3d极坐标空间中的噪声。将对2d地毯视图的操作限制到2d过滤器，相对使用3d算子对3d数据空间操作而言，改善了处理时间。图2a中所示的各个过程和操作可使用基于计算机的系统和软件模块(例如，图像处理渠道和基于神经网络的特征/区域探测和分类)实现。在一个实施例中，使用训练后神经网络探测roi/foi(例如钙、中膜、管腔、和内膜)的方法包括：使用图像处理渠道替代使用训练后神经网络而执行边支探测、导丝探测、和支架探测中的一种或多种，以增大在oct拉回过程中获得的系列图像帧的处理速率。
138.在一个实施例中，地毯视图是血管内拉回图的图像帧的3d表现物。在拉回进程中使用探头获得的血管内图像数据可以通过以下方式向用户显示：通过沿纵向视图展开截面或极坐标视图而形成扫描线的表现物。地毯视图是二维数据表现物。在一个实施例中，地毯视图显示出截面oct图像，不过以类似于地毯的铺展卷绕柱的方式铺展或展开。
139.地毯视图可用于以一种或多种方式显示出各组极坐标图像数据及其基础组成部分。例如，在一个实施例中，地毯视图将3d血管内数据集的径向偏移尺度压缩为单一强度。以此方式，数据可表现在(z,θ)坐标中。在一个实施例中，线投影可用于生成地毯视图。在一个实施例中，压缩径向偏移尺度的方法为：对于在近和远偏移估计值之间的各强度值求和。与地毯视图/oct图像中的特定区域相对照，此强度值之和产生可探测到的增大。这些可用于改善分辨率和从输出预测性掩模(使用如图5e、13a、13b中所示图形用户界面的一个或多个面板显示)中去除噪声。
140.在一个实施例中，地毯视图或oct数据可用于生成地毯视图掩模。血管内数据的地
毯视图掩模可被生成以利于过滤来自最终预测性输出(经由用户界面显示，例如显示在图5e、13a、13b中)的噪声和伪影。对于地毯视图图像执行的二值/二元化过程是有利的。在一个实施例中，地毯视图用作后续血管内图像处理时期(其中不希望存在的像素碎片或其它噪声被去除)的输入。
141.在一个实施例中，地毯视图是从拉回的扫描线生成的二维数据集，其中沿扫描线的偏移尺度被去除或减小。在地毯视图中，阴影强度值低，组织强度值高。地毯视图典型地是灰度图像，不过在一些实施例中可以显示颜色版本。
142.在一个实施例中，训练和试验使用3或更多个ai处理器(例如图形处理单元)执行。在一个实施例中，训练编码使用pytorch框架在python中实现。在将oct图像和掩模输入到神经网络中训练之前，所有图像被规范化至(0.0～1.0)的范围。所有图像和掩模进行顺序随机化并进一步分为两个部分。第一部分是总数据集的90％，用于训练模型中。在训练环节中，图像和掩模在(
‑
256, 256)之间竖直随机偏移，以对每个全周增强训练样本。第二部分用于评估训练后模型在每个全周之后的性能。在一个实施例中，在模型输出中使用像素级可操作的softmax函数计算交叉熵损失。训练和测试结果显示在图2b和2c中。损失函数是指通过预测和实地真实值计算出的实际交叉熵损失，如图2b中所示。失配百分比是每个图像中与实地真实值相比的错误分类像素的百分比。图2b和2c均显示出300个全周之后良好收敛的训练过程，不存在过拟合问题。
143.如本文中所述，管腔探测根据实地真实数据、图像数据和用户图像数据(需要拟探测/分类的关注特征/区域)执行。在一些实施例中，管腔探测通过分析扫描线的非连续性(例如成对的开始和停止)而执行。在其它实施例中，管腔探测使用以注释图像(例如具有被识别管腔边界的实地真实掩模)训练的2d或3d神经网络实现。图2d显示出动脉230的极坐标图像数据，其中识别出管腔l和组织t。图2e显示出通过实地真实管腔数据注释的极坐标图像数据233，而且是具有与两个不同关注区域/通道对应的管腔l和组织t的掩模。图2f显示出输出图像数据235结果，管腔探测通过具有2d神经网络的mls执行。图2g显示出输出图像数据240结果，管腔探测通过具有3d神经网络的mls执行。
144.图3a和3b显示出适合用于浏览图像数据帧和注释图像数据以生成实地真实值的系统的用户界面。在图3b中显示出极坐标图像350，其中区域357已被限定为基于点的实地真实值，例如通过边界点360a、360b、360c(具有在区域边缘部的像素)的移动实现。在一个实施例中，可以使用各种绘图和编辑工具对原始图像数据作注释。这些注释的图像可用于生成具有注释区域的类别或特征(使用图3a的界面305限定并存储于记忆体中)的实地真实掩模。在图3a中，血管内成像拉回图的271个帧可用于注释。帧146已被选择用于注释，以提供用于训练mls的实地真实数据。图3b中的用于注释的用户选择区域对应于如图3a中所选择类别识别物所示的中膜。以此方式，任意特征/类别可被选择用于标识并和注释一起存储于记忆体中。所述注释包括：限定掩模的像素边界/区域，所述掩模非限制性地匹配于特定类别或特征，例如管腔、中膜、钙等等，并可包括本文中公开的任意类别、特征或区域。
145.作为示例，图2c所示图线适合用于评估一定时段(零至600以上全周)中训练误差的变化。在图2c中，x轴显示出训练全周的数量，而y轴显示出掷骰系数(其为对误差的测量)。蓝色和橙色曲线指示出对训练和测试数据的网络性能。
146.在一个实施例中，训练数据(如实地真实数据)以及图像数据元素(可包括各种图
像格式，例如原始灰度图像)作为输入提供给mls的cnn。mls在各全周的时段中运行，直到训练误差减少、最少化或按其它方式低于阈值。在一个实施例中，所述时段的范围为约100至约1000个全周。
147.在一个实施例中，训练数据(包括原始图像和实地真实注释)均在极坐标中。实地真实注释可通过执行管腔探测的现有软件算法进行增强。从软件输出的管腔探测与用于中膜、斑块和斑块类型的专家用户注释相结合而生成实地真实图像。在一个实施例中，向mls的输入是实地真实图像，输出是分类图像。当分类图像与实地真实图像相同时，误差为零。
148.图1b显示出mls 15在其训练(使用本文中所述或其它适合用于mls和cnn的一种或多种训练过程进行)之后的使用。当给定mls/cnn已被训练之后，其然后可处理原始图像并输出包括分类或表征后组织的图像分割。在一个实施例中，来自血管内成像探头拉回图的极坐标图像通过训练后mls操作以生成分类图像。图1b的系统可包括各种预处理步骤/操作16，以进一步改善训练和/或处理时间。在一个实施例中，预处理包括规范化步骤。在一个实施例中，规范化步骤包括：对图像数据、实地真实注释、掩模、帧、扫描线、神经网络输出和其它基于强度的数据中的一种或多种或所有的强度进行规范化，使得强度在一定范围内(例如从约0至约1、或另一可用范围)规范化。
149.极坐标形式的未分类/未表征oct图像(对应于冠状动脉截面图像)的示例显示在图2d的第一图像中。图2d的第二图像是极坐标图像加上指示出中膜roi/foi、ca和管腔的实地真实掩模。图2d的第三图像是极坐标oct图像，包括推测结果或预测性结果，显示出颜色编码记号：绿色为中膜，红色为钙，蓝色为管腔。使用已由训练后的mls进行分类或者表征的光学相干断层成像图像获得的用户图像数据的示例显示在图3d和3e以及其它图中。将图3d与图3c比较，显然两个图像均为笛卡尔图像。在一个实施例中，mls训练和预测对于极坐标图像执行，当分类发生之后，极坐标视图转换为笛卡尔视图，通过训练后mls生成的注释使用颜色编码或者其它适合的记号或可视化方式显示在图像上。如图3d中所示，内管腔区域显示为蓝色，在9点钟位置的含钙斑块区域显示为红色，中膜区域大致显示为图像右侧的细曲线区域，其延伸经过管腔的顶部和底部中点。
150.给定的成本函数通过将实地真实输入/训练集与对患者数据操作时的期望输出比较而提供评估机器学习系统输出的量度。在训练数据与输出数据之间的拟合良好度可通过成本函数测量。成本函数的输出可为对应于误差量度的值。此输出是比较性量度(例如差值或差距)，以总结在给定预测性结果和用于系统训练的实地真实值的情况下，机器学习系统或神经网络或者其其它操作性组成部分在准确预测上的成功程度。如果成本函数的输出结果为零，则系统将完美有效工作。这样，对系统迭代改变可用于减小系统的成本或误差函数并改善其预测准确度。
151.此外，基于像素的成本函数被规定以测量在预测和实地真实值之间的差距或者另一适合的量度或得分。在一个实施例中，反向传播将更新源自于成本函数的基于网络的值中的每个权重。在一个实施例中，成本函数的偏导数用于在反向传播过程中更新权重。这种权重更新过程具有的益处是：实际预测性结果更接近于实地真实值。这具有的益处是：对神经网络每个输出神经元/节点而言减小或最小化误差。在一个实施例中，神经网络是卷积神经网络(cnn)。
152.图1c是机器学习系统30的示意图，其包括被训练的神经网络34，例如以注释实地
真实掩模的增强数据集训练的网络。如图所示，输入的图像数据(例如在所示示例中为oct极坐标图像数据)通过训练后神经网络34操作。输入的极坐标oct图像被操作以生成极坐标图像形式的预测/预测性输出，其中包括对应于各种动脉特征/区域的颜色编码记号，例如中膜(绿色)、钙(红色)、管腔(蓝色)，如图所示。还显示出实地真实图像的示例，其采用注释实地真实图像掩模的形式，用于训练mls的神经网络34。在各个实施例中，mls系统的输出包括以下中的一种或多种：ca和eel的相似度的基于弧的量度/测量值；探测到的eel直径；探测到的ca深度。在一些实施例中，这些值在eel、中膜、钙、管腔和其它关注区域/特征进行分类之后关于图像数据进行测量。
153.仍然参见图1c，一旦mls被训练，则反向传播可从时间零运行到反向传播时间bpt。以此方式，对应于注释图像或掩模的预测通过以下方式生成：将来自患者的原始图像(例如来自oct拉回图)输入mls中并将数据经网络传播以生成预测性输出。在一个实施例中，bpt时间的范围从大于零至约60秒。在一个实施例中，bpt时间小于约180秒。在一个实施例中，bpt时间小于约90秒。在一个实施例中，bpt时间在各个示例中大致为实时的，如本文中所公开。各个神经网络34可用于实现本文中所公开的系统和方法。这些网络可包括各种隐蔽层、功能、算子、以及在多通道上可操作的组合的算子。在一个实施例中，所述通道对应于输入图像数据，例如来自给定帧的一系列像素或者来自给定帧的子系列像素。
154.图1d显示mls 55a，其与成像系统的图像处理组成部分协同工作以生成向成像系统发送的结果。在一个实施例中，图像处理是oct图像处理。mls使用神经网络执行ai探测。这可通过aip/gpu执行。处理时间的范围在一个实施例中从约20至约40秒。在一个实施例中，aip是1080或更高型号的geforce gpu。ai探测可被构造以探测管腔、钙、eel和本文中公开的任意roi/foi。图1e的系统65a将管腔探测分为分立的处理阶段(具有处理时间t3)。管腔ai探测可使用一个或多个aip/gpu执行。图1e的系统还包括各种预处理步骤以减少当患者处于导管室中时的下游处理时间，而组织探测/预测在其预备手术时执行。预处理可具有处理时间。在一个实施例中，预处理包括数据扁平化步骤。
155.最后，对于已完成管腔探测和预先预处理的图像数据可执行ai探测。ai探测过程可耗时t4。在一个实施例中，t3的范围从约1至约5秒。在一个实施例中，t4的范围从约5至约12秒。在一个实施例中，t4的范围从约5至约12秒。在一个实施例中，总处理时间t2的范围从约8至约20秒。在一个实施例中，t2从约5秒至约15秒。
156.在一个实施例中，mls和所执行的方法步骤和操作可包括语义图像分割，其利用端到端训练的神经网络处理oct图像。训练数据包括：极坐标空间中的约900个oct图像(具有人工标识的关注区域)，其中，每个关注区域对应于给定实地真实值。每个给定实地真实值可使用训练后网络映射到将在图像数据中探测的通道。在一个实施例中，各个输入图像及其对应通道特定掩模用于使用一个或多个算法训练网络。在一个实施例中，使用随机梯度下降优化算法。
157.本公开内容部分地涉及用于对组织和不同组分层和材料(上述示例性组织类型或组织特性中的每种)分类的方法以及上述随时间的变化。已通过mls和一种或多种相关方法分类的患者动脉的示例性输出笛卡尔图像显示在图3d和3e中的图像b和d中。
158.图2d至图2g显示出：动脉的极坐标图像，通过实地真实管腔数据注释的极坐标图像，通过具有2d神经网络的mls执行的管腔探测结果，以及通过具有3d神经网络的mls执行
的管腔探测结果。
159.显示出冠状动脉的各个层。内区域p(对应于来自血管内成像探头p的阴影或反射)显示在血管l的管腔中。特别地，本公开内容涉及探测和识别关于动脉的组织类型和关注区域和/或特征，以及显示这种组织类型的记号或其它可视化形式。这种来自mls的被图示在组织表征/分类动脉图像中的预测或推测有助于终端用户方便进行诊断和治疗决策。可使用在本文中所公开的方法和系统进行探测的组织类型的一些非限制性示例包括：内区域(血液在其中流动)，管腔，内面，中膜，外弹性薄层(eel)(也被称为外弹性薄膜)，内弹性薄层(iel)，外膜，斑块，钙或钙化组织，和其它。中膜由iel和eel界定。内膜由管腔和iel界定。
160.本公开内容涉及各种实施例，其中使用一个或多个机器学习或人工智能(ai)系统对动脉图像或其它结构探测或将其分割为各种组成部分组织类型或关注区域。机器学习系统部分地被设计为使其能够安装于或组合于成像系统，例如，血管内成像系统、超声系统或x光系统，如血管造影或透视造影系统。在一个实施例中，本公开内容涉及使用mls执行组织表征以探测以下中的一种或多种：管腔，eel，中膜，钙/钙斑。涉及这些动脉层和钙斑的另外的细节显示在图5g－5j中。
161.在一个实施例中，图像数据(可为来自一个或多个成像系统(oct，ivus，血管造影，x光，透视造影和其它)的原始图像数据)以及实地真实注释均处于一个或多个坐标系统中。实地真实值、roi、foi和预测性结果中的每个可对应于一通道并在给定训练或患者图像中具有相关联的图像掩模。处理极坐标形式的数据(例如oct数据)对各种系统都是困难的。
162.若实时需求关联于从仍插有导管的患者获取这种数据之后立刻生成分类系列图像数据，则使用mls进行图像数据及时处理是现实必要的。为了允许使用机器学习和ai技术，可实施各种预处理或mls设计选项以利于使数据处理时间的范围为约1秒至约20秒。
163.通常，本文中公开的系统和方法提供至各种自动化诊断工具以助于医生确定其是否应治疗给定患者，并在确定治疗时应治疗哪种损伤/狭窄。在一个实施例中，所述系统基于生理学提供引导以治疗最严重的损伤。此外，与斑块类型和其它mls探测特征相关的细节可用于选择提供最大血流恢复的最短支架。此外，可实施虚拟支架设置，这样提供允许支架被调制以安置在动脉中(受到如本文中所公开的组织分类和其它测量值的影响)交互式的规划。
164.本文中所公开的系统和方法提供引导而使得临床医生能够访问各种支架安放区。这可得到虚拟支架设置的支持，其中虚拟血流储备值有助于选择损伤安放区。通过血管造影和oct数据的配准进一步对此支持。按照mls探测的使用，正常帧(具有健康组织的帧)将具有更满的中膜/eel覆盖率。以此方式，如本文中所实现的mls解决如下问题：引导支架规划并协助改善患者效果。
165.进一步地，使用本文中所述mls获得的自动化eel测量值影响到需考虑何种支架尺寸和应使用何种类型的支架。通过mls进行的钙探测对于损伤准备和治疗选项(例如选择心血管手术，而非支架设置)提供信息。此外，钙探测提供在多选决策时的输入参数，钙探测将会有助于决定是bvs还是des。
166.图4a至图4c是示例性的成像和诊断系统，包括一个或多个机器学习系统，机器学习系统集成于或者可以集成于或者以其它方式组合于成像系统。示例性成像系统可包括：基于oct、ivus、血管造影、透视造影x光的成像系统，等等。
167.参见图4a，显示出数据收集/成像探头407和成像系统410(包括mls系统442)，适合用作血管内诊断系统/数据收集系统。系统442可包括：aip(例如一个或多个串联或并联的gpu)和ai记忆体aip。所述系统可用于实现本文所述的一种或多种基于ai/ml的技术、系统和方法。系统410可用作支架规划系统用于建议支架安置选项，并提供图形用户界面用于基于流量测量(例如vfr(容积流量)、ifr(瞬时无波率)、ffr等等)进行模拟或虚拟支架规划。用于这种系统的一些示例性图形用户界面显示在图13a和13b中。图14b显示出具有测量和预测性vfr值的动脉截面视图。此外，已使用训练后神经网络生成掩模，以显示出钙(ca/红色)、中膜(m/绿色)和管腔(l/蓝色)。模拟支架也显示在图13b中所示用户界面中的动脉表现物的纵向视图中。
168.在各个实施例中，血管内探头407可用于在存在诸如血管造影之类的x光成像系统的情况下对动脉成像。诸如计算机断层(ct)扫描、磁共振成像(mri)、基于x光的成像系统，以及其它2d和3d成像系统之类的其它成像系统可用于生成和/或存储图像数据于一个或多个记忆体存储装置中。探头407在各个实施例中可包括其它成像模态，例如oct、血管内超声(ivus)，等等。探头407与血管内诊断系统/数据收集系统410光学通讯/连通。oct光学系统或子系统431(经由光纤414连接到探头407)包括：光源(例如激光)，干涉仪(具有样本臂和基准臂)，各个光学路径，时钟生成器，光电二极管和其它oct系统组成部分。
169.系统410进一步包括与基于mls的图形探测相关的一个或多个诊断软件工具或模块412。此软件可作为非临时指令存储到一个或多个记忆体装置(例如记忆体装置445)上并由一个或多个计算装置(例如计算装置440)或mls 442执行。mls包括一个或多个ai处理器(aip)和专用记忆体aip。在一个实施例中，支架规划软件工具可包括：由用户所生成的一个或多个血管构形(例如目标构形)，比较器或其它比较软件例程(用于比较前、后支架构形或其它构形)。通常，软件412可处理一系列血管内数据并执行本文中所述的各种方法步骤，例如关于图1f、2、2a、2b、4b、4c、12a、12b以及本文中图示和公开的其它图所述的方法步骤。在一个实施例中，软件412存储在aip中并可由aip执行。
170.软件412被设计以对来自血管内探头或其它探测器或数据源(例如血管造影系统)的血管内数据集和其它相关数据进行操作。在一个实施例中，血管数据可在拉回进程中记录并存储于电子记忆体装置中。训练、预处理、实地真实掩模生成、探测/预测组织分类、神经网络和其它特征和软件组成部分可在aip或计算装置440上运行。软件包括：各种mls训练、预处理和预测模块，如图所示。这些可包括：
171.管腔轮廓预测12a，边支预测12b，尺寸调整12c，图像扁平化12d，管腔扁平化，支架筋预测12e，用户界面和输入处理12f，预处理12g，mls界面12h，mls记忆管理器12i，用于注释图像数据的gui训练模块412j(以生成实地真实掩模)，强度规范化模块412k，等等。
172.在一个实施例中，软件模块被设计为对血管内数据操作以表征组织并识别关注区域，例如钙区域、渐缩区域、脂质池和其它组织特征。软件412还可比较血流储备分数(ffr)、血管内阻力比(vrr)和其它测量和计算出的血管内数据收集参数。这样的参数从支架状态变化至非支架状态，至此程度，则这样的参数可用于生成一个或多个量度。
173.在一个实施例中，可使用oct系统431。所述系统包括光学接收器(例如基于平衡光电二极管的系统)，接收由探头407返回的光。计算装置440例如为计算机、处理器、专用集成电路(asic)或者作为系统410一部分或作为分立子系统(其与系统410电学或光学通讯/连
通)被包括在内而且从探头7接收电子信号的其它装置。计算装置440在各个实施例中包括：本地记忆体，总线，以及适合用于处理数据和利用软件444(例如被构造用于支架可视化和支架贴壁不良探测的图像数据处理)的其它组成部分。在一个实施例中，外围组件快速互连(pcie)总线或者其它高带宽、低延时总线用于连接给定成像系统、mls、或包括二者的组合系统的各个组成部分。
174.支架部署规划工具412可为软件444的一部分或者与软件444交换数据。这些工具可用于将虚拟支架安置到探头407相对于血管壁设置的管腔区中。图13b显示出拉回图的区段的示例性区域，其中一个或多个虚拟支架可部署和显示在用户界面上。
175.如图所示，在4a中，显示器446也可为系统410的一部分，用于显示信息447，例如使用收集的血管内数据生成的血管的截面图和纵向图。一旦血管内数据通过探头407获取并存储于记忆体445中，则其可被处理以生成和显示信息447，例如血管的沿拉回区域或其子区的长度的截面图、纵向图和/或三维视图。二维或三维图像掩模可用于显示或存储实地真实数据和预测性结果。这些视图可作为在下文中和后续图中所示和所述的用户界面的一部分进行图示。使用从系统410获得的距离测量值生成的血管图像，当使用本文中所述的工具和软件模块处理时，提供关于血管的信息，包括管腔轮廓、血管直径、血管截面积、安放区和通过安放区界定的虚拟支架。在一个实施例中，mls 442包括一个或多个计算装置和一个或多个软件程序或模块。本文中公开的各种装置、组件/组成部分、系统和子系统可操作以对于前述诸项执行本文中所述的任务、方法、步骤、过程和其它特征。
176.mls 442可包括：一个或多个ai处理器和/或gpu和/或处理核和/或流处理器和专用记忆体，用于当对于患者图像数据(例如图像数据元素)操作时执行mls训练和预测/推测。基于mls的系统的更多细节显示在图4b中。
177.如图4b中所示，显示出成像和mls的组合系统450。该系统包括：显示器420，其可支持以点和轮廓注释原始图像数据，以存储实地真实数据以训练mls。显示器可连接到mls 425或成像子系统430。mls 425和成像系统430具有：数据传输界面465。在一个实施例中，mls 425包括一个或多个总线/母板468以对各种aip、记忆体和其它组件/组成部分提供通讯通道和连接。在一个实施例中，mls 425包括多个ai处理器(aip)。这些可布置在服务器构造中。如图所示，三个ai处理器aip1、aip2、aip3串联、并联或以它们的组合方式联接通讯。在一个实施例中，mls和成像系统置于壳体中。壳体包括冷却系统cs以管理aip产生的高温。在一个实施例中，aip包括一个或多个图形处理单元(gpu)。在一个实施例中，壳体包括：温度传感器ts，其调节冷却系统cs，以确保壳体中的aip连续操作。在一个实施例中，一个或多个aip网连到成像系统和/或mls，并将处理后的数据传输到壳体外。
178.在一个实施例中，所述系统包括连接到ai处理器的母板。母板置于系统壳体中。壳体可为车，包括轮以在导管室或另一地点移动壳体及其成像和mls系统组件。系统包括探头界面单元470，探头界面单元470包括用于光学成像探头(例如oct探头或ivus探头)的联接器/耦合器。此探头界面单元(piu)在一个实施例中也被称为基座。
179.在各个实施例中，训练后的神经网络在成像/数据收集系统的壳体中设置的ai/ml处理器(例如图形处理器/图形处理单元)上执行。ai/ml处理器包括n个并行处理器。在一个实施例中，n的范围从约2000至约2500。在一个实施例中，n的范围从约2000至约3000。在一个实施例中，n的范围从约3000至约4000。在一个实施例中，n的范围从约4000至约5000。在
一个实施例中，n的范围从约5000至约6000。可在被称为计算单元的各个硬件元件上成组设置多个并行处理器。在一个实施例中，计算单元的范围是：对于给定ai处理器，设置约20至约80个计算单元。每个计算单元可具有多个并行处理器。在一个实施例中，使用统一计算设备架构(cuda)，其中cuda核的范围是从约2000至约10000核。在一个实施例中，使用统一计算设备架构(cuda)，其中cuda核的范围是从约2000至约2500核。适合的并行处理器的示例包括但不限于：来自nvidia公司的cuda核处理器和张量核处理器、来自amd公司的流处理器。在一个实施例中，约200至约300之间的张量核被包括在所用ai处理器/图形处理器中。
180.在一个实施例中，ai处理器记忆体(aip)大于约8gb。在一个实施例中，ai处理器记忆体大于约16gb。在一个实施例中，ai处理器记忆体大于约32gb。在一个实施例中，ai处理器记忆体大于约64gb。在一个实施例中，ai处理器记忆体大于约128gb。在一个实施例中，ai处理器记忆体的范围是：约4gb至约256gb。在一个实施例中，ai处理器记忆体的范围是：约8gb至约128gb。在一个实施例中，ai处理器记忆体的范围是：约16gb至约64gb。在一个实施例中，ai处理器记忆体的范围是：约8gb至约32gb。在一个实施例中，ai处理器记忆体的范围是：约32gb至约64gb。在一个实施例中，电子记忆存储装置中的一个或多个包括nvme
tm
接口以增大处理速度以减少患者在导管室中时mls操作的数据分析时间。在一个实施例中16gm或更大的自载ram用于成像系统/数据收集系统的母板上。在一个实施例中，32gb或更大的自载ram用于成像系统/数据收集系统的母板上。
181.在一个实施例中，ai处理器记忆体的范围从约1gb至约2gb。在一个实施例中，ai处理器记忆体的范围从约2gb至约4gb。在一个实施例中，ai处理器记忆体的范围从约4gb至约6gb。在一个实施例中，ai处理器记忆体的范围从约6gb至约8gb。在一个实施例中，ai处理器记忆体的范围从约8gb至约10gb。在一个实施例中，ai处理器记忆体的范围从约10gb至约12gb。在一个实施例中，ai处理器记忆体的范围从约12gb至约14gb。在一个实施例中，ai处理器记忆体的范围从约14gb至约16gb。
182.图4c显示出系统475，其具有软件模块，适合通过两种替代性过程流程对图像数据操作，以关于图像数据识别/分割关注特征/区域。在一个实施例中，图像数据是动脉图像数据，例如极坐标oct图像数据，不过也可使用来自不同图像源的其它图像数据。在上方过程流程替代性方案中，执行基于人工智能的管腔探测487，例如通过使用训练后nn对管腔边界/管腔掩模(作为实地真实值)执行。ai管腔探测运行在ai处理器(例如gpu或其它具有专用记忆体的处理器)上。图像数据以及掩模或其它用于图像数据帧的探测管腔边界的表现物然后通过nn使用正向和反向传播进行处理，以将图像分割/分类，以生成类别、关注特征、关注区域和nn进行训练的其它探测/预测。结果，预测性结果(例如输出预测性图像掩模)生成495。
183.对比而言，在其它实施例中，在使用任意起初探测(例如边支479、导丝481和管腔482以及动脉图像数据，作为向mls的输入用于处理动脉数据)和先前探测(使用训练后mls)的结果之前，其它探测/预测以不同次序和顺序执行。以此方式，给定系列像素的类别(foi、roi等)的基于mls的探测/预测关于图像数据和先前系列探测而确定。先前的探测(例如边支、导丝、管腔等等)可存储为图像掩模。在一个实施例中，mls对于包括所实施先前探测(在所示的示例性实施例中例如为边支、导丝和管腔)的实地真实图像数据集进行训练。
184.本公开内容部分地涉及自动化方法，用以探测含钙组织(例如钙化组织或钙斑或
其它关注区域)和识别相关的用于心血管手术的关注结节/区域，并涉及大致实时的引导方法，用于使用激光进行心血管手术。在各个实施例中，oct成像探头与成像激光器(例如扫频光源激光器)光学通讯/连通。结果，存在一条光学路径，延伸通过探头至光导向元件(例如单体透镜、渐变折射率(grin)透镜或光束导向器)，光由此从成像激光器接收，通过一个或多个前述光学元件传输到组织，然后，来自组织的光被接收于和传输回oct成像系统，在此，所述光与由成像激光器生成的光干涉。
185.图5a是执行oct引导心血管手术的示例性系统的示意图。进而，图5b是执行oct引导心血管手术的示例性方法的示意图。在图5a中，显示出系统500，用于通过oct系统505探测关注特征，其中包括一个或多个mls系统(包括特征探测软件，例如训练后nn)。成像探头510包括光纤，光纤是干涉仪的样本臂的一部分。干涉仪的基准臂被包括在oct系统500中或与oct系统500通讯/连通。患者接口单元470包括旋转联接器或其它机构以将成像探头及其光纤联接到oct系统505。
186.一个或多个光学开关520可与piu 520光学通讯/连通。光学开关520可受控于控制软件或控制器。进而，oct系统包括成像激光器527，并包括或通讯/连通于烧蚀激光器。控制软件或控制器535允许光学开关在成像激光器(用于oct成像)与烧蚀激光器(用于目标烧蚀)之间切换，其中使用grin透镜、光束导向器、微透镜或其它光学元件，以导引探头510中的光。进而，mls及其探测软件(例如钙探测软件525)可用于识别含钙或其它材料的关注区域，由此使烧蚀成为优选治疗选项。
187.本公开内容部分地涉及钙探测，其中使用mls系统(例如基于深度学习的人工智能系统)并结合oct软件或其它成像软件进行工作。mls高亮显示出存在钙斑或其它烧蚀目标的区域。深度学习网络/mls使用由专家用户标记有钙区域的450至100个注释oct图像进行训练。这种训练后网络然后被馈以通过深度学习网络而被像素级分割的原始oct图像。
188.在一个实施例中，使用训练后mls系统(例如基于深度学习的人工智能)结合oct软件工作进行钙探测是本公开内容的一个方面。mls高亮显示出存在钙斑或其它可烧蚀的组织的区域。深度学习网络使用由专家用户标记有钙区域的450个注释oct图像进行训练。这种训练后网络然后被馈以通过深度学习网络而被像素级分割的原始oct图像。
189.图5c和5d显示出使用mls系统分割以高亮显示钙斑区域的oct图像。图5e是在三维、截面、纵向视图上显示探测出的钙(例如钙斑)的区域的用户界面。进而，图5f是钙图谱，关于血管造影数据通过oct数据与血管造影数据的配准形成，然后显示出相对于血管造影数据含钙的帧。这将在oct中探测到的钙斑反映到血管造影图形用户界面上用于复查和规划。在oct拉回图中探测到的钙区域也反映到血管造影数据上供医生复查。医生然后识别用于心血管手术或烧蚀手术的候选者的关注钙结节区域。
190.如图5b中所示，描述用于使用oct成像探头探测和烧蚀关注组织的方法560。起初，执行第一oct拉回562。通过起初系列oct数据，使用mls实施例或者其它钙探测方法执行钙探测565。oct数据在血管造影成像环节中被收集。结果，oct图像和血管造影图像被配准573。生成钙图谱(例如在图5d中所示)575。下一步，临床医生复查图像数据和钙探测，并识别出有理由烧蚀的斑块577。一旦已经识别出用于心血管手术的区域，则执行第二oct拉回579。此次获取过程中，还执行钙探测581。成像/烧蚀系统使用钙图谱和目标钙结节对准用于心血管手术的高功率激光器，作为基于软件的控制的一部分583。其还实时执行钙探测以
对于在第一oct拉回图像与当前图像之间的任何对准变化进行校正。这借助于需考虑的帧搜索窗口收窄而实现。在一个实施例中，当导管尖端到达目标钙斑结节处时，高功率烧蚀激光器开启584以提供短能量脉冲蒸发和去除钙结节。烧蚀手术在各个实施例中由用户控制以执行心血管手术587。
191.图5g和5h显示出根据本公开内容的例示性实施例的注释的笛卡尔oct图像。它们显示成像探头p在管腔、血管壁w、外膜ad中的位置以及与钙斑和钙角度相关的细节。在一个实施例中，钙角度测量值可以使用mls探测和输出。图5i显示出根据本公开内容的例示性实施例的识别动脉各层的放大的笛卡尔oct图像。
192.图5j显示出根据本公开内容的例示性实施例的图5c的动脉的组织学图像，其中动脉各层被识别为适合于注释用于给定mls实施例的图像数据的实地真实值或训练集复查的一部分。在图5g和5h中显示出通过使用血管内探头p获得的动脉的截面图像，血管内探头p相对于血管b(具有限定管腔l的血管壁vw)显示处于活体环境中。血管b的椭圆形/圆形反射和阴影还包括边支sb。
193.图6a和6b根据本文中公开的一个或多个实施例显示笛卡尔oct图像和识别出管腔(蓝色记号)、中膜(绿色记号)和ca/钙斑(红色记号)的mls的预测性输出，并显示出3.31mm的示例性直径测量值(使用具有训练后神经网络(nn)的基于mls的系统获得)。图6c和6d显示出通过使用成像探头收集的扫描线生成的初始笛卡尔oct图像和极坐标图像。图6e显示出用于ca、管腔、内膜和中膜的实地真实掩模。图6f显示出本公开内容的从深度学习mls输出的预测性结果。
194.图7a显示出使用基于成像和mls的组合系统获得的笛卡尔形式的初始示例性oct图像。成像探头显示处于图像的右上象限中。黑色管腔区域处于中间。图7b显示出对应于图7a所示笛卡尔图像的灰度极坐标图像。图7c和7d显示出实地真实掩模，以及以图7b所示图像作为输入进行注释、训练且然后使用训练后mls进行预测而生成的mls实施例的深度学习输出。每个掩模或探测对应于一通道。本公开内容部分涉及多通道mls，其被设计用于使用对应于实地真实值的图像掩模和预测性结果进行组织分类。
195.在一个实施例中，关于对应于多个动脉特征(例如组织类型、钙、边支、管腔、导丝、内膜、中膜、钙、纤维质、支架、支架筋、狭窄、和其它动脉特征)的多通道执行语义分割。用于各种特征的实地真实值用于训练卷积神经网络。在一个实施例中，使用两个神经网络，使第一神经网络用于管腔探测且第二神经网络用于在管腔探测已经由第二神经网络执行完毕之后探测其它动脉特征。在一个实施例中，第一、第二或这两个网络是卷积神经网络。在一些实施例中，在探测其它关注特征(例如钙、中膜、内膜和本文中公开的其它特征)之前关于图像数据执行管腔探测。管腔探测可使用各种系统和方法实现，包括在美国专利no.9,138,147(名称为“基于oct扫描线数据的管腔形貌图像重构”、2010年9月22日提交)中公开的系统和方法，该专利的详细内容全文通过引用并入本文。
196.在一个实施方案中，使用第一神经网络和第一图像处理渠道。有利的是，减少患者在成像环节中插导管的时间，由此，减少从所关注区域/特征的分类系统中生成输出的时间是所希望的。因此，在一些实施例中，使用注释为m的图像数据的帧和/或关注特征/区域的m个或更多个类型或类别来训练神经网络。在一些实施例中，m的范围为2至3。在一些实施例中，m的范围为2至4。在一些实施例中，m的范围为2至5。在一些实施例中，m的范围为2至6。在
一些实施例中，m的范围为2至7。在一些实施例中，m的范围为2至8。在一些实施例中，m的范围为2至9。在一些实施例中，m的范围为2至10。在一些实施例中，m的范围为3至4。在一些实施例中，m的范围为3至5。在一个实施例中，m为3，用于训练神经网络的类型/类别是钙、管腔和中膜。用于训练神经网络的实地真实注释/实地真实掩模包括具有一组注释区域的掩模，其中一个实地真实掩模上的至少三个注释区域包括中膜、钙和管腔注释。在各个实施例中，关注特征/区域的类型和类别的任意集合可包括：本文中公开的任意类型和类别。
197.在各个实施例中，使用图像处理渠道以及训练后神经网络支持通过上述每种进行图像数据的加速处理。此外，训练神经网络以通过图像中所有可能的可探测特征的注释预测关注特征/区域，导致以下中的一个或多个问题：网络训练时间过度，网络复杂性过度，当使用网络预测结果时处理时间过度。
198.图8a显示在以专家数据/实地真实数据注释之前对极坐标oct图像800进行的预处理操作。如图所示，作为预处理步骤的一部分，不对有用的成像数据或可探测组织或roi或foi进行编码或者捕获的深度像素通过以下方式被有效排除：缩小或约束深度尺度以生成减小的图像数据元素805，图像数据元素805可用于迭代增强或以专家真实数据直接注释。在一个实施例中，使用多个数据增强过程将一个图像或图像数据元素转变为其多个版本，例如通过圆周轮转、左右翻转和其它基于图像的转变实现。
199.例如，如果初始图像圆周轮转多个相位，例如90度、180度和270度，则这些新的版本和初始图像或图像数据元素构成4个版本。这4个版本中的每个可左右翻转以产生8个版本或增强形式。进而，这些中的每个可通过实地真实注释进行注释810，例如通过使用图3a和3b中所示用户界面软件实现，由此用户可选择系列像素、像素区域边界和其它几何元素以通过实地真实信息(例如钙分类、管腔、边支，等等)注释图像数据。进而，这些还可通过训练后mls评估以通过成本函数或其它量度测量探测准确度。各结果平均值或者多个版本/增强形式的统计分析可用于改善探测准确度。
200.图8b至8d显示出根据本公开内容例示性实施例的各种示例性图像掩模，用于探测管腔、中膜和钙。可以使用各种图像掩模，例如管腔、内膜、中膜、钙、纤维质和本文中公开的用于任意roi或foi的掩模。所述掩模在一个实施例中可为二值/二元掩模。进一步地，在一个实施例中，每个掩模可用于反映实地真实探测。在一些实施例中，给定的实地真实掩模包括：对应于实地真实类别(例如钙、管腔、内膜，等等)的一个或多个区域；和不对应于一个或多个所述类别的其它掩模区域。在一个实施例中，实地真实掩模包括：对应于一个或多个类别的第一系列像素；和不对应于所述一个或多个类别的第二系列像素。实地真实掩模可用于训练给定mls的神经网络，例如图1c和2中所示神经网络。在一个实施例中，尺寸调整和其它步骤(例如扁平化和本文中所述的其它步骤)在生成给定原始图像的增强形式或额外版本之前执行。给定掩模可包括对应于特定通道的子系列像素，其中所述通道对应于关注特征，例如钙、内膜和本文中公开的其它特征。掩模可识别出对于给定通道的像素，其用于训练实地真实值或者作为使用训练后mls对图像数据操作以产生输出的结果。在一个实施例中，多个掩模基于一对一方式关联于多个通道，给定图像的处理将像素指配于给定通道，例如掩模中的给定关注区域。在一个实施例中，实地真实注释包括多个信息通道。例如，用于训练神经网络的给定实地真实注释/掩模包括：钙区域、中膜区域、管腔区域和内膜区域。
201.图9a至9c是极坐标oct图像，显示施加于初始oct极坐标图像的圆周轮转、左翻转、
右翻转，作为在训练mls神经网络之前执行的预处理步骤的一部分。在图9a至9c中，对于图像数据(例如原始极坐标oct图像)执行各种预处理步骤。这些处理步骤或转变的结果是：一个原始极坐标图像转变为7个另外的变体或版本。这种数据增强过程可按各种方式实现。图9b显示出9a的初始图像的圆周轮转。图9c显示出9b的转变轮转/移位图的左右翻转。诸如此类的给定增强可形成单个帧的8个图像变体。这包括1个初始图和3个圆周轮转图(每次为90度)。4个拷贝中的每个左右翻转，总共产生8个。这些操作、额外操作或者它们的子集可用于预处理数据，用于训练和/或使用mls预测。
202.图10a至10b的图像分别显示出实地真实注释图像和预测的输出。图10a的内部蓝色实地真实数学通过较浅的中膜层界定。黄色层可编码为另一通道或分类，例如脂质lp。橙色区域对应于钙。在一些实施例中，希望实施处罚或约束系统以避免“假阳性”。在图10b中，显示出背景通道b。在预测结果中被识别为背景，这可用于有效防止背景被误分类为其它关注类别或类型之一。在各个实施例中，通道可使用对应于成像伪影、背景、非均匀旋转扭曲效应等等的特征建立，其可使用实地真实注释生成。这样，在一些实施例中，神经网络可被训练以识别伪影、成像系统误差、假阳性和其它希望筛除或避免显示在给定用户界面成像数据表现物中的成像现象。显示出预测结果的掩模显示在图10b中。
203.图11a至11d的图像显示出已被开发以增加mls处理速度以减少患者等待时间的各种预处理步骤。如图11a中所示，通过颜色编码掩模(绿色为中膜、红色为ca、蓝色为管腔)显示的具有实地真实值的oct图像展示出：沿着在竖直方向上的976个像素，存在各区域，例如缺乏有用数据的沿深度尺度的区域300。图像可扁平化，如图11b中所示。极坐标图像的中间和顶区域中的白色管腔轮廓在图11b中扁平化至近乎直线。这种扁平化允许mls/nn对可能包含相关组织数据的处于转变后状态中的图像区域操作。类似地，在图11c中，执行半分辨率尺寸调整，例如通过略过a线(扫描线)以生成中间图像而实现。进而，图像中的深度像素被略过或排除以进一步调整图像尺寸以获得图11c的适宜尺寸的预处理图像。这些步骤改善了mls操作，并当患者在oct或ivus图像之后插导管时可实时地或大致实时地执行。以此方式，这些过程可节省时间并改善患者效果。图11d显示出扁平化的oct图像244以及具有推测或预测性结果(采取图像掩模的形式，显示出红色钙斑区域、蓝色管腔区域和绿色中膜区域)的相同的扁平化的oct图像。扁平化在一些实施例中可作为预处理步骤执行。此极坐标图像可转换为笛卡尔形式并在图中向终端用户显示(其将类似于图6b所示笛卡尔图像)。
204.图12a和12b是示例性处理步骤的流程图，由此使原始图像数据与实地真实数据注释一起路由和处理。在图12a中，步骤a1至a8的一个或多个可使用本文中公开的基于一个或多个计算装置的系统执行。如图12a中所示，根据一个实施例，所述系统和方法可执行一个或多个以下方案。通过计算装置或aip，成像系统和/或mls可执行图像数据或图像数据元素的多点注释。注释gui有助于安置和连接各点，以限定可转换为图像掩模(其有效标识图像中的给定组织类型)的边界。所述方法可以包括：探测/更新管腔探测情况，例如管腔边界或轮廓。所述方法可包括：将注释、管腔探测情况、原始图像数据或数据元素从一个系统(例如成像系统)传输到接口或中间系统(向mls/神经网络提供输入)。在一个实施例中，对图像数据元素调整尺寸被执行以去除无用图像数据以改善处理时间。在一个实施例中，所述方法包括：生成二值/二元掩模，用于组织标识/注释。进一步地，数据可格式化为阵列或另一格式而用于输入。最后，输入数据(其可包括图像掩模和调整尺寸的原始图像数据或数据元
素)输入到mls/nn进行处理，例如训练或预测。
205.图12b是另一实施例，包括可由本文中公开的各种系统执行的各个步骤。在图12b中，步骤a1至a8中的一个或多个可使用本文中公开的基于一个或多个计算装置的系统执行。所述步骤可包括以下中的一个或多个。一个或多个系统组成部分，例如成像系统(oct、ivus、x光、血管造影，等等)获取原始图像数据集。可执行各种预处理步骤。对于原始图像和具有实地真实数据的掩模图像可执行管腔和/或图像区域的扁平化。在一个实施例中，扫描线每隔一条被去除。在一个实施例中，管腔轮廓或边界扁平化以强调有意义的roi/foi数据，例如在图11b和11d中所示。在其它实施例中，图像可进行圆周轮转、左右翻转或以不同方式转变。这可增加给定训练集的项目或形成用于mls/nn操作的不同版本，使得ml结果可被监测和检测。
206.可执行以下步骤：从原始图像和注释掩模图像中裁剪、略过或去除扫描线/数据/像素以调节各行(采取极坐标或笛卡尔形式)。例如，如图11a中所示，对应于深度沿竖直轴线的像素可被去除以调整图像尺寸，如图11b和11c中所示。此外，可能有用的是，添加扫描线/数据/像素以标准化原始图像和注释掩模图像的列，用于mls/nn处理。所述方法可包括：根据需要，将原始图像数据和掩模图像数据扁平化并输入到mls/神经网络用于预测性分析或额外训练。
207.图13a和13b显示出示例性的用户界面，用于诊断工具以支持通过虚拟支架设置实现支架规划，其中包含组织分类。这些用户界面有助于图示出mls分析(可识别出基于生理学最严重的损伤和/或提供最大血流恢复的最短支架)。在一个实施例中，所示由半圆形成的白色支架区域(vs)可相对于管腔表现物定位，以执行交互虚拟支架设置。交互虚拟支架设置允许支架针对损伤进行调制。用户可得到预测vfr值和当前vfr值。底面板中的最小管腔面积(mla)图显示出直径狭窄百分比和最小管腔面积，还显示出基于狭窄和/或虚拟支架选择而变化的vfrp和vfr值。血管造影图像显示在右上面板中，与其它面板中动脉的笛卡尔或极坐标视图或纵向视图配准。在图13b中，预测性vfrp和当前vfr相对于虚拟支架(vs)和笛卡尔动脉图像(已通过对应于管腔、钙斑和中膜roi/foi的各种记号遮掩或表征)显示。
208.随本文公开的方法和系统为用户提供诊断和规划工具。例如，所述方法和系统包括工具，使得虚拟支架安置到动脉中能够关于来自拉回图的图像数据自动执行。对于这样的基于诊断图形用户界面的工具的更多细节可见于图13a和13b中。适合用于这种诊断规划的组合式的成像和机器学习系统的示例性用户界面显示在图13a和13b中。进一步地，此支架的自动安置包括各过程、用户界面和相关的基于软件的特征，以在优化位置并按终端用户识别的适合支架的尺寸显示这样的支架。
209.本公开内容包括支架规划软件的各种实施方案，用以将支架安置到优化位置或以其它方式安置到优化特定参数的位置。在一个实施例中，被优化以利于支架规划的参数包括：血流量，其可通过部署特定长度的支架而实现。关于支架的远、近安放区位置和支架尺寸提供给终端用户。这些通过优化血流改进(其可使用一系列可能的支架和支架部署位置而实现)而确定。
210.在一个实施例中，训练数据使用实地真实专家指导或者来自mls的指导(例如用于管腔探测)形成。训练数据分离为掩模。在一个实施例中，掩模是一个或多个独立通道。它们用于训练训练集。当训练集通过神经网络运行时，这些通道中的每一个将会基本贡献网络
的不同权重和过滤器。以此方式，nn响应于掩模/训练数据而适配和改变。进而，当患者样本数据输入到被训练网络中时，原始图像数据以不同通道标出或识别，要求这些通道对应于训练集中所用的不同特征，例如管腔、内膜、内膜、中膜、外膜、管腔、eel、iel、斑块、钙、钙斑、支架、钙、导丝等的图像。
211.通常，本文中公开的mls系统涉及多通道分割过程，其中每个组织类型、关注区域、动脉层等通过其自身图像掩模作为分立数据通道进行处理，用于生成训练集和预测性输出。
212.作为一种示例性方法以评估因支架部署所致的血流复原，可以使用美国专利申请no.14/115,527(名称为“用于自动化确定支架血管管腔轮廓的方法和设备”，其内容整体通过引用并入本文)中所述的方法。可使用其它方法，包括本文中另外所述的方法。为了理解关于动脉中的血流变化和行为的一些方面，有益的是，考虑图13a和13b中所示特征，其中显示出狭窄和与基于所识别安放区和支架长度进行的虚拟支架选择和位置相关的各种特征。
213.在各个方面，本公开内容涉及使用冠状动脉的极坐标图像训练机器学习系统、神经网络和卷积神经网络中的一种或多种。在各个方面，本公开内容涉及使用对冠状动脉极坐标图像进行的实地真实注释训练机器学习系统、神经网络和卷积神经网络中的一种或多种。在各个方面，本公开内容涉及使用对冠状动脉极坐标图像进行的实地真实注释(其中，所关注的各种组织类型和特征被注释在训练集中)训练机器学习系统、神经网络和卷积神经网络中的一种或多种。
214.在各个方面，本公开内容涉及使用对冠状动脉的笛卡尔或非极坐标图像进行的实地真实注释(其中，所关注的各种组织类型和特征/区域被注释在训练集中)训练机器学习系统、神经网络和卷积神经网络中的一种或多种。在各个方面，本公开内容涉及使用训练后的机器学习系统、神经网络和/或卷积神经网络以及它们的组合而分类/表征极坐标或非极坐标或笛卡尔形式的输入患者数据，以使用对冠状动脉极坐标图像进行的实地真实注释(其中，所关注的各种组织类型和特征被注释在训练集中)识别所关注的各种组织类型和特征/区域。
215.本公开内容涉及使用所关注的实地真实组织类型和特征/区域、以及分类、识别和/或表征患者图像数据和图像数据元素中所关注的各种组织类型和特征/区域。在各个实施例、各个方面中，且对于一个或多个mls实施例而言，组织类型和关注特征(foi)/关注区域(roi)可以包括以下的笛卡尔、极坐标、非极坐标图像或者局部图像中的一种或多种：冠状动脉、冠状动脉、oct图像、ivus图像、x光图像、超声图像、血管造影图像、动脉树的图线或曲线、边支、管腔、导丝、支架、拘禁支架、生物可吸收式血管模架(bvs)、药物洗脱支架(des)、纤维质、晕状伪影、压力丝、脂质、钙、动脉粥样硬化斑块、狭窄、斑块、钙、钙化斑块、含钙组织、损伤、脂肪、设置不良的支架；膨胀不足的支架；膨胀过度的支架；不透无线电的标记；动脉树的分支角度；校准元件(例如聚对苯二甲酸乙二醇酯(pet)掺杂膜)；鞘；掺杂鞘；基准对准点；动脉直径变化；动脉径向变化；使用成像数据获得的流量测量值；用于图像的ffr值；分支模型；前述的组合和前述的分类或类型。
216.在一个实施例中，探头包括：探头尖端，其包括光纤或与光纤光学通讯/连通。光纤和探头尖端被设置在一个或多个鞘(例如导管鞘)内。探头尖端可包括各个元件，例如成角度光束导向器或者透镜帽以及用于其它成像模态的换能器/传感器。探头407的光纤还可包
括围绕光纤设置的扭矩丝。探头在管腔l中发射光，并接收从血管壁vw散射的光。
217.在一个实施例中，光纤是干涉仪的样本臂的一部分。数据收集探头407(例如oct探头)可用于收集适合用于对样本(例如血管)成像的深度信息。例如，一系列图像数据帧例如分别为：3d中所示的极坐标或笛卡尔图像。各图基于由这种探头407收发的光学信号如图生成。血管的截面图像通过探头旋转时收集的扫描线而形成(见3d、3e、6a、6b中所示的笛卡尔图像)。截面图像(例如图像6a、6b)是笛卡尔图像。图7b和8a显示出医疗图像的极坐标视图或极坐标形式的示例。笛卡尔图像和极坐标图像在各个实施例中可被称为帧。
218.oct图像(例如图3b、3c、3d的截面图像)典型地一次一条扫描线进行获取。在一个实施例中，沿着始于导管中心朝向最大成像深度的线的一连串样本称为扫描线。在一个实施例中，oct图像中的最小数据单元被称为样本。沿着始于探头的中心朝向最大成像深度的线的一连串样本称为扫描线。oct图像典型地一次一条扫描线进行获取。截面图像可从探头旋转时所收集的一系列扫描线形成。进一步地，为了对动脉或其它血管的区段成像，导管在旋转时沿纵向移动。以此方式，探头通过旋转方式获取一系列截面图像。图像源于与所关注血管或动脉的切片相关联的各扫描线。扫描线成角度布置在它们之间，类似于轮上的辐条。在一个实施例中，扫描线以极坐标格式获取。
219.与组织特征图谱相关的用户界面
220.本公开内容部分地涉及医疗诊断系统，包括：图像浏览、用户界面设计、省时强化和其它设计考虑。前述特征是公开内容，被开发对时间紧急医疗进程(例如在导管室中进行的进程)过程中的时间和信息管理问题进行改进。本公开内容描述了将组织表征结果转换为组织图谱显示的方式。组织表征可使用各种技术(包括病理学、人工智能技术、机器学习技术、基于衰减和背散射的技术、图像处理探测和增强技术、以及可能存在、正在开发、或已经开发出的其它技术)执行。
221.本文中公开的组织图谱实施例提供用户界面而增强图像数据观看，其中包括关于对象的一个或多个部分(例如动脉、血管或其它身体管腔)的各种表征组织和边界及其相关布置。医生、研究者、技术人员、以及其它终端用户可基于诊断信息更快地参与规划决策并且进行合理决策，鉴于一系列具有组织表征区域的图像，其具有更合理的关联因素，而非其它可能情况。
222.组织表征通常包括一种或多种方法以针对给定系列的患者组织确定组织类型或其它组织性能。这样，如果动脉成像，则多个图像形成系列图像数据，每个图像中的组织可被表征以确定是否其为特定类型，例如脂肪、肌肉、处于高水平还是处于更颗粒状水平(例如钙化)、内膜、eel，以及如本文中公开的其它类型或者在成像对象中存在的其它类型。典型地，一个或多个探测过程用于探测图像的一区域中的组织处的组织类型。钙斑掩模和中膜掩模可以在机器学习推测过程或者另一探测过程(例如基于图像处理渠道的过程探测图像数据中的钙和中膜)之后用于一系列图像帧。通过将每个掩模沿如前所述关于图2a的a线投影，可获得环状结构。图16至图18显示出根据本公开内容的例示性实施例的各种组织图谱表现图，使用动脉的oct成像拉回而生成，其中各种记号集成于显示各种组织图谱的用户界面中，以支持诊断和治疗规划，例如支架设置和心血管手术。
223.在图14、15、16、17、18中，平面上的每个环指示出来自拉回oct数据的一个组织表征结果帧。在图14中，动脉1405的三维表现物显示具有导丝gw、已经使用mls或另一方式探
测到的钙区域，以及三个截面边界r1、r2、r3，如图所示，这些边界或环投影到平面中以生成组织图谱tm。组织图谱的另一版本还显示在图2a中和图16、17中。图15显示出各个切面/环/边界r1至rn的示意表现图，其沿3d动脉表现物1425(沿近远方向延伸)显示。在一个实施例中，成像数据(例如oct、ivus、x光或其它成像模态)可用于生成这样的动脉1425的3d表现物。
224.血管内光学相干断层成像(oct)图像提供冠状动脉形貌的高分辨率可视化。本公开内容部分地涉及内部冠脉斑块(钙、脂质、纤维化和血栓)的自动探测和/或分类。在一个实施例中，内部和外部钙化边界也被探测和显示。探测和分类的过程可增强oct图像的解译，并为诊断者提供目标信息。本公开内容部分地涉及向用户显示数据分析(施加于血管内数据集)的结果的系统和方法，其方式清楚、易于解译、有益于对象诊断(例如组织图谱tm和图14至图18中所示的示例)。
225.本公开内容部分地描述图形用户界面(gui)，提供用户界面和图形数据表现物，其可对于给定的动脉或另一身体管腔(肠、食道，等等)从一系列成像数据生成总组织图谱。组织图谱响应用户选择，例如组织图谱的特定区域的用户选择。响应于用户点击或以其它方式选择组织图谱区域，可用成像系统的用户交互软件模块可重新导引被显示给用户的信息，从而能够显示专用于使用选择的基础图像或图像数据帧。
226.以此方式，无需翻阅长系列的图像或图像数据帧，而将组织图谱向用户呈现。关于组织图谱的交互和选择，通过加快导引终端用户至关注区域(例如动脉中的钙斑或脂质)而减少诊断和分析。进而，当患者在台上插导管且血流已被暂时停止以对血管一部分成像时，这可加快支架规划。以此方式，可进行更快的决策以改善患者效果。选择支架安放区也通过避免钙化区域(其中由于存在钙或其它不希望存在的动脉状态使正当的支架膨胀受限)而改进。动脉的有利和不利的区域可使用颜色、图形、视觉提示、或其它记号或用户界面特征(例如动画或其它提示)标示为适合或不适合用于支架安放区。
227.本公开内容部分涉及数据收集系统，例如适合用于导管室中的血管内数据收集系统，如光学相干断层成像系统。本公开内容部分涉及数据收集系统，其包括处理器，适合用于显示血管内图像数据。显示的图像数据包括：基于深度测量而生成的数据或图像。在一个实施例中，图像数据使用光学相干断层成像生成。所述系统还可显示用户界面，其显示血管内信息，例如与血管内斑块相关的数据。
228.本文中公开的诊断系统、方法、浏览工具以及组织图谱和相关特征以更优工具的形式提供改进，以在一个或多个组织表征过程和图像数据探测和分析软件模块已操作之后，基于斑块成分、损伤性能、组织类型和相关组织信息和血管信息进行解译和决策。组织图谱界面和来自给定对象扫描过程中获得的基础图像数据的条理化表征组织数据验证了各种改进的图像视图。例如，在oct和其它血管内成像模态的应用环境中，给定组织图谱可在单个图像中提供完整成像探头拉回的容量图。
229.在此情况下，成像探头在其旋转时被拉回经过血管以获得成像数据。终端用户可使用给定组织图谱快速认出钙斑的弧延伸度和厚度以及用于支架植入的健康安放区。进一步地，可评估与组织类型相关的其它细节。此外，至于给定组织图谱展示过度钙量或其它不希望存在的组织状态，此信息可有利于终端用户选择可替代治疗选项，例如搭桥或心血管手术。给定组织图谱可使用不同方法生成。给定的方法可基于通过成像系统对患者扫描而
获得的图像数据的源而变化。
230.在介入前的评估阶段，医生可访问斑块成分。如图16中所示，组织图谱显示1425像素，其中绿色g指示出在组织表征中已探测到中膜的区，而红色指示出钙斑ca的存在。在给定组织图谱用户界面中参照的颜色可以变化，并可替代为在一些情况下的影线或者使用其它记号。
231.组织图谱中的虚线被显示以对图14中沿动脉表现物长度的环r1、r2、r3提供基准。在一个实施例中，给定组织图谱可显示钙斑延伸度。强度值对应于钙斑的厚度(单位mm，如图例所示)，范围从约0.5mm至约1.5mm。使用本文中公开的方法探测的roi/foi的任何类别或类型可使用组织图谱表现物(例如组织图谱1425)显示。此外，其它信息(如含纤维质和脂质的斑块)也可加到组织图谱，例如显示在图18中的示例性组织图谱中。在支架部署阶段，医生可易于通过这种图线确认安放区。绿色的强度指示出中膜的厚度，但可能变化以指示出成180度的两个eel相反端点的距离。进而，这可用于关于支架尺寸的有用信息。
232.图17显示出图16的组织图谱，其中截面帧r1、r2、r3显示有被识别的中膜m、管腔l、钙c。在一个实施例中，这些关注区域进行颜色编码，例如管腔为蓝色、钙为红色、中膜为绿色。进而，图18显示组织图谱1490，其中包括记号用于导丝gw(灰色)、中膜m(绿色)、钙ca(红色)、脂质lp(蓝色)和边支sb(显示出边界)。这些各种表现物可用于支持工作流和诊断。
233.本公开内容部分地涉及诊断系统及其界面，有利于浏览已施加一个或多个成像和组织探测方法/分类法的血管表现物。关于给定血管，例如冠状动脉或其它身体管腔，一个或多个组织类型或其它关注区域可使用各种技术识别。特别地，钙结节、钙化组织和其它钙关联组织可表现为血管中的钙化区域。一个或多个组织图谱表现物可生成，并用于向用户显示表征组织和关注区域。适合用于探测和包含到一个或多个组织图谱上的表征组织和/或关注区域可以包括以下中的一种或多种：脂质区域、管腔区域、支架筋、边支、导丝、外弹性层(eel)、内弹性层(iel)、与前述相关的边界和容量以及如本文中公开的其它动脉特征和组织类型。
234.本公开内容部分地涉及用户界面设计，有利于使用一个或多个组织图谱表现物基于身体管腔(例如冠状动脉)的表征组织改善信息和时间管理。在所示各个组织图谱中，纸的移入方向是远离oct图像探头所处位置移动，然后拉回。拉回的长度在r1至rn之间，其中rn是拉回的帧计数。最低环计数是最近的。在一个实施例中，高环计数是最远的。这可见于图15的环布置中。
235.本公开内容部分地基于如下发现：血管的钙和其它组织可被探测和表征，图像数据关于血管获得，例如oct图像数据、ivus图像数据、ct扫描图像数据、mri图像数据、血管造影图像数据和其它图像数据源。在一些成像模态中，钙化区域显现为离散暗黑形状。这即oct图像情况，其中相对于oct图像的较亮的血管组织背景，钙显示为较暗区域。
236.本公开内容部分地涉及一种方法，用于识别血管中的关注区域，其可包括组织类型和其它特征，例如管腔、边支、支架、导丝和血管的其它特征、特性和材料。
237.在一个实施例中，已经历组织类型分析和/或组织类型分割的血管的表现物显示出一个或多个血管二维截面或血管三维纵向表现物。在一个实施例中，血管表现物或关于血管获得的基础组织表征图像数据转变为组织图谱。在一个实施例中，各种颜色、形状、影线、掩模、边界和其它图形元素或叠层用于识别或分割探测到的组织类型和/或组织图谱中
的关注区域。
238.本公开内容部分地涉及一种系统，用于识别血管中的关注区域，该系统包括：处理器，其与记忆体通讯/连通，记忆体包含的指令当被执行时使处理器：获取血管图像数据；将多个过滤器施加于图像数据以生成特性或类型，例如组织类型。在一个实施例中，图像数据是多条扫描线。在一个实施例中，图像数据是基于x光的数据。在一个实施例中，图像数据是极坐标图像。在一个实施例中，一个或多个极坐标图像被采样。样本被组合以生成血管的组织表征表现物。血管的组织表征表现物采取极坐标的形式。在一个实施例中，通过将极坐标组织表征表现物转变为笛卡尔表现物而获得组织图谱。在一个实施例中，组织图谱是一系列环、圆、椭圆，它们沿从近到远的轴线依序布置。
239.本公开内容的一个实施例部分地涉及血管内数据收集系统和一个或多个基于软件的图形用户界面和软件模块，以执行如本文中所述的一个或多个探测和显示过程。在一个实施例中，收集血管内数据，同时收集血管造影数据。在其它实施例中，基于血管造影、ct扫描、x光的成像、摄影术或其它成像模态用于获得用于生成组织图谱的成像数据。
240.本公开内容部分地涉及用于通过使对象血管(例如一个或多个冠状动脉)可视化进行治疗评估(包括支架规划和外科手术选项)的系统和方法。图像数据可使用血管内数据收集探头获得。探头可穿过血管拉回，对此可收集数据。这样的拉回和相关联的数据收集用于规划支架部署或评估部署的支架。来自拉回的结果血管内数据可按各种方式使用，例如使各种血管区域、特征和与其相关的部署支架可视化。用于生成组织图谱的图像数据可与对应血管造影数据配准。这样，用户可以选择组织图谱的区域并看到用于生成图谱的基础图像数据(oct、ivus、x光，等等)且看到血管造影数据，其中高亮显示出或以其它记号显示出组织图谱上被选择的血管区域。
241.支架在本公开内容的各个实施例中可相对于边支可视化。这是重要特征，因为典型的情况是：在支架部署过程中，希望避免支架涉及边支。以此方式，组织图谱可显示出边支，包含其的帧可被标出为不适合用作支架安放区。本文中所述的系统和方法有利于支架安放区相对于不同的组织类型和关注区域而可视化。组织图谱可与血管造影数据、各种用户界面以及，支架筋和边支的表现物基于这些特征在所收集血管内数据中的探测进行配准。
242.本公开内容部分地涉及血管内数据收集系统(例如oct、ivus和其它成像模态)和诊断信息(例如支架安放区、边支、关注区域和作为组织图谱一部分的血管内表征组织区域)的生成和可视化。适合于指示诸如前述的关注诊断信息的图形元素用作组织图谱中的用户选择元素，其有利于移动到组织图谱中总结的基础图像。
243.本文中还公开用于使支架、组织类型、组织容量和组织边界可视化的系统和方法。一个或多个软件模块可用于探测边支位置、管腔轮廓和支架筋位置，生成血管表现物，生成组织图谱，且基于对组织图谱的用户选择而控制对图像浏览。本文中公开的系统和方法还包括：自动化测量系统和相关特征，其可测量各种组织类型(包括钙、脂质、纤维和其它)的角度、厚度、容量、宽度、帧计数、组织对管腔的相对接近度。
244.在各种实施例中，这样的测量工具可用于测量特定组织类型的给定关注区域的前述参数和任意几何性能。这些测量值可用于生成适合于供终端用户考虑的各种评级和评分。例如，如果特定血管区域中的钙负担显现在组织图谱中，但总体上表面钙仅为微量，则
对此的测量值可有助于指导用户，不排除这样的区域作为候选安放区。
245.应认识到，为了清楚，本公开内容详述申请人教示的各方面的实施例，而省略特定具体细节(在便于或适于如此之处)。例如，在可替代实施例中相似或类似特征的论述可有所缩减。为了简要，公知的想法或思路也可不作任何详尽论述。本领域技术人员将认识到，申请人教示的一些实施例可能不需要在每个实施方案中具体所述细节中的特定细节，所述细节在此提出仅用于提供对实施例的完整理解。类似地，应显见，所述实施例可易于根据公知常识而改变或变化，而不背离本公开内容的范围。各实施例的详细描述被认为不会以任何方式限制申请人的教示的范围。
246.如本文中所用的用词“约”和“大致相同”是指可能发生(例如，由于在真实世界中的测量或处理进程、由于在这些进程中的疏忽错误、由于在电元件制造中的差异/故障、由于电损耗)的数量的变化以及将由本领域技术人员认为等同的变化，只要这样的变化不会涵盖现有技术实践的已知值即可。典型地，用词“约”意味着比所述的值或值范围大或小所述值的1/10，例如
±
10％。例如，将约 3v直流(dc)电压施加于元件可意味着电压在 2.7v dc和 3.3v dc之间。同样地，若各值被称为“大致相同”，则所述值之差可高至5％。无论是否以用词“约”或“大致相同”修饰，权利要求中所述的量值包括所述值的等同值，例如可能发生但将被本领域技术人员认为等同的该值的数量变化。
247.用于mls和组织表征/分类系统和方法的非限制性软件特征和实施例
248.以下描述意在提供适合用于执行本文中所述公开内容的方法的装置硬件和其它操作组成部分的概述。本描述并非意在限制可应用环境或者本公开内容的范围。类似地，硬件和其它操作组成部分可适合作为上述设备的一部分。本公开内容可通过其它系统构造施行，包括个人电脑、多处理器系统、基于微处理器的或可编程的电子装置、网络个人电脑、微型计算机、主机计算机，等等。本公开内容也可在分布式计算环境中施行，其中各任务通过经由通讯网络链接的远程处理装置(例如在导管室的不同房间中)执行。
249.一些部分的详细描述按照计算机记忆体内的数据位上的操作的算法和符号表现物呈现。这些算法描述和表现物可由计算机和软件相关领域的技术人员使用。在一个实施例中，算法在此，通常被设想为引发期望结果的一连串自洽操作。作为方法步骤执行或在本文中以其它方式描述的操作需要物理物理量的物理操控。通常，即使并非必要，不过这些量采取电或磁信号的形式，能够被存储、传输、组合、转变、比较、和以其它方式操控。
250.除非如以下论述中显见的那样另行明确指出，否则应认识到的是，在说明书全文中，采用诸如“处理”或“计算”或“分类”或“表征”或“关联”或“探测”或“评估”或“卷积”或“解卷积”或“分类”或“分割”或“训练”或“注释”或“寄存”或“测量”或“计算”或“比较”或“生成”或“传感”或“确定”或“显示”之类用词的论述、或布尔逻辑或其它设定相关操作或类似操作，是指被训练的mls、计算机系统、ai处理器、gpu、或电子装置的动作和处理，其操控并将计算机系统或电子装置寄存器和记忆体内的作为物理(电子)量表现的数据转变为电子记忆体或寄存器或其它这样的信息存储器、传输或显示装置内作为物理量类似表现的其它数据。
251.本公开内容在一些实施例中还涉及用于执行本文中的操作的设备。这种设备可特别被构造用于所需目的，或者其可包括通用目的的计算机(选择性地由存储在计算机中的计算机程序启动或重构)。其各种电路和组件可用于执行本文中所述的数据收集和转变和
处理中的一些。
252.本文中呈现的算法和显示并非固有地相关于任何特定计算机或其它设备。各种通用目的系统可用于根据本文中教示的程序，或者其可证实便于构建更专用的设备执行所需的方法步骤。用于各种这些系统的所需结构将通过以下描述显见。此外，本公开内容未参照任何特定编程语言进行描述，各个实施例因而可使用各种编程语言实施。
253.本公开内容的实施例可按多种不同的形式实施，包括但绝不限于：用于处理器(例如微处理器、微控制器、数字信号处理器或通用目的计算机)的计算机程序逻辑、用于可编程逻辑装置(例如现场可编程门阵列(fpga)或其它可编程逻辑装置)的可编程逻辑、分立组件、集成电路(例如专用集成电路(asic))或者包括它们的组合的任意其它方式。在本公开内容的典型实施例中，使用oct探头、2d成像或3d成像系统，以及基于处理器的系统收集的数据的处理中的一些或所有实施为一系列计算机程序指令，其转换为计算机可执行形式、存储于计算机可读介质中，并在操作系统的控制下由微处理器执行。这样，查询响应和输入数据转变为处理器能够理解的指令，适合用于生成训练集、图像掩模、和本文中公开的其它输入和输出。本文中先前所述的实施所有或部分功能的计算机程序逻辑可按各种形式实施，包括但绝不限于：源码形式、计算机可执行形式和各种中间形式(例如由汇编器、编译器、链接器、或定位器生成的形式)。源码可包括：按照任意各种编程语言(例如目标代码、汇编语言、或高级语言，如python,perl,go,fortran,c,c ,java,或html)用于各种操作系统或操作环境的一系列计算机程序指令。源码可限定和使用各种数据结构和通讯消息。源码可采取计算机可执行形式(例如通过解释器实现)，或者，源码可转换(例如通过转化器、汇编器、编译器实现)为计算机可执行形式。
254.本文中所述各种实施例或者其组件或组成部分可在软件、固件、和/或硬件、或其模块的多种不同实施例中实施。用于实施一些本技术实施例的软件代码或专用控制硬件并未限制本发明。例如，上文中所述实施例可使用例如传统的或面对对象的技术在使用任意适合计算机编程语言(例如.net,sql,或mysql)的计算机软件中实施。
255.用于计算机软件和其它计算机实施指令的编程语言可通过编译器或汇编器在执行之前译为机器语言，和/或可在运行时由解释器直接翻译。汇编语言的示例包括arm,mips,和x86；高级语言的示例包括：ada,basic,c,c ,c#,cobol,fortran,lua,clojure,java,lisp,pascal,object pascal；脚本语言的示例包括：bourne script,javascript,python,ruby,php,和perl。
256.实施例的操作和行为的描述并未具体参照实际软件代码或专用硬件组件。缺乏这样的特定参照是可行的，因为清楚理解的是，基于本文中的描述仅以合理努力而无需过度试验，本领域普通技术人员将能够设计软件和控制硬件以实施本公开内容的实施例。
257.各种机器学习系统和相关联的神经网络，例如深度学习神经网络，3d神经网络，卷积神经网络，2d神经网络，n层神经网络，前馈神经网络，前馈网络，后馈网络，径向基函数神经网络，korhonen自组织神经网络，循环神经网络(rnn)，模块式神经网络，深度学习网络，基于人工智能的系统和框架，和前述的组合。
258.用于本文中所述各种机器学习系统和本文中所述其它计算机功能的软件可在计算机软件中使用任意适合的计算机编程语言(例如.net,c,c ,python,c#,matlab编程模块和工具)和使用传统的、功能的、或面向对象的技术实施。例如，各种机器学习系统可通过
存储在或以其它方式保持在计算机可读介质(例如ram,rom,辅助存储器，等等)中的软件模块实施。机器学习系统的一个或多个处理核(例如cpu,gpu和/或ai加速核)可然后执行软件模块以实施相应机器学习系统的功能(例如网络107，编码器111
‑
114，学习教练110，等等)。
259.计算机程序可按任意形式(例如源代码形式、计算机可执行形式、或中间形式)持久地或暂时地固定到实体存储介质中，例如半导体记忆装置(例如ram,rom,prom,eeprom,或闪存可编程ram)、磁记忆装置(例如磁盘或固定硬盘)、光记忆装置(例如cd
‑
rom)、pc卡(例如pcmcia卡)或者其它记忆装置。计算机程序可按任意形式固定到信号中，所述信号可使用任意各种通讯技术(包括但绝不限于：模拟技术、数字技术、光学技术、无线技术(例如蓝牙)、网络技术、和互联网技术)传输到计算机。计算机程序可按照任意形式分布为具有附随印刷或电子记载的可移除存储介质(例如压缩套装软件)、预加载有计算机系统(例如在系统rom或固定硬盘上)或者从通讯系统上的服务器或电子公告板分布(例如互联网或万维网)。
260.在本文中先前所述的实施所有或部分功能的硬件逻辑(包括用于可编程逻辑装置的可编程逻辑)可使用传统人工方法设计，或者，可使用各种工具(例如计算机辅助设计(cad)、硬件描述语言(例如vhdl或ahdl)、或pld编程语言(例如palasm,abel或cupl))设计、捕获、模拟或电子记载。
261.可编程逻辑可持久地或暂时地固定到实体存储介质中，例如半导体记忆装置(例如ram,rom,prom,eeprom,或闪存可编程ram)、磁记忆装置(例如磁盘或固定硬盘)、光记忆装置(例如cd
‑
rom)、或者其它记忆装置。可编程逻辑可固定到信号中，所述信号可使用任意各种通讯技术(其包括但绝不限于：模拟技术、数字技术、光学技术、无线技术(例如蓝牙)、网络技术、和互联网技术)而传输到计算机。可编程逻辑可分布为具有附随印刷或电子记载的可移除存储介质(例如压缩套装软件)、预加载有计算机系统(例如在系统rom或固定硬盘上)、或者从通讯系统上的服务器或电子公告板分布(例如互联网或万维网)。
262.适合处理模块的各个示例在下文中更详细论述。如在此所用，模块是指软件、硬件、或固件，适合用于执行特定数据处理或数据传输任务。典型地，在优选实施例中，模块是指软件例程、程序或其它适合用于接收、转变、路由、和处理指令，或者各种类型数据(例如阻力变化、电压变化、电流变化、基于导丝的探头数据、血管内压力数据、比率、指数和其它关注信息)的其它记忆驻留应用程序。
263.本文中所述计算机和计算机系统可包括：操作性关联的计算机可读介质(例如用于存储软件应用程序的记忆体)，用于获得、处理、存储和/或通讯数据。可认识到，这样的记忆体相对于其操作性关联的计算机或计算机系统可为内部的、外部的、远程的、或本地的。
264.记忆体还可包括用于存储软件或其它指令的任意结构，例如非限制性地包括：硬盘、光盘、软盘、dvd(数字多用途盘)、cd(光碟)、记忆棒、闪存记忆体、rom(只读记忆体)、ram(随机存取记忆体)、dram(动态随机存取记忆体)、prom(可编程rom)、eeprom(扩展可擦prom)、和/或其它类似的计算机可读介质。
265.通常，与本文中所述的本公开内容的实施例相关联的应用的计算机可读记忆介质可包括：能够存储由可编程设备所执行的指令的任意记忆介质。如果可用，则本文中所述方法步骤可作为存储于计算机可读记忆介质或记忆介质上的指令实施或执行。根据本公开内容的实施例，这些指令可为：以各种编程语言(例如c 、c、java、和/或可应用以形成指令的
各种其它类型的软件编程语言)实施的软件。
266.存储介质可为非暂时性的或者包括非暂时性装置。因此，非暂时性存储介质或非暂时性装置可包括可触觉的装置，这意味着所述装置具有实体有形的形式，不过所述装置可以改变其物理状态。因此，例如，非暂时性是指：装置保持可触觉，即使其状态改变。
267.本公开内容的方面、实施例、特征、和示例应被认为在所有方面中均是例示性的，并非意在限制本公开内容，本公开内容的范围仅有权利要求书限定。其它实施例、修改方案和使用对于本领域技术人员而言将是显见的，而不会背离要求保护的本公开内容的精神和范围。
268.在本技术中使用标题和章节并非意味着限制本公开内容；每个章节可应用于本公开内容的任意方面、实施例、或特征。仅有那些使用措辞“意味着”的权利要求意在依照35usc112,p6解读。若在权利要求中缺乏陈述“意味着”，则这样的权利要求应被认为无需依照35usc 112。来自说明书的限定并非意在读入到任意权利要求中，除非这样的限定被确切包括在权利要求中。
269.当给定值或值范围，则每个值和给定范围的端点和它们之间的值可增大或减小20％，而仍然处于本公开内容的教示范围内，除非明确提及一些不同范围。
270.在本技术全文中，如果成分被描述为具有、包括、或包含特定组分，或者如果过程被描述为具有、包括、或包含特定过程步骤，则可以设想，本教示的成分也基本或确实由所列组分构成，而本教示的过程也基本或确实由所列过程步骤构成。
271.在本技术中，如果元件或组件据称被包括在和/或选自于所列元件或组件的清单，则应理解，该元件或组件可为所列元件或组件中的任一件，并可选自于由两个或更多个所列元件或组件所构成的组。进一步地，应理解，本文中所述的成分、设备、或方法的元素和/或特征可按各种方式组合，而不会背离本教示的精神和范围，无论在本文中明示或是暗示。
272.使用表述“包括”及其变体和“具有”及其变体应通常被理解为是开放式的和非限制性的，除非另行明确指出。
273.本文中使用单数包括复数(反之亦然)，除非另行明确指出。另外，单数形式“一(a)”、“一(an)”、“该”包括复数形式，除非上下文中另行明确指出。此外，如果在数量值之前使用表述“约”，则本教示还包括具体数量值本身，除非另行明确指出。
274.应理解，各步骤的顺序或者执行特定动作的顺序并不重要，只要本教示仍然可操作即可。另外，两个或更多个步骤或动作可同时进行。
275.如果提供值的范围或清单，则在所述值的范围或清单的上限与下限之间的每个中间值是独立设想的并且涵盖在本公开内容的范围内，如同每个值在本文中具体列举。此外，在给定范围的上限和下限之间且包括上限和下限的更小范围是可以设想的并且涵盖在本公开内容的范围内。对示例性值或范围的列举并未放弃在给定范围的上限和下限之间且包括上限和下限的其它值或范围。
276.应理解，为了清楚理解本公开内容，本公开内容的图和描述已简化以例示出相关元件，同时为了清楚目的而去除其它元件。不过，本领域普通技术人员应认识到，这些和其它元件可能是所需要的。不过，因为这样的元件是本领域公知的，而且因为它们不利于更好理解本公开内容，所以在本文中不提供对这样的元件的论述。应认识到，呈现各图是用于例示目的，而非作为构造图。省略的细节和修改或可替代实施例处于本领域普通技术人员的
范围内。
277.可认识到，在本公开内容的特定方面，单个组件可替换为多个组件，多个组件可替换为单个组件，以提供元件或结构或者执行给定的一个或多个功能。除非这样的替代不具操作性以施行本公开内容的特定实施例，否则这样的替代被认为处于本公开内容的范围内。
278.本文中呈现的示例意在例示本公开内容的可能的特定的实施方案。可认识到，各示例主要意在为本领域技术人员例示所公开内容的目的。这些示意图或本文中所述操作可能存在变化方式，这不背离本公开内容的精神。例如，在特定情况下，方法步骤或操作可按不同顺序执行或者施行，或者可添加、删除或修改操作。