包括机器学习并使用其结果的人工智能配准和标记检测的制作方法

包括机器学习并使用其结果的人工智能配准和标记检测
1.相关申请的交叉引用
2.本技术涉及2019年9月20日提交的美国专利申请序列no.62/903,630并要求其优先权，其全部公开内容通过引用整体并入本文。
技术领域
3.本公开一般而言涉及计算机成像、计算机视觉和/或医学成像领域，特别是涉及用于人工智能(“ai”)配准(在本文中也称为“配准”)和标记检测和/或用于使用一种或多种成像模态的设备/装置、系统、方法和存储介质，其中成像模态包括但不限于血管造影、光学相干断层扫描(oct)、多模态oct(mm-oct)、近红外荧光(niraf)、oct-niraf等。oct应用的示例包括成像、评估和诊断生物对象，包括但不限于用于胃肠道、心脏和/或眼科应用，并经由一种或多种光学仪器获得，光学仪器包括但不限于一个或多个光学探头、一个或多个导管、一个或多个内窥镜、一个或多个胶囊和一个或多个针头(例如，活检针)。本文讨论用于在(一种或多种)人工智能应用中利用使用和/或控制一种或多种成像模式的装置或系统来表征、检查和/或诊断和/或测量样本或对象的粘度的一种或多种设备、系统、方法和存储介质。


背景技术：

4.已经开发了光纤导管和内窥镜以进入内部器官。例如，在心脏病学中，已开发出oct(光学相干断层扫描)来通过导管捕获和可视化血管的深度分辨图像。可以包括护套、线圈和光学探头的导管可以被导航到冠状动脉。
5.光学相干断层扫描(oct)是一种用于获得组织或材料的高分辨率横截面图像的技术，并且能够实现实时可视化。oct技术的目的是通过使用干涉光学系统或干涉测量法来测量光的时间延迟，诸如经由傅立叶变换或迈克尔逊(michelson)干涉仪。来自光源的光通过拆分器(例如，分束器)递送并拆分到参考臂和样本(或测量)臂中。参考束从参考臂中的参考镜(部分反射或其它反射元件)反射，而样本束从样本臂中的样本反射或散射。两个束在拆分器处结合(或重新结合)并生成干涉图案。干涉仪的输出用一个或多个检测器检测，诸如但不限于光电二极管或多阵列相机，在一个或多个设备中，诸如但不限于光谱仪(例如，傅立叶变换红外光谱仪)。当样本臂的路径长度与参考臂的路径长度匹配且在光源的相干长度内时，生成干涉图案。通过评估输出束，可以作为频率的函数导出输入辐射的频谱。干涉图案的频率对应于样本臂和参考臂之间的距离。频率越高，路径长度的差异越大。单模光纤可以被用于oct光学探头，并且双包层光纤可以被用于荧光和/或光谱学。
6.开发了一种多模态系统，诸如具有光学探头的oct、荧光和/或光谱系统，以同时获得多个信息。在血管诊断和介入规程(诸如经皮冠状动脉介入治疗(pci))期间，光学相干断层扫描(oct)的用户有时会由于信息的过载而难以理解与其它模态相关的断层扫描图像，这导致图像解释的混乱。
7.经皮冠状动脉介入治疗(pci)已通过创新的成像模态得到显著改善，诸如冠状动脉造影和血管内成像。冠状动脉造影提供冠状动脉的纵向轮廓，而血管内成像模态提供冠
状动脉的横截面信息。由于血管内成像模态(诸如血管内超声(ivus)和光学相干断层扫描(oct))提供有关血管病灶的更精确信息(例如，管腔尺寸、斑块形态和植入的设备)，因此开发了一种使医生能够在离体和体内成像模态之间连接(即，配准)的系统。当前可用的方法之一要求根据在ivus/oct回拉期间同时获取的血管造影数据生成血管中心线以进行配准。另一种方法要求从在ivus/oct回拉之前通过用户输入获得的血管造影数据生成成像导管路径。
8.更具体而言，冠状动脉造影成像和血管内成像是用于经皮冠状动脉介入治疗(pci)的重要成像模态。如上面所提到的，冠状动脉造影提供冠状动脉的纵向轮廓。冠状动脉的纵向轮廓显示在监视器上，以帮助介入心脏病专家将导管插入有针对性的区域。在pci规程期间使用冠状动脉造影可以是优选的，因为与其它类型的成像模态相比，它更容易将导管引导至病灶。
9.在pci中使用的另一种成像模态是血管内成像，其提供如上面所提到的冠状动脉的横截面信息。血管内成像可以包括血管内超声(ivus)和光学相干断层扫描(oct)，如上面所提到的，其提供比冠状动脉造影图像更精确的病灶信息。但是，在将导管引导至有针对性的区域(例如，血管病灶)以获得有关例如管腔尺寸、斑块形态或植入的设备的信息时，在pci规程中仅依靠血管内成像模态(诸如ivus或oct)是困难的。
10.使医生能够在pci期间在两种不同的成像模态(包括例如冠状动脉造影和血管内成像两者)之间进行连接的系统涉及配准。配准(在本文中也称为“配准”)是指一系列图像的空间对准。例如，配准可以指对经受pci的患者的功能(血管内成像)与解剖(冠状动脉造影)图像进行对准以将功能信息映射到解剖空间中。将血管造影成像与血管内成像配准相关联的一个好处包括确定在血管造影图像帧中沿着冠状动脉的纵向轮廓的何处获取了血管内图像。
11.血管造影与血管内成像之间的配准具有两个步骤：(1)血管造影和血管内成像的时间同步，以及(2)血管造影图像中的不透射线标记检测以识别血管内图像的获取位置。但是，由于步骤(2)中存在的困难，具有常规图像处理技术的当前方法可能提供有限的成功率。例如，虽然不透射线标记可以被视为血管造影图像中的最暗斑点，但在同一血管造影图像中可以发现多个相似的暗斑点，这可以对常规的计算图像处理技术从在血管造影图像中看起来相似的多个候选点中可靠地识别正确的点(表示感兴趣的标记或感兴趣的目标的点)提出挑战。
12.因而，期望提供至少一种成像或光学装置/设备、系统、方法和存储介质，其应用机器学习，尤其是深度学习，以识别血管造影图像帧中的一个或多个标记，与传统技术相比具有更高的成功率，并使用结果(即，识别出的一个或多个标记位置)来更高效地执行配准。


技术实现要素：

13.因而，本公开的一个广泛目的是提供用于使用和/或控制多种成像模态的成像(例如，oct、niraf等)装置、系统、方法和存储介质，其应用机器学习，尤其是深度学习，以便以更大或最大成功率识别(例如，检测、定位或局部化等)血管造影图像帧中的标记，并使用结果来更高效地或以最大效率执行配准。本公开的另一个广泛目的是提供使用诸如干涉仪(例如，谱域oct(sd-oct)、扫频源oct(ss-oct)、多模式oct(mm-oct)等)之类的干涉光学系
统的oct设备、系统、方法和存储介质。
14.本公开的一个或多个实施例可以应用机器学习，尤其是深度学习，以识别血管造影图像帧(例如，来自视频的一个或多个帧、来自一个或多个图像的一个或多个帧等)中的一个或多个标记，而无需定义血管内成像回拉发生的区域的(一个或多个)用户输入。使用人工智能，例如(但不限于)深度/机器学习、残差学习、计算机视觉任务(关键点或对象检测和/或图像分割)、使用一个或多个模型的独特体系架构结构、使用独特的训练过程、使用输入数据准备技术、使用到模型的输入映射、使用输出数据的后处理和解释等等，本公开的一个或多个实施例可以实现在没有(或更少)用户交互的情况下根据血管造影数据的更好或最大的标记检测成功率，并且可以减少处理和/或预测时间以显示基于(一个或多个)标记检测结果的(一个或多个)配准结果。在该本公开中，模型可以被定义为将图像作为输入并返回针对给定图像的预测作为输出的软件。在一个或多个实施例中，模型可以是已经通过使用机器学习和/或优化算法/过程的模型训练和选择而获得的模型体系架构(参数值的集合)的特定实例。模型一般包括以下部分或由以下部分组成：由源代码(例如，由参数化的卷积内核和激活函数等层组成的卷积神经网络)和配置值(参数、权重或特征)定义的体系架构，该配置值最初被设置为随机值，然后给定数据示例(例如，图像标签对)、目标函数(损失函数)和优化算法(优化器)在训练过程中被迭代优化。
15.本公开的一个或多个实施例可以通过创建识别器或检测器以从血管造影图像检测血管内成像导管上的不透射线标记来实现高效的标记检测和/或(一个或多个)高效的配准结果。在一个或多个实施例中，可以在血管内成像回拉期间使用具有可以在血管造影图像中可视化的不透射线标记的导管来获取血管造影数据。在一个或多个实施例中，基本事实识别不透射线标记的位置。在一个或多个实施例中，模型(在一个或多个实施例中，其可以是软件、软件/硬件组合，或利用一种或多种机器或深度学习算法/过程/处理的过程，该算法/过程/处理已经对数据进行训练以对未来的看不见的数据进行一个或多个预测)具有足够的分辨率以根据正被执行的应用或过程以足够的精度预测标记位置。通过随后添加更多训练数据并重新训练模型以创建具有更好或优化性能的模型的新实例，可以进一步提高模型的性能。例如，附加训练数据可以包括基于用户输入的数据，其中用户可以识别或校正图像中不透射线标记的位置。一个或多个实施例可以使用识别器或检测器来检测(一个或多个)不透射线标记。
16.在本公开的一个或多个实施例中可以采用用于使用人工智能来检测(一个或多个)标记位置和/或执行配准的一种或多种方法、医学成像设备、血管内超声(ivus)或光学相干断层扫描(“oct”)设备、成像系统和/或计算机可读存储装置。
17.在一个或多个实施例中，一种人工智能训练装置可以包括：存储器；与存储器通信的一个或多个处理器，该一个或多个处理器操作以：获取或接收血管造影图像数据；为所有获取的血管造影图像数据建立基本事实；将获取的血管造影图像数据拆分成训练、验证和测试集或组；为模型训练选择或采样超参数值的特定集合，包括但不限于模型体系架构、学习速率和参数值的初始化；使用来自训练集或组的数据示例迭代地训练模型并使用来自验证集或组的数据示例和通过多次迭代的预定义度量来评估模型；使用一个或多个预定义的或动态确定的停止准则停止训练和评估迭代；并将经训练的模型保存到存储器中；等等。一个或多个实施例可以针对各种超参数选择重复训练和评估过程，并最终选择具有由一个或
多个预定义评估度量定义的最优、最高和/或改进性能的一个或多个模型。
18.在一个或多个实施例中，一个或多个处理器还可以操作以将基本事实数据拆分成用于训练、验证和测试的集合或组。一个或多个处理器还可以操作以执行以下中的一项或多项：(i)基于创建的识别器或检测器检测或识别血管造影图像数据中的(一个或多个)标记或(一个或多个)不透射线标记；(ii)使用机器学习或深度学习的应用来计算或提高标记检测成功率；(iii)基于与模型相关联的标记检测成功率来决定要训练的模型(例如，如果装置或系统实施例有多个模型要保存，这些模型之前已经被训练，那么装置/系统的方法可以基于先前的成功率、基于预定的成功因子或基于哪个模型比另一个(一些)模型更优等来选择用于进一步训练的模型)；(iv)基于经训练的模型来计算配准成功率和/或确定检测到的标记的位置是否正确；以及(v)使用标记的预测的位置与实际位置之间的均方根误差来评估标记检测成功率和/或配准成功率。在一个或多个实施例中，一个或多个处理器还可以操作以执行以下中的一项或多项：(i)将获取或接收的血管造影图像数据拆分成具有特定比率或百分比的数据集或组，例如70％训练数据、15％验证数据和15％测试数据；(ii)随机地拆分获取或接收的血管造影图像数据；(iii)在回拉基础上或帧基础上随机地拆分获取或接收的血管造影图像数据；(iv)基于或使用某种或预定类型的数据的新集合来拆分获取或接收的血管造影图像数据；以及(v)基于或使用某种或预定类型的数据的新集合来拆分获取或接收的血管造影图像数据，该新集合是以下一项或多项：新的基于回拉的数据集、新的基于帧的数据集、新的临床数据、新的动物数据、新的潜在附加训练数据、用于第一类型导管的新数据(其中新数据具有与用于获取或接收的血管造影图像的导管的标记相似的标记数据)、具有与光学相干断层扫描(oct)导管的标记相似的标记的新数据。一个或多个处理器还可以操作以执行以下中的一项或多项：(i)采用数据质量控制；(ii)允许用户手动选择训练样本或训练数据；(iii)允许用户识别要检测的标记或目标，并将此类样本用作模型训练的数据点；(iv)使用在光学相干断层扫描(oct)回拉期间捕获的任何血管图像进行测试。在一个或多个实施例中，一个或多个处理器还可以操作以执行以下中的一项或多项：(i)执行图像预处理；(ii)通过归一化像素值来执行图像预处理；以及(iii)通过在训练开始之前对每个单独的血管帧的像素值进行归一化和/或对在每次训练迭代中对输入到模型的每批血管帧的像素值进行归一化来执行图像预处理。在选择模型体系架构或配置以供用户或系统基于预定准则进行训练之后，一个或多个处理器可以操作以执行以下中的一项或多项，以确定要使用、输入和输出的数据的种类：(i)当模型是分割或分类模型时，输入是单个血管图像帧，并且输出是对应的经分割、标记或掩蔽的图像；(ii)当模型是分割或分类模型时，输入是个体血管图像帧，并且输出是对应的经分割、标记或掩蔽的图像，其中定界标记区域的前景像素具有正值并且背景像素具有零值；(iii)当模型是对象检测或回归模型时，输入是个体血管图像帧，并且输出是定义(一个或多个)标记位置或目标标记的(一个或多个)空间坐标的对应集合；以及(iv)当模型执行分割(像素分类)和/或对象检测(空间坐标点回归)的组合时，输入包括各个血管帧的组合，并且输出包括以下一项或多项的组合：分割或掩蔽的图像，其中定界标记区域的前景像素具有正值且背景像素具有零值的分割或掩蔽的图像，以及(一个或多个)标记位置的(一个或多个)坐标或目标标记的坐标。在一个或多个实施例中，分割模型可以在获得分割或掩蔽的图像之后使用后处理来确定标记位置的坐标点。
19.一个或多个实施例可以包括或具有以下一项或多项：(i)参数包括一个或多个超参数；(ii)保存的、经训练的模型被用作创建的检测器，用于识别或检测血管造影图像数据中的(一个或多个)标记或(一个或多个)不透射线标记；(iii)模型是以下之一或组合：分割模型、具有后处理的分割模型、具有预处理的模型、具有后处理的模型、具有预处理的分割模型、深度学习或机器学习模型、语义分割模型或分类模型、对象检测或回归模型、对象检测或回归模型、语义分割模型和对象检测或回归模型的组合、使用(一种或多种)重复分割模型技术的模型、使用(一个或多个)特征金字塔的模型、以及使用(一种或多种)重复对象检测或回归模型技术的模型；(iv)基本事实包括以下一项或多项：每个血管造影帧中目标标记的主轴的两个端点的位置、光学相干断层扫描(oct)回拉期间捕获的每个血管造影帧中目标标记的主轴的两个端点的位置、包括具有一定宽度的连接两个端点位置的线作为分割模型的正区域的蒙版、包括在获取或接收的血管造影图像数据中的所有标记、两个边缘位置的质心、用于回归或对象检测模型的两个边缘位置的质心、以及由装置专家或用户以图形方式注释的所获取或接收的血管造影图像数据的每一帧中的两个标记位置；(v)一个或多个处理器还操作以使用一个或多个神经网络、卷积神经网络或循环神经网络来检测(一个或多个)标记或(一个或多个)不透射线标记；(vi)一个或多个处理器还操作以用测试集或组中的数据估计经训练的模型的泛化误差；以及(vii)一个或多个处理器还操作以用测试集或组中的数据估计多个经训练的模型(集合)的泛化误差，并基于其在验证集或组上的性能选择一个模型。
20.在一个或多个实施例中，一种人工智能检测装置可以包括：一个或多个处理器，其操作以：获取或接收血管造影图像数据；接收经训练的模型或从存储器中加载经训练的模型；将经训练的模型应用于获取或接收的血管造影图像数据；选择一个血管造影帧；用经训练的模型检测所选择的血管造影帧上的标记位置，检测到的标记位置定义检测到的结果；检查标记位置是否正确或准确；在标记位置不正确或不准确的情况下，修改检测到的结果或检测到的标记位置，并重复检查标记位置是否正确或准确，或者在标记位置正确或准确的情况下，于是检查是否所有血管造影帧都已检查正确性或准确性；并且在还没有检查所有血管造影帧的正确性或准确性的情况下，于是选择另一个血管造影帧并对于该另一个血管造影帧重复检测标记位置并检查标记位置是否正确或准确。
21.在检测装置的一个或多个实施例中，一个或多个处理器还可以操作以执行以下中的一项或多项：(i)在所有血管造影帧都已被检查正确性或准确性的情况下，于是基于检测到的标记位置执行配准；(ii)在显示器上显示检测到的标记位置；(iii)在显示器上显示检测到的标记位置，使得检测到的标记位置覆盖在血管造影数据上；(iv)在显示器上显示经修改的检测到的结果和/或经修改的标记位置；(v)将具有标记或不透射线标记的血管内成像导管插入对象或样本中；以及(vi)在血管内成像导管的回拉操作期间获取或接收血管造影图像数据。
22.一个或多个处理器还可以操作以使用一个或多个神经网络、卷积神经网络和/或循环神经网络以执行以下中的一项或多项：加载经训练的模型、选择血管造影帧的集合、检测每一帧的标记位置，确定检测到的标记位置是否适合给定的先验知识(例如，血管位置和回拉方向)、修改每一帧的检测到的结果或检测到的标记位置、在显示器上显示检测到的标记位置、执行配准、插入血管内图像，并在回拉操作期间获取或接收血管造影图像数据。
23.在一个或多个实施例中，对象或样本可以包括以下一项或多项：血管、目标标本或对象、以及患者。
24.一个或多个处理器还可以操作以通过将所获取或接收的血管造影图像与获得的一个或多个光学相干断层扫描(oct)或血管内超声(ivus)图像或帧进行配准来执行配准。
25.在一个或多个实施例中，加载的、经训练的模型可以是以下之一或组合：分割(分类)模型、具有预处理的分割模型、具有后处理的分割模型、对象检测(回归)模型、具有预处理的对象检测模型、具有后处理的对象检测模型、分割(分类)模型和对象检测(回归)模型的组合、深度卷积神经网络模型、可以考虑跨图像或帧的时间关系的具有长短期记忆的循环神经网络模型、使用可以考虑不同图像分辨率的(一个或多个)特征金字塔的模型、和/或使用(一种或多种)残差学习技术的模型。
26.在一个或多个实施例中，一个或多个处理器还可以操作以执行以下中的一项或多项：(i)在显示器上显示血管造影数据以及用于一种或多种成像模态中的每一种的图像，其中一种或多种成像模态包括以下一种或多种：断层扫描图像；光学相干断层扫描(oct)图像；荧光图像；近红外荧光(niraf)图像；预定视图、地毯视图和/或指示器视图中的近红外荧光(niraf)；三维(3d)渲染；血管的3d渲染；半管视图或显示中血管的3d渲染；对象的3d渲染；管腔轮廓；管腔直径显示；纵向视图；计算机断层扫描(ct)；磁共振成像(mri)；血管内超声(ivus)；x射线图像或视图；以及血管造影视图；以及(ii)基于经修改的检测结果和/或经修改的标记位置改变或更新一种或多种成像模态中的每一种以及血管造影数据的显示。
27.一种使用人工智能来训练模型的方法的一个或多个实施例可以包括：获取或接收血管造影图像数据；为所有获取的血管造影图像数据建立基本事实；收集图像数据注释；将获取的血管造影图像数据拆分成训练、验证和测试集或组；为模型训练选择超参数，包括模型体系架构、学习速率和参数值的初始化；使用训练集或组中的数据迭代训练模型并在多次迭代过程中使用验证集或组中的数据评估模型；使用一个或多个预定义的或动态确定的停止准则停止训练和评估迭代，并将经训练的模型保存到存储器。一个或多个实施例可以针对多种模型配置(例如，超参数值)重复选择、训练和评估过程，并最终选择具有由一个或多个预定义的评估度量定义的最高性能的一个或多个模型。
28.训练方法的一个或多个实施例可以包括或具有以下条件中的一个或多个：(i)参数包括一个或多个超参数；(ii)保存的、经训练的模型被用作创建的检测系统，用于识别或检测血管造影图像数据中的(一个或多个)标记或(一个或多个)不透射线标记；(iii)模型是以下之一或组合：分割(分类)模型、具有预处理的分割模型、具有后处理的分割模型、对象检测(回归)模型、具有预处理的对象检测模型、具有后处理的对象检测模型、分割(分类)模型和对象检测(回归)模型的组合、深度卷积神经网络模型、可以考虑跨图像或帧的时间关系的具有长短期记忆的循环神经网络模型、使用可以考虑不同图像分辨率的(一个或多个)特征金字塔的模型、和/或使用(一种或多种)残差学习技术的模型；(iv)基本事实包括以下一项或多项：每个血管造影帧中目标标记的主轴的两个端点的位置、光学相干断层扫描(oct)回拉期间捕获的每个血管造影帧中目标标记的主轴的两个端点的位置、包括具有一定宽度的连接两个端点位置的线作为分割模型的正区域的蒙版、包括在获取或接收的血管造影图像数据中的所有标记、两个边缘位置的质心、用于回归或对象检测模型的两个边缘位置的质心、以及由装置专家或用户以图形方式注释的所获取或接收的血管造影图像数
据的每一帧中的两个标记位置；(v)一个或多个处理器还操作以将一个或多个神经网络或卷积神经网络用于以下一项或多项：训练模型、估计泛化误差、确定经训练的模型的性能是否足够，和/或检测(一个或多个)标记或(一个或多个)不透射线标记；以及(vi)该方法还包括用测试集或组中的数据估计训练模型的泛化误差；(vii)该方法还包括用测试集或组中的数据估计多个经训练的模型的泛化误差，并基于其在验证集或组上的性能选择一个模型。
29.存储用于使计算机执行使用人工智能训练模型的方法的至少一个程序的非暂态计算机可读存储介质的一个或多个实施例可以与本公开中讨论的任何(一种或多种)方法一起使用，包括但不限于，方法包括：获取或接收血管造影图像数据；为获取的所有血管造影图像数据建立基本事实；将获取的血管造影图像数据拆分成训练、验证和测试集或组；为模型训练选择或采样超参数值，包括模型体系架构、学习速率和参数值的初始化；用训练集或组中的数据训练模型并且用验证集或组中的数据评估模型；确定经训练的模型的性能是否足够；以及在经训练的模型不够的情况下，于是重复选择/采样、训练和确定/评估，或者，在经训练的模型足够的情况下，将经训练的模型保存到存储器。
30.用于检测血管造影图像数据中的标记或不透射线标记和/或用于执行配准的方法的一个或多个实施例可以包括：获取或接收血管造影图像数据；接收经训练的模型或从存储器中加载经训练的模型；将经训练的模型应用于获取或接收的血管造影图像数据；选择一个血管造影帧；用经训练的模型检测所选择的血管造影帧上的标记位置，检测到的标记位置定义检测到的结果；检查标记位置是否正确或准确；在标记位置不正确或不准确的情况下，于是修改检测到的结果或检测到的标记位置，并重复检查标记位置是否正确或准确，或者在标记位置正确或准确的情况下，检查是否所有血管造影帧都已检查正确性或准确性；并且在还没有检查所有血管造影帧的正确性或准确性的情况下，于是选择另一个血管造影帧并对于该另一个血管造影帧重复检测标记位置并检查标记位置是否正确或准确。该方法可以包括以下一项或多项：(i)在所有血管造影帧都已被检查正确性或准确性的情况下，基于检测到的标记位置执行配准；(ii)在显示器上显示检测到的标记位置；(iii)在显示器上显示检测到的标记位置，使得检测到的标记位置覆盖在血管造影数据上；(iv)在显示器上显示经修改的检测到的结果和/或经修改的标记位置；(v)将具有标记或不透射线标记的血管内成像导管插入对象或样本中；以及(vi)在血管内成像导管的回拉操作期间获取或接收血管造影图像数据。
31.本文讨论的任何方法(例如，(一种或多种)训练方法、(一种或多种)检测方法、(一种或多种)成像或可视化方法、(一种或多种)人工智能方法等)的一个或多个实施例可以与本文讨论的装置、系统、其它方法、存储介质或其它结构的任何一个或多个特征一起使用。
32.存储用于使计算机执行用于使用人工智能检测标记和/或使用人工智能执行配准的方法的至少一个程序的非暂态计算机可读存储介质的一个或多个实施例可以与本公开中讨论的任何(一种或多种)方法一起使用，包括但不限于，方法包括：获取或接收血管造影图像数据；接收经训练的模型或从存储器中加载经训练的模型；将经训练的模型应用于获取或接收的血管造影图像数据；选择一个血管造影帧；用经训练的模型检测所选择的血管造影帧上的标记位置，检测到的标记位置定义检测到的结果；检查标记位置是否正确或准确；在标记位置不正确或不准确的情况下，于是修改检测到的结果或检测到的标记位置，并
重复检查标记位置是否正确或准确，或者在标记位置正确或准确的情况下，于是检查是否所有血管造影帧都已检查正确性或准确性；并且在还没有检查所有血管造影帧的正确性或准确性的情况下，于是选择另一个血管造影帧并对于该另一个血管造影帧重复检测标记位置并检查标记位置是否正确或准确。
33.用于检测血管造影图像数据中的标记或不透射线标记和/或用于执行配准的方法的一个或多个实施例可以包括以下一项或多项：(i)在所有血管造影帧都已被检查正确性或准确性的情况下，基于检测到的标记位置执行配准；(ii)在显示器上显示检测到的标记位置；
34.(iii)在显示器上显示检测到的标记位置，使得检测到的标记位置覆盖在血管造影数据上；(iv)在显示器上显示经修改的检测到的结果和/或经修改的标记位置；(v)将具有标记或不透射线标记的血管内成像导管插入对象或样本中；以及(vi)在血管内成像导管的回拉操作期间获取或接收血管造影图像数据。
35.可以在本公开的一个或多个实施例中使用的本文讨论的一个或多个人工智能特征包括但不限于使用深度学习、计算机视觉任务、关键点检测、一个或多个模型的独特体系架构、独特的训练处理或算法、独特的优化处理或算法、输入数据准备技术、到模型的输入映射、后处理和/或输出数据的解释中的一个或多个，如本文基本描述或如任一附图中所示。
36.在一个或多个实施例中，可以使用诸如但不限于viterbi算法的算法来检测和跟踪不透射线标记。
37.一个或多个实施例可以使用卷积神经网络、任何其它类型的(一种或多种)神经网络自动表征血管造影图像中的狭窄，并且可以使用训练(例如，离线训练)和使用应用(例如，(一个或多个)在线应用)完全自动化血管造影上的帧检测以经由深度学习提取和处理帧。
38.本公开的一个或多个实施例可以跟踪和/或计算不透射线标记检测成功率。
39.以下段落描述某些解释性实施例。其它实施例可以包括替代方案、等同物和修改。此外，解释性实施例可以包括若干新颖特征，并且特定特征对于本文描述的设备、系统和方法的一些实施例可能不是必不可少的。
40.根据本公开的其它方面，本文讨论使用oct和/或其它(一种或多种)成像模态技术的一种或多种附加设备、一种或多种系统、一种或多种方法以及一种或多种存储介质以使用人工智能(包括但不限于深度或机器学习)检测(一个或多个)标记并执行配准，使用标记检测的结果来执行配准等。本公开的进一步的特征将部分地是可理解的并且将部分地从以下描述并参考附图而变得清楚。
附图说明
41.为了说明本公开的各个方面，其中相同的数字指示相同的元件，在附图中示出了可以采用的简化形式，但是应该理解的是，本公开不受所示的精确布置和工具限制或限于其。为了帮助相关领域的普通技术人员制作和使用本主题，参考附图，其中：
42.图1a是示出根据本公开的一个或多个方面的可以被用于执行一种或多种成像模态查看和控制的系统的至少一个实施例的示意图；
43.图1b是示出根据本公开的一个或多个方面的用于执行一个或多个步骤以处理图像数据的成像系统的示意图；
44.图2是根据本公开的一个或多个方面可以使用的使用经训练的深度学习来创建识别器或检测器的方法的至少一个实施例的流程图；
45.图3是根据本公开的一个或多个方面可以使用的用于使用识别器或检测器来检测不透射线标记的方法的至少一个实施例的流程图；
46.图4是根据本公开的一个或多个方面的导管的至少一个实施例的图，该导管可以与用于检测标记和/或执行配准的一个或多个实施例一起使用；
47.图5是示出根据本公开的一个或多个方面的测量标记检测成功率的几个示例的图；
48.图6a-6b分别是根据本公开的一个或多个方面的分割模型的至少一个实施例和分割模型方法的至少一个实施例的输入至输出的示例基本事实；
49.图7是根据本公开的一个或多个方面的在应用分割模型实施例之后可以被用于识别(一个或多个)最终坐标的后处理的至少一个实施例的示例；
50.图8是示出根据本公开的一个或多个方面的测量标记检测成功率的几个示例的图，包括具有后处理的分割模型的至少一个实施例示例；
51.图9a是根据本公开的一个或多个方面的使用回归的对象检测模型体系架构的至少一个实施例示例的图；
52.图9b是根据本公开的一个或多个方面的使用具有残差学习的回归的对象检测模型体系架构的至少一个实施例示例的图；
53.图10包括根据本公开的一个或多个方面的训练数据、验证数据和测试数据以及成功率的测量的几个示例；
54.图11包括根据本公开的一个或多个方面的对象检测模型的一个或多个实施例的测试和验证数据以及均方根误差计算的几个示例；
55.图12a示出了根据本公开的一个或多个方面的用于利用一种或多种成像模态和人工智能来检测(一个或多个)标记和/或执行配准的oct设备或系统的至少一个实施例；
56.图12b示出了根据本公开的一个或多个方面的用于利用一种或多种成像模态和人工智能来检测(一个或多个)标记和/或执行配准的oct设备或系统的至少另一个实施例；
57.图12c示出了根据本公开的一个或多个方面的用于利用一种或多种成像模态和人工智能来检测(一个或多个)标记和/或执行配准的oct和niraf装置或系统的至少另一个实施例；
58.图13是示出根据本公开的一个或多个方面的执行成像特征、功能或技术的方法的流程图；
59.图14示出了根据本公开的一个或多个方面的计算机的实施例的示意图，该计算机的实施例可以与本文讨论的装置或系统或一种或多种方法的一个或多个实施例一起使用；
60.图15示出了根据本公开的一个或多个方面的计算机的另一个实施例的示意图，该计算机的实施例可以与本文讨论的成像装置或系统或方法的一个或多个实施例一起使用；
61.图16示出了根据本公开的一个或多个方面的使用计算机或处理器、存储器、数据库以及输入和输出设备的系统的至少一个实施例的示意图；
62.图17示出了根据本公开的一个或多个方面的用于一个或多个机器学习应用的示例输入图像(左)和对应的输出图像(右)；
63.图18示出了根据本公开的一个或多个方面的示例输入图像(左)和在更新分割之后的对应的输出图像(右)；
64.图19示出了根据本公开的一个或多个方面的具有相应预测结果的原始血管图像帧；
65.图20示出了根据本公开的一个或多个方面的示例输入图像(左)和对应的输出图像(右)；
66.图21示出了根据本公开的一个或多个方面的具有不同的经训练的模型的示例预测结果；
67.图22示出了根据本公开的一个或多个方面的具有四个不同模型的示例预测结果；
68.图23示出了根据本公开的一个或多个方面的用于(一个或多个)分割模型的示例输入图像(左)和对应的输出图像(右)；
69.图24(a)-(f)示出了根据本公开的一个或多个方面的预测结果的相应示例图；
70.图25示出了根据本公开的一个或多个方面的用于(一种或多种)回归模型的示例输入图像(左)和对应的输出图像(右)；
71.图26示出了根据本公开的一个或多个方面的一种或多种回归模型的创建的体系架构；
72.图27示出了根据本公开的一个或多个方面的模型选择的至少一个实施例示例(例如，在模型训练期间的不同时间点在训练和验证集上具有不同超参数配置的模型的损失值的图)；
73.图28示出了根据本公开的一个或多个方面的卷积神经网络体系架构；
74.图29示出了根据本公开的一个或多个方面的用于(一种或多种)回归模型的示例输入图像(左)和对应的输出图像(右)；
75.图30示出了根据本公开的一个或多个方面的用于(一种或多种)回归模型的创建的体系架构；
76.图31示出了根据本公开的一个或多个方面的通过迭代的(一个或多个)训练和验证结果；以及
77.图32示出了根据本公开的一个或多个方面的在预测和基本事实之间具有(一个或多个)不同距离阈值的总标记检测成功率。
具体实施方式
78.本文公开了使用一种或多种成像技术或模态(系统但不限于oct、荧光、niraf等)来表征组织或对象，以及使用人工智能检测(一个或多个)标记和/或执行配准的一种或多种设备、系统、方法和存储介质。可以通过本公开的装置、系统、方法和/或计算机可读存储介质的一个或多个实施例来执行的本公开的几个实施例在至少图1a至31中被图解和可视地描述，并且下文包括其它表格和图。
79.现在转向附图的细节，成像模态可以以如本文讨论的一种或多种方式显示。本文讨论的一个或多个显示器可以允许一个或多个显示器的用户使用、控制和/或强调多种成
像技术或模态，诸如但不限于oct、niraf等，并且可以允许用户同步使用、控制和/或强调多种成像技术或模态。
80.如图1a中图解所示，本公开的用于可视化、强调和/或控制一种或多种成像模态和人工智能(诸如但不限于机器和/或深度学习、残差学习、使用标记检测的结果来执行配准等)以用于检测(一个或多个)标记和/或执行配准的一个或多个实施例可以涉及一个或多个预定的或期望的过程，诸如但不限于医疗规程计划和执行(例如，如上面所提到的pci)。例如，系统2可以与图像扫描仪5(例如，ct扫描仪、x射线机等)通信以请求用在医疗规程(例如，pci)计划和/或执行中的信息，诸如但不限于床位置，并且一旦临床医生使用图像扫描仪5经由对患者的扫描获得信息，图像扫描仪5就可以将请求的信息连同图像一起发送到系统2。在一些实施例中，提供并发拍摄的或从较早的会话拍摄的一个或多个血管造影照片3用于进一步的计划和可视化。系统2还可以与诸如图片存档和通信系统(pacs)4之类的工作站通信以发送和接收患者的图像以促进和帮助医疗规程计划和/或执行。一旦形成计划，临床医生就可以将系统2与医疗规程/成像设备1(例如，成像设备、oct设备、ivus设备、pci设备、消融设备、3d结构构造或重构设备等)一起使用以查阅医疗规程图表或计划以了解有针对性的生物对象的形状和/或尺寸以进行成像和/或医疗规程。医疗规程/成像设备1、系统2、定位设备3、pacs 4和扫描设备5中的每一个可以以本领域技术人员已知的任何方式进行通信，包括但不限于直接(经由通信网络)或间接(经由其它设备(诸如1或5)中的一个或多个，或附加的冲洗和/或造影剂递送设备；经由pacs 4和系统2中的一个或多个；经由临床医生交互；等等)。
81.在医疗规程中，生理评估的改进或优化对于决定针对特定患者的治疗过程是优选的。作为至少一个示例，生理评估对于决定针对心血管疾病患者的治疗非常有用。例如，在导管插入实验室中，生理评估可以被用作决策工具—例如，患者是否应当接受pci规程、pci规程是否成功等。使用生理评估的概念在理论上是健全的，但生理评估仍然等待更多的适应和改进以便在(一个或多个)临床环境中使用。这种情况可以是因为生理评估可以涉及添加另一个设备和要准备的药物，和/或因为测量结果由于技术困难而在医生之间可以有所不同。此类方法增加了复杂性并且缺乏一致性。因此，本公开的一个或多个实施例可以采用可以从成像数据执行的基于cfd的生理评估，以消除或最小化测量规程期间的技术困难、复杂性和不一致性。为了获得准确的生理评估，可以如2019年9月17日提交的美国临时专利申请no.62/901,472中公开的那样根据成像数据重构血管的准确3d结构，其公开内容通过引用整体并入本文。
82.在本公开的至少一个实施例中，与仅使用一种成像模态相比，可以使用一种方法来提供(一个或多个)更准确的3d结构。在一个或多个实施例中，可以使用多种成像模式的组合，可以检测(一个或多个)标记，并且可以使用人工智能处理/执行配准。
83.本公开的一个或多个实施例可以应用机器学习，尤其是深度学习，以检测血管造影图像帧中的标记，而无需定义血管内成像回拉发生的区域的(一个或多个)用户输入。使用人工智能，例如深度学习，本公开的一个或多个实施例可以在没有(或较少)用户交互的情况下从血管造影数据中实现更好或最大的标记检测成功率，并且可以减少基于(一个或多个)标记检测结果显示(一个或多个)配准结果的处理和/或预测时间。
84.本公开的一个或多个实施例可以通过创建检测器以从血管造影图像中识别和定
位血管内成像导管上的不透射线标记来实现高效的标记检测和/或(一个或多个)高效的配准结果。在一个或多个实施例中，可以在血管内成像回拉期间使用具有可以在血管造影图像中可视化的不透射线标记的导管来获取血管造影数据。在一个或多个实施例中，基本事实识别不透射线标记的位置。在一个或多个实施例中，模型具有足够的分辨率以根据正在执行的应用或规程以足够的准确度预测给定图像中的标记位置。通过添加更多训练数据，可以进一步提高模型的性能。例如，附加的训练数据可以包括图像注释，其中用户标记或校正每个图像中的不透射线标记。一个或多个实施例可以使用检测器来识别和定位(一个或多个)不透射线标记。
85.在一个或多个实施例中，可以使用诸如但不限于维特比(viterbi)算法的算法来检测和跟踪不透射线标记。
86.一个或多个实施例可以使用卷积神经网络将血管造影图像中的狭窄的表征自动，并且可以使用训练(例如，离线训练)和使用应用(例如，(一个或多个)在线应用)将血管造影图像上的帧检测完全自动化以经由深度学习提取和处理帧。
87.本公开的一个或多个实施例可以跟踪和/或计算不透射线标记检测成功率。
88.在至少一个进一步的实施例示例中，可以采用不添加任何成像要求或条件的3d重构方法。本公开的一种或多种方法可以使用血管内成像，例如ivus、oct等，以及血管造影的一(1)个视图。在下面的描述中，虽然本公开的血管内成像不限于oct，但是使用oct作为血管内成像的代表来描述本文的一个或多个特征。
89.现在参考图1b，示出了成像系统20的至少一个实施例的示意图，该成像系统20用于基于成像导管上不透射线标记的直接检测到的位置、或者通过使用在血管内成像回拉期间同时获取的血管造影图像帧表示成像导管路径的回归线，来生成成像导管路径。图1b的实施例可以与本文讨论的(一个或多个)人工智能特征中的一个或多个一起使用。成像系统20可以包括血管造影系统30、血管内成像系统40、图像处理器50、显示器或监视器1209以及心电图(ecg)设备60。血管造影系统30包括x射线成像设备，诸如连接到血管造影系统控制器24的c形臂22和用于获取对象或患者106的血管造影图像帧的血管造影图像处理器26。
90.成像系统20的血管内成像系统40可以包括控制台32、导管120以及连接在导管120和控制台32之间用于获取血管内图像帧的患者接口单元或piu 110。导管120可以插入患者106的血管中。导管120可以用作部署在特定血管(诸如例如冠状动脉)的管腔中的数据收集探头和光辐照器。导管120可以包括探头尖端、一个或多个不透射线标记、光纤和扭矩线。探头尖端可以包括一个或多个数据收集系统。导管120可以穿入患者106的动脉中以获得冠状动脉的图像。患者接口单元110可以在内部包括马达m，以使得能够在血管内图像帧的获取期间回拉成像光学器件。成像回拉规程可以获得血管的图像。成像回拉路径可以表示配准路径，其可以是血管的感兴趣区域或有针对性的区域。
91.控制台32可以包括(一个或多个)光源101和计算机1200。计算机1200可以包括如本文和下面讨论的特征(例如，参见图14、图16等)，或者可替代地可以是计算机1200'(例如，参见图15、图16等)或本文讨论的任何其它计算机或处理器。在一个或多个实施例中，计算机1200可以包括血管内系统控制器35和血管内图像处理器36。血管内系统控制器35和/或血管内图像处理器36可以操作以控制患者接口单元110中的马达m。血管内图像处理器36还可以执行用于图像处理的各种步骤并控制要显示的信息。
92.可以在成像系统20内使用各种类型的血管内成像系统。血管内成像系统40仅仅是可以在成像系统20内使用的血管内成像系统的一个示例。例如，可以使用各种类型的血管内成像系统，包括但不限于oct系统、多模态oct系统或ivus系统。
93.成像系统20还可以连接到心电图(ecg)设备60，用于使用放置在患者106的皮肤上的电极在一段时间内记录心脏的电活动。成像系统20还可以包括图像处理器40，用于接收血管造影数据、血管内成像数据和来自ecg设备60的数据，以执行各种图像处理步骤，以传输到显示器1209来用于显示血管造影图像帧和配准路径。虽然与成像系统20相关联的图像处理器40在图1b中出现在血管造影系统20和血管内成像系统30的外部，但是图像处理器40可以被包括在血管造影系统30、血管内成像系统40、显示器1209或独立设备内。可替代地，如果使用成像系统20的血管造影图像处理器26、血管内图像处理器36或本文讨论的任何其它处理器(例如，计算机1200、计算机1200'、计算机或处理器2等)中的一个或多个执行各种图像处理步骤，那么可以不要求图像处理器40。
94.图2示出了根据本公开的一个或多个方面可以使用的使用经训练的深度学习来创建识别器或检测器的方法的至少一个实施例。
95.图3示出了根据本公开的一个或多个方面可以使用的用于使用识别器或检测器来检测不透射线标记的方法的至少一个实施例。
96.一种或多种用于创建识别器或检测器的方法的实施例和使用识别器或检测器来检测标记的实施例可以单独使用或组合使用。虽然不限于所讨论的组合或布置，但是一个或多个步骤可以在本公开的一个或多个实施例中的工作流或处理两者中涉及，例如，如图2和/或图3中所示并且如以下所讨论的。
97.本公开的一个或多个实施例通过例如改进用于从候选点中选择点的方法/算法、改进可以利用难以经由其它图像处理技术(例如，经由使用人工智能、经由应用机器或深度学习、经由使用人工智能结果来执行配准等)捕获的特征的检测方法/算法等来改进或最大化标记检测成功率。在一个或多个实施例中，至少一个人工智能、计算机实现的任务可以在通过一种或多种成像模态获取的图像之间进行图像的配准，其中一个图像是在样本或对象(诸如但不限于冠状动脉)的血管内成像期间使用oct探头(例如，在应用造影剂后oct探头的回拉)获取的血管造影图像，并且其中其它血管内成像可以是但不限于ivus。在一个或多个实施例中，至少另一个人工智能、计算机实现的任务可以是特定的机器学习任务：关键点检测，其中关键点是已被“引入”到血管造影图像中以促进检测的不透射线标记。
98.返回到图2的细节，本公开的一种或多种方法或处理可以包括以下步骤中的一个或多个(从图2中的步骤s101开始)：(i)获取血管造影图像数据(参见图2中的步骤s102)；(ii)为获取的血管造影数据/图像中的标记位置建立基本事实(参见图2中的步骤s103)；(iii)将获取的血管造影数据/图像集(图像的示例和/或对应的基本事实)拆分成训练、验证和测试组或集(参见图2中的步骤s104)；(iv)选择用于模型训练的超参数，包括但不限于模型体系架构、学习速率和参数值的初始化(参见图2中的步骤s105)；(v)用训练组或训练集中的数据训练模型，并用验证组或验证集中的数据对其进行评估(参见图2中的步骤s106)；(vi)确定经训练的模型的性能是否良好或足够(参见图2中的步骤s107)；(vii)在步骤s107导致“否”的情况下，返回到步骤s105之前并重复步骤s105-s106，或者在步骤s107导致“是”的情况下，前进到步骤s108；(viii)用测试组或测试集中的数据估计训练模型的泛
化误差(参见图2中的步骤s108)；以及(ix)将经训练的模型保存到存储器(参见图2中的步骤s109)(然后在图2中的步骤s110结束该处理)。图2中所示的步骤可以以任何逻辑顺序执行，并且在一个或多个实施例中可以部分省略。在一个或多个实施例中，步骤s109可以涉及将经训练的模型保存到存储器或磁盘，并且可以自动保存经训练的模型或者可以提示用户(一次或多次)以保存经训练的模型。在一个或多个实施例中，可以基于模型在验证集上的性能来选择模型，并且可以使用所选择的模型在测试上估计泛化误差。在一个或多个实施例中，装置、系统、方法或存储介质可以具有多个模型要保存，这些模型之前已经训练过，并且装置、系统、方法或存储介质可以基于先前或以前的成功率选择模型用于进一步训练。在一个或多个实施例中，任何经训练的模型适用于具有相同或相似成功率的任何血管装置或系统；在存在来自不同血管装置或系统的更多数据的情况下，一个模型可以对某个血管装置或系统工作得更好，而另一个模型可以对不同的血管装置或系统工作得更好。在这种场景中，一个或多个实施例可以为特定的(一个或多个)血管装置或系统创建(一个或多个)测试或验证数据集，并且可以利用(一个或多个)测试集和/或(一个或多个)验证集识别哪个模型对特定的(一个或多个)血管装置或系统工作得最好。
99.虽然在一个或多个实施例中可以同时获取血管内图像和血管造影图像，但是在一个或多个其它实施例(诸如但不限于2019年1月30日提交的美国专利申请no.62/798,885中讨论的(一个或多个)实施例，该申请通过引用整体并入本文)中，可以在不同时间执行这样的图像获取(或不被同时获取)。实际上，可以在任一场景中执行配准。在血管造影图像与血管内图像被同时获取的一个或多个实施例中，一个或多个这样的实施例可以增加配准的准确性，因为可以检测不透射线标记位置，其是血管内(例如，oct)图像的获取位置。在一个或多个实施例中，当使用在规程(例如，pci规程)期间获取的图像时，oct/ivus和血管造影模态是可用的。在一个或多个实施例中，其中在pci规程之前获取ct图像，可以执行ct和血管造影之间和/或ct和oct/ivus之间的配准。使用ct和oct/ivus在美国专利公开no.2018/0271614中进一步讨论，其公开内容通过引用整体并入本文。虽然本文讨论的一种或多种pci规程讨论了冠状动脉和其它动脉(例如，位于一条或多条腿或其它身体部位中的动脉)中的支架植入、球囊血管成形术或其它规程，但pct规程不限于此。例如，除了用于冠状动脉规程之外，oct/ivus还可以用于脉管系统的(一个或多个)其它区域。在一个或多个实施例中，在步骤s102中获得的(一个或多个)血管造影图像可以用于对患者或病例的初始分析，和/或可以用于配准。(一个或多个)血管造影图像可以在oct回拉期间获得以实现更准确的配准，或者可以从存储器或数据库接收，如下面进一步讨论的。
100.在上面讨论的步骤s103中，可以针对用于本文讨论的人工智能方法或算法的一个或多个体系架构模型以一种或多种方式执行建立基本事实。在一个或多个实施例中，基本事实可以是在oct回拉期间捕获的每个血管造影帧中目标标记的主轴的两个端点的位置。虽然本文讨论的体系架构模型侧重于分割模型、对象模型(也称为“回归模型”、具有残差学习的回归模型以及结合了分割模型和回归模型的一个或多个特征的模型，但是体系架构模型不限于此。对于分割模型，基本事实可以涉及包含以一定宽度连接这两个位置的线作为正区域的蒙版图像(例如，参见下面进一步讨论的图6a)。在一个或多个实施例中，如果目标标记可能无法与其它标记区分开来，那么所有标记都可以被标记为基本事实。在一个或多个实施例中，其中存在更多数据用于训练和/或帧的时间序列(例如，视频序列)被利用，可
以改进模型以通过仅包括被掩蔽的目标标记的基本事实训练模型。在用于回归模型或对象模型的一个或多个实施例中，两个边缘位置的质心可以被认为是每个图像中目标标记的基本事实位置。在一个或多个实施例中，例如，可以通过专家对血管造影图像的每一帧中的两个标记位置进行图形注释来建立基本事实。
101.在步骤s104中，对于本文讨论的人工智能方法或算法，可以以一种或多种方式发生将获取的血管造影数据集(图像的示例和/或对应的基本事实)拆分成训练、验证和测试集或组。虽然本文讨论了拆分数据的若干示例，但方法和算法不限于此。通过至少一个实施例示例，输入数据可以被拆分成训练(70％)、验证(15％)和测试(15％)数据集或组。数据拆分可以随机执行(例如，基于回拉、基于帧等)。在一个或多个实施例中，可以拆分数据集，使得训练、验证和测试集或组最大程度地去相关，并且每个集或组中的示例可以从(一个或多个)不同的图像获取过程中采样。例如，在最终应用可以处理或寻求处理新的回拉示例的一个或多个实施例中，验证和测试集或组中的所有图像都可以从尚未成为训练集或组的一部分并且不用于模型训练的回拉中采样。不同种类的数据可以被用于数据拆分。在用于模型训练的临床研究数据的可用性有限的情况下，来自动物研究的数据可以包括在训练集或组中。在至少一个实施例中，训练集或组可以主要由作为一个或多个动物研究的一部分获得的示例组成，而验证和测试集或组可以主要或仅由临床研究期间获得的示例组成。在一个或多个实施例中，来自动物研究和/或临床研究的数据的不同组合可以被用于以下一项或多项：(一个或多个)训练集或组、(一个或多个)验证集或组，和/或(一个或多个)测试集或组。在训练中使用动物数据可以使得能够添加在(一种或多种)罕见临床情况下获取的数据，并且在一个或多个实施例中，因此可以适用于(一种或多种)临床环境。一旦有更多的临床数据可用，一个或多个实施例就可以将临床数据(例如，没有动物数据)用于所有数据子集。一个或多个实施例可以采用潜在的附加训练数据。例如，如果在支架或球囊导管递送期间获取的血管图像中的不透射线标记看起来与oct导管中的标记相似，那么一个或多个实施例可以以用户注释的不透射线标记位置的形式将支架或球囊导管血管数据/图像的示例和对应的基本事实包括到(一个或多个)训练集中，并使用这些示例训练模型以检测oct导管中的标记。类似地，在一个或多个实施例中，具有看起来类似于oct导管上或oct导管的不透射线标记的导管/探头的任何其它血管图像可以被用作附加训练数据。优选地，一个或多个实施例采用数据质量控制。例如，在一个或多个实施例中，可以手动执行训练样本的选择。如果人类可以通过肉眼识别不透射线标记(用于检测的目标)，那么这种样本可以是用于训练的良好数据点。对于测试，可以使用在oct回拉期间捕获的任何血管图像，只要人类专家读者或临床医生可以建立基本事实即可。一个或多个实施例可以涉及图像预处理。由于图像对比度的范围在帧/回拉之间是不同的，因此图像像素值的归一化或其它图像变换可以作为预处理步骤来执行。可以在训练开始之前对每个单独的血管帧执行归一化，或者对于每次训练迭代针对传递给模型的每批血管帧执行归一化。
102.在步骤s105中，选择用于模型训练的超参数(包括模型体系架构、学习速率和参数值的初始化)可以根据预定或期望的目标和/或(一个或多个)应用而变化。例如，模型体系架构的选择可以取决于在(一个或多个)验证和/或测试数据集上的最终应用的设置中配准的成功率(其可以受标记检测成功率的影响)。这样的(一个或多个)考虑可以与用于处理/预测和用户交互的时间(例如，预定时间段、期望时间段、可用时间段、目标时间段等)平衡。
在一个或多个实施例中，配准和/或标记检测的一个或多个成功率是用预定度量(诸如但不限于预测与实际位置之间的均方根误差)来评估的。在一个或多个实施例中，可以根据输入和输出来选择模型体系架构。例如，在分割或语义分割模型(也称为分类模型)中，输入可以是个体血管帧，并且输出可以是分割的/掩蔽的图像，例如，其中定界标记区域的前景像素具有正值并且背景像素具有零值。分割(分类)模型可以在获得分割的/掩蔽的图像之后应用后处理，以确定标记位置的坐标点，这会影响标记检测的成功率，并且最终会影响配准的成功率。作为另一个示例，在对象检测(回归)模型中，输入可以是个体血管帧，并且输出可以是标记位置的坐标(例如，只有目标标记)。作为另一个示例，组合体系架构模型可以使用上面提到的输入和输出的组合。
103.虽然不限于这个处理或其步骤，但是可以执行使用检测器来检测(或识别和定位)不透射线标记，例如，如图3中所示。例如，本公开的一种或多种方法或处理可以包括以下步骤中的一个或多个(从图3中的步骤s201开始)：(i)插入具有不透射线标记的血管内成像导管(例如，插入血管、目标标本或对象、插入患者等)(参见图3中的步骤s202)；(ii)在血管内回拉期间获取血管造影数据(参见图3中的步骤s203)；(iii)从存储器(例如，可以是本文讨论的存储器中的一个或多个)加载经训练的模型(参见图3中的步骤s204)；(iv)将经训练的模型应用于获取的血管造影数据(参见图3中的步骤s205)；(v)选择一个血管造影帧(参见图3中的步骤s206)；(vi)用经训练的模型检测所选择的血管造影帧上的标记位置(参见图3中的步骤s207)；(vii)显示检测到的标记位置(例如，将检测到的标记位置覆盖在血管造影数据上)(参见图3中的步骤s208)；(viii)检查标记位置是否正确或准确(参见图3中的步骤s209)；(ix)在步骤s209导致“否”的情况下，修改检测到的结果，显示经修改的结果(参见图3中的步骤s210)并返回到步骤s209以确定标记位置是否正确(例如，在经修改的结果中)，或者在步骤s209导致“是”的情况下，检查是否所有帧都已检查(参见图3中的步骤s211)；以及(x)在步骤s211导致“否”的情况下，返回到步骤s206之前并重复步骤s206至s211(例如，对于帧集合中的每个附加帧、对于剩余要检查的每个附加帧、对于尚未检查的附加帧等)，或者，在步骤s211导致“是”的情况下，结束该处理(参见图3中的步骤s212)。图3中所示的步骤可以以任何逻辑顺序执行，并且在一个或多个实施例中可以部分省略。
104.图4示出了导管120的至少一个实施例，其可以在本公开的一个或多个实施例中用于获得图像；用于使用和/或控制多种成像模态，这些模态应用机器学习，尤其是深度学习，以便以更大或最大的成功率识别血管造影图像帧中的标记；以及使用结果更有效地或以最大效率执行配准。图4示出了导管120的实施例，其包括护套121、线圈122、保护器123和光学探头124。如图12a-12c(下文进一步讨论)中示意性所示，导管120可以连接到患者接口单元(piu)110以利用回拉使线圈122自旋(例如，piu 110的至少一个实施例操作以利用回拉使线圈122自旋)。线圈122从其近端向远端递送扭矩(例如，经由或通过piu 110中的旋转马达)。在一个或多个实施例中，线圈122与光学探头124一起固定/固定到光学探头124，使得光学探头124的远侧尖端也自旋以查看对象(例如，生物器官、被评估的样本或材料，诸如但不限于中空器官(诸如血管、心脏、冠状动脉等))的全向视图。例如，光纤导管和内窥镜可以驻留在oct干涉仪的样本臂(诸如下文讨论的图12a-12c中的一个或多个中所示的样本臂103)中，以便提供对内部器官的访问，诸如血管内图像、胃肠道或任何其它难以进入的狭窄区域。随着穿过导管120或内窥镜内部的光学探头124的光束在感兴趣的表面上旋转，获得
一个或多个对象的横截面图像。为了获取成像数据或三维数据，光学探头124在旋转自旋期间同时纵向平移，从而产生螺旋扫描图案。这种平移最常通过将探头124的尖端朝着近端拉回来执行，因此称为回拉。
105.在一个或多个实施例中包括如上面所讨论的护套121、线圈122、保护器123和光学探头124(并且如图4中所示)的导管120可以连接到piu 110。在一个或多个实施例中，光学探头124可以包括光纤连接器、光纤和远侧透镜。光纤连接器可以被用于与piu 110接合。光纤可以操作以将光递送到远侧透镜。远侧透镜可以操作以对光束进行整形并将光照射到对象(例如，本文讨论的对象106(例如，血管))，并高效地收集来自样本(例如，本文讨论的对象106(例如，血管))的光。
106.如上面所提到的，在一个或多个实施例中，线圈122从其近端向远端递送扭矩(例如，经由或通过piu 110中的旋转马达)。远端可以存在反射镜，使光束向外偏转。在一个或多个实施例中，线圈122与光学探头124一起固定/固定到光学探头124，使得光学探头124的远侧尖端也自旋以查看对象(例如，生物器官、被评估的样本或材料，诸如但不限于中空器官(诸如血管、心脏、冠状动脉等))的全向视图。在一个或多个实施例中，光学探头124可以包括在近端的光纤连接器、双包层光纤和在远端的透镜。光纤连接器操作以与piu 110连接。双包层光纤可以操作以通过芯传输和收集oct光，并且在一个或多个实施例中，收集来自本文讨论的对象(例如，对象106(例如，血管)、通过包层的对象和/或患者(例如，患者体内的血管)等)的拉曼(raman)和/或荧光。透镜可以被用于聚焦和收集到和/或来自对象(例如，本文讨论的对象106(例如，血管))的光。在一个或多个实施例中，通过包层的散射光相对高于通过芯的散射光，因为芯的尺寸远小于包层的尺寸。
107.如上面所讨论的，在(一个或多个)验证和/或测试数据集上的最终应用的设置中，选择模型(分割模型(分类模型)、对象或关键点检测模型(回归模型)或其组合)可以取决于可能受标记检测成功率影响的配准成功率。这样的(一个或多个)考虑可以与用于处理/预测和用户交互的时间(例如，预定时间段、期望时间段、可用时间段、目标时间段等)平衡。因为在选择模型时要考虑许多因素，诸如但不限于标记检测成功率和/或配准成功率等，并且因为成功率可以因方法而异，具体取决于此类方法的条件，所以不同标记检测成功率的示例在图5中示出。虽然可以以各种方式计算标记检测成功率，但标记检测成功率的一个示例是计算预测的和真实的不透射线标记位置被认为相同(例如，当预测的与真实的标记位置之间的距离在一定的公差范围内或低于预定义的距离阈值，该距离阈值由用户定义或在系统中预定义(例如，距离阈值可以设置为1.0mm)；等等)的帧数除以oct回拉期间获得、接收或成像的帧总数。根据用户在一个帧上指定回拉区域的第一种方法，根据用户在几个或多个帧上指出标记位置的第二种方法，以及根据用户在多个帧上指定回拉区域的第三种方法，图5中示出了三类数据的几个成功率，以突出成功率的(一个或多个)变化。此外，在80％或更高的情况下，配准成功率(基于用户访谈)可以是成功的。实验揭示，在使用本公开的一个或多个特征的总临床血管造影图像的至少80-90％中，候选点(预测的片段)与真实标记位置相交。通过应用如本文讨论的机器或深度学习，可以提高或最大化标记检测成功率和配准成功率。标记检测的成功率(以及因此配准的成功率)可以取决于标记位置的预测在所有帧上有多好。因此，通过改进对标记位置的估计，可以提高标记检测的成功率，同样可以提高配准的成功率。
108.对于分割模型(也称为分类模型或语义分割模型)体系架构，在一个或多个实施例中，预测图像的一个或多个特定区域属于一个或多个类别。存在许多不同的分割模型体系架构或方式来制定或构建图像分割任务或问题。通过至少一个示例，分割可以涉及将图像内的给定区块或区域分类为两个类别(前景和背景)之一。通过非限制性、非穷举的实施例示例，这两个类别可以指示目标(例如，像素、图像的区块、图像中的目标对象等)是表示不透射线标记(第一类别、前景等)还是不表示标记(第二类别、背景等)。在一个或多个输出示例中，每个像素可以被分类为表示标记或者不表示标记。语义分割模型的一个或多个实施例可以使用simon j
é
gou等人在2017年10月31日montreal institute for learning algorithms上发表的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”中讨论的一百层提拉米苏(tiramisu)方法来执行(https://arxiv.org/pdf/1611.09326.pdf)，其通过引用整体并入本文。卷积神经网络(cnn)可以被用于本发明的一个或多个特征，包括但不限于(一个或多个)人工智能特征、检测一个或多个标记、使用标记检测结果执行配准、图像分类、语义图像分割等。例如，虽然可以采用其它体系架构，但一个或多个实施例可以组合u-net、resnet和densenet体系架构组件来执行分割。u-net是一种流行的用于图像分割的卷积神经网络体系架构，resnet由于其跳跃连接改进了训练深度卷积神经网络模型，而densenet由于其紧凑的内部表示和减少的特征冗余性而具有可靠且良好的特征提取器。在一个或多个实施例中，可以通过对训练数据集进行切片而不是对数据进行下采样来训练网络(换句话说，可以保留或维持图像分辨率)。如上面所提到的，图6a示出了分割模型的示例基本事实，其可以是语义分割模型的一个或多个实施例中的输出。转向图6b的细节，至少一个实施例可以利用如图所示的输入600来获得分割模型方法的至少一个实施例的输出605(例如，如图6a、图6b等中所示)。例如，通过应用如上面所提到的一百层tiramisu方法，一个或多个特征(诸如但不限于卷积601、级联603、向上过渡605、向下过渡604、密集块602等)可以通过对训练数据集进行切片来使用。虽然不仅限于或仅限于这些实施例示例，在一个或多个实施例中，切片尺寸可以是以下一种或多种：100
×
100、224
×
224、512
×
512，并且，在一个或多个执行的实验中，224
×
224的切片尺寸表现最好。(批次中的图像的)批次尺寸可以是以下一项或多项：2、4、8、16，并且根据执行的一个或多个实验，更大的批次尺寸通常表现更好(例如，具有更大的准确性)。在一个或多个实施例中，可以使用16个图像/批次。所有这些超参数的优化取决于可用数据集的尺寸以及可用的计算机/计算资源；因此，一旦有更多数据可用，就可以选择不同的超参数值。此外，在一个或多个实施例中，步数/时期可以是100，并且时期可以大于(》)1000。在一个或多个实施例中，评估项可以是categorical_crossentropy。在一个或多个实施例中，可以使用卷积自动编码器(cae)。
109.除了标记位置的检测之外，分割模型还可以被用于在表示血管的图像中定界感兴趣区域。由于我们知道标记位于血管内部(血管内oct成像探头)，因此可以使用血管的定界来提高标记检测的准确性和精度。血管和标记区域可以由分割模型同时预测，该分割模型预测至少三个类别：1)血管、2)标记和3)非血管、非标记。可替代地，可以使用分割模型来预测至少两个类别：1)血管和2)非血管。可以使用附加的类别来区分不同的血管分支。定界血管的分割模型的预测(标记或掩蔽的图像)可以被用于改进对象/关键点检测模型的训练或评估，该模型通过将分割结果结合到分别用于训练或评估对象检测模型的损失函数或评估
函数中来预测标记位置。在这种情况下，可以联合或分开训练分割和对象检测模型。此外，分割可以仅针对帧的子集执行，并且可以仅在目标检测模型的训练和评估期间执行，但不一定在模型推断后执行。
110.图7示出了根据本公开的一个或多个方面的在应用分割模型实施例之后可以被用于识别(一个或多个)最终坐标的后处理的至少一个实施例。例如，后处理算法或方法可以包括以下一项或多项(最好地在图7中看到)：获取用户输入；基于用户输入，定义感兴趣区域(roi)；基于用户输入估计标记位置；确定、建立或设置roi内的阈值；获取每个阈值组件的质心坐标；以及从质心坐标中选择质心坐标，所选择的质心坐标最接近基于用户输入对标记位置的估计。
111.图8是示出根据本公开的一个或多个方面的测量标记检测成功率的几个示例的图，包括具有后处理的分割模型的至少一个实施例示例。如图8左侧所示，与一个或多个实施例中的其它图像处理方法相比，分割模型与后处理一起使用可以显著提高成功率。例如，图8中具有后处理的分割模型的成功率是使用仅用动物数据的分割模型训练获得的(20次回拉，～60帧/回拉)。使用的批次尺寸是16，使用的训练图像尺寸是224像素
×
224像素，使用的步数/迭代是200，并且使用的迭代次数是5000。在一个或多个实施例中，可以基于可用的存储器尺寸资源或处理偏好(例如，完成的处理的优选时间线、成功率阈值等)来限制迭代。例如，虽然使用的迭代次数被设置为5000，但是用后处理获得的成功率使用在第4923次迭代时终止的训练。图8中所示的用于所有三种方法的测试数据都是临床数据(45次回拉，～30帧/回拉)。
112.在一个或多个实施例中，具有后处理的分割模型可以与simon j
é
gou等人在2017年10月31日montreal institute for learning algorithms发表的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”(https://arxiv.org/pdf/1611.09326.pdf)中的一个或多个特征一起使用，其通过引用整体并入本文。
113.对于对象检测模型(如上面所提到的也称为回归模型或关键点检测模型)体系架构，一个或多个实施例可以使用一个或多个血管图像作为输入并且可以预测空间坐标的形式的标记位置。这种方法/体系架构比语义分割具有优势，因为对象检测模型直接预测标记位置，并且在一个或多个实施例中可以避免后处理。对象检测模型体系架构可以通过使用或组合卷积层、最大池化层、全连接密集层和/或多尺度图像或特征金字塔来创建或构建。可以使用不同的组合来确定最佳性能测试结果。可以将(一个或多个)性能测试结果与其它模型体系架构测试结果进行比较以确定哪个体系架构用于给定的一个或多个应用。
114.本文讨论的(一个或多个)体系架构模型的一个或多个实施例可以与以下一个或多个一起使用：神经网络、卷积神经网络和随机森林。
115.虽然使用以下两个示例体系架构进行了实验，但主题示例不是限制性的，并且可以采用其它体系架构(其它方法也正被测试)。使用的第一示例体系架构在tsung-yi lin等人在2018年2月facebook ai research(fair)上的“focal loss for dense object detection”(https://arxiv.org/pdf/1708.02002.pdf)中讨论，其通过引用整体并入本文。使用的第二示例体系架构在kaiming he等人在2018年1月24日facebook ai research(fair)上的“mask r-cnn”(https://arxiv.org/pdf/1703.06870.pdf)中讨论，其通过引用
整体并入本文。来自tsung-yi lin等人的“focal loss for dense object detection”引用或kaiming he等人的“mask r-cnn”引用中的一个或多个特征可以与本文讨论的任何其它体系架构模型一起使用(例如，语义分割、语义分割和对象检测/回归的组合、具有残差学习的回归等)。
116.现在转向图9a的细节，根据本公开的一个或多个方面示出了使用回归的对象检测模型体系架构的至少一个实施例示例。至少在图9a的实施例中，回归模型使用一个或多个卷积层900、一个或多个最大池层901和一个或多个全连接密集层902的组合。虽然对于为每个层示出的内核尺寸、宽度过滤器的数量(输出尺寸)和步幅尺寸(例如，在图9a的左侧卷积层中，内核尺寸是“3
×
3”，宽度/过滤器的数量(输出尺寸)是“64”，步幅尺寸是“2”)。进行的实验涉及大约4-20个卷积层的深度(或总数)。在一个或多个实施例中，对象检测模型可以与10个或少于10个卷积层一起使用。在至少一个实施例中，虽然不限于这个示例，但优选地使用少于10个卷积层。最优层数还取决于可用数据集的尺寸；因此，如果更多数据可用，那么在一个或多个实施例中，更大数量的层可以是最优的。进行的实验涉及大约4-16的批次尺寸。在一个或多个实施例中，可以使用12的批次尺寸(虽然不限于这个示例，但是优选地在一个或多个实施例中可以使用12的批次尺寸，这取决于涉及的处理、成像、(一个或多个)应用等)。步幅控制过滤器如何围绕输入或输入体积进行卷积。例如，过滤器可以通过一次移位一个单位来围绕输入体积进行卷积。步幅尺寸定义过滤器移位的量。例如，在步幅尺寸是“2”的情况下，过滤器可以通过一次移位两个单位来围绕输入体积进行卷积。进行的实验涉及以下之一的宽度(每个图像中的过滤器的数量)：16、32、64和128。在一个或多个实施例中，可以使用64的宽度(虽然不限于这个示例，但是优选地在一个或多个实施例中可以使用64的宽度，这取决于涉及的处理、成像、(一个或多个)应用等)。进行的实验涉及l0-1-10-8
范围内的学习速率。在一个或多个实施例中，可以使用l0-5
的学习速率(虽然不限于这个示例，但是优选地在一个或多个实施例中可以使用l0-5
的学习速率，这取决于涉及的处理、成像、(一个或多个)应用等)。进行的实验涉及l0-1-10-3
范围内的信号漏失(dropout)值。在一个或多个实施例中，可以使用10-2
量级的信号漏失值(虽然不限于这个示例，但是优选地在一个或多个实施例中可以使用10-2
的信号漏失值，这取决于涉及的处理、成像、(一个或多个)应用等)。在一个或多个实施例中，可以使用优化器，诸如但不限于随机梯度下降(sgd)、自适应矩估计(adam)等。可以使用一个或多个评估项，诸如但不限于均方根误差(rmse)(参见例如下面讨论的图10-11)。在一个或多个实施例中，步数/时期可以是10，并且时期的数量可以》500。
117.一个或多个实施例可以使用具有残差连接的卷积神经网络体系架构，如kaiming he等人在2015年12月10日的microsoft research的“deep residual learning for image recognition”(https://arxiv.org/pdf/1512.03385.pdf)中所讨论的，其通过引用整体并入本文。
118.在一个或多个实施例中，例如可以使用不同的神经网络体系架构，并且可以与图9a中所示的体系架构非常不同。例如，神经网络体系架构的一个或多个实施例示例可以使用特征金字塔，如tsung-yi lin等人在2017年4月19日的facebook ai research(fair)的“feature pyramid networks for object detection”中所描述的(https://arxiv.org/abs/1612.03144)。再次，机器学习算法或模型体系架构不限于本文讨论的结构或细节。
119.现在转向图9b的细节，根据本公开的一个或多个方面示出了使用具有残差学习的回归的对象检测模型体系架构的至少一个实施例示例。残差学习是引入跳跃连接的方法，以从在前一层之前的层创建的一个或多个特征中学习并促进模型训练期间错误的反向传播。虽然不限于这种配置，但在当前设置中，引入(一个或多个)卷积层的块之间的跳跃连接，如图9b中所示。如至少图9b的实施例示例所示，深度(卷积层的总数)是34(可以使用更小/更大的深度，但是在一个或多个实施例中，34的深度可以是优选的)，批次尺寸是12，宽度(每个图像中的过滤器的数量)是64(在一个或多个实施例中，可以使用更小的宽度，并且在一个或多个实施例中，更小的宽度可以是优选的)，并且学习速率是10-4
。如上面所提到的，在一个或多个实施例中，可以使用卷积自动编码器(cae)。
120.一个或多个实施例可以使用具有长短期记忆的递归卷积神经网络对象检测模型(例如，参见如hochreiter等人在1997年11月的neural computation第9卷，第8期的“long short-term memory”(https://dl.acm.0rg/doi/10.1162/neco.1997.9.8.1735)中所讨论的“long short-term memory”)；如alex sherstinsky在2020年3月的elsevier期刊“physica d:nonlinear phenomena”第404卷“fundamentals of recurrent neural network(rnn)and long short-term memory(lstm)network”(https://arxiv.org/abs/1808.03314)中所讨论的；如sutskeyer等人在2014年12月的“sequence to sequence learning with neural networks”(https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf)中所讨论的；等等)，其使得能够考虑空间和时间信息以预测标记位置。由于不透射线标记在回拉期间移动某个方向，因此利用那个信息可以提高标记检测的成功率。在这种情况下，模型输入是多个帧的序列，并且模型输出是每个给定图像中标记位置的空间坐标的序列。
121.一个或多个实施例可以使用通过迁移学习创建的神经网络模型。迁移学习是使用具有预训练(而不是随机初始化)参数的模型的方法，这些参数已针对相同或不同的目标(例如，解决不同的图像识别或计算机视觉问题)在具有潜在不同底层数据分布的不同数据集上进行了优化。模型体系架构可以适应或用于解决(一个或多个)新的目标或问题，例如，通过添加、移除或替换神经网络的一个或多个层，然后在新数据集上进一步训练(微调)可能经修改的模型。假设诸如(一个或多个)边缘检测器之类的较低级别的特征可从一个目标或问题域转移到另一个目标或问题域，这种学习方法可以有助于提高模型的性能，尤其是当可用数据集的尺寸小时。在这个具体的应用中，通过使用具有残差学习的经预训练的模型，成功率提高了30％左右。
122.在对象检测模型的一个或多个实施例中，实际位置与预测的位置之间的均方根误差(rmse)可以被用作模型评估的评估度量。在一个或多个实施例中，可以通过应用阈值准则并计算每次回拉中rmse值小于预定或设定阈值的帧示例的数量来计算成功率(参见例如图10的细节)。可以附加地在不同的阈值下计算成功率，例如，在从0.1mm到10mm的范围内，步长为0.1mm。rmse或导出的成功率可以单独或组合用于模型评估。在进行的实验中，此处使用成功率的至少一个原因是查看对于(一个或多个)不同阈值可以实现多少改进，并将那个信息链接在一个或多个临床环境中。例如，阈值大0.1mm时成功率提高10％，并且血管图像中0.1mm的差异可能最不可能影响医生的规程计划，使得可以选择或选出使用更大的阈值。
123.在对象检测模型的一个或多个实施例中，可以通过评估均方根误差以及基本事实与预测之间的回拉路径的差异来执行评估。考虑到标记作为向量从一帧到一帧的移动，可以根据向量(在基本事实中和预测中)的量值(即，长度)的差异和向量的角度差来评估回拉路径的差异。均方根误差有助于了解整次回拉的平均逐帧性能，而回拉路径的差异使得能够了解每次回拉的性能，即，模型是否可以正确预测标记的移动。
124.在对象检测模型的一个或多个实施例中，可以通过评估检测到的/预测的标记位置在特定时间段内的移动来执行评估。由于标记应当在某个方向上移动，这可以由用户和/或利用血管解剖学(从血管的远侧到近侧)的给定先验知识定义，因此如果检测到的/预测的标记位置不在适当的方向移动，那么模型可以被惩罚。例如，如果执行逐帧预测，那么可以通过在当前用于训练的帧之前的特定数量的帧中比较检测到的/预测的位置来评估检测到的/预测的标记位置的移动。如果模型使用帧的序列作为输入，那么可以通过比较在序列的第一帧和最后一帧处检测到的/预测的标记位置来评估移动。
125.由于数据集被拆分成训练、验证和测试集或组，因此在一个或多个实施例中针对每个子集评估成功率，如图10中所示。“较长的训练时间”指示训练的迭代次数更多：例如，500次迭代(1000)、3500次迭代(1001)和6500次迭代(1002)。在数据以帧为基础被拆分的情况下，所有三个数据集都示出了相似的成功率结果(参见图10)。但是，在数据以回拉为基础被拆分的情况下，以及在系统遇到相关性较低的数据(或处置或处理相关性较低的数据)的情况下，与训练数据集上的成功率相比，验证数据集和测试数据集上的相应成功率显著降低(参见图10)。成功率差异指示系统对当前数据过度拟合，这指示更多数据将有助于训练可以更好地泛化到看不见的数据的模型。
126.图11包括根据本公开的一个或多个方面的对象检测模型的一个或多个实施例的测试和验证数据的几个示例以及均方根误差计算。在此，均方根误差被用于评估模型性能。较小的均方根误差指示更好的模型结构。虽然在整个训练数据集上学习迭代(即，时期)的增加可以有助于提高验证集上的性能，但可能无助于提高测试集上的性能，这将指示模型开始过度拟合到验证集。图11的两个模型之间的差异可能是由于模型体系架构的差异和/或由于其它超参数设置。
127.本文讨论了使用分割模型与对象检测模型之间的差异的几个非限制性示例。如上面所讨论的，对象检测模型可能没有足够的分辨率来准确预测标记位置。即，在一个或多个实施例中，充分优化的对象检测模型可以实现更好或最大化的性能。另一方面，虽然分割模型可以提供比对象检测模型的至少一个实施例更好的分辨率，如上面所提到的，分割模型的至少一个实施例可以使用后处理来获得预测标记位置的坐标(其在一个或多个实施例中会导致较低的标记检测成功率)。
128.如本文进一步讨论的，有多个选项可以被用于改进或解决分割与对象检测模型之间的上述差异。通过几个非限制性的、非详尽的示例：(i)可以采用组合模型，例如，其涉及运行语义分割模型，然后将对象检测模型应用于分割模型中具有较高概率的区域(此类组合的方法的一个或多个特征可以用在本公开的一个或多个实施例中，一个或多个特征包括但不限于在kaiming he等人在2018年1月24日的facebook ai research(fair)的“mask r-cnn”(https://arxiv.org/pdf/1703.06870.pdf)中讨论的那些，其通过引用整体并入本文)；和/或(ii)运行具有更大归一化范围的对象检测模型，应用对象检测模型，然后再次对
来自第一对象检测模型的更高概率区域应用该对象检测模型。
129.在对本文讨论的一个或多个体系架构模型进行改进之后，具体优势可以包括但不限于以下一项或多项：导致更准确的预测结果的更高分辨率；可以使用更少的计算存储器和/或处理(使用更少的(一个或多个)资源，实现更快的处理等)；以及不需要用户交互(而一个或多个实施例可以涉及用户交互)。
130.图3的方法涉及在选择要使用的模型以及使用识别器或检测器来预测标记位置时的这些考虑。例如，关于从存储器加载经训练的模型的图3的步骤s204可以涉及上面提到的一个或多个以确定要加载哪个模型。实验已经并将继续进行以训练多个模型并搜集有关哪些模型比其它模型更高效或最优执行的信息。对于最终实施方式的一个或多个实施例，可以从在验证数据集上具有更好或最佳性能的模型中选择经训练的模型，并且可以使用测试集来估计泛化误差。但是，在一个或多个实施例中，有可能具有多个经训练的模型并比较此类模型之间的性能以选择“可能”更好或最好的模型用于给定的一个或多个应用。这个选择可以由用户完成，或者可以使用某些评估度量自动完成。评估度量可以基于输入图像质量和/或在模型预测期间使用的任何其它(一个或多个)误差度量来驱动。作为另一个示例，可以基于输入图像质量来选择模型。输入图像质量和模型的某个组合可能具有比另一个或多个组合更高的性能。
131.作为另一个示例，关于显示结果或(一个或多个)经修改的结果的图3的步骤s210可以被完成，但不限于使用如美国专利公开no.2018/0271614中讨论的一个或多个特征，其公开内容通过引用整体并入本文；如美国专利公开no.2019/0029624中所讨论的，其公开内容通过引用整体并入本文；如美国专利公开no.2019/0029623中所讨论的，其公开内容通过引用整体并入本文；并且如2019年1月30日提交的美国临时专利申请no.62/798,885中所讨论的，其公开内容通过引用整体并入本文。
132.此外，在一个或多个实施例中，可以使用其它成像数据和/或用户反馈来获得训练数据。例如，在球囊导管和/或支架导管递送或其它血管内成像(例如，ivus回拉)期间获取的血管图像也可能可以被用作训练数据并且可以有助于学习更好地泛化的模型。附加地或可替代地，作为用户反馈的示例，数据可以由用于向用户呈现模型预测的图形用户界面(gui)捕获，并且捕获的数据可以允许用户评估预测的标记位置和正确的标记位置(如果需要/有用)。在一个或多个实施例中，经验证和校正的样本可以被用作附加的训练数据以更新(和进一步改进)模型。
133.鉴于上述情况，并鉴于下面讨论的其它人工智能细节/特征，本公开的一个或多个实施例可以结合或使用机器学习的应用来自动检测一个或多个血管造影图像中的标记(例如，辐射密集标记、不透射线标记等)(例如，在一个或多个实施例中，很少或没有用户交互可以是益处/结果)。一个或多个实施例可以采用具有更高分辨率的对象/关键点检测模型，并且可以导致能够以亚像素空间分辨率预测对象/关键点坐标的益处/结果(例如，在患者坐标系中以毫米为单位)。一个或多个实施例可以采用将标记(例如，辐射致密标记、不透射线标记等)引入(例如，有意引入)到血管造影图像中以简化(一个或多个)计算机视觉任务，并且可以产生使用机器学习促进标记(对象/关键点)检测的益处/结果。一个或多个实施例可以结合使用附加的、广泛可用的图像的能力，其中引入了相似的标记(标记之间尺寸和/或材料可以不同)用于模型训练(迁移学习)。
134.可视化、pci规程计划和生理评估可以组合起来以预先执行完整的pci计划，并在规程之后执行完整的评估。一旦构造或重构了3d结构并且用户指定了计划要使用的介入设备(例如，支架)，虚拟pci就可以在计算机模拟中执行(例如，通过本文讨论的计算机中的一个或多个，诸如但不限于计算机2、处理器计算机1200、处理器或计算机1200'、本文讨论的任何其它处理器等)。然后，可以基于虚拟pci的结果执行另一个生理评估。这种方法允许用户在规程之前或期间为每位患者找到最佳设备(例如，介入设备、植入物、支架等)。
135.虽然本文已经讨论了几个gui示例并在本公开的一个或多个附图中示出，但其它gui特征、成像模态特征或其它成像特征可以用在本公开的一个或多个实施例中，诸如在2019年5月2日提交的美国专利no.16/401,390中公开的以及美国专利公开no.2019/0029624和wo 2019/023375中公开的(一个或多个)gui特征、(一个或多个)成像特征和/或(一个或多个)成像模态特征，这(一个或多个)申请和(一个或多个)出版物通过引用整体并入本文。
136.用于计算支架扩张/欠扩张或并列/贴合不良的一种或多种方法或算法可以用在本公开的一个或多个实施例中，包括但不限于美国专利公开no.2019/0102906和2019/0099080中讨论的扩张/欠扩张和并列/贴合不良方法或算法，这些出版物通过引用整体并入本文。
137.用于使用血管造影图像计算或评估心脏运动和/或用于显示解剖成像的一种或多种方法或算法可以用在本公开的一个或多个实施例中，包括但不限于美国专利公开no.2019/0029623和美国专利公开no.2018/0271614以及wo 2019/023382中讨论的方法或算法，这些出版物通过引用整体并入本文。
138.用于执行配准和/或成像的一种或多种方法或算法可以用在本公开的一个或多个实施例中，包括但不限于在2019年1月30日提交的美国专利申请no.62/798,885中讨论以及在美国专利公开no.2019/0029624中讨论的方法或算法，这(一个或多个)申请和(一个或多个)出版物通过引用整体并入本文。
139.本文讨论的此类信息和其它特征可以应用于其它应用，诸如但不限于配准、其它模态等。实际上，本公开的特征的和上面提到的申请和专利出版物的有用应用不限于所讨论的模式、图像或医疗规程。此外，取决于所涉及的模态、图像或医疗规程，一个或多个控制条可以是带轮廓的、弯曲的或具有用户期望或设置的任何其它构造。例如，在使用如本文所讨论的触摸屏的实施例中，用户可以基于用户在触摸幕上移动指针、手指、触控笔、另一个工具等来定义或创建控制条的尺寸和形状(或者可替代地通过移动鼠标或其它输入工具或设备，无论是否使用触摸屏)。
140.本公开的一个或多个实施例可以包括获取多个视图(例如，oct图像、环视图、断层视图、解剖视图等)，并且一个或多个实施例可以突出或强调niraf。在一个或多个实施例中，两个手柄可以作为可以界定一个或多个实施例中的niraf数据的颜色极值的端点来操作。除了标准断层视图之外，用户还可以选择显示多个纵向视图。当连接到血管造影系统时，图形用户界面(gui)还可以显示血管造影图像。
141.根据本公开的一个或多个方面，上面提到的特征不限于使用任何特定gui来显示或控制。一般而言，可以以各种方式使用上面提到的成像模态，包括具有或不具有一个或多个gui的上面提到的实施例的一个或多个特征。例如，gui可以示出具有工具或标记的oct图
像，以改变上面提到的图像视图，即使没有用gui呈现(或gui的一个或多个其它组件呈现；在一个或多个实施例中，显示器可以为用户简化以显示设定或期望的信息)。
142.选择感兴趣区域和标记的位置、角度、平面等的过程，例如，使用触摸屏、gui(或gui的一个或多个组件；在一个或多个实施例中，显示器可以为用户简化以显示设定或期望的信息)，处理器(例如，处理器或计算机2、1200、1200'或本文讨论的任何其它处理器)可以涉及在一个或多个在实施例中用手指单次按压并在区域上拖动以进行选择或修改。可以在释放手指或指针后计算视图的新朝向和更新。
143.对于使用触摸屏的一个或多个实施例，可以使用两个同时的触摸点来进行选择或修改，并且可以在释放后基于计算来更新视图。
144.一个或多个功能可以用其中一种成像模态(诸如血管造影图像视图或oct图像视图)来控制，以集中用户注意力、维持焦点并允许用户在单个时刻看到所有相关信息。
145.在一个或多个实施例中，可以显示一种成像模态或者可以显示多种成像模态。
146.在一个或多个实施例中可以使用一个或多个过程来选择视图的选择区域或感兴趣区域。例如，在选择的区域上进行单次触摸之后(例如，通过使用触摸屏、通过使用鼠标或其它输入设备进行选择等)，半圆(或用于指定区域的其它几何形状)可以被自动调整到选择或感兴趣的选择区域。两(2)个单触摸点可以操作以连接/绘制选择或感兴趣的区域。在断层或断层摄影视图(例如，oct视图403或603)上的单次触摸可以操作以扫过断层视图，并且可以连接以形成选择或感兴趣的区域。
147.图12a示出了oct系统100(如本文中称为“系统100”或“该系统100”)，其可以用于一种或多种成像模态，诸如但不限于血管造影、光学相干断层扫描(oct)、多模态oct(mm-oct)、近红外荧光(niraf)、oct-niraf等，和/或用于采用本文讨论的一个或多个附加特征，包括但不限于根据本公开的一个或多个方面的人工智能处理(例如，机器或深度学习、残差学习、人工智能(“ai”)配准、标记检测等)。系统100还包括光源101、参考臂102、样本臂103、被偏转或偏转区段108、参考镜(也称为“参考反射”、“参考反射器”、“部分反射镜”和“部分反射器”)105，以及一个或多个检测器107(其可以连接到计算机1200)。在一个或多个实施例中，系统100还可以包括患者接口设备或单元(“piu”)110和导管120(参见例如图1a-1b、图4和/或图12a-12c中所示的piu和导管的实施例示例)，并且系统100可以与对象106、患者(例如，患者的血管)106等交互(例如，经由导管120和/或piu110)。在一个或多个实施例中，系统100包括干涉仪，或者干涉仪由系统100的一个或多个组件(诸如但不限于至少光源101、参考臂102、样本臂103、偏转区段108和参考镜105)定义。
148.根据本公开的一个或多个进一步的方面，台式系统可以被用于一种或多种成像模态，诸如但不限于血管造影、光学相干断层扫描(oct)、多模态oct(mm-oct)、近红外荧光(niraf)、oct-niraf等，和/或用于采用本文讨论的一个或多个附加特征，包括但不限于根据本公开的一个或多个方面的人工智能处理(例如，机器或深度学习、残差学习、人工智能(“ai”)配准、标记检测等)。图12b示出了可以利用一种或多种成像模态的系统的示例，诸如但不限于血管造影、光学相干断层扫描(oct)、多模态oct(mm-oct)、近红外荧光(niraf)、oct-niraf等，和/或用于采用本文讨论的一个或多个附加特征，包括但不限于根据本文讨论的本公开的一个或多个方面的人工智能处理(例如，机器或深度学习、残差学习、人工智能(“ai”)配准、标记检测等)以用于台式系统，诸如用于眼科应用。来自光源101的光用偏转
区段108递送并拆分到参考臂102和样本臂103中。参考束穿过长度调整区段904并从参考臂102中的参考镜(诸如或类似于图12a中所示的参考镜或参考反射105)反射，而样本束从样本臂103中的对象、患者(例如，患者的血管)等106(例如，经由piu 110和导管120)反射或散射。在一个实施例中，两个束在偏转部分108处组合并生成干涉图案。在一个或多个实施例中，束进入组合器903，并且组合器903经由循环器901和偏转区段108组合两个束，并且组合的束被递送到一个或多个检测器(诸如一个或多个检测器107)。干涉仪的输出用一个或多个检测器(诸如一个或多个检测器107)连续获取。电模拟信号被转换成数字信号以用计算机(诸如但不限于计算机1200(参见图12a-12c；也在下面进一步讨论的图14中示出)、计算机1200'(参见例如下面进一步讨论的图15)、计算机2(参见图1a)、处理器26、36、50(参见图1b)、本文讨论的任何其它计算机或处理器等)分析它们。附加地或可替代地，本文讨论的计算机、cpu、处理器等中的一个或多个可以被用于处理、控制、更新、强调和/或改变一种或多种成像模态，和/或处理相关技术、功能或方法，或者可以处理如上面所讨论的电信号。
149.电模拟信号可以被转换成数字信号以用计算机(诸如但不限于计算机1200(参见图12a-12c；也在下面进一步讨论的图14中示出)、计算机1200'(参见例如下面进一步讨论的图15)、计算机2(参见图1a)、本文讨论的任何其它计算机或处理器等)分析它们。附加地或可替代地，本文讨论的计算机、cpu、处理器等中的一个或多个可以被用于处理、控制、更新、强调和/或改变一种或多种成像模态，和/或处理相关技术、功能或方法，或者可以处理如上面所讨论的电信号。在一个或多个实施例中(参见例如图12b)，样本臂103包括piu 110和导管120，使得样本束从对象、患者(例如，患者的血管)等106反射或散射，如本文所讨论的。在一个或多个实施例中，piu110可以包括一个或多个马达以控制导管120(或其一个或多个组件)的回拉操作和/或控制导管120(或其一个或多个组件)的旋转或自旋(参见例如图1b的马达m)。例如，如图12b中最佳所见，piu 110可以包括回拉马达(pm)和自旋马达(sm)，和/或可以包括操作以使用回拉马达pm和/或自旋马达sm执行回拉和/或旋转特征的运动控制单元112。如本文所讨论的，piu 110可以包括旋转接头(例如，如图12b和12c中所示的旋转接头rj)。旋转接头rj可以连接到自旋马达sm，使得导管120可以获得对象、患者(例如，患者的血管)等106的一个或多个视图或图像。计算机1200(或计算机1200'、计算机2、本文讨论的任何其它计算机或处理器等)可以被用于控制回拉马达pm、自旋马达sm和/或运动控制单元112中的一个或多个。oct系统可以包括计算机(例如，计算机1200、计算机1200'、计算机2、本文讨论的任何其它计算机或处理器等)、piu110、导管120、监视器(诸如显示器1209)等中的一个或多个。oct系统的一个或多个实施例可以与一个或多个外部系统(诸如但不限于血管系统、外部显示器、一个或多个医院网络、外部存储介质、电源、床侧控制器(例如，其可以使用蓝牙技术或其它已知用于无线通信的方法连接到oct系统)等)交互。
150.在包括偏转或被偏转区段108(在图12a-12c中最佳可见)的一个或多个实施例中，被偏转区段108可以操作以将来自光源101的光偏转到参考臂102和/或样本臂103，然后将从参考臂102和/或样本臂103接收的光朝着至少一个检测器107(例如，光谱仪、光谱仪的一个或多个部件、另一种类型的检测器等)发送。在一个或多个实施例中，被偏转区段(例如，系统100、100'、100”、本文讨论的任何其它系统等的被偏转区段108)可以包括或可以包含一个或多个如本文所述操作的干涉仪或光学干涉系统，包括但不限于循环器、分束器、隔离
器、耦合器(例如，融合光纤耦合器)、其中带有孔的部分切断的反射镜、其中带有分接头的部分切断的反射镜等。在一个或多个实施例中，干涉仪或光学干涉系统可以包括系统100(或本文讨论的任何其它系统)的一个或多个部件，诸如但不限于光源101、被偏转区段108、旋转接头rj、piu 110、导管120等中的一个或多个。至少图1-12b的上面提到的配置的一个或多个特征可以结合到一个或多个系统中，包括但不限于本文讨论的系统100、100'、100”。
151.根据本公开的一个或多个进一步的方面，一个或多个其它系统可以与本文公开的多种成像模态和(一种或多种)相关方法中的一个或多个一起使用。图12c示出了系统100”的示例，该系统可以利用一种或多种成像模态，诸如但不限于血管造影、光学相干断层扫描(oct)、多模态oct(mm-oct)、近红外荧光(niraf)、oct-niraf等，和/或用于采用本文讨论的一个或多个附加特征，包括但不限于根据本公开的一个或多个方面的人工智能处理(例如，机器或深度学习、残差学习、人工智能(“ai”)配准、标记检测等)和/或(一种或多种)相关技术或方法，诸如用于眼科应用。图12c示出了根据本公开的一个或多个实施例的oct荧光成像系统100”的示例性示意图。oct光源101(例如，具有1.3μm)用偏转器或被偏转区段(例如，拆分器)108被递送并拆分到参考臂102和样本臂103中，从而分别产生参考束和样本束。来自oct光源101的参考束被参考镜105反射，而样本束通过循环器901、旋转接头90(“rj”)和导管120从对象(例如，要检查的对象、对象、患者等)106反射或散射。在一个或多个实施例中，循环器901和参考镜或参考反射105之间的光纤可以被盘绕以调整参考臂102的长度(在图12c中最佳可见)。样本臂103中的光纤可以由双包层光纤(“dcf”)制成。用于荧光的激发光可以被指引到rj 90和导管120，并且照亮对象(例如，要检查的对象、对象、患者等)106。来自oct光源101的光可以通过dcf的芯被递送，而从对象(例如，要检查的对象、对象、患者等)106发射的荧光可以通过dcf的包层被收集。对于回拉成像，rj 90可以通过线性平台移动以实现对象(例如，要检查的对象、对象、患者等)106的螺旋扫描。在一个或多个实施例中，rj 90可以包括如本文所讨论的rj的任何一个或多个特征。二向色过滤器df1、df2可以被用于分离激发光以及荧光和oct光的其余部分。例如(但不限于这个示例)，在一个或多个实施例中，df1可以是具有～100nm的截止波长的长通二向色过滤器，并且可以比df1的截止波长更长的oct光可以通过df1，而波长比截止波长短的荧光激发和发射在df1处反射。在一个或多个实施例中，例如(但不限于这个示例)，df2可以是短通二向色过滤器；激发波长可以比荧光发射光短，使得波长比df2的截止波长短的激发光可以通过df2，并且荧光发射光被df2反射。在一个实施例中，两个束在偏转区段108处组合并生成干涉图案。在一个或多个实施例中，束到达耦合器或组合器903，并且耦合器或组合器903将两个束经由循环器901和偏转区段108组合，并且组合的束被递送到一个或多个检测器(诸如一个或多个检测器107；参见例如图12c中连接到耦合器或组合器903的第一检测器107)。
152.在一个或多个实施例中，导管120中的光纤操作以在导管120内旋转，并且oct光和激发光可以从导管120的尖端的侧角发射。在与对象或患者106交互之后，oct光可以被递送回oct干涉仪(例如，经由样本臂103的循环器901)，该干涉仪可以包括耦合器或组合器903，并与参考束组合(例如，经由耦合器或组合器903)以生成干涉图案。干涉仪的输出用第一检测器107检测，其中第一检测器107可以是光电二极管或多阵列相机，然后可以通过第一数据获取单元或板(“daq
1”)记录到计算机(例如，记录到计算机2，如图12c中所示的计算机1200、计算机1200'或本文讨论的任何其它计算机)。
153.同时或在不同时间，可以通过第二数据获取单元或板(“daq
2”)经由第二检测器107(例如，光电倍增管)记录荧光强度。oct信号和荧光信号然后可以由计算机(例如，计算机2、图12c中所示的计算机1200、计算机1200'或本文讨论的任何其它计算机)处理以生成oct荧光数据集140，其包括或由螺旋扫描数据的多帧构成。每个帧集合包括或由配准的oct和荧光数据的多个数据元素组成，它们与旋转角度和回拉位置对应。
154.可以处理或进一步处理检测到的荧光或自体荧光信号，如2019年6月14日提交的美国专利申请no.62/861,888中所讨论的，其公开内容通过引用整体并入本文，和/或如2019年3月28日提交的美国专利申请no.16/368,510中所讨论的，其公开内容通过引用整体并入本文。
155.虽然不限于此类布置、配置、设备或系统，但是本文讨论的设备、装置、系统、方法、存储介质、gui等的一个或多个实施例可以与上面提到的装置或系统(诸如但不限于例如系统100、系统100'、系统100”、图1a-1b和12a-16的设备、装置或系统、本文讨论的任何其它设备、装置或系统等)一起使用。在一个或多个实施例中，一个用户可以执行本文讨论的(一个或多个)方法。在一个或多个实施例中，一个或多个用户可以执行本文讨论的(一个或多个)方法。在一个或多个实施例中，本文讨论的计算机、cpu、处理器等中的一个或多个可以被用于处理、控制、更新、强调和/或改变成像模态中的一种或多种，和/或处理相关技术、功能或方法，或可以处理如上讨论的电信号。
156.光源101可以包括多个光源或者可以是单个光源。光源101可以是宽带光源，并且可以包括激光器、有机发光二极管(oled)、发光二极管(led)、卤素灯、白炽灯、由激光泵送的超连续谱光源和/或荧光灯中的一种或多种。光源101可以是提供光的任何光源，光然后可以被分散以提供随后用于成像、执行控制、查看、改变、强调用于成像模态的方法、构造或重构(一个或多个)3d结构和/或本文讨论的任何其它方法的光。光源101可以光纤耦合或者可以自由空间耦合到装置和/或系统100、100'、100”、图1a-1b和12a-16的设备、装置或系统或本文讨论的任何其它实施例的其它部件。如上面提到的，光源101可以是扫掠源(ss)光源。
157.附加地或可替代地，一个或多个检测器107可以是线性阵列、电荷耦合器件(ccd)、多个光电二极管或将光转换成电信号的某种其它方法。(一个或多个)检测器107可以包括模数转换器(adc)。一个或多个检测器可以是具有如图1a-1b和12a-16中的一个或多个中所示和本文讨论的结构的检测器。
158.根据本公开的一个或多个方面，本文提供了用于执行成像的一种或多种方法。图13图示了用于执行成像的方法的至少一个实施例的流程图。(一个或多个)方法可以包括以下一个或多个：(i)将光拆分或划分为第一光和第二参考光(参见图13中的步骤s4000)；
159.(ii)在第一光沿着样本臂行进并照射对象之后接收第一光的反射或散射光(参见图13中的步骤s4001)；(iii)在第二参考光沿着参考臂行进并被参考反射所反射之后接收第二参考光(参见图13中的步骤s4002)；以及(iv)通过使第一光的反射或散射光与反射的第二参考光彼此干涉(例如，通过组合或重新组合然后干涉、通过干涉等)来生成干涉光，干涉光生成一种或多种干涉图案(参见图13中的步骤s4003)。一种或多种方法还可以包括使用低频监视器来更新或控制高频内容以改善图像质量。例如，一个或多个实施例可以使用多种成像模态、相关方法或用于其的技术等来实现改善的图像质量。在一个或多个实施例
中，成像探头可以利用连接构件或接口模块连接到一个或多个系统(例如，系统100、系统100'、系统100”'、图1a-1b和12a-16的设备、装置或系统、本文讨论的任何其它系统或装置，等等)。例如，当连接构件或接口模块是用于成像探头的旋转接头时，旋转接头可以是以下当中的至少一种：接触式旋转接头、无透镜旋转接头、基于透镜的旋转接头或本领域技术人员已知的其它旋转接头。旋转接头可以是单通道旋转接头或双通道旋转接头。在一个或多个实施例中，成像探头的照明部分可以与成像探头的检测部分分离。例如，在一个或多个应用中，探头可以指照明组件，其包括照明光纤(例如，单模光纤、grin透镜、垫片和垫片的抛光表面上的光栅等)。在一个或多个实施例中，范围可以指照明部分，例如其可以由驱动电缆、护套和围绕护套的检测光纤(例如，多模光纤(mmf))包围和保护。对于一个或多个应用，检测光纤(例如，mmf)上的光栅覆盖是可选的。照明部分可以连接到旋转接头并且可以以视频速率连续旋转。在一个或多个实施例中，检测部分可以包括以下一种或多种：检测光纤、检测器(例如，一个或多个检测器107、光谱仪等)、计算机1200、计算机1200'、计算机2、本文讨论的任何其它计算机或处理器等。检测光纤可以围绕照明光纤，并且检测光纤可以或可以不被光栅、垫片、透镜、探头或导管的末端等覆盖。
160.一个或多个检测器107可以将数字或模拟信号传输到处理器或计算机，诸如但不限于图像处理器、处理器或计算机1200、1200'(参见例如图12a-12c和14-15)、计算机2(参见例如图1a)、本文讨论的任何其它处理器或计算机、它们的组合等。图像处理器可以是专用图像处理器或被配置为处理图像的通用处理器。在至少一个实施例中，计算机1200、1200'、2或本文讨论的任何其它处理器或计算机可以用于代替图像处理器或作为图像处理器的补充。在替代实施例中，图像处理器可以包括adc并且从一个或多个检测器107接收模拟信号。图像处理器可以包括cpu、dsp、fpga、asic或某种其它处理电路系统中的一个或多个。图像处理器可以包括用于存储图像、数据和指令的存储器。图像处理器可以基于一个或多个检测器107提供的信息生成一个或多个图像。本文讨论的计算机或处理器(诸如但不限于图1-12c的设备、装置或系统的处理器、计算机1200、计算机1200'、计算机2、图像处理器)还可以包括本文下面进一步讨论的一个或多个组件(参见例如图14-15)。
161.在至少一个实施例中，控制台或计算机1200、1200'、计算机2、本文讨论的任何其它计算机或处理器等操作以经由运动控制单元(mcu)112或马达m来控制rj的运动，从一个或多个检测器107中的(一个或多个)检测器获取强度数据，并显示扫描的图像(例如，在监视器或屏幕上，诸如下面进一步讨论的图12a-12c和图14中任一个的控制台或计算机1200和/或图15的控制台1200'；图1a的计算机2；本文讨论的任何其它计算机或处理器等中所示的显示器、屏幕或监视器1209)。在一个或多个实施例中，mcu 112或马达m操作以改变rj的马达和/或rj的速度。马达可以是步进或dc伺服马达以控制速度并提高位置准确性(例如，与不使用马达时相比、与不使用自动或受控的速度和/或位置改变设备时相比、与手动控制相比等)。
162.本文讨论的任何系统的一个或多个组件的输出可以用至少一个检测器107(诸如但不限于光电二极管、(一个或多个)光电倍增管(pmt)、(一个或多个)线扫描相机或(一个或多个)多阵列相机)获取。从系统100、100'、100”和/或其(一个或多个)检测器107的输出和/或从图1-12c的设备、装置或系统获得的电模拟信号被转换成要用计算机(诸如但不限于计算机1200、1200')分析的数字信号。在一个或多个实施例中，光源101可以是辐射源或
以宽带波长辐射的宽带光源。在一个或多个实施例中，包括软件和电子设备的傅立叶分析仪可以被用于将电模拟信号转换成光谱。
163.除非在本文另外讨论，否则相似的标号指示相似的元件。例如，虽然系统之间存在变化或差异，诸如但不限于系统100、系统100'、系统100”或本文讨论的任何其它设备、装置或系统，但其一个或多个特征可以彼此相同或相似，诸如但不限于光源101或其(一个或多个)其它组件(例如，控制台1200、控制台1200'等)。本领域技术人员将认识到的是，光源101、马达或mcu 112、rj、至少一个检测器107和/或系统的一个或多个其它元件也可以与以一个或多个其它系统(诸如但不限于图1-12c的设备、装置或系统、系统100'、系统100”或本文讨论的任何其它系统)的那些相似编号的元件以相同或相似的方式操作。本领域技术人员将认识到的是，图1-12c的设备、装置或系统、系统100'、系统100”、本文讨论的任何其它设备、装置或系统等的替代实施例，和/或此类系统之一的一个或多个相似编号的元件，虽然具有如本文所讨论的其它变化，但可以与本文所讨论的任何其它系统(或其组件)的相似编号的元件以相同或相似的方式操作。实际上，虽然图12a的系统与图1-11和12b-12c中的任何一个中所示的一个或多个实施例之间也存在某些差异，例如，如本文所讨论的，但存在相似之处。同样，虽然控制台或计算机1200可以用在一个或多个系统(例如，系统100、系统100'、系统100”、图1-16中的任何一个的设备、装置或系统，或本文讨论的任何其它系统等)中，但是可以附加地或可替代地使用一个或多个其它控制台或计算机(诸如控制台或计算机1200'、本文讨论的任何其它计算机或处理器等)。
164.有许多方式来计算强度、粘度、分辨率(包括增加一个或多个图像的分辨率)等，使用一种或多种成像模态，构造或重构(一个或多个)3d结构，和/或本文讨论的用于其的相关方法，数字的以及模拟的。在至少一个实施例中，诸如控制台或计算机1200、1200'之类的计算机可以专用于控制和监视本文描述的成像(例如，oct、单模oct、多模oct、多成像模态等)设备、系统、方法和/或存储介质。
165.用于成像的电信号可以经由(一根或多根)电缆或(一根或多根)电线(诸如但不限于(一根或多根)电缆或(一根或多根)电线113(参见图14))被发送到一个或多个处理器，诸如但不限于计算机或处理器2(参见例如图1a)、计算机1200(参见例如图12a-12b、14和16)、计算机1200'(参见例如图15和16)等，如下面进一步讨论的。附加地或可替代地，如上面所提到的，电信号可以在如上面所讨论的一个或多个实施例中由任何其它计算机或处理器或其组件来处理。可以使用如图1a中所示的计算机或处理器2来代替本文讨论的任何其它计算机或处理器(例如，计算机或处理器1200、1200'等)，和/或可以使用计算机或处理器1200、1200'代替本文讨论的任何其它计算机或处理器(例如，计算机或处理器2)。换句话说，本文讨论的计算机或处理器是可互换的，并且可以操作以执行本文讨论的多个成像模态特征和方法中的任何一个，包括使用、控制和改变一个或多个gui。
166.图14中提供了计算机系统1200的各种组件。计算机系统1200可以包括中央处理单元(“cpu”)1201、rom 1202、ram 1203、通信接口1205、硬盘(和/或其它存储设备)1204、屏幕(或监视器接口)1209、键盘(或输入接口；除了键盘之外还可以包括鼠标或其它输入设备)1210以及上面提到的组件中的一个或多个之间的bus(或“总线”)或其它连接线(例如，连接线1213)(例如，包括但不限于连接到控制台、探头、成像装置或系统、本文讨论的任何马达、光源等)。此外，计算机系统1200可以包括上面提到的组件中的一个或多个。例如，计算机系
统1200可以包括cpu 1201、ram1203、输入/输出(i/o)接口(诸如通信接口1205)和总线(其可以包括一条或多条线路1213作为计算机系统1200的组件之间的通信系统；在一个或多个实施例中，计算机系统1200及其至少cpu 1201可以与设备或系统(诸如但不限于使用如本文所讨论的一种或多种成像模态和(一种或多种)相关方法的设备或系统)的一个或多个上面提到的组件通信，并且一个或多个其它计算机系统1200可以包括其它上面提到的组件的一个或多个组合(例如，计算机1200的一条或多条线路1213可以经由线路113连接到其它组件)。cpu 1201被配置为读取并执行存储在存储介质中的计算机可执行指令。计算机可执行指令可以包括用于执行本文描述的方法和/或计算的指令。除了cpu1201之外，系统1200还可以包括一个或多个附加处理器，并且包括cpu 1201在内的此类处理器可以被用于组织或对象表征、诊断、评估、成像和/或构造或重构。系统1200还可以包括经由网络连接(例如，经由网络1206)连接的一个或多个处理器。cpu 1201和由系统1200使用的任何附加处理器可以位于相同的电信网络或不同的电信网络中(例如，执行本文讨论的(一个或多个)特征、(一个或多个)功能、(一种或多种)技术、(一种或多种)方法等可以被远程控制)。
167.i/o或通信接口1205提供到输入和输出设备的通信接口，输入和输出设备可以包括光源、光谱仪、麦克风、通信电缆和网络(有线或者无线)、键盘1210、鼠标(参见例如图15中所示的鼠标1211)、触摸屏或屏幕1209、光笔等。计算机1200的通信接口可以经由线113(如图14中示意性示出的)连接到本文讨论的其它部件。监视器接口或屏幕1209为其提供通信接口。
168.本公开的任何方法和/或数据(诸如用于执行组织或对象表征、诊断、检查、成像(包括但不限于增加图像分辨率、使用一种或多种成像模态执行成像、查看或改变一种或多种成像模态和相关方法(和/或(一个或多个)选项或(一个或多个)特征)等)，和/或构造或重构(例如，如本文所讨论的)的方法)可以存储在计算机可读存储介质中。常用的计算机可读和/或可写存储介质(诸如但不限于硬盘(例如，硬盘1204、磁盘等)、闪存、cd、光盘(例如，压缩盘(“cd”)、数字多功能盘(“dvd”)、blu-ray
tm
盘等)、磁光盘、随机存取存储器(“ram”)(诸如ram 1203)、dram、只读存储器(“rom”)、分布式计算系统的存储装置、记忆卡等(例如，其它半导体存储器，诸如但不限于非易失性存储卡、固态驱动器(ssd)(参见图15中的ssd 1207)、sram等)、它们的可选组合、服务器/数据库等中的一个或多个)可以被用于使处理器(诸如上面提到的计算机系统1200的处理器或cpu 1201)执行本文公开的方法的步骤。在一个或多个实施例中，计算机可读存储介质可以是非暂态计算机可读介质，和/或计算机可读介质可以包括所有计算机可读介质，唯一的例外是暂态传播信号。计算机可读存储介质可以包括在预定的、有限的或(一个或多个)短时间段和/或仅在有电的情况下存储信息的介质，诸如但不限于随机存取存储器(ram)、寄存器存储器、(一个或多个)处理器高速缓存等。本公开的(一个或多个)实施例也可以由读取和执行记录在存储介质(其也可以更全面地被称为“非暂态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机来实现，并且通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个的功能和/或控制一个或多个电路以执行上述(一个或多个)实施例中的一个或多个的功能由系统或装置的计算机执行的方法来实现。
169.根据本公开的至少一个方面，与处理器(诸如但不限于上面提到的计算机1200的处理器等，如上所述)相关的方法、系统和计算机可读存储介质可以利用合适的硬件来实现，诸如图中所示的。本公开的一个或多个方面的功能可以利用合适的硬件来实现，诸如图14中所示的。这种硬件可以利用任何已知的技术来实现，诸如标准数字电路系统、可操作以执行软件和/或固件程序的任何已知的处理器、一个或多个可编程数字设备或系统(诸如可编程只读存储器(prom)、可编程阵列逻辑器件(pal)等)。cpu 1201(如图14中所示)、处理器或计算机2(如图1a中所示)和/或计算机或处理器1200'(如图15中所示)还可以包括和/或由一个或多个微处理器、纳米处理器、一个或多个图形处理单元(“gpu”；也称为视觉处理单元(“vpu”))、一个或多个现场可编程门阵列(“fpga”)或其它类型的处理部件(例如，(一个或多个)专用集成电路(asic))组成。更进一步，本公开的各个方面可以通过可以存储在合适的存储介质(例如，计算机可读存储介质、硬盘驱动器等)或用于运输和/或分发的介质(诸如(一个或多个)软盘、(一个或多个)存储器芯片等)上的软件和/或固件程序来实现。计算机可以包括独立计算机或独立处理器的网络以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。计算机或处理器(例如，2、1200、1200'等)可以包括上面提到的cpu结构，或者可以连接到这种cpu结构以与其通信。
170.如上面所提到的，计算机或控制台1200'的替代实施例的硬件结构在图15中示出。计算机1200'包括中央处理单元(cpu)1201、图形处理单元(gpu)1215、随机存取存储器(ram)1203、网络接口设备1212、诸如通用串行总线(usb)之类的操作接口1214和诸如硬盘驱动器或固态驱动器(ssd)1207之类的存储器。计算机或控制台1200'可以包括显示器1209。计算机1200'可以经由操作接口1214或网络接口1212(例如，经由电缆或光纤、诸如如图14中类似地所示的电缆或光纤113)连接到马达、控制台或本文讨论的设备或系统的任何其它组件。在一个或多个实施例中，计算机(诸如计算机1200')可以包括马达或运动控制单元(mcu)。操作接口1214与诸如鼠标设备1211、键盘1210或触控面板设备之类的操作单元连接。计算机1200'每个组件可以包括两个或更多个。
171.至少一个计算机程序存储在ssd 1207中，并且cpu 1201将至少一个程序加载到ram 1203上，并执行至少一个程序中的指令以执行本文描述的一个或多个过程，以及基本输入、输出、计算、存储器写入和存储器读取过程。
172.计算机(诸如计算机2、计算机1200、1200'(或(一个或多个)其它组件，诸如但不限于pcu等)等可以与mcu、干涉仪、光谱仪、检测器等通信以执行成像，并根据获取的强度数据重构图像。监视器或显示器1209显示重构的图像，并且可以显示关于成像条件或关于要成像的对象的其它信息。监视器1209还为用户提供图形用户界面以操作本文讨论的任何系统。操作信号从操作单元(例如，诸如但不限于鼠标设备1211、键盘1210、触控面板设备等)输入到计算机1200'中的操作接口1214，并且与计算机1200'指示本文讨论的任何系统设置或改变成像条件(例如，提高图像的分辨率)并开始或结束成像的操作信号对应。光源或激光源以及光谱仪和/或检测器可以具有与计算机1200、1200'通信以发送和接收状态信息和控制信号的接口。
173.如图16中所示，一个或多个处理器或计算机1200、1200'(或本文讨论的任何其它处理器)可以是系统的一部分，其中一个或多个处理器或计算机1200、1200'(或本文讨论的任何其它处理器)与其它设备(例如，数据库1603、存储器1602(其可以与本文讨论的或本领
域技术人员已知的任何其它类型的存储器一起使用或被替换)、输入设备1600、输出设备1601等)通信。在一个或多个实施例中，一个或多个模型可以先前已经被训练并存储在一个或多个位置(诸如但不限于存储器1602、数据库1603等)。在一个或多个实施例中，可能本文讨论的一个或多个模型和/或数据(例如，训练数据、测试数据、验证数据、成像数据等)可以经由诸如输入设备1600之类的设备输入或加载。在一个或多个实施例中，用户可以采用输入设备1600(其可以是单独的计算机或处理器、诸如键盘1210之类的键盘、诸如鼠标1211之类的鼠标、麦克风、屏幕或显示器1209(例如，触摸屏或显示器)或本领域技术人员已知的任何其它输入设备)。在一个或多个系统实施例中，可以不使用输入设备1600(例如，在用户交互被本文讨论的一个或多个人工智能特征消除的情况下)。在一个或多个系统实施例中，输出设备1601可以接收本文讨论的一个或多个输出以执行标记检测、配准和/或本文讨论的任何其它处理。在一个或多个系统实施例中，数据库1603和/或存储器1602可以将输出的信息(例如，(一个或多个)经训练的模型、检测到的标记信息、图像数据、测试数据、验证数据、训练数据、(一个或多个)配准结果、分割模型信息、目标检测/回归模型信息、组合模型信息等)存储在其中。即，一个或多个实施例可以包括如上面所讨论的几种类型的数据存储库、存储装置、存储介质等，并且此类存储介质、存储器、数据存储库等可以本地或远程存储。
174.此外，除非另有说明，否则对应集合的术语“子集”不一定表示真子集并且可以等于对应集合。
175.虽然本公开的一个或多个实施例包括关于神经网络模型体系架构和优化方法的各种细节，但是在一个或多个实施例中，可以采用任何其它模型体系架构、机器学习算法或优化方法。一个或多个实施例可以利用(一个或多个)超参数组合。一个或多个实施例可以采用数据捕获、选择、注释以及模型评估(例如，损失和验证度量的计算)，因为数据可以是特定于域和应用的。在一个或多个实施例中，可以修改和优化模型体系架构以解决各种计算机视觉问题(下面讨论)。
176.本公开的一个或多个实施例可以在x射线图像的时间序列中自动检测不透射线oct标记(预测其空间位置)以将x射线图像与对应的oct图像配准(两个不同坐标系的参考点的至少一个示例)。一个或多个实施例可以使用深度(循环)卷积神经网络，这可以显著改进标记检测和图像配准。一个或多个实施例可以采用分割和/或对象/关键点检测体系架构来解决一个或多个应用中的其它域领域中的一个或多个计算机视觉问题。一个或多个实施例采用几种新颖材料和方法来解决一个或多个计算机视觉或其它问题(例如，例如x射线图像的时间序列中的不透射线oct标记检测)。
177.一个或多个实施例采用数据捕获和选择。在一个或多个实施例中，数据使这种应用是独特的并且将这个应用与其它应用区分开来。例如，图像可以包括一个或多个规程中专门使用的不透射线标记(例如，添加到oct胶囊中、用在具有与oct标记相似的标记的导管/探头中、用在即使在导管/探头使用与oct不同的成像模式的情况下也具有相似或相同的标记的导管/探头中，等等)以促进一个或多个图像(例如，x射线图像)中对标记的计算检测。一个或多个实施例将软件设备或特征(模型)耦合到硬件(例如，oct探头、在使用与oct探头/导管的标记相同或相似的标记的同时使用与oct不同的成像模态探头/导管)。除了患者数据之外，一个或多个实施例还可以利用动物数据。训练深度学习可以使用大量数据，这些数据可能难以从临床研究中获得。将来自动物的临床前研究的图像数据包括到训练集中
可以提高模型性能。模型的训练和评估可以高度依赖于数据(例如，选择帧的方式(例如，仅回拉)、拆分成训练/验证/测试集，以及分组为批次以及将帧、集合和/或批次呈现给模型的次序、本文讨论的任何其它数据等)。在一个或多个实施例中，此类参数可以比一些模型超参数(例如，批次尺寸、卷积层的数量、本文讨论的任何其它超参数等)更重要或更显著。一个或多个实施例可以在将设备/装置、系统和/或(一种或多种)方法引入市场之后使用用户注释的一个或多个集合，并且可以使用上市后监督、用收集的新数据重新训练一个或多个模型(例如，在临床使用中)，和/或连续自适应算法/方法。
178.一个或多个实施例采用数据注释。例如，一个或多个实施例可以在回拉期间获取的(一个或多个)帧的规程/方法的(一个或多个)不同阶段(例如，由于血管内对比剂而产生的不同对比度级别)标记表示标记的(一个或多个)像素以及表示(一个或多个)血管的像素。
179.一个或多个实施例采用先验知识的结合。例如，在一个或多个实施例中，标记位置可以在血管内是已知的。因此，血管和标记的同时定位可以被用于改进标记检测。在一个或多个实施例中，标记可以在血管内回拉期间移动，并且这种先验知识可以结合到机器学习算法或损失函数中。
180.一个或多个实施例采用(一个或多个)损失(成本)和评估函数/度量。例如，用于模型训练和评估的时间信息的使用可以被用在一个或多个实施例中。一个或多个实施例可以评估每帧的预测与基本事实之间的距离以及考虑在时间序列的多个帧上的预测的轨迹。
181.可以在本公开的一个或多个实施例中使用的附加特征在下文讨论：
182.实验#1
183.机器学习的整体处理的至少一个实施例在下面示出：
184.i.创建包含输入和输出两者的数据集；
185.ii.将数据集拆分成训练集和测试集；
186.iii.选择模型体系架构和其它超参数；
187.iv.用训练集训练模型；
188.v.用测试集评估经训练的模型；以及
189.vi.用(一个或多个)新数据集重复iv和v。
190.基于测试结果，可以在一个或多个实施例中重新访问步骤i和iii。
191.步骤i：创建包含输入和输出两者的数据集
192.在如上面所提到的一个或多个实施例中，为了将机器学习应用于血管图像中的标记检测或不透射线标记检测，输入可以是原始血管数据，并且输出可以是标记分割的图像。在进行的实验中，首先通过仅关注有针对性的不透射线标记(即，位于或部署在远侧光学器件处的标记)来执行分割(参见图17，图17在图17的左侧示出了示例输入图像并在图17的右侧示出了对应的输出图像)。
193.但是，由于机器/设备、系统、方法、存储介质等的一个或多个实施例可能不能将一种标记与其它标记(例如，导管尖端上的标记和/或驱动电缆上的附加标记)区分开来，因此帧中所有标记都被分割的图像在(一个或多个)实验中被用作输出(参见图18，图18在图18的左侧示出了示例输入图像并在图18的右侧示出了更新分割之后对应的输出图像)。
194.步骤ii：将数据集拆分成训练集和测试集
195.为了使这个步骤更容易，首先对仅一次回拉中的帧进行分割并在至少一个实验中用作训练集。来自另一次回拉的帧在(一个或多个)实验中被用作测试集。虽然一个或多个实施例可以以这种方式拆分数据集，但一个或多个实施例不限于这种配置。
196.步骤iii：选择网络体系架构和/或体系架构模型
197.首先，选择可以被用于2d图像中的图像分割的u-net体系架构作为网络体系架构。一个或多个实施例可以结合或利用u-net体系架构，如olaf ronnenberger等人在computer science department and bioss centre for biological signalling studies的“u-net:convolutional networks for biomedical image segmentation”中所讨论的，在2015年5月18日发表的navab n.,hornegger j.,wells w.,frangi a.(eds)的medical image computing and computer-assisted intervention,miccai 2015,lecture notes in computer science第9351卷，springer,cham(https://arxiv.org/pdf/1505.04597.pdf)中，其通过引用整体并入本文。但是，在一个或多个实验中，输入和输出图像尺寸从1024像素
×
1024像素缩小到512像素
×
512像素，并且经训练的网络没有分割测试数据中的任何标记。但是，虽然以这种方式执行了(一个或多个)这样的实验，但是本公开的一个或多个实施例不限于这种配置。
198.然后，选择如上面所讨论并且simon j
é
gou等人在2017年10月31日montreal institute for learning algorithms，ieee conference on computer vision and pattern recognition workshops(cvprw),honolulu,hi,第1175-1183页上发表的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”(https://arxiv.org/pdf/1611.09326.pdf；doi:10.1109/cvprw.2017.156)中讨论的另一种体系架构“一百层tiramisu”，其通过引用整体并入本文。在一个或多个实施例中，这种体系架构的优点之一是它可以在较小的区域(224像素
×
224像素)上进行训练并且可以在测试时应用到更大的尺寸上。
199.步骤iv：用训练集训练网络&步骤v：用测试集评估经训练的网络
200.首先，使用训练集对tiramisu网络进行训练，其示例在图17中示出。虽然经训练的网络检测到了标记，但在实验中它在导管尖端处检测到标记的概率高于有针对性的标记(图19，第二列，其中图19示出了具有相应预测结果的原始血管图像帧)。如上面所讨论的，由于机器、设备、系统、存储介质、方法等可能无法区分图像中的不同标记，因此用训练集重新训练了网络，其示例在图18中示出。经训练的网络在检测到的背景噪声较少的情况下更好地检测到了标记，但它仍然以比有针对性的标记更高的概率检测到导管尖端处的标记(图19，第三列)。
201.为了改进网络，将变化添加到训练集。作为使用的变化，对训练集进行垂直翻转、水平翻转和图像对比度调整。除此之外，迭代的次数也增加。观察到改进：经重新训练的网络检测到有针对性的标记的概率与导管尖端处的标记的概率相似(图19，第四列)。当网络检测到其它标记(驱动电缆上的附加标记)时，网络还以相对高的概率检测到引导线和/或密集造影剂位置。因此，在一个或多个实施例中将这些图像更多地包括在训练集中将是有用的。
202.实验#2
203.机器学习的整体处理的至少一个实施例在下面示出：
204.i.创建包含输入和输出两者的数据集；
205.ii.将数据集拆分成训练集和测试集；
206.iii.选择模型体系架构和其它超参数；
207.iv.用训练集训练模型；
208.v.用测试集评估经训练的模型；以及
209.vi.用(一个或多个)新数据集重复iv和v。
210.基于测试结果，可以在一个或多个实施例中重新访问步骤i和iii。
211.下面讨论关于所进行的附加实验的观察和细节。
212.步骤i：创建包含输入和输出两者的数据集
213.为了将机器学习应用于血管图像中的不透射线标记检测，输入可以是原始血管数据，并且输出可以是如上面所提到的标记分割的图像。帧中的所有标记都被分割的图像被用作输出(图20在图20的左侧示出了输入图像的至少一个实施例示例并在图20的右侧示出了对应的输出图像)。
214.步骤ii：将数据集拆分成训练集和测试集
215.首先，三次回拉(不同的c臂设置、不同的血管)中的帧被用作训练数据。然后，将所有20次回拉中的帧用作训练数据。
216.步骤iii：选择网络体系架构和/或体系架构模型
217.选择如simon j
é
gou等人在2017年10月31日montreal institute for learning algorithms，ieee conference on computer vision and pattern recognition workshops(cvprw),honolulu,hi,第1175-1183页上发表的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”(https://arxiv.org/pdf/1611.09326.pdf；doi:10.1109/cvprw.2017.156)中讨论的体系架构“一百层tiramisu”，其通过引用整体并入本文。在一个或多个实施例中，这种体系架构的优点之一是它可以在较小的区域(224像素
×
224像素)上进行训练并且可以在测试时应用到更大的尺寸上。
218.步骤iv：用训练集训练网络&步骤v：用测试集评估经训练的网络或经训练的模型
219.《3次回拉数据》
220.不同的参数被用于训练：
221.·
批次尺寸：16或4
222.·
训练图像尺寸：224像素
×
224像素(参见例如simon j
é
gou等人的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”)、128像素
×
128像素、448像素
×
448像素
223.·
步数/时期(迭代)：100
224.·
时期(迭代次数)：1000
225.图21示出了利用不同训练模型的(一个或多个)预测结果的示例。当批次尺寸减小时，模型似乎降低了预测准确性。为了用更小的批次尺寸来改进预测，模型可以被训练更长时间(例如，增加步数/时期和时期的数量)。另一方面，当训练图像尺寸改变时，预测结果的噪声较小，但可能比原始训练图像尺寸更频繁地错过有针对性的标记(远侧光学器件处的标记)。因此，为了进一步训练，将批次尺寸和训练图像尺寸设置为16和224像素
×
224像素。
226.《20次回拉数据》
227.当使用20次回拉数据开始训练模型时，其估计时间为》2周。因此，通过将输入数据拆分成3-4次回拉数据并用不同的输入数据反复训练相同的模型6轮来执行训练。下面的表1示出了哪轮训练使用了哪些回拉数据。在进行的实验中，每一轮训练需要大约12-15个小时。
228.表1.为每次训练指派的回拉的信息
[0229][0230]
图22示出了利用四种不同模型的预测结果的至少一个实施例示例。图22的顶行示出了利用3次回拉数据和利用20次回拉数据训练的模型的示例预测结果。如此处所示，利用20次回拉数据的模型的预测结果以较低的准确性预测了标记。这可以是因为过度拟合。如表1中所示，在20次回拉中，12次回拉在右冠状动脉(rca)中进行，其中对于11次回拉，c臂设置相同。在左旋支(lcx)的8次回拉中，其中一半是在相同的c臂设置中获取的并且另一半是在另一个c臂设置中获取的。为了理解这一点的影响，使用第1轮和第2轮之后的模型进行了预测。示例预测结果在图22的底行中示出。图22中的这些图像表明用包含非常相似图像的大量数据对模型进行过度拟合的可能性。
[0231]
实验#3
[0232]
机器学习的整体处理的至少一个实施例在下面示出：
[0233]
i.创建包含输入和输出两者的数据集；
[0234]
ii.将数据集拆分成训练集和测试集；
[0235]
iii.选择模型体系架构和其它超参数；
[0236]
iv.用训练集训练模型；
[0237]
v.用测试集评估经训练的模型；以及
[0238]
vi.用(一个或多个)新数据集重复iv和v。
[0239]
基于测试结果，可以在一个或多个实施例中重新访问步骤i和iii。
[0240]
下面讨论关于所进行的附加实验的观察和细节。
[0241]
[分割模型]示例
[0242]
步骤i：创建包含输入和输出两者的数据集
[0243]
对于(一个或多个)分割模型，输入是原始血管数据，并且输出是标记分割的图像。帧中的所有标记都被分割的图像被用作输出(图23在图23的左侧示出了输入图像的至少一个实施例示例并在图23的右侧示出了对应的输出图像)。
[0244]
步骤ii：将数据集拆分成训练集和测试集
[0245]
来自动物研究#1的所有20次回拉中的帧被用作训练数据。
[0246]
步骤iii：选择网络体系架构和/或体系架构模型
[0247]
选择如simon j
é
gou等人在2017年10月31日montreal institute for learning algorithms，ieee conference on computer vision and pattern recognition workshops(cvprw),honolulu,hi,第1175-1183页上发表的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”(https://arxiv.org/pdf/1611.09326.pdf；doi:10.1109/cvprw.2017.156)中讨论的体系架构“一百层tiramisu”，其通过引用整体并入本文。在一个或多个实施例中，这种体系架构的优点之一是它可以在较小的区域(224像素
×
224像素)上进行训练并且可以在测试时应用到更大的尺寸上。
[0248]
步骤iv：用训练集训练网络&步骤v：用测试集评估经训练的网络或经训练的模型
[0249]
《来自动物研究#1的20次回拉数据》
[0250]
不同的参数被用于训练：
[0251]
·
批次尺寸：16
[0252]
·
训练图像尺寸：224像素
×
224像素(参见例如simon j
é
gou等人的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”)
[0253]
·
步数/时期(迭代)：200
[0254]
·
迭代次数：5000(迭代次数可以基于可用的存储器尺寸资源或处理偏好而受到限制(例如，用于完成的处理的优选时间线、成功率阈值等)。例如，当使用的迭代次数被设置为5000时，使用在第4923次迭代终止的训练获得的成功率。)
[0255]
示例预测结果在图24(a)-(f)中示出。如图24(a)-(f)中所示，可以用更长的训练时间获得具有更少噪声的更好预测。当用来自动物研究#2的血管数据进行测试时，观察到了(一个或多个)相似的结果。图24(a)和(d)示出了原始图像(图像对比度已调整为更好地
示出标记)。图24(b)和(e)示出了模型训练1000次迭代的(一个或多个)预测的结果(即，(一个或多个)概率图)。图24(c)和(f)示出了经过4500次迭代训练的模型的(一个或多个)预测的结果(即，(一个或多个)概率图)。图24中的至少一个圆圈“o”表示导管尖端处的静止标记(其中这个o是图24(d)-(f)中的右下方圆圈，以及图24(a)-(c)中的左侧圆圈)。图24中的至少一个圆圈“o”表示在远侧光学器件处有针对性的标记(其中这个o是图24(d)-(f)中的左上圆圈，以及图(a)-(c)中的右侧圆圈))。
[0256]
[回归模型]示例
[0257]
步骤i：创建包含输入和输出两者的数据集
[0258]
对于一个或多个回归模型实施例，输入可以是原始血管数据(1024像素
×
1024像素)，并且输出可以是两个标记(目标标记和静止标记)的质心坐标(图25在图25的左侧示出了示例输入图像并在图25的右侧示出了对应的输出图像)。
[0259]
步骤ii：将数据集拆分成训练集、验证集和测试集
[0260]
由于在一个或多个实施例中可用的数据数量有限，因此所有数据都可以用作训练集或者验证集。为了评估具有不同参数的每个模型的效率，训练集与验证集的分离在训练任何模型之前执行，并且被用于所有要训练的模型。
[0261]
步骤iii：选择网络体系架构
[0262]
体系架构最初是由(一个或多个)发明人基于残差网络(resn et)体系架构创建的(参见例如simon j
é
gou等人的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”，其通过引用整体并入本文)。模型本身具有/包括要在步骤iv处测试的超参数(即，模型体系架构的参数)。创建的回归模型的体系架构在图26中示出(也参见图9a和前面对图9a的讨论)。
[0263]
步骤iv：用训练集训练网络&步骤v：用测试集评估经训练的网络或模型
[0264]
《31次回拉数据用于训练，7次回拉用于验证；来自动物研究#1和/或#2》
[0265]
超参数：
[0266]
·
深度(即，层数)
[0267]
·
宽度(即，过滤器的数量)：在一个或多个实施例中固定
[0268]
·
批次尺寸(即，训练图像的数量/步)：在一个或多个实施例中，可以》4
[0269]
·
学习速率(即，控制神经网络的权重(回归模型的系数)关于损失梯度多快被调整的超参数)
[0270]
·
信号漏失(即，在每一层丢弃的神经元(过滤器)的百分比)
[0271]
·
优化器：例如，adam优化器或随机梯度下降(sgd)优化器
[0272]
其它固定的超参数(常数)：
[0273]
·
输入尺寸：1024像素
×
1024像素(原始图像尺寸)
[0274]
·
时期：500
[0275]
·
用不同超参数配置训练的模型的数量：10
[0276]
图27示出了至少一个超参数搜索的结果。模型a04示出了训练损失和验证损失两者的减少。通过比较超参数(下面所示的表2)，模型a04和模型a05(都比其它模型具有更低的训练损失和验证损失)使用相似的信号漏失值并使用相同的优化器(sgd优化器)。因此，可以得出结论，这个回归模型应当使用具有信号漏失特征的sgd优化器。在图27左侧的训练
损失图中，用于a10的线略高于用于a03的线。而且，a07-a09在图27右侧的图中彼此重叠。作为下一步，可以执行用固定优化器并具有不同宽度的另一个超参数搜索。用于这个场景的模型体系架构在图28中示出。
[0277]
表2用于每个模型的超参数的列表
[0278][0279][0280]
一个或多个实施例可以将一个或多个特征用于回归模型，如在2015年12月10日microsoft research上kaiming he等人的“deep residual learning for image recognition”中所讨论的(https://arxiv.org/pdf/1512.03385.pdf)，其通过引用整体并入本文。
[0281]
实验#4
[0282]
配准
[0283]
可用数据集
[0284]
下面的表3a和3b示出了用于这个实验的数据集：
[0285]
动物回拉的次数具有对照的帧的数量回拉期间帧的数量总共3844962265rca17(44.7％)2109(46.9％)1033(45.6％)lcx11(28.9％)1309(29.1％)657(29.0％)lad5(13.2％)599(13.3％)313(13.8％)左锁骨下动脉5(13.2％)479(10.7％)262(11.6％)
[0286][0287][0288]
1.使用用户指定的回拉区域的基于图像处理的算法
[0289]
在临床数据上测试了基于图像处理的算法，其中用户在一(1)帧上指定回拉区域。将标记检测成功率与动物研究数据的成功率进行比较。临床数据上的标记检测成功率不如动物研究数据上的高(参见图5的方法1)。观察揭示，在每次回拉中，至少有一个候选点在70-80％的帧中与实际位置足够接近；因此，需要改进基于被检体图像处理的算法以从候选点中选择最佳点。
[0290]
如上面所提到的，不同标记检测成功率的示例在图5中示出。虽然可以以各种方式计算标记检测成功率，但标记检测成功率的一个示例是计算检测到的与实际的不透射线标记位置相同的帧数除以在oct回拉期间获得、接收到的或成像的总帧数。根据用户在一个帧上指定回拉区域的第一种方法、根据用户在几个或多个帧上指出标记位置的第二种方法，以及根据用户在多个帧上指定回拉区域的第三种方法，图5中示出了针对三类数据的几个成功率，以突出(一个或多个)成功率变化。此外，在80％或更高的情况下，配准成功率(基于用户访谈)可以是成功的。根据实验，候选点包括使用本公开的一个或多个特征的总临床血管造影图像的至少80-90％中的实际标记位置。实际上，通过应用如本文所讨论的机器或深度学习，可以提高或最大化标记检测成功率和配准成功率。标记检测的成功率(并导致配准的成功率)可以取决于对标记位置的估计有多好。因此，通过改进对标记位置的估计，可以提高标记检测的成功率并且同样可以提高配准的成功率。
[0291]
机器学习的应用
[0292]
机器学习的整个处理的至少一个实施例在下面示出：
[0293]
i.创建包含图像和对应的基本事实标签的数据集；
[0294]
ii.将数据集拆分成训练集和测试集；
[0295]
iii.选择模型体系架构和其它超参数；
[0296]
iv.用训练集训练模型；
[0297]
v.用验证集评估经训练的模型；以及
[0298]
vi.用(一个或多个)新数据集重复iv和v。
[0299]
基于测试结果，可以在一个或多个实施例中重新访问步骤i和iii。
[0300]
下面讨论关于所进行的附加实验的观察和细节。
[0301]
[2a.分割模型]
[0302]
在一个或多个实施例中，由于来自这个模型的输出是可以被分类为标记或不被分类为标记的每个像素的“概率”，因此可以开发在经由经训练的分割模型进行预测之后的后处理以更好地定义，确定或定位标记位置的最终坐标。
[0303]
在使用先前经训练的分割模型(使用所有动物研究数据进行训练)在临床数据上预测概率之后，将图7中所示并且如上面所讨论的后处理算法应用于预测的概率结果。在这个后处理算法中，请求用户定义在血管中的哪个位置执行oct回拉，其方式类似于上面提到的基于图像处理的算法的方法1，其中用户指定在临床数据上测试一(1)个帧上的回拉区域。
[0304]
语义分割模型的一个或多个实施例可以使用simon j
é
gou等人在2017年10月31日montreal institute for learning algorithms发表的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”(https://arxiv.org/pdf/1611.09326.pdf)中讨论的一百层tiramisu方法，其通过引用整体并入本文。
[0305]
标记检测成功率在后处理之后以类似于上面提到的基于图像处理的算法的方法1的方式进行评估，其中用户指定在临床数据上测试一(1)个帧上的回拉区域。如图8中所示(其比较基于机器学习的算法(分割模型)与不使用机器学习的其它基于图像处理的算法之间临床数据上的标记检测成功率)，标记检测成功率平均或对于所有的回拉提高了大约16％。对于每次回拉，与方法1相比，45次回拉中有40次(88.9％)，并且与方法3相比，45次回拉中有39次(86.7％)，标记检测成功率增加(参见图8)。
[0306]
虽然后处理算法可以被细化或进一步细化并且分割模型可以被训练以包括临床数据，但是根据本公开的一个或多个特征这个结果表明可以使用机器学习/深度学习来实现标记检测成功率的关键改进。
[0307]
[2b.回归模型]
[0308]
步骤i：创建包含输入和输出两者的数据集
[0309]
对于(一个或多个)回归模型，输入可以是整个血管造影图像帧，并且输出可以是不透射线标记(目标标记和静止标记，如果必要/期望)的质心坐标(图29在图29的左侧示出了输入图像的示例并在图29的右侧示出了对应的输出图像)。
[0310]
步骤ii：将数据集拆分成训练集、验证集和测试集
[0311]
由于在一个或多个实施例中可用的数据数量有限，因此所有数据都可以被用作或者训练集的一部分或者验证集(对于这个实验，仅使用动物研究数据，因此测试数据集没有分开设置)。为了评估具有不同参数的每个模型的效率，在训练任何模型之前执行训练集与验证集的分离，并且对所有要训练的模型使用相同的分离。
[0312]
步骤iii：选择网络体系架构
[0313]
体系架构最初是由(一个或多个)发明人基于残差网络(resn et)体系架构创建的(参见例如simon j
é
gou等人的“the one hundred layers tiramisu:fully convolutional densenets for semantic segmentation”，其通过引用整体并入本文)。模型本身具有/包括要在步骤iv处测试的超参数(即，模型体系架构的参数)。创建的回归模型的体系架构在图30中示出(也参见图9a和前面对图9a的讨论)。
[0314]
步骤iv：用训练集训练网络和/或模型
[0315]
数据拆分
[0316]
·
训练：动物研究的30次回拉，临床数据的37次回拉
[0317]
·
验证：来自动物研究的8次回拉和临床数据的8次回拉的400帧
[0318]
超参数：
[0319]
·
深度(即，层数)
[0320]
·
宽度(即，过滤器的数量)
[0321]
·
批次尺寸(即，训练图像的数量/步)：在一个或多个实施例中，可以》4
[0322]
·
学习速率(即，控制神经网络的权重(回归模型的系数)关于损失梯度多快被调整的超参数)
[0323]
·
信号漏失(即，在每一层丢弃的神经元(过滤器)的百分比)
[0324]
·
优化器：例如，adam优化器或随机梯度下降(sgd)优化器
[0325]
其它固定的超参数(常数)：
[0326]
·
输入尺寸：1024像素
×
1024像素或512像素
×
512像素
[0327]
·
时期：500(对于附加的训练，迭代次数被设置为3000)
[0328]
·
用不同超参数配置训练的模型的数量：10
[0329]
由于动物研究数据(1024像素
×
1024像素)与临床数据(512像素
×
512像素)之间的图像尺寸不同，输入图像可以被上采样(对于临床数据)或下采样(对于动物数据)以匹配所有输入图像尺寸以包括临床数据作为训练和验证的一部分。
[0330]
步骤v：用测试集评估经训练的网络或模型
[0331]
(1)上采样和下采样的影响
[0332]
如表3、图31和图32中所示，在所进行的(一个或多个)实验中未观察到上采样与下采样之间的显著差异。由于下采样类似于最大池化(机器学习模型体系架构中常常使用的图像处理方法之一；图30中的(一个或多个)灰色层901)，因此可以用下采样执行进一步的训练，例如，输入图像尺寸可以是512像素
×
512像素。图31示出了在执行的实验中的迭代上的(一个或多个)训练和验证结果(在图31中，参见run_h054结果3100，参见run_h054_add结果3101，参见run_h_ds054结果3102，并参见run_h_ds054_add结果3103)。图32示出了在预测与基本事实之间具有不同距离阈值的总标记检测成功率(参见h054，动物数据3200；h054_add，动物数据3201；h_ds054，动物数据3202；h_ds054_add，动物数据3203；h054，临床数据3204；h054_add，临床数据3205；h_ds054，临床数据3206；以及h_ds054_add，临床数据3207)。
[0333]
表4：h054、h054_add(上采样)，h_ds054、h_ds054_add(下采样)的训练结果
[0334][0335]
其它参数：
[0336]
[后续步骤]如上面所提到的，接下来的步骤可以包括但不限于以下：
[0337]
·
对于(一个或多个)分割模型：用临床数据训练模型
[0338]
·
对于(一个或多个)回归模型：将数据集拆分成训练、验证和测试，并评估模型可以/能够在何种程度上泛化到看不见的数据。
[0339]
本文讨论的一个或多个特征可以使用卷积自动编码器、高斯过滤器、哈拉利克(haralick)特征和/或样本或对象的厚度或形状来确定。
[0340]
本公开的一个或多个实施例可以使用机器学习来确定标记位置、执行配准和/或执行本文讨论的任何其它特征。机器学习是计算机科学的一个领域，它经由人工智能赋予处理器学习的能力。机器学习可以涉及一种或多种算法，这些算法允许处理器或计算机从示例中学习并对新的看不见的数据点进行预测。在一个或多个实施例中，这样的一种或多种算法可以作为软件或一种或多种程序存储在至少一个存储器或存储介质中，并且软件或一种或多种程序允许处理器或计算机执行在本公开中描述的处理的(一个或多个)操作。
[0341]
类似地，本公开和/或其设备、系统和存储介质和/或方法的一个或多个组件也可以与光学相干断层扫描探头结合使用。此类探头包括但不限于在美国专利no.6,763,261；7,366,376；7,843,572；7,872,759；8,289,522；8,676,013；8,928,889；9,087,368；9,557,154；以及美国专利公开no.2014/0276011和2017/0135584；以及授予tearney等人的wo 2016/015052中公开的oct成像系统，以及促进光致发光成像的布置和方法，诸如在授予tearney等人的美国专利no.7,889,348中公开的那些，以及美国专利9,332,942和美国专利公开no.2010/0092389、2011/0292400、2012/0101374和2016/0228097及wo 2016/144878中公开的针对多模态成像的公开内容，其中每一个专利和专利公开都通过引用整体并入本文。
[0342]
虽然已经参考特定实施例描述了本文中的公开，但是应该理解的是，这些实施例仅仅是对本公开的原理和应用的说明(并且不限于此)，并且本发明不限于所公开的实施例。因此应该理解的是，可以对说明性实施例进行许多修改并且可以设计其它布置而不背离本公开的精神和范围。以下权利要求的范围应赋予最广泛的解释，以涵盖所有此类修改以及等同结构和功能。