光学相干断层扫描血管造影的质量图的制作方法

光学相干断层扫描血管造影的质量图
发明领域
1.本发明主要涉及光学相干断层扫描(oct)系统。更具体地，本发明涉及确定oct和oct血管造影扫描的质量度量并生成质量图的方法。


背景技术：

2.光学相干断层扫描(oct)是一种使用光波穿透组织并在组织内的不同深度产生图像信息的非侵入式成像技术。基本上，oct系统是一种干涉成像系统，其通过检测从样本反射的光与参考光束的干涉来确定样本沿oct光束的散射轮廓，以创建样本的三维(3d)表示。可以将深度方向(例如，z轴或轴向)上的每个散射轮廓单独地重构为轴向扫描或a扫描。横截面切片图像(例如，二维(2d)二等分扫描或b扫描)和体积图像(例如，三维(3d)立方体扫描或c扫描)可由随着oct光束扫描/移动通过样本上的一组横向(例如，x轴和y轴)位置而获取的多个a扫描构建。oct系统还允许构造组织体积的选定部分(例如，目标组织切片视图(子体积)或目标组织层，诸如眼睛的视网膜)的平面前视图(例如，面部)图像。
3.在眼科领域内，最初开发oct系统以提供结构数据，例如视网膜组织的横截面图像，但现今也可提供功能信息，例如流量信息。尽管oct结构数据允许人们观察视网膜的不同组织层，但是oct血管造影(octa)扩展了oct系统的功能，还识别(例如，以图像格式呈现)视网膜组织中流量的存在或缺乏。例如，octa可通过在同一视网膜区域的多次oct扫描中识别随时间的差异(例如，对比度差异)并将满足预定标准的差异指定为流量来识别流量。虽然由oct系统产生的数据(例如，oct数据)可以包括oct结构数据和oct流量数据两者，这取决于oct系统的功能，但是为了便于讨论，除非另外说明或从上下文中理解，oct结构数据在本文中可以被称为“oct数据”并且oct血管造影(或流量)数据在本文中可以被称为“octa数据”。因此，oct可以说是提供结构信息，而octa提供流量(例如，功能)信息。然而，由于oct数据和octa数据都可以从相同的一个或多个oct扫描中提取，所以术语“oct扫描”可以被理解为包括oct结构扫描(例如，oct采集)和/或oct功能扫描(例如，octa采集)，除非另有说明。下面提供oct和octa的更深入的讨论。
4.octa提供了结构oct中未发现的有价值的诊断信息，但octa扫描可能存在采集问题，这可能使其质量不尽如人意。量化oct扫描质量的现有尝试集中在oct结构数据上，并且通常依赖于信号强度测量，例如在d.m.stein等人的《英国眼科学杂志》2006,90:186-190的“一种新的光学相干断层扫描质量评估参数”中所描述的。虽然已经发现用于评估oct结构数据的信号强度测量是有用的，但是这样的方法在octa数据中的使用是有限的，因为导出的流量信息的质量取决于没被包括在这样的量化中的许多其他因素。
5.因此，octa扫描质量通常由观察者主观地确定，以便确定特定octa采集(例如，octa扫描)是否可用于诊断或包括在广泛研究中。该方法的实例可见于：“糖尿病患者的定量光学相干断层扫描血管造影指标的决定因素”，tang fy等人，《科学报告》，2018；8:73 14；“隐形眼镜相关角膜血管化扫描源光学相干断层扫描血管造影”，ang m等人，《眼科杂志》，2016,2016,9685297；以及“眼睛跟踪技术对年龄相关性黄斑变性oct血管造影成像质
量的影响”，劳尔曼等人，《格拉菲斯临床和实验眼科学档案》，2017，255:1535。然而，这些方法极其主观且耗时。此外，当患者离开诊所时，通常在a-后验扫描检查期间的患者检查之后评估主观质量，使得不可能尝试和获取更好质量的附加扫描以替换低质量数据，并且导致数据丢失或不确定的诊断。即使对于能够在患者仍在诊所中时主动地判断采集期间的octa扫描的质量的操作者，当前也不存在具有将有助于建立用于重新扫描或用于提高后续采集质量的客观质量截止度量的定量质量分数的指导。
6.本发明的目的是提供用于提供oct/octa数据的客观质量度量的系统/设备/方法。
7.本发明的另一个目的是提供oct/octa扫描何时质量不足并且可能需要重新进行的快速确定。
8.本发明的另一个目的是提供基于逐个a扫描的octa数据的质量度量。
9.本发明的又一目的是提供一种octa数据的(例如，2d或3d)质量图，其可视地识别octa扫描的可能具有较差质量的部分，例如，如由本系统/方法/设备所确定的。


技术实现要素：

10.在用于识别低质量oct扫描(或oct扫描内的低质量部分，例如oct结构扫描和/或octa功能扫描)，识别低质量的可能来源以及推荐(或实施)用于改进后续oct扫描的校正动作的方法/系统/设备中满足了上述目的。另外，也可以提供oct扫描的质量图。
11.例如，本系统/方法/设备可以提供描述oct/octa采集的质量的一个或多个(例如，2d和/或3d)定量质量图，例如，在每个人脸位置(例如，像素或像素区域/窗口位置)。得到的质量图与在相应的面部位置处从采集所产生的切片中观察到的主观质量度量(例如，由人类测试者提供)很好地相关。可选地，质量图中的值可以被平均以提供用于采集的整体质量分数，其也被发现与主观质量等级很好地相关。这与先前的质量评估方法相反，先前的质量评估方法确定与噪声基线相比在oct结构部件中记录的总信号强度的测量。这种先前的方法不提供octa流量分量的可靠质量值或位置特定的质量值。所附权利要求更详细地描述了本发明。
12.系统/方法/设备还可以识别和输出用于低质量采集或低质量区域的一个或多个可能的源/原因。例如，系统/方法/设备可以将低质量采集的源识别为不正确的聚焦、不透明(例如，白内障或不透明介质的漂浮物)、低于预定阈值的照明(例如，可能由小瞳孔引起)、跟踪问题(例如，由于眨眼)，并且建议校正动作，例如校正/调整焦点、建议替换成像角度以避免不透明、识别瞳孔扩大的需要，以及识别眼睛跟踪损失的可能原因。该信息可用于在数据采集期间向系统操作员(或oct系统内的自动/半自动子系统)提供推荐，该推荐可用于采集重复扫描以实现更好的图像质量。例如，oct系统可以使用该信息来自动地(或半自动地，例如响应于来自系统操作者的ok输入信号)采取所推荐的校正动作以改善后续的扫描采集。
13.通过结合附图参考下面的描述和权利要求，本发明的其它目的和成就以及更全面的理解将变得明显和明白。
14.在此可以引用或引用若干出版物以便于理解本发明。本文引用或提及的所有出版物通过引用整体并入本文。
15.这里公开的实施例仅是示例，并且本发明的范围不限于它们。在一个权利要求类
别例如系统、设备或方法中提及的任何实施例特征也可以在另一权利要求类别例如系统、设备或方法中要求保护。所附权利要求中的从属或引用仅出于形式原因而选择。然而，也可以要求保护由对任何先前权利要求的有意引用产生的任何主题，使得权利要求及其特征的任何组合被公开并且可以要求保护，而不管在所附权利要求中选择的从属性。
附图说明
16.优先权申请美国序列号63/119377和63/233033包含至少一个彩色附图，并在此并入作为参考。
17.在附图中，相同的参考符号/字符表示相同的部分：
18.图1示出了一组haralick特征，其在250微米的圆形邻近区以逐个像素的滑动窗口从视网膜流切片提取。
19.图2提供了根据本发明的示例性训练方案工作流的表示。
20.图3提供根据本发明的示例性应用(或测试)阶段工作流的表示。
21.图4说明了减少重叠比的效果，例如增加计算速度，以及当前高斯滤波的应用。
22.图5提供了根据本发明将外推法应用于具有标准滤波的质量图以填充非数量(nan)值(例如，沿着质量图的周边填充nan值)的示例性结果，其中质量图是从视网膜血管造影切片(例如，正面图像)获得的。
23.图6a至图6e示出了用于使用1-5标度来分级流量图像质量的各种示例性准则。
24.图6f示出了来自良好质量扫描的结果的第一示例(顶行，gd1)和来自整体较差质量扫描的结果的第二示例(底行，pr1)。
25.图7提供了用于特征提取(分别为max_flow、avg_struc、max_struc和min_stuc)的四个切片71-74的示例以及所考虑的邻域(白圈)的标记，以及所得到的目标质量图75。
26.图8a提供了在通过使用二次多项式应用调整(校正)之前训练数据中预测值的结果的图。
27.图8b提供了应用二次多项式调整/校正后的结果。
28.图9说明当考虑基本真值时平滑平均分级器图的效果。
29.图10a显示了对训练组中所有图像的所有像素的平均分值关于预测值的分析，其中横轴表示专家分级器的平均给定分值，而纵轴表示训练模型的预测分值。
30.图10b提供失败情况的百分比，因为对于训练集中的图像，失败的阈值被认为是变化的，其中失败被定义为与基本真值的偏差高于1个质量点的图像的给定比率(例如，百分比或分数)。
31.图11显示比较视网膜切片111的示例结果，从三个专家分级器112收集的基本真值质量分数、当前算法113的质量分级结果、以0-5灰度级按比例设计的基本真值与算法质量图114之间的差异以及与基本真值和算法质量图的偏差大于1.0质量分数115的区域。
32.图12a是测试组中所有6500000个数据点的平均分级器分数值关于预测值的图。
33.图12b显示所遇到的失败情况的百分比，考虑失败的阈值，训练集中的图像的失败被认为是变化的，失败被定义为图像的给定比率(例如，百分比或分数)，该图像具有与基本真值的高于1个质量点的计算质量度量偏差。
34.图13a示出了被认为可接受的三个图像的示例性结果，给定该20％合格偏差极限。
35.图13b示出了从给出相同20％偏差极限的26个分析中被认为是次优的三个图像的示例。
36.图14示出了针对不同的3
×
3mm octa采集(成对地组织)从第一患者的右眼(左边四个图像)和左眼(右边四个图像)生成/获得(使用本发明)的质量图的第一示例。
37.图15示出了针对不同的3x3mm octa采集(成对地组织)从第二名患者的右眼(左边四个图像)和左眼(右边四个图像)获得的质量图的第二示例。
38.图16示出了针对不同视场(fov)的octa采集从患者右眼获得的质量图的示例：3x3mm、6x6mm、9x9mm和12x12mm。octa采集(成对地组织)以类似于图14的方式显示。
39.图17提供每个人类分级器和使用三个人类分级器的平均值作为基本真值测试数据的算法的可接受结果的百分比。
40.图18提供通过将每个分级器的注释(依次从建立基本真值测试数据的那些中单独去除)和算法的结果与其他两个剩余分级器的作为基本真值测试数据的平均结果进行比较而获得的可接受结果的百分比。
41.图19示出了适用于本发明的用于收集眼睛的3d图像数据的通用频域光学相干断层扫描系统。
42.图20示出了人眼的正常视网膜的示例性oct b扫描图像，并且示例性地识别各种规范视网膜层和边界。
43.图21示出了正面脉管系统图像的示例。
44.图22示出了示例性的脉管系统b扫描(octa)的图像。
45.图23示出了多层感知器(mlp)神经网络的示例。
46.图24示出了由输入层、隐藏层和输出层组成的简化神经网络。
47.图25示出了示例卷积神经网络结构。
48.图26示出了示例u-net结构。
49.图27示出了示例计算机系统(或计算设备或计算机)。
具体实施方式
50.光学相干断层扫描(oct)系统扫描可能会遭受可能不良地影响采集/扫描质量的采集问题。此类问题尤其包括：错误聚焦、存在不透明介质的漂浮物、低照度(例如，在从0到10的标度上信号强度小于6)、低光穿透(例如，小于目标穿透值的一半，或小于5μm)、跟踪/运动伪影，和/或高噪声(例如，高于预定阈值的均方根噪声值)的存在。这些问题可能不利地影响oct系统数据的质量，例如在b扫描或正面视图(例如，以切片的形式)中所示，并且可能不利地影响应用于oct系统数据的数据提取(或图像处理)技术或算法的精度，如分割或血管密度量化技术。因此，低质量的oct系统数据，特别是octa数据，可能潜在地使正确的诊断变得困难。因此，需要以定量方式评估所获取的oct/octa扫描的质量，以便快速确定扫描的可行性或有效性。
51.oct结构数据的质量通常基于总信号强度值来确定。通常，如果总信号强度值低于预定阈值，则整个oct结构扫描被认为是不良的，例如扫描失败。因此，基于信号强度的质量度量仅提供(例如，输出)用于整个体积视场(fov)的单个质量值/测量，但是当试图评估例如其结构信息从一个扫描位置到另一扫描位置变化的正面图像的质量时，该方法不是一种
足以调整的可靠方法。该方法也特别不适用于评估octa采集的质量，该采集提供功能、流量信息而非结构信息。因此，申请人的理解是，没有商业上可用的方法来自动和定量地评估octa扫描中的流量信息的质量，无论是作为每次扫描的唯一值还是以质量图的形式。
52.在此提供了一种用于生成oct系统数据的质量图的系统和方法，oct系统数据的质量度量可以在整个采集上(例如，在所希望的fov上)变化。当前讨论的一些部分可以将本发明描述为应用于oct结构数据或octa流量数据中的一个或另一个，但是应当理解，除非另有说明，本发明的描述也可以应用于oct结构数据或octa流量数据中的另一个。
53.本发明提供了一种用于在oct系统数据中的多个图像质量位置/位置(例如，在每个扫描位置(例如，每个a扫描位置)或可以跨越多个a扫描位置的每个质量度量窗口位置(或像素邻域))中的每一个处定量地度量oct系统数据的相对质量的系统和方法。虽然本质量评估方法可以应用于任何oct系统数据观察/成像技术(例如，正面、a扫描、b扫描和/或c扫描图像)，但是为了便于讨论，这里主要将本方法描述为应用于正面图像(除非另有说明)，同时应当理解，相同的(或与本领域技术人员所理解的基本相似的)方法/技术可以应用于任何其他oct系统数据观察/成像技术(例如，a扫描、b扫描和/或c扫描图像)。
54.本系统/方法可以在每个图像质量位置(例如，每个正面位置(例如，像素或图像质量窗口或像素邻域))邻近区评估oct/octa数据的一组纹理属性，并且为该位置(和/或邻近区)分配与扫描质量相关的定量质量分数。在正面图像的情况下，结果是二维质量图，其描述了在每个正面位置处的扫描质量，例如通过使用指示图像质量的色码(或灰度码)。
55.此质量图可被用于判断/确定/计算跨越其fov的个别扫描的质量，量化同一受检者在每一正面位置处的若干采集(例如，oct系统扫描采集)之间的质量差异，和/或提供每一采集的整体质量量度(例如，度量)，例如通过对质量图值进行平均化。如下面更详细讨论的，octa流量数据可以通过识别同一组织(例如视网膜)区域的多次oct扫描(或采集)中随时间的对比度差异来确定。可针对用于定义octa流图像的个别oct扫描确定本发明的质量图技术，且可对个别oct扫描的质量图求平均值以定义用于其定义的octa流量图的质量图。可替代地或另外地，本质量图技术可以直接应用于所定义的octa流量数据或图像(其可以基于来自多次oct扫描的对比度信息或其他流量指示数据)。任选地，这个直接确定的octa质量图还可以与定义octa流量数据/图像的单独oct扫描的质量图组合(例如，加权平均，例如，朝向直接确定的octa质量图相等地加权或更重地加权)。
56.不管怎样，所定义的质量图(或采集的整体质量度量)可以向oct系统操作员提供重要信息，以确定何时采集质量低并且需要重新进行扫描(例如，oct扫描或octa扫描)。本系统可以进一步识别低质量的一个或多个可能原因并输出(例如，到系统操作员或到oct系统的自动/子自动子系统)旨在在后续采集中获得更好质量的扫描的建议。例如，如果质量图指示采集中的至少预定义目标视网膜区域(例如，预定义关注区域roi)低于预定义阈值质量度量，或者如果采集的总度量低于预定义阈值总质量度量，则质量图(或总度量)可用于确定需要另一采集的自动化系统中。然后，自动系统可以自动地或响应于来自系统操作员的批准输入信号而启动另一采集。本系统还可以识别用于改善采集质量的一个或多个校正措施(动作)，并且在发起另一采集之前自动地做出所识别的校正措施中的一个或多个。可替代地或另外地，同一视网膜区域的多个采集的质量图(例如，octa质量图)可以彼此比较，并且多个采集的最佳质量(或更高质量)部分/区域(如从它们各自的质量图(例如，逐像
素或逐窗口)确定的)可以被组合以定义比单独采集(oct和/或octa采集)中的每一个具有更高整体质量的复合采集。
57.本发明的特定实施例应用于在正面级别的octa采集。本实施例生成描述每个正面位置处的octa采集(扫描)质量的2d定量图。该技术首先从由octa体积获得的切片可视化(例如，正面图像)中的像素邻域中提取与图像纹理和其他特征相关的一组特征。为不同的像素邻域提取特征，并以滑动窗口方式将其分配给邻域。例如，窗口可以是任何形状(例如，矩形、圆形等)并且包含预定数量的像素(例如，3
×
3像素窗口)。在每个窗口位置处，可以使用来自窗口内的多个(例如，所有)像素的信息来为窗口内的目标像素(例如，中心像素)确定特征。一旦确定了目标(例如，中心)像素的特征，就可以将窗口移动一个(或多个)像素位置，并在新的窗口位置中移动为另一像素(例如，新的中心像素)确定的新特征。结果是一组二维特征图，每个描述了在每个正面位置处的不同图像特征。这些特征可以手工制定(例如：强度、能量、熵)或使用深度学习方案(或其他机器学习或人工智能技术)作为训练的结果来学习。机器学习技术的示例可以包括人工神经网络、决策树、支持矢量机、回归分析、贝叶斯网络等。通常，机器学习技术包括一个或多个训练阶段，随后是一个或多个测试或应用阶段。下面提供对例如可用于本发明的神经网络的更详细的讨论。
58.在一个或多个本发明机器学习方法的训练阶段中，在机器学习或深度学习方法中组合从一组训练octa采集中获得的二维特征图的集合，以产生具有对应于先前由(人类)专家分级器对同一组采集手动提供的质量分值的输出的模型。此外，还可以训练该模型以指示可以从图像中推导出的先前注释的常见采集问题，例如错误聚焦、低照度或光穿透、跟踪/运动伪影等。
59.在测试或应用阶段中，将从训练阶段学习到的模型应用于从未看到的数据(例如，在训练阶段中未使用的数据)获得的二维特征图的集合，以产生2d质量图作为输出。可以将单独的质量度量(或2d质量图的一个或多个子区域(例如，部分面积/部分)的组合质量度量，诸如通过对相应子区域内的单独质量度量进行平均)与预定的最小质量阈值进行比较，以识别扫描中低于期望质量阈值的区域。可替换地或附加地，2d质量图中的值也可以在整个图中被平均以产生整体质量分数。另外，如果模型被训练以指示图像中可能的采集问题，则特征图也可用于在未见的测试图像中提供这种信息。下面更详细地讨论该方法的不同部分。
60.提取特征图
61.根据octa立方体产生单个正面图像(或切片)或n个多个正面图像。分析这些正面图像中的每一个以产生一组m特征图。如上所讨论，这些特征图可以从每个正面位置的给定邻近区(例如，窗口或像素邻域)中的已知手工图像属性(例如，梯度、熵或纹理)来设计，或者是深度学习(或其它机器学习)方案中的中间层的结果。结果是每个octa采集的一组n
×
m特征图。
62.对于每个手工制作的图像属性(或来自深度学习方案的抽象属性)和所生成的切片，考虑滑动窗口方式方法来生成来自具有与切片相同尺寸的集合的单个图，其中考虑每个像素的邻近区来生成唯一属性值(例如，纹理值，诸如一个或多个haralick特征)。这种属性值被分配给图中的像素邻近区。当滑动窗口移动时，以切片中的不同像素位置为中心，考虑为每个邻近区计算的值，对每个邻近区中的结果值进行平均。可以取决于应用以不同的
方式定义邻近区，例如矩形或圆形邻域。以类似的方式，可以取决于应用来定义滑动窗口方法中的邻域和重叠的范围。例如，图1示出了一组22个haralick特征h1到h22，其在250微米的圆形邻近区用逐个像素的滑动窗口11从视网膜流量切片13提取，如箭头15所示。haralick特征或haralick纹理特征是从矩阵或图像区域中提取纹理特征的领域公知的数学方法。关于haralick特征的更详细的讨论可以在robert m.haralick的1979年的“纹理的统计和结构方法”ieee期刊，第67卷，第5期，第786-804页中找到，本文以引用的方式全文并入。
63.训练阶段
64.图2提供了根据本发明的示例性训练方案工作流的表示。本示例示出了k个训练octa采集(扫描)样本a1至ak。对于每次采集，可以生成n个切片(例如，正面图像)23，以及可以为n个切片23中的每一个限定m个特征图25(例如，如图1所示的haralick特征)。本示例可以使用整体分数方法来训练，其中octa采集被给予单个整体(例如，质量)分数值，和/或可以使用基于区域的分数方法来训练，其中octa采集被划分成多个区域(例如，p个不同区域)并且每个区域被给予相应的(例如，质量)分数。如何定义训练矢量可以取决于是使用整体分数方法还是使用基于区域的分数方法。不管怎样，为了讨论的目的，用于每个octa采集的训练矢量在这里被称为“案例”。因此，图2示出了k个案例(例如，案例1到案例k)，每个octa采集a1到ak有一个案例。可选地，附加标签27(例如，整体质量、区段质量、图像或生理或其他识别特征等)可以与特征图组合以定义相应的情况，如箭头29所示。然后可以将案例1到案例k提交给模型训练模块31，该模型训练模块输出所生成的模型33。
65.总之，可以用给予octa扫描整体的整体质量分数和/或信息分数和/或给予octa扫描的特定区域的基于区域的分数来进行训练。例如，如果提供整体分数(例如，每octa采集)，则每个特征图的平均值(或任何其他聚合函数)可用于提供相应的单个值。在这种情况下，根据单个octa采集(例如，a1)，可以生成单个n
×
m特征矢量以用于训练(例如，训练输入)，并且所提供的总值作为训练结果(例如，训练目标输出)。或者，如果为每个采集提供基于区域的分数，则每个特征图(例如，按区域)的平均值(或任何其他聚合函数)可以用于训练，从而产生多个训练实例。
66.在这种情况下，如果在p个不同区域中对octa采集/扫描进行分级，则这将说明要训练p个数量的n
×
m个特征矢量[f1至f
p
]，以及作为训练结果(例如，训练目标输出)的p个对应值。该方法对于训练阶段的不同标记是灵活的，即使对于具有每个采集的整体的整体分数的训练的情况也是如此。这加速了训练数据的收集，因为图像可以用分数对图像进行分级。
[0067]
用高阶多项式调整预测分数
[0068]
取决于用于训练根据本发明使用的算法的模型和数据，可以对所产生的质量分值进行附加调整。例如，使用线性模型来描述基于特征与拟合权重的组合的质量(如线性回归)可能不适当地遵循主观方式分数，并且可能需要调整。即，不能保证1和2的分数之间的定量差异与2和3的分数之间的差异相同。另外，使用其中一些特定分数比其它分数更多表示的训练数据可导致模型不平衡，其可产生调整到给定分数的更好结果，同时对于其它分数具有较大误差。减轻这种行为的一种方式是通过使用比最初考虑/用于训练模型的多项式更高阶的多项式将模型预测的分数的附加调整或拟合添加到给定的目标分数。例如，当
使用线性模型来训练算法时，可以考虑二次多项式来调整预测分数以更好地表示目标数据。下面提供了这种调整(例如，应用于线性模型)的示例。
[0069]
应用阶段
[0070]
图3提供根据本发明的示例性应用(或测试)阶段工作流的表示。以类似于图2的训练阶段的方式，在应用阶段，从先前在训练阶段中没有看过/使用的样本octa采集45中提取相应的切片41和特征图43。如框47所示，从训练阶段(图2所示)获得的所生成的模型33可以以滑动窗口方式应用于特征图43的给定像素邻近区，产生每个像素邻近区的结果值。当滑动窗口移动时，以特征图的不同像素位置为中心，考虑为每个邻近区计算的值，对每个邻近区中的结果值进行平均。结果是octa采集45的每个正面位置的地图，例如指示血管造影质量(或模型被设计为表征的任何其他属性或信息)的质量图49。所得到的图49中的值也可以被聚合(例如，通过平均)以为采集45提供整体值(例如，质量分值)。
[0071]
后处理
[0072]
当使用纹理邻近区来预测所得到的w
×
h(宽度
×
高度)维的质量图中的单个像素的质量时，需要评估总共w
×
h个邻近区以产生完整的图。该过程可以以滑动窗口方式应用，但是可能花费比最佳/期望的更长的时间来逐像素地滑动窗口，因为特征提取过程和模型预测在计算上可能是昂贵的。为了加速该过程，可以将滑动窗口定义为在所考虑的邻近区具有给定的重叠，并且在重叠的邻近区具有平均值。虽然邻近区之间的较低重叠对于更快的计算是期望的，但是当重叠太低时，这可能导致像素化图像具有突然的转变。为了对此进行校正，可以使用/应用所生成的质量图的高斯滤波。由于具有较低重叠比的较大邻近区可能需要更积极的滤波，该高斯滤波可以适应于所定义的邻近区尺寸和邻近区之间的重叠比，以产生具有最小图像破坏的视觉上令人愉悦的结果。示例性滤波参数可以被定义为以下方式：
[0073]
[σ
x
,σy]＝[2
·
(radfeatpix
x
/3)
·
(1-overlapr
x
),2
·
(radfeatpixy/3)
·
(1-overlapry)],
[0074]
[filter_radius
x
,filter_radiusy]＝[(2
·
radfeatpix
x
) 1,(2
·
radfeatpixy) 1]，
[0075]
其中σ
x
和σy是高斯滤波的σ参数；filter_radius
x
和filter_radiusy是滤波函数的滤波半径(程度)；radfeatpix
x
和radfeatpixy分别是水平和垂直方向上的邻近区的以像素为单位的邻域(或窗口)尺寸；并且overlapr
x
和overlapry分别是在水平和垂直方向上定义的重叠比。
[0076]
图4说明了减少重叠比的效果，例如增加计算速度，以及当前高斯滤波的应用。框b1在对从95％重叠到50％重叠的重叠比实例进行滤波之前提供给定输入图像的色彩质量图和/或灰度质量图结果。框b2在应用高斯滤波之后提供相同质量图的色彩图和/或灰度图。可以看出，减小重叠比在滤波之前在图像中的邻近区之间产生更多的像素化和突变的行为，但是这种效果可以通过应用适当的滤波来减小，同时仍然产生基本上类似于所采用的更高重叠比的结果。例如，在滤波之后，具有50％重叠的质量图与具有85％或95％重叠的质量图之间几乎没有差别。
[0077]
图4进一步示出滑动窗口方法的限制之一是当使用圆形邻域时，不是所有的图像边界位置都将被评估，因为不是所有的圆形邻域都将能够分配具有给定半径和重叠比的邻
域。当应用高斯滤波时，这个问题可能更明显，因为没有信息的区域(例如，“非数字”或“nan”)不能被包括在滤波过程中。可通过应用高斯滤波来消除此效应，使得其忽略具有适当加权的nan像素，和/或外推以在此类nan像素中产生值。这可以通过以下步骤实现：
[0078]
1)定义与所有像素值均为1的质量图尺寸相同的图：img1
[0079]
2)将未滤波质量图中和img1中的所有nan位置替换为值0
[0080]
3)将高斯滤波应用于img1
[0081]
4)将高斯滤波应用于未滤波质量图
[0082]
5)将步骤4的结果除以步骤3的结果
[0083]
为了进行比较，图5提供将上述nan值的外推应用于具有从视网膜血管造影切片(正面图像)55获得的标准滤波53(例如，颜色或灰度)的质量图的示例性结果51(例如，颜色或灰度)。此操作的结果是经滤波的图51(例如，颜色或灰度)，其具有以nan位置正确外推的值。
[0084]
训练方案
[0085]
这里提供了用于训练和测试模型以表征视网膜流octa切片中的主观血管造影质量的示例。在从多个采集(例如，72或250个octa扫描，每个扫描是6
×
6mm octa扫描)收集的视网膜流量切片上训练模型。
[0086]
收集的注释
[0087]
一组(例如，人类)分级器例如使用数字分级标度独立地分级在每个正面切片中的每个像素位置处的每个采集。例如，每个分级器可以使用分级标度根据每个区域的相应质量在每个切片内描绘不同的区域。数字分级标度可由范围从1到5的质量值组成，其中1可指示最差质量(不可用数据)且5可指示最佳质量(最佳)。图6a至图6e示出了使用1-5等级标度对流量图的质量进行分级的各种示例性准则(或其示例)。手动分级输出还可用于定义流量质量算法中的haralick系数的一个或多个权重。
[0088]
图6a是使用1-5质量等级标度将各个质量等级分配给正面流量图61的不同区域的单独质量分级的第一示例。为了便于说明，每个区域由其等级值和相应的颜色编码或线图案或亮度强度边界来识别。例如，蓝色或黑色实线边界对应于等级1，红色或灰色实线边界对应于等级2，绿色或长虚线边界对应于等级3，淡紫色或短虚线边界对应于等级4，黄色或虚线边界对应于等级5。在本实例中，等级5(黄色/虚线周边区域)识别具有极佳亮度和对比度的最高质量的图像区域，如通过(例如，人类)专家分级器所确定。等级5的区域显示出优异的亮度和/或对比度，毛细血管被很好地描绘，并且分级器可以跟随毛细血管。在分级器的估计中，等级5的区域是可实现的最佳图像质量的示例。等级4(淡紫色/短虚线区域)识别亮度和/或对比度降低的图像区域(与等级5区域相比)，但是分级器仍然可以很好地跟随毛细血管。等级3(绿色/长虚线区域)的质量低于等级4，但是分级器仍然可以推断(或猜测)毛细血管的存在，具有一些不连续性。因此，在3级区域内，分级器可能错过一些毛细血管。等级2的区域(红色/固体灰色区域)具有比等级3低的质量，并且限定了这样的区域，其中分级器可以看到大血管之间的一些信号，但是没有分辨毛细血管。在等级2的区域内，毛细血管之间的一些区域可能错误地表现为局部缺血。在等级1的区域(蓝色/实心黑色区域)中，内容物被洗掉，并且分级器认为这些区域不可用。
[0089]
图6b提供了具有类似于图6a的元素的第二示例，这些元素具有类似的附图标记并
在上面定义。图6b示出了诸如由于漂浮物引起的伪像对图像质量的影响。在本示例中，通过注意到在相同区域的其他扫描中不存在这种伪像来识别漂浮物。
[0090]
为了提供可用于训练算法的更准确的注释，视网膜切片的特定区域可能需要具有特定的注释指令。例如，由于中央凹区域通常是无血管的，因此判断毛细血管的可见性会更加困难。下面是将正面流量图分成三个关注区域的例子，分别考虑用于定义分级标准以说明血管形成特征的差异。图6c示出了使用中央无血管区(faz)进行分级，图6d示出了用于分级的鼻侧区段的使用，并且图6e示出了利用图像的其余部分进行分级。
[0091]
在图6c中，等级5再次表示具有优异亮度和/或对比度的最佳图像质量。在这些区域内，分级器可以无困难或犹豫地跟随faz的轮廓。等级4的区域具有降低的亮度和/或对比度，但分级器仍可跟踪faz。在等级3的区域中，毛细血管被聚焦，并且分级器可以跟随具有一些明显不连续性的faz的轮廓。在该区域内，可能错过毛细血管。在等级2的区域中，差的信号阻塞了faz的一些部分，并且一些毛细血管出现在焦点之外。如前所述，1级区域不可用，并且faz内容的至少一些部分被洗掉。
[0092]
在图6d的分级鼻区段的示例中，等级5表示具有优异亮度和/或对比度的最佳图像质量。在等级5区域中，视网膜神经纤维层(rnfl)被很好地描绘，使分级器可以毫无困难地跟随rnfl。等级4的区域具有降低的对比度，但是rnfl图案仍然可以被识别。在等级3的区域中，分级器可以推断(猜测)rnfl的存在，尽管存在一些不连续性。在该区域内，分级器可以推导出存在rnfl毛细血管，但是可能难以追踪单独的毛细血管。等级2表示分级器可能看到大血管之间的一些信号但rnfl不能被解析的区域。在等级2区域内，一些区域可能出现假性缺血。等级1区域被视为不可用。在等级1区域内，中等血管可能看起来模糊，并且内容通常看起来被洗掉。
[0093]
在图6e中，等级5表示具有优异亮度和/或对比度的最佳质量的区域，具有可容易跟随的非常良好描绘的毛细血管。等级4是对比度降低的区域，其中毛细血管仍然可以被跟踪，并且与等级3相比具有更高的可见密度，等级3是可以猜测毛细血管的存在但不能跟随它们的区域。尽管如此，在等级3中，细血管分支聚焦良好(小动脉和小静脉分支聚焦)，但毛细血管的细节丢失。等级2识别仍然可以看到大血管之间的一些信号但毛细血管未分辨的区域。在等级2区域内，细血管可能看起来稍微离焦，并且毛细血管之间的一些区域可能看起来假性缺血(例如，由于漂浮物的存在)。等级1表示不可用区域，通常大血管出现模糊并且内容被洗掉。
[0094]
使用上述分级示例，可以使用例如现有技术中已知的诸如imagej插件的自由绘图工具来收集分级器注释。分级器可以使用任何形状根据区域的质量来绘制和标记切片的区域，目的是用注释区域覆盖整个切片视场。可以对从不同分级器收集的注释进行平均以生成平均手动质量图，该平均手动质量图可以在训练质量图模型时用作目标结果。
[0095]
图6f示出了来自整体良好质量的扫描的结果的第一示例(顶行，gd1)和来自整体较差质量的扫描的结果的第二示例(底行，pr1)。最左边的图像(例如，列c1的图像)是单独的6
×
6血管造影视网膜切片；中心图像(例如，列c2的图像)是具有从1到5标度的质量图值(以灰度级)；并且最右边的图像(例如，列c3的图像)示出了具有从1到5的颜色编码标度或灰度编码标度的视网膜切片(例如，c1)上的质量图重叠，如图所示。本示例性方法评估每个正面位置(例如，像素或窗口/区域)邻近区的octa数据的一组纹理属性，并分配与该位置处
的扫描质量相关的定量分数。结果是描述每个正面位置处的扫描质量的二维质量图。此图可用于判断跨越其fov的单独扫描的质量，量化同一对象在每一正面位置处的多个采集之间的质量差异，或通过对图值进行平均来提供每一采集的整体质量量度。此外，这些质量图还可以向oct/octa操作者提供关于由于质量差而需要重新进行扫描的重要信息和/或旨在在后续采集中获得质量更好的扫描的建议。该算法的其它可能应用包括应用于octa(或oct)数据的其它算法的可靠性测量，从由不同算法进行的量化中自动排除octa扫描的低质量区域，并将它们用作拼贴的相对权重，以及根据它们的质量对来自重叠正面位置中的多个采集的octa切片或octa体积进行平均或拼接。
[0096]
考虑提取的特征
[0097]
对于被考虑用于训练的每个octa扫描，视网膜切片定义可被用于生成四个不同切片图像：通过对每个a扫描位置处的五个最大值像素进行平均而生成的正面流量切片(max_flow)；通过对每个a扫描位置处的值进行平均而生成的正面结构切片(avg_struc)；通过对每个a扫描位置处的五个最大值像素求平均而生成的正面结构切片(max_struc)；以及通过对每个a扫描位置处的五个最小值像素求平均而生成的正面结构切片(min_struc)。可选地，当生成这些正面投影时，不考虑进一步的处理或调整尺寸。对于四个切片图像中的每一个，可以考虑具有给定偏移(例如逐像素偏移或75％(即0.75)重叠)的250微米半径圆形滑动窗口的圆形邻域来提取指示纹理属性的一组22个haralick特征。例如，如果72个图像被分级，这说明了从训练过程中使用的133128个不同邻域中提取88个特征。图7提供了用于特征提取(分别为max_flow、avg_struc、max_struc和min_stuc)的四个切片71、72、73和74以及所考虑的邻域(白圈)的标记的示例，其中提取了八十八个特征(每个图像22个)。还展示所得目标质量图75(例如，彩色或灰度)。
[0098]
可以注意到，从图像中提取的haralick特征可以高度依赖于特定仪器和软件版本的特性，如基线信号电平、内部归一化或可能的内部数据滤波。例如，在本发明的概念验证实现中，用于训练的扫描经历所收集的流体积的3d高斯滤波的内部过程。为了在不支持该内部高斯滤波的后续软件版本中应用该算法，需要预先应用相同类型的滤波。即，在特征提取之前由算法预先滤波使用不包括内部高斯滤波的仪器获得的流体积形式扫描。
[0099]
训练模型
[0100]
在一个示例中，使用lasso回归(广义线性回归模型)来训练所计算的特征图的平均值，以预测采集的整体质量分数。例如，使用lasso回归来训练从133128个邻域中提取的88个特征的集合，以预测对目标质量图中的对应邻域的中心像素给出的手动质量分级，如图7所示。训练lasso模型以选择在预测中会产生最小均方误差的正则化系数(例如，λ)。lasso回归的更详细讨论可参见“通过lasso进行回归收缩和选择，”《皇家统计学会杂志》，b系列(方法论)，wiley，1996，58(1)：第267-88页，robert tibshirani编写，在此全部内容被纳入参考。得到的模型可以以滑动窗口方式(为特征提取定义)应用于不同的采集，以产生血管造影质量图。
[0101]
如上文在“通过高阶多项式调整预测分数”部分中所讨论的，由于在本示例中使用线性模型，并且对于所有1-5个分级考虑不同的数据量，所以使用附加的2次多项式来调整训练的结果。为了比较的目的，图8a提供了该调整(校正)之前的训练数据中的预测值的结果的曲线图，并且图8b提供了应用2次多项式之后的结果(调整/校正之后)。在这两个图中，
水平轴表示每个训练邻域的目标质量图中的给定分数(例如，由专家手动分配的合计)，而垂直轴表示由训练模型预测的分数。同样在两个图中，浅灰色阴影区域表示标准偏差，而深灰色阴影区域表示给定目标分数的预测分数的95％极限。从这两个图，可以观察到在应用当前调整之后，每个给定分数的平均预测如何更接近给定分数，并且预测的置信区间在不同的给定分数上也更稳定。
[0102]
结果
[0103]
为了评估算法的准确性，将自动化算法所产生的质量图与基本真值质量图进行比较。如上所说明，根据在不同分级器上平均的手动区域分级构建基本真值质量图(参见“收集的注释”部分)。由于平均分级器图可呈现急剧转变来自于区域注释处理，并且自动化质量图呈现平滑行为来自于不同区域的移动窗口分析和平滑后处理，因此平均分级器图被平滑以提供公平的比较。这种平滑被认为是自动化算法的预期行为，其使用了具有与在自动化算法的移动窗口处理中使用的区域范围相等的内核的平滑滤波器(在这种情况下，250微米半径的圆形邻域)。
[0104]
图9说明了当被考虑为基本真值时对平均分级器图进行平滑的效果。出于说明的目的，示出了octa视网膜切片91的max_flow图、max_flow图的手动分级器分数92的平均、平滑的平均分级器图93(被视为基本真值)以及本算法94的结果(例如，颜色或灰度)。
[0105]
评价分两步进行：(1)首先分析用于训练算法的相同数据上的行为以理解最佳预期行为；以及(2)然后分析单独测试图像集中的行为。
[0106]
预期结果-根据训练数据的分析
[0107]
虽然分析用于训练的相同数据中的传统准确度通常不表示独立测试数据中的预期结果，但是在本示例中，使用线性模型来拟合非常大量的实例，以数量少得多的提取特征作为预测因子，因此过度拟合是极不可能的，并且该结果很好地说明了在独立测试数据中的预期。对训练数据中获得的结果进行分析，以理解算法的最佳预期行为，并设置可被认为是良好结果和非最优结果的界限。
[0108]
回到图9，其示出了在用于训练该算法的一种情况下获得的示例结果，可以观察来自该算法的自动结果94如何以及在什么程度上类似于在平滑平均分级器分数93(用作基本真值)中收集的那些。在审查训练案例中的结果后，从主观观点来看，所有结果均为“可接受”。
[0109]
为了理解来自该算法的结果与训练数据中的基本真值有多接近，将由该算法在来自训练集中的所有案例(总共14,948,928个数据点)的所有像素中预测的值与基本真值中的值进行比较。图10a显示了对训练集中所有图像的所有像素的平均分级器分数值与预测值的分析，其中横轴表示专家分级器的平均给定分数值，而纵轴表示训练模型的预测分数值。浅灰色阴影区域和深灰色阴影区域分别表示给定目标分数的预测分数的标准偏差和95％极限。可以观察预测的平均分数如何类似于平均分级器分数。预测分数的离群值会引起较大的尾部，但是在不同的质量水平上，差异的标准偏差和95％极限大部分落在指定质量的0.5和1.0点以下。
[0110]
训练数据上的结果用于确定什么可以构成最优和次优结果，最终在建立算法要求时可以帮助确定通过和失败比率。为了这样做，当改变被考虑为失败的阈值时，可以确定什么是失败案例的百分比，如图10b所示，失败被定义为图像的给定比率(或百分比)与基本真
值的偏差大于1个质量点。即，图10b提供了失败案例的百分比，因为对于训练集中的图像，被考虑为失败的阈值是变化的，其中失败被定义为与基本真值的偏差高于1个质量点的图像的给定比率(例如，百分比或分数)。由于认为偏差大于1的图像的较小部分(例如，分数或百分比)是失败的，因此会看到较大百分比的失败案例，因为这将是更限制性的要求。观察到当将比率阈值设置为0.2时，本算法在训练数据中没有产生失败。即，通过将对可接受结果的要求设定为不超过20％的图像可具有与基本真值的偏差大于1个质量点，所有结果在训练集图像中将是可接受的。该分析用于进一步评价独立测试数据的结果。
[0111]
5.2独立测试数据的结果
[0112]
作为概念验证实现的一部分，分析了与训练集中使用的不同的眼睛的26次6
×
6mm octa扫描作为独立测试数据。如上“考虑提取的特征”部分所表示，在特征提取之前由算法预先滤波使用不包括内部高斯滤波的仪器版本采集的扫描的流体积。按照与训练数据相同的方法，在每个正面切片中的每个像素位置处，由三个不同的专家分级器独立地手动标记每个扫描的视网膜octa流量切片，如以上在“收集的注释”部分中所讨论的。
[0113]
图11显示比较视网膜切片(“视网膜octa正面，”111)、从三个专家分级器收集的基本真值质量分数(“光滑平均分级器图，”112)、当前算法的质量分级结果(“算法质量图，”113)、具有0-5灰度标度的基本真值与算法质量图之间的差异(“分级器和算法的差异，”114)以及与基本真值和算法质量图的偏差大于1.0质量分数的区域(“差异》1的区域，”115)的示例性结果(例如，颜色或灰度)。可以观察到，对于该特定示例，算法的结果平均上类似于从专家分级器收集的那些，并且还类似于视网膜切片的质量，在图像的左侧具有明显较低质量的区域。还可以看到，通过分析训练数据，借助于早前设定的算法标准，如何认为这种案例是可接受的：例如，算法与基本真值之间大于1.0的偏差程度小于图像的20％。
[0114]
类似地，将由算法在来自测试集中的所有案例(总共6,500,000个数据点)的所有像素中预测的值与基本真值中的值进行比较。图12a是测试集中所有6,500,00个数据点的平均分级器分数值与预测值的图。该图表示平均而言，预测分数类似于平均分级器给出的分数。观察到的尾部小于训练组，但差异的标准差(例如，图上的浅灰色区域)和95％极限(图上的深灰色区域)似乎略大于训练集。这可能是因为用于训练算法的数据提供了更好的拟合以及在测试集基本真值中只使用3个分级器，这可能说明了可靠性较低。图12b显示所遇到的失败案例的百分比，因为训练集中的图像的被认为是失败的阈值是变化的，失败被定义为图像的给定比率(例如，百分比或分数)，该图像具有与基本真值的高于1个质量点的计算质量度量偏差。使用可接受结果的要求是不超过20％的图像的质量度量与基本真值的偏差大于1(由训练数据确定)，26个图像中的23个是可接受的，这构成88％的图像具有可接受结果。
[0115]
图13a示出了(例如，以彩色或灰度示出)在给定该20％合格偏差极限的情况下被认为是可接受的三个图像的示例结果，并且图13b示出了(例如，以彩色或灰度示出)在给定相同的20％偏差极限的所分析的26个中被认为是次优的三个图像的示例。在图13a和图13b中从左到右，第一列图像是视网膜切片实例(“视网膜octa正面，”131)；第二列图像是相应的基本真值图(“平滑平均分级器图，”132)；第三列是当前算法的相应结果(“算法质量图，”133；第四列表示相应基本真值与算法图结果之间的差异(“分级器与算法的差异，”134，具有0-5灰度的标度；第五列表示偏差大于1的区域(“差异》1的区域”，135)。参考图13b，可以
观察到，虽然失败案例中偏差大于1的区域大于其图像的20％，但是质量图算法仍然产生的结果(例如，列133的质量图)在某种程度上类似于其对应的视网膜切片(例如，列131的视网膜octa正面图像)的质量。
[0116]
图14示出(例如，以颜色或灰度示出)针对不同的3
×
3mm octa采集(成对地组织)，从第一患者的右眼(左边的四个图像)和左眼(右边的四个图像)(使用本发明)生成/获得的质量图的第一示例。每对图像在右侧示出了采集的视网膜流量切片，在顶部具有由读者给出的指定视觉分数，在左侧示出了重叠血管造影质量图，在顶部具有由当前模型计算的总平均分数(重叠还示出了视网膜流量切片)。可以看出，计算的总分数与给定的手动分数很好地相关。另外，与较低质量的区域相比，每个切片中的较高质量的区域被显示为具有较高的区域分数。
[0117]
图15示出了(例如，以彩色或灰度示出)针对不同的3x3mm octa采集(成对地组织)，从第二患者的右眼(左侧的四个图像)和左眼(右侧的四个图像)获得的质量图的第二示例。为了便于讨论，图15的结果以与图14的结果类似的方式显示。在图15的示例中，可以清楚地看到更高质量的采集如何产生更高的总分数，以及每个图像内更高质量的区域如何也具有更高的分数。
[0118]
图16示出(例如，以彩色或灰度示出)针对不同fov：3x3mm、6x6mm、9x9mm和12x12mm的octa采集，从患者右眼获得的质量图的示例。octa采集(成对地组织)以类似于图14的方式显示。图16的示例示出了本方法对于(例如，适应)不同的扫描尺寸如何灵活表现。
[0119]
与读取器间差异性的比较
[0120]
为了更好地理解算法的性能(例如，与人类专家相比)，在示例性应用中，对用于建立被用于训练根据本发明的模型的基本真值训练集(例如，算法)的相同的三个分级器(读取器)给出评估的图像测试集。通过取三个分级器提供的质量评价结果的平均值来定义(例如，针对测试图像集中的每个测试图像)基本真值测试数据。将每一分级器的单独结果和由本算法产生的结果与基本真值测试数据进行比较，且使用用于定义算法的失败的相同质量标准来确定其单独性能，如上文所论述。更具体地，如果测试图像的提交质量数据的20％或更多(例如，不小于20％)偏离基本真值测试数据超过1个质量点，则该测试图像结果被认为是失败。首先，以相同的方式将三个分级器中的每一个做出的注释与用作基本真值测试数据的平均质量图进行比较。图17使用三个人类分级器的平均值作为基本真值测试数据提供每个人类分级器和算法的可接受结果的百分比。尽管该分析是有偏见的，因为来自每个分级器的注释也被包括在用作基本事实测试数据的平均注释中，但是可以观察到来自人类分级器的可接受结果的百分比类似于算法的可接受结果的百分比。实际上，人类分级器中的一个实际上获得比算法更低的可接受结果的比率。
[0121]
为了去除偏差，通过从用于建立基本真值测试数据的数据中去除来自一个分级器的结果，并将去除的分级器的结果与修正的基本真值测试数据进行比较，对每个人类分级器单独地重复该实验。图18提供可接受结果的百分比，该可接受结果是通过将每个分级器的注释(依次从用于建立基本真值测试数据的那些中单独去除)和算法的结果与作为基本真值测试数据的其他两个剩余分级器的平均结果进行比较而获得。如图所示，与基本真值测试数据相比，使用该方法产生单独分级器的可接受结果的百分比低于算法的可接受结果的百分比。图18突出了本算法的良好性能和考虑到图像中分级扫描质量的任务难度和所使
用的严格验证标准时产生类似于平均专家分级器会产生的质量注释的质量图的能力。
[0122]
处理速度
[0123]
在示例性应用中，26个扫描(例如，需要和不需要附加高斯滤波的扫描组合)的平均执行时间为2.58秒(具有0.79标准偏差)。在这26个扫描中，11个扫描需要额外的高斯滤波(算法内部)，而15个扫描不需要。对于需要高斯滤波的那些，平均处理时间是2.9秒(0.96std)，而对于不需要高斯滤波的那些，平均处理时间是2.34秒(0.56std)。
[0124]
以下提供适用于本发明的各种硬件和体系结构的描述。
[0125]
光学相干断层扫描成像系统
[0126]
通常，光学相干断层扫描(oct)使用低相干光来产生生物组织的二维(2d)和三维(3d)内部视图。oct能够对视网膜结构进行体内成像。oct血管造影术(octa)产生流量信息，例如来自视网膜内的血管流。oct系统的示例在美国专利6,741,359和9,706,915中提供，octa系统的示例可以在美国专利9,700,206和9,759,544中找到，所有这些全部内容都被纳入考虑。本文提供了示例性oct/octa系统。
[0127]
图19示出了适用于本发明的用于收集眼睛的3d图像数据的通用频域光学相干断层扫描(fd-oct)系统。fd-oct系统oct_1包括光源ltsrc1。典型的光源包括但不限于具有短时间相干长度的宽带光源或扫频激光源。来自光源ltsrc1的光束通常由光纤fbrl引导以照射样本，例如眼睛e；典型的样本是人眼中的组织。在谱域oct(sd-oct)的情况下，光源lrsrcl例如可以是具有短时间相干长度的宽带光源，或者在扫频源oct(ss-oct)的情况下光源可以是波长可调激光源。通常用位于光纤fbr1的输出与样本e之间的扫描器scnr1扫描光，使得光束(虚线bm)在待成像的样本区域上横向扫描。来自扫描器scnr1的光束可以穿过扫描透镜sl和眼科透镜ol，并且被聚焦到被成像的样本e上。扫描透镜sl可以以多个入射角接收来自扫描器scnr1的光束并产生基本上准直的光，然后眼科透镜ol可以聚焦到样本上。本示例示出了需要在两个横向方向(例如，笛卡尔平面上的x和y方向)上扫描以扫描期望视场(fov)的扫描波束。这种情况的一个示例是点场oct，它使用点场光束扫描样本。因此，扫描器scnr1被说明性地示为包括两个子扫描器：第一子扫描器xscn，用于在第一方向(例如，水平x方向)上扫描穿过样本的点场光束；以及第二子扫描器yscn，用于在横穿第二方向(例如，垂直y方向)的方向上扫描样本上的点场光束。如果扫描光束是线场光束(例如，线场oct)，其可以一次对样本的整个线部分进行采样，则可能仅需要一个扫描器来扫描穿过样本的线场光束以跨越期望的fov。如果扫描光束是全视场光束(例如，全视场oct)，则不需要扫描器，并且可以一次在整个期望的fov上施加全视场光束。
[0128]
不考虑所使用的光束类型，收集从样本散射的光(例如，样本光)。在本实例中，从样本返回的散射光被收集到相同的光纤fbr1中，该光纤被用于引导照明的光。从相同光源ltsrc1得到的参考光经过单独的路径，在这种情况下涉及具有可调光学延迟的光纤fbr2和后向反射器rr1。本领域技术人员将认识到，也可以使用透射参考路径，并且可以将可调延迟放置在干涉仪的样本或参考臂中。所收集的样本光例如在光纤耦合器cplr1中与参考光组合，以在oct光检测器dtctr1(例如，光电检测器阵列、数码相机等)中形成光干涉。虽然示出单个光纤端口到达检测器dtctr1，但是本领域技术人员将认识到，各种设计的干涉仪可用于干扰信号的平衡或不平衡检测。来自检测器dtctr1的输出被提供给处理器(例如，内部或外部计算设备)cmp1，其将观察到的干涉转换成样本的深度信息。深度信息可被存储在与
处理器cmp1相关联的存储器中和/或显示在显示器(例如，计算机/电子显示器/屏幕)scn1上。处理和存储功能可以位于oct器械内，或者功能可以卸载到外部处理器(例如，外部计算设备)上(例如，在其上执行)，所收集的数据可以传送到该外部处理器。计算设备(或计算机系统)的示例在图27中示出。这个单元可以专用于数据处理或执行其他任务，这些任务是非常通用的并且不专用于oct设备。处理器(计算设备)cmp1可包含(例如)现场可编程门阵列(fpga)、数字信号处理器(dsp)、专用集成电路(asic)、图形处理单元(gpu)、芯片上系统(soc)、中央处理单元(cpu)、通用图形处理单元(gpgpu)或其组合，其可与一个或多个主机处理器和/或一个或多个外部计算设备以串行和/或并行方式执行一些或全部处理步骤。
[0129]
干涉仪中的样本和参考臂可以由体光学、光纤光学或混合体光学系统组成，并且可以具有不同的结构，例如迈克尔逊、马赫-曾德尔或本领域技术人员已知的基于公共路径的设计。在此使用的光束应解释为任何仔细引导的光路。代替机械地扫描光束，光场可以照射视网膜的一维或二维区域以生成oct数据(例如，参见美国专利9332902；d.hillmann等人，“全息镜-全息光学相干断层扫描”，《光学快报》，36(13):2390 2011；y.nakamura等人，“线场谱域光学相干断层扫描的高速三维人体视网膜成像”，《光学快递》，15(12):7103 2007；blazkiewicz等人，“全场傅立叶域光学相干断层扫描的信噪比研究”，《应用光学》，44(36):7772(2005))。在时域系统中，参考臂需要具有可调光学延迟以产生干涉。平衡检测系统通常用在td-oct和ss-oct系统中，而光谱仪用在sd-oct系统的检测端口。在此描述的本发明可以应用于任何类型的oct系统。本发明的各个方面可以应用于任何类型的oct系统或其他类型的眼科诊断系统和/或多个眼科诊断系统，包括但不限于眼底成像系统、视野测试设备和扫描激光偏振计。
[0130]
在傅立叶域光学相干断层扫描(fd-oct)中，每个测量是实值光谱干涉图(sj(k))。实值光谱数据通常经过多个后处理步骤，包括背景减除、色散校正等。经处理的干涉图的傅立叶变换产生复值oct信号输出该复合oct信号的绝对值|aj|揭示了不同路径长度处的散射强度的轮廓，且因此揭示了作为样本中深度(z方向)的函数的散射。类似地，也可以从复值oct信号中提取相位作为深度函数的散射轮廓被称为轴向扫描(a扫描)。在样本中的相邻位置处测量的一组a扫描产生样本的截面图像(断层照或b扫描)。在样本上不同横向位置处收集的b扫描的集合构成数据体或立方体。对于特定的数据量，术语“快轴”指沿着单个b扫描的扫描方向，而“慢轴”指沿着其收集多个b扫描的轴线。术语“群集扫描”可以指为了分析运动对比度而在相同(或基本相同)位置(或区域)通过重复采集产生的单个数据单元或数据块，其可以用于识别流量。群集扫描可以由在样本上大约相同的位置以相对短的时间间隔收集的多个a扫描或b扫描组成。由于群集扫描中的扫描在相同的区域，所以在群集扫描中静态结构从扫描到扫描保持相对不变，而满足预定标准的扫描之间的运动对比度可以被识别为血流量。
[0131]
创建b扫描的各种方式在本领域中是已知的，包括但不限于：沿水平或x方向、沿垂直或y方向、沿x和y的对角线，或以圆形或螺旋形模式。b扫描可以在x-z维度上，但可以是包括z维度的任何截面图像。在图20中示出了人眼的正常视网膜的示例oct b扫描图像。视网膜的oct b扫描提供了视网膜组织结构的视图。为了说明的目的，图20识别了各种典型的视网膜层和层边界。所确定的视网膜边界层包括(从上到下)：内界膜(ilm)lyer1、视网膜神经纤维层(rnfl或nfl)layr2、神经节细胞层(gcl)layr3、内丛状层(ipl)layr4、内核层(inl)
layr5、外丛状层(opl)layr6、外核层(onl)layr7、光感受器的外节段(os)和内节段(is)之间的接合处(用参考符号layr8表示)、外或外部界膜(elm或olm)layr9、视网膜色素上皮(rpe)layr10和布鲁赫膜(bm)layr11。
[0132]
在oct血管造影术或功能性oct中，可将分析算法应用于在不同时间(例如，群集扫描)在样本上的相同或近似相同的样本位置处收集的oct数据，以分析运动或流动(参见例如美国专利公开案第2005/0171438号、第2012/0307014号、第2010/0027857号、第2012/0277579号和美国专利第6,549,801号，其全部内容在此被纳入考虑)。oct系统可以使用多种oct血管造影处理算法(例如，运动对比算法)中的任何一种来识别血流量。例如，可以将运动对比度算法应用于从图像数据导出的强度信息(基于强度的算法)、来自图像数据的相位信息(基于相位的算法)，或复合图像数据(基于复合的算法)。正面图像是3d oct数据的2d投影(例如，通过平均每个单独的a扫描的强度，使得每个a扫描定义2d投影中的像素)。类似地，正面脉管系统图像是显示运动对比度信号的图像，其中对应于深度的数据维度(例如，沿a扫描的z方向)被显示为单个代表值(例如，2d投影图像中的像素)，通常通过对数据的全部或隔离部分进行求和或积分来显示(参见例如美国专利第7,301,644号，其全部内容在此被纳入考虑)。提供血管造影成像功能的oct系统可被称为oct血管造影(octa)系统。
[0133]
图21示出了正面脉管系统的示例。在使用本领域中已知的任何运动对比技术处理数据以突出运动对比之后，可以将与视网膜中内界膜(ilm)表面的给定组织深度对应的像素范围求和以生成脉管系统的正面(例如，前视图)图像。图22示出了脉管系统(octa)图像的示例性b扫描。如图所示，结构信息可能不是明确定义的，因为血流量可能穿过多个视网膜层，使得它们的定义不如在结构oct b扫描中的定义，如图20所示。然而，octa提供了用于对视网膜和脉络膜的微血管病变成像的非侵入性技术，这对于诊断和/或监测各种病理可能是关键的。例如，octa可用于通过鉴别微动脉瘤、新血管复合体和定量中央无血管区和非灌注区来鉴别糖尿病性视网膜病。此外，octa已被证明与荧光素血管造影术(fa)很好地一致，荧光素血管造影术(fa)是一种更传统但更侵入的技术，其需要注射染料以观察视网膜中的血管流量。此外，在干性年龄相关黄斑病变中，octa已被用于监测脉络膜血管层流量的整体减少。类似地，在湿性年龄相关黄斑病变中，octa可提供脉络膜新生血管和膜的定性和定量分析。octa还用于研究血管闭塞，例如评价非灌注区域以及浅层和深层血管丛的完整性。
[0134]
神经网络
[0135]
如上所论述，本发明可以使用神经网络(nn)机器学习(ml)模型。为了完整起见，这里提供了对神经网络的一般讨论。本发明可以单独地或组合地使用下面描述的神经网络结构中的任何一种。神经网络或神经网络是互连神经元的(节点)网络，其中每个神经元代表网络中的节点。神经元组可以分层排列，其中一层的输出被前馈到多层感知器(mlp)装置中的下一层。mlp可以被理解为将一组输入数据映射到一组输出数据上的前馈神经网络模型。
[0136]
图23示出了多层感知器(mlp)神经网络的示例。其结构可以包括多个隐藏(例如，内部)层hl1到hln，其将输入层inl(其接收一组输入(或矢量输入)in_1到in_3)映射到输出层outl，该输出层产生一组输出(或矢量输出)，例如out_1和out_2。每层可以具有任何给定数量的节点，这些节点在本文中示例性地示出为每层内的圆圈。在本示例中，第一隐藏层hl1具有两个节点，而隐藏层hl2、hl3和hln各自具有三个节点。一般来说，mlp越深(例如，
mlp中的隐藏层的数目越大)，其学习能力越大。输入层inl接收矢量输入(说明性地示出为由in_1、in_2和in_3组成的三维矢量)，并且可以将所接收的矢量输入应用于隐藏层序
[0137]
列中的第一隐藏层hl1。输出层outl接收来自多层模型中的最后隐藏层(例如hln)的输出，处理其输入，并产生矢量输出结果(说明性地示出为由out_1和out_2组成的二维矢量)。
[0138]
通常，每个神经元(或节点)产生单个输出，该输出被前馈到紧随其后的层中的神经元。但是隐藏层中的每个神经元可以从输入层或从紧接在前面的隐藏层中的神经元的输出接收多个输入。通常，每个节点可以将函数应用于其输入以产生该节点的输出。隐藏层(例如，学习层)中的节点可以将相同的函数应用于它们各自的输入以产生它们各自的输出。然而，一些节点，诸如输入层inl中的节点仅接收一个输入并且可以是被动的，这意味着它们简单地将它们的单个输入的值转发到它们的输出，例如，它们向它们的输出提供它们的输入的副本，如输入层inl的节点内的虚线箭头所示。
[0139]
为了说明的目的， 图24示出了由输入层inl’、隐藏层hl1’和输出层outl’组成的简化神经网络。输入层inl’被示为具有分别接收输入input_1和input_2的两个输入节点i1和i2(例如，层inl’的输入节点接收二维输入矢量)。输入层inl’向前馈送到具有两个节点h1和h2的一个隐藏层hl1'，其继而向前馈送到两个节点o1和o2的输出层outl’。神经元之间的互连或链路(如实线箭头所示)具有权重w1至w8。典型地，除了输入层之外，节点(神经元)可以接收其紧邻的前一层中的节点的输出作为输入。每个节点可以通过将其每个输入乘以每个输入的相应互连权重，对其输入的乘积求和，加上(或乘以)由可以与该特定节点相关联的另一权重或偏置定义的常数(例如，分别对应于节点h1、h2、o1和o2的节点权重w9、w10、w11、w12)，然后将非线性函数或对数函数应用于结果来计算其输出。非线性函数可以称为激活函数或传递函数。多种激活功能是本领域已知的，并且特定激活函数的选择对于当前讨论不是关键的。然而，应注意，ml模型的操作或神经网络的行为取决于权重值，其可被学习以使神经网络针对给定输入提供期望的输出。
[0140]
神经网络学习(例如，被训练以确定)适当的权重值，以在训练或学习阶段期间实现给定输入的期望输出。在训练神经网络之前，可以为每个权重单独地分配初始(例如，随机的和可选非零的)值，例如随机数种子。分配初始权重的各种方法在本领域中是已知的。然后训练(优化)权重，使得对于给定的训练矢量输入，神经网络产生接近期望的(预定的)训练矢量输出的输出。例如，可以通过称为反向传播的技术在数千个迭代循环中递增地调整权重。在反向传播的每个周期中，训练输入(例如矢量输入或训练输入图像/样本)通过神经网络被向前馈送以确定其实际输出(例如矢量输出)。然后基于实际神经元输出和该神经元的目标训练输出(例如，对应于当前训练输入图像/样本的训练输出图像/样本)来计算每个输出神经元或输出节点的误差。然后通过神经网络向后传播(在从输出层回到输入层的方向上)，基于每个权重对总误差有多少影响来更新权重，使得神经网络的输出移动得更接近期望的训练输出。然后重复该循环，直到神经网络的实际输出在给定训练输入的期望训练输出的可接受误差范围内。应当理解的，在实现期望的误差范围之前，每个训练输入可能需要许多反向传播迭代。通常，回合(英语：epoch)是指所有训练样本的一个反向传播迭代(例如，一个向前传送和一个向后传送)，使得训练神经网络可能需要许多回合。通常，训练集越大，训练的ml模型的性能越好，因此可以使用各种数据扩充方法来增加训练集的大小。
例如，当训练集包括多对相应的训练输入图像和训练输出图像时，训练图像可以被分成多个相应的图像片段(或斑块)。来自训练输入图像和训练输出图像的相应斑块可以被配对以定义来自一个输入/输出图像对的多个训练斑块对，这扩大了训练集。然而，对大型训练集的训练对计算资源(例如存储器和数据处理资源)提出了高要求。可以通过将大训练集划分为多个小批次来减少计算需求，其中小批次的大小定义了在一个向前/向后传送中训练样本的数量。在这种情况下，一个回合可以包括多个小批次。另一个问题是nn过度拟合训练集的可能性，使得其从特定输入到不同输入的概括能力降低。可以通过创建神经网络的集合或通过在训练期间随机丢弃神经网络内的节点来减轻过度拟合的问题，这有效地从神经网络中去除丢弃的节点。诸如反向丢弃的各种丢弃调节方法在本领域中是已知的。
[0141]
应注意的是，经训练的nn机器模型的操作不是操作/分析步骤的直接算法。实际上，当经训练的nn机器模型接收输入时，该输入不在传统意义上进行分析。相反，不管输入的主题或性质(例如，定义实时图像/扫描的矢量或定义其他实体的矢量，例如人口统计描述或活动记录)如何，输入将受到经训练神经网络的相同预定义体系结构构造(例如，相同的节点/层排布、经训练的权重和偏置值、预定义卷积/反卷积操作、激活函数、池化操作等)的影响，并且可能不清楚训练的网络的体系结构构造如何产生其输出。此外，训练的权重和偏差的值不是确定性的，并且取决于许多因素，诸如神经网络被给予训练的时间量(例如，训练中的回合数)、训练开始之前的权重的随机开始值、在其上训练nn的机器的计算机体系结构、训练样本的选择、训练样本在多个小批次之间的分布、激活函数的选择、修改权重的误差函数的选择，并且即使训练在一台机器(例如，具有第一计算机架构)上中断并且在另一台机器(例如，具有不同的计算机架构)上完成。要点是为什么训练的ml模型达到某些输出的原因还不清楚，并且目前正在进行许多研究来尝试确定ml模型基于其输出的因素。因此，神经网络对实时数据的处理不能简化为简单的步骤算法。相反，其操作取决于其训练结构、训练样本集、训练序列和ml模型训练中的各种情况。
[0142]
总之，nn机器学习模型的构建可以包括学习(或训练)阶段和分类(或操作)阶段。在学习阶段，针对特定目的训练神经网络，并且可以为神经网络提供一组训练示例，包括训练(样本)输入和训练(样本)输出，并且可选地包括一组验证示例以测试训练的进度。在该学习过程中，递增地调整与神经网络中的节点和节点互连相关联的各种权重，以便减小神经网络的实际输出与期望训练输出之间的误差。以这种方式，可以使多层前馈神经网络(例如上面讨论的)能够将任何可度量函数近似到任何期望的精确度。学习阶段的结果是已经学习(例如，训练)的(神经网络)机器学习(ml)模型。在操作阶段，可以将一组测试输入(或实时输入)提交给经学习的(经训练的)ml模型，该模型可以应用其已经学习的内容来基于测试输入产生输出预测。
[0143]
与图23和图24中的正规神经网络相似，卷积神经网络(cnn)也由具有可学习的权重和偏置的神经元组成。每个神经元接收输入，执行运算(例如点积)，并且可选地跟随有非线性。然而，cnn可以在一端(例如，输入端)接收原始图像像素，并在另一端(例如，输出端)提供分类(或类)分数。因为cnn期望图像作为输入，所以它们被优化用于与体积一起工作(例如，图像的像素高度和宽度，加上图像的深度，例如，颜色深度，诸如由三种颜色定义的rgb深度：红、绿和蓝)。例如，可以针对三维排列的神经元优化cnn的层。cnn层中的神经元也可以连接到该层之前的小区域，而不是完全连接的nn中的所有神经元。cnn的最终输出层可
以将整个图像缩小为沿深度维度排列的单个矢量(分类)。
[0144]
图25提供了一个示例卷积神经网络结构。卷积神经网络可以被定义为两个或更多个层(例如，层1到层n)的序列，其中层可以包括(图像)卷积步骤、(结果的)加权和步骤，以及非线性函数步骤。可以通过例如在输入数据上的移动窗口上应用滤波器(或内核)来对其输入数据执行卷积，以产生特征图。每一层和层的组件可以具有不同的预定滤波器(来自滤波器组)、权重(或加权参数)和/或函数参数。在本示例中，输入数据是具有给定像素高度和宽度的图像，其可以是图像的原始像素值。在本示例中，输入图像被示为具有三个颜色通道rgb(红色、绿色和蓝色)的深度。可选地，输入图像可以经历各种预处理，并且可以代替原始输入图像或除了原始输入图像之外输入预处理结果。图像预处理的一些示例可能包括：视网膜血管图分割、颜色空间转换、自适应直方图均衡、生成连接组件等。在层内，可以在给定权重和它们在输入体积中连接的小区域之间计算点积。许多配置cnn的方式在本领域中是已知的，但是作为示例，层可以被配置为应用逐元素的激活函数，例如在零处的max(0,x)阈值。可以执行池化功能(例如，沿x-y方向)以对体积进行下采样。全连接层可用于确定分类输出并产生一维输出矢量，已发现其可用于图像识别和分类。然而，对于图像分割，cnn将需要对每个像素进行分类。由于每个cnn层倾向于降低输入图像的分辨率，因此需要另一级来将图像上采样回其原始分辨率。这可以通过应用转置卷积(或去卷积)级tc来实现，其通常不使用任何预定义内插方法，而是具有可学习的参数。
[0145]
卷积神经网络已经成功地应用于许多计算机视觉问题。如上所说明，训练cnn通常需要大量训练数据集。u-net体系结构基于cnn，并且通常可以在比传统cnn更小的训练数据集上进行训练。
[0146]
图26示出了示例u-net结构。本示例性u-net包括接收任何给定大小的输入u-in(例如，输入图像或图像斑块)的输入模块(或输入层或级)。出于说明的目的，在表示图像的框内指示任何阶段或层处的图像大小，例如，输入模块包含数字“128
×
128”以指示输入图像u-in由128
×
128个像素组成。输入图像可以是眼底图像、oct/octa正面、b扫描图像等。然而，应当理解，输入可以是任何大小或维度。例如，输入图像可以是rgb彩色图像、单色图像、体积图像等。输入图像经历一系列处理层，每个处理层以示例性尺寸示出，但是这些尺寸仅是说明性的目的，并且将取决于例如图像、卷积滤波器和/或池化级的尺寸。本体系结构包括收缩路径(这里示例性地包括四个编码模块)，其后跟随扩张路径(这里示例性地包括四个解码模块)，以及相应模块/级之间的复制和剪切链路(例如，cc1到cc4)，其复制收缩路径中的一个编码模块的输出并将其连接到扩张路径中的相应解码模块的上变换输入(例如，将其附加到扩张路径中的相应解码模块的上变换输入的后面)。这产生特有的u形，根据该u形结构得出其名称。可选地，例如出于计算考虑，“瓶颈”模块/级(bn)可以位于收缩路径和扩张路径之间。瓶颈bn可以包括两个卷积层(具有批次归一化和可选的丢弃)。
[0147]
收缩路径类似于编码器，并且通常通过使用特征图来捕获上下文(或特征)信息。在本示例中，收缩路径中的每个编码模块可以包括两个或更多个卷积层，如星号符号“*”所示，并且其之后可以是最大池化层(例如，下采样层)。例如，输入图像u-in被说明性地示出为经历两个卷积层，每个卷积层具有32个特征图。应理解，每个卷积内核产生特征图(例如，来自与给定内核的卷积操作的输出是通常称为“特征图”的图像)。例如，输入u-in经历应用32个卷积内核(未示出)的第一卷积，以产生由32个相应特征图组成的输出。然而，如本领域
已知的，可以调整(向上或向下)通过卷积操作产生的特征图的数量。例如，可以通过对特征图的组求平均，丢弃一些特征图，或其它已知的特征图简化方法来减少特征图的数量。在本例中，该第一卷积之后是第二卷积，其输出限于32个特征图。另一种设想特征图的方式可以是将卷积层的输出视为3d图像，其2d维度/平面由所列出的x-y平面像素维度(例如，128
×
128像素)给出，并且其深度由特征图的数目给出(例如，32个平面图像深度)。按照这种类比，第二卷积的输出(例如，收缩路径中的第一编码模块的输出)可以被描述为128
×
128
×
32图像。然后，来自第二卷积的输出经历池化操作，这简化了每个特征图的2d维度(例如，x和y维度可以各自减半)。池化操作可以在下采样操作中实现，如向下箭头所示。本领域中已知几种池化方法，例如最大池化，并且具体的池化方法对于本发明不是关键的。特征图的数目可以在每个池化处加倍，从第一编码模块(或块)中的32个特征图，第二编码模块中的64个特征图开始，依此类推。因此，收缩路径形成由多个编码模块(或级或块)组成的卷积网络。如卷积网络的典型情况一样，每个编码模块可以提供至少一个卷积级，其后是激活功能(例如，整流线性单元(relu)或s形层)(未示出)和最大池化操作。通常，激活函数将非线性引入层中(例如，以帮助避免过度拟合问题)，接收层的结果，并确定是否“激活”输出(例如，确定给定节点的值是否满足预定义的标准以将输出转发到下一层/节点)。总之，收缩路径通常在增加特征信息的同时减少空间信息。
[0148]
扩张路径类似于解码器，并且其中可以为收缩路径的结果提供定位和空间信息，而不管在收缩阶段执行的下采样和任何最大池化。扩张路径包括多个解码模块，其中每个解码模块将其当前上变换的输入与相应编码模块的输出连接。以此方式，特征和空间信息在扩张路径中通过上卷积(例如，上采样或转置卷积或去卷积)和与来自收缩路径的高分辨率特征的级联(例如，经由cc1到cc4)的序列来组合。因此，去卷积层的输出与来自收缩路径的相应(可选地，经过剪切的)特征图连接，随后是两个卷积层和激活函数(具有可选的批次归一化)。
[0149]
来自扩张路径中的最后扩张模块的输出可以被馈送到另一处理/训练块或层，诸如分类器块，其可以与u-net体系结构一起被训练。可替换地，或者附加地，在产生其输出u-out之前，最后的上采样块的输出(在扩张路径的末端)可以被提交给另一个卷积(例如，输出卷积)操作，如虚线箭头所示。可以选择输出卷积的内核大小以将最后上采样块的维度减小到期望的大小。例如，神经网络可以在达到输出卷积之前具有每个像素的多个特征，这可以提供1
×
1卷积操作，以在逐像素水平上将这些多个特征组合成每个像素的单个输出值。
[0150]
计算设备/系统
[0151]
图27示出了示例计算机系统(或计算设备或计算机设备)。在一些实施例中，一个或多个计算机系统可以提供在此描述或示出的功能和/或执行在此描述或示出的一个或多个方法的一个或多个步骤。计算机系统可以采用任何适当的实体形式。例如，计算机系统可以是嵌入式计算机系统、片上系统(soc)、单切片计算机系统(sbc)(例如，模块上计算机(com)或模块上系统(som))、台式计算机系统、膝上型或笔记本计算机系统、计算机系统网格、移动电话、个人数字助理(pda)、服务器、平板计算机系统、增强/虚拟现实设备，或这些中的两个或更多个的组合。适当时，计算机系统可以驻留在云中，该云可以包括一个或多个网络中的一个或多个云组件。
[0152]
在一些实施例中，计算机系统可以包括处理器cpnt1、存储器cpnt2、存储装置
cpnt3、输入/输出(i/o)接口cpnt4、通信接口cpnt5和总线cpnt6。计算机系统还可以可选地包括显示器cpnt7，例如计算机监视器或屏幕。
[0153]
处理器cpnt1包括用于执行指令的硬件，例如构成计算机程序的那些指令。例如，处理器cpnt1可以是中央处理单元(cpu)或图形处理单元上的通用计算(gpgpu)。处理器cpnt1可从内部寄存器、内部高速缓冲存储器、存储器cpnt2或存储装置cpnt3检索(或获取)指令，解码并执行指令，且将一个或多个结果写入到内部寄存器、内部高速缓冲存储器、存储器cpnt2或存储装置cpnt3。在特定实施例中，处理器cpnt1可以包括用于数据、指令或地址的一个或多个内部高速缓存。处理器cpnt1可以包括一个或多个指令高速缓存、一个或多个数据高速缓存，诸如以保存数据表。指令高速缓存中的指令可以是存储器cpnt2或存储装置cpnt3中的指令的副本，且指令高速缓存可加速处理器cpnt1对那些指令的检索。处理器cpnt1可包括任何合适数目的内部寄存器，且可包括一个或多个算术逻辑单元(alu)。处理器cpnt1可以是多核处理器；或者包括一个或多个处理器cpnt1。虽然本发明描述并说明特定的处理器，但本发明涵盖任何合适的处理器。
[0154]
存储器cpnt2可以包括主存储器，用于存储处理器cpnt1在处理期间执行或保持中间数据的指令。例如，计算机系统可以将指令或数据(例如，数据表)从存储装置cpnt3或从另一个源(例如另一计算机系统)加载到存储器cpnt2。处理器cpnt1可以将指令和数据从存储器cpnt2加载到一个或多个内部寄存器或内部高速缓存。为了执行指令，处理器cpnt1可以从内部寄存器或内部高速缓存中检索并解码指令。在指令执行期间或之后，处理器cpnt1可将一个或多个结果(其可为中间或最终结果)写入到内部寄存器、内部高速缓存、存储器cpnt2或存储装置cpnt3。总线cpnt6可包括一个或多个存储器总线(其可分别包括地址总线和数据总线)，且可将处理器cpnt1耦合到存储器cpnt2和/或存储装置cpnt3。可选地，一个或多个存储器管理单元(mmu)促使在处理器cpnt1和存储器cpnt2之间传输数据。存储器cpnt2(可以是快速易失性存储器)可以包括随机存取存储器(ram)，例如动态ram(dram)或静态ram(sram)。存储装置cpnt3可以包括用于数据或指令的长期或大容量存储。存储装置cpnt3可以在计算机系统的内部或外部，并且包括磁盘驱动器(例如，硬盘驱动器，hdd或固态驱动器，ssd)、闪存、rom、eprom、光盘、磁光盘、磁带、通用串行总线(usb)可访问驱动器或其它类型的非易失性存储器中的一个或多个。
[0155]
i/o接口cpnt4可以是软件、硬件或两者的组合，并且包括用于与i/o设备通信的一个或多个接口(例如串行或并行通信端口)，其可以实现与人(例如用户)的通信。例如，i/o设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态相机、指示笔、平板、触摸屏、跟踪球、摄影机、另一合适的i/o设备，或这些中的两个或更多个的组合。
[0156]
通信接口cpnt5可以提供用于与其它系统或网络通信的网络接口。通信接口cpnt5可以包括蓝牙接口或其它类型的基于分组的通信。例如，通信接口cpnt5可以包括用于与无线网络通信的网络接口控制器(nic)和/或无线nic或无线适配器。通信接口cpnt5可以提供与wi-fi网络、自组织网络、个人区域网络(pan)、无线pan(例如，蓝牙wpan)、局域网(lan)、广域网(wan)、城域网(man)、蜂窝电话网络(例如，全球移动通信系统(gsm)网络)、因特网，或这些中的两个或更多个的组合的通信。
[0157]
总线cpnt6可以提供计算系统的上述组件之间的通信链路。例如，总线cpnt6可以包括加速图形端口(agp)或其它图形总线、增强型工业标准架构(eisa)总线、前端总线
(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽总线、少引脚数(lpc)总线、存储器总线、微通道架构(mca)总线、外围组件互连(pci)总线，pci-express(pcie)总线、串行高级技术附件(sata)总线、视频电子标准协会本地(vlb)总线，或其他合适的总线或这些中的两种或更多种的组合。
[0158]
尽管本发明描述并示出了在特定装置中具有特定数量的特定组件的特定计算机系统，但是本发明设想了在任意合适的装置中具有任意合适数量的任意合适组件的任意合适的计算机系统。
[0159]
在此，计算机可读非瞬态存储介质可以包括一个或多个基于半导体的或其他集成电路(ic)(例如，现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光驱动器、软盘，软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数字卡或驱动器，任何其他合适的计算机可读非瞬态存储介质，或这些中的两个或更多个的任何合适的组合。计算机可读非瞬态存储介质可以是易失性的、非易失性的，或者易失性和非易失性的组合。
[0160]
虽然已经结合几个特定的实施例描述了本发明，但是对于本领域的技术人员来说显而易见的是，根据前面的描述，许多其它的替换、修改和变化将是显而易见的。因此，这里描述的本发明旨在包括所有这些可落入所附权利要求的精神和范围内的替换、修改、应用和变化。