用于创建结构导出的视场先验的机器学习方法与流程

1.本发明通常涉及视场测试领域。更具体地，本发明涉及一种系统和方法，用于优化现场测试，以提高准确性、改善可重复性、减少总测试时间，并用于建议/识别要测试的视场中的新位置。


背景技术：

2.青光眼是全球致盲的主要原因之一，全球有4470万开角型青光眼患者，预计2020年全球将达到5860万。虽然光学相干断层扫描(oct)和光学相干断层扫描血管造影(octa)在青光眼管理中越来越普遍，但视场分析(vf)仍然是青光眼诊断和分期的临床金标准，也是随着时间推移监测功能性视力丧失的金标准。
3.视场测试是一种测量个人整个视场范围的方法，例如，他们的中心和外围(侧面)视力。视场测试是一种单独绘制每只眼睛视场的方法，可以检测盲点(暗点)以及视力模糊的更细微区域。
4.测距仪或“视野计”是一种专用机器/装置/系统，用于对患者进行视场测试。有不同类型的视野计以及不同类型的视场检查，但所有的视场检查都是主观检查。因此，患者必须能够理解测试说明，充分配合，并在保持警惕的同时完成整个测试，以便提供有用的信息。更复杂的是，视场测试可能需要相对较长的时间，这可能会让患者感到疲劳并损害测试结果。
5.一种常见的视场测试类型或算法是标准自动视野计(sap)测试，该测试确定在单个眼睛的视场中的不同点处，光可以有多暗并且仍然可以被感知(例如，阈值)。已经开发了各种算法来确定单个视场中不同的单独测试点的阈值。瑞典交互式阈值算法(sita)可以与sap测试相结合，以更有效地确定视场，例如，与的汉弗莱视场分析仪(humphrey field analyzer，hfa)一起使用时。sita算法通过根据患者的年龄和邻近阈值连续估计预计阈值来优化视场阈值的确定。例如，根据患者对第一刺激的反应，修改每个后续刺激呈现的强度。重复该迭代过程，直到可能的阈值测量误差降低到预定水平以下，在每个测试位置通常发生1次或更多次反转。以这种方式，可以减少获取视场所需的时间，减少患者的疲劳，从而增加可靠性。对sita的改进产生了快速sita和更快速sita算法，这可以进一步减少测试时间。与hfa的sita测试策略类似，面向趋势的视野计(top)算法被开发用于octopus
tm
视野计，作为其冗长的阶梯阈值程序的替代。尽管如此，即使采用最先进的测试策略，例如，各种版本的sita，每只眼睛的视场测试通常仍需要几分钟。测试时间也倾向于随着更多受损或青光眼视场而增加。
6.总的来说，测试时间更短的测试策略可能有助于增加青光眼管理中视场测试的频率，使临床青光眼护理更符合专业组织目前的建议。患者通常更喜欢较短的测试时间，最大限度地减少患者疲劳的影响，从而获得更可靠的测试结果，并降低测试成本。
7.本发明的目的是减少视场测试的总测试时间。
8.本发明的另一目的是减少阈值视场测试持续时间(例如，患者达到他/她对于单个
测试点的最小可见光阈值所需的时间)，而临床准确性损失最小或没有损失。
9.本发明的另一目的是提供一种系统和方法，用于改进对患者个体测试点的预计阈值的预测。
10.本发明的另一目的是利用通过使用不同的眼科检查方式获得的患者眼睛的结构和/或功能特征，来帮助减少阈值视场测试持续时间。


技术实现要素：

11.在用于定制视场测试的方法/系统中满足了上述目的。该方法/系统可以具有多个元件，包括：用于为患者选择视场测试的数据系统，其中，所选视场测试具有一个或多个可定义光强度的测试点。获取或以其他方式访问患者视网膜的生物测定(例如，结构或功能)测量，例如，从电子病历(emr)中获取。可以通过使用光学相干断层扫描(oct)系统、oct血管造影系统、眼底成像仪或用于收集物理/经验眼科数据的其他眼科检查系统模态来收集生物测量信息。例如，生物测量信息可以至少部分地基于视网膜图像，该图像可以包括3d或深度分辨的数据。计算系统或网络(例如，体现机器学习架构(例如，人工智能系统和/或神经网络系统)的计算系统或网络)可以用于至少部分地基于所获得的生物测量信息来预测所选视场测试的一个或多个所选测试点的相应阈值灵敏度值。每个预测的阈值灵敏度值可以包括预计患者以预定成功率(例如，50％的成功率)看清的光强测量值，和/或预计患者在给定亮度水平看清的面积测量值(例如，特定大小的照明点/形状/区域)，和/或两者的组合。视觉测试系统可以使用预测的阈值灵敏度值作为“先验”，例如，对所选视场测试的输入(其可以使用先验来优化患者的fa测试)，和/或当对患者应用所选视场测试时，作为一个或多个所选测试点的起始强度/面积值。通过使用接近患者最终测试结果的起始强度值，患者可以更快地达到他/她的阈值，导致测试持续时间总体上更短。
12.此外或可替换地，预测阈值敏感值可以用作合成的vf先验，来代替vf预测系统中的真实vf先验，或作为其补充。vf预测系统可以使用合成的vf先验(以及可选的任何可用的真实vf先验)来预测患者的未来视场。
13.通过结合附图参考以下描述和权利要求，其他目的和成就以及对本发明的更全面理解将变得显而易见和易于理解。
14.为了便于理解本发明，本文可以引用或参考若干出版物。本文引用或参考的所有出版物在此全部通过引用结合于此。
15.本文公开的实施例仅是示例，并且本公开的范围不限于此。在一个权利要求类别(例如，系统)中提到的任何实施例特征也可以在另一权利要求类别(例如，方法)中要求保护。仅出于形式原因而选择所附权利要求中的从属关系或参考。然而，由对任何先前权利要求的故意引用而产生的任何主题也可以要求保护，使得公开并且可以要求保护权利要求及其特征的任何组合，而不管在所附权利要求中选择的依赖性如何。
附图说明
16.在附图中，相同的参考符号/字符表示相同的部分：
17.图1提供了根据本发明的用于定制视场测试的系统的概述；
18.图2示出了根据本发明的神经网络nn-1的训练示例；
algorithm:construction and a multicenter clinical study”，american journal of ophthalmology，第198卷，2019年2月，第154-165页。类似地，关于zest的讨论见chong等人的“targeted spatial sampling using goanna improves detection of visual field progression”，ophthalmic physiol opt，2015年3月，35(2)：155-69。所有这些参考文献在此全部通过引用结合于此。先验(例如，先前收集的数据和/或群体导出的数据)通常基于统一的值(通常超阈值/亮)，与年龄匹配的数据相关，或者甚至从同一患者的先前视场导出。使用这些先验的一些限制是，统一的或年龄匹配的数据对于给定的患者不是个体化的，这意味着在给定的位置可能需要额外的刺激。同一患者的视场先验是可能的，但可能经常不可用(例如，患者第一次就诊)或由于vf测试不如其他测试频繁而过期。也就是说，因为vf测试是主观的，并且比其他更典型的眼科测试(例如，结构/成像测试)花费更多时间，所以vf测试可能不会按照建议的时间间隔进行。
36.促进视场检查的较新方法是构建结构导出视场，其可以包括导出视场、导出视觉灵敏度测量和基于一个或多个可量化数据源的导出先验中的一个或多个，例如，眼科图像、患者特定生理特征/测量、医学状况、医学治疗、(视觉)诱发电位测试和/或其他视觉相关测试。诸如光学相干断层扫描(oct)成像等结构成像已经用于估计(例如，导出)视场，其通常被定位为功能vf测试的“替代”视场(例如，用于代替标准/功能视场测试)。因为结构数据通常比功能vf数据更容易重现，所以结构数据可以提供更容易重现的导出视场的好处。以前的结构导出视场的一个限制是，它们通常是用定制的数学模型生成的，这些模型通常与特定的仪器相关联，如bogunovic等人在“relationships of retinal structure and humphrey 24-2 visual field thresholds in patients with glaucoma”，invest.ophthalmol.vis.sci.,2015；56(1):259-271中所述，在此全文通过引用结合于此。这种与特定仪器相关的自定义数学模型的使用限制了结构导出视场的效用。对以前的结构导出视场的另一个障碍是，标准(功能)视场仍然被认为是评估视觉功能的黄金标准。因此，功能视场可能比从结构先验导出的估计视场更受普通临床医生的信任。
37.在诱发电位(ep)测试或诱发反应(er)测试中，电极用于记录来自患者神经系统特定部分(通常是大脑)的电位反应，随后呈现刺激(感觉刺激)，例如，通过光、声音或触摸。例如，诱发电位测试可以测量大脑对感觉刺激做出反应所需的时间。在视觉诱发电位(vep)测试中，当患者坐在屏幕前观看变化的光模式(例如，首先用一只眼睛，然后用另一只眼睛)时，电极可以放置在患者的头皮上。vep测试可以记录每只眼睛对变化模式的反应。例如，可以要求患者注视屏幕上的棋盘图案，同时正方形的颜色以预定的频率和/或预定的图案交替，并且vep测试记录患者能够基于患者的诱发电位反应感知的变化。
38.然而，据信，结构先验没有用于促进标准功能视场的构建/管理。本文提出了一种方法、系统和/或工作流程，其以新颖的方式生成具有减少的测试时间的准确(真实/功能性)视场。
39.本发明将眼科成像/检查系统(和/或其输出结果)的使用与视场测试系统(例如，视野计)相结合，以优化功能视场测试(例如，优化其起始点，例如，功能视场测试的测试点的初始光强和/或尺寸)。例如，对于给定的测试点，可以估计/预测优化的起始点接近患者的预计阈值(例如，最终)值。以这种方式，对于给定测试点达到患者阈值的(强度和/或大小)迭代调整的次数减少，导致总测试时间减少。一般来说，通常的视觉测试系统和典型(功
能性)视场测试的讨论见下文“视场测试系统”一节。
40.各种类型的眼科成像/检查系统在本领域中是已知的，例如，眼底成像器、oct系统和oct血管造影(octa)系统。眼底成像器可以拍摄视网膜表面或眼睛其他部分的二维(2d)图像。可以从眼底图像进行各种结构测量/观察。oct和octa能够实现视网膜脉管系统的无创、深度分辨(例如，a扫描)、体积(例如，c扫描)和2d(例如，正面(en face)或截面/b扫描)可视化。oct可以提供脉管系统的结构图像，而octa可以提供脉管系统的功能图像(例如，血流)。例如，octa可以通过使用流动血液的运动作为内在对比来成像血管流动。这些类型的眼科成像系统将在下文“眼底成像系统”和“光学相干断层扫描(oct)成像系统”中讨论。除非另有说明，本发明的方面可以应用于任何或所有这种眼科成像系统。例如，在本文呈现的用于优化阈值的方法/系统(例如，优化功能视场测试中的测试点的起始值，和/或为功能视场测试提供合成的“先验”)可以包含从眼睛提取的结构和/或功能性(例如，运动)眼科信息(生物测量信息)，并且可以通过使用眼底成像器、oct系统和/或octa系统来获得该眼科信息(生物测量信息)。
41.本发明的一些实施例利用现有的贝叶斯类型的策略和后续措施，添加从结构和/或功能性眼科数据/成像(例如，眼底图像、oct扫描/图像、octa扫描/图像、患者特定的生理特征/测量、医疗状况、医疗处理、(视觉)诱发电位测试和/或其他视觉相关测试)中导出的合成/导出的“先验”(例如，合成视场)，来代替真实的vf先验(例如，通过使用视野计获得的先验功能vf测试结果(prior functional vf test result))。这些先前合成的视场可以使用机器学习(ml)技术导出，例如，深度学习(dl)和/或人工智能(ai)方法。也就是说，不同于使用真实vf先验来试图加速功能vf测试的现有方法，本方法提出使用合成的vf先验，该合成的vf先验是根据结构(例如，oct和眼底成像)和/或功能性(例如，octa成像)眼科信息确定的，本文统称为“生物测定”和/或“身体特征”(测量/测量值)导出的先验。这种方法的一个优点是生物测定导出的先验可能比生成多个(真实的)先验视场以建立受试者的vf历史更具可重复性(例如，具有更少的可变性)，并且对于受试者来说获取起来通常不太麻烦(即，在患者接受传统的功能视场测试之前，可以在患者的同一诊所就诊时快速导出)。此外，可以使用人工智能(ai)、机器学习(ml)和/或深度学习(dl)的方法来创建生物测定导出的先验。
42.应当理解，现有技术中已知各种不同类型的机器学习模型，例如，监督学习、无监督学习、半监督学习、强化学习等。尽管本讨论的各方面提供了使用特定机器学习模型(例如，dl和ai)的示例，但是应当理解，其他类型的机器学习模型可以单独或组合用于本发明。例如，根据本发明，最近邻居、朴素贝叶斯、决策树、线性回归、支持向量机(svm)和神经网络中的一个或多个可以用于实现监督学习模型。
43.通过使用机器学习技术来导出生物测定导出的先验，本发明不仅具有生成更加鲁棒且可再现的输入(合成/导出)视场(vf)的潜力，而且还利用了这些方法固有的一些特征，这些特征可以帮助更好地理解与vf函数模型相关的眼科生物测定(例如，识别观察到的生物测量信息和vf测试之间的关系)。通过使用通常作为标准临床工作流程的一部分收集的生物测定(例如，图像)数据来创建结构先验(例如，生物测定导出的先验)来代替真实视场先验(其可能不能从以前的访问中获得或者不太可再现)，作为快速vf测试策略(其可能没有其他可用的vf先验数据)，例如，sita，估计本方法可以潜在地将青光眼眼睛中的当前阈
值vf测试时间减少多达30％。也就是说，本发明将阈值测试的限制推到了单独使用现代阈值策略类型所能达到的限度之外，例如，sita及其变体，这可能达到了其优化限度。例如，本方法可以通过引入生物测量信息作为用于优化功能vf测试的先验信息的额外来源来扩展这些限制。
44.图1提供了根据本发明的用于定制/优化传统(功能性)视场测试的系统的概述。该系统可以包括图形用户界面(未示出)和电子处理器，以便于各种处理步骤。例如，用户/技术人员可以从指定/选择特定的vf测试(方框11)开始。本系统可以被配置为与选择用于给定视野计(vf测试仪)vf0的任何类型的视场测试一起工作。所选视场测试可以是静态自动视野检查测试(static automated perimetry test)、动态视野检查测试(kinetic perimetry test)、倍频视野检查测试(frequency doubling perimetry test)或使用阈值(例如，视觉敏感测量)来确定患者视场的其他已知视场测试类型中的任何一种。已知vf测试的示例包括标准自动视场检查(sap)、短波长自动视场检查(swap)、倍频技术(fdt)、瑞典交互式阈值算法(sita)、快速sita、更快速sita、倾向导向视场检查(top)、客观视场检查(vep、多焦视网膜电图erg/perf、瞳孔测量等)等。无论选择何种类型的vf测试，所选的视场测试通常会有一个或多个可定义光强的测试点。一些vf测试还提供给定光强下可定义大小(例如，面积)的点。本系统的目的是为特定患者确定个体测试点的阈值(例如，结束强度和/或大小)，所选择的vf测试将被给予该特定患者。
45.如方框12所示，本系统获得一个或多个生物测量信息信息(例如，身体特征测量信息)，例如，将要对其进行视觉测试的患者(可选地包括患者的先前的功能测试)的视网膜的生物测量信息以构建结构导出的视场。生物测量信息可以基于使用先前的患者测试的多种成像模式和/或图像(例如，影印、位图/光栅/矢量或其他数字图像、打印输出等)中的任何一者获得的视网膜图像。例如，成像模态可以是灰度、彩色、红外、视网膜层厚度图、眼底照相、光学相干断层扫描(oct)、多普勒oct、oct血管造影和/或荧光素血管造影。生物测量信息12可以从(例如，基于)一个或多个oct/octa图像12a、先前视场测试结果12b(或先前视场测试的主要灵敏度值)、眼底图像12c、荧光血管造影(fa)图像12d、vep 12e或其他成像模态或视网膜/视觉测量技术/装置中提取或包括这些的全部(或部分)。可以通过在患者就诊时直接在患者身上使用眼科测试系统(例如，未示出的oct系统或眼底成像仪)来获得生物测量信息，或者可以从患者病历的数据存储中访问，例如，从电子病历(emr)中访问。生物测量信息的示例可以包括一个或多个a扫描、b扫描、c扫描或通过使用oct/octa系统获得的正面图像。生物测量信息可以包括单个眼科结构的形状、大小、颜色和/或相对位置，例如，视神经乳头(ohn)、视网膜中央凹、视网膜厚度和单个视网膜层的厚度测量。生物测量信息的其他示例可以包括视网膜特定区域的血流测量和/或组织运动测量、偏离预计标准的变色区域、血管转换区域(例如，其大小、位置和/或数量)、渗出物形成(例如，其大小、位置和/或数量)、大血管计数、小血管计数、特定结构的识别，其中一些可以指示病理(例如，与其相关联)。例如，渗出物相关的紊乱是与某些类型的“湿性”年龄相关性黄斑变性(amd)相关的病变。生物测量信息还可以包括不同生理特征的相对测量的比较，例如，特定结构之间的距离(和/或特定结构的相对取向/位置)和/或特定结构的相对尺寸比。
46.可以将获得的生物测量信息提交给机器学习模型15，该机器学习模型15可以包含在一个或多个计算系统(例如，电子处理器)中。应当理解，单独视网膜图像(例如，oct/
octa、眼底和/或荧光图像)可以作为一个或多个生物测量信息提交给机器模型15，并且机器模型15可以根据需要从提交的图像中提取单个生物子测量值。可选地，机器模型15还可以接收关于选择给患者施用的特定vf测试算法的输入信息。例如，机器模型15可以被告知将要对患者进行的vf测试的类型，这可以使其能够更好地适应其合适的生物导出的先验的构造。机器学习模型15可以至少部分地基于其接收到的生物测量信息来确定(例如，预测/合成/导出)所选vf测试类型的一个或多个所选测试点的相应阈值(例如，视觉灵敏度值)。每个阈值灵敏度值可以基于针对单个vf测试点的预计患者以预定成功率(例如，50％成功率)看清的光强度测量值和/或点尺寸测量值。也就是说，机器学习模型15输出合成的vf阈值(例如，vfth_out)，其可以构成一个或多个vf先验，例如，数字数据的集合(示意性地示出为导出的vf测试输出10)，并且其可以与对患者进行的所选功能vf测试结合使用，如方框13所示。因此，本系统导致加速的功能vf检查17(例如，短持续时间的vf检查)。
47.可选地，如方框14所示，单独的阈值灵敏度值vfth_out可以进一步基于额外的、非结构的或图像的患者相关数据，例如，可以从emr中访问的数据。例如，针对所选视场测试的一个或多个所选测试点的阈值灵敏度值的确定可以进一步基于与获得一个或多个生物测量信息的特定成像装置(例如，oct和/或眼底成像器)相关联的患者年龄特定标准数据。阈值灵敏度值的预测也可以基于非结构性患者特定数据(例如，未从方框12的输入视网膜图像中提取的生理数据)，例如，患者的年龄、种族、和病史中的一者或多者。阈值灵敏度值的确定也可以基于先验患者特定功能测试，例如，先验vf测试结果和/或先验(视觉)诱发电位测试数据。
48.再次重申，如此确定的(例如，预测/导出的)视觉灵敏度值vfth_out可以被提交给视野计13，该视野计13可以在将所选功能vf测试应用于患者时，使其起始vf测试点值(例如，强度和/或尺寸输入先验)基于对应的一个或多个所选测试点(或以其他方式优化其vf测试)。也就是说，可以在先验构造中修改导出的灵敏度vfth_out。例如，所选择的vf测试可以开始使用与导出的灵敏度vfth_out具有偏移(例如，更高或更低的强度)的输入先验。
49.可替换地或另外地，确定的或估计的阈值灵敏度值可以用作vf先验和/或用于确定患者视场的预测，其可以用于诊断/临床解释或结构功能分析。例如，患者的预测视场可以用作临床决策支持(cds)系统的一部分，该系统向临床医生、工作人员、患者或其他个人提供知识和个人特定的信息，在适当的时间智能地过滤或呈现，以增强健康护理。本系统可以作为额外工具包含到cds系统中，以增强临床工作流程中的决策。例如，本系统可以向护理提供者和患者提供计算机化的警报和提醒，并提供临床指南、特定条件的订单集(例如，视场测试或其他医学测试的建议)、集中的患者数据报告和摘要、文档模板、诊断支持和上下文相关的参考信息。例如，可以将当前导出的灵敏度vfth_out与一个或多个先前导出的灵敏度结果和/或真实视场测试结果(例如，来自先前的医生就诊)进行比较，并且当当前导出的灵敏度vfth_out指示患者的视场变化超过预定范围和/或预定区域和/或预定变化率时，发出警告标志/消息。警告标志/消息可以指示患者应该被安排进行真实视场测试。
50.机器学习模型15可以基于线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、k最近邻、k均值、随机森林、维度降低、梯度增强和神经网络中的一者或多者。通常，机器学习模型是可以被训练来执行特定功能的计算系统，并且特定模型的选择可以取决于被解决的问题的类型。例如，支持向量机(svm)是用于分类和回归问题的机器学习线性模型，并且
可以用于解决线性和非线性问题。svm的想法是创建一条线或超平面，将数据分成类。更正式地，svm定义了多维空间中的一个或多个超平面，其中，超平面用于分类、回归、离群点检测等。本质上，svm模型是将标记的训练示例表示为多维空间中的点，进行映射，使得不同类别的标记的训练示例被超平面划分，超平面可以被认为是分隔不同类别的决策边界。当新的测试输入样本被提交到svm模型时，测试输入被映射到相同的空间，并且基于测试输入位于决策边界(超平面)的哪一侧，做出关于它属于什么类别的预测。
51.然而，在本发明的优选实施方式中，机器学习模型15至少部分地在计算系统中实现，该计算系统包括/包含可以基于深度学习的训练神经网络。下面参考图13至图16讨论神经网络的各种示例，其中的任何一个单独地或组合地可以用于本发明。
52.为了说明的目的，图2示出了根据本发明的神经网络nn-1的训练的示例。为了便于讨论，每个训练集被示为由训练对tp1到tpn组成，并且在本示例中，每个训练对可以包括基于oct的图像/扫描oct1到octn(例如，oct血管造影数据和/或结构oct数据)，作为训练输入样本，其与相应的、标记的视场测试结果数据vftr1到vftrn配对，该数据从获得训练输入图像的同一“测试患者”收集，并且优选地在收集训练输入图像的大致相同的日期。然而，如上所述，除了基于oct的图像之外，或者代替基于oct的图像，训练(数据)输入样本可以包括眼底图像、荧光素血管造影图像、(视觉)诱发电位测试和其他客观视场检查结果(多焦视网膜电图erg/perf、瞳孔测量等)、个体视网膜结构测量、先前诊断的病理(例如，医疗状况、医疗治疗和/或其他医疗记录)、测试患者的身体特征(例如，年龄、种族、病史)、测试患者人口统计学的标准结构数据(视网膜神经纤维层(retinal nerve fiber layer，rnfl)厚度和神经节细胞-内丛状层(ganglion cell-inner plexiform layer，gcipl)厚度)、测试患者人口统计学的标准函数数据(normative functional data)(例如，特定视场测试的标准化初始化参数)等。训练(数据)输入可以进一步包括先验视场测试结果(例如，真实的或先前合成/导出的功能vt测试结果/视觉灵敏度测量)和拍摄其的日期，以便帮助识别与测试患者的特定特征(例如，病理)相关联的视场结果变化率的趋势。应当理解，这些用于训练输入的先验视场测试结果可以基于sap和/或它们可以基于客观视场检查(vep、多焦erg/perf、瞳孔测量等)。为了便于说明，训练输入的基于oct的数据被显示为深度编码的正面面板/图像，但是应当理解，训练输入的oct数据可以是体数据、b扫描或a扫描。在本示例中，训练神经网络nn-1，以确定(或导出)vf先验，例如，视场阈值(例如，给定视场测试类型的相应视场测试点的强度和/或大小阈值)，因此其视场训练目标输出vftr1至vftrn被说明性地示出为标记的、真实的、功能视场测试结果(例如，沿着测试视场分布的相应测试点的暗的和亮的正方形和/或数字视场阈值结果)。在本示例中，神经网络nn1被训练成从基于全oct的图像信息中提取视场阈值数据，因此每个训练对中的训练输入被示为包括全扫描信息oct1至octn。可选地，数据扩充方法可以用于增加训练数据集的大小，例如，通过将每个测试输入数据(oct1到octn)分成较小尺寸的数据段(或图像/扫描片)，其中，片可以具有相似或不同的大小。通常，较大的训练集大小会提供更好的训练结果。
53.图3示出了图2的训练神经网络nn-1的示例性操作，其中，在训练结束后使用实时数据输入，或者在训练会话的评估阶段期间使用测试数据输入。训练的神经网络nn-1可以包括全连接神经网络、卷积神经网络、前馈神经网络、递归神经网络、模块化神经网络、和u-net中的一者或多者，如下面更全面讨论的。本神经网络nn-1可以接收所获得的图像数据
(例如，来自oct系统或眼底成像器的实时图像，或者访问例如来自患者的病历的先前收集的图像，可以远程存储这些图像)，作为输入oct-in(如果支持多种vf测试类型，则该输入还可选地指定将要对患者进行的视场测试的类型)，并且预测(例如，确定/合成/生成)具有指定的视场测试类型的一个或多个测试点的预测阈值的相应视场阈值输出vfth_out。如图1所示，输出vfth_out可以被提交到方框13，用于对患者进行功能vf测试。注意，输入图像oct-in不是训练中使用过的图像，也不是从训练中使用的任何图像导出的图像。也就是说，网络nn1之前没有看到的图像数据(例如，oct-in)被选择用于测试/评估/操作阶段。可选地，在操作中，网络nn-1不接收患者的任何先前真实(功能性)视场测试结果，作为输入。
54.图4示出了链接多个nn级(stg1和stg2)的替代训练体系结构，每个级在模块化神经网络配置中包括其自己的神经网络。本架构的第一级stg1类似于图2的第一级stg1，并且可以由为处理图像而优化的神经网络组成，例如，卷积神经网络和/或u-net。图4中与图2中相似的所有元件具有相似的附图标记，并在上面进行了讨论。在本示例中，来自第一级stg1的输出馈入第二神经网络nn-2，第二神经网络可以优化，以处理单独数据单元(与图像相反)，并且可以由例如全连接神经网络、前馈神经网络和/或递归神经网络组成。第二级stg2的输入可以不包括图像，并且包括单独的数据集(例如，上下文数据)，例如，标准数据、患者病历数据、单独的生物测量信息、先前的(真实的或合成的)视场阈值结果等。在操作中(例如，在训练之后)，来自图4的架构的预测vf阈值(未示出)可以被提交给图1的视野计13，以使用预测的vf阈值作为开始测试点值和/或先验来管理功能视场测试。
55.注意，考虑到先前前的视场测试结果可有助于识别患者视场变化的趋势，这可能导致更准确的预测。然而，因为迄今为止视场测试是耗时的，并且不总是以规定的(例如，规则的)间隔进行，所以在患者的视场测试结果中可能存在间隙。因此，可能没有足够的数据来确定患者变化视场的趋势或倾向。本系统通过提供合成/导出的视场测试来填补这些空白，从而解决了这个问题。例如，尽管患者可能在特定门诊就诊时(或特定月份/时间)跳过了拍摄视场，但是患者可能在门诊(或在预定的时间范围内，例如，月或其他设定的周/日数)已经拍摄了视网膜图像(例如，oct、octa、眼底图像、fa等)。在这种情况下，拍摄的视网膜图像可以用于提取导出的视场。然后，该导出的视场可用于代替与vf相关的分析中的真实功能视场。例如，这种导出的视场可用于在神经网络的额外训练会话中创建额外训练集(例如，用作特定训练对tpi中的vf目标输出vftri，如图2所示)或训练另一神经网络。也就是说，在图2和/或图4的训练配置中，导出的视场可以用作训练数据(代替先前拍摄的真实功能视场结果或者作为其补充)。
56.图5提供了用于vf相关分析的导出视场的示例。图5的示例图显示了患者随时间退化的视场敏感度，并示出了具有患者的视场测试历史如何有助于预测(预告)患者的当前或未来视场(例如，预测视场敏感度测量，例如，基于给定测试点的阈值)。纵轴可以对应于患者视觉敏感度的测量值，横轴可以对应于时间的流逝，例如，一系列规定的视场测试日期或预定的门诊。在本示例中，真实的先验vf测试结果显示为实心点，并且来自患者先前门诊的合成(导出)vf结果(例如，基于生物测量信息或其他非传统功能视场数据)显示为圆圈。先验vf测试灵敏度结果与时间的关系图有助于说明患者在时间“x”的预计阈值。如果仅使用真实的先验vf测试结果(实心点)，这种预测是不可能的，这将指示线性进展，如虚线ln1所示，但是添加合成的vf结果(圆圈)作为额外的“vf先验”来填充测试时间中的间隙揭示了更
加对数的或曲线的图(由虚线crv1指示)，其更好地预测时间“x”的未来vf值。也就是说，导出的和真实的视场的集合可以被输入到vf预测系统，该系统使用输入来预测患者当前或未来的视场。这种vf预测系统可以由实现任何数量的预测技术的计算系统来体现，例如机器学习(例如，线性回归)和/或深度学习(例如，递归神经网络)。
57.图6示出了根据本发明的vf预测系统21。在本示例中，为了更好地预测后续时隙ts10的视场vfth_out，9个时隙/间隔ts1至ts9需要vf先验。在本示例中，对于时隙ts1、ts3、ts4、ts6、st7和st8，真实的vf测试结果可用，但是由于vf历史记录中的间隙，对于时隙ts2、ts5和ts9，没有真实的vf测试结果可用。假设患者具有对应于缺失时隙的图像数据(生物测定/物理测量)(例如，患者进行了视网膜图像/扫描，但是没有在规定的时隙进行vf测试)，本系统可以用于合成缺失时隙ts2、ts5和ts9的vf先验。真实的和合成的vf先验的集合可以被提交给预测工具21(依次或并行地)，然后预测工具可以输出时隙ts10的预测视场vfth_out。输出vfth_out可以作为图1中的导出视场vfth_out提交给方框13。
58.进行了一项初步的概念验证研究，以评估将结构导出的视场先验(s先验)用于模拟视场(vf)的性能。本研究使用了来自新加坡人群研究的1399名受试者(单眼)的合格(例如，回顾性)数据。在研究访问中收集了汉弗莱视场分析仪(humphrey field analyzer)(hfa2i)(zeiss，dublin，ca)sita标准24-2 vf和hd-oct(zeiss，dublin，ca)的数据包括光学立方体。70％的眼睛被用于训练回归器(例如，随机森林回归器)以预测54点vf。使用256点视网膜周围乳头神经纤维层数据和年龄构建随机森林(rf)。使用rnfl厚度图构建了简化的混合尺度密集卷积神经网络(cnn)，例如，参见pelt等人的“a mixed-scale dense convolutional neural network for image analysis”，pnas，2018，115(2)，254-259，其全部内容通过引用结合于此。剩下的30％的眼睛用来预测s先验，并向vf模拟器提供输入场。
59.vf模拟器使用无先验(zest)的双模起始概率分布(spd)实现了贝叶斯zest，如“targeted spatial sampling using goanna improves detection of visual field progression”中所描述(chong等人，ophthalmic physiol opt，2015年3月35(2)：155-69)，除了正常模式改为以从正常一组118只眼睛中确定的年龄正常值为中心，如flanagan等人的“exploring the structure-function relationship for perimetry stimulus sizes iii,v and vi and oct in early glaucoma”中所描述，arvo(视觉和眼科研究协会)摘要，investigative ophthalmology&visual science(iovs)，2016年9月，第57卷，376，本文将其全部内容通过引用结合于此。
60.还模拟了使用为以两种s先验为中心的定制先验而设计的单模spd的zest(例如，zest-rf、zest-cnn)。如“response variability in the visual field:comparison of optic neuritis,glaucoma,ocular hypertension,and normal eyes”所述，对视觉反应频率的斜率进行建模(henson等人，iovs，2000年2月，第41卷，417-421页)，本文将其全部内容通过引用结合于此。作为三种类型的应答者，错误回答率分别设置为0％、5％和20％。通过观察模拟(例如，合成)和真实vf之间的平均绝对误差(mae)和问题总数来评估模拟(例如，合成)和真实vf之间的性能。离盲点最近的两个位置被排除在分析之外。使用mae的
±
5％db和总问题的
±
5％的一致性限度，对策略间等效性和zest进行显著性检验(2次单侧配对t检验，α＝0.05)。
61.结果显示，训练集和测试集的平均vf md分别为-1.8
±
2.4db和-2.7
±
2.7db(p《0.001)。图7a和图7b是使用随机森林(图7a)和神经网络(图7b)机器学习模型的示例应用的(导出的)oct估计阈值对(真实的)vf阈值的曲线图。因为这是概念应用的证明，所以训练数据的可用性是有限的，特别是对于某些阈值。在每个图中，点垂直线vl提供了将训练数据少的区域ra(例如，在较低阈值)与训练数据较多的区域rb(例如，在较正常阈值)分开的视觉指示器。可以理解，目标线t1指示期望的分布/趋势，以指示真实阈值和导出阈值之间的等效性。图7a和图7b都示出了本简单模型在区域rb中表现得更好(例如，绘制的数据分布更好地遵循目标线tl)，在该区域rb中比在区域ra中有更多的训练数据可用(例如，本简单模型在更正常的阈值下表现得比在更低的阈值下更好)。提供额外的训练数据，特别是在较低的阈值下，很可能将改进目前的模型并提供更好的结果。无论如何，图7b表明，(深度学习)神经网络(cnn)模型可以获得比随机森林(rf)模型更好的结果(例如，绘制的数据更好地遵循目标线tl)。
62.然而，图8示出了表1，该表1指示zest-rf和zest-cnn的总体mae在统计上与zest相当(p《0.001)。与zest相比，zest-cnn的问题总数减少了16-19％。这些发现表明，即使是一个具有有限/不平衡数据的简单模型，该模型根据生物特征/结构数据(例如，oct数据和/或眼底图像)预测vf，也可以以相当的误差减少该人群中初始vf检查的持续时间。随着表示临床人群的数据越来越多，模型越来越精细，性能可能会进一步提高。
63.下文提供了适用于本发明的各种硬件和架构的描述。
64.视场测试系统
65.本文描述的改进可以与任何类型的视场测试仪/系统结合使用，例如，视野计。一个这样的系统是“碗”视场测试仪vf0，如图9所示。受试者(例如，患者)vf1被示为观察通常成形为碗的形状的半球形投影屏幕(或其他类型的显示器)vf2，测试器vf0因此被称为碗。通常，指示受试者注视半球形屏幕vf3中心的一点。受试者将他/她的头靠在患者支架上，该支架可以包括下巴支架vf12和/或前额支架vf14。例如，受试者将他/她的头靠在下巴支架vf12上，并且将他/她的前额靠在前额支架vf14上。可选地，下巴支架vf12和前额支架vf14可以一起或彼此独立地移动，以正确地固定/定位患者的眼睛，例如，相对于试验镜片保持器vf9，试验镜片保持器可以保持受试者可以通过其观看屏幕vf2的镜片。例如，下巴支架和前额支架可以在竖直方向上独立移动，以适应不同的患者头部尺寸，并且在水平和/或竖直方向上一起移动，以正确定位头部。然而，这不是限制性的，并且本领域技术人员可以想到其他布置/移动。
66.在处理器vf5的控制下，投影仪或其他成像装置vf4在屏幕vf2上显示一系列测试刺激(例如，任何形状的测试点)vf6。受试者vf1指示他/她通过启动用户输入vf7(例如，按下输入按钮)看到刺激vf6。该受试者响应可以由处理器vf5记录，处理器可以用于基于受试者的响应来评估眼睛的视场，例如，确定受试者vf1不再能看到的测试刺激vf6的大小、位置和/或强度，从而确定测试刺激vf6的(可见)阈值。相机vf8可用于在整个测试中捕获患者的凝视(例如，凝视方向)。凝视方向可用于患者对准和/或确定患者是否遵守正确的测试程序。在本示例中，相机vf8位于相对于患者眼睛(例如，相对于试验镜片支架vf9)的z轴上，并且位于(屏幕vf2的)碗后面，用于捕获患者眼睛的实时图像或视频。在其他实施例中，该相机可以位于该z轴之外。来自凝视相机vf8的图像可以可选地在第二显示器vf10上显示给临
床医生(在此也可以互换地称为技术人员)，以帮助患者对准或测试验证。相机vf8可以在每次刺激呈现期间记录和存储眼睛的一个或多个图像。根据测试条件，这可能会导致每个视场测试收集几十到几百张图像。可替换地，相机vf8可以在测试期间记录和存储完整长度的电影，并提供指示每个刺激何时出现的时间戳。此外，还可以在刺激呈现之间收集图像，以提供整个vf测试持续期间受试者整体注意力的细节。
67.试验镜片支架vf9可以放置在患者眼睛的前方，以校正眼睛中的任何屈光不正。可选地，镜片保持器vf9可以携带或保持液体试验镜片(例如，参见美国专利号8,668,338，其全部内容通过引用结合于此)，其可以用于为患者vf1提供可变屈光矫正。然而，应该注意的是，本发明不限于使用液体试验镜片进行折射校正，也可以使用本领域已知的其他传统/标准试验镜片。
68.在一些实施例中，一个或多个光源(未示出)可以位于受试者vf1的眼睛前方，其从眼表面(例如，角膜)产生反射。在一种变型中，光源可以是发光二极管(led)。
69.虽然图9示出了投影型视场测试仪vf0，但是本文描述的发明可以与其他类型的装置(视场测试仪)一起使用，包括那些通过液晶显示器(lcd)或其他电子显示器产生图像的装置(参见例如美国专利号8,132,916，通过引用结合于此)。其他类型的视场测试仪包括例如平板屏幕测试仪、小型化测试仪和双目视场测试仪。这些类型的测试器的示例见美国专利8,371,696、美国专利5,912,723、美国专利号8,931,905、美国设计专利d472637，其中每个专利的全部内容都通过引用结合于此。
70.视场测试仪vf0可以包含仪器控制系统(例如，运行算法，该算法可以是软件、代码和/或例程)，该系统使用硬件信号和机动定位系统来自动将患者的眼睛定位在期望的位置，例如，镜片保持器vf9处的屈光矫正镜片的中心。例如，步进电机可以在软件控制下移动下巴支架vf12和前额支架vf14。可以提供摇杆开关，以使主治技师能够通过操作下巴支架和前额步进电机来调节患者的头部位置。手动可移动的折射镜片也可以放置在透镜支架vf9上的患者眼睛前面，尽可能靠近患者的眼睛，而不会不利地影响患者的舒适性。可选地，如果这种运动会中断测试执行的话，仪器控制算法可以在下巴支架和/或前额电机运动正在进行时暂停视野检查测试的执行。
71.眼底成像系统
72.用于对眼底成像的两类成像系统是泛光照明成像系统(或泛光照明成像器)和扫描照明成像系统(或扫描成像器)。泛光照明成像器例如通过使用闪光灯，同时用光淹没样本的整个感兴趣的视场(fov)，并且用全帧相机(例如，具有足够大尺寸的二维(2d)光传感器阵列的相机，以整体捕获期望的fov)捕获样本的全帧图像(例如，眼底)。例如，泛光照明眼底成像仪将使眼底泛光，并在相机的单个图像捕获序列中捕获眼底的全帧图像。扫描成像器提供在对象(例如，眼睛)上扫描的扫描光束，并且当扫描光束在对象上扫描时，扫描光束在不同的扫描位置成像，产生一系列图像片段，这些图像片段可以重建(例如，合成)，以产生期望fov的合成图像。扫描光束可以是点、线或二维区域，例如，狭缝或宽线。
73.图10示出了用于对眼底f成像的狭缝扫描眼科系统slo-1的示例，眼底f是与眼睛晶状体(或晶状体)cl相对的眼睛e的内表面，并且可以包括视网膜、视盘、黄斑、中央凹和后极。在本示例中，成像系统处于所谓的“扫描-去扫描”配置中，其中，扫描线光束sb穿过眼睛e的光学部件(包括角膜crn、虹膜irs、瞳孔ppl和晶状体cl)，以在眼底f上扫描。在泛光眼底
成像器的情况下，不需要扫描仪，并且光立刻施加在整个期望的视场(fov)上。其他扫描配置在本领域中是已知的，并且具体的扫描配置对于本发明并不重要。如所示出的，成像系统包括一个或多个光源ltsrc，优选多色led系统或激光系统，其中，已经适当调节集光率。可选的狭缝slt(可调节的或静态的)位于光源ltsrc的前面，并可用于调节扫描线光束sb的宽度。此外，狭缝slt可以在成像期间保持静止，或者可以被调整到不同的宽度，以允许不同的共焦水平和不同的应用，用于特定扫描，或者在扫描期间用于抑制反射。可选的物镜objl可以放置在狭缝slt的前面。物镜objl可以是任何一种现有技术的透镜，包括但不限于折射、衍射、反射或混合透镜/系统。来自狭缝slt的光穿过光瞳分割镜sm，并被导向扫描仪lnscn。希望使扫描平面和光瞳平面尽可能靠近在一起，以减少系统中的渐晕。可以包括可选的光学器件d1来操纵两个组件的图像之间的光学距离。光瞳分割镜sm可以将来自光源ltsrc的照明光束传递到扫描仪lnscn，并将来自扫描仪lnscn的检测光束(例如，从眼睛e返回的反射光)反射向相机cmr。瞳孔分割镜sm的任务是分割照明和检测光束，并帮助抑制系统反射。扫描仪lnscn可以是旋转振镜扫描仪或其他类型的扫描仪(例如，压电或音圈、微机电系统(mems)扫描仪、电光偏转器和/或旋转多边形扫描仪)。根据瞳孔分裂是在扫描仪lnscn之前还是之后进行，扫描可以分为两个步骤，其中，一个扫描仪在照明路径中，而另一扫描仪在检测路径中。在美国专利号9,456,746详细描述了具体的光瞳分割设置，该专利的全部内容通过引用结合于此。
74.从扫描仪lnscn，照明光束穿过一个或多个光学器件，在这种情况下是扫描透镜sl和眼科或目镜ol，其允许眼睛e的瞳孔成像到系统的图像瞳孔。通常，扫描透镜s1以多个扫描角度(入射角)中的任一个接收来自扫描仪lnscn的扫描照明光束，并产生具有基本平坦的表面焦平面(例如，准直光路)的扫描线光束sb。眼科透镜ol可以将扫描线光束sb聚焦到眼睛e的眼底f(或视网膜)上，并对眼底成像。以这种方式，扫描线光束sb产生横穿眼底f的横向扫描线。这些光学器件的一种可能配置是开普勒型望远镜，其中，选择两个透镜之间的距离，来创建近似远心的中间眼底图像(4-f配置)。眼科透镜ol可以是单个透镜、消色差透镜或不同透镜的排列。如本领域技术人员所知，所有透镜可以是折射的、衍射的、反射的或混合的。眼科透镜ol、扫描透镜sl的焦距以及光瞳分割镜sm和扫描仪lnscn的尺寸和/或形式可以根据期望的视场(fov)而不同，因此可以设想这样一种排列，其中，多个部件可以在光路中切换进出，例如，通过使用光学器件中的触发器、电动轮或可拆卸的光学元件，这取决于视场。由于视场的变化导致瞳孔上的光束大小不同，所以瞳孔分裂也可以随着fov的改变而改变。例如，45
°
到60
°
的视场是眼底相机的通常的或标准fov。更高的视场(例如，60
°‑
120
°
或更高的宽视场fov)也是可行的。宽视场fov可以是宽线眼底成像仪(blfi)与另一种成像方式(例如，光学相干断层扫描(oct))相结合的理想选择。视场的上限可以由可接近的工作距离结合人眼周围的生理条件来确定。因为典型的人类视网膜具有140
°
水平和80
°‑
100
°
垂直的fov，所以对于系统上最高可能的fov，可能希望具有不对称的视场。
75.扫描线光束sb穿过眼睛e的瞳孔ppl，并被导向视网膜或眼底表面f。扫描仪lnscn1调节视网膜或眼底f上的光的位置，使得照亮眼睛e上的一系列横向位置。反射或散射光(或在荧光成像的情况下发射的光)沿着与照明相似的路径被引导回来，以在到相机cmr的检测路径上定义收集光束cb。
76.在本示例性狭缝扫描眼科系统slo-1的“扫描-去扫描”配置中，从眼睛e返回的光
在其到达瞳孔分割镜sm的途中被扫描仪lnscn“去扫描”。即，扫描仪lnscn扫描来自瞳孔分割镜sm的照明光束，以定义穿过眼睛e的扫描照明光束sb，但是由于扫描仪lnscn也在相同的扫描位置接收来自眼睛e的返回光，所以扫描仪lnscn具有去除返回光的扫描(例如，取消扫描动作)的效果，以定义从扫描仪lnscn到瞳孔分割镜sm的非扫描(例如，稳定的或静止的)收集光束，该瞳孔分割镜朝向相机cmr折叠收集光束。在光瞳分割镜sm处，反射光(或者在荧光成像的情况下发射的光)从照明光分离到指向相机cmr的检测路径上，相机cmr可以是具有光传感器以捕获图像的数码相机。成像(例如，物镜)透镜imgl可以位于检测路径中，以将眼底成像到相机cmr。与物镜objl的情况一样，成像透镜imgl可以是本领域已知的任何类型的透镜(例如，折射、衍射、反射或混合透镜)。在pct公开号wo2016/124644中描述了额外的操作细节，特别是减少图像中伪像的方法，其全部内容通过引用结合于此。相机cmr捕获接收到的图像，例如，创建图像文件，该图像文件可以由一个或多个(电子)处理器或计算装置(例如，图17所示的计算机系统)进一步处理。因此，收集光束(从扫描线光束sb的所有扫描位置返回)由相机cmr收集，并且全帧图像img可以由单独捕获的收集光束的合成构成，例如，通过合成。然而，也可以考虑其他扫描配置，包括照明光束在眼睛e上扫描并且收集光束在相机的光传感器阵列上扫描的配置。通过引用结合于此的pct公开wo2012/059236和美国专利公开号2015/0131050描述了狭缝扫描检眼镜的几个实施例，包括返回光扫过相机的光传感器阵列和返回光不扫过相机的光传感器阵列的各种设计。
77.在本示例中，相机cmr连接到处理器(例如，处理模块)proc和显示器(例如，显示模块、计算机屏幕、电子屏幕等)dspl，这两者都可以是图像系统本身的一部分，或者可以是单独的专用处理和/或显示单元的一部分，例如，计算机系统，其中，数据通过电缆或包括无线网络的计算机网络从相机cmr传递到计算机系统。显示器和处理器可以是一体的。显示器可以是传统的电子显示器/屏幕或触摸屏类型，并且可以包括用于向仪器操作者或用户显示信息和从其接收信息的用户接口。用户可以使用本领域已知的任何类型的用户输入装置与显示器交互，包括但不限于鼠标、旋钮、按钮、指针和触摸屏。
78.在进行成像时，可能希望患者的凝视保持固定。实现这一点的一种方法是提供固定目标，可以引导患者注视该目标。固定目标可以在仪器内部或外部，这取决于要对眼睛的哪个区域成像。图10示出了内固定目标的一个实施例。除了用于成像的主光源ltsrc之外，可以定位第二可选光源fxltsrc，例如，一个或多个led，使得使用透镜fxl、扫描元件fxscn和反射器/反射镜fxm将光模式成像到视网膜上。固定扫描仪fxscn可以移动光模式的位置，并且反射器fxm将光模式从固定扫描仪fxscn引导到眼睛e的眼底f。优选地，固定扫描仪fxscn被定位成使得其位于系统的瞳孔平面，使得视网膜/眼底上的光模式可以根据期望的注视位置而移动。
79.根据所采用的光源和波长选择过滤元件，狭缝扫描检眼镜系统能够在不同的成像模式下工作。当用一系列彩色led(红色、蓝色和绿色)对眼睛成像时，可以实现真彩色反射成像(类似于临床医生使用手持或裂隙灯检眼镜检查眼睛时观察到的成像)。每种颜色的图像可以在每个扫描位置打开每个led的情况下逐步建立，或者每种颜色的图像可以单独整体拍摄。这三种彩色图像可以组合起来显示真彩色图像，也可以单独显示，以突出视网膜的不同特征。红色通道最能突出脉络膜，绿色通道突出视网膜，蓝色通道突出视网膜前层。此外，特定频率的光(例如，单独的彩色led或激光器)可以用于激发眼睛中的不同荧光团(例
如，自发荧光)，并且可以通过滤除激发波长来检测所产生的荧光。
80.眼底成像系统还可以提供红外反射图像，例如，通过使用红外激光器(或其他红外光源)。红外模式的优势在于眼睛对红外波长不敏感。这可以允许用户在不干扰眼睛的情况下连续拍摄图像(例如，在预览/对准模式下)，以在对准仪器期间帮助用户。此外，红外波长增加了对组织的穿透，并且可以提供脉络膜结构的改善的可视性。此外，荧光素血管造影术(fa)和吲哚青绿(icg)血管造影术成像可以通过在将荧光染料注入受试者血流后收集图像来完成。例如，在fa(和/或icg)中，在将光活性染料(例如，荧光染料)注射到受试者的血流中之后，可以捕获一系列延时图像。需要注意的是，必须小心，因为荧光染料可能在部分人群中导致危及生命的过敏反应。使用所选择的特定光频率来激发染料，从而捕获高对比度的灰度图像。当染料流过眼睛时，眼睛的相应部分会发出明亮的光(例如，荧光)，从而可以看清染料的进程，从而看清血液流过眼睛的情况。
81.光学相干层析成像系统
82.除了眼底照相、眼底自动荧光(faf)、荧光素血管造影(fa)之外，还可以通过其他成像模态创建眼科图像，例如，光学相干断层扫描(oct)、oct血管造影(octa)和/或眼部超声检查。本发明或者本发明的至少一部分如本领域所理解的，具有微小修改，可以应用于这些其他眼科成像模态。更具体地，本发明也可以应用于由产生oct和/或octa图像的oct/octa系统产生的眼科图像。例如，本发明可以应用于oct/octa图像。在美国专利8,967,806和8,998,411中提供了眼底成像仪的示例，在美国专利6,741,359和9,706,915中提供了oct系统的示例，在美国专利9,700,206和9,759,544中提供了octa成像系统的示例，所有这些专利的全部内容通过引用结合于此。为了完整起见，本文提供了示例性的oct/octa系统。
83.图11示出了适用于本发明的用于收集眼睛的三维图像数据的广义频域光学相干断层扫描(fd-oct)系统。fd-oct系统oct_1包括光源ltsrc1。通常的光源包括但不限于具有短时间相干长度的宽带光源或扫描激光源。来自光源ltsrc1的光束通常由光纤fbr1引导，以照射样本(例如，眼睛e)；通常的样本是人眼中的组织。光源ltsrc1可以是在光谱域oct(sd-oct)情况下具有短时间相干长度的宽带光源，或者在扫描源oct(ss-oct)情况下的波长可调激光源。可以典型地用位于光纤fbr1的输出端和样本e之间的扫描仪scnr1扫描光，使得光束(虚线bm)在样本的待成像区域上被横向(在x和y方向)扫描。在全视场oct的情况下，不需要扫描仪，光一次穿过整个期望的视场(fov)。收集从样本散射的光，通常进入用于引导光进行照明的同一光纤fbr1。来自同一光源ltsrc1的参考光在单独的路径上传播，在这种情况下包括光纤fbr2和具有可调光学延迟的回射器rr1。本领域的技术人员将认识到，也可以使用透射参考路径，并且可调延迟可以放置在干涉仪的样本或参考臂中。收集的样本光通常在光纤耦合器cplr1中与参考光组合，以在oct光检测器dtctr1(例如，光电检测器阵列、数码相机等)中形成光干涉。尽管示出了单个光纤端口通向检测器dtctr1，但是本领域技术人员将认识到，干涉仪的各种设计可以用于干涉信号的平衡或非平衡检测。来自检测器dtctr1的输出被提供给处理器cmp1(例如，计算装置)，处理器cmp1将观察到的干扰转换成样本的深度信息。深度信息可以存储在与处理器cmp1相关联的存储器中和/或显示在显示器scn1(例如，计算机/电子显示器/屏幕)上。处理和存储功能可以位于oct仪器内，或者可以在外部处理单元(例如，图17所示的计算机系统)上执行功能，收集的数据被传送到该外部处理单元。该单元可以专用于数据处理或执行其他非常一般的任务，而不是专用于
oct装置。处理器cmp1可以包含例如现场可编程门阵列(fpga)、数字信号处理器(dsp)、专用集成电路(asic)、图形处理单元(gpu)、片上系统(soc)、中央处理单元(cpu)、通用图形处理单元(gpgpu)或其组合，其在传递到主处理器之前或以并行方式执行一些或全部数据处理步骤。
84.干涉仪中的样本臂和参考臂可以由体光学、光纤光学或混合体光学系统组成，并且可以具有不同的架构，例如，迈克尔逊(michelson)、马赫-曾德尔(mach-zehnder)或本领域技术人员已知的基于公共路径的设计。本文使用的光束应解释为任何小心导向的光路。代替机械扫描光束，光场可以照射视网膜的一维或二维区域，以产生oct数据(例如，参见美国专利9332902；d.hillmann等，“holoscopy
–
holographic optical coherence tomography”，optics letters 36(13)：23902011；y.nakamura等，“high-speed three dimensional human retinal imaging by line field spectral domain optical coherence tomography”optics express 115(12)：7fbr2 2007；blazkiewicz等，“signal-to-noise ratio study of full-field fourier-domain optical coherence tomography”applied optics 44(36)：7722(2005))。在时域系统中，参考臂需要具有可调的光学延迟来产生干涉。平衡检测系统通常用于td-oct和ss-oct系统，而光谱仪用于sd-oct系统的检测端口。本文描述的本发明可以应用于任何类型的oct系统。本发明的各个方面可以应用于任何类型的oct系统或其他类型的眼科诊断系统和/或多个眼科诊断系统，包括但不限于眼底成像系统、视场测试装置和扫描激光偏振仪。
85.在傅里叶域光学相干断层扫描(fd-oct)中，每次测量都是实值光谱干涉图(sj(k))。实值光谱数据通常经历几个后处理步骤，包括背景减法、色散校正等。处理后的干涉图的傅里叶变换产生复值oct信号输出这个复杂的oct信号的绝对值|aj|揭示了不同路径长度下的散射强度分布，因此散射是样本中深度(z方向)的函数。类似地，相位也可以从复值oct信号中提取。作为深度函数的散射轮廓称为轴向扫描(a扫描)。在样本中相邻位置测量的一组a扫描产生样本的截面图像(断层图像或b扫描)。在样本上的不同横向位置采集的一组b扫描构成了一个数据体或立方体。对于特定的数据量，术语快轴是指沿着单个b扫描的扫描方向，而慢轴是指沿着其收集多个b扫描的轴。术语“聚类扫描”可以指在相同(或基本相同)位置(或区域)通过重复采集产生的单个单元或数据块，用于分析运动对比，其可以用于识别血流。群集扫描可以由多个a扫描或b扫描组成，这些扫描是在样本上大致相同的位置以相对较短的时间间隔收集的。由于聚类扫描中的扫描属于同一区域，所以在聚类扫描中，静态结构在扫描之间保持相对不变，而满足预定标准的扫描之间的运动对比度可以被识别为血流。本领域已知多种产生b扫描的方法，包括但不限于：沿水平或x方向、沿垂直或y方向、沿x和y的对角线、或以圆形或螺旋形图案。b扫描可以在x-z维度上，但是可以是包括z维度的任何截面图像。
86.在oct血管造影术或功能oct中，分析算法可以应用于在不同时间(例如，群集扫描)在样本上相同或近似相同的样本位置收集的oct数据，以分析运动或流动(参见例如美国专利公开号2005/0171438、2012/0307014、2010/0027857、2012/0277579和美国专利6,549,801，这些专利的全部内容通过引用结合于此)。oct系统可以使用多种oct血管造影处理算法(例如，运动对比算法)中的任何一种来识别血流。例如，运动对比算法可以应用于从
图像数据导出的强度信息(基于强度的算法)、从图像数据导出的相位信息(基于相位的算法)或复杂图像数据(基于复杂的算法)。正面图像是3d oct数据的2d投影(例如，通过平均每个单独的a扫描的强度，使得每个a扫描定义2d投影中的像素)。类似地，正面脉管系统图像是显示运动对比信号的图像，其中，对应于深度(例如，沿着a扫描的z方向)的数据维度被显示为单个代表值(例如，2d投影图像中的像素)，通常通过对数据的全部或孤立部分求和或积分来显示(例如，参见美国专利号7,301,644，其全部内容通过引用结合于此)。提供血管造影成像功能的oct系统可以被称为oct血管造影(octa)系统。
87.图12示出正面脉管系统图像的示例。在使用本领域已知的任何运动对比技术处理数据以突出运动对比之后，对应于距视网膜中的内部限制膜(ilm)表面的给定组织深度的像素范围可以求和，以生成脉管系统的正面(例如，正面视图)图像。
88.神经网络
89.如上所述，本发明可以使用神经网络(nn)机器学习(ml)模型。为了完整起见，本文提供了神经网络的一般讨论。本发明可以单独或组合使用下面描述的神经网络架构中的任何一种。神经网络或神经网是由相互连接的神经元组成的(节点)网络，其中，每个神经元代表网络中的节点。神经元组可以分层排列，在多层感知器(mlp)排列中，一层的输出向前馈送到下一层。mlp可以理解为将一组输入数据映射到一组输出数据上的前馈神经网络模型。
90.图13示出了多层感知器(mlp)神经网络的示例。其结构可以包括多个隐藏(例如，内部)层hl1至hln，其将输入层inl(接收一组输入(或矢量输入)in_1至in_3)映射到输出层outl，该输出层outl产生一组输出(或矢量输出)，例如，out_1和out_2。每一层可以具有任何给定数量的节点，这些节点在本文被示意性地示为每一层内的圆圈。在本示例中，第一隐藏层hl1有两个节点，而隐藏层hl2、hl3和hln各有三个节点。一般来说，mlp越深(例如，mlp的隐藏层数越多)，它的学习能力就越强。输入层inl接收矢量输入(示意性地显示为由in_1、in_2和in_3组成的三维矢量)，并且可以将接收到的矢量输入应用于隐藏层序列中的第一隐藏层hl1。输出层outl接收来自多层模型中最后一个隐藏层(例如，hln)的输出，处理其输入，并产生矢量输出结果(示例性地显示为由out_1和out_2组成的二维矢量)。
91.通常，每个神经元(或节点)产生单个输出，该输出被向前馈送到紧随其后的层中的神经元。但是隐藏层中的每个神经元可以接收来自输入层或者来自紧接在前的隐藏层中的神经元的输出的多个输入。通常，每个节点可以对其输入应用函数，来产生该节点的输出。隐藏层(例如，学习层)中的节点可以将相同的函数应用于其各自的输入，以产生其各自的输出。然而，一些节点(例如，输入层inl中的节点)仅接收一个输入，并且可以是被动的，这意味着其简单地将其单个输入的值中继到其输出，例如，将其输入的副本提供给其输出，如输入层inl的节点内的虚线箭头所示。
92.出于说明的目的，图14示出了由输入层inl’、隐藏层hl1’和输出层outl’组成的简化神经网络。输入层inl’被示为具有两个输入节点i1和i2，其分别接收输入input_1和input_2(例如，层inl’的输入节点接收二维输入向量)。输入层inl’向前馈送到具有两个节点h1和h2的一个隐藏层hl1’，隐藏层hl1’又前馈到两个节点o1和o2的输出层outl’。神经元之间的互连或链接(图示为实线箭头)具有权重w1至w8。通常，除了输入层，节点(神经元)可以接收其紧邻的前一层中的节点的输出，作为输入。每个节点可以通过将其每个输入乘以每个输入相应的互连权重、对其输入的乘积求和、加上(或乘以)由可能与该特定节点相关
联的另一权重或偏差(例如，分别对应于节点h1、h2、o1和o2的节点权重(或偏差)w9、w10、w11、w12)定义的常数、然后对结果应用非线性函数或对数函数，来计算其输出。非线性函数可以称为激活函数或传递函数。多种激活功能在本领域中是已知的，并且特定激活功能的选择对于本讨论并不重要。然而，要注意的是，ml模型的操作或神经网的行为取决于权值，可以学习权值，使得神经网络为给定的输入提供期望的输出。
93.在训练或学习阶段，神经网学习(例如，被训练，以确定)适当的权重值，以实现给定输入的期望输出。在训练神经网之前，每个权重可以被单独分配一个初始(例如，随机的和可选的非零)值，例如，随机数种子。分配初始权重的各种方法在本领域中是已知的。然后，训练(优化)权重，使得对于给定的训练向量输入，神经网络产生接近期望(预定)训练向量输出的输出。例如，可以通过称为反向传播的技术，在数千个迭代周期中递增地调整权重。在反向传播的每个周期中，训练输入(例如，矢量输入或训练输入图像/样本)通过神经网络被前馈，以确定其实际输出(例如，矢量输出)。然后，基于实际神经元输出和该神经元的目标训练输出(例如，对应于当前训练输入图像/样本的训练输出图像/样本)，计算每个输出神经元或输出节点的误差。然后，通过神经网络传播回来(在从输出层回到输入层的方向上)，基于每个权重对总误差的影响程度来更新权重，使得神经网络的输出更接近期望的训练输出。然后重复该循环，直到神经网络的实际输出在给定训练输入的期望训练输出的可接受误差范围内。可以理解，每个训练输入在达到期望的误差范围之前可能需要多次反向传播迭代。通常，历元是指所有训练样本的一次反向传播迭代(例如，一次正向传递和一次反向传递)，使得训练神经网络可能需要许多历元。一般来说，训练集越大，训练的ml模型的性能越好，因此可以使用各种数据增强方法来增加训练集的大小。例如，当训练集包括成对的对应训练输入图像和训练输出图像时，训练图像可以被分成多个对应的图像片段(或块)。来自训练输入图像和训练输出图像的对应块可以配对，以从一个输入/输出图像对定义多个训练块对，这扩大了训练集。然而，在大型训练集上的训练对计算资源(例如，内存和数据处理资源)提出了很高的要求。可以通过将大的训练集分成多个小批量来减少计算需求，其中，小批量大小定义了一次向前/向后传递中训练样本的数量。在这种情况下，一个历元可以包括多个小批量。另一问题是nn过度拟合训练集的可能性，从而降低了其从特定输入推广到不同输入的能力。过度拟合的问题可以通过创建神经网络的集合或通过在训练期间随机丢弃神经网络中的节点来减轻，这有效地从神经网络中移除了丢弃的节点。现有技术中已知各种丢弃调节方法，例如，反向丢弃。
94.应当注意，经训练的nn机器模型的操作不是操作/分析步骤的直接算法。事实上，当一个训练好的nn机器模型接收到一个输入时，并不在传统意义上分析这个输入。相反，不管输入的主题或性质如何(例如，定义实时图像/扫描的向量或定义某个其他实体的向量，例如，人口统计描述或活动记录)，输入都将经受训练的神经网络的相同预定义架构构造(例如，相同的节点/层布置、训练权重和偏差值、预定义卷积/去卷积运算、激活函数、汇集操作等)，并且可能不清楚经过训练的网络的架构构造如何产生其输出。此外，训练的权重和偏差的值不是确定性的，并且取决于许多因素，例如，给神经网络提供训练的时间量(例如，训练中的历元数)、训练开始前权重的随机起始值、训练nn的机器的计算机架构、训练样本的选择、训练样本在多个小批量中的分布、激活函数的选择、误差函数的选择，其修改权重，即使训练在一台机器(例如，具有第一计算机架构)上被中断而在另一台机器(例如，具
有不同的计算机架构)上完成。重点是，为什么训练的ml模型达到某些输出的原因还不清楚，目前正在进行大量的研究，试图确定ml模型输出所基于的因素。因此，神经网络对实时数据的处理不能简化为简单的算法步骤。相反，其操作依赖于其训练架构、训练样本集、训练序列以及ml模型训练中的各种情况。
95.总之，nn机器学习模型的构建可以包括学习(或训练)阶段和分类(或操作)阶段。在学习阶段，可以为特定目的训练神经网络，并且可以向神经网络提供一组训练示例(包括训练(样本)输入和训练(样本)输出)，并且可选地包括一组验证示例，以测试训练的进度。在这个学习过程中，递增地调整与神经网络中的节点和节点互连相关联的各种权重，以便减少神经网络的实际输出和期望的训练输出之间的误差。以这种方式，可以使多层前馈神经网络(例如，如上所述)能够将任何可测量的函数近似到任何期望的精度。学习阶段的结果是已经被学习(例如，训练)的(神经网络)机器学习(ml)模型。在操作阶段，一组测试输入(或实时输入)可以被提交给所学习的(训练的)ml模型，该模型可以应用它所学习的来基于测试输入产生输出预测。
96.像图13和图14的常规神经网络一样，卷积神经网络(cnn)也是由具有可学习权重和偏差的神经元组成的。每个神经元接收输入，执行运算(例如，点积)，并可选地跟随非线性。然而，cnn可以在一端(例如，输入端)接收原始图像像素，并在另一端(例如，输出端)提供分类(或类别)分数。因为cnn期望图像作为输入，所以其针对处理体积(例如，图像的像素高度和宽度，加上图像的深度，例如，颜色深度，例如，由三种颜色定义的rgb深度：红色、绿色和蓝色)进行了优化。例如，cnn的层可以针对三维排列的神经元进行优化。cnn层中的神经元也可以连接到该层之前的一个小区域，而不是完全连接的nn中的所有神经元。cnn的最终输出层可以将完整的图像简化为沿着深度维度排列的单个向量(分类)。
97.图15提供了示例卷积nn架构。卷积nn可以被定义为两层或更多层(例如，层1到层n)的序列，其中，这些层可以包括(图像)卷积步骤、(结果的)加权和步骤以及非线性函数步骤。可以通过例如在输入数据上的移动窗口上应用滤波器(或核)来对其输入数据执行卷积，以产生特征图。每个层和层的组件可以具有不同的预定滤波器(来自滤波器组)、权重(或加权参数)和/或函数参数。在本示例中，输入数据是给定像素高度和宽度的图像，其可以是图像的原始像素值。在本示例中，输入图像被示为具有三个颜色通道rgb(红色、绿色和蓝色)的深度。可选地，输入图像可以经历各种预处理，并且预处理结果可以代替原始输入图像或者除了原始输入图像之外被输入。图像预处理的一些示例可以包括：视网膜血管图分割、颜色空间转换、自适应直方图均衡化、连通分量生成等。在一个层中，可以计算给定权重和输入体积中其所连接的小区域之间的点积。配置cnn的许多方式在本领域中是已知的，但是作为一个示例，层可以被配置为应用元素激活函数，例如，在零处的最大(0，x)阈值。可以执行汇集功能(例如，沿着x-y方向)来对体积进行下采样。完全连接的层可以用于确定分类输出并产生一维输出向量，已经发现该向量对于图像识别和分类是有用的。然而，对于图像分割，cnn需要对每个像素进行分类。由于每个cnn层往往会降低输入图像的分辨率，因此需要另一阶段来将图像上采样回其原始分辨率。这可以通过应用转置卷积(或去卷积)阶段tc来实现，该tc通常不使用任何预定义插值方法，而是具有可学习的参数。
98.卷积神经网络已经成功地应用于许多计算机视觉问题。如上所述，训练cnn通常需要大型训练数据集。u-net架构基于cnn，通常可以在比传统cnn更小的训练数据集上进行训
练。
99.图16示出了一个示例性的u-net架构。本示例性u-net包括输入模块(或输入层或级)，其接收任何给定尺寸的输入u-in(例如，输入图像或图像块)。出于说明的目的，任何阶段或层的图像大小在表示图像的框内指示，例如，输入模块包含数字“128
×
128”，以指示输入图像u-in由128
×
128像素组成。输入图像可以是眼底图像、oct/octa正面图像、b扫描图像等。然而，应当理解，输入可以是任何大小或尺寸。例如，输入图像可以是rgb彩色图像、单色图像、体积图像等。输入图像经历一系列处理层，每个处理层以示例性尺寸示出，但是这些尺寸仅用于说明目的，并且将取决于例如图像的尺寸、卷积滤波器和/或汇集级。本架构由收缩路径(在本文示例性地包括四个编码模块)、随后是扩展路径(在本文示例性地包括四个解码模块)和复制和剪切链路(例如，cc1至cc4)组成，复制和剪切链路位于复制收缩路径中一个编码模块的输出并将其级联到扩展路径中相应解码模块的上转换输入(例如，将其附加到其背面)的相应模块/级之间。这导致了一个独特的u形，该架构由此得名。可选地，例如，出于计算考虑，“瓶颈”模块/级(bn)可以位于收缩路径和扩展路径之间。瓶颈bn可以由两个卷积层组成(具有批量归一化和可选的丢弃)。
100.收缩路径类似于编码器，通常通过使用特征映射来捕获上下文(或特征)信息。在本示例中，收缩路径中的每个编码模块可以包括两个或更多卷积层，示例性地由星号“*”指示，并且其后可以是最大汇集层(例如，下采样层)。例如，输入图像u-in被说明性地示出经历两个卷积层，每个卷积层具有32个特征图。可以理解，每个卷积核产生特征图(例如，与给定核的卷积运算的输出是通常称为“特征图”的图像)。例如，输入u-in经历应用32个卷积核(未示出)的第一卷积，以产生包括32个相应特征映射的输出。然而，如本领域中已知的，可以调整(向上或向下)通过卷积运算产生的特征图的数量。例如，可以通过平均多组特征地图、删除一些特征地图或其他已知的特征地图缩减方法来减少特征地图的数量。在本示例中，该第一卷积之后是第二卷积，其输出限于32个特征图。设想特征图的另一种方式可以是将卷积层的输出视为3d图像，其2d维数由列出的x-y平面像素维度(例如，128
×
128像素)给出，其深度由特征图的数量(例如，32个平面图像深度)给出。按照这个类比，第二卷积的输出(例如，收缩路径中第一编码模块的输出)可以被描述为128
×
128
×
32图像。第二卷积的输出随后经历汇集操作，这降低了每个特征图的2d维数(例如，x和y维数可以各降低一半)。如向下箭头所示，汇集操作可以体现在下采样操作中。几种汇集方法(例如，最大汇集)在本领域是已知的，具体的汇集方法对本发明来说并不重要。在每个汇集中，特征图的数量可以翻倍，从第一编码模块(或块)中的32个特征图开始，第二编码模块中的64个特征图开始，依此类推。因此，收缩路径形成了由多个编码模块(或级或块)组成的卷积网络。如卷积网络的典型情况，每个编码模块可以提供至少一个卷积级，随后是未示出的激活函数(例如，整流线性单元(relu)或sigmoid层)以及最大汇集操作。通常，激活功能将非线性引入到层中(例如，以帮助避免过拟合问题)，接收层的结果，并确定是否“激活”输出(例如，确定给定节点的值是否满足预定义标准，以将输出转发到下一层/节点)。总之，收缩路径通常在增加特征信息的同时减少空间信息。
101.扩展路径类似于解码器，尤其可以为收缩路径的结果提供定位和空间信息，尽管在收缩阶段进行了下采样和任何最大汇集化。扩展路径包括多个解码模块，其中，每个解码模块将其当前上转换值与相应编码模块的输出级联。以这种方式，特征和空间信息在扩展
路径中通过一系列上卷积(例如，上采样或转置卷积或去卷积)和与来自收缩路径的高分辨率特征的级联(例如，经由cc1至cc4)而组合。因此，去卷积层的输出与来自收缩路径的相应(可选裁剪的)特征图连接，随后是两个卷积层和激活函数(可选批量归一化)。来自扩展路径中最后一个扩展模块的输出可以被馈送到另一处理/训练块或层，例如，分类器块，其可以与u-net架构一起被训练。
102.计算装置/系统
103.图17示出了示例计算机系统(或计算装置或计算机装置)。在一些实施例中，一个或多个计算机系统可以提供本文描述或示出的功能和/或执行本文描述或示出的一个或多个方法的一个或多个步骤。计算机系统可以采取任何合适的物理形式。例如，计算机系统可以是嵌入式计算机系统、片上系统(soc)、单板计算机系统(sbc)(例如，模块上计算机(com)或模块上系统(som))、台式计算机系统、膝上型或笔记本计算机系统、计算机系统网格、移动电话、个人数字助理(pda)、服务器、平板计算机系统、增强/虚拟现实装置或这些中的两个或多个的组合。在适当的情况下，计算机系统可以驻留在云中，云可以包括一个或多个网络中的一个或多个云组件。
104.在一些实施例中，计算机系统可以包括处理器cpnt1、存储器cpnt2、存储装置cpnt3、输入/输出(i/o)接口cpnt4、通信接口cpnt5和总线cpnt6。计算机系统还可以可选地包括显示器cpnt7，例如，计算机监视器或屏幕。
105.处理器cpnt1包括用于执行指令的硬件，例如，那些组成计算机程序的指令。例如，处理器cpnt1可以是中央处理单元(cpu)或图形处理单元(gpgpu)上的通用计算。处理器cpnt1可以从内部寄存器、内部高速缓存、存储器cpnt2或存储装置cpnt3检索(或获取)指令，解码并执行指令，并将一个或多个结果写入内部寄存器、内部高速缓存、存储器cpnt2或存储装置cpnt3。在具体实施例中，处理器cpnt1可以包括一个或多个用于数据、指令或地址的内部高速缓存。处理器cpnt1可以包括一个或多个指令高速缓存、一个或多个数据高速缓存，例如，用于保存数据表。指令高速缓存中的指令可以是存储器cpnt2或存储装置cpnt3中的指令的副本，并且指令高速缓存可以加速处理器cpnt1对那些指令的检索。处理器cpnt1可以包括任何合适数量的内部寄存器，并且可以包括一个或多个算术逻辑单元(alu)。处理器cpnt1可以是多核处理器；或者包括一个或多个处理器cpnt1。尽管本公开描述并示出了特定的处理器，但是本公开考虑了任何合适的处理器。
106.存储器cpnt2可以包括主存储器，用于存储处理器cpnt1在处理期间执行或保存临时数据的指令。例如，计算机系统可以将指令或数据(例如，数据表)从存储装置cpnt3或从另一源(例如，另一计算机系统)加载到存储器cpnt2。处理器cpnt1可以将指令和数据从存储器cpnt2加载到一个或多个内部寄存器或内部高速缓存。为了执行指令，处理器cpnt1可以从内部寄存器或内部高速缓存中检索和解码指令。在指令执行期间或之后，处理器cpnt1可以将一个或多个结果(可以是中间或最终结果)写入内部寄存器、内部高速缓存、存储器cpnt2或存储装置cpnt3。总线cpnt6可以包括一条或多条存储器总线(每条总线可以包括地址总线和数据总线)，并且可以将处理器cpnt1耦合到存储器cpnt2和/或存储装置cpnt3。可选地，一个或多个存储器管理单元(mmu)促进处理器cpnt1和存储器cpnt2之间数据传输。存储器cpnt2(可以是快速易失性存储器)可以包括随机存取存储器，例如，动态ram(dram)或静态ram(sram)。存储装置cpnt3可以包括数据或指令的长期或大容量存储器。存储装置
cpnt3可以在计算机系统的内部或外部，并且包括磁盘驱动器(例如，硬盘驱动器hdd或固态驱动器ssd)、闪存、rom、eprom、光盘、磁光盘、磁带、通用串行总线(usb)可访问驱动器或其他类型的非易失性存储器中的一个或多个。
107.i/o接口cpnt4可以是软件、硬件或两者的组合，并且包括用于与i/o装置通信的一个或多个接口(例如，串行或并行通信端口)，这可以实现与人(例如，用户)的通信。例如，i/o装置可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态相机、指示笔、平板电脑、触摸屏、轨迹球、相机、另一合适的i/o装置或这些装置中的两个或更多个的组合。
108.通信接口cpnt5可以为与其他系统或网络的通信提供网络接口。通信接口cpnt5可以包括蓝牙接口或其他类型的基于分组的通信。例如，通信接口cpnt5可以包括用于与无线网络通信的网络接口控制器(nic)和/或无线nic或无线适配器。通信接口cpnt5可以提供与wi-fi网络、自组织网络、个人区域网(pan)、无线pan(例如，蓝牙wpan)、局域网(lan)、广域网(wan)、城域网(man)、蜂窝电话网络(例如，全球移动通信系统(gsm)网络)、互联网或这些网络中的两个或多个的组合的通信。
109.总线cpnt6可以在计算系统的上述组件之间提供通信链路。例如，总线cpnt6可以包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无线宽带(infiniband)总线、低引脚数(lpc)总线、存储器总线、微通道架构(mca)总线、外围组件互连(pci)总线、高速串行计算机(pci-express，pcie)总线、串行高级技术附件(sata)总线、视频电子标准协会本地(vlb)总线或这些总线中的两个或多个的组合的其他合适的总线。
110.尽管本公开描述并示出了在特定布置中具有特定数量的特定组件的特定计算机系统，但是本公开设想了在任何合适的布置中具有任何合适数量的任何合适组件的任何合适的计算机系统。
111.在本文中，在适当的情况下，计算机可读的非暂时性存储介质可以包括一个或多个基于半导体的或其他集成电路(ic)(例如，现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、secure digital卡或驱动器、任何其他合适的计算机可读非暂时性存储介质或者这些介质中的两个或多个的任何合适的组合。计算机可读非暂时性存储介质可以是易失性的、非易失性的或者易失性和非易失性的组合。
112.虽然已经结合几个具体实施例描述了本发明，但是对于本领域技术人员来说，很明显，根据前面的描述，许多进一步的替换、修改和变化将是显而易见的。因此，在本文描述的本发明旨在包括所有可能落入所附权利要求的精神和范围内的替换、修改、应用和变化。