用于为人工晶状体患者提供视觉模拟的系统和方法与流程

用于为人工晶状体患者提供视觉模拟的系统和方法


背景技术：
技术领域
1.本披露涉及视觉模拟，并且更具体地涉及根据本披露的各种实施例的模拟植入有人工晶状体的患者的视觉。现有技术的描述
2.白内障是一种在患者眼睛的晶状体上形成浑浊区域从而阻碍患者的视觉的病症。白内障在老年人中很常见。通常，白内障可以通过利用人工晶状体(iol)替换眼睛的(具有白内障的)天然晶状体来治愈。虽然患者可能具有预先存在的眼睛病症(例如，老花眼等)，但是白内障手术之后在眼睛内植入人工晶状体的患者可以通过将具有适当屈光力和特性的iol(例如，多焦点iol)用于该患者而重新获得在各种距离(例如，远距离、近距离和中间距离等)处看到精细空间细节的能力。
3.为了说明植入患者体内的各种iol的性能，呈现将接受白内障手术的患者的模拟视觉是有用的，这样用户(例如，患者、为患者提供护理的其他人)就可以决定在接受白内障手术时使用哪种iol。然而，生成患者的视觉模拟可能具有挑战性，因为模拟图像(其模拟患者对真实世界场景的感知)被呈现在平面屏幕(例如，平板显示器等)上，然后旨在当被用户对准之前通过用户的眼睛。因此，在本领域中需要提供对人工晶状体患者的视觉进行准确模拟的视觉模拟器。


技术实现要素：

4.根据一些实施例，一种系统包括非暂态存储器以及一个或多个硬件处理器，所述一个或多个硬件处理器被配置成从所述非暂态存储器读取指令以使所述系统执行操作，所述操作包括：访问表示患者眼睛的第一眼睛模型和表示不同于所述患者的用户的眼睛的第二眼睛模型；获得包括与场景相对应的多个图像层的合成图像，其中，所述多个图像层中的每个图像层包括与所述场景中的真实世界维度和真实世界观看距离相关联的物体；通过对所述第二眼睛模型执行数学函数来修改所述第二眼睛模型；以及通过将所述第一眼睛模型和修改后的第二眼睛模型应用于所述合成图像的所述多个图像层中的每个图像层来生成模拟图像。
5.根据一些实施例，一种方法包括：由一个或多个硬件处理器基于患者眼睛的生物特征信息来生成第一眼睛模型；由所述一个或多个硬件处理器访问表示不同于所述患者的用户的眼睛的第二眼睛模型；由所述一个或多个硬件处理器获得包括与场景相对应的多个图像层的合成图像，其中，所述多个图像层中的每个图像层包括与所述场景中的真实世界维度和真实世界观看距离相关联的物体；由所述一个或多个硬件处理器基于所述第二眼睛模型来修改所述第一眼睛模型；以及由所述一个或多个硬件处理器通过将所述第一眼睛模型应用于所述合成图像的所述多个图像层中的每个图像层来生成模拟图像。
6.根据一些实施例，一种非暂态机器可读，其上存储有机器可读指令，所述机器可读
指令能够执行以使机器执行操作，所述操作包括：访问表示患者眼睛的第一眼睛模型和表示不同于所述患者的用户的眼睛的第二眼睛模型；获得包括与场景相对应的多个图像层的合成图像，其中，所述多个图像层中的每个图像层包括与所述场景中的真实世界维度和真实世界观看距离相关联的物体；通过对所述第二眼睛模型执行数学函数来修改所述第二眼睛模型；以及通过将所述第一眼睛模型和修改后的第二眼睛模型应用于所述合成图像的所述多个图像层中的每个图像层来生成模拟图像。
附图说明
7.为了更加全面地理解本技术、其特征及其优点，参考结合附图给出的以下说明。
8.图1是根据一些实施例的用于生成模拟图像的系统的图。
9.图2a展示了根据一些实施例的生成表示白天场景的模拟图像的过程。
10.图2b展示了根据一些实施例的生成表示夜间场景的模拟图像的过程。
11.图3展示了根据一些实施例的合成图像。
12.图4a展示了根据一些实施例的真实世界场景的人类感知。
13.图4b展示了根据一些实施例的双通效应。
14.图5a展示了根据一些实施例的表示白天场景的另一合成图像。
15.图5b展示了根据一些实施例的表示夜间场景的另一合成图像。
16.图6a和图6b是根据一些实施例的处理系统的图。
17.在附图中，具有相同标号的要素具有相同或相似的功能。
具体实施方式
18.展示本发明的方面、实施例、实施方式或模块的描述和附图不应被视为限制——是权利要求定义了受保护的发明。在不脱离本说明书和权利要求的精神和范围的情况下，可以进行各种机械的、组成的、结构的、电气的和操作上的改变。在某些情况下，未详细示出或描述公知的电路、结构或技术，以免模糊本发明。在两个或更多个图中的相似的数字表示相同或相似的要素。
19.在本描述中，阐述了描述与本披露内容一致的一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域技术人员将清楚的是，一些实施例可以在没有一些或所有这些具体细节的情况下实践。本文披露的具体实施例意在说明而非限制。本领域技术人员可以实现尽管在这里没有具体描述但是在本披露内容的范围和精神内的其他要素。另外，为了避免不必要的重复，与一个实施例相关联示出和描述的一个或多个特征可以结合到其他实施例中，除非另外特别说明或者如果该一个或多个特征会使实施例不起作用。
20.下面描述的技术涉及用于提供对具有眼睛病症(诸如白内障病症、老花眼病症)的患者或植入有人工晶状体(iol)的患者(也称为人工晶状体患者)的视觉模拟的系统和方法。在一些实施例中，视觉模拟系统被配置为呈现模拟患者在将其不透明天然晶状体替换为iol的白内障手术之后将如何感知真实世界场景的图像。例如，视觉模拟系统可以在数字设备(例如，平板显示器)上呈现模拟图像以供一个或多个用户观看。
21.为了生成模拟患者的视觉的模拟图像，视觉模拟系统可以首先准备具有不同观看
距离处的多层物体的合成图像。合成图像可以通过组合真实世界场景的多个图像层来生成，其中，不同的图像层表示处于不同观看距离的物体。因此，通过组合图像层，合成图像可以表示三维真实世界场景。在一些实施例中，合成图像是根据患者的眼睛将如何观看真实世界场景来校准的。即，合成图像中的所有物体被设置为由物体的假定物理大小和观看距离定义的视角。
22.然后，视觉模拟系统可以建立(例如，获得或生成)表示患者眼睛的眼睛模型(例如，第一眼睛模型)。在一些实施例中，第一眼睛模型可以包括一个或多个点扩散函数(psf)。在这样的实施例中，psf表示在形成视网膜图像时患者的眼睛基于患者的眼睛光学特性如何聚焦来自不同观看距离的物体的光。然后，视觉模拟系统可以通过将第一眼睛模型与合成图像中的每一层进行卷积来修改(例如，模糊)对应的层，并且将所有模糊后的层混合在一起以形成模拟图像。模拟图像表示真实世界场景通过眼睛光学系统在患者眼睛的视网膜上的实现。在一些实施例中，视觉模拟系统可以使用alpha混合来将模糊层合并到一个平面中，以处理真实世界场景内的物体遮挡。将第一眼睛模型应用于真实世界场景的图像可以生成由眼睛患者感知到的视觉。然而，如上所讨论的，由于模拟图像被呈现在用户眼睛前面的平面显示器上，因此在生成模拟图像时需要考虑用户的眼睛光学系统以避免双通效应。
23.当观看者看到显示器上示出的模拟图像时，观看者的眼睛(例如，用户的眼睛)可能会出现双通效应。本文提及的双通效应描述了这一现象：通过将与眼睛患者相关联的第一眼睛模型应用于真实世界场景而生成的模拟图像在被观看者观看时，在被观看者对准之前由观看者眼睛的眼睛光学系统进一步处理。这样，当观看者对准图像时，模拟图像就被感知为由观看者(例如，用户)的眼睛光学系统进一步处理(例如，模糊)。为了使观看者感知到患者在观看真实世界场景时实际感知到的内容(例如，消除双通效应)，需要在将模拟图像呈现在显示器上之前从模拟图像中减去观看者眼睛光学系统的影响。
24.这样，在一些实施例中，视觉模拟系统可以建立表示观看者眼睛(例如，用户眼睛)的眼睛光学系统的另一眼睛模型(例如，第二眼睛模型)。然后，视觉模拟系统可以通过对第二眼睛模型执行数学函数(例如，对第二眼睛模型执行逆函数)来修改第二眼睛模型。然后，视觉模拟系统可以通过将修改后的第二眼睛模型进一步应用于模拟图像来抵消(例如，消除)双通效应。例如，在修改合成图像时，视觉模拟系统可以通过将第一眼睛模型和修改后的第二眼睛模型与合成图像中的每个层进行卷积来修改(例如，模糊)对应的层，并且然后将模糊后的层混合在一起以形成模拟图像。
25.然后，视觉模拟系统可以在显示设备(例如，平板显示器)上传输和/或呈现模拟图像。注意，由于合成图像是基于物体的观看距离来校准的以使得合成图像中的每个像素面向特定视觉，因此要求用户以预设放大率且在与合成图像的校准相对应的距离(例如，40cm)处观看模拟图像。因此，当向用户呈现模拟图像时，视觉模拟系统也可以指示用户在与模拟图像相关联的特定观看距离处观看该图像。
26.上述技术在模拟患者对白天场景的视觉方面是有效的。针对夜间场景，视觉模拟系统需要考虑附加因素，诸如夜间场景的潜在更高动态范围、人类在黑暗中对光强度(例如，亮度)的感知、以及光源强度的影响(例如，可能引起诸如光晕、星芒等视觉障碍)。这样，为了模拟患者对夜间场景的视觉，针对夜间场景所获得的合成图像需要具有高动态范围
(hdr)，使得像素强度与光源的物理强度成线性关系。视觉模拟引擎可以首先使用本文所述的与模拟白天场景相关的技术来处理hdr合成图像(例如，通过将第一眼睛模型和修改后的第二眼睛模型与hdr合成图像进行卷积)。视觉模拟系统可以通过将色调映射算法应用于合成图像来进一步处理模拟图像，以将hdr图像中的强度范围压缩到标准(或低)动态范围，使得保留hdr图像中的空间特征的可见性并且可以在仅具有标准(或低)动态范围的显示能力的显示设备上适当地呈现图像。在一些实施例中，视觉模拟系统可以首先将图像分割成与光源相对应的部分和与非光源相对应的部分，并且将色调映射算法仅应用于模拟图像的光源部分。
27.图1展示了根据一些实施例的系统100，在该系统内可以实施如本文所讨论的视觉模拟系统。系统100包括用于生成合成图像(例如，针对白天场景的常规合成图像或者针对夜间场景的hdr合成图像等)的合成图像生成器130、用于基于一个或多个眼睛模型来修改合成图像以生成模拟图像的视觉模拟引擎102、以及用于向用户呈现模拟图像的显示设备140。如图所示，视觉模拟引擎102包括模拟管理器104、一个或多个患者眼睛模型106、一个或多个用户眼睛模型108、图像混合模块110、以及夜间模拟模块112。在一些实施例中，模拟管理器104可以通过从诊断设备(未示出)或从数据库114检索关于患者眼睛的生物特征信息(例如，瞳孔直径、前房深度、角膜屈光力等)来获得该信息。模拟管理器然后可以从多个人工晶状体(iol)中选择用于模拟图像的特定iol。例如，晶状体制造商可以生产具有不同光学设计和/或不同屈光力的不同iol。在一些实施例中，模拟管理器104可以基于患者的生物特征信息从由晶状体制造商生产的多个iol中选择特定的iol。例如，模拟管理器104可以使用一个或多个机器学习模型来预测针对患者的最佳晶状体类型，以基于患者的生物特征信息来实现目标视觉质量。在一些实施例中，模拟管理器104也可以在显示设备140上呈现多个iol的列表，以使得用户(或医师)能够选择用于生成模拟图像的特定iol。模拟管理器然后可以基于生物特征信息和所选择的iol来生成第一眼睛模型(例如，患者的眼睛模型)。
28.模拟管理器104还可以生成第二眼睛模型(例如，用户眼睛模型)。在一些实施例中，模拟管理器104可以(例如，通过诊断设备等)获得将观看模拟图像的用户的眼睛的生物特征信息。代替测量用户的生物特征信息，一些实施例的模拟管理器104可以简单地基于普通人的眼睛来生成可以供任何用户观看的通用眼睛模型，以避免必须为不同的用户测量生物特征信息。模拟管理器104然后可以使用图像修改模块110和/或夜间模拟模块112以基于第一眼睛模型和第二眼睛模型来修改合成图像从而生成模拟图像，并且然后可以在显示设备140上呈现该模拟图像。
29.图2a展示了根据本披露的一个实施例的用于为用户提供白天场景的模拟图像的过程200。模拟图像表示由患者(例如，通过患者的眼睛光学系统)感知到的白天场景。在一些实施例中，过程200可以由视觉模拟引擎102执行。如上所讨论的，患者可能具有不同的眼睛病症，诸如白内障病症、老花眼病症、人工晶状体眼睛病症(例如，已经接受利用iol替换眼睛的天然晶状体的白内障手术的患者)。在一些实施例中，过程200生成模拟患者在将其不透明天然晶状体替换为iol的白内障手术之后将如何感知真实世界场景的模拟图像。
30.过程200开始于获得(在步骤205处)包括多个图像层的合成图像。例如，模拟管理器104可以从合成图像生成器130获得合成图像。合成图像可以通过组合真实世界场景的多个图像层来生成，其中，每个图像层表示处于不同观看距离的物体。图3展示了通过组合不
同图像层306a-306c而生成的合成图像304。在一些实施例中，不同图像层306a-306c表示与真实世界场景处于不同观看距离的不同物体。例如，在不同的图像层306a-306c中，图像层306a表示处于远观看距离的物体(例如，山、背景)，图像层306b表示处于中间观看距离的物体(例如，地图)，并且图像层306c表示处于近观看距离的物体(例如，罗盘)。因此，通过组合图像层306a-306c，合成图像304表示三维真实世界场景。在一些实施例中，合成图像是根据眼睛患者的眼睛将如何观看真实世界场景来校准的。即，合成图像中的所有物体被设置为由物体的假定物理大小和观看距离定义的视角。为了校准，每个物体(每层中的物体)采用真实世界物理大小(例如，height
物体物理
)和预定义观看距离(l
观看距离
)。物体所面对的视角可以使用以下等式来计算：
31.合成图像(例如，合成图像306)的所有层使用以下等式被缩放成具有相同的每像素弧度：
32.其中，height
物体像素
是物体的高度，以像素为单位。
33.图5a展示了通过组合不同的图像层504-510来表示白天驾驶场景的另一合成图像502。在该示例中，图像层504表示处于远观看距离的物体(例如，其他车辆、道路、其他背景物体)，图像层506表示处于中间观看距离(例如，75cm)的物体(例如，车辆的仪表板)，图像层508表示处于另一中间观看距离(例如，60cm)的物体(例如，车辆的计算机屏幕)，并且图像层510表示处于近观看距离(例如，40cm)的物体(例如，咖啡杯)。
34.图4a展示了患者可以如何感知真实世界场景402。来自真实世界场景的光首先通过患者的眼睛光学系统404，其中，真实世界场景402的不同部分(例如，从真实世界场景402的不同部分反射的光)可能由于眼睛光学系统404而变得模糊，以形成视网膜图像406。视网膜图像406然后到达患者的大脑，该大脑可以对视网膜图像406执行附加处理(例如，增加对比度、神经适应等)以生成真实世界场景402的神经感知408。因此，为了模拟真实世界场景中物体的视网膜投影如何通过患者眼睛的光学系统而变得模糊，获得表示患者眼睛的光学系统的第一眼睛模型。这样，在步骤210处，过程200建立表示患者眼睛的第一眼睛模型。
35.人眼的光学特性可以通过整个眼睛的波前来描述。波前的特征在于眼睛的瞳孔(例如，角膜)平面，其测量人眼的总光学像差。为了模拟植入有iol的人工晶状体眼睛的波前，可以构建双表面简化眼睛模型。双表面简化眼睛模型包括两个表面：一个表面用于患者眼睛的角膜，并且一个表面用于iol。角膜表面可能具有高阶像差，并且用于iol的表面通过iol的设计而包括光学衍射结构。在一些实施例中，由眼睛模型所表示的生物特征信息(例如，瞳孔直径、前房深度、角膜屈光力等)可以通过(例如，使用诊断设备)获得患者眼睛的测量结果来获得。在一些实施例中，生物特征信息可以基于从先前已经接受白内障手术的人工晶状体眼睛收集的临床数据来获得。例如，来自临床数据的这些生物特征的平均值可以用于表示普通人工晶状体眼睛。角膜散光以及iol表面的复曲面分量可以在眼睛模型中的角膜平面处进行组合。散焦(模糊)可以基于不同的观看距离而在角膜平面处改变，以便计算人工晶状体患者在不同观看距离下的视觉。下面的表1表示双表面简化眼睛模型的示例
性参数。表1：双表面简化眼睛模型的关键参数。
36.在一些实施例中，人眼的光学性能可以使用直接根据眼睛的波前或者根据点扩散函数(psf)计算出的各种光学度量来量化。psf表示与眼睛(例如，眼睛的视网膜)的图像平面处的波前相关联的变换，其限定了在形成视网膜图像时患者的眼睛基于患者的眼睛光学特性如何聚焦(和/或模糊)来自不同观看距离的物体的光。psf可以使用物体空间的视角的单位(弧度)来计算。psf的傅里叶变换可以产生眼睛的光学传递函数(otf)或调制传递函数(mtf)。虽然psf处于空间域中，但是otf在空间频域中表达psf。另一方面，mtf是otf的模数，其与人眼对不同空间频率的对比刺激的敏感性相关。psf、otf和mft都描述了眼睛光学系统在形成视网膜图像(例如，视网膜图像406)时的特性。
37.在一些实施例中，第一眼睛模型可以基于患者眼睛的生物特征信息(或使用临床数据计算出的生物特征信息)使用psf来生成。例如，模拟管理器104可以通过使用生物特征信息计算psf来生成第一眼睛模型(例如，患者眼睛模型106)。模拟管理器104然后可以在第一眼睛模型中的角膜平面处添加散焦(例如，模糊)和角膜散光。添加到第一眼睛模型的散焦量可以与观看距离成比例(或成反比)。此外，在第一眼睛模型中的角膜平面处添加的角膜散光量可能取决于患者的人工晶状体眼睛是否植入有非复曲面或复曲面iol。在一些实施例中，没有使用前角膜高阶像差(hoa)来生成第一眼睛模型。iol的衍射光学设计轮廓可以被表达为前波，并且利用缩放从iol平面投影到角膜平面。缩放因子γ
患者眼睛
可以使用以下等式来计算：
38.入射瞳孔大小可以根据预期真实世界场景的光照条件来设置。眼睛的斯泰尔-克劳福德效应可以作为瞳孔变迹被包括在计算中。在一些实施例中，波长为550nm的单色光可以用于计算psf。
39.一旦生成第一眼睛模型(例如，患者眼睛模型160)，模拟管理器104可以将第一眼睛模块160存储在数据库114中。在一些实施例中，为了模拟真实世界场景(例如，真实世界场景402)中物体的视网膜投影如何通过患者眼睛的光学系统而变得模糊，模拟管理器104可以使用第一眼睛模型160(其表示患者眼睛的眼睛光学系统)——例如使用本文所述的技术而计算出的psf——来修改合成图像(例如，合成图像304)以形成模拟图像。例如，模拟管理器104可以将第一眼睛模型(例如，psf)与合成图像(例如，合成图像304)中的对应图像层
(例如，图像层306a-306c)进行卷积，如下等式所展示的：
40.其中，符号代表图像卷积，并且超级脚本
‘
层’表示针对合成图像中的每个层执行的计算。
41.然后，模拟管理器104可以通过根据从远到近的假设观看距离将不同的修改后的图像层(例如，每个图像层是通过将第一眼睛模型160与对应的图像层进行卷积而修改的)逐个地合并来生成模拟图像。在一些实施例中，为了确保模拟图像反映真实世界场景402的物体遮挡和边界，模拟管理器104可以使用alpha混合方法来合并不同的修改后的图像层。例如，模拟管理器104可以通过将用于每个图像层的alpha通道与对应的psf进行卷积来计算用于混合的alpha值，如以下等式所展示的：
42.在一些实施例中，模拟管理器104可以根据从远到近的假定观看距离使用以下等式对不同的修改后的图像层进行alpha混合：alpha
前一层
＝1-alpha
当前层
………………………………………………
(6)
43.然而，如本文所讨论的，通过使用上述技术将第一眼睛模型160与图像层进行卷积而生成的模拟图像可能不会捕获人类视觉系统内的附加视觉处理，诸如用于获得增强的对比度感知和更高的神经传递函数(ntf)增益的潜在神经适应。此外，当观看者观看模拟图像时，模拟图像也不考虑观看者的眼睛光学系统的影响。如图4b所示，模拟图像412是基于第一眼睛模型160生成的，该第一眼睛模型模拟患者如何感知真实世界场景402(例如，感知到的图像406)。然而，当用户观看模拟图像412时，模拟图像412将通过用户眼睛的眼睛光学系统414并在形成用户对模拟图像412的感知416之前由用户的大脑进一步处理。由于模拟图像是通过观看者眼睛的光学系统来观看的，因此将存在附加的图像对比度损失，尤其是在高空间频率下，这导致对患者使用iol后的视觉的空间清晰度的评价降低。图像质量的这种劣化通常被称为双通效应。因此，用户对模拟图像416的感知与模拟图像412不同。
44.当观看者看到显示器上示出的模拟图像时，观看者的眼睛(例如，用户的眼睛)可能会出现双通效应。本文提及的双通效应描述了这一现象：通过将与眼睛患者相关联的第一眼睛模型应用于真实世界场景而生成的模拟图像在被观看者观看时，在被观看者对准之前由观看者眼睛的眼睛光学系统进一步处理(例如，模糊)。因此，观看者如何感知模拟图像可能与模拟图像不同。这样，当观看者对准图像时，模拟图像被感知为由观看者(例如，用户)的眼睛光学系统进一步处理(例如，模糊)，如下等式所展示的：
45.如等式(7)所示，由于双通效应，在观看者眼睛后部形成的图像不同于针对患者眼睛而模拟的图像。因此，为了使模拟图像的观看者感知到患者在观看真实世界场景时实际
感知到的内容(例如，消除双通效应)，需要在将模拟图像呈现在显示器上之前从模拟图像中减去观看者眼睛光学系统的影响(例如，预补偿模拟图像中观看者眼睛的光学模糊)。
46.首先，模拟图像可以由模拟管理器104使用以下等式生成，该等式不考虑观看者眼睛的眼睛光学系统：
47.其中，代表傅里叶变换，并且代表逆傅里叶变换。otf
患者眼睛
是患者眼睛的光学传递函数，即psf
患者眼睛
的傅里叶变换。
48.为了校正双通效应，一些实施例的模拟管理器104可以生成表示观看者的眼睛光学系统的第二眼睛类型(例如，用户眼睛模型108)。因此，过程200获得(在步骤215处)表示用户眼睛的第二眼睛模型。在一些实施例中，模拟管理器104可以(例如，通过诊断设备等)获得将观看模拟图像的用户(例如，观看者)眼睛的生物特征信息。代替测量各个用户和每个用户的生物特征信息，一些实施例的模拟管理器104可以简单地基于“普通”人的眼睛(例如，基于过去获得的与具有健康眼睛(在预定眼睛屈光力范围内视力正常)的患者相关的临床数据)来生成通用眼睛模型。然后，模拟管理器104可以使用本文描述的提及生成患者眼睛模型106的技术基于观看者的生物特征信息来生成第二眼睛模型108。例如，第二眼睛模型108也可以表达为一个或多个psf，其也可以被转换为otf和/或mtf。
49.为了考虑观看者的眼睛光学系统，模拟图像可以由模拟管理器104使用以下等式生成：
50.在一些实施例中，由于不同观看者之间眼睛像差存在变化，因此模拟管理器104可以利用普通人眼模数传递函数(mtf)mtf
普通观看者眼睛
来代替otf
患者眼睛
，如以下等式所展示的：
51.注意，如果获得观看者的生物特征信息，则可以利用mtf
观看者眼睛
来代替mtf
普通观看者眼睛
。虽然使用普通观看者的mtf忽略了otf
观看者眼睛
的相位分量和幅度分量二者的个体变化，但是由于mtf
普通观看者眼睛
描述了不同空间频率下的对比度是如何通过普通观看者眼睛的光学系统传输的，因此其保留了与模拟相关的关键光学特征。等式(10)中第二眼睛模型的倒数(例如，1/mtf
普通观看者眼睛
)补偿由于观看者眼睛的双通效应而造成的平均对比度损失。等式(10)也可以如下表达为：
52.其中，psf
双通校正
可以表达为：
53.返回参考图2a，过程200然后通过基于第一眼睛模型和第二眼睛模型修改合成图像来生成(在步骤220处)模拟图像。例如，模拟管理器104可以使用图像修改模块110以基于第一眼睛模型106和第二眼睛模型108修改合成图像(例如，合成图像304)来生成模拟图像。在一些实施例中，图像修改模块110可以使用等式(11)和(12)来生成模拟图像，例如，通过将第一眼睛模型106(例如，psf
患者眼睛
)和第二眼睛模型的倒数(例如，1/mtf
普通观看者眼睛
)与合成图像304中的每个图像层进行卷积并将修改后的图像层进行混合。
54.除了观看者眼睛的眼睛光学系统，神经适应也在观看者如何感知模拟图像方面发挥了作用。神经适应是人类视觉系统适应视觉模糊的一种能力。具体地，当视网膜图像(例如，视网膜图像406)被传输到人脑时，大脑可以通过自动增加对比敏感度来适应由眼睛光学系统(或其他因素)造成的视觉模糊。在一些实施例中，模拟管理器104可以将普通人眼的神经适应建模为神经传递函数增益的增加。然后，模拟管理器104使用上述提及双通校正的相同技术来应用神经适应在模拟图像中的效果。例如，模拟管理器104可以将神经适应模型直接应用于合成图像(除了第一眼睛模型和第二眼睛模式之外)(例如，将神经适应模型与合成图像进行卷积)，以生成模拟图像。在一些实施例中，代替生成另一模型，模拟管理器104可以在将双通效应的psf应用于合成图像之前简单地应用神经适应在第二眼睛模型中的对比度增加效应。
55.过程200然后经由显示设备向用户呈现(在步骤225处)模拟图像，并且指示(在步骤230处)用户在与第一眼睛模型相关联的特定距离处观看所呈现的图像。例如，模拟管理器104可以将模拟图像传输到显示设备140以在显示设备140上显示。注意，双通校正只有在显示设备被放置在特定观看距离处以便为患者重新创建相同观看条件时才是准确的，使得观看者可以体验真实世界场景(例如，真实世界场景402)中的空间尺度。如上所讨论的，合成图像(例如，合成图像304)被校准，使得每个像素面对特定屏幕大小的显示设备的特定视角并在特定观看距离处被观看。因此，需要以特定放大率(例如，距观看者眼睛的观看距离)示出模拟图像，使得显示屏上的图像像素面对观看者眼睛的物理视角与在模拟中假设的患
者眼睛的物理视角相同。换言之，图像中的物体面对观看者的视角与真实世界场景中物体面对患者的视角相同。例如，模拟管理器104可以以预定放大率呈现模拟图像并且可以指示(例如，经由显示设备140)观看者在40cm的观看距离处观看模拟图像。
56.上述技术在模拟患者对白天场景的视觉方面是有效的。针对夜间场景，视觉模拟系统需要考虑附加因素，诸如夜间场景的潜在更高动态范围、人类在黑暗中对光强度(例如，亮度)的感知、以及光源强度的影响(例如，可能引起诸如光晕、星芒等视觉障碍)。这样，为了模拟患者对夜间场景的视觉，针对夜间场景所获得的合成图像需要具有高动态范围(hdr)，使得像素强度与光源的物理强度成线性关系。图2b展示了根据本披露的一个实施例的用于生成表示患者对夜间场景的感知的模拟图像的过程232。在一些实施例中，过程232可以由视觉模拟引擎102执行。过程232开始于获得(在步骤235处)表示夜间场景的合成图像。
57.图5b展示了夜间驾驶场景的合成图像520。类似于表示白天场景的合成图像304，合成图像520也包括多个图像层，每个图像层表示处于不同观看距离的物体。例如，合成图像520可以包括表示处于远观看距离的物体(例如，道路、对向车辆等)的图像层、表示处于中间观看距离的物体(例如，车辆中的仪表板和屏幕)的图像层、以及表示处于近观看距离的物体(例如，咖啡杯)的图像层。合成图像520是高动态范围(hdr)图像，因为合成图像520中的像素值表示夜间场景中的真实物理光强度。例如，合成图像520中表示光源(例如，车辆前照灯、路灯等)的像素具有表示10000cd/m2或更高量级的光强度(例如，照度)的像素值，而表示非光源的像素具有表示1cd/m2量级的光强度的像素值。
58.过程232然后基于合成图像生成(在步骤240处)模拟图像。例如，模拟管理器104可以使用本文所述的与模拟白天场景(如在本文参考图2a所述)相关的技术来处理hdr合成图像(例如，合成图像520)。例如，模拟管理器104可以建立表示患者眼睛的第一眼睛模型(图2a的步骤210)，获得表示观看者眼睛的第二眼睛模型(图2a的步骤215)，并且通过基于第一眼睛模型和第二眼睛模型(例如，使用等式(12)和(13))修改合成图像520来生成模拟图像。由于表示患者眼睛的眼睛光学系统的第一眼睛模型中的(多个)psf考虑到了光(例如，由场景的光源产生)在通过患者的眼睛光学系统时是如何扩散的，因此通过将合成图像与第一眼睛模型进行卷积，可以在模拟图像上产生适当光晕。
59.在一些实施例中，模拟管理器104可以使用夜间模拟模块112来进一步处理模拟图像。例如，模拟管理器104可以将色调映射算法应用于合成图像520以将hdr图像中的强度范围压缩到标准(或低)动态范围，使得可以在仅具有标准(或低)动态范围的显示能力的显示设备上适当地呈现模拟图像。在一些实施例中，模拟管理器104可以首先将图像分割成与光源相对应的部分(例如，部分522)和与非光源相对应的部分，并且将色调映射算法仅应用于模拟图像的光源部分522。过程232因此识别(在步骤240处)模拟图像中表示夜晚场景的光源的第一区域，通过将色调映射算法应用于模拟图像的至少第一区域来修改(在步骤245处)模拟图像，并且将第一区域和模拟图像的(多个)剩余区域进行组合(在步骤250处)。在一个特定示例中，色调映射算法定义截止照度值(例如，10000cd/m2)，使得照度值高于截止照度值的任何像素(例如，第一区域内的像素)被映射到最终模拟图像的最大亮度值(例如，像素值255)，并且照度值低于截止照度值的像素根据曲线(例如，以线性方式、非线性方式等)被映射到不同亮度值。在将色调映射算法应用于模拟图像之后，过程232在显示设备上
呈现(在步骤260处)模拟图像。例如，模拟管理器104可以将模拟图像传输到显示设备140以在显示设备140上显示。
60.除了模拟用iol替换其天然晶状体的患者的视觉之外，一些实施例的视觉模拟引擎102还可以呈现模拟具有其他类型眼睛病症(诸如白内障眼睛病症、老花眼眼睛病症)的患者的视觉的模拟图像。为了模拟患有白内障的患者的视觉，第一眼睛模型可以由模拟管理器104生成以表示具有白内障病症的眼睛的眼睛光学系统。例如，模拟管理器104可以将白内障眼睛的波前建模为具有相位延迟空间变化的粗糙表面。在模拟中使用的波前粗糙度(空间变化的幅度和该变化的空间频率二者)随着白内障的严重程度而增加。通过逐渐降低模拟图像的rgb像素值来模拟白内障晶状体的泛黄和通过晶状体的透光性的降低。
61.图6a和图6b是根据一些实施例的处理系统的图。虽然图6a和图46b示出了两个实施例，但是本领域普通技术人员还应容易理解的是，其他系统实施例是可能的。根据一些实施例，图6a和/或图6b的处理系统代表可以包括在以下一者或多者中的计算系统：晶状体选择平台102以及ecp设备130、140和150等。
62.图6a展示了计算系统600，其中，系统600的部件使用总线605彼此电连通。系统600包括处理器610和系统总线605，该系统总线将各个系统部件(包括，呈只读存储器(rom)620、随机存取存储器(ram)625等(例如，prom、eprom、flash-eprom和/或任何其他存储器芯片或盒)形式的存储器)耦接至处理器610。系统600可以进一步包括与处理器610直接连接、与之紧邻、或集成为其一部分的高速存储器的缓存612。系统600可以通过缓存612来访问存储在rom 620、ram 625、和/或一个或多个存储设备630中的数据以供处理器610进行高速访问。在一些示例中，缓存612可以提供性能提升，以避免处理器610从存储器615、rom 620、ram 625、和/或该一个或多个存储设备630访问之前存储在缓存612中的数据时的延迟。在一些示例中，该一个或多个存储设备630存储一个或多个软件模块(例如，软件模块632、634、636等)。软件模块462、634和/或636可以控制和/或被配置成控制处理器610执行各种动作，诸如方法300和/或500的过程。并且虽然示出系统600仅具有一个处理器610，但是应理解的是，处理器610可以代表一个或多个中央处理器(cpu)、多核处理器、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)、图形处理单元(gpu)、张量处理单元(tpu)等。在一些示例中，系统400可以被实施为独立式子系统、和/或实施为添加至计算设备的板、或实施为虚拟机。
63.为了使得用户能够与系统600交互，系统600包括一个或多个通信接口640和/或一个或多个输入/输出(i/o)设备645。在一些示例中，该一个或多个通信接口640可以包括一个或多个网络接口、网络接口卡等，以根据一个或多个网络和/或通信总线标准来提供通信。在一些示例中，该一个或多个通信接口440可以包括用于经由网络(诸如网络115)来与系统600通信的接口。在一些示例中，该一个或多个i/o设备645可以包括一个或多个用户接口设备(例如，键盘、定点/选择设备(例如，鼠标、触摸板、滚轮、轨迹球、触摸屏等)、音频设备(例如，麦克风和/或扬声器)、传感器、致动器、显示设备等)。
64.该一个或多个存储设备630中的每一个可以包括比如由硬盘、光学介质、固态驱动器等提供的非暂态非易失性存储装置。在一些示例中，该一个或多个存储设备630中的每一个可以与系统600(例如，本地存储设备)位于同一地点、和/或远离系统600(例如，云存储设备)。
65.图6b展示了基于芯片组架构的计算系统650，该芯片组架构可以用于执行本文描述的任一种方法(例如，方法300和/或510)。系统650可以包括处理器655，其代表能够执行软件、固件和/或其他计算的任何数量的物理和/或逻辑上不同的资源，诸如一个或多个cpu、多核处理器、微处理器、微控制器、dsp、fpga、asic、gpu、tpu等。如图所示，处理器655由一个或多个芯片组660辅助，该芯片组还可以包括一个或多个cpu、多核处理器、微处理器、微控制器、dsp、fpga、asic、gpu、tpu、协处理器、编码器-解码器(codec)等。如图所示，该一个或多个芯片组660将处理器655与一个或多个i/o设备665、一个或多个存储设备670、存储器675、桥接器680、和/或一个或多个通信接口690中的一者或多者对接。在一些示例中，该一个或多个i/o设备665、一个或多个存储设备670、存储器、和/或一个或多个通信接口690可以对应于图6a和系统600中类似命名的对应物。
66.在一些示例中，桥接器680可以提供额外的接口，用于向系统650提供对一个或多个用户接口(ui)部件、比如一个或多个键盘、定点/选择设备(例如，鼠标、触摸板、滚轮、跟踪球、触摸屏等)、音频设备(例如，麦克风和/或扬声器)、显示设备等的访问。根据一些实施例，系统600和/或650可以提供图形用户接口(gui)，其适合于辅助用户(例如，外科医生和/或其他医务人员)执行方法200和/或232的过程。
67.根据上述实施例的方法可以实施为存储在非暂态有形机器可读介质上的可执行指令。这些可执行指令在被一个或多个处理器(例如，处理器610和/或处理器655)运行时可以致使该一个或多个处理器执行方法200和/或210的过程中的一个或多个过程。可以包括方法200和/或210的过程的一些常见形式的机器可读介质是例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、cd-rom、任何其他光学介质、打孔卡、纸带、任何其他带有孔图案的物理介质、ram、prom、eprom、flash-eprom、任何其他存储芯片或盒、和/或处理器或计算机适合从中读取的任何其他介质。
68.实施根据这些披露内容的方法的装置可以包括硬件、固件和/或软件，并且可以采用各种各样的形状因子中的任一种。这样的形状因子的典型示例包括膝上型计算机、智能电话、小型个人计算机、个人数字助理等。本文描述的功能的一部分也可以体现在外围设备和/或附加卡中。通过进一步示例，此类功能还可以在单一装置中的不同芯片或在其中执行的不同过程之间、在电路板上实施。
69.虽然已经示出和描述了展示性实施例，但是在前述披露中设想了各种各样的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而不相应地使用其他特征。本领域普通技术人员应认识到许多变型、替代方案和修改。因此，本发明的范围应仅由以下权利要求来限制，并且恰当的是，应以与本文披露的实施例的范围一致的方式广义地解释权利要求。