1.本发明涉及诊断方法，特别是使用眼睛中的细胞死亡，和/或，细胞激活状态的图像。
背景技术：
：：2.细胞死亡和神经元缺失是阿尔茨海默氏症(ad)、帕金森氏症、亨廷顿氏症和青光眼等疾病中神经退化的关键病理驱动因素。阿兹海默式症是最常见的单一形式的痴呆症，预计在未来20年内对美国人的影响将从400万上升到1200万。青光眼是全世界不可逆转的失明的主要原因，40岁以上的人中有2％受到影响。由于该病的无症状性和渐进性，其发病率很高，常常导致诊断和治疗的延误。3.活细胞成像已被广泛用于研究体外培养细胞的神经元功能障碍，其与荧光多重标记能够实现对不同的细胞活性和不同的分子定位模式的可视化。本发明人曾公开可借助被标记的凋亡标志物观察视网膜神经节细胞死亡的能力(wo2009/077790)，以及在某些疾病诊断中检测该细胞死亡的有用性(wo2011/055121)。本发明人意外发现，也可以监测眼睛中其他细胞类型的状态，特别是小胶质细胞的激活状态。此外，本发明人还发现，可以在一段时间内准确监测细胞的状态。4.发明概述5.本发明的第一方面提供了一种确定疾病阶段的方法，特别是神经退行性疾病，所述方法包括识别受试者眼睛中小胶质细胞的激活状态和将细胞的状态与疾病阶段关联的步骤。识别激活状态的步骤可包括生成小胶质细胞的图像。6.小胶质细胞遍布大脑和脊髓。这些细胞可能处于反应或静止(分支)状态。反应性小胶质细胞包括激活的小胶质细胞和阿米巴样的小胶质细胞，即可变成激活小胶质细胞的小胶质。激活的小胶质细胞具有抗原呈递、细胞毒性和介导炎症信号的能力，并能够吞噬异物。阿米巴样小胶质细胞也可以吞噬异物，但缺乏抗原呈递能力。分支状小胶质细胞不能吞噬异物。7.本发明人发现可以区分反应性和分支状小胶质细胞。此外，本发明人发现阿米巴样、分支状或激活的小胶质细胞的数量和/或位置，可用于指示疾病阶段。激活小胶质细胞的存在通常与年轻人和/或健康人有关，而阿米巴样小胶质细胞的存在与疾病有关。基于受试者年龄或健康状况预期其激活的小胶质细胞和/或阿米巴样小胶质细胞的数量或百分比，如果发现其数量或百分比低于预期，则表明受试者可能患有神经退行性疾病，或者很可能会发展成神经退行性疾病。8.所述方法可以包括对生成的图像中激活的、分支的和/或阿米巴样小胶质细胞的数量进行计数的步骤。该方法还可以包括将在图像中发现的激活、分支状或阿米巴样小胶质细胞的数量或百分比与先前获得的图像，或与预期的激活、分支状或阿米巴样胶质细胞的数量或百分比进行比较。激活、分支状或阿米巴样小胶质细胞的预期数量或百分比可以是基于来自同一受试者的先前图像预测的小胶质细胞的数量或百分比，或是在相似年龄或相似数量的类似受试者中发现的这些小胶质细胞的平均数量或百分比。9.本发明人还确定了可将激活的、分支的和/或阿米巴样小胶质细胞的模式与疾病状态和特定疾病联系起来。例如，本发明人发现，健康受试者的激活小胶质细胞在视网膜上有序且规则的分布，但患有神经退行性疾病的受试者更可能在视网膜上具有分散的、不规则模式的激活小胶质细胞，或具有大量的阿米巴样小胶质细胞的区域。本发明人发现，在青光眼中，吞噬性小胶质细胞通常存在于乳头状黄斑束周围，而在amd中，它们存在于黄斑周围。因此，在图像中发现的模式或模式的变化可以指示受试者患有神经退行性疾病或该疾病恶化或改善。该方法可以包括以下步骤：识别眼睛中的细胞状态模式，并将该模式与疾病状态相关联。10.眼睛中小胶质细胞的状态可以通过向受试者施用标志物，特别是标记的标志物来识别。因此，受试者可以是已对其施用标志标记的受试者。或者，该方法还可以包括将标记的标志物施用于受试者。所述标记物可以任何适当的方式给药，特别是通过静脉注射、局部或通过鼻喷雾剂。11.本发明人惊奇地发现标记的标志物可以是凋亡标志物。术语“凋亡标志物”是指能够将经历凋亡的细胞与活细胞，优选地与坏死细胞区分开来的标志物。凋亡标志物包括：例如膜联蛋白家族的蛋白质。膜联蛋白是在阳离子存在下与细胞膜可逆结合的蛋白质。可用于本发明的膜联蛋白可以是天然的或重组的。蛋白质可以是完整的或是功能性片段，即与完整蛋白质特异性结合的膜联蛋白的片段或部分。此外，可以使用这些蛋白质的功能衍生物。有多种膜联蛋白可供使用，例如美国专利申请公开号2006/0134001a中所述的膜联蛋白。优选的膜联蛋白是本领域公知的膜联蛋白5。可用作凋亡标志物的其他膜联蛋白包括膜联蛋白1、2和6。其他凋亡标志物是本领域已知的，包括例如突触结合蛋白‑ⅰ的c2a结构域、耐久霉素、非肽基靛红磺酰胺类似物，例如wc-ii-89和aposense，例如nst-732、ddc和ml-10(saint-hubertelai，2009)。12.凋亡标志物优选地带有可见标记。特别地，标记优选为波长优化的标记。术语“波长优化标记”是指荧光物质，即响应激发而发射光的物质，并且由于增加的信噪比，因此选择使用该物质，从而提高图像分辨率和灵敏度，同时应遵守曝光安全标准，避免光毒性效应。优化的波长包括红外和近红外波长。此类标记在本领域中是众所周知的并且包括染料例如irdye700、irdye800、d-776和d-781。还包括通过将这些染料与其他分子如蛋白质和核酸结合形成的荧光物质。优选的波长优化在给药时很少引起或没有引起炎症。一种优选的波长优化标记是d-776，因为已发现它在眼睛中很少引起或没有引起炎症，而其他染料会引起炎症。优化的染料还优选地表现出可在组织学上检测到的荧光水平与可在体内检测到的荧光水平之间的密切相关性。特别优选的是，在组织学和体内荧光之间存在显着的相关性，尤其是1:1的相关性。13.在一个特定实施方案中，标记物是用d-776标记的膜联蛋白5。膜联蛋白5可以是野生型膜联蛋白5，或可以是修饰的膜联蛋白5。在一个特定实施方案中，膜联蛋白5已被修饰以确保一个膜联蛋白分子与一个标记分子结合，从而可以准确计数细胞。14.可以使用用于将波长优化的标记与标记化合物缀合的标准技术来制备标记的凋亡标志物。此类标签可以从众所周知的来源获得，例如dyomics。将标记与标记结合的适当技术在本领域中是已知的，并且可以由标志物的制造商提供。15.使用凋亡标志物的一个优点是该方法还可用于识别或监测细胞凋亡以及小胶质细胞状态。本发明人惊奇地发现，还可以区分标记结合的凋亡细胞和吞噬标记的小胶质细胞。标志物结合的凋亡细胞通常呈环状，即圆形，中心有孔。激活的小胶质细胞以两种形式出现，并且可以通过它们的多个过程来识别。与激活的小胶质细胞相比，阿米巴样小胶质细胞更大。16.生成细胞状态图像的步骤可以包括生成凋亡细胞的图像。所述方法还可以包括计数凋亡细胞的数量和/或观察凋亡细胞的模式。所述方法还可以包括将凋亡细胞的数量或模式与预期的，或者与先前从受试者产生的图像中的凋亡细胞的数量或模式进行比较。凋亡细胞尤其可以是视网膜神经细胞，例如视网膜神经节细胞(rgc)、双极细胞、无长突细胞、水平细胞和感光细胞。在一个实施方案中，细胞是视网膜神经节细胞。结合使用凋亡视网膜神经细胞和小胶质细胞激活状态可以改善诊断。17.特别优选的是能够通过随时间比较特定细胞来监测疾病的进展或治疗的功效。因此，该方法可以进一步包括将图像与在较早时间点获得的受试者眼睛的图像或一张以上的图像进行比较的步骤。该方法可以包括将一张图像中的激活和/或阿米巴样小胶质细胞的数量或模式与之前的图像进行比较，和/或，可以包括将一张图像中的特定细胞与之前的图像中的相同细胞进行比较。早期图像和期晚图像之间小胶质细胞激活状态的变化可能表明疾病进展。该方法还可以包括比较凋亡细胞的数量或模式，或者比较一张图像中的特定细胞与早期图像中的相同细胞，以再次监测疾病进展或治疗效果。激活或阿米巴样小胶质细胞和/或凋亡细胞的数量或模式的变化可以为临床医生提供有关疾病进展的信息。18.阿米巴样小胶质细胞和/或凋亡细胞数量的增加可能表明疾病进展。同样，随着疾病进入后期阶段，阿米巴样小胶质细胞或凋亡细胞的数量可能会下降。熟练的临床医生能够根据在一张图像中看到的细胞数量或使用与一幅或多幅其他图像的比较来区分阶段。19.在比较特定细胞时，能够精准的将一张图像精确地覆盖在另一张图像上是有利的。该方法可以包括具有一张、两张或三张或更多张附加图像的该步骤。20.该疾病优选是眼部神经退行性疾病。术语“眼部神经退行性疾病”为本领域技术人员所熟知，是指由眼部神经元逐渐和进行性丧失引起的疾病。它们包括但不限于青光眼、糖尿病视网膜病变、amd、阿尔茨海默病、帕金森病和多发性硬化症。21.为了产生细胞的图像，通过例如静脉注射、局部给药或鼻腔喷雾，将标记的标志物给受试者施用。受试者的待测区域，即眼睛，被放置在医疗成像设备的检测场内，如眼底镜，特别是共焦扫描激光眼底镜。然后对标记标志物的发射波长进行成像，并构建图像，从而提供细胞死亡区域的“地图”。图像的生成可以在一段时间内重复进行，并且可以被实时监测。22.能够对疾病进行分期或诊断是特别有用的，得益于此可选择特定的治疗疗程，并可选地进行监测。因此，该方法可选地包括向受试者提供青光眼或另一种神经退行性疾病的治疗。青光眼的治疗方法在本领域中是众所周知的，发明详述中也提供了青光眼治疗方法的实例。其他治疗可能是合适的，熟练的临床医生可从中毫无困难地选择适当的治疗方法。23.本发明还提供如本文所述的标记的凋亡标志物，用于识别小胶质细胞激活状态。24.本发明人已经进一步对识别视网膜图像中细胞的方法进行了改进。例如，本发明人对监测使用眼底镜生成的图像中细胞状态的方法的改进。特别是，细胞可用本文提到的波长优化标记进行了标记。所感兴趣的细胞类型包括，例如，小胶质细胞和视网膜神经节细胞。该方法优选地包括以下步骤：25.a)提供受试者视网膜的图像；26.b)将每张图像上的一个或多个点识别为标记细胞的候选；27.c)过滤选择；并且，可选地，28.d)对强度变化的结果进行归一化处理。29.这些点可以通过任何适当的方法来识别。已知的方法，如用于圆点检测的方法，包括通过卷积的模板匹配、阈值化(静态或动态)后的连接成分分析、分水岭检测、高斯的拉普拉斯、广义霍夫变换和辐条滤波器。在一个实施方案中，所述点是通过模板匹配识别的。30.过滤选择的步骤可以通过任何适当的方法进行，包括，例如，基于计算的已知图像指标的过滤，如静态固定阈值过滤器、决策树、支持向量机和随机森林，可以选择自动计算，例如使用自动编码器；或者使用整个图像和自动计算的特征，并使用深度学习方法进行过滤，如mobilenet、vgg16、resnet和inception。31.该方法可包括提供受试者视网膜的一张以上的图像的步骤，例如，提供在不同时间段拍摄的图像。这些图像可能是相隔几毫秒、几秒钟、几分钟、几小时、几天甚至几周获得的。在使用一个以上的图像时，该方法还可以包括对齐图像的步骤，以确保在一张图像中看到的细胞与另一张图像中看到的细胞对齐。本发明人发现，对准图像是至关重要的，以便在一段时间内监测单个细胞的状态。要重复拍摄视网膜的图像并使视网膜在每张图像中保持完全相同的方向是非常困难的。还必须适应病人和眼睛的位置和方向的物理差异。本发明人出人意料地发现，有可能对齐在不同时间点拍摄的图像，并看到单个细胞的变化。对齐图像的步骤可以包括堆叠图像的步骤。32.该方法可进一步包括对可能导致错误的候选识别的已知变体进行计算的步骤。这意味着视网膜上的特征或其他变体可以被考虑在内，以减少标记细胞被错误识别的可能性。这些变体包括非线性强度变化、光学模糊、登记模糊和低光噪音，以及生物复杂性，如脉络膜血管中的图案、血管、白内障引起的模糊等。33.该方法的步骤可以通过任何适当的机制或手段进行。例如，它们可以通过手动进行，或使用自动方法进行。特别地，分类步骤可以通过自动化手段进行，例如使用人工神经网络。34.如果该方法的步骤是由自动化手段进行的，则可以对自动化手段进行训练，以改善预期的结果。例如，该方法可进一步包括以下步骤：将自动手段识别或分类的斑点与人工观察者或其他自动手段识别或分类的斑点进行比较，并使用结果来训练第一自动机制以更好地识别候选的标记细胞。35.步骤a)可包括对受试者的视网膜进行成像的步骤。视网膜可以被成像，例如一次、两次、三次、四次、五次或更多次。36.标记的细胞可以是小胶质细胞；视网膜神经细胞，尤其是视网膜神经节细胞，或两者兼顾。37.根据其他方面，本发明还提供了一种计算机实现的识别视网膜中细胞状态的方法，以便例如确定疾病的阶段，该方法包括：38.a)提供受试者视网膜的图像；39.b)将每张图像上的一个或多个点识别为标记细胞的候选；40.c)过滤选择；和，可选地，41.d)如上所述，对强度变化的结果进行归一化。42.根据其他方面，本发明还提供了一种计算机程序，用于识别视网膜中细胞的状态，例如，以便确定疾病的阶段，当由处理系统执行时，使处理系统：43.a)提供受试者视网膜的图像；44.b)使用模板映射来识别每个图像上的一个或多个点，作为标记细胞的候选点；45.c)使用对象分类过滤器过滤由模板匹配做出的选择；和，可选择地，46.d)对强度变化的结果进行归一化。47.本文所述的确定疾病阶段的方法可使用在处理系统或处理器中运行的计算机程序来实现。这些方法可以扩展到计算机程序，特别是载体上或载体中的计算机程序，适合于将这些方面付诸实践。该程序可以是非临时源代码、目标代码、代码中间源和目标代码的形式，例如部分编译的形式，或适用于在此描述的过程的实现中使用的任何其他非临时形式。载体可以是任何能够承载程序的实体或设备。例如，载体可以包括存储介质，如固态驱动器(ssd)或其他基于半导体的ram；rom，如cdrom或半导体rom；磁记录介质，如软盘或硬盘；一般的光存储设备；等等。48.根据一个实施方案，提供了一种非暂时性计算机可读存储介质，包括存储在其上的一组计算机可读指令，当由处理系统执行时，该指令使处理系统执行确定疾病阶段的方法，所述方法包括使用模板映射来识别受试者视网膜的一张或多张图像上的一个或多个点，作为候选的标记细胞，使用物体分类过滤器过滤由模板匹配做出的选择，并针对强度的变化将结果归一化。所述实施例可以至少部分地通过存储在(非临时)存储器中并可由处理器执行的计算机软件，或通过硬件，或通过有形存储的软件和硬件(和有形存储的固件)的组合来实现。该方法还可以包括提供受试者视网膜的一个或多个图像的步骤。49.现在将参照附图仅以示例的方式详细描述本发明。附图说明50.图1显示了大鼠和青光眼模型大鼠(oht和ivt)两只眼睛中的小胶质细胞。51.图2显示了阿尔茨海默氏症3×tg小鼠模型中的小胶质细胞：老化和ivt。52.图3显示了darc&alzheimer's3×tg小鼠模型：中年和ivt。53.图4显示了用annexinv染色的小胶质细胞。54.图5显示了darc与阿尔茨海默病3×tg小鼠模型的结果：鼻腔darc。55.图6是显示青光眼和对照组受试者和darc图像分析的联合(consort)图。56.图7是一个cnn辅助的算法流程图，显示了darc图像的分析阶段。57.图8是可能的候选斑点的代表性视网膜图像。候选斑点是用模板匹配和相关图来检测的。局部最大值被选中，并用相关系数和强度标准差(对应于斑点的亮度)的阈值进行过滤。这些阈值设置得很低，产生的候选斑点比人工观察的斑点多得多(大约50-1)。58.图9显示了cnn的训练和验证阶段。cnn训练(a)和验证(b)的曲线。尽管训练保留300个epoch以验证稳定性，但在200个epoch(训练周期)中达到了很好的准确性。匹配验证的准确性也显示出类似的准确性，没有过度训练的迹象。发现准确率为97％，灵敏度为91.1％，特异性为97.1％。59.图10是人工观察者和cnn-算法darc斑点的代表性比较。由cnn发现的斑点和由至少2个人工观察者发现的斑点显示在原始视网膜图像上。(a)患者6，左眼。进展性青光眼(由oct全局视网膜神经纤维层3.5环测量)(b)患者31，左眼。稳定的青光眼。绿色圆圈：仅人工观察(假阴性)；蓝色圆圈：只有cnn辅助算法，(假阳性)；绿松石圆圈：算法和人工观察者一致(真阳性)。60.图11显示人工观察者和cnn-算法分析的青光眼进展的roc曲线。为cnn辅助算法(a)和人工观察者2人一致或更多(b)构建受试者操作特征(roc)曲线，以测试18个月时青光眼进展的预测价值。darc后18个月的随访时，对青光眼受试者在距离视盘3.5毫米处spectralisoct全局视网膜神经纤维层(rnfl)的测量值计算进展率(rop)。那些有显著(p《0.05)负斜率的患者被定义为进展期，而那些没有负斜率的患者则被定义为稳定期。cnn算法在darc计数为23时达到最大灵敏度(90.0％)和特异性(85.71％)，auc为0.89，而人工观察者在darc数为12时达到最大灵敏度(0.85％)和特异性(71.43％)，auc为0.79，显示cnn辅助算法的性能更优越。61.图12显示与病情稳定的青光眼患者相比，cnndarc计数在持续进展的青光眼患者中显著增加。(a)与使用cnn辅助算法，18个月时进展的患者(平均26.13)与稳定的患者(平均9.71)相比，cnndarc计数显著增加(p＝0.02)。darc计数被定义为减去基线斑点后120分钟在视网膜图像中看到的anx776阳性斑点的数量。(b)尽管人工观察者(2人一致或更多)darc计数的趋势相似，但与稳定(平均4.38)青光眼患者相比，18个月时进展的患者(平均12.25)没有显着差异(p＝0.0692)。显示了通过oct全局视网膜神经纤维层3.5环测量的具有和不具有显着rop的青光眼患者的个体数据点的盒须图。星号表示mannwhitney检验的显着性水平。水平线表示中位数以及最小和最大范围，并指示所有单独的数据点。具体实施方式62.实施例163.如wo2009077750a1中所述制备标记的膜联蛋白v。标记的膜联蛋白按照cordeiromf,guol,luongv,etal.real-timeimagingofsinglenervecellapoptosisinretinalneurodegeneration.procnatlacadsciusa2004；101:13352-13356的描述进行给药。64.利用本领域已知的技术，iba-1(电离钙结合衔接分子1(iba1))用于小胶质细胞的标志物。65.使用本领域已知的技术，brn3a用作视网膜神经节细胞的标志物。66.使用的动物包括大鼠、青光眼模型大鼠(oht)、阿尔茨海默病模型小鼠和青光眼模型小鼠。这类模型在本领域是已知的。wo2011055121a1中描述了实例。67.图1显示了大鼠视网膜整体免疫染色(iba1)的结果，取自a)对照，b)一只眼睛通过手术提升的眼压升高的大鼠的对侧眼，(高眼压oht模型)c)同一动物的oht眼。可以识别分支、激活和阿米巴样小胶质细胞。68.在图2中，iba1被用来识别16个月大的阿尔茨海默三转基因小鼠整个视网膜装片中的小胶质细胞。在玻璃体内(ivt)注射pbs后，小胶质细胞的形态含有阿米巴样小胶质细胞；相反，在同一年龄段，未注射的眼睛(无ivt)显示出激活的形态。69.如图3所示，发明人可以使用相同的染色剂：标记的膜联蛋白识别视网膜神经节细胞和小胶质细胞。如图所示，可见rgc和小胶质细胞染色与膜联蛋白5共定位。在图4中，膜联蛋白5用488荧光剂荧光标记，可通过组织学显微镜检测。rgc膜联蛋白染色在细胞周围，而不在细胞内。70.从图4和图5可以看出，用膜联蛋白v对小胶质细胞的染色是细胞质的，也就是说，在rgc中，膜联蛋白位于细胞内或细胞膜外。71.实施例272.人工智能越来越多地用于医疗保健，尤其是眼科(poplin等人，2018；ting等人，2019)。机器学习算法已成为视网膜成像的重要分析辅助工具，在糖尿病视网膜病变、老年性黄斑变性和青光眼的管理中经常得到提倡，人们认为利用这些算法可以优化诊断和监测的敏感性和特异性(abanegas等人，2015；quellec等人，2017；schmidt-erfurth，bogunovic等人，2018；schmidt-erfurth，waldstein等人，2018；orlando等人，2019年)。深度学习在这些致盲性疾病中的应用被誉为减少其健康和社会经济影响的一个进步，尽管其准确性受到数据集大小和参考标准缺陷的影响(orlando等人，2019)。73.青光眼是一种进展缓慢的眼部神经退行性疾病，它是全球不可逆转失明的主要原因，影响超过6050万人，预计随着人口老龄化的增加，到2040年将翻一番(quigley和broman等人，2006；tham等人，2014)。过去几年，青光眼研究的一个关键目标是识别那些有快速进展和失明风险的人。这包括涉及多级数据的方法，包括结构(光学相干断层扫描(oct)、椎间盘成像)和功能(视野或标准自动视野检查(sap))评估。然而，几项研究表明，临床医生使用标准评估(包括sap、oct和视盘立体摄影)的进展存在很大差异(acviswanathan等人，2003；moreno-等人，2017年；abanegas等人，2015年)。然而，在现实世界的实践和深度学习数据集中，临床分级被视为黄金标准(jiang等人，2018；kucur，和sznitman等人，2018；asaoka等人，2019；ianjcmaccormick等人，2019；medeiros，jammal和thompson，2019；thompson，jammal等人；medeiros，2019；wang等人，2019)。此外，人们认识到oct和sap都是在大量视网膜神经节细胞(rgc)明显死亡后才发生变化，(harwerth等人，2007)，因此，对早期疾病标志物的需求尚未得到满足。74.最近，我们报道了一种可视化人类视网膜中凋亡视网膜细胞的新方法，称为darc(检测凋亡视网膜细胞)(cordeiro等，2017)。该技术中使用的分子标志物是荧光标记的膜联蛋白a5，它对经历应激和凋亡早期阶段的细胞表面暴露的磷脂酰丝氨酸具有高度亲和力。已公布的第一阶段结果表明，在视网膜荧光图像中看到的darc阳性染色细胞的数量可用于评估青光眼疾病活性，而且还与未来青光眼疾病进展相关，虽然患者人数不多。最近，darc在一项2期临床试验中对更多受试者进行了测试(isrctn10751859)。75.在这里，我们描述了一种darc斑点检测的自动方法，该方法是使用cnn开发的，对一组受试者进行训练，然后在darc的2期临床试验中对青光眼患者进行测试。cnn在医学计算机视觉任务(包括医学图像分类)中表现出强大的性能。76.材料和方法：77.参与者78.darc的2期临床试验在帝国学院医疗nhs信托基金的西部眼科医院进行，是一项单中心、开放标签的研究，受试者在2017年2月15日至2017年6月30日期间每人接受一次荧光膜联蛋白5(anx776，0.4mg)的静脉注射。健康和进展中的青光眼受试者都被招募到试验中，在研究得到布伦特研究伦理委员会批准后，根据《赫尔辛基宣言》获得了知情同意。(isrctn10751859)。79.所有青光眼受试者都已经在西部眼科医院的青光眼部门接受治疗。如果除青光眼外没有其他眼部或全身性疾病，并且最近至少有三次连续的视网膜光学相干断层扫描(spectralissdoct，软件版本6.0.0.2；海德堡工程公司，德国海德堡)和标准自动测周法(sap，hfa640i，humphreyfieldanalyzer；卡尔蔡司医疗公司，加利福尼亚州都柏林)评估，使用瑞典互动阈值算法标准24-2，则考虑纳入本研究。如果在表1和表2中总结的任何参数中发现至少一只眼睛存在疾病进展的证据，则认为患者有可能符合条件，其中进展的定义是进展率(rop)的显著(*p《0.05；**p《0.01)负斜率。sap参数包括视野指数(vfi)和平均偏差(md)。oct参数包括在距离视盘的三个不同直径处(3.5、4.1和4.7毫米)测量视网膜神经纤维层(rnfl)和布鲁赫膜开口最小边缘宽度(mrw)。在无法使用机器内置软件来定义进展率的情况下，由于干预前评估期的持续时间，使用普通最小二乘法计算每个参数随时间的线性变化率(wang等人，无日期；pathak,demirelandgardiner，2013)80.健康志愿者最初是从护送病人去诊所的人和作为pic的当地眼镜店的转诊者中招募的。此外，还从帝国学院保健nhs信托基金的健康志愿者数据库中招募了健康志愿者。我们与潜在的参与者接触，并向他们发出了参与邀请函。研究小组与同意被联系的pic的参与者进行了接触，并预约了讨论试验的时间。根据发明人选择的纳入和排除标准，一旦认为有顺序的参与者符合条件，就进行登记。简而言之，健康的受试者包括：没有眼部或全身疾病，并由全科医生确认；没有任何青光眼过程的证据，包括视盘、rnfl(视网膜神经纤维层)或视野异常以及正常的iop(眼内压)；以及他们有可重复和可靠的成像和视野。81.drac图像82.所有参与者在瞳孔扩张(1％托吡卡胺和2.5％去氧肾上腺素)后通过静脉注射接受单剂量0.4mganx776，并使用与第一阶段类似的方案进行评估。(cordeiro等人，2017)简而言之，使用具有icga红外荧光设置(二极管激光786nm激发；具有800nm屏障滤光片的光电探测器)的cslo(hra octspectralis，heidelbergengineeringgmbh，heidelberg，germany)在高分辨率模式下采集视网膜图像。在anx776给药前、anx776注射期间和注射后15、120和240分钟时采集基线红外自体荧光图像。83.在每个时间点记录了100帧序列的平均图像。在进行任何分析之前，所有的图像都是匿名的。为了开发cnn算法，只使用了对照组和青光眼受试者的基线和120分钟的图像。84.所分析图像的分解如图6中的“consort”图所示。对于cnn训练，120分钟时有73只对照眼可用于分析。同样，在接受静脉注射anx776的20名青光眼患者中，27只眼在基线和120个时间点的图像可用。85.人工观测者分析86.匿名图像随机显示在同一台计算机上和相同的照明条件下，由五名不知情的操作员使用(美国国家心理健康研究所)进行人工图像审查。(“imagej”，无日期)imagej“多点”工具用于识别图像中观察者希望标记为anx776阳性点的每个结构。每个阳性点由矢量坐标标识。比较每张图像的手动观察点：如果来自不同观察者的点在彼此之间30像素以内，则认为它们是同一个点。如果两个或多个观察者一致，则在自动化应用程序中将其作为用于训练和比较系统的点的标准。87.自动图像分析概述(图7)88.为了检测darc标记的细胞，在视网膜图像中确定了候选斑点，然后使用一个用候选斑点和人工观察者确定的斑点训练的算法将其分为“darc”或“非darc”。图7提供了该过程的概述。89.a)图像优化90.使用仿生变换和非刚性变换，将120分钟的图像与每只眼睛的基线图像对齐。然后对图像进行裁剪，以消除对齐的伪影。然后，通过对每张图像进行z-评分，使其强度归一化，以考虑到光照差异。最后，用高斯模糊法去除图像中的高频噪声，σ为5像素。91.b)斑点候选物检测92.模板匹配，特别是零归一化交叉相关(zncc)是一种寻找候选斑点的简单方法。由人工观察者确定的斑点的30×30像素的图像用一个平均图像函数结合起来，以创建一个斑点模板。这个模板被应用到视网膜图像上，产生一个相关图。然后选择局部最大值，并用相关系数和强度标准差(对应于斑点的亮度)的阈值进行过滤。这些阈值被设置得足够低，以包括人工观察者看到的所有斑点。一些人工观察到的斑点非常细微(可以说根本就不是斑点)，而且由于靠近血管，相当明显的斑点的相关度也很低。这意味着阈值需要设置得非常低，并产生比人工观察到的斑点多得多的候选斑点(大约50-1)。93.从图8可以看出，候选斑点覆盖了视网膜图像的大部分，然而这将分类的点的数量减少了1500倍(与观察每个像素相比)。利用zncc的局部最大值，每个候选检测都以一个点状物体为中心，通常最亮的部分在中心。这意味着分类器不需要对偏离中心的斑点进行容忍。这也意味着分类器的测量精度将更有意义，因为它反映了它从其他斑点状物体中辨别darc斑点的能力，而不仅仅是它从图像的随机部分辨别darc斑点的能力。94.c)斑点分类95.为了确定哪些斑点候选者是darc细胞，使用已建立的卷积神经网络(cnn)对斑点进行分类，称为mobilenetv2。(sandler等，2018；chen等，2019；pan，agarwal和merck，2019；pang等，2019)该cnn能够在一个批次中处理400多个斑点图像。这使得它能够应对50-1的不平衡数据，因为每批应该有大约4个darc点。96.虽然使用的是mobilenetv2架构，但第一层和最后一层都进行了调整。第一层变成了一个64×64×1的输入层，以获取64×64像素的斑点候选图像(选择这个尺寸是为了包括斑点周围更多的区域，以给网络一些背景)。最后一层被替换为具有sigmoid激活的密集层，以实现二元分类(darc斑点或非darc斑点)，而不是多重分类。我们发现mobilenet的α值为0.85，适当地调整每层的过滤器数量，效果最好。97.d)训练98.训练只在对照眼上进行。简单地说，从50％的对照组患者的120分钟图像中随机选择视网膜图像。使用候选点对cnn进行训练，如果有2个或更多的人工观察者观察到该点，则标记为darc。从这些图像中抽取了58,730个候选点(包括1022个2人-一致的人工观察的darc点)。其中70％的斑点被用来训练，30％被用来验证。其余50％的对照组患者的视网膜图像被用来测试分类的准确性(48610个候选点，其中898个是2人‑‑一致的人工观察点)。99.通过旋转、反射和改变点图像的强度来增强数据以增加网络的容差。darc斑点类别权重设置为50(斑点)和1(其他物体)以补偿50-1不平衡数据。100.训练验证准确度收敛，匹配验证准确度也显示出相似的准确度，没有过度训练的迹象。正如训练曲线所示(参见图9)，虽然训练需要300个epoch来验证稳定性，但在200个epoch中实现了良好的准确度，。101.进行了三次训练，创建了三个cnn模型。为了进行推理，这三个模型结合起来：根据三个模型中每个模型所给出的平均概率对每个点进行分类。102.e)青光眼darc图像测试103.一旦开发了cnn辅助算法，就在基线和120分钟捕获的图像中对青光眼患者队列进行了测试。斑点由人工观察者和算法识别。darc计数定义为基线斑点减除后120分钟在视网膜图像中看到的anx776阳性斑点的数量。104.青光眼进展评估105.进展率是根据darc后18个月的青光眼患者的连续oct计算出来的。那些具有显著(p《0.05)负斜率的患者被定义为进展期，而那些没有负斜率的患者被定义为稳定期。此外，由5位蒙面的临床医生使用视野、oct和视盘测量进行评估。106.结果107.患者人口统计108.根据设定的纳入/排除标准筛选了60名青光眼患者，其中20名进展期(定义为至少一只眼睛的任何参数出现显著的(p《0.05)负斜率)青光眼患者接受了静脉注射darc。这些青光眼患者的基线特征列于表2。38只眼睛符合纳入条件，其中3只眼睛没有图像可供人工观察者计数，2只眼睛的图像是在低分辨率模式下拍摄的，另外2只眼睛有强烈的内在自发荧光。除2名患者外，所有患者都在眼科诊所进行了随访，并有数据可用于对病情进展进行事后评估。109.斑点分类测试110.图9中的结果是在用保留给测试的50％的对照眼(因此没有用于训练)测试cnn辅助的算法时取得的。结果发现准确率为97％，灵敏度为91.1％，特异性为97.1％。111.灵敏度和特异性都很高，令人鼓舞，特别是它所训练和测试的人工观察数据已被证明具有高度的观察者之间的差异。图10中显示了图像和人工观察者/算法点的典型例子。112.青光眼队列中的分类测试113.仅用18个月时进行的oct全局rnfl进展率(rop3.5环)来定义进展，青光眼队列分为进展组和稳定组。观察者之间的临床一致性很差，因此，使用客观、简单和单一的oct参数。那些有显著(p《0.05)负斜率的患者被定义为进展组，而那些没有负斜率的患者则被定义为稳定组，详见表3a。在分析的29只青光眼中，根据这一定义，发现8只为进展期，21只为稳定期。114.使用这个青光眼进展的定义，为cnn辅助算法和2人-一致的人工观察者构建了接受者操作特征(roc)曲线，如图6所示，以调查darc计数是否能预测18个月时的青光眼进展。在darc数为24时达到cnn算法的最大灵敏度(85.7％)和特异性(91.7％)，auc为0.88，而在darc数为12时达到人工观察者的最大灵敏度(71.4％)和特异性(87.5％)，auc为0.79，显示cnn辅助算法性能优越。115.darc计数作为青光眼进展的预测因素116.图7a显示了使用cnn辅助算法的稳定和进展期青光眼组的darc计数，图7b显示了手动darc计数(观察者2人一致)。darc计数与使用cnn辅助算法的稳定组(平均9.71)相比，18个月后发现进展组的患者的darc计数(平均26.13)显著更高(p＝0.02；mannwhitney)。相比之下，人工观察者(2人一致或更多)的darc计数，在18个月时进展的患者(平均12.25)比稳定的(平均4.38)青光眼患者高，但这没有达到统计学意义(p＝0.0692；mannwhitney)。117.讨论118.青光眼管理的主要目标是防止视力丧失。由于该疾病多年来进展缓慢，目前评估变化的黄金标准不仅需要很长的时间，而且是在重大的结构和功能损害已经发生之后(cordeiro等人，2017)。青光眼对评估未来进展风险和治疗效果的可靠措施的需求尚未得到满足(weinreb和kaufman，2009，2011)。在这里，我们描述了一种新的cnn辅助算法，当与darc‑‑一种视网膜细胞凋亡的标志物相结合时，能够预测青光眼的进展，其定义是18个月后oct上的rnfl变薄。该方法与darc一起使用时，能够提供一个自动和客观的生物标志物。119.替代标志物的开发主要是在癌症领域，它们被用作临床结果的预测指标。在青光眼中，最常见的临床结果指标是视力下降，其次是生活质量的下降，以评估治疗效果。代用指标应能实现更早的诊断、更早的治疗，以及更短的时间，因此也更经济的临床试验。然而，要成为一个有效的替代标记，必须证明这些措施是准确的。例如，已被广泛使用的oct被发现对检测明显的rnfl异常的敏感性和特异性分别为83％和88％(chang等人，2009)，此外还有良好的可重复性(deleonortega等人，2007)(tan等人，2012)。相比之下，我们的cnn算法对青光眼进展的敏感性为85.7％，特异性为91.7％。120.虽然第一阶段的结果表明有一定程度的darc预测性，但这是在一个非常小的数据集上进行的(cordeiro等人，2017)，不同剂量的anx776为0.1、0.2、0.4和0.5毫克，每组最多有4只青光眼，其中0.4毫克组只有3只。在本研究中，所有受试者都接受了0.4毫克anx776，并分析了27只眼睛。121.在临床实践中，青光眼患者的进展风险评估是基于确定是否存在风险因素，包括：年龄较大、眼压升高(iop，对该个体而言过高)、种族、青光眼阳性家族史、疾病阶段和高度近视(jonas等人，2017)。更晚期的疾病风险包括垂直杯盘比》0.7，视野每增加0.2分贝的模式标准差，双侧受累和椎间盘不对称，还有椎间盘出血和假性脱落的存在(gordon等人，2002，2003；budenz等人，2006；levine等人，2006；miglior等人，2007)。然而，这些都不能用来肯定地预测个人病情的发展。122.客观评估在青光眼中越来越重要，因为即使有技术辅助，临床医生之间也存在不同的一致性。在使用视野、oct和立体摄影技术定义患者的进展方面，已经显示出较差的一致性(a.c.viswanathan等人，2003；sebastiána.banegas等人，2015)(blumberg等人，2016)(moreno-等人，2017)。事实上，在这项研究中，我们要求五位蒙面的资深青光眼专家(合著者)使用他们基于视盘评估、oct和视野的临床判断对患者的进展情况进行评分；不幸的是，他们之间的一致性不一(未发表的数据)。出于这个原因，一个单一的、客观的进展率指标(tatham和medeiros，2017)用来定义用于测试cnn辅助算法的小组。123.进展的分析是事后分析，在18个月的随访期间，没有指导治疗的临床医生的协议。与口服美金刚试验类似，(weinreb等人，2018)对患者的管理，特别是降低眼压方面，由青光眼专家酌情决定，并遵循正常的护理标准。然而，尽管如此，并使用oct全球rfnl3.5环的rop，29只眼睛中有8只在18个月时出现了进展。124.在过去的几年里，临床医生之间在识别进展方面的不一致引起了人们对使用人工智能帮助青光眼诊断和预后的极大兴趣(jiang等人，2018)(ianj.c.maccormick等人，2019；thompson，jammal和medeiros，2019)，视野(pang等人，2019；kucur，holló和sznitman，2018)和oct(asaoka等人，2019b；medeiros，jammal和thompson，2019b)。medeiros等人最近的一项研究描述了一种基于估计的rnfl厚度预测来评估眼底照片的算法，该算法通过使用octrnfl厚度测量值训练cnn来实现(medeiros、jammal和thompson，2019b)。在特异性为95％时，预测的测量值的敏感性为76％，而实际的sdoct测量值的敏感性为73％。对于80％的特异性，预测测量值的敏感性为90％，而oct测量值的敏感性为90％。作者认为他们的方法有可能被用来从视盘照片中提取进展信息，但与我们的研究一样，评论说需要对纵向数据集进行进一步验证。125.模板匹配通常用于在显微镜下跟踪细胞，在本研究中需要类似的评估来纵向分析体内的单细胞。这里的模板匹配使用的是30×30像素的模板，cnn使用的是64×64像素的图像。这种尺寸差异的原因是模板匹配对血管很敏感，因此小的模板有利于减少血管被包含的可能性。对于cnn来说，更大的图像有助于给cnn提供更多的斑点周围的环境，这可能对分类很有用。126.尽管该算法表现良好，比其他方法提前18个月提供了检测进展性青光眼的可行方法，但我们认为有一些地方可以优化，其中一些将在下文介绍。127.mobilenetv2的替代分类算法，如支持向量机(svm)或随机森林，需要“手工制作”的特征，这些特征很难产生，因为它们需要考虑到由图像捕获引起的复杂性，如非线性强度变化、光学模糊、注册模糊和低光噪声，以及生物复杂性，如脉络膜血管中的图案、血管、白内障引起的模糊等。该网络有一些与原始视网膜图像的强度有关的偏差。我们相信我们可以通过研究强度的归一化和通过用更大的数据集来改变强度的方式来提高结果。对其他网络如vgg16的性能进行了评估，在撰写本文时发现mobinetv2的性能最好。我们正在继续评估该网络是否是满足这一需求的最佳选择。相比之下，vgg16，一个备用的cnn，将被限制在一个批次中的64个点，这可能意味着一个批次中没有darc点，这就阻碍了训练。我们有一个替代方法，使用检测和分割算法yolo3，在一个步骤中检测和分类斑点。我们相信，如果有更多的数据，这可能是一个更有效率和效果的方法，然而在这个阶段，我们用yolo取得的最高准确率还不如本文所概述的方法。128.结论129.本研究描述了一种cnn辅助算法，用于分析darc作为青光眼患者视网膜图像中视网膜细胞凋亡的标志物。该算法能够计算darc计数，当在患者中进行测试时，发现该计数成功预测了18个月后octrnfl青光眼的进展。该数据支持使用该方法来提供具有潜在广泛临床应用的自动化和客观的生物标志物。130.表1.青光眼的资格(排除/纳入标准青光眼)[0131][0132][0133]表1b研究开始时的青光眼特征[0134][0135]表2青光眼患者的基线和资格进展参数[0136]tomographyimages’,americanjournalofophthalmology.elsevierinc.,198,pp.136–145.doi:10.1016/j.ajo.2018.10.007.[0145]banegas,aetal.(2015)‘agreementamongspectral-domainopticalcoherencetomography,standardautomatedperimetry,andstereophotographyinthedetectionofglaucomaprogression.’,investigativeophthalmology&visualscience,56(2),pp.1253–60.doi:10.1167/iovs.14-14994.[0146]banegas,a.etal.(2015)‘agreementamongspectral-domainopticalcoherencetomography,standardautomatedperimetry,andstereophotographyinthedetectionofglaucomaprogression’,investigativeophthalmologyandvisualscience,56(2),pp.1253–1260.doi:10.1167/iovs.14-14994[0147]blumberg,d.m.etal.(2016)‘technologyandtheglaucomasuspect’,investigativeophthalmologyandvisualscience,57(9),pp.oct80–oct85.doi:10.1167/iovs.15-18931.[0148]budenz,d.l.etal.(2006)‘detectionandprognosticsignificanceofopticdischemorrhagesduringtheocularhypertensiontreatmentstudy’,ophthalmology.doi:10.1016/j.ophtha.2006.06.022.[0149]chang,r.t.etal.(2009)‘sensitivityandspecificityoftime-domainversusspectral-domainopticalcoherencetomographyindiagnosingearlytomoderateglaucoma.’,ophthalmology.unitedstates,116(12),pp.2294–2299.doi:10.1016/j.ophtha.2009.06.012.[0150]chen,z.etal.(2019)‘featureselectionmayimprovedeepneuralnetworksforthebioinformaticsproblems.’,bioinformatics(oxford,england).doi:10.1093/bioinformatics/btz763.[0151]cordeiro,m.f.etal.(2017)‘real-timeimagingofsingleneuronalcellapoptosisinpatientswithglaucoma’,brain,140(6).doi:10.1093/brain/awx088.[0152]deleonortega,j.e.etal.(2007)‘effectofglaucomatousdamageonrepeatabilityofconfocalscanninglaserophthalmoscope,scanninglaserpolarimetry,andopticalcoherencetomography.’,investigativeophthalmology&visualscience.unitedstates,48(3),pp.1156–1163.doi:10.1167/iovs.06-0921.[0153]gordon,m.o.etal.(2002)‘theocularhypertensiontreatmentstudy:baselinefactorsthatpredicttheonsetofprimaryopen-angleglaucoma’,archivesofophthalmology.doi:10.1001/archopht.120.6.714.[0154]gordon,m.o.etal.(2003)‘ocularhypertensiontreatmentstudy:baselinefactorsthatpredicttheonsetofprimaryopen-angleglaucoma’,evidence-basedeyecare.doi:10.1097/00132578-200301000-00007.[0155]harwerth,r.s.etal.(2007)‘therelationshipbetweennervefiberlayerandperimetrymeasurements’,investophthalmolvissci,48(2),pp.763–773.availableat:http://www.ncbi.nlm.nih.gov/entrez/query.fcgi？cmd＝retrieve&db＝pubmed&dopt＝citation&list_uids＝17251476.[0156]“imagej”(无日期).可从以下网站获得：http://imagej.nih.gov/ij/.％0a。[0157]jiang,y.etal.(2018)‘opticdiscandcupsegmentationwithbloodvesselremovalfromfundusimagesforglaucomadetection’,inproceedingsoftheannualinternationalconferenceoftheieeeengineeringinmedicineandbiologysociety,embs.instituteofelectricalandelectronicsengineersinc.,pp.862–865.doi:10.1109/embc.2018.8512400.[0158]jonas,j.b.etal.(2017)‘glaucoma’,thelancet.doi:10.1016/s0140-6736(17)31469-1.[0159]kucur,s.,g.andsznitman,r.(2018)‘adeeplearningapproachtoautomaticdetectionofearlyglaucomafromvisualfields.’,plosone,13(11),p.e0206081.doi:10.1371/journal.pone.0206081.[0160]levine,r.a.etal.(2006)‘asymmetriesandvisualfieldsummariesaspredictorsofglaucomaintheocularhypertensiontreatmentstudy’,investigativeophthalmologyandvisualscience.doi:10.1167/iovs.05-0469.[0161]maccormick,ianjcetal.(2019)‘accurate,fast,dataefficientandinterpretableglaucomadiagnosiswithautomatedspatialanalysisofthewholecuptodiscprofile.’,plosone,14(1),p.e0209409.doi:10.1371/journal.pone.0209409.[0162]maccormick,ianj.c.etal.(2019)‘correction:accurate,fast,dataefficientandinterpretableglaucomadiagnosiswithautomatedspatialanalysisofthewholecuptodiscprofile(plosone(2019)14:1(e0209409)doi:10.1371/journal.pone.0209409)’,plosone,14(4),pp.1–20.doi:10.1371/journal.pone.0215056.[0163]medeiros,f.a.,jammal,a.a.andthompson,a.c.(2019a)‘frommachinetomachine:an[0164]oct-traineddeeplearningalgorithmforobjectivequantificationofglaucomatousdamageinfundusphotographs’,ophthalmology.elsevierinc.,126(4),pp.513–521.doi:10.1016/j.ophtha.2018.12.033.[0165]medeiros,f.a.,jammal,a.a.andthompson,a.c.(2019b)‘frommachinetomachine:anoct-traineddeeplearningalgorithmforobjectivequantificationofglaucomatousdamageinfundusphotographs’,ophthalmology.americanacademyofophthalmology,126(4),pp.513–521.doi:10.1016/j.ophtha.2018.12.033.[0166]miglior,s.etal.(2007)‘intercurrentfactorsassociatedwiththedevelopmentofopen-angleglaucomaintheeuropeanglaucomapreventionstudy’,americanjournalofophthalmology.doi:10.1016/j.ajo.2007.04.040.[0167]moreno-j.etal.(2017)‘intraobserverandinterobserveragreementofstructuralandfunctionalsoftwareprogramsformeasuringglaucomaprogression’,jamaophthalmology.americanmedicalassociation,135(4),pp.313–319.doi:10.1001/jamaophthalmol.2017.0017.endpointssymposium:measuresofstructuralchangeandvisualfunction.’,investigativeophthalmology&visualscience.unitedstates,pp.7842–7851.doi:10.1167/iovs.11-7895.当前第1页12当前第1页12
背景技术：
：：2.细胞死亡和神经元缺失是阿尔茨海默氏症(ad)、帕金森氏症、亨廷顿氏症和青光眼等疾病中神经退化的关键病理驱动因素。阿兹海默式症是最常见的单一形式的痴呆症，预计在未来20年内对美国人的影响将从400万上升到1200万。青光眼是全世界不可逆转的失明的主要原因，40岁以上的人中有2％受到影响。由于该病的无症状性和渐进性，其发病率很高，常常导致诊断和治疗的延误。3.活细胞成像已被广泛用于研究体外培养细胞的神经元功能障碍，其与荧光多重标记能够实现对不同的细胞活性和不同的分子定位模式的可视化。本发明人曾公开可借助被标记的凋亡标志物观察视网膜神经节细胞死亡的能力(wo2009/077790)，以及在某些疾病诊断中检测该细胞死亡的有用性(wo2011/055121)。本发明人意外发现，也可以监测眼睛中其他细胞类型的状态，特别是小胶质细胞的激活状态。此外，本发明人还发现，可以在一段时间内准确监测细胞的状态。4.发明概述5.本发明的第一方面提供了一种确定疾病阶段的方法，特别是神经退行性疾病，所述方法包括识别受试者眼睛中小胶质细胞的激活状态和将细胞的状态与疾病阶段关联的步骤。识别激活状态的步骤可包括生成小胶质细胞的图像。6.小胶质细胞遍布大脑和脊髓。这些细胞可能处于反应或静止(分支)状态。反应性小胶质细胞包括激活的小胶质细胞和阿米巴样的小胶质细胞，即可变成激活小胶质细胞的小胶质。激活的小胶质细胞具有抗原呈递、细胞毒性和介导炎症信号的能力，并能够吞噬异物。阿米巴样小胶质细胞也可以吞噬异物，但缺乏抗原呈递能力。分支状小胶质细胞不能吞噬异物。7.本发明人发现可以区分反应性和分支状小胶质细胞。此外，本发明人发现阿米巴样、分支状或激活的小胶质细胞的数量和/或位置，可用于指示疾病阶段。激活小胶质细胞的存在通常与年轻人和/或健康人有关，而阿米巴样小胶质细胞的存在与疾病有关。基于受试者年龄或健康状况预期其激活的小胶质细胞和/或阿米巴样小胶质细胞的数量或百分比，如果发现其数量或百分比低于预期，则表明受试者可能患有神经退行性疾病，或者很可能会发展成神经退行性疾病。8.所述方法可以包括对生成的图像中激活的、分支的和/或阿米巴样小胶质细胞的数量进行计数的步骤。该方法还可以包括将在图像中发现的激活、分支状或阿米巴样小胶质细胞的数量或百分比与先前获得的图像，或与预期的激活、分支状或阿米巴样胶质细胞的数量或百分比进行比较。激活、分支状或阿米巴样小胶质细胞的预期数量或百分比可以是基于来自同一受试者的先前图像预测的小胶质细胞的数量或百分比，或是在相似年龄或相似数量的类似受试者中发现的这些小胶质细胞的平均数量或百分比。9.本发明人还确定了可将激活的、分支的和/或阿米巴样小胶质细胞的模式与疾病状态和特定疾病联系起来。例如，本发明人发现，健康受试者的激活小胶质细胞在视网膜上有序且规则的分布，但患有神经退行性疾病的受试者更可能在视网膜上具有分散的、不规则模式的激活小胶质细胞，或具有大量的阿米巴样小胶质细胞的区域。本发明人发现，在青光眼中，吞噬性小胶质细胞通常存在于乳头状黄斑束周围，而在amd中，它们存在于黄斑周围。因此，在图像中发现的模式或模式的变化可以指示受试者患有神经退行性疾病或该疾病恶化或改善。该方法可以包括以下步骤：识别眼睛中的细胞状态模式，并将该模式与疾病状态相关联。10.眼睛中小胶质细胞的状态可以通过向受试者施用标志物，特别是标记的标志物来识别。因此，受试者可以是已对其施用标志标记的受试者。或者，该方法还可以包括将标记的标志物施用于受试者。所述标记物可以任何适当的方式给药，特别是通过静脉注射、局部或通过鼻喷雾剂。11.本发明人惊奇地发现标记的标志物可以是凋亡标志物。术语“凋亡标志物”是指能够将经历凋亡的细胞与活细胞，优选地与坏死细胞区分开来的标志物。凋亡标志物包括：例如膜联蛋白家族的蛋白质。膜联蛋白是在阳离子存在下与细胞膜可逆结合的蛋白质。可用于本发明的膜联蛋白可以是天然的或重组的。蛋白质可以是完整的或是功能性片段，即与完整蛋白质特异性结合的膜联蛋白的片段或部分。此外，可以使用这些蛋白质的功能衍生物。有多种膜联蛋白可供使用，例如美国专利申请公开号2006/0134001a中所述的膜联蛋白。优选的膜联蛋白是本领域公知的膜联蛋白5。可用作凋亡标志物的其他膜联蛋白包括膜联蛋白1、2和6。其他凋亡标志物是本领域已知的，包括例如突触结合蛋白‑ⅰ的c2a结构域、耐久霉素、非肽基靛红磺酰胺类似物，例如wc-ii-89和aposense，例如nst-732、ddc和ml-10(saint-hubertelai，2009)。12.凋亡标志物优选地带有可见标记。特别地，标记优选为波长优化的标记。术语“波长优化标记”是指荧光物质，即响应激发而发射光的物质，并且由于增加的信噪比，因此选择使用该物质，从而提高图像分辨率和灵敏度，同时应遵守曝光安全标准，避免光毒性效应。优化的波长包括红外和近红外波长。此类标记在本领域中是众所周知的并且包括染料例如irdye700、irdye800、d-776和d-781。还包括通过将这些染料与其他分子如蛋白质和核酸结合形成的荧光物质。优选的波长优化在给药时很少引起或没有引起炎症。一种优选的波长优化标记是d-776，因为已发现它在眼睛中很少引起或没有引起炎症，而其他染料会引起炎症。优化的染料还优选地表现出可在组织学上检测到的荧光水平与可在体内检测到的荧光水平之间的密切相关性。特别优选的是，在组织学和体内荧光之间存在显着的相关性，尤其是1:1的相关性。13.在一个特定实施方案中，标记物是用d-776标记的膜联蛋白5。膜联蛋白5可以是野生型膜联蛋白5，或可以是修饰的膜联蛋白5。在一个特定实施方案中，膜联蛋白5已被修饰以确保一个膜联蛋白分子与一个标记分子结合，从而可以准确计数细胞。14.可以使用用于将波长优化的标记与标记化合物缀合的标准技术来制备标记的凋亡标志物。此类标签可以从众所周知的来源获得，例如dyomics。将标记与标记结合的适当技术在本领域中是已知的，并且可以由标志物的制造商提供。15.使用凋亡标志物的一个优点是该方法还可用于识别或监测细胞凋亡以及小胶质细胞状态。本发明人惊奇地发现，还可以区分标记结合的凋亡细胞和吞噬标记的小胶质细胞。标志物结合的凋亡细胞通常呈环状，即圆形，中心有孔。激活的小胶质细胞以两种形式出现，并且可以通过它们的多个过程来识别。与激活的小胶质细胞相比，阿米巴样小胶质细胞更大。16.生成细胞状态图像的步骤可以包括生成凋亡细胞的图像。所述方法还可以包括计数凋亡细胞的数量和/或观察凋亡细胞的模式。所述方法还可以包括将凋亡细胞的数量或模式与预期的，或者与先前从受试者产生的图像中的凋亡细胞的数量或模式进行比较。凋亡细胞尤其可以是视网膜神经细胞，例如视网膜神经节细胞(rgc)、双极细胞、无长突细胞、水平细胞和感光细胞。在一个实施方案中，细胞是视网膜神经节细胞。结合使用凋亡视网膜神经细胞和小胶质细胞激活状态可以改善诊断。17.特别优选的是能够通过随时间比较特定细胞来监测疾病的进展或治疗的功效。因此，该方法可以进一步包括将图像与在较早时间点获得的受试者眼睛的图像或一张以上的图像进行比较的步骤。该方法可以包括将一张图像中的激活和/或阿米巴样小胶质细胞的数量或模式与之前的图像进行比较，和/或，可以包括将一张图像中的特定细胞与之前的图像中的相同细胞进行比较。早期图像和期晚图像之间小胶质细胞激活状态的变化可能表明疾病进展。该方法还可以包括比较凋亡细胞的数量或模式，或者比较一张图像中的特定细胞与早期图像中的相同细胞，以再次监测疾病进展或治疗效果。激活或阿米巴样小胶质细胞和/或凋亡细胞的数量或模式的变化可以为临床医生提供有关疾病进展的信息。18.阿米巴样小胶质细胞和/或凋亡细胞数量的增加可能表明疾病进展。同样，随着疾病进入后期阶段，阿米巴样小胶质细胞或凋亡细胞的数量可能会下降。熟练的临床医生能够根据在一张图像中看到的细胞数量或使用与一幅或多幅其他图像的比较来区分阶段。19.在比较特定细胞时，能够精准的将一张图像精确地覆盖在另一张图像上是有利的。该方法可以包括具有一张、两张或三张或更多张附加图像的该步骤。20.该疾病优选是眼部神经退行性疾病。术语“眼部神经退行性疾病”为本领域技术人员所熟知，是指由眼部神经元逐渐和进行性丧失引起的疾病。它们包括但不限于青光眼、糖尿病视网膜病变、amd、阿尔茨海默病、帕金森病和多发性硬化症。21.为了产生细胞的图像，通过例如静脉注射、局部给药或鼻腔喷雾，将标记的标志物给受试者施用。受试者的待测区域，即眼睛，被放置在医疗成像设备的检测场内，如眼底镜，特别是共焦扫描激光眼底镜。然后对标记标志物的发射波长进行成像，并构建图像，从而提供细胞死亡区域的“地图”。图像的生成可以在一段时间内重复进行，并且可以被实时监测。22.能够对疾病进行分期或诊断是特别有用的，得益于此可选择特定的治疗疗程，并可选地进行监测。因此，该方法可选地包括向受试者提供青光眼或另一种神经退行性疾病的治疗。青光眼的治疗方法在本领域中是众所周知的，发明详述中也提供了青光眼治疗方法的实例。其他治疗可能是合适的，熟练的临床医生可从中毫无困难地选择适当的治疗方法。23.本发明还提供如本文所述的标记的凋亡标志物，用于识别小胶质细胞激活状态。24.本发明人已经进一步对识别视网膜图像中细胞的方法进行了改进。例如，本发明人对监测使用眼底镜生成的图像中细胞状态的方法的改进。特别是，细胞可用本文提到的波长优化标记进行了标记。所感兴趣的细胞类型包括，例如，小胶质细胞和视网膜神经节细胞。该方法优选地包括以下步骤：25.a)提供受试者视网膜的图像；26.b)将每张图像上的一个或多个点识别为标记细胞的候选；27.c)过滤选择；并且，可选地，28.d)对强度变化的结果进行归一化处理。29.这些点可以通过任何适当的方法来识别。已知的方法，如用于圆点检测的方法，包括通过卷积的模板匹配、阈值化(静态或动态)后的连接成分分析、分水岭检测、高斯的拉普拉斯、广义霍夫变换和辐条滤波器。在一个实施方案中，所述点是通过模板匹配识别的。30.过滤选择的步骤可以通过任何适当的方法进行，包括，例如，基于计算的已知图像指标的过滤，如静态固定阈值过滤器、决策树、支持向量机和随机森林，可以选择自动计算，例如使用自动编码器；或者使用整个图像和自动计算的特征，并使用深度学习方法进行过滤，如mobilenet、vgg16、resnet和inception。31.该方法可包括提供受试者视网膜的一张以上的图像的步骤，例如，提供在不同时间段拍摄的图像。这些图像可能是相隔几毫秒、几秒钟、几分钟、几小时、几天甚至几周获得的。在使用一个以上的图像时，该方法还可以包括对齐图像的步骤，以确保在一张图像中看到的细胞与另一张图像中看到的细胞对齐。本发明人发现，对准图像是至关重要的，以便在一段时间内监测单个细胞的状态。要重复拍摄视网膜的图像并使视网膜在每张图像中保持完全相同的方向是非常困难的。还必须适应病人和眼睛的位置和方向的物理差异。本发明人出人意料地发现，有可能对齐在不同时间点拍摄的图像，并看到单个细胞的变化。对齐图像的步骤可以包括堆叠图像的步骤。32.该方法可进一步包括对可能导致错误的候选识别的已知变体进行计算的步骤。这意味着视网膜上的特征或其他变体可以被考虑在内，以减少标记细胞被错误识别的可能性。这些变体包括非线性强度变化、光学模糊、登记模糊和低光噪音，以及生物复杂性，如脉络膜血管中的图案、血管、白内障引起的模糊等。33.该方法的步骤可以通过任何适当的机制或手段进行。例如，它们可以通过手动进行，或使用自动方法进行。特别地，分类步骤可以通过自动化手段进行，例如使用人工神经网络。34.如果该方法的步骤是由自动化手段进行的，则可以对自动化手段进行训练，以改善预期的结果。例如，该方法可进一步包括以下步骤：将自动手段识别或分类的斑点与人工观察者或其他自动手段识别或分类的斑点进行比较，并使用结果来训练第一自动机制以更好地识别候选的标记细胞。35.步骤a)可包括对受试者的视网膜进行成像的步骤。视网膜可以被成像，例如一次、两次、三次、四次、五次或更多次。36.标记的细胞可以是小胶质细胞；视网膜神经细胞，尤其是视网膜神经节细胞，或两者兼顾。37.根据其他方面，本发明还提供了一种计算机实现的识别视网膜中细胞状态的方法，以便例如确定疾病的阶段，该方法包括：38.a)提供受试者视网膜的图像；39.b)将每张图像上的一个或多个点识别为标记细胞的候选；40.c)过滤选择；和，可选地，41.d)如上所述，对强度变化的结果进行归一化。42.根据其他方面，本发明还提供了一种计算机程序，用于识别视网膜中细胞的状态，例如，以便确定疾病的阶段，当由处理系统执行时，使处理系统：43.a)提供受试者视网膜的图像；44.b)使用模板映射来识别每个图像上的一个或多个点，作为标记细胞的候选点；45.c)使用对象分类过滤器过滤由模板匹配做出的选择；和，可选择地，46.d)对强度变化的结果进行归一化。47.本文所述的确定疾病阶段的方法可使用在处理系统或处理器中运行的计算机程序来实现。这些方法可以扩展到计算机程序，特别是载体上或载体中的计算机程序，适合于将这些方面付诸实践。该程序可以是非临时源代码、目标代码、代码中间源和目标代码的形式，例如部分编译的形式，或适用于在此描述的过程的实现中使用的任何其他非临时形式。载体可以是任何能够承载程序的实体或设备。例如，载体可以包括存储介质，如固态驱动器(ssd)或其他基于半导体的ram；rom，如cdrom或半导体rom；磁记录介质，如软盘或硬盘；一般的光存储设备；等等。48.根据一个实施方案，提供了一种非暂时性计算机可读存储介质，包括存储在其上的一组计算机可读指令，当由处理系统执行时，该指令使处理系统执行确定疾病阶段的方法，所述方法包括使用模板映射来识别受试者视网膜的一张或多张图像上的一个或多个点，作为候选的标记细胞，使用物体分类过滤器过滤由模板匹配做出的选择，并针对强度的变化将结果归一化。所述实施例可以至少部分地通过存储在(非临时)存储器中并可由处理器执行的计算机软件，或通过硬件，或通过有形存储的软件和硬件(和有形存储的固件)的组合来实现。该方法还可以包括提供受试者视网膜的一个或多个图像的步骤。49.现在将参照附图仅以示例的方式详细描述本发明。附图说明50.图1显示了大鼠和青光眼模型大鼠(oht和ivt)两只眼睛中的小胶质细胞。51.图2显示了阿尔茨海默氏症3×tg小鼠模型中的小胶质细胞：老化和ivt。52.图3显示了darc&alzheimer's3×tg小鼠模型：中年和ivt。53.图4显示了用annexinv染色的小胶质细胞。54.图5显示了darc与阿尔茨海默病3×tg小鼠模型的结果：鼻腔darc。55.图6是显示青光眼和对照组受试者和darc图像分析的联合(consort)图。56.图7是一个cnn辅助的算法流程图，显示了darc图像的分析阶段。57.图8是可能的候选斑点的代表性视网膜图像。候选斑点是用模板匹配和相关图来检测的。局部最大值被选中，并用相关系数和强度标准差(对应于斑点的亮度)的阈值进行过滤。这些阈值设置得很低，产生的候选斑点比人工观察的斑点多得多(大约50-1)。58.图9显示了cnn的训练和验证阶段。cnn训练(a)和验证(b)的曲线。尽管训练保留300个epoch以验证稳定性，但在200个epoch(训练周期)中达到了很好的准确性。匹配验证的准确性也显示出类似的准确性，没有过度训练的迹象。发现准确率为97％，灵敏度为91.1％，特异性为97.1％。59.图10是人工观察者和cnn-算法darc斑点的代表性比较。由cnn发现的斑点和由至少2个人工观察者发现的斑点显示在原始视网膜图像上。(a)患者6，左眼。进展性青光眼(由oct全局视网膜神经纤维层3.5环测量)(b)患者31，左眼。稳定的青光眼。绿色圆圈：仅人工观察(假阴性)；蓝色圆圈：只有cnn辅助算法，(假阳性)；绿松石圆圈：算法和人工观察者一致(真阳性)。60.图11显示人工观察者和cnn-算法分析的青光眼进展的roc曲线。为cnn辅助算法(a)和人工观察者2人一致或更多(b)构建受试者操作特征(roc)曲线，以测试18个月时青光眼进展的预测价值。darc后18个月的随访时，对青光眼受试者在距离视盘3.5毫米处spectralisoct全局视网膜神经纤维层(rnfl)的测量值计算进展率(rop)。那些有显著(p《0.05)负斜率的患者被定义为进展期，而那些没有负斜率的患者则被定义为稳定期。cnn算法在darc计数为23时达到最大灵敏度(90.0％)和特异性(85.71％)，auc为0.89，而人工观察者在darc数为12时达到最大灵敏度(0.85％)和特异性(71.43％)，auc为0.79，显示cnn辅助算法的性能更优越。61.图12显示与病情稳定的青光眼患者相比，cnndarc计数在持续进展的青光眼患者中显著增加。(a)与使用cnn辅助算法，18个月时进展的患者(平均26.13)与稳定的患者(平均9.71)相比，cnndarc计数显著增加(p＝0.02)。darc计数被定义为减去基线斑点后120分钟在视网膜图像中看到的anx776阳性斑点的数量。(b)尽管人工观察者(2人一致或更多)darc计数的趋势相似，但与稳定(平均4.38)青光眼患者相比，18个月时进展的患者(平均12.25)没有显着差异(p＝0.0692)。显示了通过oct全局视网膜神经纤维层3.5环测量的具有和不具有显着rop的青光眼患者的个体数据点的盒须图。星号表示mannwhitney检验的显着性水平。水平线表示中位数以及最小和最大范围，并指示所有单独的数据点。具体实施方式62.实施例163.如wo2009077750a1中所述制备标记的膜联蛋白v。标记的膜联蛋白按照cordeiromf,guol,luongv,etal.real-timeimagingofsinglenervecellapoptosisinretinalneurodegeneration.procnatlacadsciusa2004；101:13352-13356的描述进行给药。64.利用本领域已知的技术，iba-1(电离钙结合衔接分子1(iba1))用于小胶质细胞的标志物。65.使用本领域已知的技术，brn3a用作视网膜神经节细胞的标志物。66.使用的动物包括大鼠、青光眼模型大鼠(oht)、阿尔茨海默病模型小鼠和青光眼模型小鼠。这类模型在本领域是已知的。wo2011055121a1中描述了实例。67.图1显示了大鼠视网膜整体免疫染色(iba1)的结果，取自a)对照，b)一只眼睛通过手术提升的眼压升高的大鼠的对侧眼，(高眼压oht模型)c)同一动物的oht眼。可以识别分支、激活和阿米巴样小胶质细胞。68.在图2中，iba1被用来识别16个月大的阿尔茨海默三转基因小鼠整个视网膜装片中的小胶质细胞。在玻璃体内(ivt)注射pbs后，小胶质细胞的形态含有阿米巴样小胶质细胞；相反，在同一年龄段，未注射的眼睛(无ivt)显示出激活的形态。69.如图3所示，发明人可以使用相同的染色剂：标记的膜联蛋白识别视网膜神经节细胞和小胶质细胞。如图所示，可见rgc和小胶质细胞染色与膜联蛋白5共定位。在图4中，膜联蛋白5用488荧光剂荧光标记，可通过组织学显微镜检测。rgc膜联蛋白染色在细胞周围，而不在细胞内。70.从图4和图5可以看出，用膜联蛋白v对小胶质细胞的染色是细胞质的，也就是说，在rgc中，膜联蛋白位于细胞内或细胞膜外。71.实施例272.人工智能越来越多地用于医疗保健，尤其是眼科(poplin等人，2018；ting等人，2019)。机器学习算法已成为视网膜成像的重要分析辅助工具，在糖尿病视网膜病变、老年性黄斑变性和青光眼的管理中经常得到提倡，人们认为利用这些算法可以优化诊断和监测的敏感性和特异性(abanegas等人，2015；quellec等人，2017；schmidt-erfurth，bogunovic等人，2018；schmidt-erfurth，waldstein等人，2018；orlando等人，2019年)。深度学习在这些致盲性疾病中的应用被誉为减少其健康和社会经济影响的一个进步，尽管其准确性受到数据集大小和参考标准缺陷的影响(orlando等人，2019)。73.青光眼是一种进展缓慢的眼部神经退行性疾病，它是全球不可逆转失明的主要原因，影响超过6050万人，预计随着人口老龄化的增加，到2040年将翻一番(quigley和broman等人，2006；tham等人，2014)。过去几年，青光眼研究的一个关键目标是识别那些有快速进展和失明风险的人。这包括涉及多级数据的方法，包括结构(光学相干断层扫描(oct)、椎间盘成像)和功能(视野或标准自动视野检查(sap))评估。然而，几项研究表明，临床医生使用标准评估(包括sap、oct和视盘立体摄影)的进展存在很大差异(acviswanathan等人，2003；moreno-等人，2017年；abanegas等人，2015年)。然而，在现实世界的实践和深度学习数据集中，临床分级被视为黄金标准(jiang等人，2018；kucur，和sznitman等人，2018；asaoka等人，2019；ianjcmaccormick等人，2019；medeiros，jammal和thompson，2019；thompson，jammal等人；medeiros，2019；wang等人，2019)。此外，人们认识到oct和sap都是在大量视网膜神经节细胞(rgc)明显死亡后才发生变化，(harwerth等人，2007)，因此，对早期疾病标志物的需求尚未得到满足。74.最近，我们报道了一种可视化人类视网膜中凋亡视网膜细胞的新方法，称为darc(检测凋亡视网膜细胞)(cordeiro等，2017)。该技术中使用的分子标志物是荧光标记的膜联蛋白a5，它对经历应激和凋亡早期阶段的细胞表面暴露的磷脂酰丝氨酸具有高度亲和力。已公布的第一阶段结果表明，在视网膜荧光图像中看到的darc阳性染色细胞的数量可用于评估青光眼疾病活性，而且还与未来青光眼疾病进展相关，虽然患者人数不多。最近，darc在一项2期临床试验中对更多受试者进行了测试(isrctn10751859)。75.在这里，我们描述了一种darc斑点检测的自动方法，该方法是使用cnn开发的，对一组受试者进行训练，然后在darc的2期临床试验中对青光眼患者进行测试。cnn在医学计算机视觉任务(包括医学图像分类)中表现出强大的性能。76.材料和方法：77.参与者78.darc的2期临床试验在帝国学院医疗nhs信托基金的西部眼科医院进行，是一项单中心、开放标签的研究，受试者在2017年2月15日至2017年6月30日期间每人接受一次荧光膜联蛋白5(anx776，0.4mg)的静脉注射。健康和进展中的青光眼受试者都被招募到试验中，在研究得到布伦特研究伦理委员会批准后，根据《赫尔辛基宣言》获得了知情同意。(isrctn10751859)。79.所有青光眼受试者都已经在西部眼科医院的青光眼部门接受治疗。如果除青光眼外没有其他眼部或全身性疾病，并且最近至少有三次连续的视网膜光学相干断层扫描(spectralissdoct，软件版本6.0.0.2；海德堡工程公司，德国海德堡)和标准自动测周法(sap，hfa640i，humphreyfieldanalyzer；卡尔蔡司医疗公司，加利福尼亚州都柏林)评估，使用瑞典互动阈值算法标准24-2，则考虑纳入本研究。如果在表1和表2中总结的任何参数中发现至少一只眼睛存在疾病进展的证据，则认为患者有可能符合条件，其中进展的定义是进展率(rop)的显著(*p《0.05；**p《0.01)负斜率。sap参数包括视野指数(vfi)和平均偏差(md)。oct参数包括在距离视盘的三个不同直径处(3.5、4.1和4.7毫米)测量视网膜神经纤维层(rnfl)和布鲁赫膜开口最小边缘宽度(mrw)。在无法使用机器内置软件来定义进展率的情况下，由于干预前评估期的持续时间，使用普通最小二乘法计算每个参数随时间的线性变化率(wang等人，无日期；pathak,demirelandgardiner，2013)80.健康志愿者最初是从护送病人去诊所的人和作为pic的当地眼镜店的转诊者中招募的。此外，还从帝国学院保健nhs信托基金的健康志愿者数据库中招募了健康志愿者。我们与潜在的参与者接触，并向他们发出了参与邀请函。研究小组与同意被联系的pic的参与者进行了接触，并预约了讨论试验的时间。根据发明人选择的纳入和排除标准，一旦认为有顺序的参与者符合条件，就进行登记。简而言之，健康的受试者包括：没有眼部或全身疾病，并由全科医生确认；没有任何青光眼过程的证据，包括视盘、rnfl(视网膜神经纤维层)或视野异常以及正常的iop(眼内压)；以及他们有可重复和可靠的成像和视野。81.drac图像82.所有参与者在瞳孔扩张(1％托吡卡胺和2.5％去氧肾上腺素)后通过静脉注射接受单剂量0.4mganx776，并使用与第一阶段类似的方案进行评估。(cordeiro等人，2017)简而言之，使用具有icga红外荧光设置(二极管激光786nm激发；具有800nm屏障滤光片的光电探测器)的cslo(hra octspectralis，heidelbergengineeringgmbh，heidelberg，germany)在高分辨率模式下采集视网膜图像。在anx776给药前、anx776注射期间和注射后15、120和240分钟时采集基线红外自体荧光图像。83.在每个时间点记录了100帧序列的平均图像。在进行任何分析之前，所有的图像都是匿名的。为了开发cnn算法，只使用了对照组和青光眼受试者的基线和120分钟的图像。84.所分析图像的分解如图6中的“consort”图所示。对于cnn训练，120分钟时有73只对照眼可用于分析。同样，在接受静脉注射anx776的20名青光眼患者中，27只眼在基线和120个时间点的图像可用。85.人工观测者分析86.匿名图像随机显示在同一台计算机上和相同的照明条件下，由五名不知情的操作员使用(美国国家心理健康研究所)进行人工图像审查。(“imagej”，无日期)imagej“多点”工具用于识别图像中观察者希望标记为anx776阳性点的每个结构。每个阳性点由矢量坐标标识。比较每张图像的手动观察点：如果来自不同观察者的点在彼此之间30像素以内，则认为它们是同一个点。如果两个或多个观察者一致，则在自动化应用程序中将其作为用于训练和比较系统的点的标准。87.自动图像分析概述(图7)88.为了检测darc标记的细胞，在视网膜图像中确定了候选斑点，然后使用一个用候选斑点和人工观察者确定的斑点训练的算法将其分为“darc”或“非darc”。图7提供了该过程的概述。89.a)图像优化90.使用仿生变换和非刚性变换，将120分钟的图像与每只眼睛的基线图像对齐。然后对图像进行裁剪，以消除对齐的伪影。然后，通过对每张图像进行z-评分，使其强度归一化，以考虑到光照差异。最后，用高斯模糊法去除图像中的高频噪声，σ为5像素。91.b)斑点候选物检测92.模板匹配，特别是零归一化交叉相关(zncc)是一种寻找候选斑点的简单方法。由人工观察者确定的斑点的30×30像素的图像用一个平均图像函数结合起来，以创建一个斑点模板。这个模板被应用到视网膜图像上，产生一个相关图。然后选择局部最大值，并用相关系数和强度标准差(对应于斑点的亮度)的阈值进行过滤。这些阈值被设置得足够低，以包括人工观察者看到的所有斑点。一些人工观察到的斑点非常细微(可以说根本就不是斑点)，而且由于靠近血管，相当明显的斑点的相关度也很低。这意味着阈值需要设置得非常低，并产生比人工观察到的斑点多得多的候选斑点(大约50-1)。93.从图8可以看出，候选斑点覆盖了视网膜图像的大部分，然而这将分类的点的数量减少了1500倍(与观察每个像素相比)。利用zncc的局部最大值，每个候选检测都以一个点状物体为中心，通常最亮的部分在中心。这意味着分类器不需要对偏离中心的斑点进行容忍。这也意味着分类器的测量精度将更有意义，因为它反映了它从其他斑点状物体中辨别darc斑点的能力，而不仅仅是它从图像的随机部分辨别darc斑点的能力。94.c)斑点分类95.为了确定哪些斑点候选者是darc细胞，使用已建立的卷积神经网络(cnn)对斑点进行分类，称为mobilenetv2。(sandler等，2018；chen等，2019；pan，agarwal和merck，2019；pang等，2019)该cnn能够在一个批次中处理400多个斑点图像。这使得它能够应对50-1的不平衡数据，因为每批应该有大约4个darc点。96.虽然使用的是mobilenetv2架构，但第一层和最后一层都进行了调整。第一层变成了一个64×64×1的输入层，以获取64×64像素的斑点候选图像(选择这个尺寸是为了包括斑点周围更多的区域，以给网络一些背景)。最后一层被替换为具有sigmoid激活的密集层，以实现二元分类(darc斑点或非darc斑点)，而不是多重分类。我们发现mobilenet的α值为0.85，适当地调整每层的过滤器数量，效果最好。97.d)训练98.训练只在对照眼上进行。简单地说，从50％的对照组患者的120分钟图像中随机选择视网膜图像。使用候选点对cnn进行训练，如果有2个或更多的人工观察者观察到该点，则标记为darc。从这些图像中抽取了58,730个候选点(包括1022个2人-一致的人工观察的darc点)。其中70％的斑点被用来训练，30％被用来验证。其余50％的对照组患者的视网膜图像被用来测试分类的准确性(48610个候选点，其中898个是2人‑‑一致的人工观察点)。99.通过旋转、反射和改变点图像的强度来增强数据以增加网络的容差。darc斑点类别权重设置为50(斑点)和1(其他物体)以补偿50-1不平衡数据。100.训练验证准确度收敛，匹配验证准确度也显示出相似的准确度，没有过度训练的迹象。正如训练曲线所示(参见图9)，虽然训练需要300个epoch来验证稳定性，但在200个epoch中实现了良好的准确度，。101.进行了三次训练，创建了三个cnn模型。为了进行推理，这三个模型结合起来：根据三个模型中每个模型所给出的平均概率对每个点进行分类。102.e)青光眼darc图像测试103.一旦开发了cnn辅助算法，就在基线和120分钟捕获的图像中对青光眼患者队列进行了测试。斑点由人工观察者和算法识别。darc计数定义为基线斑点减除后120分钟在视网膜图像中看到的anx776阳性斑点的数量。104.青光眼进展评估105.进展率是根据darc后18个月的青光眼患者的连续oct计算出来的。那些具有显著(p《0.05)负斜率的患者被定义为进展期，而那些没有负斜率的患者被定义为稳定期。此外，由5位蒙面的临床医生使用视野、oct和视盘测量进行评估。106.结果107.患者人口统计108.根据设定的纳入/排除标准筛选了60名青光眼患者，其中20名进展期(定义为至少一只眼睛的任何参数出现显著的(p《0.05)负斜率)青光眼患者接受了静脉注射darc。这些青光眼患者的基线特征列于表2。38只眼睛符合纳入条件，其中3只眼睛没有图像可供人工观察者计数，2只眼睛的图像是在低分辨率模式下拍摄的，另外2只眼睛有强烈的内在自发荧光。除2名患者外，所有患者都在眼科诊所进行了随访，并有数据可用于对病情进展进行事后评估。109.斑点分类测试110.图9中的结果是在用保留给测试的50％的对照眼(因此没有用于训练)测试cnn辅助的算法时取得的。结果发现准确率为97％，灵敏度为91.1％，特异性为97.1％。111.灵敏度和特异性都很高，令人鼓舞，特别是它所训练和测试的人工观察数据已被证明具有高度的观察者之间的差异。图10中显示了图像和人工观察者/算法点的典型例子。112.青光眼队列中的分类测试113.仅用18个月时进行的oct全局rnfl进展率(rop3.5环)来定义进展，青光眼队列分为进展组和稳定组。观察者之间的临床一致性很差，因此，使用客观、简单和单一的oct参数。那些有显著(p《0.05)负斜率的患者被定义为进展组，而那些没有负斜率的患者则被定义为稳定组，详见表3a。在分析的29只青光眼中，根据这一定义，发现8只为进展期，21只为稳定期。114.使用这个青光眼进展的定义，为cnn辅助算法和2人-一致的人工观察者构建了接受者操作特征(roc)曲线，如图6所示，以调查darc计数是否能预测18个月时的青光眼进展。在darc数为24时达到cnn算法的最大灵敏度(85.7％)和特异性(91.7％)，auc为0.88，而在darc数为12时达到人工观察者的最大灵敏度(71.4％)和特异性(87.5％)，auc为0.79，显示cnn辅助算法性能优越。115.darc计数作为青光眼进展的预测因素116.图7a显示了使用cnn辅助算法的稳定和进展期青光眼组的darc计数，图7b显示了手动darc计数(观察者2人一致)。darc计数与使用cnn辅助算法的稳定组(平均9.71)相比，18个月后发现进展组的患者的darc计数(平均26.13)显著更高(p＝0.02；mannwhitney)。相比之下，人工观察者(2人一致或更多)的darc计数，在18个月时进展的患者(平均12.25)比稳定的(平均4.38)青光眼患者高，但这没有达到统计学意义(p＝0.0692；mannwhitney)。117.讨论118.青光眼管理的主要目标是防止视力丧失。由于该疾病多年来进展缓慢，目前评估变化的黄金标准不仅需要很长的时间，而且是在重大的结构和功能损害已经发生之后(cordeiro等人，2017)。青光眼对评估未来进展风险和治疗效果的可靠措施的需求尚未得到满足(weinreb和kaufman，2009，2011)。在这里，我们描述了一种新的cnn辅助算法，当与darc‑‑一种视网膜细胞凋亡的标志物相结合时，能够预测青光眼的进展，其定义是18个月后oct上的rnfl变薄。该方法与darc一起使用时，能够提供一个自动和客观的生物标志物。119.替代标志物的开发主要是在癌症领域，它们被用作临床结果的预测指标。在青光眼中，最常见的临床结果指标是视力下降，其次是生活质量的下降，以评估治疗效果。代用指标应能实现更早的诊断、更早的治疗，以及更短的时间，因此也更经济的临床试验。然而，要成为一个有效的替代标记，必须证明这些措施是准确的。例如，已被广泛使用的oct被发现对检测明显的rnfl异常的敏感性和特异性分别为83％和88％(chang等人，2009)，此外还有良好的可重复性(deleonortega等人，2007)(tan等人，2012)。相比之下，我们的cnn算法对青光眼进展的敏感性为85.7％，特异性为91.7％。120.虽然第一阶段的结果表明有一定程度的darc预测性，但这是在一个非常小的数据集上进行的(cordeiro等人，2017)，不同剂量的anx776为0.1、0.2、0.4和0.5毫克，每组最多有4只青光眼，其中0.4毫克组只有3只。在本研究中，所有受试者都接受了0.4毫克anx776，并分析了27只眼睛。121.在临床实践中，青光眼患者的进展风险评估是基于确定是否存在风险因素，包括：年龄较大、眼压升高(iop，对该个体而言过高)、种族、青光眼阳性家族史、疾病阶段和高度近视(jonas等人，2017)。更晚期的疾病风险包括垂直杯盘比》0.7，视野每增加0.2分贝的模式标准差，双侧受累和椎间盘不对称，还有椎间盘出血和假性脱落的存在(gordon等人，2002，2003；budenz等人，2006；levine等人，2006；miglior等人，2007)。然而，这些都不能用来肯定地预测个人病情的发展。122.客观评估在青光眼中越来越重要，因为即使有技术辅助，临床医生之间也存在不同的一致性。在使用视野、oct和立体摄影技术定义患者的进展方面，已经显示出较差的一致性(a.c.viswanathan等人，2003；sebastiána.banegas等人，2015)(blumberg等人，2016)(moreno-等人，2017)。事实上，在这项研究中，我们要求五位蒙面的资深青光眼专家(合著者)使用他们基于视盘评估、oct和视野的临床判断对患者的进展情况进行评分；不幸的是，他们之间的一致性不一(未发表的数据)。出于这个原因，一个单一的、客观的进展率指标(tatham和medeiros，2017)用来定义用于测试cnn辅助算法的小组。123.进展的分析是事后分析，在18个月的随访期间，没有指导治疗的临床医生的协议。与口服美金刚试验类似，(weinreb等人，2018)对患者的管理，特别是降低眼压方面，由青光眼专家酌情决定，并遵循正常的护理标准。然而，尽管如此，并使用oct全球rfnl3.5环的rop，29只眼睛中有8只在18个月时出现了进展。124.在过去的几年里，临床医生之间在识别进展方面的不一致引起了人们对使用人工智能帮助青光眼诊断和预后的极大兴趣(jiang等人，2018)(ianj.c.maccormick等人，2019；thompson，jammal和medeiros，2019)，视野(pang等人，2019；kucur，holló和sznitman，2018)和oct(asaoka等人，2019b；medeiros，jammal和thompson，2019b)。medeiros等人最近的一项研究描述了一种基于估计的rnfl厚度预测来评估眼底照片的算法，该算法通过使用octrnfl厚度测量值训练cnn来实现(medeiros、jammal和thompson，2019b)。在特异性为95％时，预测的测量值的敏感性为76％，而实际的sdoct测量值的敏感性为73％。对于80％的特异性，预测测量值的敏感性为90％，而oct测量值的敏感性为90％。作者认为他们的方法有可能被用来从视盘照片中提取进展信息，但与我们的研究一样，评论说需要对纵向数据集进行进一步验证。125.模板匹配通常用于在显微镜下跟踪细胞，在本研究中需要类似的评估来纵向分析体内的单细胞。这里的模板匹配使用的是30×30像素的模板，cnn使用的是64×64像素的图像。这种尺寸差异的原因是模板匹配对血管很敏感，因此小的模板有利于减少血管被包含的可能性。对于cnn来说，更大的图像有助于给cnn提供更多的斑点周围的环境，这可能对分类很有用。126.尽管该算法表现良好，比其他方法提前18个月提供了检测进展性青光眼的可行方法，但我们认为有一些地方可以优化，其中一些将在下文介绍。127.mobilenetv2的替代分类算法，如支持向量机(svm)或随机森林，需要“手工制作”的特征，这些特征很难产生，因为它们需要考虑到由图像捕获引起的复杂性，如非线性强度变化、光学模糊、注册模糊和低光噪声，以及生物复杂性，如脉络膜血管中的图案、血管、白内障引起的模糊等。该网络有一些与原始视网膜图像的强度有关的偏差。我们相信我们可以通过研究强度的归一化和通过用更大的数据集来改变强度的方式来提高结果。对其他网络如vgg16的性能进行了评估，在撰写本文时发现mobinetv2的性能最好。我们正在继续评估该网络是否是满足这一需求的最佳选择。相比之下，vgg16，一个备用的cnn，将被限制在一个批次中的64个点，这可能意味着一个批次中没有darc点，这就阻碍了训练。我们有一个替代方法，使用检测和分割算法yolo3，在一个步骤中检测和分类斑点。我们相信，如果有更多的数据，这可能是一个更有效率和效果的方法，然而在这个阶段，我们用yolo取得的最高准确率还不如本文所概述的方法。128.结论129.本研究描述了一种cnn辅助算法，用于分析darc作为青光眼患者视网膜图像中视网膜细胞凋亡的标志物。该算法能够计算darc计数，当在患者中进行测试时，发现该计数成功预测了18个月后octrnfl青光眼的进展。该数据支持使用该方法来提供具有潜在广泛临床应用的自动化和客观的生物标志物。130.表1.青光眼的资格(排除/纳入标准青光眼)[0131][0132][0133]表1b研究开始时的青光眼特征[0134][0135]表2青光眼患者的基线和资格进展参数[0136]tomographyimages’,americanjournalofophthalmology.elsevierinc.,198,pp.136–145.doi:10.1016/j.ajo.2018.10.007.[0145]banegas,aetal.(2015)‘agreementamongspectral-domainopticalcoherencetomography,standardautomatedperimetry,andstereophotographyinthedetectionofglaucomaprogression.’,investigativeophthalmology&visualscience,56(2),pp.1253–60.doi:10.1167/iovs.14-14994.[0146]banegas,a.etal.(2015)‘agreementamongspectral-domainopticalcoherencetomography,standardautomatedperimetry,andstereophotographyinthedetectionofglaucomaprogression’,investigativeophthalmologyandvisualscience,56(2),pp.1253–1260.doi:10.1167/iovs.14-14994[0147]blumberg,d.m.etal.(2016)‘technologyandtheglaucomasuspect’,investigativeophthalmologyandvisualscience,57(9),pp.oct80–oct85.doi:10.1167/iovs.15-18931.[0148]budenz,d.l.etal.(2006)‘detectionandprognosticsignificanceofopticdischemorrhagesduringtheocularhypertensiontreatmentstudy’,ophthalmology.doi:10.1016/j.ophtha.2006.06.022.[0149]chang,r.t.etal.(2009)‘sensitivityandspecificityoftime-domainversusspectral-domainopticalcoherencetomographyindiagnosingearlytomoderateglaucoma.’,ophthalmology.unitedstates,116(12),pp.2294–2299.doi:10.1016/j.ophtha.2009.06.012.[0150]chen,z.etal.(2019)‘featureselectionmayimprovedeepneuralnetworksforthebioinformaticsproblems.’,bioinformatics(oxford,england).doi:10.1093/bioinformatics/btz763.[0151]cordeiro,m.f.etal.(2017)‘real-timeimagingofsingleneuronalcellapoptosisinpatientswithglaucoma’,brain,140(6).doi:10.1093/brain/awx088.[0152]deleonortega,j.e.etal.(2007)‘effectofglaucomatousdamageonrepeatabilityofconfocalscanninglaserophthalmoscope,scanninglaserpolarimetry,andopticalcoherencetomography.’,investigativeophthalmology&visualscience.unitedstates,48(3),pp.1156–1163.doi:10.1167/iovs.06-0921.[0153]gordon,m.o.etal.(2002)‘theocularhypertensiontreatmentstudy:baselinefactorsthatpredicttheonsetofprimaryopen-angleglaucoma’,archivesofophthalmology.doi:10.1001/archopht.120.6.714.[0154]gordon,m.o.etal.(2003)‘ocularhypertensiontreatmentstudy:baselinefactorsthatpredicttheonsetofprimaryopen-angleglaucoma’,evidence-basedeyecare.doi:10.1097/00132578-200301000-00007.[0155]harwerth,r.s.etal.(2007)‘therelationshipbetweennervefiberlayerandperimetrymeasurements’,investophthalmolvissci,48(2),pp.763–773.availableat:http://www.ncbi.nlm.nih.gov/entrez/query.fcgi？cmd＝retrieve&db＝pubmed&dopt＝citation&list_uids＝17251476.[0156]“imagej”(无日期).可从以下网站获得：http://imagej.nih.gov/ij/.％0a。[0157]jiang,y.etal.(2018)‘opticdiscandcupsegmentationwithbloodvesselremovalfromfundusimagesforglaucomadetection’,inproceedingsoftheannualinternationalconferenceoftheieeeengineeringinmedicineandbiologysociety,embs.instituteofelectricalandelectronicsengineersinc.,pp.862–865.doi:10.1109/embc.2018.8512400.[0158]jonas,j.b.etal.(2017)‘glaucoma’,thelancet.doi:10.1016/s0140-6736(17)31469-1.[0159]kucur,s.,g.andsznitman,r.(2018)‘adeeplearningapproachtoautomaticdetectionofearlyglaucomafromvisualfields.’,plosone,13(11),p.e0206081.doi:10.1371/journal.pone.0206081.[0160]levine,r.a.etal.(2006)‘asymmetriesandvisualfieldsummariesaspredictorsofglaucomaintheocularhypertensiontreatmentstudy’,investigativeophthalmologyandvisualscience.doi:10.1167/iovs.05-0469.[0161]maccormick,ianjcetal.(2019)‘accurate,fast,dataefficientandinterpretableglaucomadiagnosiswithautomatedspatialanalysisofthewholecuptodiscprofile.’,plosone,14(1),p.e0209409.doi:10.1371/journal.pone.0209409.[0162]maccormick,ianj.c.etal.(2019)‘correction:accurate,fast,dataefficientandinterpretableglaucomadiagnosiswithautomatedspatialanalysisofthewholecuptodiscprofile(plosone(2019)14:1(e0209409)doi:10.1371/journal.pone.0209409)’,plosone,14(4),pp.1–20.doi:10.1371/journal.pone.0215056.[0163]medeiros,f.a.,jammal,a.a.andthompson,a.c.(2019a)‘frommachinetomachine:an[0164]oct-traineddeeplearningalgorithmforobjectivequantificationofglaucomatousdamageinfundusphotographs’,ophthalmology.elsevierinc.,126(4),pp.513–521.doi:10.1016/j.ophtha.2018.12.033.[0165]medeiros,f.a.,jammal,a.a.andthompson,a.c.(2019b)‘frommachinetomachine:anoct-traineddeeplearningalgorithmforobjectivequantificationofglaucomatousdamageinfundusphotographs’,ophthalmology.americanacademyofophthalmology,126(4),pp.513–521.doi:10.1016/j.ophtha.2018.12.033.[0166]miglior,s.etal.(2007)‘intercurrentfactorsassociatedwiththedevelopmentofopen-angleglaucomaintheeuropeanglaucomapreventionstudy’,americanjournalofophthalmology.doi:10.1016/j.ajo.2007.04.040.[0167]moreno-j.etal.(2017)‘intraobserverandinterobserveragreementofstructuralandfunctionalsoftwareprogramsformeasuringglaucomaprogression’,jamaophthalmology.americanmedicalassociation,135(4),pp.313–319.doi:10.1001/jamaophthalmol.2017.0017.endpointssymposium:measuresofstructuralchangeandvisualfunction.’,investigativeophthalmology&visualscience.unitedstates,pp.7842–7851.doi:10.1167/iovs.11-7895.当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
