用于伤口的评估、愈合预测和治疗的机器学习系统和方法与流程

用于伤口的评估、愈合预测和治疗的机器学习系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年2月28日提交的美国临时申请序列第62/983527号、标题为“用于伤口的评估、愈合预测和治疗的机器学习系统和方法”的权益，在此其全部内容出于所有目的通过引用明确并入本文。
3.关于联邦赞助研发的声明
4.本公开中所描述的一些工作是根据由隶属于美国卫生与公众服务部应急准备与反应助理部长办公室的生物医学高级研究和发展局(barda：biomedical advanced research and development authority)授予的合同no.hhso100201300022c在美国政府的支持下完成的。本公开中所描述的一些工作是根据由美国国防卫生署(dha：u.s.defense health agency)授予的合同no.w81xwh-17-c-0170和/或w81xwh-18-c-0114在美国政府的支持下完成的。美国政府可能拥有本发明中的某些权利。
技术领域
5.本文公开的系统和方法涉及医学成像，更具体地，涉及使用机器学习技术的伤口评估、愈合预测和治疗。


背景技术：

6.光学成像是一项新兴技术，具有在紧急情况现场、在医疗室、在床边或在手术室中改善疾病预防、诊断和治疗的潜力。光学成像技术可以在各组织之间以及在天然组织和被内源性或外源性造影剂标记的组织之间无创地进行区分，从而测量它们在不同波长下的不同光子吸收或散射分布。这种光子吸收和散射差异为提供特异性的组织对比提供了潜力，并且能够研究作为健康和疾病基础的功能和分子水平的活动。
7.电磁光谱是电磁辐射(例如，光)在其上延伸的波长或频率的范围。按照从较长的波长到较短的波长的顺序，电磁光谱包括无线电波、微波、红外(ir)线、可见光(即，人眼的结构可以检测到的光)、紫外(uv)线、x射线和γ射线。光谱成像是指光谱学和摄影学的一个分支，其中一些光谱信息或完整光谱被收集在图像面中的位置。一些光谱成像系统可以捕获一个或多个光谱带。多光谱成像系统可以捕获多个光谱带(十几个以下的量级，并且通常在离散的光谱区域)，为此在每个像素处收集光谱带测量值，并且可以参考每个光谱通道约数十纳米的带宽。高光谱成像系统测量更多的光谱带，例如多达200个以上，其中一些沿电磁光谱的一部分提供连续的窄带采样(例如，纳米级以下的光谱带宽)。


技术实现要素：

8.本文所述的技术的各方面涉及可以用于使用非接触、非侵入和非辐射的光学成像来评估和/或分类伤口处或附近的组织区域的装置和方法。例如，这样的装置和方法可以识别与伤口有关的不同组织健康分类相对应的组织区域和/或确定伤口或其部分的预测的愈合参数，并且可以输出所识别的区域和/或参数的视觉表示，以供临床医生用于确定伤口愈
合的预后和/或选择适当的伤口护理治疗。在一些实施例中，本技术的装置和方法可以基于在单个波长或在多个波长处的成像提供这样的分类和/或预测。长期以来，人们一直需要能够为医生提供信息用于定量地预测伤口或其部分的愈合的非侵入性成像技术。
9.在一个方面，一种用于评估或预测伤口愈合的系统，所述系统包括：至少一个光检测元件，其被构造成收集在从包括伤口或其部分的组织区域反射后的至少第一波长的光；和一个或多个处理器，其与所述至少一个光检测元件通信。所述一个或多个处理器被构造成从所述至少一个光检测元件接收信号，所述信号表示从所述组织区域反射的所述第一波长的光；基于所述信号生成具有示出所述组织区域的多个像素的图像；自动将所述图像的所述多个像素分割成至少伤口像素和非伤口像素；至少基于分割的所述多个像素的子集，确定所述伤口或其部分的一个或多个光学确定的组织特征；和使用一种或多种机器学习算法，基于所述伤口或其部分的所述一个或多个光学确定的特征生成至少一个标量值，所述至少一个标量值对应于在预定时间间隔内的预测或评估的愈合参数。
10.在一些实施例中，所述伤口是糖尿病足溃疡。在一些实施例中，所述预测或评估的愈合参数是所述伤口的预测的愈合量。在一些实施例中，所述预测的愈合参数是所述伤口或其部分的预测的面积减少百分比。在一些实施例中，所述一个或多个光学确定的组织特征包括所述伤口的一个或多个尺寸，所述子集至少包括所述伤口像素。在一些实施例中，所述伤口的所述一个或多个尺寸包括所述伤口的长度、所述伤口的宽度和所述伤口的深度中的至少一个。在一些实施例中，所述伤口的所述一个或多个尺寸至少部分地基于所述伤口像素或所述伤口像素与所述非伤口像素之间的边界来确定。在一些实施例中，所述一个或多个光学确定的组织特征包括对应于所述伤口像素的灌注、氧合作用和组织均质性中的至少一个。在一些实施例中，所述一个或多个处理器还被构造成将所述非伤口像素自动分割成伤口周围像素和背景像素，所述子集至少包括所述伤口周围像素。在一些实施例中，所述一个或多个光学确定的组织特征包括对应于所述伤口周围像素的灌注、氧合作用和组织均质性中的至少一个。在一些实施例中，所述一个或多个处理器还被构造成将所述非伤口像素自动分割成愈伤组织像素和背景像素，所述子集至少包括所述愈伤组织像素。在一些实施例中，所述一个或多个光学确定的组织特征包括至少部分围绕所述伤口的愈伤组织的存在或不存在。在一些实施例中，所述一个或多个处理器还被构造成将所述非伤口像素自动分割成愈伤组织像素、正常皮肤像素和背景像素。在一些实施例中，所述一个或多个处理器使用包括卷积神经网络的分割算法自动分割所述多个像素。在一些实施例中，所述分割算法是包括多个卷积层的u-net和包括多个卷积层的segnet中的至少一种。在一些实施例中，所述至少一个标量值包括多个标量值，所述多个标量值中的每个标量值对应于所述子集的各个像素或所述子集的各个像素的子组的愈合概率。在一些实施例中，所述一个或多个处理器还被构造成输出所述多个标量值的视觉表示以显示给用户。在一些实施例中，所述视觉表示包括以基于对应于所述子集的每个像素的愈合概率而选择的特定视觉表示来显示所述像素的图像，其中，与不同的愈合概率相关联的像素以不同的视觉表示来显示。在一些实施例中，所述一种或多种机器学习算法包括使用伤口、烧伤或溃疡图像数据库预训练的segnet。在一些实施例中，所述伤口图像数据库包括糖尿病足溃疡图像数据库。在一些实施例中，所述伤口图像数据库包括烧伤图像数据库。在一些实施例中，所述预定时间间隔是30天。在一些实施例中，所述一个或多个处理器还被构造成识别与具有所述组织区域的患者
相对应的至少一个患者健康指标值，并且其中，所述至少一个标量值是基于所述伤口或其部分的所述一个或多个光学确定的组织特征以及所述至少一个患者健康指标值来生成的。在一些实施例中，所述至少一个患者健康指标值包括选自由以下构成的组中的至少一个变量：人口统计学变量、糖尿病足溃疡病史变量、合规性变量、内分泌变量、心血管变量、肌肉骨骼变量、营养变量、传染病变量、肾脏变量、妇产科变量、药物使用变量、其他疾病变量或实验室值。在一些实施例中，所述至少一个患者健康指标值包括一个或多个临床特征。在一些实施例中，所述一个或多个临床特征包括选自由以下构成的组中的至少一个特征：患者的年龄、患者的慢性肾脏疾病的水平、在生成所述图像当天所述伤口的长度以及生成所述图像当天所述伤口的宽度。在一些实施例中，所述第一波长在420nm
±
20nm、525nm
±
35nm、581nm
±
20nm、620nm
±
20nm、660nm
±
20nm、726nm
±
41nm、820nm
±
20nm或855nm
±
30nm的范围内。在一些实施例中，所述第一波长在620nm
±
20nm、660nm
±
20nm或420nm
±
20nm的范围内。在一些实施例中，所述一种或多种机器学习算法包括随机森林集合。在一些实施例中，所述第一波长在726nm
±
41nm、855nm
±
30nm、525nm
±
35nm、581nm
±
20nm或820nm
±
20nm的范围内。在一些实施例中，所述一种或多种机器学习算法包括分类器的集合。在一些实施例中，所述系统还包括被构造成使至少所述第一波长的光通过的光学带通滤波器。在一些实施例中，所述一个或多个处理器还被构造成：基于所述信号，确定分割的所述多个像素的至少所述子集的每个像素在所述第一波长处的反射强度值；和基于所述子集的每个像素的所述反射强度值，确定所述多个像素的所述子集的一个或多个定量特征。在一些实施例中，所述多个像素的所述子集的一个或多个定量特征包括所述多个像素的一个或多个聚合定量特征。在一些实施例中，所述多个像素的所述子集的所述一个或多个聚合定量特征选自由所述子集的所述像素的反射强度值的平均值、所述子集的所述像素的所述反射强度值的标准偏差以及所述子集的所述像素的中位数反射强度值构成的组。在一些实施例中，所述至少一个光检测元件还被构造成收集在从所述组织区域反射后的至少第二波长的光，并且所述一个或多个处理器还被构造成：从所述至少一个光检测元件接收第二信号，所述第二信号表示从所述组织区域反射的所述第二波长的光；其中，所述图像是至少部分地基于所述第二信号而生成的。
11.在一些实施例中，一种使用上述任何系统预测伤口愈合的方法包括：用至少所述第一波长的光照射所述组织区域，使得所述组织区域将所述光的至少一部分反射到所述至少一个光检测元件；使用所述系统生成所述至少一个标量值；和确定在所述预定时间间隔内所述预测或评估的愈合参数。
12.在一些实施例中，照射所述组织区域包括激活被构造成发射至少所述第一波长的光的一个或多个光发射器。在一些实施例中，照射所述组织区域包括将所述组织区域暴露于环境光。在一些实施例中，确定所述预测的愈合参数包括确定在所述预定时间间隔内所述伤口或其部分的预期的面积减少百分比。在一些实施例中，所述方法还包括：在确定所述伤口或其部分的预测愈合量后的所述预定时间间隔过去之后，测量所述伤口或其部分的一个或多个尺寸；确定在所述预定时间间隔内所述伤口或其部分的实际愈合量；和通过提供至少所述伤口或其部分的所述图像和所述实际愈合量作为训练数据来更新所述一种或多种机器学习算法中的至少一种机器学习算法。在一些实施例中，所述方法还包括至少部分地基于所述预测或评估的愈合参数，在所述预定时间间隔结束之前在标准伤口护理治疗和
高级伤口护理治疗之间进行选择。在一些实施方案中，在所述标准伤口护理治疗和所述高级伤口护理治疗之间进行选择包括：当所述预测的愈合量指示所述伤口或其部分将在30天内愈合或闭合超过50％时，指示或应用选自以下的一种或多种标准疗法：改善营养状况、清除失活的组织的清创、用敷料维持肉芽组织、解决可能存在的任何感染的疗法、解决包括所述伤口或其部分的肢体的血管灌注不足、从所述伤口或其部分卸载压力或葡萄糖调节；和当所述预测的愈合量指示所述伤口或其部分在30天内不会愈合或闭合超过50％时，指示或应用选自由以下构成的组中的一种或多种高级护理疗法：高压氧疗法、负压伤口治疗、生物工程皮肤替代物、合成生长因子、细胞外基质蛋白、基质金属蛋白酶调节剂和电刺激疗法。
附图说明
13.图1a示出了以不同的主光角入射到滤波器上的光的示例。
14.图1b是示出针对各种主光角由图1a的滤波器提供的示例透射效率的曲线图。
15.图2a示出了多光谱图像数据立方体的示例。
16.图2b示出了某些多光谱成像技术如何生成图2a的数据立方体的示例。
17.图2c示出了可以生成图2a的数据立方体的示例快照成像系统。
18.图3a示出了根据本公开的具有弯曲的多带通滤波器的示例多孔径成像系统的光学设计的示意性截面图。
19.图3b-3d示出了用于图3a的多孔径成像系统的一个光路的光学组件的示例光学设计。
20.图4a-4e示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的实施例。
21.图5示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
22.图6a-6c示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
23.图7a-7b示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
24.图8a-8b示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
25.图9a-9c示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
26.图10a-10b示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。
27.图11a-11b示出了可以通过图3a-10b的多光谱多孔径成像系统的滤波器的一组示例波段。
28.图12示出了可以用于图3a-10b的多光谱多孔径成像系统的成像系统的示意性框图。
29.图13是使用图3a-10b的多光谱多孔径成像系统来捕获图像数据的示例过程的流程图。
30.图14示出了用于处理图像数据的工作流程的示意性框图，该图像数据例如是使用图13的过程和/或使用图3a-10b的多光谱多孔径成像系统捕获的图像数据。
31.图15以图表方式示出了用于处理图像数据的视差和视差校正，该图像数据例如是使用图13的过程和/或使用图3a-10b的多光谱多孔径成像系统捕获的图像数据。
32.图16以图表方式示出了用于对多光谱图像数据执行逐像素分类的工作流程，该图像数据例如是使用图13的过程捕获的、根据图14和图15处理的和/或使用图3a-10b的多光谱多孔径成像系统捕获的图像数据。
33.图17示出了包括图3a-10b的多光谱多孔径成像系统的示例分布式计算系统的示意性框图。
34.图18a-18c示出了多光谱、多孔径成像系统的示例手持式实施例。
35.图19a和图19b示出了多光谱、多孔径成像系统的示例手持式实施例。
36.图20a和图20b示出了用于封装在普通相机外壳中的小型usb 3.0的示例多光谱、多孔径成像系统。
37.图21示出了包括用于改进的图像配准的额外发光体的示例多光谱、多孔径成像系统。
38.图22显示出具有相应的面积、体积和清创测量的愈合的糖尿病足溃疡(dfu：diabetic foot ulcer)的示例时间进展。
39.图23显示了具有相应的面积、体积和清创测量的未愈合的dfu的示例时间进展。
40.图24示意性地示出了用于基于dfu的一个或多个图像来生成愈合预测的示例机器学习系统。
41.图25示意性地示出了用于基于dfu的一个或多个图像和一个或多个患者健康指标来生成愈合预测的示例机器学习系统。
42.图26示出了根据本技术的用于光谱和/或多光谱成像以用于图像分割和/或预测的愈合参数的生成的一组示例波段。
43.图27是示出在本技术的示例伤口评估方法中包括临床变量的影响的直方图。
44.图28示意性地示出了根据本技术的机器学习系统和方法的示例自动编码器。
45.图29示意性地示出了根据本技术的机器学习系统和方法的示例监督机器学习算法。
46.图30示意性地示出了根据本技术的机器学习系统和方法的示例端到端机器学习算法。
47.图31是示出根据本技术的数个示例机器学习算法的已证实的准确率的条形图。
48.图32是示出根据本技术的数个示例机器学习算法的已证实的准确率的条形图。
49.图33示意性地示出了根据本技术的机器学习系统和方法的愈合预测和条件概率映射的视觉表示的生成的示例过程。
50.图34示意性地示出了包括一个或多个逐特征线性变换(film：feature-wise linear transformation)层的示例条件概率映射算法。
51.图35示出了根据本技术的用于生成条件愈合概率图的几种图像分割方法的已证实的准确率。
52.图36示出了在根据本技术的机器学习系统和方法的用于愈合预测的示例单个波
长分析方法中使用的一组示例卷积滤波器内核。
53.图37示出了根据本技术的机器学习系统和方法的基于用于图像分割的dfu图像生成的示例基准真值掩膜(ground truth mask)。
54.图38示出了根据本技术的机器学习系统和方法的示例伤口图像分割算法的已证实的准确率。
55.图39示出了根据本技术的机器学习系统和方法的包括伤口或伤口的一部分的组织区域的图像的分割的示例。
56.图40示出了根据本技术的机器学习系统和方法的基于包括伤口或伤口的一部分的组织区域的图像的示例光学确定的组织特征的确定。
具体实施方式
57.在2600万患有糖尿病的美国人中，大约15-25％会发展为糖尿病足溃疡(dfu)。这些伤口会导致行动不便和生活质量下降。多达40％的发展为dfu的患者会出现伤口感染，这会增加截肢和死亡的风险。仅与dfu相关的死亡率在第一年高达5％，并在五年内高达42％。每年大截肢(4.7％)和小截肢(39.8％)的高风险加剧了这一点。此外，每年治疗一个dfu的费用约为22,000至44,000美元，由于dfu而对美国医疗保健系统造成的总体负担在每年90亿至130亿美元之间。
58.人们普遍认为，30天后面积减少(par)大于50％的dfu将通过标准护理治疗在12周内愈合。然而，使用这个指标需要四个星期的伤口护理，然后才能确定是否应该使用更有效的治疗(例如，高级护理治疗)。在针对非紧急起始显现(诸如dfu等)的典型伤口护理的临床方法中，在伤口显现和初步评估后，患者接受大约30天的标准的伤口护理治疗(例如，纠正血管问题、优化营养、血糖控制、清创、敷料和/或卸载)。在大约第30天时，评估伤口以确定它是否正在愈合(例如，面积减少百分比大于50％)。如果伤口没有充分愈合，治疗会辅以一种或多种高级伤口管理疗法，该高级伤口管理疗法可以包括生长因子、生物工程组织、高压氧、负压、截肢、重组人血小板衍生生长因子(例如，regranex
tm
凝胶)、生物工程人类真皮替代物(例如，dermagraft
tm
)和/或活的双层皮肤替代物(例如，apligraf
tm
)。然而，在标准伤口护理治疗30天后，大约60％的dfu未能显示出足够的愈合。另外，大约40％的具有早期愈合的dfu在12周后仍未愈合，并且针对脚趾、中足和足跟溃疡的中位dfu愈合时间估计分别为147天、188天和237天。
59.在常规或标准伤口护理治疗30天后未能实现理想愈合的dfu将受益于尽可能早得(例如在伤口治疗的最初30天内)提供高级伤口护理治疗。然而，使用常规评估方法，医生通常无法准确识别对30天的标准伤口护理治疗没有反应的dfu。许多成功的改进dfu治疗的策略是可用的，但这些策略要直到在经验上排除标准伤口护理治疗后才开出处方。生理测量装置已经被用于尝试诊断dfu的愈合潜力，如经皮氧气测量、激光多普勒成像和吲哚菁绿视频血管造影等。然而，这些装置存在不准确、缺乏有用数据、缺乏灵敏度和高昂成本等问题，因此不适合广泛用于评估dfu和其他伤口。显然，预测dfu或其他伤口愈合的更早更准确的手段对于快速确定最佳疗法并缩短伤口闭合时间是重要的。
60.一般而言，本技术提供了能够诊断dfu、烧伤和其他伤口的愈合潜力的非侵入性和即时成像装置。在各种实施例中，本技术的系统和方法可以使临床医生能够在显现或初始
评估时或之后不久确定伤口的愈合潜力。在一些实施例中，本技术能够确定诸如dfu或烧伤等伤口的各个部分的愈合潜力。基于预测的愈合潜力，可以在治疗的第0天或附近做出标准伤口护理治疗和高级伤口护理治疗之间的决定，而不是推迟到起始显现后的4周以后。因此，本技术可以使得愈合时间减少并且截肢更少。
61.示例光谱和多光谱成像系统
62.现在将说明各种光谱和多光谱成像系统，该光谱和多光谱成像系统的每个都可以依据本文公开的dfu和其他伤口评估、预测和治疗方法来使用。在一些实施例中，用于伤口评估的图像可以用被构造成对单个波段内的光进行成像的光谱成像系统来捕获。在其他实施例中，可以用被构造为捕获两个或更多个波段的光谱成像系统来捕获图像。在一个特定示例中，可以用单色、rgb和/或红外成像装置(如市售装置中包括的装置等)来捕获图像。另一实施例涉及使用具有位于各孔径上方的弯曲的多带通滤波器的多孔经系统的光谱成像。然而，应当理解，本技术的伤口评估、预测和治疗方法不限于本文公开的特定图像获取装置，并且同样可以用能够获取一个或多个已知波段中的图像数据的任何成像装置来实现。
63.本公开还涉及用于使用从这种成像系统接收的图像信息来实现光谱解混和图像配准以生成光谱数据立方体的技术。所公开的技术解决了光谱成像中通常存在的下述许多挑战，从而产生表示关于从成像对象反射的波段的精确信息的图像数据。在一些实施例中，本文所述的系统和方法在很短的时间内(例如，在6秒或更短的时间内)从广泛的组织区域(例如，5.9
×
7.9英寸)获取图像，并且无需注射造影剂。在一些方面，例如，本文所述的多光谱图像系统被构造为在6秒或更短的时间内从例如5.9
×
7.9英寸的广泛的组织区域获取图像，其中所述多光谱图像系统还被构造为在没有造影剂的情况下提供组织分析信息，如识别多种烧伤状态、伤口状态、溃疡状态、愈合潜力、包括成像组织的癌变或非癌变状态的临床特征、伤口深度、伤口体积、清创边缘或是否存在糖尿病、非糖尿病或慢性溃疡等。类似地，在本文所述的一些方法中，多光谱图像系统在6秒或更短的时间内从例如5.9
×
7.9英寸的广泛的组织区域获取图像，并且所述多光谱图像系统在没有造影剂的情况下输出组织分析信息，如识别多种烧伤状态、伤口状态、愈合潜力、包括成像组织的癌变或非癌变状态的临床特征、伤口深度、伤口体积、清创边缘或是否存在糖尿病、非糖尿病或慢性溃疡等。
64.现有解决方案中的一个此类挑战是，捕获的图像可能会受到损害图像数据质量的颜色失真或视差的影响。这对于依赖于使用光学滤波器对某些波长的光的精确检测和分析的应用来说尤其成问题。具体地，由于滤色器的透射率随着入射到滤波器上的光的角度增加而偏移到更短的波长这一事实，因此色差是在光的波长中在图像传感器的整个区域上与位置相关的变化。通常，这种效应在基于干涉的滤波器中观察到，该滤波器是通过将具有不同折射率的薄层沉积到透明基板上来制造的。因此，较长的波长(诸如红光等)由于较大的入射光线角度而可以在图像传感器的边缘处被更多地阻挡，从而导致相同的入射波长的光在图像传感器上被检测为在空间上不均匀的颜色。如果不进行校正，色差会表现为捕获的图像边缘附近的颜色偏移。
65.本公开的技术相对于市场上的其他多光谱成像系统提供了更多的益处，因为它在透镜和/或图像传感器的构成以及它们各自的视场或孔径尺寸上没有限制。应当理解，对目前公开的成像系统的透镜、图像传感器、孔径尺寸或其他组件的改变可能涉及本领域普通技术人员所知的对成像系统的其他调整。本公开的技术还提供了对其他多光谱成像系统的
改进，因为执行分辨波长或使系统整体上能够分辨波长的功能的组件(例如，光学滤波器等)可以与将光能转换成数字输出的组件(例如，图像传感器等)分离。这降低了针对不同的多光谱波长重新构造成像系统的成本、复杂性和/或开发时间。本公开的技术可能比其他多光谱成像系统更稳固，因为其可以以更小和更轻的形状因子实现与市场上的其他多光谱成像系统相同的成像特性。本公开的技术相对于其他多光谱成像系统的益处还在于其可以获取快照、视频速率或高速视频速率的多光谱图像。本公开的技术还提供了基于多孔径技术的多光谱成像系统的更稳固的实现方式，因为将数个光谱带复用到各孔径中的能力减少了获取成像数据集中的任何特定数量的光谱带所需的孔径数量，从而通过减少孔径数量和改进光收集来降低成本(例如，更大的孔径可以用于固定大小和尺寸的商用传感器阵列)。最后，本公开的技术可以提供所有这些益处，而无需在分辨率或图像质量方面作出妥协。
66.图1a示出了沿着朝向图像传感器110的光路定位的滤波器108的示例，并且还示出了以不同的光线角度入射到滤波器108上的光。光线102a、104a、106a被表示为线，其在通过滤波器108之后被透镜112折射到传感器110上，该透镜也可以用任何其他成像光学器件代替，包括但不限于反射镜和/或孔径。在图1a中，假定每条光线的光是例如被滤波器108选择性地过滤的具有在较大波长范围上延伸的光谱组成的宽带。三条光线102a、104a、106a分别以不同的角度到达滤波器108。为了说明的目的，光线102a被示出为基本上正交于滤波器108入射，光线104a具有比光线102a更大的入射角，并且光线106a具有比光线104a更大的入射角。由于如传感器110所看到的滤波器108的透射性质的角度相关性，所得到的过滤光线102b、104b、106b呈现出独特的光谱。这种相关性的影响会导致滤波器108的带通随着入射角的增加而朝向更短的波长偏移。此外，这种相关性可能会导致滤波器108的透射效率降低和滤波器108的带通的光谱形状改变。这些组合效应被称为与角度相关的光谱透射。图1b示出了如在传感器110的位置处由假设的光谱仪所看到的图1a中的各光线的光谱，以说明滤波器108的光谱带通响应于入射角的增大的偏移。曲线102c、104c和106c展示了带通的中心波长的缩短；由此缩短了示例中通过光学系统的光的波长。还显示出，带通的形状和峰值透射率也由于角度入射而改变。对于某些消费应用，可以应用图像处理以消除这种与角度相关的光谱透射的可见影响。然而，这些后处理技术不允许恢复关于哪个波长的光实际上入射到滤波器108上的精确信息。因此，所得到的图像数据可能无法用于某些高精度应用。
67.如结合图2a和图2b所讨论的，某些现有光谱成像系统所面临的另一挑战是捕获完整的光谱图像数据集所需的时间。光谱成像传感器对场景的光谱辐照度i(x，y，λ)进行采样，并由此收集通常被称为数据立方体的三维(3d)数据集。图2a示出了光谱图像数据立方体120的示例。如图所示，数据立方体120表示图像数据的三个维度：对应于图像传感器的二维(2d)表面的两个空间维度(x和y)，以及对应于特定波段的光谱维度(λ)。数据立方体120的维度可以由n
x
nyn
λ
给出，其中n
x
、ny和n
λ
分别是沿(x，y)空间维度和光谱轴λ的样本元素的数量。因为数据立方体比目前可用的2d检测器阵列(例如，图像传感器)具有更高的维度，所以典型的光谱成像系统捕获数据立方体120的时序2d切片或平面(在本文中被称为“扫描”成像系统)或者通过将数据立方体的所有元素分割成多个2d元素来同时测量数据立方体的所有元素，该2d元素可以在处理中重新组合到数据立方体120中(在本文中被称为“快照”成像系统)。
68.图2b示出了某些扫描光谱成像技术如何生成数据立方体120的示例。具体地，图2b
示出了可以在单个检测器积分周期期间收集的数据立方体120的部分132、134和136。例如，点扫描光谱仪可以捕获在单个(x，y)空间位置处在所有光谱平面λ上延伸的部分132。点扫描光谱仪可以用于通过在空间维度上执行对应于各(x，y)位置的多个积分来构建数据立方体120。例如，滤光轮成像系统可以捕获在整个空间维度x和y上延伸但仅在单个光谱平面λ上延伸的部分134。诸如滤光轮成像系统等波长扫描成像系统可以用于通过执行对应于光谱平面λ的数量的多个积分来构建数据立方体120。例如，线扫描光谱仪可以捕获在所有光谱维度λ和空间维度(x或y)中的一个的全部上延伸但仅沿另一空间维度(y或x)的单个点延伸的部分136。线扫描光谱仪可以用于通过执行对应于该另一空间维度(y或x)的各位置的多个积分来构建数据立方体120。
69.对于目标物体和成像系统都不动(或在曝光时间内维持相对静止)的应用，这种扫描成像系统提供了产生高分辨率数据立方体120的益处。对于线扫描和波长扫描成像系统，这可以是由于使用图像传感器的整个区域来捕获各光谱或空间图像的事实。然而，成像系统和/或物体在曝光之间的运动会导致所得到的图像数据中的伪影。例如，数据立方体120中的相同(x，y)位置实际上可以表示在光谱维度λ上的成像对象上的不同的物理位置。这可能会导致下游分析中的错误和/或对执行配准提出额外要求(例如，对齐光谱维度λ，使得特定(x，y)位置对应于物体上的相同的物理位置)。
70.相比之下，快照成像系统140可以在单个积分周期或曝光中捕获整个数据立方体120，从而避免这种运动引起的图像质量问题。图2c示出了可以用于创建快照成像系统的图像传感器142和诸如滤色器阵列(cfa)144等光学滤波器阵列的示例。该示例中的cfa 144是在图像传感器142的表面上的滤色器单元146的重复图案。这种获取光谱信息的方法也可以被称为多光谱滤波器阵列(msfa)或光谱分辨检测器阵列(srda)。在示出的示例中，滤色器单元146包括5
×
5排列的不同的滤色器，这将在所得到的图像数据中生成25个光谱通道。通过这些不同的滤色器，cfa可以将入射光分成滤波器的波段，并将分离的光引导到图像传感器上的专用感光器。这样，对于给定的颜色148，只有1/25
th
的感光器实际上检测到代表该波长的光的信号。因此，尽管使用该快照成像系统140在单次曝光中可以生成25个不同的颜色通道，但各颜色通道表示比传感器142的总输出量更少的测量数据量。在一些实施例中，cfa可以包括滤色器阵列(msfa)、光谱分辨检测器阵列(srda)中的一个或或多个，和/或可以包括常规的拜耳(bayer)滤波器、cmyk滤波器或任何其他基于吸收或基于干涉的滤波器。一种类型的基于干涉的滤波器将是排列成格子状的薄膜滤色器阵列，格子的每个要素对应于一个或多个传感器元件。另一种类型的基于干涉的滤波器是法布里-珀罗(fabry-p
é
rot)滤波器。表现出大约20至50nm量级的典型带通半峰全宽(fwhm)的纳米蚀刻干涉法布里-珀罗滤波器是有益的，因为它们由于在从其中心波长到其阻挡带的过渡中看到的滤波器的通带的缓慢滚降而可以在一些实施例中使用。这些滤波器在这些阻挡带中也表现出低od，能够进一步提高对它们的通带外的光的灵敏度。这些组合效应使这些特定滤波器对光谱区域敏感，该光谱区域会被在诸如蒸发沉积或离子束溅射等涂层沉积过程中由许多薄膜层制成的具有类似的fwhm的高od干涉滤波器的快速滚降阻挡。在具有基于染料的cmyk或rgb(bayer)滤波器构成的实施例中，优选各个滤波器通带的较慢的光谱滚降和较大的fwhm，并且为整个观察光谱中的各个波长提供特有的光谱透射百分比。
71.因此，由快照成像系统产生的数据立方体120将具有对于精确成像应用可能有问
题的两个特性中的一个。作为第一选项，由快照成像系统产生的数据立方体120可以具有比检测器阵列的(x，y)尺寸更小的n
x
和ny，尺寸，并由此具有比将通过具有相同的图像传感器的扫描成像系统生成的数据立方体120更低的分辨率。作为第二选项，由快照成像系统产生的数据立方体120可以由于对某些(x，y)位置的内插值而具有与检测器阵列的(x，y)尺寸相同的n
x
和ny尺寸。然而，用于生成这种数据立方体的插值是指数据立方体中的某些值不是入射到传感器上的光的波长的实际测量值，而是基于周围值对实际测量值的估计值。
72.单次曝光多光谱成像的另一现有选项是多光谱分束器。在这种成像系统中，分束立方体将入射光分成分别由独立的图像传感器观察的不同的色带。虽然可以更改分束器设计以调整测量的光谱带，但在不影响系统性能的情况下将入射光分成四个以上的光束是不容易的。因此，四个光谱通道似乎是这种方法的实际限制。一种密切相关的方法是使用薄膜滤波器而不是更庞大的分束立方体/棱镜来分离光，然而由于空间限制和通过连续滤波器的累积透射损耗，这种方法仍然限于大约六个光谱通道。
73.除了别的以外，前述问题在一些实施例中通过所公开的多孔光谱成像系统以及相关联的图像数据处理技术来解决，该系统具有多带通滤波器，优选弯曲的多带通滤波器，以过滤通过各孔径进入的光。这种特定构成能够实现快速成像速度、高分辨率图像和检测波长的精确保真度的所有设计目标。因此，所公开的光学设计和相关联的图像数据处理技术可以用于便携式光谱成像系统和/或对移动目标进行成像，同时仍产生适于高精度应用(例如，临床组织分析、生物特征识别、瞬态临床事件)的数据立方体。这些更高精度的应用可以包括在转移之前的早期阶段(0至3)中诊断黑色素瘤、对皮肤组织上的伤口或烧伤严重程度的分类或对糖尿病足溃疡严重程度的组织诊断。因此，如在一些实施例中所描绘的较小形状因子和快照光谱获取将使本发明能够在具有瞬时事件的临床环境中使用，包括诊断几种不同的视网膜病(例如，非增殖性糖尿病视网膜病变、增殖性糖尿病视网膜病变和年龄相关性黄斑变性)和运动儿科患者的成像。因此，本领域技术人员将理解，如本文所公开的，使用具有平坦或弯曲的多带通滤波器的多孔系统代表相对于现有光谱成像实施的显着技术进步。具体地，多孔系统可以基于所计算出的各孔径之间的视角差异的视差来实现物体曲率、深度、体积和/或面积或与之相关的3d空间图像的收集。然而，这里提出的多孔策略不限于任何特定的滤波器，并且基于干涉或吸收过滤可以包括平面和/或薄的滤波器。如本文所公开的，本发明可以被修改为在使用小的或可接受的入射角范围的合适的透镜或孔径的情况下，在成像系统的图像空间中包括平面滤波器。滤波器也可以被放置在成像透镜的孔径光阑或入射/出射光瞳处，因为光学工程领域的技术人员可能认为这样做是合适的。
74.现在将相对于某些示例和实施例来说明本公开的各个方面，这些示例和实施例旨在说明而不是限制本公开。尽管出于说明的目的，本文描述的示例和实施例将集中在特定的计算和算法上，但是本领域技术人员将理解这些示例仅用于说明，而不旨在进行限制。例如，虽然在多光谱成像的背景下呈现了一些示例，但是所公开的多孔径成像系统和相关联的滤光器可以被构造为在其他实施方式中实现高光谱成像。此外，虽然某些示例被呈现为实现手持和/或移动目标应用的益处，但应当理解，所公开的成像系统设计和相关联的处理技术可以产生适用于固定成像系统和/或用于分析相对静止的目标的高精度数据立方体。
75.电磁范围和图像传感器的概述
76.电磁光谱的某些颜色或部分在本文中被提及，现在将相对于根据iso21348辐照光
谱类别定义所定义的波长进行讨论。如下文进一步描述的，在某些成像应用中，特定颜色的波长范围可以组合在一起以通过特定滤波器。
77.从波长为或大约为760nm到波长为或大约为380nm范围的电磁辐射通常被认为是“可见”光谱，即，人眼的颜色感受器可识别的光谱部分。在可见光谱内，红光通常被认为具有700纳米(nm)的波长或大约700纳米(nm)的波长，或在760nm或大约760nm至610nm或大约610nm的范围内。橙光通常被认为具有600nm的波长或大约600nm的波长，或在610nm或大约610nm至大约591nm或591nm的范围内。黄光通常被认为具有580nm的波长或大约580nm的波长，或在591nm或大约591nm至大约570nm或570nm的范围内。绿光通常被认为具有550nm的波长或大约550nm的波长，或在570nm或大约570nm至大约500nm或500nm的范围内。蓝光通常被认为具有475nm的波长或大约475nm的波长，或在500nm或大约500nm至大约450nm或450nm的范围内。紫(紫色)光通常被认为具有400nm的波长或大约400nm的波长，或在450nm或大约450nm至大约360nm或360nm的范围内。
78.对于可见光谱之外的范围，红外线(ir)是指具有比可见光波长更长的波长的电磁辐射，并且通常是人眼不可见的。ir波长从大约760nm或760nm的可见光谱的标称红色边缘延伸到大约1毫米(mm)或1mm。在该范围内，近红外(nir)是指与红色范围相邻的光谱部分，波长范围从大约760nm或760nm至大约1400nm或1400nm。
79.紫外线(uv)辐射是指具有比可见光的波长更短的波长的一些电磁辐射，并且通常是人眼不可见的。uv波长从大约40nm或40nm的可见光谱的标称紫色边缘延伸到大约400nm。在该范围内，近紫外线(nuv)是指与紫色范围相邻的光谱部分，波长范围从大约400nm或400nm至大约300nm或300nm，中紫外线(muv)波长范围在大约300nm或300nm至大约200nm或200nm之间，并且远紫外线(fuv)波长范围在大约200nm或200nm至大约122nm或122nm之间。
80.根据适用于特定应用的特定波长范围，本文所述的图像传感器可以被构造为检测任何上述范围内的电磁辐射。典型的硅基电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)传感器的光谱灵敏度在可见光谱范围内延伸，并且还相当多地延伸到近红外(ir)光谱，有时甚至延伸到uv光谱。一些实施方式可以可选择地或额外地使用背面照射型或前面照射型ccd或cmos阵列。对于需要高snr和科学级测量的应用，一些实施方式可以可选择地或额外地使用科学互补金属氧化物半导体(scmos)相机或电子倍增ccd相机(emccd)。基于预期的应用，其他实施方式可以可选择地或额外地使用已知在特定颜色范围(例如，短波红外(swir)、中波红外(mwir)或长波红外(lwir))内操作的传感器和相应的光学滤色器阵列。这些可选择地或额外地包括基于包括砷化铟镓(ingaas)或锑化铟(insb)的检测器材料或基于微测热辐射计阵列的相机。
81.在所公开的多光谱成像技术中使用的图像传感器可以与诸如滤色器阵列(cfa)等光学滤波器阵列结合使用。一些cfa可以将可见光范围内的入射光分成红色(r)、绿色(g)和蓝色(b)类别，以将分离的可见光引导至图像传感器上的专用红色、绿色或蓝色光电二极管接收器。cfa的常见示例是拜耳图案，其是用于在光电传感器的矩形格子上排列rgb滤色器的特定图案。拜耳图案是50％的绿色、25％的红色和25％的蓝色，其中重复红色和绿色滤波器的行与重复蓝色和绿色滤波器的行交替。一些cfa(例如，用于rgb-nir传感器)也可以分离出nir光，并将分离的nir光引导到图像传感器上的专用光电二极管接收器。
82.因此，cfa的滤波器组件的波长范围可以确定捕获图像中各图像通道所代表的波
长范围。因此，在各种实施例中，图像的红色通道可以对应于滤色器的红色波长区域，并且可以包括一些黄光和橙光，其范围从大约570nm或570nm至大约760nm或760nm。在各种实施例中，图像的绿色通道可以对应于滤色器的绿色波长区域，并且可以包括一些黄光，其范围从大约570nm或570nm至大约480nm或480nm。在各种实施例中，图像的蓝色通道可以对应于滤色器的蓝色波长区域，并且可以包括一些紫光，其范围从大约490nm或490nm至大约400nm或400nm。如本领域普通技术人员将理解的，限定cfa的颜色(例如，红色、绿色和蓝色)的确切开始和结束波长(或电磁光谱的一部分)可以根据cfa实施方式而变化。
83.此外，典型的可见光cfa对可见光谱以外的光是透明的。因此，在许多图像传感器中，ir灵敏度受到传感器表面的薄膜反射ir滤波器的限制，其在通过可见光的同时阻挡红外波长。然而，这可以在一些公开的成像系统中被省略以允许ir光通过。因此，红色、绿色和/或蓝色通道也可以用于收集ir波段。在一些实施方式中，蓝色通道也可以用于收集某些nuv波段。红色、绿色和蓝色通道在它们在光谱图像堆栈中的各波长处的独特的透射效率方面的不同的光谱响应可以提供使用已知的透射分布进行解混的光谱带的独特的加权响应。例如，这可以包括红色、蓝色和绿色通道在ir和uv波长区域中的已知的透射响应，使其能够用于从这些区域收集波段。
84.如下文进一步详细描述的，额外的滤色器可以沿着朝向图像传感器的光路放置在cfa之前，以便选择性地细化入射到图像传感器上的特定波段。其中一些公开的滤波器可以是二向色性(薄膜)和/或吸收性滤波器的组合，或者是单个二向色性和/或吸收性滤波器。其中一些公开的滤波器可以是带通滤波器，其通过特定范围内的频率(在通带内)并且拒绝(衰减)该范围之外的频率(在阻塞范围内)。其中一些公开的滤色器可以是通过多个不连续的波长范围的多带通滤波器。这些“波段”可以具有比cfa滤波器的较大的颜色范围更小的通带范围、更大的阻挡范围衰减和更陡峭的光谱滚降，这被定义为当滤波器从通带过渡到阻挡范围时光谱响应的陡度。例如，这些公开的滤色器可以覆盖大约20nm或20nm或大约40nm或40nm的通带。这种滤色器的特定构成可以确定入射到传感器上的实际波段，这可以提高所公开的成像技术的精度。根据适用于特定应用的特定波段，本文所述的滤色器可以被构造为选择性地阻挡或通过上述任何范围内的特定电磁辐射波段。
85.如本文所述，“像素”可以用于说明由2d检测器阵列的要素生成的输出。相比之下，作为该阵列中的单个光敏元件的光电二极管充当能够经由光电效应将光子转换为电子的换能器，其然后反过来被转换为用于确定像素值的可用信号。数据立方体的单个元素可以被称为“体素”(例如，体积元素)。“光谱向量”是指说明数据立方体中特定(x，y)位置处的光谱数据的向量(例如，从物体空间中的特定点接收的光的光谱)。数据立方体的单个水平面(例如，表示单个光谱维度的图像)在本文中被称为“图像通道”。本文所述的某些实施例可以捕获光谱视频信息，并且所得到的数据维度可以采用“超立方体”形式n
x
nyn
λnt
，其中n
t
是在视频序列期间捕获的帧数。
86.具有弯曲的多带通滤波器的示例多孔径成像系统的概述
87.图3a示出了根据本公开的具有弯曲的多带通滤波器的示例多孔径成像系统200的示意图。示出的图包括第一图像传感器区域225a(光电二极管pd1-pd3)和第二图像传感器区域225b(光电二极管pd4-pd6)。例如在cmos图像传感器中，光电二极管pd1-pd6可以例如是形成在半导体基板中的光电二极管。通常，各光电二极管pd1-pd6可以是将入射光转换为
cfa。
92.如图所示，cfa的各滤波器位于单个光电二极管pd1-pd6上方。图3a还示出了示例微透镜(由ml表示)，其可以形成在各滤色器上或以其他方式定位在各滤色器上方，以便将入射光聚焦到有源检测器区域上。其他实施方式可以在单个滤波器下方具有多个光电二极管(例如，2、4或更多个相邻的光电二极管的集群)。在所示示例中，光电二极管pd1和光电二极管pd4在红色滤波器下方并由此输出红色通道像素信息；光电二极管pd2和光电二极管pd5在绿色滤波器下方并由此输出绿色通道像素信息；并且光电二极管pd3和光电二极管pd6在蓝色滤波器下方并由此输出蓝色通道像素信息。此外，如下文更详细描述的，由给定的光电二极管输出的特定颜色通道可以进一步限制为基于激活的发光体的较窄波段和/或由多带通滤波器205a、205b通过的特定波段，使得给定的光电二极管可以在不同的曝光下输出不同的图像通道信息。
93.成像透镜215a、215b可以被成形为将物体场景的图像聚焦到传感器区域225a、225b上。各成像透镜215a、215b可以由图像形成所需的尽可能多的光学元件和表面组成，并且不限于如图3a所示的单个凸透镜，从而能够使用可在市场上购买或通过定制设计的各种各样的成像透镜或透镜组件。各元件或透镜组件可以堆叠形成或接合在一起，或者使用具有保持环或条框的光机镜筒串联保持。在一些实施例中，元件或透镜组件可以包括一个或多个接合的透镜组，诸如粘合或以其他方式接合在一起的两个或多个光学组件等。在各种实施例中，本文所述的任何多带通滤波器可以位于多光谱图像系统的透镜组件的前面、多光谱图像系统的单镜片(singlet)的前面、多光谱图像系统的透镜组件的后面、多光谱图像系统的单镜片的的后面、多光谱图像系统的透镜组件内部、多光谱图像系统的接合透镜组内部、直接位于多光谱图像系统的单镜片的表面上或直接位于多光谱图像系统的透镜组件的元件表面上。此外，孔径210a和210b可以被移除，并且透镜215a、215b可以是通常在使用数字单镜头反光(dslr：digital-single-lens-reflex)相机或无反光镜相机的进行的摄影中使用的种类。另外，这些透镜可以是机器视觉中使用的各种透镜，使用c接口(c-mount)或s接口(s-mount)螺纹进行安装。例如基于手动聚焦、基于对比度的自动聚焦或其他合适的自动聚焦技术，可以通过成像透镜215a、215b相对于传感器区域225a、225b的移动或传感器区域225a、225b相对于成像透镜215a、215b的移动来提供聚焦调节。
94.多带通滤波器205a、205b可以分别被构造为选择性地使光的多个窄波段通过，例如在一些实施例中为通过10-50nm的波段(或者在其他实施例中为更宽或更窄的波段)。如图3a所示，多带通滤波器205a、205b都可以使波段λc(“共有波段”)通过。在具有三个或更多个光路的实施方式中，各多带通滤波器可以使该共有波段通过。以这种方式，各传感器区域捕获相同波段(“共有通道”)的图像信息。该共有通道中的该图像信息可以用于配准由各传感器区域捕获的图像集，如下文进一步详细描述的。一些实施方式可以具有一个共有波段和相应的共有通道，或者可以具有多个共有波段和相应的共有通道。
95.除了共有波段λc之外，各多带通滤波器205a、205b可以分别被构造为选择性地使一个或多个独特的波段通过。以这种方式，成像系统200能够将由传感器区域205a、205b共同捕获的不同的光谱通道的数量增加到超过由单个传感器区域可以捕获的数量。这在图3a中由通过独特的波段λ
u1
的多带通滤波器205a和通过独特的波段λ
u2
的多带通滤波器205b示出，其中λ
u1
和λ
u2
表示彼此不同的波段。尽管被描述为使两个波段通过，但所公开的多带通
可以分别使两个或更多个波段的集通过。例如，如相对于图11a和图11b所描述的，一些实施方式可以分别使四个波段通过。在各种实施例中，可以使更大数量的波段通过。例如，一些四相机实施方式可以包括被构造为使8个波段通过的多带通滤波器。在一些实施例中，波段的数量可以是例如4、5、6、7、8、9、10、12、15、16个或更多个波段。
96.多带通滤波器205a、205b具有被选择以减少跨相应的传感器区域225a、225b的与角度相关的光谱透射的曲率。结果，当从物体空间接收窄带照明时，跨对该波长敏感的传感器区域225a、225b的区域的各光电二极管(例如，使该波长通过的上层滤色器)应当接收基本上相同波长的光，而不是传感器边缘附近的光电二极管经历上述相对于图1a所述的波长偏移。这可以产生比使用平面滤波器更精确的光谱图像数据。
97.图3b示出了用于图3a的多孔径成像系统的一个光路的光学组件的示例光学设计。具体地，图3b示出了可以用于提供多带通滤波器205a、205b的定制消色差双合透镜240。定制消色差双合透镜240使光通过外壳250到达图像传感器225。外壳250可以包括上述开口210a、210b和成像透镜215a、215b。
98.消色差双合透镜240被构造成校正由多带通滤波器涂层205a、205b所需的表面的合并引入的光学像差。图示的消色差双合透镜240包括两个单独的透镜，其可以由具有不同的色散量和不同的折射率的玻璃或其他光学材料制成。其他实现方式可以使用三个或更多个透镜。这些消色差双合透镜可以被设计成将多带通滤波器涂层205a、205b并入在弯曲的前表面242上，同时消除引入的光学像差，否则该光学像差会通过弯曲的单镜片光学表面与沉积的滤波器涂层205a、205b的合并而存在，由于弯曲的前表面242和弯曲的后表面244的组合作用，在仍然限制由消色差双合透镜240提供的光学或聚焦能力的同时，仍然将用于聚焦光的主要元件限制在外壳250中容纳的透镜上。因此，消色差双合透镜240可以有助于系统200捕获的图像数据的高精度。这些单个的透镜可以彼此相邻地安装，例如接合或粘合在一起，并且成形为使得其中一个透镜的像差被另一个透镜抵消。消色差双合透镜240的弯曲的前表面242或弯曲的后表面244可以涂覆有多带通滤波器涂层205a、205b。其他双合透镜设计可以以本文所述的系统来实现。
99.可以实施本文所述的光学设计的进一步变化。例如，在一些实施例中，光路可以包括诸如图3a中描绘的正弯月透镜或负弯月透镜种类等的单镜片或其他光学单镜片，以代替图3b中描绘的双合透镜240。图3c示出了其中平面滤波器252被包括在透镜外壳250和传感器225之间的示例实施方式。图3c中的消色差双合透镜240提供了如通过包括具有多带通透射分布的平面滤波器252所引入的光学像差校正，同时对外壳250中包含的透镜所提供的光学功率没有显着贡献。图3d示出了其中多带通涂层借助于涂布到包含在外壳250内部的透镜组件的前表面上的多带通涂层254来实现的实施方式的另一示例。因此，该多带通涂层254可以被涂布到位于外壳250内的任何光学元件的任何曲面上。
100.图4a-4e示出了具有如相对于图3a和图3b所述的光学设计的多光谱、多孔径成像系统300的实施例。具体地，图4a示出了成像系统300的透视图，其中外壳305以半透明的方式示出以显示出内部组件。例如，基于期望量的嵌入式计算资源，外壳305可以相对于所示出的外壳305更大或更小。图4b示出了成像系统300的前视图。图4c示出了沿图4b中所示的线c-c截取的成像系统300的截面侧视图。图4d示出了成像系统300的仰视图，示出了处理板335。图4a-图4d在下面一起进行说明。
101.成像系统300的外壳305可以被封装在另一外壳中。例如，手持式实施方式可以将系统封装在外壳内，该外壳可选地具有一个或多个形状适合于稳定地保持成像系统300的手柄。示例手持式实施方式在图18a-图18c和图19a-图19b中被更详细地描绘。外壳305的上表面包括四个开口320a-320d。不同的多带通滤波器325a-325d位于各开口320a-320d上方，并且由滤波器盖帽330a-330b保持在适当位置。多带通滤波器325a-325d可以是弯曲的或者可以不是弯曲的，并且分别使如本文所述的共有波段和至少一个独特的波段通过，从而在比由图像传感器的上方滤色器阵列捕获的数量更多的光谱通道上实现高精度的多光谱成像。上述图像传感器、成像透镜和滤色器位于相机外壳345a-345d中。在一些实施例中，例如，如图20a-20b所示，单个相机外壳可以包围上述图像传感器、成像透镜和滤色器。因此，在所描绘的实施方式中，使用了单独的传感器(例如，各相机外壳345a-345d内的一个传感器)，但是应当理解，在其他实施方式中，可以使用跨越通过开口320a-320d露出的所有区域的单个图像传感器。在该实施例中，相机外壳345a-345d使用支撑件340固定到系统外壳305，并且可以在各种实施方式中使用其他支撑件固定。
102.外壳305的上表面支撑由光学漫射元件315覆盖的可选照明板310。照明板310在下文相对于图4e进一步详细说明。漫射元件315可以由用于漫射从照明板310发出的光使得物体空间接收基本上在空间上均匀的照明的玻璃、塑料或其他光学材料组成。目标物体的均匀照明在例如成像组织的临床分析等的某些成像应用中可以是有益的，因为其在各波长内在整个物体表面上提供了基本上均匀的照明量。在一些实施例中，本文所公开的成像系统可以利用环境光来代替来自可选照明板的光，或者除了来自可选照明板的光之外，还可以利用环境光。
103.由于照明板310在使用中产生的热量，成像系统300包括散热器350，该散热器包括多个散热片355。散热片355可以延伸到相机外壳345a-345d之间的空间中，并且散热器350的上部可以将热量从照明板310吸收到散热片355。散热器350可以由合适的导热材料制成。散热器350可以进一步帮助从其他组件散发热量，使得成像系统的一些实施方式可以是无风扇的。
104.外壳305中的多个支撑件365固定与相机345a-345d通信的处理板335。处理板335可以控制成像系统300的操作。虽然没有示出，但是成像系统300也可以构造有一个或多个存储器，例如存储通过使用成像系统和/或用于系统控制的计算机可执行指令的模块产生的数据。取决于系统设计目标，处理板335可以以多种方式来构造。例如，处理板可以(例如，通过计算机可执行指令的模块)被构造为控制照明板310的特定led的激活。一些实施方式可以使用高度稳定的同步降压led驱动器，其可以实现对模拟led电流的软件控制以及检测led故障。一些实施方式可以额外向处理板(例如，通过计算机可执行指令的模块)335或向单独的处理板提供图像数据分析功能。尽管未示出，但成像系统300可以包括传感器和处理板335之间的数据互连，使得处理板335可以接收和处理来自传感器的数据，以及照明板310和处理板335之间的数据互连，使得处理板可以驱动照明板310的特定led的激活。
105.图4e示出了可以被包括在成像系统300中的与其他组件隔离开的示例照明板310。照明板310包括从中心区域延伸的四个臂，沿着每个臂成三列放置led。相邻列中的led之间的空间彼此横向偏移，以在相邻led之间形成分隔。每列led包括具有不同颜色led的许多行。四个绿色led 371位于中心区域，在中心区域的各角落中具有一个绿色led。从最内行
(例如，最靠近中心)开始，每列包括一行两个深红色led 372(总共八个深红色led)。继续径向向外，每个臂在中心列中具有一行一个琥珀色led 374，在最外列中具有一行两个短蓝色led 376(总共八个短蓝色led)，在中心列中具有另一行一个琥珀色led 374(总共八个琥珀色led)，在最外列具有一行一个非ppg nir led 373和一个红色led 375(每列总共四个)，以及在中心列具有一个ppg nir led 377(总共四个ppg nir led)。“ppg”led是指在用于捕获表示活体组织中的脉动性血流的光电容积脉搏波描记法(ppg：photoplethysmographic)信息的多次连续曝光期间激活的led。应当理解，可以在其他实施例的照明板中使用多种其他颜色和/或其布置。
106.图5示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统的另一实施例。与成像系统300的设计类似，成像系统400包括四个光路，这里显示为具有多带通滤波器透镜组425a-425d的开口420a-420d，它们通过保持环430a-430d固定到外壳405。成像系统400还包括固定到保持环430a-430d之间的外壳405的正面的照明板410以及位于照明板410上方以帮助将在空间上均匀的光发射到目标物体上的漫射器415。
107.系统400的照明板410包括呈十字形的led的四个分支，每个分支包括两列紧密间隔的led。因此，照明板410比上述照明板310更紧凑，并且可以适合于与具有较小的形状因子要求的成像系统一起使用。在该示例构成中，每个分支包括具有一个绿色led和一个蓝色led的最外行，向内移动包括两行黄色led、一行橙色led、具有一个红色led和一个深红色led的一行以及具有一个琥珀色led和一个nir led的一行。因此，在该实施方式中，led被布置成使得发射较长波长的光的led位于照明板410的中心，而发射较短波长的光的led位于照明板410的边缘。
108.图6a-图6c示出了具有如相对于图3a和图3b所述的光学设计的多光谱多孔径成像系统500的另一实施例。具体地，图6a示出了成像系统500的立体图，图6b示出了成像系统500的前视图，并且图6c示出了沿着图6b所示的线c-c截取的成像系统500的截面侧视图。成像系统500包括与以上相对于成像系统300描述的那些组件类似的组件(例如，外壳505、照明板510、漫射板515、经由保持环530a-530d固定在开口上方的多带通滤波器525a-525d)，但是示出了更短的形状因子(例如，在具有更少和/或更小的嵌入式计算组件的实施例中)。系统500还包括用于增加相机对准的刚性和稳健性的直接相机到框架安装件540。
109.图7a-图7b示出了多光谱多孔径成像系统600的另一实施例。图7a-图7b示出了多孔径成像系统600周围的光源610a-610c的另一种可能的布置。如图所示，具有多带通滤波器625a-625d的四个透镜组件可以被布置成矩形或正方形构成以向四个相机630a-630d(包括图像传感器)提供光，该多带通滤波器具有如相对于图3a-3d所描述的光学设计。三个矩形发光元件610a-610c可以被彼此平行地布置在具有多带通滤波器625a-625d的透镜组件的外侧和之间。这些可以是广谱发光面板或发射离散波段光的led布置。
110.图8a-图8b示出了多光谱多孔径成像系统700的另一实施例。图8a-图8b示出了多孔径成像系统700周围的光源710a-710d的另一种可能的布置。如图所示，具有多带通滤波器725a-725d的四个透镜组件可以被布置成矩形或正方形构成以向四个相机730a-730d(包括图像传感器)提供光，该多带通滤波器采用如相对于图3a-3d所述的光学设计。四个相机730a-730d以更靠近的示例构成示出，这可以使透镜之间的视角差异最小化。四个矩形发光元件710a-710d可以位于围绕具有多带通滤波器725a-725d的透镜组件的正方形中。这些可
以是广谱发光面板或发射离散波段光的led布置。
111.图9a-图9c示出了多光谱多孔径成像系统800的另一实施例。成像系统800包括与透镜组框架前部830连接的框架805，该透镜组框架前部830包括开口820和用于微视频透镜的支撑结构825，其可以设置有使用如相对于图3a-3d所述的光学设计多带通滤波器。微视频透镜825向安装在透镜组框架后部840上的四个相机845(包括成像透镜和图像传感器区域)提供光。分别设置有其自己的漫射元件815的四个线性布置的led 811沿着透镜组框架前部830的四个侧面布置。图9b和图9c示出了以英寸为单位的示例尺寸以显示出多孔径成像系统800的一种可能的尺寸。
112.图10a示出了具有如相对于图3a-3d所述的光学设计的多光谱多孔径成像系统900的另一实施例。成像系统900可以被实现为一组多带通滤波器905，其可附接在移动装置910的多孔相机915上。例如，诸如智能手机等某些移动装置910可以配备有具有通向两个图像传感器区域的两个开口的立体成像系统。所公开的多孔径光谱成像技术可以通过为这些装置提供一组合适的多带通滤波器905以将多个较窄波段的光传递到传感器区域而在这些装置中实现。可选地，一组多带通滤波器905可以配备有将这些波段的光提供给物体空间的发光体(例如，led阵列和漫射器)。
113.系统900还可以包括使移动装置构造成执行生成多光谱数据立方体的处理以及多光谱数据立方体的处理的移动应用(例如，用于临床组织分类、生物特征识别、材料分析或其他应用)。可选择地，移动应用可以使装置910构造成通过网络将多光谱数据立方体发送到远程处理系统，然后接收并显示分析结果。在图10b中示出这种应用的示例用户界面910。
114.图11a-11b示出了可以通过图3a-10b的多光谱多孔径成像系统的四个滤波器实施方式的滤波器例如到达具有拜耳cfa(或另一rgb或rgb-ir cfa)的图像传感器的波段的示例组。通过多带通滤波器的波段的光谱透射响应在图11a的曲线图1000中由实线表示，并且由表示，其中n表示相机编号，范围从1到4。虚线表示与存在于典型的拜耳cfa中的绿色像素红色像素或蓝色像素的光谱透射的组合的光谱响应。这些透射曲线还包括由于在该示例中使用的传感器导致的量子效率的影响。如图所示，这组四台相机共同捕获了八个独特的通道或波段。各滤波器将两个共有波段(最左边的两个峰)以及两个额外的波段传递给相应的相机。在该实施方式中，第一和第三相机接收第一共享nir波段(最右边的峰)中的光，而第二和第四相机接收第二共享nir波段(右边第二的峰)中的光。每个相机还接收范围从大约550nm或550nm到大约800nm或800nm的一个独特的波段。因此，相机可以使用紧凑的构成来捕获八个独特的光谱通道。图11b中的曲线图1010示出了可以用作图11a中所示的4个相机的照明的如图4e中所述的led板的光谱辐照度。
115.在该实施方式中，已经基于产生适合于临床组织分类的光谱通道选择了八个波段，并且还可以在信噪比(snr)和帧速率方面进行优化，同时限制led的数量(将热量引入到成像系统中)。八个波段包括通过所有四个滤波器的共有蓝光波段(曲线图1000中最左边的峰)，因为组织(例如，包括人体组织在内的动物组织)在蓝色波长下表现出比在绿色或红色波长下更高的对比度。具体地，如曲线图1000所示，人体组织在以420nm左右为中心的波段成像时表现出最高的对比度。因为对应于共有波段的通道用于视差校正，所以这种更高的对比度可以产生更准确的校正。例如，在视差校正中，图像处理器可以采用局部或全局方法来找到一组视差，从而使与局部图像块或图像之间的相似性相对应的品质因数最大化。或
者，图像处理器可以采用使与不相似性相对应的品质因数最小化的类似方法。这些品质因数可以基于熵、相关性、绝对差或基于深度学习方法。视差计算的全局方法可以迭代地操作，在品质因数稳定时终止。局部方法可以用于逐点计算视差，使用一个图像中的固定块作为品质因数的输入并使用来自另一个图像的多个不同块，每个块由不同的被测视差值来确定。所有这些方法都可以对所考虑的视差范围施加约束。例如，这些约束可以基于物体深度和距离的知识。约束也可以基于物体中预期的梯度范围来施加。对计算视差的约束也可以通过投影几何来施加，诸如极线约束等。可以在多个分辨率下计算视差，在较低分辨率下计算的视差输出充当初始值或对在分辨率的下一级别下计算的视差的约束。例如，在一次计算中以4个像素的分辨率级别计算的视差可以被用于在下一更高分辨率的视差计算中设定
±
4像素的约束。所有从视差计算的算法都将受益于更高的对比度，特别是如果该对比度源与所有视点都相关的话。一般而言，可以基于对应于预期为特定应用成像的材料的最高对比度成像来选择共有波段。
116.图像捕获之后，相邻通道之间的分色可能是不完美的，因此该实施方式还具有所有滤波器都通过的额外的共有波段
–
在曲线图1000中描绘为与蓝色波段相邻的绿色波段。这是因为蓝色滤波器像素由于其宽光谱带通而对绿色光谱的区域敏感。这通常表现为相邻rgb像素之间的光谱重叠，也可以表现为故意串扰。这种重叠使彩色相机的光谱灵敏度与人类视网膜的光谱灵敏度类似，使得所得的彩色空间在质量上与人类视觉类似。因此，具有共有绿色通道可以通过分离出由绿光引起的信号部分，从而能够分离出真正对应于接收到的蓝光的蓝色光电二极管产生的信号部分。这可以使用光谱解混算法来实现，该算法以多带通滤波器的透射率(在图例中由t以黑实线示出)、相应的cfa滤波器的透射率(在图例中由q以红色、绿色和蓝色虚线示出)为因子。应当理解，一些实施方式可以使用红光作为共有波段，并且在这种情况下，可能不需要第二共有通道。
117.图12示出了具有高分辨率光谱成像能力的示例紧凑型成像系统1100的高级框图，系统1100具有包括连接到多孔径光谱相机1160和发光体1165的处理器1120的一组组件。工作存储器1105、储存器1110、电子显示器1125和存储器1130也与处理器1120通信。如本文所述，系统1100可以通过使用放置在多孔径光谱相机1160的不同开口上方的不同多带通滤波器来捕获与图像传感器的cfa中存在不同颜色的滤波器相比更多数量的图像通道。
118.系统1100可以是诸如手机、数码相机、平板电脑、个人数字助理等装置。系统1100也可以是使用内部或外部相机捕获图像的更稳定的装置，诸如台式个人计算机、视频会议站等。系统1100也可以是图像捕获装置和接收来自图像捕获装置的图像数据的单独处理装置的组合。系统1100上的用户可以使用多个应用。这些应用可以包括传统的摄影应用、静止图像和视频的捕获、动态色彩校正应用和亮度阴影校正应用等。
119.图像捕获系统1100包括用于捕获图像的多孔径光谱相机1160。例如，多孔径光谱相机1160可以是图3a-10b的任何装置。多孔径光谱相机1160可以连接到处理器1120以将在不同光谱通道中并且从不同传感器区域捕获的图像传送到图像处理器1120。如下文更详细描述的，发光体1165也可以由处理器控制以在某些曝光期间发出某些波长的光。图像处理器1120可以被构造为对接收到的捕获图像执行各种操作，以便输出高质量、视差校正的多光谱数据立方体。
120.处理器1120可以是通用处理单元或专门为成像应用设计的处理器。如图所示，处
理器1120连接到存储器1130和工作存储器1105。在示出的实施例中，存储器1130存储捕获控制模块1135、数据立方体生成模块1140、数据立方体分析模块1145和操作系统1150。这些模块包括使处理器构造成执行各种图像处理和装置管理任务的指令。工作存储器1105可以由处理器1120使用以存储包含在存储器1130的模块中的处理器指令的工作集。可选择地，工作存储器1105也可以由处理器1120使用以存储在装置1100的操作期间创建的动态数据。
121.如上所述，处理器1120由存储在存储器1130中的数个模块构成。在一些实施方式中，捕获控制模块1135包括使处理器1120构造成调节多孔径光谱相机1160的焦点位置的指令。捕获控制模块1135还包括使处理器1120构造成利用多孔径光谱相机1160捕获图像的指令，该图像例如是在不同的光谱通道处捕获的多光谱图像以及在相同的光谱通道处捕获的ppg图像(例如，nir渠道)。非接触式ppg成像通常使用近红外(nir)波长作为照明，以利用在该波长处增加的光子渗透到组织中。因此，处理器1120连同捕获控制模块1135、多孔径光谱相机1160和工作存储器1105一起表示用于捕获一组光谱图像和/或一系列图像的一种装置。
122.数据立方体生成模块1140包括使处理器1120构造成基于从不同的传感器区域的光电二极管接收的强度信号来生成多光谱数据立方体的指令。例如，数据立方体生成模块1140可以基于对应于通过所有多带通滤波器的共有波段的光谱通道来估计成像对象的相同区域之间的视差，并且可以使用该视差来将所有光谱通道上的所有光谱图像彼此配准(例如，使得物体上的相同点由所有光谱通道上的基本上相同的(x,y)像素位置表示)。配准的图像共同形成多光谱数据立方体，并且视差信息可以用于确定不同成像对象的深度，例如健康组织与伤口部位内最深位置之间的深度差。在一些实施例中，数据立方体生成模块1140还可以执行光谱解混以例如基于将滤波器透射率和传感器量子效率考虑在内的光谱解混算法，识别光电二极管强度信号的哪些部分对应于哪些通过的波段。
123.取决于应用，数据立方体分析模块1145可以实施各种技术来分析由数据立方体生成模块1140生成的多光谱数据立方体。例如，数据立方体分析模块1145的一些实施方式可以将多光谱数据立方体(以及可选的深度信息)提供给经过训练以根据特定状态对各像素进行分类的机器学习模型。在组织成像的情况下，这些状态可以是临床状态，例如烧伤状态(例如，一度烧伤、二度烧伤、三度烧伤或健康组织类别)、伤口状态(例如，止血、炎症、增生、重塑或健康皮肤类别)、愈合潜力(例如，反映组织在有或没有特定治疗的情况下从受伤状态愈合的概率的评分)、灌注状态、癌变状态或其他与伤口相关的组织状态。数据立方体分析模块1145还可以分析多光谱数据立方体以进行生物特征识别和/或材料分析。
124.操作系统模块1150使处理器1120构造成管理系统1100的存储器和处理资源。例如，操作系统模块1150可以包括装置驱动器以管理诸如电子显示器1125、储存器1110、多孔径光谱相机1160或发光体1165等硬件资源。因此，在一些实施例中，包含在上述图像处理模块中的指令可以不直接与这些硬件资源交互，而是通过位于操作系统组件1150中的标准子例程或api交互。然后，操作系统1150内的指令可以直接与这些硬件组件交互。
125.处理器1120还可以被构造为控制显示器1125向用户显示捕获图像和/或分析多光谱数据立方体的结果(例如，分类图像)。显示器1125可以在包括多孔径光谱相机1160的成像装置的外部或者可以是成像装置的一部分。显示器1125还可以被构造为在捕获图像之前为用户提供取景器。显示器1125可以包括lcd或led屏幕，并且可以实现触敏技术。
126.处理器1120可以将数据写入储存器模块1110，该数据例如是表示捕获图像、多光谱数据立方体和数据立方体分析结果的数据。尽管储存器模块1110以图表方式表示为传统的磁盘装置，本领域技术人员将理解储存器模块1110可以被构造为任何存储介质装置。例如，储存器模块1110可以包括诸如软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器等磁盘驱动器或者诸如闪存、ram、rom和/或eeprom等固态存储器。储存器模块1110还可以包括多个存储单元，并且任何一个存储单元可以被构造在图像捕获装置1100内，或者可以在图像捕获系统1100外部。例如，储存器模块1110可以包括包含图像捕获系统1100内存储的系统程序指令的rom存储器。储存器模块1110还可以包括可以从相机中移除的被构造为存储捕获图像的存储卡或高速存储器。
127.尽管图12示出了包括单独的组件以包括处理器、成像传感器和存储器的系统，但是本领域技术人员将认识到可以以多种方式组合这些单独的组件以实现特定的设计目标。例如，在替代的实施例中，存储器组件可以与处理器组件组合以节省成本并提高性能。
128.此外，尽管图12示出了两个存储器组件，即，包括数个模块的存储器组件1130和包括工作存储器的单独的存储器1105，但是本领域技术人员将认识到利用不同的存储器架构的数个实施例。例如，设计可以利用rom或静态ram存储器来存储实现包含在存储器1130中的模块的处理器指令。可选择地，处理器指令可以在系统启动时从集成到系统1100中或经由外部装置端口连接的磁盘存储器装置读取。然后，处理器指令可以被加载到ram中以促进处理器的执行。例如，工作存储器1105可以是ram存储器，指令在由处理器1120执行之前被加载到工作存储器1105中。
129.示例图像处理技术的概述
130.图13是使用图3a-10b和图12的多光谱多孔径成像系统捕获图像数据的示例过程1200的流程图。图13示出了可以用于生成本文所述的多光谱数据立方体的四个示例曝光，即，可见光曝光1205、额外可见光曝光1210、不可见曝光1215和环境曝光1220。应当理解，这些可以按照任何顺序被捕获，并且一些曝光可以可选地如下所述地从特定的工作流程中移除或添加到其中。此外，参照图11a和图11b的波段来说明过程1200，然而可以使用基于其他波段集生成的图像数据来实现类似的工作流程。此外，在各种实施例中，还可以依据各种已知的平场校正技术来实施平场校正，以改进图像获取和/或视差校正。
131.对于可见光曝光1205，前五个峰(图11a的曲线图1000中的与可见光相对应的左侧五个峰)的led可以通过对照明板的控制信号来开启。光输出波可能需要在特定于特定led的时间(例如10毫秒)稳定。捕获控制模块1135可以在该时间之后开始四个相机的曝光，并且可以继续该曝光持续例如大约30ms的持续时间。此后，捕获控制模块1135可以停止曝光并将数据从传感器区域拉出(例如，通过将原始光电二极管强度信号传输到工作存储器1105和/或数据储存器1110)。该数据可以包括用于本文所述的视差校正的共有光谱通道。
132.为了增加snr，一些实施方式可以使用针对可见光曝光1205说明的相同过程来捕获额外的可见光曝光1210。具有两个相同或几乎相同的曝光可以增加snr以产生对图像数据的更准确的分析。然而，这可以在单个图像的snr可接受的实施方式中被省略。在一些实施方式中，以共通光谱通道的重复曝光也可以实现更准确的视差校正。
133.一些实施方式还可以捕获对应于nir或ir光的不可见光曝光1215。例如，捕获控制模块1135可以激活与图11a中所示的两个nir通道相对应的两个不同的nir led。在特定于
特定led的时间，例如10毫秒，光输出波可能需要稳定。例如，捕获控制模块1135可以在该时间之后开始四个相机的曝光，并且继续该曝光持续例如大约30ms的持续时间。此后，捕获控制模块1135可以停止曝光并将数据从传感器区域拉出(例如，通过将原始光电二极管强度信号传输到工作存储器1105和/或数据储存器1110)。在该曝光中，可能没有传递到所有传感器区域的共有波段，因为可以安全地假定物体的形状或定位相对于曝光1205、1210没有变化，因此先前计算的视差值可以用于配准nir通道。
134.在一些实施方式中，可以顺序地捕获多次曝光，以生成表示由于脉动性血流而引起的组织部位的形状变化的ppg数据。在一些实施方式中，可以在不可见光波长处捕获这些ppg曝光。尽管ppg数据与多光谱数据的组合可能会提高某些医学成像分析的准确性，但是ppg数据的捕获也会在图像捕获过程中引入额外的时间。在一些实施方式中，由于手持成像仪和/或物体的移动，该额外的时间可能引入错误。因此，某些实施方式可以省略ppg数据的捕获。
135.一些实施方式可以额外捕获环境光曝光1220。对于这个曝光，可以关闭所有led以使用环境照明(例如，阳光、来自其他发光体源的光)来捕获图像。捕获控制模块1135可以在该时间之后开始四个相机的曝光，并且可以将曝光持续例如大约30ms的期望持续时间。此后，捕获控制模块1135可以停止曝光并将数据从传感器区域拉出(例如，通过将原始光电二极管强度信号传输到工作存储器1105和/或数据储存器1110)。环境光曝光1220的强度值可以从可见光曝光1205(或通过第二曝光1210针对snr校正的可见光曝光1205)的值中减去，并且也可以从不可见光曝光1215中减去，以便消除来自多光谱数据立方体的环境光的影响。这可以通过隔离生成信号的表示由发光体发射并由物体/组织部位反射的光的部分来提高下游分析的准确率。如果分析准确率仅使用可见光1205、1210和不可见光1215曝光就足够了，则一些实施方式可以省略该步骤。
136.应当理解，上面列出的特定曝光时间是一种实施方式的示例，并且在其他实施方式中，曝光时间可以根据图像传感器、发光体强度和成像对象而变化。
137.图14示出了用于处理图像数据的工作流程1300的示意性框图，例如使用图13的过程1200和/或使用图3a-10b和图12的多光谱多孔径成像系统捕获的图像数据。工作流程1300示出了两个rgb传感器区域1301a、1301b的输出，然而工作流程1300可以扩展到更多数量的传感器区域和与不同cfa颜色通道相对应的传感器区域。
138.来自两个传感器区域1301a、1301b的rgb传感器输出分别存储在2d传感器输出模块1305a、1305b中。两个传感器区域的值都被发送到非线性映射模块1310a、1310b，其可以通过使用共有通道识别捕获图像之间的视差、然后在所有通道上应用该确定的视差以将所有光谱图像彼此配准来执行视差校正。
139.然后，两个非线性映射模块1310a、1310b的输出被提供给可以计算图像数据中的特定感兴趣区域的深度的深度计算模块1335。例如，深度可以表示物体和图像传感器之间的距离。在一些实施方式中，可以计算并比较多个深度值以确定物体相对于除图像传感器以外的某物的深度。例如，可以确定伤口床的最大深度以及伤口床周围的健康组织的深度(最大、最低或平均)。通过从伤口床的深度减去健康组织的深度可以确定伤口的最深深度。这种深度比较可以额外在伤口床的其他点进行(例如，所有或一些预定采样)，以便构建在各个点处的伤口深度的3d图(在图14中示出为z(x,y)，其中z是深度值)。在一些实施例中，
更大的视差可以改进深度计算，但是更大的视差也可能会导致用于这种深度计算的更多的计算密集型算法。
140.非线性映射模块1310a、1310b两者的输出也被提供给线性方程模块1320，其可以将感测值视为用于光谱分解的线性方程组。一种实施方式可以使用moore-penrose伪逆方程作为至少传感器量子效率和滤波器透射率值的函数来计算实际光谱值(例如，在每个(x,y)图像点处入射的特定波长的光强度)。这可以用于诸如临床诊断和其他生物学应用等需要高准确度的实施方式。光谱解混的应用还可以提供光子通量和snr的估计。
141.基于视差校正的光谱通道图像和光谱解混，工作流程1300可以生成例如f(x,y,λ)的示出格式的光谱数据立方体1325，其中f表示在特定波长或波段λ处的特定(x,y)图像位置的光强度。
142.图15以图表方式示出了用于处理图像数据的视差和视差校正，该图像数据例如是使用图13的过程和/或使用图3a-10b和图12的多光谱多孔径成像系统捕获的图像数据。第一组图像1410示出了由四个不同的传感器区域捕获的物体上的同一物理位置的图像数据。如图所示，基于图像传感器区域的光电二极管格子的(x,y)坐标系，该物体位置不在原始图像上的同一位置中。第二组图像1420示出了在视差校正之后的同一物体位置，其现在位于配准图像的坐标系中的同一(x，y)位置。应当理解，这种配准可以涉及从不完全彼此重叠的图像边缘区域裁剪某些数据。
143.图16以图表方式示出了用于对多光谱图像数据执行逐像素分类的工作流程1500，该图像数据例如是使用图13的过程捕获的、根据图14和图15处理的和/或使用图3a-10b和图12的多光谱多孔径成像系统捕获的图像数据。
144.在框1510，多光谱多孔径成像系统1513可以捕获表示物体1511上的物理点1512的图像数据。在该示例中，物体1511包括具有伤口的患者的组织。伤口可以包括烧伤、糖尿病性溃疡(例如，糖尿病足溃疡)、非糖尿病性溃疡(例如，压疮或愈合缓慢的伤口)、慢性溃疡、术后切口、截肢部位(截肢手术之前或之后)、癌性病变或受损组织。在包括ppg信息的情况下，所公开的成像系统提供了一种评估涉及组织血流和脉搏率的变化的病理的方法，包括：组织灌注；心血管健康；诸如溃疡等伤口；外周动脉疾病和呼吸系统健康。
145.在框1520，由多光谱多孔径成像系统1513捕获的数据可以被处理成具有多个不同的波长1523的多光谱数据立方体1525，并且可选地，具有在相同波长下对应于不同时间的多个不同图像(ppg数据1522)。例如，图像处理器1120可以通过数据立方体生成模块1140来构造，以根据工作流程1300生成多光谱数据立方体1525。如上所述，一些实施方式还可以将深度值与沿着空间维度的各个点相关联。
146.在框1530，多光谱数据立方体1525可以作为输入数据1525在机器学习模型1532中分析以生成成像组织的分类映射1535。分类映射可以将图像数据中的各像素(其在配准之后表示成像物体1511上的特定点)分配给某个组织分类，或者分配给某个愈合潜力评分。不同的分类和评分可以在输出分类图像中使用视觉上不同的颜色或图案来表示。因此，即使捕获了物体1511的多个图像，输出也可以是物体的覆盖有逐像素分类的视觉表示的单个图像(例如，典型的rgb图像)。
147.在一些实施方式中，机器学习模型1532可以是人工神经网络。人工神经网络是人工的，因为它们是计算实体，受生物神经网络的启发，但被修改用于由计算装置实施。人工
神经网络用于对输入和输出之间的复杂关系进行建模或查找数据中的模式，其中输入和输出之间的依赖关系不能容易地确定。神经网络通常包括输入层、一个或多个中间(“隐藏”)层和输出层，每层都包括多个节点。节点的数量可以在层之间变化。当神经网络包括两个或多个隐藏层时，其被认为是“深”的。每层中的节点都连接到后续层中的一些或所有节点，并且这些连接的权重通常在训练过程中例如通过反向传播从数据中学习，其中调整网络参数以在标记的训练数据中产生给定相应输入的预期输出。因此，人工神经网络是被构造为基于训练期间流经网络的信息来改变其结构(例如，连接构成和/或权重)的自适应系统，并且隐藏层的权重可以被认为是数据中有意义的图案的编码。
148.完全连接的神经网络是这样的网络，其中输入层中的每个节点都连接到后续层(第一隐藏层)中的每个节点，第一隐藏层中的每个节点依次连接到后续隐藏层中的每个节点，以此类推，直到最终隐藏层中的每个节点都连接到输出层中的每个节点。
149.cnn是一种人工神经网络，并且与上述人工神经网络一样，cnn由节点组成并具有可学习的权重。然而，cnn的层可以具有以三个维度排列的节点：宽度、高度和深度，其对应于每个视频帧中的像素值的2
×
2数组(例如，宽度和高度)以及序列中的视频帧的数量(例如，深度)。一层的节点可能仅局部地连接到它之前的宽度和高度层的一个较小区域，称为感受野。隐藏层权重可以采用应用于感受野的卷积滤波器的形式。在一些实施例中，卷积滤波器可以是二维的，并且因此，可以针对输入体积中的每一帧(或图像的卷积变换)或对于帧的指定子集重复使用相同滤波器的卷积。在其他实施例中，卷积滤波器可以是三维的，并且因此延伸通过输入体积的节点的整个深度。cnn的每个卷积层中的节点可以共享权重，以便给定层的卷积滤波器在输入体积的整个宽度和高度(例如，整个帧)上复制，从而减少可训练权重的总数和增加cnn对训练数据之外的数据集的适用性。可以将层的值池化以减少后续层中的计算数量(例如，表示某些像素的值可能会被向前传递，而其他值则被丢弃)，并且沿着cnn池的深度，掩膜可以将任何丢弃的值重新引入以将数据点的数量返回到之前的大小。可以堆叠多个层以形成cnn架构，可选地这些层的一些是完全连接的。
150.在训练期间，人工神经网络可以暴露于其训练数据中的对，并且可以修改其参数以便能够在提供输入时预测该对的输出。例如，训练数据可以包括已经例如由已经指定与某些临床状态相对应的伤口区域的临床医生标记的多光谱数据立方体(输入)和分类映射(预期输出)，和/或当已知实际愈合时，在伤口初始成像后的某个时间以愈合(1)或未愈合(0)标记标记。机器学习模型1532的其他实施方式可以被训练以进行其他类型的预测，例如在指定时间段内伤口愈合到特定百分比面积减少的概率(例如，在30天内至少50％的面积减少)或诸如止血、炎症、病原体定植、增生、重塑或健康皮肤类别等伤口状态。一些实施方式还可以将患者指标并入到输入数据中以进一步提高分类准确度，或者可以基于患者指标来分割训练数据以训练机器学习模型1532的不同实例，以供具有那些相同患者指标的其他患者使用。患者指标可以包括说明患者特征或患者健康状况的文本信息或病史或其方面，例如伤口、病变或溃疡的面积、患者的bmi、患者的糖尿病状况、患者的外周血管疾病或慢性炎症的存在、患者有或曾经有过的其他伤口的数量、患者是否正在服用或最近服用过免疫抑制药物(例如，化疗)或对伤口愈合率有积极或不利影响的其他药物、hba1c、慢性肾功能衰竭iv期、ii型vs.i型糖尿病、慢性贫血、哮喘、药物使用、吸烟状况、糖尿病性神经病变、深静脉血栓、既往心肌梗塞、短暂性脑缺血发作或睡眠呼吸暂停或其任何组合。这些指标可以
通过适当的处理，例如通过文本向量化(word-to-vec)嵌入转换为向量表示，具有表示患者是否具有患者指标(例如，是否具有i型糖尿病)的二进制值或表示患者对各患者指标的程度的数值的向量。
151.在框1540，分类映射1535可以被输出给用户。在该示例中，分类映射1535使用第一颜色1541来表示根据第一状态分类的像素，并且使用第二颜色1542来表示根据第二状态分类的像素。分类和所得到的分类映射1535可以例如基于物体识别、背景颜色识别和/或深度值来排除背景像素。如图所示，多光谱多孔径成像系统1513的一些实施方式可以将分类映射1535投射回组织部位。当分类映射包括推荐的切除边缘和/或深度的视觉表示时，这可以是特别有益的。
152.这些方法和系统可以在诸如烧伤切除、截肢水平、病变切除和伤口分类决策等皮肤伤口管理过程中为临床医生和外科医生提供帮助。本文所述的替代方案可以用于识别和/或分类褥疮、充血、肢体恶化、雷诺现象、硬皮病、慢性伤口、擦伤、撕裂伤、出血、破裂伤、刺伤、穿透伤、皮肤癌，如基底细胞癌、鳞状细胞癌、黑色素瘤、光化性角化病，或任何类型的组织变化的严重程度，其中组织的性质和质量不同于正常状态。本文所述的装置还可以用于监测健康组织、促进和改进伤口治疗程序，例如允许更快更精细的方法来确定清创边缘，并评估从伤口或疾病中恢复的进展，尤其是在已经施加治疗之后。在本文所述的一些替代方案中，提供了具有以下功能的装置，该装置允许识别与受伤组织相邻的健康组织、确定切除边缘和/或深度、监测植入诸如左心室辅助装置等假体之后的恢复过程、评估组织移植或再生细胞植入的生存力或监测特别是在重建手术之后的术后恢复。此外，本文所述的替代方案可以用于评估伤口的变化或伤口之后健康组织的生成，特别是在引入诸如类固醇、肝细胞生长因子、纤维细胞生长因子、抗生素等治疗剂或诸如包含干细胞、内皮细胞和/或内皮前体细胞的分离或集中的细胞群等再生细胞之后。
153.示例分布式计算环境的概述
154.图17示出了包括多光谱多孔径成像系统1605的示例分布式计算系统1600的示意性框图，该系统可以是图3a-10b和图12的多光谱多孔径成像系统中的任何一个。如图所示，数据立方体分析服务器1615可以包括一台或多台计算机，可能以服务器集群中或作为服务器场布置。组成这些计算机的存储器和处理器可以位于一台计算机内，或者分布在多台计算机中(包括彼此远离的计算机)。
155.多光谱多孔径成像系统1605可以包括用于通过网络1610与用户设备1620和数据立方体分析服务器1615通信的网络硬件(例如，无线互联网、卫星、蓝牙或其他收发器)。例如，在一些实施方式中，多光谱多孔径成像系统1605的处理器可以被构造为控制图像捕获，然后将原始数据发送到数据立方体分析服务器1615。多光谱多孔径成像系统1605的处理器的其他实施方式可以被构造为控制图像捕获并执行光谱解混和视差校正以生成多光谱数据立方体，然后将其发送到数据立方体分析服务器1615。一些实施方式可以在多光谱多孔径成像系统1605上本地执行完整的处理和分析，并且可以将多光谱数据立方体和所得到的分析发送到数据立方体分析服务器1615，以用于综合分析和/或用于训练或再训练机器学习模型。这样，数据立方体分析服务器1615可以向多光谱多孔径成像系统1605提供更新的机器学习模型。生成分析多光谱数据立方体的最终结果的处理负荷可以根据多孔径成像系统1605的处理能力以各种方式在多孔径成像系统1605和数据立方体分析服务器1615之间
分配。
156.网络1610可以包括任何适当的网络，包括内联网、因特网、蜂窝网络、局域网或任何其他这种网络或其组合。用户设备1620可以包括任何配备网络的计算装置，例如台式计算机、笔记本电脑、智能手机、平板电脑、电子阅读器或游戏机等。例如，由多孔径成像系统1605和数据立方体分析服务器1615确定的结果(例如，分类图像)可以被发送到患者、医生、存储患者电子病历的医院信息系统和/或组织分类场景中的集中健康数据库(例如，疾病控制中心的数据库)所指定的用户设备。
157.示例实施方式结果
158.背景：由烧伤导致的发病率和死亡率是受伤战士及其护理人员的主要问题。战斗伤亡中烧伤的发生率历来为5-20％，其中大约20％的这些伤亡需要在美国陆军外科研究所(isr：us army institute of surgical research)烧伤中心或同等机构进行复杂的烧伤手术。烧伤手术需要专门培训，并因此由isr工作人员而非美国军事医院工作人员来提供。烧伤专家的数量有限导致为烧伤士兵提供护理的后勤复杂性很高。因此，一种新的客观的烧伤深度的术前和术中检测方法可以使包括非isr人员在内的更广泛的医务人员参与到战斗中烧伤患者的护理中。然后，可以利用该扩大的护理提供者，以在护理烧伤战士的角色中进一步提供更复杂的烧伤护理。
159.为了开始满足这一需求，已经开发了一种基于推车的新型成像装置，该装置使用多光谱成像(msi)和人工智能(ai：artificial intelligence)算法来帮助烧伤愈合潜力的术前确定。该装置在短时间内(例如，在6、5、4、3、2或1秒内)从广泛的组织区域(例如，5.9
×
7.9)获取图像，并且不需要注射造影剂。这项基于平民人口的研究表明，该装置在确定烧伤愈合潜力方面的准确率超过了烧伤专家的临床判断(例如，70-80％)。
160.方法：对各种烧伤严重程度的平民受试者在烧伤后72小时内进行成像，然后在直至烧伤后7天的随后的几个时间点进行成像。使用3周愈合评估或穿孔活检来确定每张图像中的真实烧伤严重程度。在每张图像像素的基础上，分析装置识别和区分一度、二度和三度烧伤中愈合和非愈合烧伤组织的准确率。
161.结果：数据来自共有58次烧伤的38名平民受试者以及393张图像。ai算法在预测未愈合烧伤组织方面达到了87.5％的灵敏度和90.7％的特异性。
162.结论：该装置及其ai算法展示了在确定烧伤愈合潜力方面的准确性超过了烧伤专家临床判断的准确性。未来的工作重点是重新设计该装置的便携性并评估其在术中环境中的使用。便携性的设计变化包括将装置的尺寸缩小为便携式系统、增加视野、将获取时间缩短为单个快照以及使用猪模型来评估装置在术中环境中的使用。这些开发已经在基本成像测试中显示等效性的台式msi子系统中实现。
163.用于图像配准的额外发光体
164.在各种实施例中，一个或多个额外发光体可以与本文所公开的任何实施例协同使用，以便提高图像配准的准确性。图21示出了包括投影仪2105的多孔径光谱成像仪2100的示例实施例。在一些实施例中，投影仪2105或其他合适的发光体可以是例如上面参考图12所述的发光体1165中的一个。在包括诸如用于配准的投影仪2105等额外发光体的实施例中，该方法还可以包括额外曝光。诸如投影仪2105等额外发光体可以将在成像仪2100的所有相机中单独或累积可见的一个光谱带、多个光谱带或宽频带中的一个或多个点、条纹、格
子、随机散斑或任何其他合适的空间图案投射到成像仪2100的视野中。例如，投影仪2105可以投射共享或共有通道的光、宽带照明或累积可见照明，其可以用于确认基于上述共有波段方法计算的图像的配准的准确性。如本文所使用的，“累积可见照明”是指使得图案被多光谱成像系统中的每个图像传感器转换而选择的多个波长。例如，累积可见照明可以包括多个波长，使得每个通道转换多个波长中的至少一个，即使多个波长中没有一个对所有通道是共有的。在一些实施例中，由投影仪2105投射的图案的类型可以基于其中图案将被成像的孔径数量来选择。例如，如果图案将仅被一个孔径看到，则该图案可以优选地是相对密集的(例如，可以具有诸如大约1-10个像素、20个像素、少于50个像素、少于100个像素等相对窄的自相关)，而较不密集或较不窄的自相关图案可以在图案将由多个孔径成像的情况下是有用的。在一些实施例中，使用投射的空间图案捕获的额外曝光被包括在视差计算中，以便与没有使用投射的空间图案捕获的曝光的实施例相比提高配准的准确性。在一些实施例中，额外发光体将在所有相机中单独或累积可见的一个光谱带、多个光谱带或宽带中(如在共享或共有通道中)的条纹或者可以基于条纹相位来改善图像的配准的宽带照明投射到成像仪的视野中。在一些实施例中，额外发光体将在所有相机中单独或累积可见的一个光谱带、多个光谱带或宽带中(如在共享或共有通道中)的点、格子和/或散斑的多个独特的空间排列或者可以用于改善图像配准的宽带照明投射到成像仪的视野中。在一些实施例中，该方法还包括具有单个孔径或多个孔径的额外传感器，其可以检测视野中的一个或多个物体的形状。例如，传感器可以使用lidar、光场或超声技术，以进一步使用上述共有波段方法提高图像配准的准确度。该额外传感器可以是对光场信息敏感的单孔径或多孔径传感器，或者其可以对诸如超声波或脉冲激光等其他信号敏感。
165.用于伤口评估、愈合预测和治疗的机器学习实施方法
166.现在将说明用于伤口评估、愈合预测和治疗的机器学习系统和方法的示例实施例。本文所述的各种成像装置、系统、方法、技术和算法中的任何一种都可以应用于伤口成像和分析领域。以下实施方式可以包括在一个或多个已知波段中获取伤口的一个或多个图像，并且可以包括基于该一个或多个图像进行下列中的任何一个或多个：将图像分割成图像的伤口部分和非伤口部分；预测预定时间段后的伤口面积减少百分比；预测在预定时间段后伤口各个部分的愈合潜力；显示与任何这种分割或预测相关联的视觉表示；指示在标准伤口护理治疗和高级伤口护理治疗之间进行选择等。
167.在各种实施例中，伤口评估系统或临床医生可以基于本文所公开的机器学习算法的结果来确定伤口护理治疗的适当等级。例如，如果伤口愈合预测系统的输出表明成像的伤口将在30天内闭合超过50％，则该系统可以应用或通知医疗保健从业者或患者应用标准护理治疗；如果输出表明伤口在30天内超过50％未闭合，则系统可以应用或通知医疗保健从业者或患者使用一种或多种高级伤口护理治疗。
168.在现有的伤口治疗下，在治疗的最初30天内，诸如糖尿病足溃疡(dfu)等伤口最初可能会接受一种或多种标准伤口护理治疗，诸如医疗保险(medicare)和医疗补助中心(medicaid)定义的护理标准(soc：standard of care)疗法等。作为标准伤口护理方案的一个示例，soc疗法可以包括以下中的一项或多项：营养状态的优化；以任何方式清创以去除失活的组织；用适当的湿润医用敷料维持干净、湿润的肉芽组织床；解决可能存在的任何感染的必要治疗；解决dfu肢体血管灌注的任何缺陷；卸载来自dfu的压力；和适当的血糖控
制。在soc疗法的最初30天期间，dfu愈合的可测量迹象被定义为：dfu大小(伤口表面积或伤口体积)的减小，dfu渗出量的减少，以及dfu中坏死组织量的减少。图22中示出了愈合dfu的示例进展。
169.如果在soc疗法的最初30天期间没有观察到愈合，则通常指示高级伤口护理(awc)疗法。医疗保险和医疗补助中心没有awc疗法的摘要或定义，但被认为是上述soc疗法之外的任何疗法。awc疗法是一个密集研究和创新的领域，几乎不断引入用于临床实践的新选择。因此，awc疗法的承保范围是根据个人情况确定的，并且某些患者可能无法报销被认为是awc的治疗。基于这种理解，awc疗法包括但不限于以下中的任何一种或多种：高压氧疗法；负压伤口治疗；生物工程皮肤替代物；合成生长因子；细胞外基质蛋白；基质金属蛋白酶调节剂；和电刺激疗法。图23示出了非愈合dfu的示例进展。
170.在各种实施例中，本文所述的伤口评估和/或愈合预测可以单独地基于伤口的一个或多个图像或者基于患者健康数据(例如，一个或多个健康指标值、临床特征等)和伤口图像的组合来完成。所描述的技术可以捕获包括溃疡或其他伤口的患者组织部位的单个图像或一组多光谱图像(msi)，使用如本文所述的机器学习系统处理图像，并且输出一个或多个预测的愈合参数。本技术可以预测多种愈合参数。通过非限制性示例，一些预测的愈合参数可以包括：(1)关于溃疡是否会在30天内(或根据临床标准所需的另一个时间段)是否愈合至大于50％的面积减少(或根据临床标准所需的另一个阈值百分比)的二进制的是/否；(2)溃疡在30天内(或根据临床标准所需的另一个时间段)愈合至大于50％的面积减少(或根据临床标准所需的另一个阈值百分比)的百分比概率；或(3)关于由于溃疡愈合而在30天内(或根据临床标准所需的另一个时间段)预期的实际面积减少的预测。在进一步的示例中，本技术的系统可以针对伤口的较小部分(诸如对于伤口图像的单独像素或像素子集等)提供愈合的二进制是/否或百分比概率，其中是/否或百分比概率指示伤口的各单独部分在预定时间段之后可能是愈合组织还是未愈合组织。
171.图24示出了一种提供这样的愈合预测的示例方法。如图所示，使用多光谱图像传感器以不同波长在不同时间或同时捕获的伤口图像或伤口的一组多光谱图像可以被用于向诸如自动编码器神经网络等神经网络提供输入值和输出值，该自动编码器神经网络是如下面更详细说明的一种类型的人工神经网络。这种类型的神经网络能够生成输入的减少的特征表示，这里表示输入图像中的像素值的减少数量的值(例如，数值)。这又可以被提供给机器学习分类器，例如完全连接的前馈人工神经网络或图25所示的系统，以便输出被成像的溃疡或其他伤口的愈合预测。
172.图25示出了提供这样的愈合预测的另一种方法。如图所示，图像(或者使用多光谱图像传感器以不同波长在不同时间或同时捕获的伤口的一组多光谱图像)作为输入被提供到诸如卷积神经网络(“cnn”)等神经网络中。cnn采用像素值的二维(“2d”)数组(例如，沿用于捕获图像数据的图像传感器的高度和宽度的值)并输出图像的一维(“1d”)表示。这些值可以例如根据与溃疡或其他伤口有关的一个或多个生理状态来表示输入图像中各像素的分类。
173.如图25所示，患者指标数据存储库可以存储关于患者的其他类型的信息，这里称为患者指标、临床因素或健康指标值。患者指标可以包括说明患者特征的文本信息，例如，患者的溃疡面积、体重指数(bmi：body mass index)、患者有或曾经有过的其他伤口的数
量、糖尿病状况、患者是否正在或最近服用过免疫抑制剂(例如，化疗)或其他对伤口愈合率有正面或负面影响的药物、hba1c、慢性肾功能衰竭iv期、ii型vs.i型糖尿病、慢性贫血、哮喘、药物使用、吸烟状况、糖尿病性神经病、深静脉血栓、既往心肌梗塞、短暂性脑缺血发作或睡眠呼吸暂停或其任何组合。然而，可以使用多种其他指标。下面的表1中提供了一些示例指标。
174.175.176.[0177][0178]
表1.用于伤口图像分析的示例临床变量
[0179]
这些指标可以通过适当的处理(例如通过word-to-vec嵌入)被转换为向量表示，具有表示患者是否具有患者指标(例如，是否具有i型糖尿病)的二进制值的向量，或者表示患者具有各患者指标的程度的数值。各种实施例可以使用这些患者指标中的任何一个或者一些或所有患者指标的组合来提高由本技术的系统和方法生成的预测的愈合参数的准确率。在一个示例试验中，确定了在dfu的初始临床就诊期间拍摄的图像数据，在不考虑临床变量的情况下单独分析，可以以大约67％的准确率准确地预测dfu的面积减少百分比。仅基于患者病史的预测准确率大约为76％，最重要的特征是：伤口面积、bmi、既往伤口数量、hba1c、慢性肾功能衰竭iv期、ii型vs.i型糖尿病、慢性贫血、哮喘、药物使用、吸烟状况、糖尿病性神经病变、深静脉血栓、既往心肌梗塞、短暂性脑缺血发作和睡眠呼吸暂停。当将这些医学变量与图像数据相结合时，我们观察到预测准确率提高到大约78％。
[0180]
在图25所示的一个示例实施例中，图像数据的1d表示可以与患者指标的向量表示级联。然后，该级联值可以作为输入提供给完全连接的神经网络，从而输出预测的愈合参数。
[0181]
图25中所示的系统可以被视为具有多个机器学习模型以及患者指标向量生成器的单个机器学习系统。在一些实施例中，该整个系统可以以端到端的方式进行训练，使得cnn和完全连接的网络通过反向传播调整它们的参数，以便能够从输入图像生成预测的愈合参数，其中患者指标向量添加到cnn和完全连接的网络之间传递的值上。
[0182]
示例机器学习模型
[0183]
人工神经网络是人工的，因为它们是计算实体，受到生物神经网络的启发，但被修改用于由计算装置的实施。人工神经网络用于对输入和输出之间的复杂关系进行建模或查找数据中的模式，其中输入和输出之间的依赖关系不能容易地确定。神经网络通常包括输入层、一个或多个中间(“隐藏”)层和输出层，每层都包括多个节点。节点的数量可以在层之间变化。当神经网络包括两个或多个隐藏层时，其被认为是“深”的。每层中的节点都连接到随后层中的一些或所有节点，并且这些连接的权重通常是在训练过程中例如通过反向传播基于训练数据学习的，其中调整网络参数以在标记的训练数据中的给定相应输入的情况下产生预期输出。因此，人工神经网络可以是自适应系统，其被构造为基于在训练期间流经网络的信息来改变其结构(例如，连接构成和/或权重)，并且隐藏层的权重可以被考虑作为数据中有意义图案的编码。
[0184]
完全连接的神经网络是其中输入层中的各节点都连接到后续层(第一隐藏层)中
的各节点，该第一隐藏层中的各节点又连接到后续隐藏层中的各节点，以此类推，直到最终隐藏层中的各节点连接到输出层中的各节点。
[0185]
自动编码器是包括编码器和解码器的神经网络。某些自动编码器的目标是使用编码器来压缩输入数据，然后使用解码器对该编码数据进行解压缩，使得输出是原始输入数据的良好/完美重构。本文所述的诸如图24所示的自动编码器神经网络等示例自动编码器神经网络可以将伤口图像的图像像素值(例如，以向量或矩阵形式构造)作为到其输入层的输入。随后的一个或多个层或“编码器层”通过降低其维度(例如，通过使用比其原始n维更少的维度表示输入)来编码该信息，并且编码器层之后的额外的一个或多个隐藏层(“解码器层”)对该信息进行解码以在输出层生成输出特征向量。自动编码器神经网络的示例训练过程可以是无监督的，因为自动编码器学习其隐藏层的参数，从而产生与提供的输入相同的输出。因此，输入层和输出层中的节点数量通常是相同的。维度降低允许自动编码器神经网络学习输入图像的最显著特征，其中自动编码器的最内层(或另一个内层)表示输入的“特征减少”版本。在一些示例中，这可以用于将具有例如大约100万像素(其中各像素值可以被认为是图像的单独特征)的图像减少到大约50个值的特征集。图像的这种降维表示可以被例如图25的分类器或合适的cnn或其他神经网络的另一机器学习模型使用，以便输出预测的愈合参数。
[0186]
cnn是一种人工神经网络，与上述人工神经网络一样，cnn由节点组成并且在节点之间具有可学习的权重。然而，cnn的层可以具有以三个维度排列的节点：宽度、高度和深度，其对应于各图像帧中的像素值的2
×
2数组(例如，宽度和高度)以及图像序列中的图像帧的数量(例如，深度)。在一些实施例中，层的节点可以仅局部地连接到前一层的宽度和高度的较小区域，称为感受野。隐藏层权重可以采用应用于感受感受野的卷积滤波器的形式。在一些实施例中，卷积滤波器可以是二维的，因此，可以针对输入体积中的每一帧(或图像的卷积变换)或对于帧的指定子集重复具有相同滤波器的卷积。在其他实施例中，卷积滤波器可以是三维的，因此延伸通过输入体积的节点的整个深度。cnn的每个卷积层中的节点可以共享权重，以便给定层的卷积滤波器在输入体积的整个宽度和高度(例如，整个帧)上复制，从而减少可训练权重的总数和增加cnn对训练数据之外的数据集的适用性。可以将层的值池化以减少后续层中的计算数量(例如，表示某些像素的值可能会被向前传递，而其他值会被丢弃)，并且进一步沿着cnn池的深度，掩膜可以将任何丢弃的值重新引入以将数据点的数量返回到之前的大小。可以堆叠多个层以形成cnn架构，可选地这些层中的一些层完全连接。在训练期间，人工神经网络可以暴露于其训练数据中的对，并且可以修改其参数以便能够在提供输入时预测该对的输出。
[0187]
人工智能说明了可以执行通常被认为需要人类智能的任务的计算机化系统。这里，所公开的人工智能系统可以执行图像(和其他数据)分析，在没有所公开的技术的情况下，其可能需要人类医生的技能和智慧。有益的是，所公开的人工智能系统可以在患者初次就诊时做出这样的预测，而不是需要30天的等待时间来评估伤口愈合。
[0188]
学习能力是智能的一个重要方面，因为没有这种能力的系统通常无法从经验中变得更加智能。机器学习是计算机科学的一个领域，其赋予计算机无需明确编程即可学习的能力，例如，使人工智能系统能够学习复杂的任务或适应变化的环境。所公开的机器学习系统可以通过暴露于大量标记的训练数据来学习以确定伤口愈合潜力。通过该机器学习，所
公开的人工智能系统可以学习伤口的外观(如在诸如msi等图像数据中捕获的)和伤口愈合潜力之间的新关系。
[0189]
所公开的人工智能机器学习系统包括计算机硬件，例如一个或多个存储器和一个或多个处理器，如参照本文中的各种成像系统所描述的。本技术的任何机器学习系统和/或方法可以在本公开的各种成像系统和装置的处理器和/或存储器上实施或与之通信。
[0190]
示例多光谱dfu成像实施方式
[0191]
在本文所公开的机器学习系统和方法的示例应用中，与上述一致的机器学习算法被用于预测在第0天成像之后的第30天成像伤口的面积减少百分比(par)。为了实现该预测，机器学习算法被训练成将msi数据和临床变量作为输入，并输出表示预测的par的标量值。30天之后，评估各伤口以测量其真实par。预测的par与在对伤口进行的30天愈合评估期间测量的真实par进行比较。使用决定系数(r2)对算法的性能进行评分。
[0192]
该示例应用的机器学习算法是决策树分类器的打包(bagging)集合，使用dfu图像的数据库中的数据进行拟合。其他合适的分类器集合也可以同样实现，诸如xgboost算法等。dfu图像数据库包含来自15名受试者的29幅糖尿病足溃疡单个图像。对于各图像，第30天测量的真实par是已知的。使用留一法交叉验证(loocv：leave-one-out cross-validation)程序进行算法训练。r2评分是在将来自loocv的每次折叠测试图像的预测结果结合之后计算的。
[0193]
msi数据由2d图像的8个通道组成，其中8个通道中的每个表示来自组织的光在特定波长滤波器处的漫反射率。各通道的视野为15cm
×
20cm，分辨率为1044
×
1408像素。8个波段包括：420nm
±
20nm；525nm
±
35nm；581nm
±
20nm；620nm
±
20nm；660nm
±
20nm；726nm
±
41nm；820nm
±
20nm；和855nm
±
30nm，其中
“±”
表示各光谱通道的半峰全宽。图26示出了8个波段。根据各通道，计算以下定量特征：所有像素值的平均值、所有像素值的中值和所有像素值的标准偏差。
[0194]
此外，根据各受试者，获得以下临床变量：年龄、慢性肾脏疾病水平、第0天dfu的长度和第0天dfu的宽度。
[0195]
使用从使用1个通道到8个通道的msi数据立方体中8个通道(波段)的所有可能组合中提取的特征生成单独的算法，总计c1(8) c2(8) ... c8(8)＝255个不同的特征集。计算各组合的r2值，并从小到大排序。r2值的95％置信区间是根据在各特征集上训练的算法的预测结果计算出的。为了确定特征集是否可以提供对随机机会的改进，识别出特征集，其中0.0的值不包含在对该特征集训练的算法结果的95％ci内。此外，同样的分析执行了额外的255次，包括每个特征集中的所有临床变量。为了确定临床变量是否对算法的性能有影响，使用t检验将使用临床变量训练的255种算法的平均r2值与不使用临床变量训练的255种算法进行比较。分析结果被示出于下表2和表3中。表2说明了仅包括图像数据而不包括临床表的特征集的性能。
[0196][0197]
表2.在不包括临床数据的特征集上开发的性能最佳的算法
[0198]
如表2所示，在不包括临床特征的特征集中，性能最佳的特征集仅包含msi数据中8个可能通道中的3个。据观察，726nm波段出现在所有前5个特征集中。在底部五个特征集中的每个中仅出现一个波段。进一步观察到，虽然726nm波段出现在前5个特征集中的每个中，但726nm波段在单独使用时表现得最差。下表3说明了特征集的性能，包括图像数据以及年龄、慢性肾脏疾病水平、第0天dfu长度和第0天dfu宽度的临床变量。
[0199][0200]
表3.在包含临床数据的特征集上开发的性能最佳的算法
[0201]
根据包含临床变量的特征集，性能最佳的特征集包含msi数据中的所有8个可能通道。855nm波段出现在所有前5个特征集中。图27中示出了包含和不包含临床变量的模型的直方图，以及表示各分布平均值的垂直线。
[0202]
在比较临床特征的重要性时，确定了没有临床变量的所有特征集之间的平均r2是否等于包含临床变量的所有特征集的平均r2。经确定，在没有临床变量的特征集上训练的模型的平均r2为0.31，而在包含临床变量的模型上训练的平均r2为0.32。在计算平均值之间的差异的t检验时，p值为0.0443。因此，确定使用临床变量训练的模型比没有临床特征训练的模型更准确。
[0203]
从图像数据中提取特征
[0204]
尽管上述示例应用提取了平均值、标准偏差和中位像素值，但是应当理解，可以从图像数据中提取各种其他特征以用于生成预测的愈合参数。特征类别包括局部、半局部和全局特征。局部特征可以表示图像块中的纹理，而全局特征可以包括轮廓表示、形状描述符和纹理特征。全局纹理特征和局部特征提供关于图像的不同信息，因为计算纹理的支持不同。在某些情况下，全局特征能够用单个向量概括整个对象。另一方面，局部特征是在图像中的多个点处计算的，因此对遮挡(occlusion)和杂波(clutter)更加稳健。然而，它们可能需要专门的分类算法来处理其中每个图像有可变数量的特征向量的情况。
[0205]
例如，局部特征可以包括尺度不变特征变换(sift：scale-invariant feature transform)、加速稳健特征(surf：speeded-up robust features)、来自加速段测试的特征(fast：features from accelerated segment test)、二进制稳健不变可扩展关键点(brisk：binary robust invariant scalable keypoints)、harris角点检测算子、二进制稳健独立基本特征(brief：binary robust independent elementary features)、定向fast和旋转brief(orb：oriented fast and rotated brief)以及kaze特征。例如，半局部特征可以包括小窗口中的边、样条、线和矩。例如，全局特征可以包括颜色、gabor特征、小波特征、傅里叶特征、纹理特征(例如，1阶、2阶和高阶矩)、来自1d、2d和3d卷积或隐藏层的神经网络特征以及主体成分分析(pca：principal component analysis)。
[0206]
示例rgb dfu成像应用
[0207]
作为预测愈合参数生成的另一示例，可以基于诸如来自摄影数码相机等的rgb数据使用类似的msi方法。在这种情况下，该算法可以从rgb图像以及可选地受试者的病史或其他临床变量获取数据，并且输出诸如指示dfu是否会对30天的标准伤口护理治疗做出反应的条件概率等预测的愈合参数。在一些实施例中，条件概率是在给定由θ参数化的模型的输入数据x的情况下所讨论的dfu未愈合的概率；其写成：p
模型
(y＝”未愈合”|x；θ)。
[0208]
rgb数据的评分方法可能会类似于上述示例msi应用的评分方法。在一个示例中，预测的未愈合区域可以与在对诸如dfu等伤口进行的30天愈合评估期间测量的真实未愈合区域进行比较。这种比较表示算法的性能。用于执行该比较的方法可能基于这些输出图像的临床结果。
[0209]
在该示例应用中，由愈合预测算法生成的各预测愈合参数可能有四种结果。在真阳性(tp：true positive)结果中，伤口显示少于50％的面积减少(例如，dfu未愈合)，并且算法预测少于50％的面积减少(例如，装置输出未愈合预测)。在真阴性(tn：true negative)结果中，伤口显示至少50％的面积减少(例如，dfu正在愈合)，并且算法预测至少50％的面积减少(例如，装置输出愈合预测)。在假阳性(fp：false positive)结果中，伤口显示至少50％的面积减少，但算法预测少于50％的面积减少。在假阴性(fn：false negative)结果中，伤口显示少于50％的面积减少，但算法预测至少50％的面积减少。在对实际愈合进行预测和评估之后，可以使用准确率、灵敏度和特异性的性能指标来总结这些结果，如下表4所示。
[0210][0211]
表4.用于评估图像预测的标准性能指标
[0212]
回顾性地获得了dfu图像的数据库，其中包括来自82名受试者的149幅糖尿病足溃疡的单个图像。在该数据集中的dfu中，69％被认为是“愈合”，因为它们在第30天达到了50％ par的目标。平均伤口面积为3.7cm2，并且中位数伤口面积为0.6cm2。
[0213]
彩色摄影图像(rgb图像)被用作所开发模型的输入数据。rgb图像由2d图像的3个通道组成，其中3个通道中的每个表示来自组织的光在传统彩色相机传感器中使用的波长下的漫反射率。由临床医生使用便携式数码相机捕获图像。成像仪、工作距离和视野(fov：field-of-view)的选择在图像之间不同。在算法训练之前，手动裁剪图像以确保溃疡位于fov的中心。裁剪之后，图像被插值为3个通道
×
256像素
×
256像素的图像大小。在该插值步骤期间，未控制保持原始图像的宽高比。然而，如果需要，可以在所有这些预处理步骤中保持宽高比。从各受试者中，还获得了一组临床数据(例如，临床变量或健康指标值)，包括他们的病史、既往伤口和血液检查。
[0214]
为该分析开发了两种类型的算法。每种算法的目标是初步确定图像数据的新表示，该表示可以与传统机器学习分类方法中的患者健康指标相结合。有许多可用的方法来生成这种图像表示，诸如主体成分分析(pca)或尺度不变特征变换(sift)等。在该示例中，卷积神经网络(cnn)用于将图像从矩阵(尺寸为3个通道
×
265像素
×
256像素)转换为中的向量。在一个示例中，使用一种单独训练的无监督方法来压缩图像，然后使用机器学习来预测dfu愈合。在第二示例中，使用端到端监督方法来预测dfu愈合。
[0215]
在无监督特征提取方法中，使用自动编码器算法，例如，与图24的方法一致。在图28中示意性地示出了示例自动编码器。自动编码器包括编码器模块和解码器模块。编码器模块是16层的vgg卷积网络。第16层表示压缩图像表示。解码器模块是16层的vgg网络，添加了上采样功能并消除了池化功能。对于解码器层输出的各预测像素值(在中)，都使用均方误差(mse：mean square error)计算损失，其中目标值是原始图像的像素值。
[0216]
自动编码器使用pascal视觉目标分类(voc：visual object classes)数据进行预训练，并使用当前数据集中的dfu图像进行微调。包含3个通道
×
265像素
×
256像素(总共65，536个像素)的单个图像被压缩为50个数据点的单个向量。训练完成后，数据集中的所有图像都使用相同的编码器-解码器算法。
[0217]
在提取压缩图像向量时，压缩图像向量被用作第二监督机器学习算法的输入。使用各种机器学习算法(包括逻辑回归、k-最近邻、支持向量机和各种决策树模型)测试图像特征和患者特征的组合。图29示意性地示出了使用压缩图像向量和患者临床变量作为输入
来预测dfu愈合的示例监督机器学习算法。机器学习算法可以是诸如多层感知器、二次判别分析、朴素贝叶斯或这种算法的集合等各种已知的机器学习算法中的一者。
[0218]
图30示意性地示出了作为上述无监督特征提取方法的替代方法进行研究的端到端机器学习方法。在端到端方法中，在通过将患者健康指标数据级联到图像向量的最初完全连接层处对16层vgg cnn进行了修改。以这种方式，可以同时训练编码器模块和随后的机器学习算法。已经提出了包括全局变量(例如，患者健康指标或临床变量)以提高cnn性能或改变cnn目的的其他方法。最广泛使用的方法是逐特征线性调制(film：feature-wise linear modulation)生成器。对于监督机器学习算法，使用k倍交叉验证程序执行训练。各图像的结果被计算为真阳性、真阴性、假阳性或假阴性中的一种。使用上表4中所述的性能指标总结了这些结果。
[0219]
图28和图29的无监督特征提取(自动编码器)和机器学习方法的预测准确度是使用七种不同的机器学习算法和三种不同的输入特征组合获得的，如图31所示。每种算法都使用3倍交叉验证来训练并报告平均准确度(
±
95％置信区间)。仅两种使用这种方法训练的算法超过了基线准确度。当朴素分类器简单地将所有dfu预测为愈合时，就会出现基线准确度。超过基线的两种算法是逻辑回归和支持向量机，包括图像数据和患者数据的组合。用于预测dfu愈合并用于这些模型的重要患者健康指标包括：伤口面积；体重指数(bmi)；既往伤口的数量；血红蛋白a1c(hba1c)；肾功能衰竭；ii型vs.i型糖尿病；贫血；哮喘；药物使用；吸烟状况；糖尿病性神经病变；深静脉血栓(dvt)；或既往心肌梗塞(mi)及其组合。
[0220]
使用图30的端到端机器学习方法的结果表明性能明显优于基线，如图32所示。虽然这种方法并不明显优于无监督方法，但是平均准确度高于尝试的任何其他方法。
[0221]
伤口区域子集的愈合预测
[0222]
在进一步的示例实施例中，除了针对整个伤口生成单个愈合概率之外，本技术的系统和方法还能够预测在标准伤口护理30天后不会愈合的单个伤口内的组织区域。为了实现这个输出，机器学习算法被训练成将msi或rgb数据作为输入，并针对伤口部分(例如，伤口图像中的单个像素或像素子集)生成预测的愈合参数。本技术可以进一步训练成输出诸如图像等视觉表示，其突出显示预测不会在30天内愈合的溃疡组织区域。
[0223]
图33示出了愈合预测和生成视觉表示的示例过程。如图33所示，获得光谱数据立方体，如本文其他部分所述。该数据立方体被传递给机器学习软件进行处理。机器学习软件可以实施以下步骤的部分或全部：预处理、机器学习伤口评估模型和后处理。机器学习模块输出条件概率图，由后处理模块进行处理(例如，概率阈值)以生成结果，然后可以以分类图像的形式在视觉上输出给用户。如图33中输出给用户的图像所示，系统可以使伤口的图像显示给用户，使得愈合像素和未愈合像素以不同的视觉表示形式显示。
[0224]
图33的过程被应用于一组dfu图像，并且预测的未愈合区域与在dfu上进行的30天愈合评估期间测量的真实未愈合区域进行比较。这种比较表示算法的性能。用于执行这种比较的方法基于这些输出图像的临床结果。dfu图像数据库包含来自19名受试者的28幅糖尿病足溃疡的单个图像。对于每张图像，已知在标准伤口护理30天后未愈合的真实伤口区域。使用留一法交叉验证(loocv)程序进行算法训练。各图像的结果被计算为真阳性、真阴性、假阳性或假阴性中的一者。使用上表4中所述的性能指标总结了这些结果。
[0225]
卷积神经网络被用于针对各输入图像生成条件概率图。该算法包括输入层、卷积层、反卷积层和输出层。msi或rgb数据通常被输入到卷积层。卷积层通常由卷积阶段(例如，仿射变换)组成，其输出又被用作检测器阶段的输入(例如，诸如整流线性[relu]等非线性变换)，其结果可能会经过进一步的卷积和检测器阶段。这些结果可以通过池化函数进行下采样，或者可以直接用作卷积层的结果。卷积层的结果作为输入提供给下一层。反卷积层通常从反向池化层开始，然后是卷积和检测器阶段。通常，这些层按输入层、卷积层和反卷积层的顺序进行组织。这种组织通常被称为首先具有编码器层，然后具有解码器层。输出层通常由多个完全连接的神经网络组成，这些神经网络应用于从前一层输出的张量的一个维度上的各向量。这些完全连接的神经网络的结果的集合是被称为条件概率图的矩阵。
[0226]
条件概率图中的各条目表示原始dfu图像的区域。该区域可以是与输入msi图像中的像素的1对1映射，或者是n对1映射，其中n是原始图像中像素的一些集合。该图中的条件概率值表示图像的该区域中的组织不会对标准伤口护理做出反应的概率。结果是对原始图像中的像素进行分割，其中预测的未愈合区域与预测的愈合区域分割开来。
[0227]
卷积神经网络中一层的结果可以通过来自其他来源的信息进行修改。在该示例中，来自受试者的病史或治疗计划的临床数据(例如，本文所述的患者健康指标或临床变量)可以用作该修改的来源。因此，卷积神经网络的结果可以以非成像变量的水平为条件。为此，逐特征线性变换(film)层可以被合并到图34所示的网络架构中。film层是一种机器学习算法，其被训练成学习应用于卷积神经网络中的一个层的仿射变换的参数。该机器学习算法的输入是值的向量，在这种情况下是患者健康指标值或临床变量形式的临床相关患者病史。这种机器学习算法的训练可以与卷积神经网络的训练同时完成。具有不同输入和机器学习算法的一个或多个film层可以应用于卷积神经网络的各个层。
[0228]
条件概率映射的输入数据包括多光谱成像(msi)数据和彩色摄影图像(rgb图像)。msi数据由2d图像的8个通道组成，其中8个通道中的每个表示来自组织的光在特定波长滤波器处的漫反射率。各通道的视野为15cm
×
20cm，分辨率为1044
×
1408像素。如图26所示，8个波长包括：420nm
±
20nm；525nm
±
35nm；581nm
±
20nm；620nm
±
20nm；660nm
±
20nm；726nm
±
41nm；820nm
±
20nm；和855nm
±
30nm。rgb图像包括2d图像的3个通道，其中3个通道中的每个表示来自组织的光在传统彩色相机传感器中使用的波长下的漫反射率。各通道的视野为15cm
×
20cm，分辨率为1044
×
1408像素。
[0229]
为了基于愈合概率执行图像分割，使用被称为segnet的cnn架构。如原作者所述，该模型用于将rgb图像作为输入和输出条件概率图。此外，其被修改为在输入层中使用8通道msi图像。最后，segnet架构被修改为包含一个film层。
[0230]
为了证明可以将dfu图像分割成愈合和未愈合区域，开发了分别使用不同的输入的各种深度学习模型。这些模型使用以下两个输入特征类别：单独的msi数据和单独的rgb图像。除了改变输入特征之外，算法训练的许多方面也不同。这些变化中的一些变化包括使用pascal视觉对象分类(voc)数据集对模型进行预训练，使用另一种类型的组织伤口的图像数据库对模型进行预训练，使用滤波器组预先指定输入层的内核、提前停止、算法训练期间的随机图像增强以及在推理期间对随机图像增强的结果进行平均以生成单个聚合条件概率图。
[0231]
两个特征输入类别中性能最佳的两个模型被确定为比随机机会表现更好。随着
rgb数据被msi数据取代，结果得到改善。基于图像的错误数量从9个减少到7个。然而，已经确定msi和rgb方法对于生成dfu愈合潜力的条件概率图都是可行的。
[0232]
除了确定segnet架构可以针对伤口图像产生期望的分割准确度之外，还确定了其他类型的伤口图像可能出乎意料地适用于训练系统，以基于用于愈合的条件概率映射分割dfu图像或其他伤口图像。如上所述，当使用dfu图像数据作为训练数据进行预训练时，segnet cnn架构可能适用于dfu图像分割。然而，在某些情况下，对于某些类型的伤口，可能无法获得适当大量的训练图像。图35示出了示例彩色dfu图像(a)，以及通过不同的分割算法将dfu分割为预测的愈合和未愈合区域的四个示例。在初始评估当天捕获的图像(a)中，虚线指示在4周后的后续评估中被确定为未愈合的伤口部分。在图像(b)-(e)中，各相应的分割算法产生由阴影指示的预测的未愈合组织的部分。如图像(e)所示，使用烧伤图像数据库而非dfu图像数据库进行预训练的segnet算法仍然产生对与图像(a)中的虚线的轮廓非常匹配的未愈合组织区域的高度准确的预测，与经验性地确定的未愈合区域相对应。相比之下，使用dfu图像数据训练的朴素贝叶斯线性模型(图像(b))、使用dfu图像数据训练的逻辑回归模型(图像(c)以及使用pacal voc数据预训练的segnet(图像(d)全部显示出较差的结果，图像(b)-(d)中的每个都指示更大且形状不准确的未愈合组织区域。
[0233]
dfu图像的示例单个波长分析
[0234]
在进一步的示例实施方式中，已经发现在第30天伤口的面积减少百分比(par)和/或条件概率图形式的分割可以进一步基于单个波段的图像数据来执行，而不是使用msi或rgb图像数据。为了实现这种方法，机器学习算法被训练成将从单个波段图像中提取的特征作为输入，并输出表示预测的par的标量值。
[0235]
所有图像均根据机构审查委员会(irb：institutional review board)批准的临床研究方案从受试者获得。该数据集包含从17名受试者获得的28幅糖尿病足溃疡的单个图像。各受试者在他们初次就诊以治疗伤口时进行成像。伤口的最长尺寸至少有1.0cm宽。研究中仅包括规定标准伤口护理治疗的受试者。为了确定治疗30天后的真实par，临床医生在常规随访期间进行了dfu愈合评估。在该愈合评估中，收集了伤口图像并将其与第0天拍摄的图像进行比较，以准确量化par。
[0236]
可以使用诸如分类器集合等各种机器学习算法。该分析中使用了用于回归的两种机器学习算法。一种算法是决策树分类器(袋装树)的装袋集合，并且第二种算法是随机森林集合。用于训练机器学习回归模型的所有特征都是从在研究中包括的dfu初次就诊时的治疗之前获得的dfu图像中获得的。
[0237]
各dfu的八个灰度图像是从可见光和近红外光谱中的独特波长获得的。每张图像的视野大约为15cm
×
20cm，分辨率为1044
×
1408像素。如图26所示，使用一组具有以下波段的光学带通滤波器选择八个独特的波长：420nm
±
20nm；525nm
±
35nm；581nm
±
20nm；620nm
±
20nm；660nm
±
20nm；726nm
±
41nm；820nm
±
20nm；和855nm
±
30nm。
[0238]
对于各像素，各原始1044
×
1408像素图像包括针对该像素的反射强度值。基于反射强度值计算定量特征，包括反射强度值的第一和第二阶矩(例如，平均值和标准偏差)。另外，还计算了中位值。
[0239]
在这些计算之后，一组滤波器可以可选地分别应用于原始图像以生成多个图像变换。在一个特定示例中，可以使用总共512个滤波器，每个滤波器的尺寸为7
×
7像素或另一
种合适的内核大小。图36说明了可以在示例实施方式中使用的一组示例512 7
×
7滤波器内核。可以通过训练用于dfu分割的卷积神经网络(cnn)来获得该非限制性示例一组滤波器。图36中所示的512个滤波器是从cnn输入层中的第一组内核中获得的。这些滤波器的“学习”通过限制它们的权重更新来规范化，以防止与滤波器组中包含的gabor滤波器发生较大偏差。
[0240]
滤波器可以通过卷积应用于原始图像。从这些滤波器卷积产生的512幅图像中，可以构建一个3d矩阵，其尺寸为512个通道
×
1044像素
×
1408像素。然后可以从这个3d矩阵计算附加特征。例如，在一些实施例中，可以计算3d矩阵的强度值的平均值、中位值和标准偏差作为另一特征以输入到机器学习算法中。
[0241]
除了上述六个特征(例如，原始图像和通过将卷积滤波器应用于原始图像而构建的3d矩阵的像素值的平均值、中位值和标准偏差)之外，还可以根据需要进一步包括附加特征和/或这些特征的线性或非线性组合。例如，两个特征的乘积或比例可以用作算法的新输入特征。在一个示例中，平均值和中位值的乘积可以用作附加的输入特征。
[0242]
使用留一法交叉验证(loocv)程序进行算法训练。一个dfu被选择用于测试集，并且剩余的dfu图像用作训练集。训练后，该模型用于预测保留的dfu图像的面积减少百分比。完成此操作后，将保留图像返回到完整的dfu图像集，以便可以使用不同的保留图像重复该过程。重复loocv，直到各dfu图像都成为保留集的一部分。在交叉验证的每次折叠中累积测试集结果之后，计算了模型的整体性能。
[0243]
各dfu图像的预测面积减少百分比与对dfu进行30天愈合评估期间测量的真实面积减少百分比进行比较。使用决定系数(r2)对算法的性能进行评分。r2值用于确定各单个波长的效用，这是dfu面积减少百分比的方差比例的量度，其由从dfu图像中提取的特征来解释。r2值被定义为：
[0244][0245]
其中yi是dfui的真实par，是数据集中所有dfu的平均par，并且f(xi)是dfui的预测par。r2值的95％置信区间是根据在各特征集上训练的算法的预测结果计算得出的。使用下式计算95％ci：
[0246][0247]
其中，
[0248][0249]
在该等式中，n是数据集中dfu图像的总数，并且k是模型中预测值的总数。
[0250]
目标是确定八个单独波长中的每个都可以在回归模型中独立使用，以获得明显优于随机机会的结果。为了确定特征集是否可以提供优于随机机会的改进，确定了特征集，其中零不包含在用于在该特征集上训练的算法的r2的95％ci中。为此，进行了八次单独的实验，其中使用以下六个原始特征训练模型：原始图像的平均值、中位值和标准偏差；以及通过应用卷积滤波器由原始图像变换生成的3d矩阵的平均值、中位值和标准偏差。训练了随机森林和袋装树模型。报告了该算法在交叉验证中具有卓越性能的结果。审查这八个模型
的结果以确定下限95％ci是否高于零。如果不是，则使用由六个原始特征的非线性组合生成的附加特征。
[0251]
使用六个原始特征，所检查的八个波长中的七个可以用于生成回归模型，其解释了dfu数据集中面积减少百分比的显著差异。从最有效到最无效的顺序，七个波长为：660nm；620nm；726nm；855nm；525nm；581nm；和420nm。如果将3d矩阵的平均值和中位值的乘积作为附加特征包括在内，则发现最终波长820nm是显著的。这些试验的结果总结在表5中。
[0252][0253][0254]
表5.针对八种独特波长图像开发的回归模型结果
[0255]
因此，已经表明，本文所述的成像和分析系统和方法甚至基于单个波段图像也能够准确地生成一个或多个预测的愈合参数。在一些实施例中，单个波段的使用可以有助于从图像计算一个或多个聚合定量特征，诸如原始图像数据和/或一组图像或通过对原始图像数据应用一个或多个滤波器生成的3d矩阵的平均值、中位值或标准偏差。
[0256]
示例伤口图像分割系统和方法
[0257]
如上所述，可以使用本文所述的机器学习技术来分析包括单个波长或多个波长下的反射率数据的光谱图像，以可靠地预测与伤口愈合相关的参数，诸如整体伤口愈合(例如，面积减少百分比)和/或与伤口的部分相关联的愈合(例如，与伤口图像的单个像素或像素子集相关联的愈合概率)。此外，本文所公开的一些方法至少部分地基于聚合的定量特征来预测伤口愈合参数，该定量特征例如是基于伤口图像的像素子集计算的诸如平均值、标准偏差、中位值等统计量，该伤口图像被确定为“伤口像素”或对应于伤口组织区域而非愈伤组织、正常皮肤、背景或其他非伤口组织区域的像素。因此，为了改进或优化基于一组伤口像素的这种预测的准确性，优选准确地选择伤口图像中的伤口像素子集。
[0258]
通常，例如由检查图像并基于图像选择一组伤口像素的医生或其他临床医生手动执行将诸如dfu的图像等图像分割成伤口像素和非伤口像素。然而，这种手动分割可能是耗
时、低效的，并且可能容易出现人为错误。例如，用于计算面积和体积的公式缺乏测量伤口凸面形状所需的准确度和精确度。另外，识别伤口的真实边界和诸如上皮细胞生长等伤口内组织的分类需要高水平的能力。由于伤口测量值的变化通常是用于确定治疗效果的关键信息，因此初始伤口测量值的错误可能导致不正确的治疗决定。
[0259]
为此，本技术的系统和方法适用于伤口边缘的自动检测和伤口区域中组织类型的识别。在一些实施例中，本技术的系统和方法可以被构造成用于将伤口图像自动分割成至少伤口像素和非伤口像素，使得基于伤口像素子集计算的任何聚合定量特征都达到期望水平的准确性。此外，期望实现能够将伤口图像分割成伤口和非伤口像素和/或伤口或非伤口像素的一个或多个子类的系统或方法，而不必进一步生成预测的愈合参数。
[0260]
可以使用伤口的彩色照片开发糖尿病足溃疡图像的数据集。各种彩色相机系统可以用于获取该数据。在一个示例实施方式中，总共使用了349张图像。受过训练的医生或其他临床医生可以使用软件程序来识别和标记各伤口图像中的伤口、愈伤组织、正常皮肤、背景和/或任何其他类型的像素类别。被称为基准真值掩膜的所得到的标记图像可以包括与图像中标记类别的数量相对应的多种颜色。图37示出了dfu(左)和相应的基准真值掩膜(右)的示例图像。图37的示例基准真值掩膜包括对应于背景像素的紫色区域、对应于愈伤组织像素的黄色区域和对应于伤口像素的青色区域。
[0261]
基于一组基准真值图像，卷积神经网络(cnn)可以用于这些组织类别的自动分割。在一些实施例中，算法结构可以是具有多个卷积层的浅u-net。在一个示例实施方式中，使用31个卷积层实现期望的分割结果。然而，可以应用许多其他图像分割算法来实现所需的输出。
[0262]
在示例分割实施方式中，dfu图像数据库被随机分成三组，其中269个训练集图像用于算法训练，40个测试集图像用于超参数选择，并且40个验证集图像用于验证。使用梯度下降训练该算法，并且监控测试集图像的准确率。当测试集准确率最大化时，算法训练停止。然后使用验证集确定该算法的结果。
[0263]
验证集中各图像的u-net算法的结果与其对应的基准真值掩膜进行比较。这种比较是在逐个像素的基础上进行的。在三种组织类型的每个中，这种比较使用以下类别进行了总结。真阳性(tp)类别包括感兴趣的组织类型存在于基准真值掩膜中的像素处的像素总数，并且模型预测组织类型存在于该像素处。真阴性(tn)类别包括感兴趣组织类型不存在于基准真值掩膜中的像素处的像素总数，并且模型预测该像素处不存在组织类型。假阳性(fp)类别包括感兴趣的组织类型不存在于基准真值掩膜中的像素处的像素总数，并且模型预测组织类型存在于该像素处。假阴性(fn)类别包括感兴趣的组织类型存在于基准真值掩膜中的像素处的像素总数，并且模型预测该像素处不存在组织类型。使用以下指标总结了这些结果：
[0264]
准确率：
[0265][0266]
其中n是验证集中的像素总数。
[0267]
平均分割评分：
[0268]
[0269]
其中c表示三种组织类型。
[0270]
平均交并比(iou：intersection over union)：
[0271][0272]
其中c表示三种组织类型。
[0273]
在一些实施例中，算法训练可以在多个历元(epoch)上进行，并且可以确定准确度被优化处的中间数量的历元。在本文所述的示例实施方式中，图像分割的算法训练在80个历元内进行。在监控训练时，确定历元73达到了测试数据集的最佳精度。
[0274]
u-net分割算法的性能计算精度优于随机机会。u-net也优于所有三种可能的朴素方法，其中使用朴素分类器总是预测一个组织类别。无论潜在的过度拟合问题如何，验证集上的模型性能都能够基于这些汇总指标证明可行性。
[0275]
图38示出了结合本文所述的方法使用u-net分割算法的伤口图像分割的三个示例结果。对于右列中的三个示例dfu图像中的每个，如本文所述训练的u-net分割算法生成中间列中所示的自动图像分割输出。在图38的左列中示出了对应于各dfu图像的手动生成的基准真值掩膜，直观地说明了可以使用本文所述的方法获得的高分割准确度。
[0276]
基于光学地确定组织特征的愈合预测
[0277]
在一些实施例中，如本文所述的伤口状态或愈合的评估和/或预测可以至少部分地基于包括伤口或其一部分的组织区域或围绕伤口的至少一部分的组织的一个或多个光学确定的特征。在某些情况下，可以基于一个或多个光学确定的特征来确定多个光学生物标记。
[0278]
如上所述，本技术包括被构造成在初始患者评估时识别对标准伤口护理治疗没有反应的诸如糖尿病足溃疡(dfu)或其他伤口等伤口或其部分的诊断装置和方法。在各种实施例中，本文所公开的装置能够测量来自伤口和周围组织(例如，伤口周围组织)的被称为光学生物标记的许多光学确定的组织特征。在本技术中，光学生物标记被定义为指示伤口对标准伤口护理治疗的反应的伤口和伤口周围组织的可测量特征。
[0279]
已经使用统计方法筛选了使用本文所公开的成像系统获得的新型光学生物标记及其组合，以确定诸如dfu和其他伤口等伤口愈合的最有用标记。筛选后，采用多变量机器学习(ml)算法分析光学生物标记并计算伤口对30天的标准伤口护理治疗的反应概率。
[0280]
本技术的光学生物标记的使用可以具有许多优点，包括但不一定限于以下中的至少一些。首先，使用光谱图像而非先前研究中使用的简单彩色照片来计算光学生物标记。其次，已经为标记提取实施了多种计算方法。第三，使用稳健的统计管道来选择最有用的光学生物标记用于机器学习算法开发。最后，与深度学习相比，所采用的机器学习算法具有高度可解释性，并且需要更少的训练数据点，从而减少开发时间和成本。
[0281]
本技术的光学确定的组织特征可以使用本文所述的任何成像装置基于可见光和近红外光谱的信息来确定。在一些实施例中，这可以允许对伤口组织进行彩色相机无法实现的更全面的分析，诸如区分上皮组织与肉芽组织的能力等。成像装置可以被构造为在任何合适的范围内，例如在400-1100nm之间捕获至少一种和最多八种以上的波长。在一些实施例中，所选择的一个或多个波长可以包括以下中的一种或多种：420、525、581和/或855nm，以评估血红蛋白浓度和氧饱和度；760nm，用于评估脂肪组织和脱氧血红蛋白；和/或
620、660和/或820nm的附加波长，被发现可改善猪模型中伤口组织生存力的预测。
[0282]
使用本技术的光学确定的组织特征可以允许计算方法从伤口图像中提取多达1,499个光学生物标记。我们利用与健康肉芽组织、伤口床足够的血液灌注和氧合作用以及dfu周围组织的生存力相关的标记。光学确定的组织特征可以表示伤口的以下特征：伤口的物理尺寸(physical dimensions)，包括长度、宽度、面积和圆度，伤口周围是否存在愈伤组织；伤口床组织灌注、氧合作用和/或均质性；和/或溃疡周围组织灌注、氧合作用和/或均质性。
[0283]
本技术为伤口愈合预测提供了高度可解释的算法，同时减少了这种开发所需的训练数据量。应当理解，虽然大量的光学生物标记可以基于伤口的图像来确定，但是可能只需要生成的光学生物标记的一部分来充分预测伤口愈合。
[0284]
为了利用多个光学生物标记进行伤口愈合预测，使用了多变量分类算法。深度学习是这一步的一个强有力的选择；然而，深度学习需要比机器学习算法(n＝100个受试者)大一至两个数量级的数据集(n＝1,000-10,000个受试者)，并且各输入变量对最终结果的贡献目前很难甚至不可能进行解释。为了避免这两个问题，可以使用高度可解释的算法将生物标记结合到一个伤口评估中。贝叶斯网络和逻辑回归是用于进行多变量预测的稳健工具。重要的是，它们允许组合多种数据类型(例如，二进制和连续变量)，同时保持解释各标记对结果的贡献的透明度。
[0285]
已经凭经验确定光学确定的组织特征在伤口评估和愈合预测中的实用性，以在愈合预测中提供有益效果。使用自动图像处理管道获得来自伤口和伤口周围组织的光学确定的组织特征。首先，可以训练算法(例如，利用u-net架构的算法)来分割图像。图39示出了依据本技术的机器学习系统和方法对包括伤口或伤口的一部分的组织区域的图像进行分割的示例。如图39所示，原始图像(a)可以被分割，以确定被愈伤组织区域包围的包括中心伤口或伤口床区域的分割图像(b)的区域，而愈伤组织区域又被背景区域包围。在一些实施例中，分割图像(c)还可以包括多个伤口周围区域。
[0286]
一旦识别了伤口床和愈伤组织，就可以计算伤口床的几何形状。例如，可以计算长度(例如，伤口长轴的长度)、宽度(例如，伤口短轴的长度)、面积和/或偏心率或圆度。例如，也可以将愈伤组织的存在或不存在作为二进制变量来记录。如图像(c)所示，可以识别伤口周围区域。在图39的示例分割中，勾勒出七个伤口周围区域，每个区域包含越来越大的伤口周围组织区域。从伤口床和伤口周围区域，可以进一步计算灌注、氧合作用和组织均质性。下表6中提供了光学生物标记的示例组。
[0287][0288]
表6.基于光学确定的组织特征确定的1,499个光学生物标记的示例组
[0289]
尽管可以确定大量的光学生物标记，但是可能期望选择较小组的有用生物标记以防止过度拟合，从而便于解释装置的愈合预测，并且减少生物标记验证期间对大量数据的需求。标记选择是使用l1(套索(lasso))正规化、特征重要性和前向逐步选择来完成的。从每种方法中，获得了最好的一组标记并将其用于算法开发(图4)。这些特征被聚合在一个多变量朴素贝叶斯模型中，以创建伤口预测。这项初步工作的结果是预测糖尿病足溃疡对标准伤口护理治疗的伤口反应的一种算法，其具有100％的灵敏度(8个未愈合的dfu中的8个正确)和91％的特异性(11个愈合dfu中有10个正确)。
[0290]
在示例应用中，在初次患者就诊时收集了糖尿病足溃疡的多光谱图像。成像装置上配备的照明led导光束确保了一致的成像参数，包括40cm的工作距离和15
×
20cm的视野。记录用于各dfu的伤口处理，以确保所有受试者的一致性。进行了30天的愈合评估，其包括临床医生根据标准化愈合评估方案在第30天注释包含被(或未被)上皮化的区域的每个伤口的照片。通过对第0天和第30天图像的形态测量分析来完成伤口的面积减少百分比的高度准确的测量。各图像中都放置有标尺，以改进这些伤口测量的校准。
[0291]
图40示出了示例光学确定的组织特征，如本文所述，其可以基于伤口或其部分的图像来确定。左侧示出了组织区域的原始图像。可以使用一个或多个光的波长制作组织区域的图像，并且可以是例如单一波长图像或多光谱图像。可以使用本文所公开的任何图像分割方法来自动分割图像。例如，如分割图像(a)所示，图像可以被分割以识别由愈伤组织像素和背景像素包围的伤口像素，从而确定愈伤组织的存在或不存在。图像(b)示出了基于伤口像素和愈伤组织像素之间的边界对对应于伤口长轴的伤口长度的测量。图像(c)和(d)示出了使用局部二进制模式方法基于伤口像素来确定伤口床组织的均质性。图像(e)和(f)分别示出了基于图像分割的两个光学确定的伤口周围区域在820nm和855nm处的方差。
[0292]
基于光学确定的组织特征的愈合预测的示例结果
[0293]
背景：糖尿病足溃疡(dfu)患者在实施高级治疗之前接受30天的标准伤口护理(swc)。如果仅使用swc不能治愈，这种“观望”方法可能会导致不良结果并增加dfu治疗的总体成本。在能够预测dfu愈合潜力的初始评估期间完成的伤口成像可以解决这些问题。
[0294]
方法：我们实施了一项经irb批准的前瞻性临床试验，以评估多光谱成像装置在预测dfu愈合潜力方面的性能。患者在其dfu的初始评估期间被登记和成像。仅在swc 30天后完成了标准化的dfu愈合评估，并且dfu被分级为“未愈合”，伤口面积减少百分比少于50％。计算机视觉算法被用于从多光谱图像中提取诸如溃疡尺寸和伤口床颜色等1,500个光学生物标记。训练机器学习(ml)算法，以识别仅使用swc最能预测dfu愈合潜力的生物标记。使用标准交叉验证技术来评估算法性能。
[0295]
结果：共纳入具有41个dfu的32例患者并完成标准化随访。其中，19个dfu(46％)在swc 30天后未愈合。算法验证证明了对未愈合dfu的预测的94.8％的准确度、100％的灵敏度和91.0％的特异性。
[0296]
结论：这一初步数据表明，多光谱成像与ml算法相结合可以提高仅使用swc对dfu愈合潜力的预测，并指导dfu患者的初始治疗决策。
[0297]
术语
[0298]
本文所述的所有方法和任务都可以由计算机系统执行并且完全自动化。在某些情况下，计算机系统可以包括多个不同的计算机或计算装置(例如，物理服务器、工作站、存储
阵列、云计算资源等)，它们通过网络进行通信和互连操作以执行所述的功能。每个这样的计算装置通常包括执行存储在存储器或其他非暂时性计算机可读存储介质或装置(例如，固态存储装置、磁盘驱动器等)中的程序指令或模块的处理器(或多个处理器)。本文所公开的各种功能可以体现在这样的程序指令中，或者可以在计算机系统的专用电路(例如，asic或fpga)中实现。在计算机系统包括多个计算装置的情况下，这些装置可以但不必位于同一位置。所公开的方法和任务的结果可以通过将诸如固态存储器芯片或磁盘等物理存储装置转换成不同的状态来持久地存储。在一些实施例中，计算机系统可以是基于云的计算系统，其处理资源由多个不同的商业实体或其他用户共享。
[0299]
所公开的过程可以在由用户或系统管理员发起时按需响应于事件而开始，例如按照预定或动态确定的时间表，或者响应于一些其他事件而开始。当启动该过程时，存储在一个或多个非暂时性计算机可读介质(例如，硬盘驱动器、闪存、可移动介质等)上的一组可执行程序指令可以被加载到服务器或其他计算装置的存储器(例如，ram)中。然后，可执行指令可以由计算装置的基于硬件的计算机处理器执行。在一些实施例中，可以在多个计算装置和/或多个处理器上串行或并行地实现该过程或其部分。
[0300]
根据实施例，本文所述的任何过程或算法的某些动作、事件或功能可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有所述的操作或事件对于算法的实践都是必需的)。此外，在某些实施例中，操作或事件可以例如通过多线程处理、中断处理或多个处理器或处理器内核或在其他并行架构上同时执行，而不是顺序执行。
[0301]
结合本文公开的实施例描述的各种说明性逻辑块、模块、例程和算法步骤可以被实现为电子硬件(例如，asic或fpga装置)、在计算机硬件上运行的计算机软件或两者的组合。此外，结合本文公开的实施例描述的各种说明性逻辑块和模块可以由诸如处理器装置、数字信号处理器(“dsp”)、专用集成电路(“asic”)、现场可编程门阵列(“fpga”)或其他可编程逻辑装置、分立门或晶体管逻辑、分立硬件部件或被设计为执行本文所述的功能的其任何组合等机器来实现或执行。处理器装置可以是微处理器，但在替代方案中，处理器装置可以是控制器、微控制器或状态机、它们的组合等。处理器装置可以包括被构造成处理计算机可执行指令的电路。在另一实施例中，处理器装置包括执行逻辑运算而不处理计算机可执行指令的fpga或其他可编程装置。处理器装置也可以被实现为计算装置的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp内核结合的一个或多个微处理器或任何其他这样的配置。尽管本文主要针对数字技术进行了说明，但是处理器装置也可以主要包括模拟部件。例如，本文所述的一些或所有渲染技术可以在模拟电路或混合的模拟和数字电路中实现。计算环境可以包括任何类型的计算机系统，包括但不限于基于微处理器、大型机、数字信号处理器、便携式计算装置、装置控制器或设备内部的计算引擎的计算机系统，仅举几例。
[0302]
结合本文所公开的实施例描述的方法、过程、例程或算法的要素可以直接体现在硬件中、由处理器装置执行的软件模块中或两者的组合中。软件模块可以驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或任何其他形式的非暂时性计算机可读存储介质中。示例存储介质可以连接到处理器装置，使得处理器装置可以从该存储介质读取信息并且将信息写入该存储介质。在替代方案中，存储介质可以与处理器装置集成在一起。处理器装置和存储介质可以驻留在asic中。asic可
以驻留在用户终端中。或者，处理器装置和存储介质可以作为分立部件驻留在用户终端中。
[0303]
除非另有具体说明或在所使用的上下文中以其他方式理解，否则本文使用的条件语言，例如“可以”、“能够”、“可能”、“可能会”、“例如”等，通常旨在传达某些实施例包括而其他实施例不包括某些特征、要素或步骤。因此，这种有条件的语言通常不旨在暗示特征、要素或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有其他输入或提示的情况下确定是否这些特征、要素或步骤在任何特定实施方案中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含在内地使用，并且不排除其他要素、特征、动作、操作等。此外，术语“或”以其包含在内地(而非排他性地)使用，例如，当用于连接要素列表时，术语“或”表示列表中的一个、一些或全部要素。
[0304]
除非另有具体说明或在所使用的上下文中以其他方式理解为存在项目、术语等，否则诸如短语“x、y或z中的至少一个”等析取式语言可以是x、y或z，或者其任何组合(例如，x、y或z)。因此，这样的析取式语言通常不旨在也不应暗示某些实施例要求分别存在x中的至少一个、y中的至少一个和z中的至少一个。
[0305]
尽管上面的详细说明已经示出、说明并指出了应用于各种实施例的新颖特征，但可以理解的是，在不脱离本公开的范围的情况下，可以对所示出的装置或算法的形式和细节进行各种省略、替换和改变。可以认识到，本文所述的某些实施例可以以不提供本文阐述的所有特征和益处的形式实施，因为一些特征可以与其他特征分开使用或实践。落入权利要求的等同含义和范围内的所有改变都应包含在其范围内。