多/高光谱二维图像处理的制作方法

1.本公开涉及用于在多/高光谱二维图像处理中使用的方法和装置。


背景技术：

2.传统的rgb相机仅使用三个通道捕获可见光：红色通道、绿色通道和蓝色通道。多/高光谱相机捕获大量波长(通常对于多光谱成像是大约10个波长，或者对于高光谱成像是多于100个波长)的对人眼可见和不可见的电磁光谱。因此，这些多/高光谱相机可以揭示人眼无法观察到的成像对象的属性。
3.特别地，在皮肤成像领域中，这种多/高光谱相机可以被采用来估计皮肤中存在的发色团(例如黑色素、类胡萝卜素、水位、脂质等)的浓度，这是使用传统rgb相机无法实现的。皮肤中的发色团的估计浓度可以提供有关皮肤健康的信息，但是更普遍地可以指示生活方式或系统健康。特别感兴趣的是处理大皮肤表面(诸如人脸)的多/高光谱图像。随着时间的推移跟踪多/高光谱图像可以揭示发色团浓度的特定局部变化，这可能归因于例如生活方式的改变。从光谱估计发色团浓度的过程被称为光谱分解。例如，图1示出了在六种不同波长(448nm、494nm、610nm、669nm、812nm和869nm)的光处获取的经校准的高光谱图像。在图1中，像素位置由x轴和y轴提供，并且灰度图示了反射率。像素越白，强度越高，并且因此反射率越高。
4.为了允许正确估计曲面(例如皮肤，诸如人脸)的发色团，需要知道曲面相对于相机进行定位的角度。这个角度是必需的，因为光在曲面的不同层中被吸收、散射和反射，导致强烈的角度依赖性。为了获得这样的角度数据，通常安装一个或多个三维(3d)相机(例如飞行时间相机)，以便配准3d图像并导出角度图。
5.然而，在多/高光谱设置中使用3d相机既麻烦又昂贵，因为需要附加的相机并且需要将二维(2d)多/高光谱图像与3d图像相结合，这需要使用先进的图像配准技术和2d图像与3d图像的准确映射。当转向消费者类型的实现时，这些限制尤其明显。使用一个或多个附加的相机会妨碍小型化。


技术实现要素：

6.如上面所指出，现有技术的局限性在于，为了获取适合于观察对象属性的信息(例如皮肤中的发色团的浓度)，需要附加的相机并且需要2d多/高光谱图像与3d图像相结合，这需要先进的图像配准技术以及2d图像与3d图像的准确映射。因此，旨在解决这些限制的改进将是有价值的。
7.因此，根据第一方面，提供了一种装置，该装置用于根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度，或者对多/高光谱二维图像应用校正。该装置包括一个或多个处理器，该处理器被配置为获取对象在相应波长处的多/高光谱二维图像。在相应波长处的多/高光谱二维图像由多个像素形成。每个像素具有强度值集合，该强度值集合对应于针对多个光波长中的每个光波长的光强度值。一个或多个处理
器被配置为：对于与对象的表面上的第一点相对应的多个像素中的至少一个像素，将针对所述至少一个像素的强度值集合与针对对象的特性曲线进行比较，以确定强度值集合与所获得的特性曲线的相似性度量。一个或多个处理器被配置为：根据所确定的相似性度量来估计在与所述至少一个像素相对应的对象的表面上的第一点的第一角度，或者使用所确定的相似性度量对在对象的表面上的第一点处的多/高光谱二维图像应用校正。特性曲线指示对象的表面上的相对于图像的平面成第二角度的至少一个第二点的光谱与对象的表面上的相对于图像的平面成第三角度的至少一个第三点的光谱之间的差异。
8.在一些实施例中，第一角度可以是相对于图像的平面的。在一些实施例中，特性曲线可以表征对象如何根据角度而反射或吸收光。
9.在一些实施例中，特性曲线可以指示对象的表面上的相对于图像的平面成第二角度的至少两个第二点的平均光谱与对象的表面上的相对于图像的平面成第三角度的至少两个第三点的光谱之间的差异。
10.在一些实施例中，第三角度可以是不同于或显著不同于第二角度的已知角度。在一些实施例中，第二角度可以是大约0度和/或第三角度可以是在从45度至90度的范围内的角度。
11.在一些实施例中，对象的表面上的至少一个第二点可以包括对象的表面上的至少一个最亮点，和/或，对象的表面上的至少一个第三点可以包括对象的表面上的至少一个最暗点。
12.在一些实施例中，对象的表面上的至少一个第二点可以通过使用界标检测来检测对象的表面上相对于图像的平面成第二角度的至少一个第二点进行标识，和/或，对象的表面上的至少一个第三点可以通过界标检测来检测对象的表面上相对于图像的平面成第三角度的至少一个第三点进行标识。
13.在一些实施例中，可以使用相同类型的对象的至少一个其他多/高光谱二维图像来预先确定特性曲线，或者可以使用对象的多/高光谱二维图像来确定特性曲线。
14.在一些实施例中，一个或多个处理器可以被配置为：对于与对象的表面上的至少一个其他第一点相对应的多个像素中的至少一个像素，将针对所述至少一个像素的强度值集合与针对对象的特性曲线进行比较，以确定该强度值集合与所获得的特性曲线的相似性度量。在这些实施例中，一个或多个处理器可以被配置为：根据所确定的相似性度量来估计与所述至少一个像素相对应的对象的表面上的至少一个其他第一点的至少一个其他第一角度，并导出包括所估计的第一角度和所估计的至少一个其他第一角度的角度图。
15.在一些实施例中，针对对象的特性曲线可以包括(或选自)针对第二角度和第三角度的相应集合的特性曲线集合。
16.在一些实施例中，至少一个第二点的光谱可以包括反射光谱或吸收光谱，该反射光谱指示在对象的表面上的相对于图像的平面成第二角度的至少一个第二点处从对象反射的光的部分，该吸收光谱指示在对象的表面上的相对于图像的平面成第二角度的至少一个第二点处被对象吸收的光的部分，和/或，至少一个第三点的光谱可以包括反射光谱或吸收光谱，该反射光谱指示在对象的表面上的相对于图像的平面成第三角度的至少一个第三点处从对象反射的光的部分，该吸收光谱指示在对象的表面上的相对于图像的平面成第三角度的至少一个第三点处被对象吸收的光部分。
17.在一些实施例中，对象可以是皮肤，并且一个或多个处理器可以被配置为：使用所估计的第一角度根据皮肤的多/高光谱二维图像，或根据应用了校正的多/高光谱二维图像，确定皮肤中的发色团的浓度。
18.根据第二方面，提供了一种用于根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度或对多/高光谱二维图像应用校正的方法。该方法包括获取对象在相应波长处的多/高光谱二维图像，其中相应波长处的多/高光谱二维图像由多个像素形成，每个像素具有强度值集合，该强度值集合对应于针对多个光波长中的每个光波长的光强度值。该方法包括，对于与对象的表面上的第一点相对应的多个像素中的至少一个像素，将针对所述至少一个像素的强度值集合与针对对象的特性曲线进行比较，以确定强度值集合与所获得的特性曲线的相似性度量。该方法包括根据所确定的相似性度量来估计与所述至少一个像素相对应的对象的表面上的第一点的第一角度，或者使用所确定的相似性度量对对象的表面上的第一点处的多/高光谱二维图像应用校正。特性曲线指示对象的表面上的相对于图像的平面成第二角度的至少一个第二点的光谱与对象的表面上的相对于图像的平面成第三角度的至少一个第三点的光谱之间的差异。
19.在一些实施例中，第一角度可以是相对于图像的平面的。在一些实施例中，特性曲线可以表征对象如何根据角度来反射或吸收光。在一些实施例中，第三角度可以是不同于或显著不同于第二角度的已知角度。
20.根据第三方面，提供了一种用于确定特性曲线的装置，该特性曲线用于在根据对象在相应波长或波长的多/高光谱二维图像来估计对象的表面上的第一点的第一角度时或者在对多/高光谱二维图像应用校正时使用。该装置包括一个或多个处理器，该处理器被配置为获取对象的表面上的相对于图像的平面成第二角度的至少一个第二点的第一光谱，获取对象的表面上的相对于图像的平面成第三角度的至少一个第三点的第二光谱，并将特性曲线确定为第一光谱和第二光谱之间的差异。
21.在一些实施例中，第一角度可以是相对于图像的平面的。在一些实施例中，特性曲线可以表征对象如何根据角度来反射或吸收光。在一些实施例中，第三角度可以是不同于或显著不同于第二角度的已知角度。
22.根据第四方面，提供了一种用于确定特性曲线的方法，该特性曲线用于在根据对象在相应波长或波长的多/高光谱二维图像来估计对象的表面上的第一点的第一角度时或者在对多/高光谱二维图像应用校正时使用。该方法包括获取对象的表面上的相对于图像的平面成第二角度的至少一个第二点的第一光谱，获取对象的表面上的相对于图像的平面成第三角度的至少一个第三点的第二光谱，并且将特性曲线确定为第一光谱和第二光谱之间的差异。
23.在一些实施例中，第一角度可以是相对于图像的平面的。在一些实施例中，特性曲线可以表征对象如何根据角度来反射或吸收光。在一些实施例中，第三角度可以是不同于或显著不同于第二角度的已知角度。
24.根据第五方面，提供了一种包括计算机可读介质的计算机程序产品。计算机可读介质具有体现在其中的计算机可读代码。计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使计算机或处理器执行早先描述的方法。
25.根据上述的方面和实施例，解决了现有技术的限制。特别地，根据上述的方面和实
施例，克服了为了获取适合于观察对象属性的信息(例如皮肤中的发色团的浓度)而对用于将2d多/高光谱图像与3d图像进行结合的附加的相机和先进的图像配准技术的需要。不再需要多/高光谱成像中的3d成像模态。根据上述的方面和实施例，可以可靠地直接从多/高光谱图像中导出角度信息，而无需使用附加的相机信号。这是通过(导出并)利用特性曲线来实现的。替代地，使用特性曲线对多/高光谱图像进行预处理，以补偿角度对光谱的影响。
26.因此，提供了用于根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的点的角度或对多/高光谱二维图像应用校正的有用技术。还提供了一种有用的技术，用于确定用于在这样的估计或校正中使用的特性曲线。
27.这些和其他方面将从下文描述的实施例中变得明显并且参考下文中描述的(多个)实施例来阐明。
附图说明
28.现在将参考以下附图仅通过示例的方式描述示例性实施例，其中：
29.图1是在六种不同光波长处获取的高光谱图像的示例；
30.图2是根据实施例的装置的示意图示；
31.图3是图示根据实施例的方法的流程图；
32.图4是图示根据实施例的方法的流程图；
33.图5是高光谱图像连同来自该图像的切片的高光谱图的示例示意图示；
34.图6是校准的高光谱图像根据距离的变化的示例；
35.图7是特性曲线的示例；和
36.图8是导出的角度图的示例。
具体实施方式
37.如上面所指出，本文提供了一种技术，该技术用于从对象在相应波长处的多/高光谱二维图像来估计对象的表面上的点的角度，或者对多/高光谱二维图像应用校正。在本文中，对象可以是任何类型的对象。在一些实施例中，对象可以是具有曲表面的任何对象。在一些实施例中，例如，对象可以是对象的皮肤或面部(的皮肤)。
38.图2图示了根据实施例的用于从对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度或对多/高光谱二维图像应用校正的装置100。在一些实施例中，装置100可以是设备(例如，消费者设备)或设备的附件(或附加件)。例如，设备可以是电话(例如智能电话)、平板电脑或任何其他设备。如图2中所图示，装置100包括一个或多个处理器102。
39.一个或多个处理器102可以用软件和/或硬件以多种方式来实现，以执行本文所述的各种功能。在特定的实现中，一个或多个处理器102可以包括多个软件和/或硬件模块，每个软件和/或硬件模块被配置为执行或用于执行本文描述的方法的单个或多个步骤。一个或多个处理器102可以包括例如可以被配置或编程(例如，使用软件或计算机程序代码)以执行本文描述的各种功能的一个或多个微处理器、一个或多个多核处理器和/或一个或多个数字信号处理器(dsp)、一个或多个处理单元和/或一个或多个控制器(例如，一个或多个微控制器)。一个或多个处理器102可以被实现为用于执行一些功能的专用硬件(例如放大
器、前置放大器、模数转换器(adc)和/或数模转换器(dac))和用于执行其他功能的一个或多个处理器(例如一个或多个编程的微处理器、dsp和相关电路)的组合。
40.简而言之，装置100的一个或多个处理器102被配置为获取对象在相应波长处的多/高光谱二维图像。相应波长处的多/高光谱二维图像由多个像素形成。每个像素具有强度值集合，该强度值集合对应于针对多个光波长中的每个光波长的光强度值。装置100的一个或多个处理器102还被配置为：对于与对象的表面上的第一点相对应的多个像素中的至少一个像素，将针对所述至少一个像素的强度值集合与针对对象的特性曲线进行比较，以确定该强度值集合与所获得的特性曲线的相似性度量。装置100的一个或多个处理器102还被配置为根据所确定的相似性度量来估计与所述至少一个像素相对应的对象的表面上的第一点的第一角度，或者使用所确定的相似性度量对对象的表面上的第一点处的多/高光谱二维图像应用校正。
41.本文所指的特性曲线指示对象的表面上的相对于图像的平面成第二角度的至少一个第二点的光谱与对象的表面上的相对于图像的平面成第三角度的至少一个第三点的光谱之间的差异。
42.在本文中，至少一个第二点的光谱可以包括反射光谱或吸收光谱，该反射光谱指示在对象的表面上的相对于图像的平面成第二角度的至少一个第二点处从对象反射的光的部分，该吸收光谱指示在对象的表面上的相对于图像的平面成第二角度的至少一个第二点处被对象吸收的光的部分。替代地或附加地，在本文中，至少一个第三点的光谱可以包括反射光谱或吸收光谱，该反射光谱指示在对象的表面上的相对于图像的平面成第三角度的至少一个第三点处从对象反射的光的部分，该吸收光谱指示在对象的表面上的相对于图像的平面成第三角度的至少一个第三点处被对象吸收的光的部分。在本文中，反射光谱通常可以被理解为意指根据波长的反射光的相对量。类似地，在本文中，吸收光谱通常可以被理解为意指根据波长的吸收光的相对量。
43.在一些实施例中，装置100的一个或多个处理器102可以被配置为从成像传感器104获取对象在相应波长处的多/高光谱二维图像。成像传感器可以例如是相机，或者更具体地说，是多/高光谱相机。如图2中所图示，在一些实施例中，装置100可以包括成像传感器104。替代地或附加地，在一些实施例中，成像传感器104可以在装置100的外部(例如，与之分离或远离)。例如，根据一些实施例，另一装置(或设备，例如捕获设备)可以包括成像传感器104。
44.如图2中所图示，在一些实施例中，装置100可以包括至少一个存储器106。替代地或附加地，在一些实施例中，至少一个存储器106可以在装置100的外部(例如，与之分离或远离)。例如，根据一些实施例，另一装置可以包括至少一个存储器106。在一些实施例中，医院数据库可以包括至少一个存储器106，至少一个存储器106可以是云计算资源等。装置100的一个或多个处理器102可以被配置为与至少一个存储器106通信和/或与之连接。至少一个存储器106可以包括任何类型的非暂时性机器可读介质，诸如包括易失性和非易失性计算机存储器的高速缓存或系统存储器，诸如随机存取存储器(ram)、静态ram(sram)、动态ram(dram)、只读存储器(rom)、可编程rom(prom)、可擦除prom(eprom)和电可擦除prom(eeprom)。在一些实施例中，至少一个存储器106可以被配置为存储可以由装置100的一个或多个处理器102执行的程序代码，以使装置100以本文描述的方式操作。
45.替代地或附加地，至少一个存储器106可以被配置为存储由本文描述的方法所需的或产生的信息。例如，至少一个存储器106可以被配置为存储对象的多/高光谱二维图像、所确定的相似性度量、对象的表面上的第一点的所估计的第一角度、应用了校正的对象的多/高光谱二维图像、或由本文描述的方法所需的或产生的任何其他信息或信息的任何组合。装置100的一个或多个处理器102可以被配置为控制至少一个存储器106以存储由本文描述的方法所需的或产生的信息。
46.如图2中所图示，在一些实施例中，装置100可以包括至少一个用户接口108。替代地或附加地，在一些实施例中，至少一个用户接口108可以在装置100的外部(例如，与之分离或远离)。装置100的一个或多个处理器102可以被配置为与至少一个用户接口108通信和/或与之连接。在一些实施例中，装置100的一个或多个处理器102可以被配置为控制至少一个用户接口108以本文描述的方式操作。
47.用户接口108可以被配置为渲染(或输出、显示或提供)由本文描述的方法所需的或产生的信息。例如，在一些实施例中，一个或多个用户接口108可以被配置为渲染(或输出、显示或提供)对象的多/高光谱二维图像中的任何一个或多个，所确定的相似性度量，对象的表面上的第一点的所估计的第一角度，应用了校正的对象的多/高光谱二维图像、或由本文描述的方法所需的或产生的任何其他信息或信息的任何组合。替代地或附加地，一个或多个用户接口108可以被配置为接收用户输入。例如，一个或多个用户接口108可以允许用户手动输入信息或指令、与装置100交互和/或控制装置100。因此，一个或多个用户接口108可以是使得能够进行信息渲染(或输出、显示或提供)和/或使得用户能够提供用户输入的任何一个或多个用户接口。
48.为此，用户接口108可以包括一个或多个部件。例如，一个或多个用户接口108可以包括一个或多个开关、一个或多个按钮、小键盘、键盘、鼠标、显示器或显示屏、图形用户接口(gui)诸如触摸屏、应用(例如在诸如平板电脑、智能电话或任何其他智能设备之类的智能设备上)或任何其他视觉部件、一个或多个扬声器、一个或多个麦克风或任何其他音频部件、一个或多个灯(例如一个或多个发光二极管(led)、用于提供触觉或触碰反馈的部件(例如振动功能或任何其他触觉反馈部件)、智能设备(例如智能镜子、平板电脑、智能电话、智能手表或任何其他智能设备)或任何其他用户接口或用户接口的组合。在一些实施例中，被控制以渲染信息的一个或多个用户接口可以与使得用户能够提供用户输入的一个或多个用户接口相同。
49.如图2中所图示，在一些实施例中，装置100可以包括至少一个通信接口(或通信电路)110。替代地或附加地，在一些实施例中，至少一个通信接口110可以在装置100的外部(例如，与之分离或远离)。通信接口110可以用于使得装置100或装置100的部件(例如，一个或多个处理器102、一个或多个传感器104、一个或多个存储器106、一个或多个用户接口108和/或装置100的任何其他部件)能够彼此通信和/或彼此连接和/或能够与一个或多个其他部件通信和/或与之连接。例如，一个或多个通信接口110可以用于使得装置100的一个或多个处理器102能够与一个或多个传感器104、一个或多个存储器106、一个或多个用户接口108和/或装置100的任何其他部件通信和/或与之连接。
50.通信接口110可以使得装置100或装置100的部件能够以任何合适的方式进行通信和/或连接。例如，一个或多个通信接口110可以使得装置100或装置100的部件能够无线地、
经由有线连接或经由任何其他通信(或数据传送)机制来进行通信和/或连接。在一些无线实施例中，例如，一个或多个通信接口110可以使得装置100或装置100的部件能够使用射频(rf)、蓝牙或任何其他无线通信技术来进行通信和/或连接。
51.图3图示了一种根据一个实施例的方法200，该方法用于根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度或者对多/高光谱二维图像应用校正。更具体地，图3图示了操作早先参考图2描述的装置100的方法200，用于根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度或对多/高光谱二维图像应用校正。
52.图3中所图示的方法200是计算机实现的方法。如早先参考图2所述，装置100包括一个或多个处理器102。图3中所图示的方法200通常可以由早先参考图2描述的装置100的一个或多个处理器102来执行或在其控制下执行。
53.参考图3，在框202处，获取对象在相应波长处的多/高光谱二维图像。如前面所提及的，相应波长处的多/高光谱二维图像由多个像素形成。每个像素具有强度值集合，该强度值集合对应于针对多个光波长中的每个光波长的光强度值。
54.在图3的框204处，对于与对象的表面上的第一点相对应的多个像素中的至少一个像素，将针对所述至少一个像素的强度值集合与针对对象的特性曲线(或轮廓)进行比较，以确定强度值集合与所获得的特性曲线的相似性度量。如前面所提及的，本文中所指的特性曲线指示对象的表面上的相对于图像的平面成第二角度的至少一个第二点的光谱与对象的表面上的相对于图像的平面成第三角度的至少一个第三点的光谱之间的差异。特性曲线可以被预先确定。在一些实施例中，特性曲线可以是存储在存储器(例如装置100的存储器106或任何其他存储器)中的预确定的特性曲线。这可以是有利的，因为它降低了计算复杂性并避免(手动)错误从而提高了准确性。
55.特性曲线可以是表征对象如何根据角度来反射或吸收光的曲线。以这种方式，可以确定每个空间位置(x,y)的特性曲线存在(或可见)的程度。特性曲线存在的程度是角度的度量。
56.更详细地，在一些实施例中，特性曲线可以根据以下等式表征对象如何根据角度来反射(或吸收)光：
57.反射率[λ,α]＝反射率[λ,0] α*特性曲线[λ]。
[0058]
其中λ表示波长，并且α表示角度。因此，如果在不同角度下测量对象的反射光谱，可以观察到：该反射光谱可以被分解为0度角处的反射光谱和与该角度线性相关的部分。特性曲线可用的程度然后是角度的度量。就要被应用于多/高光谱二维图像的校正而言，这可以包括根据上述等式近似反射率[λ,0]。
[0059]
因此，在图3的框204处，对于与对象的表面上的第一点相对应的多个像素中的至少一个像素，将所述至少一个像素的强度值集合与针对对象的特性曲线进行比较，以确定该强度值集合与特性曲线的相似性度量。在一些实施例中，可以将针对所述至少一个像素的强度值集合直接与特性曲线进行比较，以确定相似性度量。在其他实施例中，一个或多个特征可以从所述至少一个像素的强度值集合中导出，并且一个或多个导出的特征可以与特性曲线的一个或多个对应特征进行比较，以确定相似性度量。一个或多个特征的示例包括但不限于曲线的斜率、曲线的标准偏差等。
[0060]
在本文中，对象的表面上的相对于图像的平面成第二角度的至少一个第二点的光谱可以被称为基线光谱。此外，在本文中，对象的表面上的相对于图像的平面成第三角度的至少一个第三点的光谱可以被称为边缘光谱。因此，特性曲线可以被定义为基线光谱和边缘光谱之间的差异。
[0061]
在一些实施例中，在图3的框204处确定的相似性度量可以包括相关性的度量。在一些实施例中，可以使用回归分析来确定相似性度量(例如相关性的度量)。在一个示例中，可以对多个像素中的至少一个像素或在逐个像素的基础上(例如对于每x,y对像素)采用线性回归(或相关)。这可以使用矢量表示来表示，如下：
[0062]
a＝(p
t
p)-1
p
t
d,
[0063]
其中p是特性曲线(被表示为列向量)，d是位置x,y处的输入光谱(被表示为列向量)，并且a是位置x,y处的回归系数，它确立了特性曲线存在于输入光谱中的程度。因此，回归系数a在本示例中是相似度度量。算子t表示转置。位置x,y处的输入光谱是前述针对所述至少一个像素的强度值集合，其中该强度值集合对应于针对光的多个波长λ中的每个波长的光强度值。
[0064]
在一些实施例中，对于给定的x,y坐标和多个波长λ，输入光谱d可以直接是向量s＝s[λ，x，y]。替代地，可以通过减去基线光谱来对输入光谱d进行基线补偿，以使得对于多个波长λ的给定x,y坐标，d[λ]＝s[λ，x，y]-s
baseline
[λ]。这可以导致改进的鲁棒性。
[0065]
返回到图3，在框206处，根据所确定的相似性度量来估计与所述至少一个像素相对应的对象的表面上的第一点的第一角度，或者使用所确定的相似性度量将校正应用于对象的表面上的第一点处的多/高光谱二维图像。第一角度可以是相对于图像的平面的。因此，可以通过利用特性曲线从多/高光谱图像中导出角度信息，或者可以使用特性曲线对多/高光谱图像进行预处理。在回归系数a是相似性度量的一些实施例中，回归系数a可以是与所述至少一个像素相对应的对象的表面上的第一点的第一角度的直接估计。例如，在一些实施例中，与所述至少一个像素相对应的对象的表面上的第一点的第一角度可以被估计如下：
[0066]
α＝min(max(c
·
a，0)，π/2),
[0067]
其中c是预确定的常数，并且min、max算子防止角度被估计在[0,pi/2]范围之外。
[0068]
在将校正应用于对象的表面上的第一点处的多/高光谱二维图像的一些实施例中，可以对多/高光谱图像进行预处理以补偿角度的影响。在一些实施例中，校正可以包括使图像变平。在一些实施例中，对于给定坐标x,y和多个波长λ的光谱s[λ，x，y]的预处理可以通过确立回归后的残差来实现，如下：
[0069]spreprocessed
[λ，x，y]＝s[λ，x，y]-0[x，y]
·scharacteristic
[λ]。
[0070]
在一些实施例中，特性曲线集合可以被存储在存储器(例如装置100的存储器106或任何其他存储器)中。在这些实施例中的一些实施例中，在图3的框204处，对于与对象的表面上的第一点相对应的多个像素中的至少一个像素，可以将针对所述至少一个像素的强度值集合与特性曲线集合中的每个特性曲线进行比较，以确定强度值集合与特性曲线的相应的相似性度量。特性曲线集合中与强度值集合最相似(即最佳匹配)的特性曲线被选择。例如，可以使用最佳拟合技术。在一些实施例中，特性曲线集合中的每个特性曲线可以以例如查找表的形式与对应的角度一起存储。因此，在这些实施例中，在图3的框206处，可以将
第一角度确定为与所选择的特性曲线一起存储的角度。替代地，在图3的框206处，所选择的特性曲线可以被用来校正强度值集合。
[0071]
本文还提供了一种用于确定特性曲线的装置，该特性曲线用于如本文所述在根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度时或者如本文所述在对多/高光谱二维图像应用校正时使用。该装置包括如前面参考图2描述的一个或多个处理器，并且还可以包括如前面参考图2描述的装置100的任何一个或多个其他部件。
[0072]
在一些实施例中，用于确定特性曲线的装置可以是与前面参考图2描述的装置100相同的装置。因此，在一些实施例中，前面参考图2描述的装置100也可以用于确定本文所指的特性曲线。替代地，在一些实施例中，用于确定本文所指的特性曲线的装置可以是用于如本文所述根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度或者如本文所述将校正应用于多/高光谱二维图像的装置100不同的装置。
[0073]
简言之，用于确定特性曲线的装置的一个或多个处理器被配置为获取对象的表面上的相对于图像的平面成第二角度的至少一个第二点的第一光谱，获取对象的表面上的相对于图像的平面成第三角度的至少一个第三点的第二光谱，并将特性曲线确定为第一光谱和第二光谱之间的差异。
[0074]
图4图示了根据实施例的用于确定特性曲线的方法300，该特性曲线用于在根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度时或者在对多/高光谱二维图像应用校正时使用。更具体地，图4图示了操作用于确定特性曲线的装置的方法300。
[0075]
图4中所图示的方法300是计算机实现的方法。如前面所提及的，用于确定特性曲线的装置包括一个或多个处理器。图4中所图示的方法300通常可以由装置的一个或多个处理器来执行或在其控制下被执行。
[0076]
参考图4，在框302处，获取对象的表面上的相对于图像的平面成第二角度的至少一个第二点的第一光谱。在图4的框304处，获取对象的表面上的相对于图像的平面成第三角度的至少一个第三点的第二光谱。在图4的框306处，特性曲线被确定为第一光谱和第二光谱之间的差异。
[0077]
在一些实施例中，方法可以包括图4的框302到306和图3的框202到206。例如，该方法可以包括图4的框302到306，随后是图3的框202到206。替代地，例如，该方法可以包括图3的框202，随后是图4的框302到306，随后是图3的框204到206，或者任何其他合适的框顺序。
[0078]
如前面所提及的，本文所指的特性曲线指示对象的表面(例如平面)上的相对于图像的平面成第二角度的至少一个第二点的光谱与对象的表面(例如平面)上的相对于图像的平面成第三角度的至少一个第三点的光谱之间的差异。
[0079]
本文所指的第二角度可以改为被定义为相对于成像传感器的光学透镜的平面成第二角度。类似地，本文所指的第三角度可以改为被定义为相对于成像传感器的光学透镜的平面成第三角度。在一些实施例中，特性曲线可以指示对象的表面(例如平面)上的相对于图像的平面成第二角度的至少两个第二点的平均光谱与对象的表面(例如平面)上的相对于图像的平面成第三角度的至少两个第三点的光谱之间的差异。在一些实施例中，第三角度可以是不同于或显著不同于第二角度的已知角度。
[0080]
在一些实施例中，本文所指的第二角度可以是大约0度。也就是说，在一些实施例中，对象的表面上的至少一个第二点可以相对于图像的平面成大约0度(或平行或基本/近似平行)。换言之，在一些实施例中，对象的表面上的至少一个第二点可以相对于成像传感器的光学透镜的平面成大约0度(或平行或基本/近似平行)。因此，在一些实施例中，第二角度可以使得在第二点处的对象的表面(例如平面)和图像的平面(或成像传感器的光学透镜的平面)平行或基本/近似平行。因此，前面提及的基线光谱可以是图像的平面(或成像传感器的光学透镜的平面)平行于或基本/近似平行于对象的表面(例如平面)的(多个)位置的代表性光谱。
[0081]
替代地或附加地，在一些实施例中，本文所指的第三角度可以是在从45度至90度范围内的角度，例如在从50度至85度范围内的角度，例如在从55度至80度范围内的角度，例如在从60度至75度范围内的角度。例如，在一些实施例中，本文所指的第三角度可以是选自45度、50度、55度、60度、65度、70度、75度、80度、85度、90度或这些值之间的任何整数或非整数值中的角度。
[0082]
因此，在一些实施例中，对象的表面上的至少一个第三点可以相对于图像的平面成45度至90度(或平行或基本/近似垂直)。换言之，在一些实施例中，对象的表面上的至少一个第三点可以相对于成像传感器的光学透镜的平面成45度至90度(或垂直或基本/近似垂直于)。因此，在一些实施例中，第三角度可以使得在第三点处的对象的表面(例如平面)与图像的平面(或成像传感器的光学透镜的平面)垂直或基本/近似垂直。因此，前面提及的边缘光谱可以是图像的平面(或成像传感器的光学透镜的平面)垂直于或基本/近似垂直于对象的表面(例如平面)的(多个)位置的代表性光谱。
[0083]
在一些实施例中，可以切换第二角度和第三角度。例如，在一些实施例中，本文所指的第二角度可以是在从45度至90度范围内的角度和/或本文所指的第三角度可以是大约0度。在这些实施例中，对象的表面(例如平面)上的相对于图像的平面成第二角度的至少一个第二点的光谱与对象的表面(例如平面)上的相对于图像的平面成第三角度的至少一个第三点的光谱之间的差异将具有不同的符号，例如负号。因此，在这些实施例中，在后续计算中存在负号。
[0084]
在一些实施例中，对象的表面上的至少一个第二点可以包括对象的表面上的至少一个最亮点(或平均最亮点)和/或对象的表面上的至少一个第三点可以包括对象的表面上的至少一个最暗点(或平均最暗点)。对象的表面上的至少一个最亮点例如可以是对象的表面上第二角度大约为0度的至少一个点。对象的表面上的至少一个最暗点例如可以是对象的表面上第三角度大约为90度的至少一个点。在对象是对象的面部的一些实施例中，对象的表面上的至少一个第二点可以是对象的面部上的鼻尖的表面上的至少一个第二点和/或对象的表面上的至少一个第三点可以是对象的面部边缘的表面上的至少一个第三点。
[0085]
在一些实施例中，对象的表面上的至少一个第二点可以通过使用界标检测来检测对象的表面上相对于图像的平面成第二角度的至少一个第二点进行标识。替代地或附加地，对象的表面上的至少一个第三点可以通过使用界标检测来检测对象的表面上相对于图像的平面成第三角度的至少一个第三点进行标识。本领域技术人员将了解可以以这种方式被用于界标(例如面部界标)检测的已确立的技术。
[0086]
在一些实施例中，对象的表面上的多个第二点可以被标识以检测对象的表面上相
对于图像的平面成第二角度的至少一个第二点，和/或对象的表面上的多个第三点可以被标识以检测对象的表面上相对于图像的平面成第三角度的至少一个第三点。换言之，可以在多个位置上进行测量。替代地或附加地，可以采用过滤。以这种方式，可以确定更稳健的特性曲线。
[0087]
因此，以上述方式，可以标识对象的表面上的至少一个第二点并获取基线光谱。类似地，以这种方式，可以标识对象的表面上的至少一个第三点并获取边缘光谱。在一些实施例中，基线光谱可以通过如下方式来获取：通过装置100的一个或多个处理器102从另一装置或设备获得基线，通过装置100的一个或多个处理器102从存储器(诸如装置100的存储器或另一存储器)获得基线，或者通过装置100的一个或多个处理器102确定基线光谱。类似地，在一些实施例中，边缘光谱可以通过如下方式来获取：通过装置100的一个或多个处理器102从另一装置或设备获得基线，通过装置100的一个或多个处理器102从存储器(例如装置100的存储器或另一存储器)获得基线，或者通过装置100的一个或多个处理器102确定边缘光谱。
[0088]
作为示例，基线光谱s
baseline
[λ]和边缘光谱s
edge
[λ]可以通过多/高光谱光谱s[λ，x，y]的加权来确定，其中x是多/高光谱二维图像中的x坐标，y是多/高光谱二维图像中的y坐标，并且λ是指示光波长的波长指数：
[0089][0090][0091]
在此示例中，权重矩阵总和为一：
[0092][0093][0094]
该示例的权重矩阵可以通过使用固定处理步骤来转换(例如面部)界标检测的输出来导出，确保对于w
baseline
[x，y]，在至少一个第二点处(例如鼻尖处)的权重为高，并且对于w
edge
[x，y]，在至少一个第三点周围(例如，面部边缘周围，诸如下巴线)的权重为高。
[0095]
从这个示例继续，特性曲线可以被确定如下：
[0096]scharacteristic
[λ]＝s
edge
[λ]-s
baseline
[λ]。
[0097]
图5是高光谱图像(左侧)以及来自该图像的切片的高光谱图(右侧)的示例示意图。在该示例中，高光谱图像可以是在某个(任意)波长处的校准的反射图像。高光谱图像由多个像素形成，每个像素具有强度值集合，该强度值集合对应于针对多个光波长中的每个光波长的光强度值。高光谱图像中的箭头400指示高光谱切片的位置。也就是说，图像中的箭头400指示对应的高光谱立方体(x,y,波长)沿其被切片的线。
[0098]
如图5中所图示，在本示例中，对象的表面上相对于本文所指的图像的平面成第二角度的至少一个第二点包括面部表面上靠近鼻子的一个点(其是本示例中的对象)。这是皮肤(例如，基本或近似)平行于图像的平面或成像传感器的光学透镜的平面的点。该点也可以被称为高光谱切片的起点。还如图5中所图示，在该示例中，对象的表面上相对于本文所指的图像的平面成第三角度的至少一个第三点包括面部表面上在面部边缘(就在耳朵下方)的点(其是本示例中的对象)。这是皮肤(例如，基本或近似)垂直于图像的平面或成像传
感器的光学透镜的平面的点。该点也可以被称为高光谱切片的终点。
[0099]
来自图像的切片的高光谱图指示距高光谱切片起点的距离(或更具体地，像素距离)(其在垂直轴上被图示)与波长(λ)指数(在水平轴上)。在本示例中，波长指数涵盖从428nm至1063nm范围内的波长。高光谱切片的起点用零来指示。来自图像的切片的高光谱图示出了在距起点不同距离处的多个光波长中的每个光波长的光强度值。像素越白，光强度值越高，并且因此反射率越高。从来自图像的切片的高光谱图中可以看出，个体波长从起点(零处)开始不同的方式是不同的。在观察到与第一行的实际差异之后，这种根据距离并且因此根据角度的光谱依赖性变得更加清晰。
[0100]
图6图示了根据距高光谱切片的起点的距离(或更具体地，像素距离)和根据波长(λ)指数的校准的高光谱图像的变化。更具体地说，在图6中，相对反射率被图示为像素位置和λ指数的函数。λ指数涵盖从428nm至1063nm范围内的波长。高光谱切片的起点用零来指示。相对反射率是相对于起点的相对反射率。如图6中所图示，随着距高光谱切片起点的距离增加，可以观察到越来越明显的图案。
[0101]
图7是特性曲线的示例。在本示例中，图示的特性曲线是距高光谱切片起点的最大(角度)距离处的特性曲线。图7图示了特性曲线500的未过滤版本和特性曲线502的过滤版本。图7中的水平轴示出了波长(λ)指数，在该示例中，其索引在从428nm到1063nm范围内的非均匀采样的波长。图7中的垂直轴示出了与原始位置相比的光谱(或者更具体地是特性曲线的幅度)的差异。也就是说，纵轴示出了对象的表面上的相对于图像的平面(或成像传感器的光学透镜的平面)成第二角度的至少一个第二点的光谱与对象的表面上的相对于图像的平面(或成像传感器的光学透镜的平面)成第三角度的至少一个第三点的光谱之间的差异。特性曲线指示光谱如何根据距离和角度来变化。
[0102]
在一些实施例中，可以使用相同类型的对象的至少一个其他多/高光谱二维图像来预先确定(例如，预先计算)本文所指的特性曲线。例如，在对象是对象皮肤的实施例中，可以使用对象皮肤的至少一个其他多/高光谱二维图像和/或一个或多个其他对象(例如具有不同皮肤类型)的皮肤的至少一个其他多/高光谱二维图像来预先确定(例如预先计算)本文所指的特性曲线。在这些实施例中的一些实施例中，本文所指的特性曲线可以例如以值表的形式被存储在存储器(例如装置的存储器106或另一存储器)中。在一些实施例中，对象的类型(例如，在对象是皮肤的情况下的皮肤类型)可以首先基于光谱来确立，然后对象的类型可以诸如以表格的形式而在存储器中被索引。在这些实施例中的一些实施例中，对象的每种类型可以具有预先确定的(例如预先计算的)特性曲线。
[0103]
在其他实施例中，可以使用对象的多/高光谱二维图像来确定(例如计算)本文所指的特性曲线。例如，在对象是对象皮肤的实施例中，可以使用对象皮肤的多/高光谱二维图像来确定(例如计算)本文所指的特性曲线。因此，在一些实施例中，特性曲线可以基于实际图像数据来确定。
[0104]
在一些实施例中，本文所述的特性曲线可以包括针对第二角度和第三角度的相应集合的特性曲线集合。在一些实施例中，本文描述的特性曲线可以从针对第二角度和第三角度的相应集合的特性曲线集合中选择。在这些实施例中，一旦图像被获取，就可以从特性曲线集合中选择用于图像中的针对对象的特性曲线。
[0105]
如前面所提及的，在一些实施例中，针对对象的特性曲线可以是例如以查找表的
形式存储在存储器(例如装置100的存储器106或任何其他存储器)中的预先确定的特性曲线。因此，在涉及特性曲线集合的一些实施例中，该特性曲线集合可以是例如以查找表的形式存储在存储器(例如装置100的存储器106或任何其他存储器)中的预先确定的特性曲线集合。在一些实施例中，该特性曲线集合可以已经被预先确定(例如在实验室设置中)。在一些实施例中，该特性曲线集合可以使用机器学习或深度学习来确定。因此，在采用机器学习或深度学习的一些实施例中，可以使用根据角度的特性曲线集合，而不是单个特性曲线。在涉及深度学习的一些实施例中，可以通过馈送训练差异谱和对应的角度来应用深度学习。
[0106]
多个特性曲线可以对不同的对象是有益的，诸如对不同的人。例如，不同的人可以具有不同的皮肤类型，每个皮肤类型可以具有不同的特性曲线，因此可以从特性曲线集合中选择特定皮肤类型的适合的特性曲线。因此，在一些实施例中，该特性曲线集合可以包括针对不同对象的特性曲线。例如，在对象是人的情况下，该特性曲线集合可以包括针对多种不同皮肤类型中的每一种的特性曲线(例如，根据菲茨帕特里克量表进行分类)。因此，可以根据人的皮肤类型而从特性曲线集合中选择特性曲线。也就是说，可以选择与人的皮肤类型相对应的特性曲线。以这种方式，第一角度确定或应用的校正可以更准确。
[0107]
在一些实施例中，可以通过本领域技术人员将了解的任何现有皮肤类型确定技术来确定人的皮肤类型。在其他实施例中，例如经由装置100的通信接口110，装置100的用户(例如人或另一用户)可以输入人的皮肤类型。虽然使用皮肤类型作为示例，但是可以基于对象的任何其他属性来选择特性轮廓。
[0108]
在一些实施例中，本文描述的装置100的一个或多个处理器102可以被配置为，对于与对象的表面上的至少一个其他第一点相对应的多个像素中的至少一个像素，将针对所述至少一个像素的强度值集合与针对对象的特性曲线进行比较，以确定强度值集合与所获得的特性曲线的相似性度量。在这些实施例中，本文描述的装置100的一个或多个处理器102还可以被配置为根据所确定的相似性度量来估计与所述至少一个像素相对应的对象的表面上的至少一个其他第一点的至少一个其他第一角度。在这些实施例中的一些实施例中，装置100的一个或多个处理器102还可以被配置为导出包括所估计的第一角度和所估计的至少一个其他第一角度的角度图。因此，根据一些实施例，可以针对多于一个点估计第一角度，然后可以导出角度图。
[0109]
图8图示了导出的角度图的示例。在此示例中，对象是主体的面部。出于隐私原因，眼睛和眼睛周围的区域被排除在图之外。在图8中，左侧上的x和y轴表示像素位置，并且右侧上的垂直轴表示所估计的角度(以度为单位)。在图8中所图示的导出的角度图中，角度图的最暗部分表示对象的表面上相对于图像的平面或成像传感器的光学透镜的平面成大约为0度(或平行或基本/近似平行)的至少一个第二点。类似地，在图8中所图示的角度图中，角度图中的最亮的部分表示对象的表面上相对于图像的平面或成像传感器的光学透镜的平面成大约90度(或垂直或基本/近似垂直)的至少一个第三点。在导出的角度图的一些实施例中，可以校准(例如，缩放和/或裁剪)前面描述的回归系数“a”以使用单个全局增益参数来表示实际角度，例如使得靠近边缘的区域的角度接近90度。
[0110]
在导出的角度图的一些实施例中，本文描述的装置100的一个或多个处理器102可以被配置为使用导出的角度图来估计深度图。因此，在一些实施例中，可以将角度图变换为3d图像。例如，角度图可以通过从角度基本或近似为0度的位置(即在基线位置处)开始并向
外扩展以估计根据角度的相邻点在深度上平移了多远从而被转换为深度图(或3d图像)。替代地，在其他实施例中，角度图可以直接在光谱分解过程中被采用。
[0111]
在对象是皮肤的一些实施例中，本文描述的装置100的一个或多个处理器102可以被配置为：使用所估计的第一角度根据皮肤的多/高光谱二维图像，或根据应用了校正的多/高光谱二维图像，确定皮肤中的发色团的浓度。本领域技术人员将了解可以被用来确定皮肤中的发色团的浓度的技术。
[0112]
然而，一个示例是分解算法，它由模型函数f()组成。模型函数f()将理论(反射或吸收)光谱描述为针对给定发色团浓度向量c的频率函数。因此，f(c)映射到波长λ。然后，作为示例，对于多/高光谱二维图像中的每个像素位置，使用非线性最小二乘优化将以下最小二乘误差最小化：
[0113][0114]
其中s[λ，x，y]表示多/高光谱光谱，x是多/高光谱二维图像中的x坐标，y是多/高光谱二维图像中的y坐标，并且λ是指示光波长的波长指数。
[0115]
这会产生与输入光谱最匹配的发色团浓度向量c。输入光谱是前面描述的所述至少一个像素的强度值集合，其中该强度值集合对应于针对多个光波长λ中的每个光波长的光强度值。更高级的模型可以并入角度，这意味着函数f()不仅具有发色团浓度c作为输入，而且还有角度a。这导致以下最小二乘误差的最小化：
[0116][0117]
其中s[λ，x，y]表示多/高光谱光谱，x是多/高光谱二维图像中的x坐标，y是多/高光谱二维图像中的y坐标，并且λ是指示光波长的波长指数。
[0118]
还提供了一种包括计算机可读介质的计算机程序产品。计算机可读介质具有体现在其中的计算机可读代码。计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使计算机或处理器执行本文所述的方法。例如，计算机可读介质可以是能够承载计算机程序产品的任何实体或设备。例如，计算机可读介质可以包括数据存储装置，诸如rom(诸如cd-rom或半导体rom)或磁记录介质(诸如硬盘)。此外，计算机可读介质可以是可传输载体，诸如电或光信号，其可以经由电缆或光缆或通过无线电或其他方式来传达。当计算机程序产品以这种信号来体现时，计算机可读介质可以由这种电缆或其他设备或部件来构成。替代地，计算机可读介质可以是在其中嵌入了计算机程序产品的集成电路，该集成电路适于执行或用于执行本文描述的方法。
[0119]
因此，本文提供了一种用于根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度或对多/高光谱二维图像应用校正的装置100、方法200和计算机程序产品，其解决了与现有技术相关联的限制。本文还提供了一种用于确定特性曲线的装置、方法300和计算机程序产品，该特性曲线用于在根据对象在相应波长处的多/高光谱二维图像来估计对象的表面上的第一点的第一角度或对多/高光谱二维图像应用校正时使用。
[0120]
通过研究附图、公开内容和所附权利要求，本领域技术人员在实践本文描述的原理和技术时可以理解和实现对所公开实施例的变型。在权利要求中，词语“包括”不排除其他元件或步骤，不定冠词“一”或“一个”不排除复数。单个处理器或其他单元可以实现权利
要求中记载的若干项的功能。在相互不同的从属权利要求中记载了某些措施这一事实并不表明这些措施的组合不能被有利地使用。计算机程序可以被存储或分发在合适的介质上，诸如与其他硬件一起提供的或作为其一部分而被提供的光存储介质或固态介质，但是也可以以其他形式来分发，诸如经由互联网或其他有线或无线电信系统来分发。权利要求中的任何参考符号不应被解释为限制范围。