用于多光谱传感器的全景图像捕获的制作方法

用于多光谱传感器的全景图像捕获
1.相关申请
2.本技术要求于2019年2月12日提交的名称为“panoramic image capture for multispectral sensor”的美国临时专利申请62/804,593号和于2020年2月7日提交的名称为“panoramic image capture for multispectral sensor”的美国非临时专利申请16/784,777号的优先权，其通过引用被明确引入本文。


背景技术：

3.图像捕获设备可以包括图像传感器和与图像传感器相关联的各种组件，诸如透镜、光圈、光源等。图像捕获设备的一个示例是用户设备，诸如智能手机、平板计算机等。图像捕获设备可以提供各种图像捕获模式，诸如肖像模式、微距模式、全景模式等。


技术实现要素：

4.根据一些实现，一种图像捕获设备可以包括：第一光谱滤波器和第二光谱滤波器，其中第一光谱滤波器和第二光谱滤波器被布置以使得全景图像捕获操作在组合图像的同一区域中捕获由第一光谱滤波器过滤的光和由第二光谱滤波器过滤的光；一个或多个存储器；单片图像传感器；以及一个或多个处理器，该处理器通信耦合到一个或多个存储器，用以：基于全景图像捕获操作来捕获多个图像；从多个图像提取第一信息和第二信息，其中第一信息与第一光谱滤波器相关联，并且第二信息与第二光谱滤波器相关联；基于由第一光谱滤波器和第二光谱滤波器在多个图像中捕获的特征来标识第一信息与第二信息之间的关联；并且基于第一信息与第二信息之间的关联来存储或提供信息。
5.根据一些实现，一种方法可以包括：由具有多个第一光谱滤波器和第二光谱滤波器的图像捕获设备基于全景图像捕获操作来捕获多个图像，其中多个第一光谱滤波器和第二光谱滤波器被布置以使得多个图像包括第一图像数据和第二图像数据，其中第一图像数据针对组合图像的区域并且基于多个第一光谱滤波器，并且其中第二图像数据针对组合图像的区域并且基于第二光谱滤波器；由图像捕获设备将多个图像彼此对齐以生成对齐图像；由图像捕获设备从对齐图像提取不可见范围信息和可见范围信息，其中不可见范围信息与不可见光谱范围相关联并且基于第一图像数据，并且其中可见范围信息与可见光谱范围相关联并且基于第二图像数据；由图像捕获设备将不可见范围信息和可见范围信息组合以生成组合图像；以及由图像捕获设备提供组合图像以供显示。
6.根据一些实现，一种图像捕获设备可以包括多个第一光谱滤波器和第二光谱滤波器，其中多个第一光谱滤波器和第二光谱滤波器被布置以使得全景图像捕获操作关于全景图像捕获操作的同一组合图像对象捕获由多个第一光谱滤波器过滤的光和由第二光谱滤波器过滤的光；以及图像传感器，其中多个第一光谱滤波器和第二光谱滤波器被放置在图像传感器上或者与图像传感器相邻，并且其中多个第一光谱滤波器与图像传感器的第一区域相关联、并且第二光谱滤波器与图像传感器的第二区域相关联，并且其中图像捕获设备能够经由第二光谱滤波器来执行快照图像捕获操作。
附图说明
7.图1是用于使用全景图像捕获操作进行多光谱成像的图像捕获设备的示例的示意图，如本文中所述。
8.图2是使用全景图像捕获操作的多光谱成像的示例的示意图，如本文中所述。
9.图3是使用全景图像捕获操作的多光谱成像的另一示例的示意图，如本文中所述。
10.图4是在其中可以实现本文中所描述的系统和/或方法的示例环境的示意图。
11.图5是图3的一个或多个设备的示例组件的示意图。
12.图6和图7是使用全景图像捕获操作的多光谱成像的示例过程的流程图。
具体实施方式
13.示例实现的以下详细描述参考了附图。相同的附图标记在不同的图中可以标识相同或类似的元素。
14.多光谱成像可以用于在整个电磁光谱的特定波长范围内捕获图像数据。该图像数据可以用于各种目的，诸如材料的化学组成分析、水分含量确定、植被覆盖度确定、植物健康、植物营养、人类健康评估等。在一些情况下，可以执行高光谱成像，这可能比多光谱成像使用更多的光谱带和/或更紧密的光谱带。然而，出于本文中所描述的实现的目的，“多光谱”和“高光谱”可互换使用。
15.用户设备(例如，智能手机、平板计算机等)可以包括相机。相机可以使用图像传感器(诸如基于硅的传感器)在可见光范围内捕获图像(例如，供用户消耗、供与用户设备的应用一起使用等)。经由用户设备提供多光谱成像(和/或多光谱成像的分析)可能是有益的。例如，传统的多光谱成像设备可能是复杂、笨重和昂贵的，因此经由用户设备的多光谱成像可以提供与多光谱成像相关联的功能(例如化学组成分析等)，而不需要对应的大小和费用，从而使消费者能够使用多光谱成像。然而，在用户设备中实现用于多光谱成像的独立传感器是具有挑战性的。例如，被配置为检测用于多光谱成像操作的不可见范围光的独立传感器(例如除了与用户设备的相机相关联的图像传感器)是昂贵的、功率密集的和笨重的。
16.本文中所描述的一些实现，基于图像捕获设备的全景图像捕获操作来提供使用图像捕获设备(例如用户设备，诸如智能电话、平板计算机等)的图像传感器的多光谱成像。例如，全景图像捕获操作(有时称为“全景模式(panoramic mode)”或“全景(panorama mode)模式”)可以使用多个图像来生成组合图像，当图像捕获设备“扫过”场景时，这些图像被捕获。本文中所描述的实现可以为图像捕获设备提供一组光谱滤波器，其中一些光谱滤波器是针对可见光谱，并且其中一些光谱滤波器是针对不可见光谱。针对不可见光谱的光谱滤波器可以作为可以与全景图像捕获操作的运动方向垂直的条、带、列、条带、矩形等在第一区域中被提供。例如，条、带、列、条带、矩形等的较长轴(例如主轴)可以与限定运动方向的向量垂直或基本垂直(例如更接近垂直而不是平行)。用于可见区域的光谱滤波器可以在图像传感器的不同于第一区域的第二区域中被提供。因此，多个图像可以包括经由一个或多个可见光谱滤波器和经由一个或多个不可见光谱滤波器的测量目标的图像。在一些情况下，本文中可以引用单个光谱滤波器。应当理解，对单个光谱滤波器的引用也考虑到多个光谱滤波器的使用，除非另有明确说明。例如，对光谱滤波器的引用可以理解为意味着“一个或多个光谱滤波器”。
17.图像捕获设备可以(例如使用全景成像技术)将测量目标的不可见光谱图像数据和测量目标的可见光谱图像数据组合，以使得组合图像可以被生成，该组合图像指示可见光谱数据和不可见光谱数据。在一些实现中，图像捕获设备可以分析不可见光谱数据，以确定可以与组合图像相关联地被提供的不可见光谱信息，诸如化学组成信息等。因此，多光谱成像可以使用全景图像捕获操作而被实现。例如，图像捕获设备可以使用全景图像捕获操作来达成多光谱成像，同时仍然能够使用可见范围光谱滤波器来捕获快照图像。通过在全景图像由图像传感器捕获时使用被扫过全景图像的光谱滤波器来执行多光谱成像，与具有用于多光谱传感的独立图像传感器相比，减少了多光谱成像设备的成本和大小。例如，本文中所描述的实现相对于独立图像传感器可以减少图像捕获设备的成本、大小、重量和功耗，并且可以减少对附加硬件、移动部件、辅助电子设备等的依赖。
18.图1是用于使用全景图像捕获操作进行多光谱成像的图像捕获设备的示例100的示意图，如本文中所述。如附图标记110所示，示例100包括与图像传感器相关联的图像捕获设备。例如，图像捕获设备可以包括用户设备，并且图像传感器可以与相机相关联。在一些实现中，图像捕获设备可以是单相机系统。在这样的情况下，图像传感器可以是单片图像传感器(例如使用单片硅芯片)。在单相机传感器中，单个图像传感器(例如单片图像传感器或另一类型的图像传感器)可以与透镜系统配对(例如沿光学轴线的透镜元件的组合)。
19.如附图标记120所示，示例100包括颜色光谱滤波器。在一些情况下，颜色光谱滤波器可以用于可见范围内的光。在一些实现中，颜色滤波器可以是拜耳滤波器、红绿蓝(rgb)滤波器、在大约380nm到780nm的范围内的可见范围滤波器等。如本文中所使用的，可见范围是指大约380nm到780nm的范围。颜色滤波器的瓦片可以以任何方式布置，并且颜色滤波器可以使用滤波器瓦片的任何组合。在一些实现中，颜色光谱滤波器可以与红外线截止滤波器(ircf)相关联。ircf可以滤除红外波长以使得可见范围的颜色值不被红外波长失真。在一些实现中，颜色滤波器可以与快照能力相关联。例如，图像捕获设备可以能够在不执行全景图像捕获操作的情况下经由颜色滤波器捕获快照图像。如本文中所使用的，“快照”可以是指在没有将图像捕获设备扫过图像的对象之上的情况下被捕获、并且具有多像素宽度和多像素高度的图像。
20.如附图标记130所示，光谱滤波器可以在图像传感器的边缘被提供。这里，多个光谱滤波器在图像传感器的左边缘被提供，其中一些光谱滤波器沿左边缘延伸到一定程度。此外，另一组光谱滤波器在图像传感器的右边缘被提供。这可能意味着，在使用全景图像捕获操作的多光谱成像期间，颜色光谱滤波器和附图标记130所示的光谱滤波器两者都被扫过测量目标之上，如结合图2更详细地描述的。附图标记130所示的光谱滤波器可以与窄方向上的单像素宽度或多像素宽度对应。附图标记130所示的光谱滤波器可以从图像传感器的第一侧延伸到图像传感器的第二侧，或者可以从第一侧到第二侧延伸到一定程度(如图像捕获设备的左侧所示)。在一些实现中，附图标记130所示的光谱滤波器可以在图像传感器的中心部分中(例如沿图像传感器上的边缘或其他地方)被提供。在一些实现中，附图标记130所示的光谱滤波器可以沿图像捕获设备的边缘被布置，该边缘与全景图像捕获操作的行进方向垂直。在一些实现中，附图标记130所示的光谱滤波器可以被布置在与全景图像捕获操作的行进方向垂直的带中。
21.在一些实现中，可以为图像传感器提供任何数目的光谱滤波器。例如，可以提供单
个光谱滤波器(例如，使得能够测量单个光谱带)，或者可以提供多个光谱滤波器(例如，使得能够测量一系列光谱带)。在一些实现中，附图标记130所示的光谱滤波器可以用于不可见光谱带(例如，近红外带、紫外带等)。例如，附图标记130所示的光谱带可以使紫外范围或近红外范围的光通过。在一些实现中，附图标记130所示的光谱滤波器可以与和紫外或近红外范围不同的光谱范围(诸如中红外范围、红外范围、可见范围的特定部分等)相关联。
22.在一些实现中，光谱滤波器可以位于附图标记120所示的颜色光谱滤波器内(例如而不是在图像传感器和/或颜色光谱滤波器的边缘)。例如，在颜色光谱滤波器中间的一个或多个像素可以被过滤以接收不可见光谱带，这可以改进图像捕获设备的多光谱成像的灵活性。
23.在一些实现中，附图标记130所示的(例如针对不可见范围的)光谱滤波器可以是带通滤波器、阻塞滤波器、长波通滤波器、短波通滤波器、二向色滤波器等。在一些实现中，附图标记130所示的光谱滤波器可以表示被实现为缺乏一个滤波器的区域。例如，与颜色光谱滤波器重叠的近红外阻塞滤波器可以不覆盖附图标记130所示的区域，从而允许近红外光通过附图标记130所示的区域中的图像传感器。在一些实现中，光谱滤波器(例如由附图标记120或130所示)可以被提供在图像传感器上或与图像传感器相邻(例如在上方、在顶部、被夹在中间等)。
24.在一些实现中，ircf用于阻挡不想要的红外光干扰图像传感器的颜色像素操作，否则这会使颜色值失真，如上所述。然而，ircf可能会影响附图标记130所示的光谱滤波器的操作，因为这些光谱滤波器将使近红外波长通过。在这种情况下，可以使用阻挡不想要的波长(例如颜色光谱滤波器区域中的红外波长、多光谱区域中的颜色波长等)的薄膜滤波器来代替ircf。因此，使用本文中所描述的实现可以支持标准颜色成像(例如供用户消耗)以及多光谱成像。在一些实现中，在放置附图标记130所示的光谱滤波器之前，可以在附图标记120所示的颜色光谱滤波器的区域中应用图案化的薄膜ircf。例如，图案化的薄膜ircf可以与附图标记130所示的光谱滤波器不重叠。
25.以这种方式，图像捕获设备可以允许用于颜色成像和用于多光谱成像所期望的所有波长的全透射窗口。此外，通过在图像传感器的边缘的带或列中使用光谱滤波器，降低了多光谱成像设备的成本、大小和复杂性。
26.如上所述，图1仅作为一个或多个示例被提供。其他示例可以与关于图1所描述的示例不同。
27.图2是使用全景图像捕获操作的多光谱成像的示例200的示意图，如本文中所述。如图所示，图2包括图像捕获设备210(例如与相机系统(诸如单相机系统)相关联的图像捕获设备)和测量目标220。测量目标220可以与要针对其捕获多光谱图像的任何对象对应。测量目标220被示出为说明如何使用可见范围光和不可见范围光使全景图像捕获操作的组合图像的特定区域成像。全景图像捕获操作的行进方向由附图标记230示出。
28.图像捕获设备210的图像传感器的光谱滤波器由附图标记240、250和260所示。在这里，可见范围光谱滤波器(例如颜色滤波器)由附图标记250所示，并且不可见范围光谱滤波器(例如近红外滤波器、紫外滤波器等)由附图标记240和260所示。为了清楚起见，不可见范围光谱滤波器被称为滤波器a和滤波器b。在一些实现中，滤波器a可以包括多个不同的滤波器。在一些实现中，滤波器b可以包括多个不同的滤波器。在一些实现中，(多个)滤波器a
和(多个)滤波器b中只有一项可以被包括在图像捕获设备210中。
29.测量目标220的位置是关于全景图像捕获操作的多个图像(例如图像1、图像2和图像3)而被示出的。如附图标记270所示，在图像1中，来自测量目标220的光由滤波器b过滤。因此，图像1中关于测量目标220的图像数据可以表示滤波器b的光谱范围。如附图标记280所示，在图像2中，来自测量目标220的光由颜色滤波器过滤。因此，图像2中关于测量目标220的图像数据可以表示颜色滤波器的可见光范围。如附图标记290所示，在图像3中，来自测量目标220的光由滤波器a过滤。因此，图像3中关于测量目标220的图像数据可以表示滤波器a的光谱范围。以这种方式，测量目标220的图像是通过滤波器a、b和颜色滤波器中的每个滤波器而被捕获的。作为全景图像捕获操作的部分，图像捕获设备可以将这些图像组合以生成组合图像，如结合图3更详细地描述的。
30.如上所述，图2仅作为一个或多个示例被提供。其他示例可以与关于图2所描述的示例不同。
31.图3是使用全景图像捕获操作的多光谱成像的另一示例300的示意图，如本文中所述。示例300的操作可以由图像捕获设备(例如图像捕获设备210)执行。在该示例中，图像捕获设备可以包括结合图1和图2所述的可见范围滤波器和不可见范围滤波器，以使得使用全景图像捕获操作的多光谱成像可以被执行。如图3所示并且如附图标记310所示，作为全景图像捕获操作的部分，图像捕获设备可以捕获多个图像。在这里，多个图像描绘了水果。在一些实现中，多个图像可以彼此部分重叠，如结合图2更详细地描述的。例如，图像捕获设备可以捕获部分重叠的图像以使得可见范围数据和不可见范围数据两者都是针对重叠的图像的区域而被捕获的。
32.如附图标记320所示，图像捕获设备可以标识多个图像的特征。例如，多个图像可以包括不可见范围(例如多光谱)图像数据和可见范围图像数据。特征可以包括例如几何特征、人、脸、物体等。图像捕获设备可以标识特征，使得多个图像能够对齐和组合以使得不可见范围图像数据和可见范围图像数据可以被组合。
33.如附图标记330所示，图像捕获设备可以基于特征来确定多个图像的边缘边界。例如，当第一图像和第二图像被组合以形成组合图像时，图像捕获设备可以确定第一图像的边缘位于第二图像中的何处。图像捕获设备可以基于特征来确定边缘边界。例如，图像捕获设备可以标识两个图像中的特定特征，并且可以基于特定特征来标识两个图像的边缘边界的相对位置。在一些实现中，可以使用不同的方法来确定边缘边界和/或组合图像，诸如与全景图像捕获技术相关联的任何方法。
34.如附图标记340所示，图像捕获设备可以基于特征和/或边缘边界将多个图像彼此对齐。例如，图像捕获设备可以确定多个图像中的每个图像中特定特征的相应坐标，并且可以基于特定特征的相应坐标将多个图像彼此对齐。作为另一个示例，图像捕获设备可以确定多个图像的边缘边界的相应坐标，并且可以基于边缘边界的相应坐标来将多个图像彼此对齐。因此，图像捕获设备可以使多个图像的可见范围信息和不可见范围信息能够被组合，如下面更详细地描述的。例如，返回参照图2的图像1、图像2和图像3，当图像1、图像2和图像3被组合时，组合图像可以包括与用于测量目标220的滤波器a、颜色滤波器和滤波器b对应的光谱信息。
35.在一些实现中，图像捕获设备可以从多个图像提取信息，而不基于多个图像来生
成组合图像。例如，图像捕获设备可以基于经由第一光谱滤波器和第二光谱滤波器而在多个图像中被捕获的特征来标识不可见范围信息(例如第一信息)与可见范围信息(例如第二信息)之间的关联。在这样的情况下，图像捕获设备可以基于第一信息与第二信息之间的关联来存储、提供和/或显示信息。例如，图像捕获设备可以提供基于可见范围信息的图像以供显示，并且可以提供基于与图像的特定区域对应的不可见范围信息的信息。在这样的情况下，图像捕获设备可以接收与基于可见范围信息的图像的区域的交互，并且可以提供与区域相关联的不可见范围信息(例如化学组成信息、图像的区域的化学组成的视觉表示等)。以这种方式，图像捕获设备可以节省处理器资源，否则这些资源将被用于生成组合图像。
36.在一些实现中，图像捕获设备可以标识多个图像中将被组合以形成组合图像的两个或更多个所选图像。例如，图像捕获设备可以基于图像分析(例如基于清晰度、亮度、聚焦等)来标识两个或更多个所选图像。作为另一示例，图像捕获设备可以基于两个或两个以上的所选图像的边缘边界来标识两个或更多个所选图像。例如，图像捕获设备可以标识具有足够的重叠的多个图像的图像子集以使得可以形成如下组合图像：该组合图像包括来自图像捕获设备的每个光谱滤波器的光谱内容。在一些实现中，图像捕获设备可以确定多个图像中的一个或多个图像将不被用于形成组合图像(例如因为该一个或多个图像的数据已经被包括在多个图像中的其他重叠图像中)，并且可以由此节省处理资源，否则这些资源将被用于组合包括该一个或多个图像的更大图像子集。
37.如附图标记350所示，图像捕获设备可以基于对齐图像和基于光谱滤波器来确定不可见范围信息。例如，图像捕获设备可以基于不可见范围图像数据来确定不可见范围信息。在一些实现中，图像捕获设备可以执行不可见范围图像数据的分析，以确定不可见范围信息。例如，图像捕获设备可以基于不可见范围图像数据来确定多个图像的对象的化学组成。在图3中，图像捕获设备确定多个图像中所示的水果的糖含量。
38.在一些实现中，图像捕获设备可以对不可见范围图像数据应用模型，以确定不可见范围信息。模型可以接收不可见范围图像数据作为输入并且可以输出化学组成信息作为不可见范围信息。在一些实现中，模型可以基于算法而被训练，诸如机器学习算法等。例如，模型可以使用不可见范围图像数据和对应化学组成的训练集(例如训练集、验证集和/或测试集)而被训练。在一些实现中，图像捕获设备可以在本地应用模型。例如，图像捕获设备可以存储模型，并且可以使用模型来执行不可见范围图像数据的分析。在一些实现中，图像捕获设备可以向另一设备提供不可见范围图像数据，并且该另一设备可以使用模型来执行不可见范围图像数据的分析。在图像捕获设备上本地地应用模型可以减少与生成组合图像相关联的时延，这可以支持增强现实应用等。在服务器设备处应用模型可以节省图像捕获设备的电池和/或处理器资源，并且可以使得能够应用比在图像捕获设备上会可行或有效率的模型更复杂的模型。
39.如附图标记360所示，图像捕获设备可以将组合图像中的不可见范围信息和可见范围信息组合，并且如附图标记370所示，图像捕获设备可以提供组合图像以供显示。在一些实现中，图像捕获设备可以基于不可见范围信息来修改组合图像。例如，如附图标记380所示，在这种情况下，图像捕获设备叠加每个水果的糖含量的指示(例如基于化学组成而被确定，这是使用上述不可见范围信息所确定的)。在一些实现中，图像捕获设备可以叠加其
他信息，诸如指示水果或蔬菜的成熟度、水深、植被覆盖、食物的化学组成等的信息。在这里，被叠加的信息使用数字来指示糖含量。然而，被叠加的信息可以采取任何形式，诸如颜色、剖面线、标签等。因此，用户可理解的可见范围的组合图像可以基于不可见范围信息而被修改，从而在用户友好的接口中提供不可见范围信息，并且节省图像捕获设备资源(例如处理资源、显示资源、电池资源等)，否则这些资源将被用于为不可见范围信息提供不太直观的接口或多个不同的接口。
40.在一些实现中，图像捕获设备可以使用增强现实技术来提供组合图像。例如，图像捕获设备可以将不可见范围信息叠加在组合图像上。在一些实现中，图像捕获设备可以基于用户交互来修改组合图像。例如，图像捕获设备可以接收与组合图像的特定部分的交互，并且可以提供关于该特定部分的附加信息。在图3的示例中，如果图像捕获设备接收与水果中的一个水果的交互，则图像捕获设备可以提供关于该水果的化学组成的附加信息(例如更具体的糖含量值、成熟度等)。以这种方式，图像捕获设备可以提供用户接口，用于深入挖掘不可见范围信息并且对应地调整组合图像，从而节省处理器资源和/或电池，否则这些处理器资源和/或电池将被用于捕获和生成另一组合图像以呈现对组合图像的调整。
41.因此，多光谱成像可以使用全景图像捕获操作而被实现。通过在全景图像由图像传感器捕获时使用被扫过全景图像的光谱滤波器来执行多光谱成像，与具有用于多光谱传感的独立图像传感器相比，减少了多光谱成像设备的成本和大小。例如，本文中所描述的实现相对于独立图像传感器可以减少图像捕获设备的成本、大小、重量和功耗，并且可以减少对附加硬件、移动部件、辅助电子设备等的依赖。
42.如上所述，图3仅作为一个或多个示例被提供。其他示例可以与关于图3所描述的示例不同。
43.图4是在其中可以实现本文中所描述的系统和/或方法的示例环境400的示意图。如图4所示，环境400可以包括图像捕获设备410、服务器设备430和网络设备440，图像捕获设备410包括图像传感器420。环境400的设备可以经由有线连接、无线连接、或者有线连接和无线连接的组合来互连。
44.用户捕获设备410包括能够接收、生成、存储、处理和/或提供与全景图像捕获操作相关联的信息的一个或多个设备。例如，图像捕获设备410可以包括通信和/或计算设备，诸如智能手机、平板计算机、手持式计算机、可穿戴通信设备(例如智能手表、一副智能眼镜等)或类似类型的设备。在一些实现中，图像捕获设备410可以与单相机系统相关联，诸如包括一个或多个图像传感器420，这些图像传感器共同地在光轴上与透镜系统对齐。
45.图像捕获设备410包括图像传感器420。图像传感器420包括能够执行对被引向图像传感器420的光的测量(例如经由一个或多个光谱滤波器)的设备。例如，图像传感器420可以执行被引向图像传感器420的光的传感器测量。图像传感器420可以使用一种或多种传感器技术，诸如互补金属氧化物半导体(cmos)技术、电荷耦合器件(ccd)技术等。图像传感器420可以包括多个传感器元件(例如传感器元件的阵列—被称为传感器阵列)，每个传感器元件都被配置为获取信息。一些传感器元件可以与可见光范围(例如，和/或可见光谱光谱滤波器)相关联，并且其他传感器元件可以与不可见光范围(例如和/或不可见光谱光谱滤波器)相关联。在一些实现中，图像传感器420可以包括单个图像传感器，诸如单片图像传感器。
46.服务器设备430包括能够存储、处理和/或路由与使用图像捕获设备410的多光谱成像相关联的信息一个或多个设备。在一些实现中，服务器设备430可以包括通信接口，该通信接口允许服务器设备430接收来自环境400中的其他设备的信息和/或向环境400中的其他设备发送信息。
47.网络440包括一个或多个有线和/或无线网络。例如，网络440可以包括蜂窝网络(例如长期演进(lte)网络、码分多址(cdma)网络、4g网络、5g网络、另一类型的下一代网络等)、公用陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网络(例如公用交换电话网(pstn))、专用网络、自组网络、内联网、互联网、基于光纤的网络、云计算网络等、和/或这些或其他类型的网络的组合。
48.图4所示的设备和网络的数目和布置作为示例提供。在实践中，与图4中所示的设备和/或网络相比，可以存在附加设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或以不同方式布置的设备和/或网络。更进一步地，图4所示的两个或更多个设备可以在单个设备中实现，或者图4所示的单个设备可以被实现为多个分布式设备。附加地或备选地，环境400的一组设备(例如，一个或多个设备)可以执行被描述为由环境400的另一组设备执行的一个或多个功能。
49.图5是设备500的示例组件的图解。设备500可以对应于图像捕获设备410和/或服务器设备430。在一些实现中，图像捕获设备410和/或服务器设备430可以包括一个或多个设备500和/或设备500的一个或多个组件。如图5所示，设备500可以包括总线510、处理器520、存储器530、存储组件540、输入组件550、输出组件560、以及通信接口570。
50.总线510包括准许设备500的多个组件之间的通信的组件。处理器520以硬件、固件、和/或硬件和软件的组合实现。处理器520是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)或者另一类型的处理组件。在一些实现中，处理器520包括能够被编程为执行功能的一个或多个处理器。存储器530包括随机存取存储器(ram)、只读存储器(rom)、和/或存储供处理器520使用的信息和/或指令的另一类型的动态或静态存储设备(例如，闪存、磁性存储器和/或光学存储器)。
51.存储组件540存储与设备500的操作和使用有关的信息和/或软件。例如，存储组件540可以包括硬盘(例如，磁盘、光盘和/或磁光盘)、固态驱动器(ssd)、压缩盘(cd)、数字多功能盘(dvd)、软盘、盒式磁带、磁带、和/或另一类型的非瞬态计算机可读介质，以及对应驱动器。
52.输入组件550包括准许设备500诸如经由用户输入接收信息的组件(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)。附加地或备选地，输入组件550可以包括用于确定位置的组件(例如，全球定位系统(gps)组件)和/或传感器(例如，加速度计、陀螺仪、致动器、另一类型的定位传感器或环境传感器等)。输出组件560包括(经由例如显示器、扬声器、触觉反馈组件、音频或视觉指示器等)提供来自设备500的输出信息的组件。
53.通信接口570包括类似收发器的组件(例如，收发器、单独接收器、单独发送器等)，该类似收发器的组件使得设备500能够诸如经由有线连接、无线连接、或者有线连接和无线连接的组合与其他设备通信。通信接口570可以准许设备500从另一设备接收信息和/或向另一设备提供信息。例如，通信接口570可以包括以太网接口、光学接口、同轴接口、红外接
口、射频(rf)接口、通用串行总线(usb)接口、wi
‑
fi接口、蜂窝网络接口等。
54.设备500可以执行本文中所描述的一个或多个过程。设备500可以基于处理器520执行由诸如存储器530和/或存储组件540的非瞬态计算机可读介质存储的软件指令来执行这些过程。如本文中所使用的，术语“计算机可读介质”是指非瞬态存储设备。存储器设备包括单个物理存储设备内的存储器空间或者跨多个物理存储设备散布的存储器空间。
55.软件指令可以从另一计算机可读介质或经由通信接口570从另一设备读入存储器530和/或存储组件540中。当被执行时，被存储在存储器530和/或存储组件540中的软件指令可以使处理器520执行本文中所描述的一个或多个过程。附加地或备选地，硬件电路系统可以代替软件指令者或与软件指令组合使用以执行本文中所描述的一个或多个过程。因此，本文中说描述的实现不限于硬件电路系统和软件的任何特定组合。
56.图5所示的组件的数目和布置作为示例提供。在实践中，与图5所示的组件相比，设备500可以包括附加组件、更少的组件、不同的组件或以不同方式布置的组件。附加地或备选地，设备500的一组组件(例如，一个或多个组件)可以执行被描述为由设备500的另一组组件执行的一个或多个功能。
57.图6是使用全景图像捕获操作的多光谱成像的示例过程600的流程图。在一些实现中，图6的一个或多个过程框可以由图像捕获设备(例如图像捕获设备410)执行。在一些实现中，图6的一个或多个过程框可以由另一设备或者与图像捕获设备分离或包括图像捕获设备的一组设备执行，诸如图像传感器(例如图像传感器420)、服务器设备(例如服务器设备430)等。
58.图像捕获设备可以包括第一光谱滤波器和第二光谱滤波器。第一光谱滤波器和第二光谱滤波器可以被布置以使得全景图像捕获操作在组合图像的同一区域中捕获由第一光谱滤波器过滤的光和由第二光谱滤波器过滤的光。
59.如图6所示，过程600可以包括基于全景图像捕获操作来捕获多个图像(框610)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540、输入组件550等)可以基于全景图像捕获操作来捕获多个图像，如上所述。在一些实现中，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540等)可以标识多个图像的特征，如上所述。在一些实现中，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540等)可以基于特征来将多个图像彼此对齐以生成对齐图像，如上所述。
60.如图6进一步所示，过程600可以包括从多个图像提取第一信息和第二信息，其中第一信息与第一光谱滤波器相关联，并且第二信息与第二光谱滤波器相关联(框620)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540等)可以从多个图像提取第一信息(例如不可见范围信息)和第二信息(例如可见范围信息)，如上所述。在一些实现中，第一信息与第一光谱滤波器相关联，并且第二信息与第二光谱滤波器相关联。
61.如图6中进一步所示，过程600可以包括基于经由第一光谱滤波器和第二光谱滤波器而在多个图像中被捕获的特征来标识第一信息与第二信息之间的关联(框630)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540等)可以基于经由第一光谱滤波器和第二光谱滤波器而在多个图像中被捕获的特征来标识第一信息与第
二信息之间的关联。
62.如图6进一步所示，过程600可以包括基于第一信息与第二信息之间的关联来存储或提供信息(框640)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540、输入组件550、输出组件560和通信接口570等)可以基于第一信息与第二信息之间的关联来存储或提供信息，如上所述。
63.过程600可以包括附加实现，诸如任何单个实现或者下面所描述和/或结合本文中其他地方被描述的一个或多个其他过程所描述的实现的任何组合。
64.在一些实现中，第一光谱滤波器沿图像捕获设备的边缘被布置，该边缘与全景图像捕获操作的行进方向垂直。在一些实现中，第一光谱滤波器包括多个光谱滤波器。在一些实现中，多个光谱滤波器用于多光谱光谱成像或高光谱光谱成像。在一些实现中，第一信息是与不可见光谱范围相关联的不可见范围信息，并且第二信息是与可见光谱范围相关联的可见范围信息。在一些实现中，图像捕获设备可以基于第一信息来确定化学组成信息，并且与基于第一信息和第二信息的组合图像相关联地提供化学组成信息的指示以供显示。在一些实现中，图像捕获设备可以基于化学组成信息的指示来修改组合图像。在一些实现中，第一光谱滤波器包括带通滤波器或一组带通滤波器，并且第二光谱滤波器包括颜色滤波器或一组颜色滤波器。
65.虽然图6示出了过程600的示例框，但是在一些实现中，与图6中所示的框相比，过程600可以包括附加的框、较少的框、不同的框或者以不同的方式被布置的框。附加地或备选地，过程600的两个或更多个框可以并行执行。
66.图7是使用全景图像捕获操作的多光谱成像的示例过程700的流程图。在一些实现中，图7的一个或多个过程框可以由图像捕获设备(例如图像捕获设备410)执行。在一些实现中，图7的一个或多个过程框可以由另一设备或者与图像捕获设备分离或包括图像捕获设备的一组设备执行，诸如图像传感器(例如图像传感器420)、服务器设备(例如服务器设备430)等。
67.如图7所示，过程700可以包括：由具有多个第一光谱滤波器和第二光谱滤波器的图像捕获设备基于全景图像捕获操作来捕获多个图像(框710)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540、输入组件550等)可以基于全景图像捕获操作来捕获多个图像。图像捕获设备可以具有多个第一光谱滤波器和第二光谱滤波器。多个第一光谱滤波器和第二光谱滤波器可以被布置以使得多个图像包括第一图像数据和第二图像数据。第一图像数据可以针对组合图像的区域并且可以基于多个第一光谱滤波器。第二图像数据可以针对组合图像的区域并且可以基于第二光谱滤波器。
68.如图7进一步所示，过程700可以包括将多个图像彼此对齐以生成对齐图像(框720)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540等)可以基于特征将多个图像彼此对齐以生成对齐图像，如上所述。
69.如图7进一步所示，过程700可以包括从对齐图像提取不可见范围信息和可见范围信息(框730)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540等)可以从对齐图像提取不可见范围信息和可见范围信息，如上所述。在一些实现中，不可见范围信息与不可见光谱范围相关联并且基于第一图像数据。在一些实现中，可见范围信息与可见光谱范围相关联并且基于第二图像数据。
70.如图7进一步所示，过程700可以包括将不可见范围信息和可见范围信息组合以生成组合图像(框740)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540等)可以将不可见范围信息和可见范围信息组合以生成组合图像，如上所述。
71.如图7进一步所示，过程700可以包括提供组合图像以供显示(框750)。例如，图像捕获设备(例如使用图像传感器420、处理器520、存储器530、存储组件540、输入组件550、输出组件560和通信接口570等)可以提供组合图像以供显示，如上所述。
72.过程700可以包括附加实现，诸如任何单个实现或者下面所描述的和/或结合本文中其他地方被描述的一个或多个其他过程所描述的实现的任何组合。
73.在一些实现中，多个第一光谱滤波器被布置在与全景图像捕获操作的行进方向垂直的带中。在一些实现中，图像捕获设备可以基于不可见范围信息来确定化学组成信息。在一些实现中，图像捕获设备可以与组合图像相关联地提供化学组成信息的指示以供显示。在一些实现中，图像捕获设备可以使用增强现实技术来提供化学组成信息的指示。在一些实现中，多个第一光谱滤波器中的第一光谱滤波器沿图像传感器的边缘延伸到一定程度。
74.在一些实现中，多个第一光谱滤波器与用于多光谱光谱成像或高光谱光谱成像的相应光谱范围相关联。在一些实现中，图像捕获设备可以基于多个图像的相应特征或边缘边界来将多个图像对齐。
75.虽然图7示出了过程700的示例框，但是在一些实现中，与图7所示的相比，过程700可以包括附加的框、较少的框、不同的框或以不同的方式布置的框。附加地或备选地，过程700的两个或更多个框可以并行执行。
76.上述公开提供了说明和描述，但是并非旨在穷举或将实现限制为所公开的精确形式。可以鉴于上述公开做出修改和变化，还可以根据实现的实践获取修改和变化。
77.如本文中所使用的，术语“组件”旨在广义地被解释为硬件、固件、和/或硬件和软件的组合。
78.某些用户接口已经在本文中被描述和/或在图中被示出。用户接口可以包括图形用户接口、非图形用户接口、基于文本的用户接口等。用户接口可以提供信息以供显示。在一些实现中，用户可以与信息交互，诸如通过经由设备的输入组件提供输入，该设备提供用户接口以供显示。在一些实现中，用户接口可以由设备和/或用户可配置(例如用户可以改变用户接口的大小、经由用户接口所提供的信息、由用户接口提供的信息的位置等)。附加地或备选地，用户接口可以被预配置为标准配置、基于显示用户接口的设备的类型的特定配置、和/或基于与用户接口在其上被显示的设备相关联的能力和/或规范的一组配置。
79.将明显的是，本文中所描述的系统和/或方法可以以不同形式的硬件、固件、或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现。因此，本文中在不参考特定软件代码的情况下描述系统和/或方法的操作和行为—应当理解，软件和硬件可以被设计为实现基于本文中所描述的系统和/或方法。
80.尽管在权利要求中叙述和/或在说明书中公开了特征的特定组合，但是这些组合并不旨在限制各种实现的公开内容。事实上，这些特征中的许多特征可以以权利要求中未具体叙述和/或说明书中未公开的方式组合。尽管所附每个从属权利要求可能直接仅从属于一个权利要求，但是各种实现的公开内容包括每个从属权利要求与权利要求集合中的每
个其他权利要求的组合。
81.本文中所使用的任何元件、动作或指令都不应被解释为关键或必要的，除非明确说明如此。此外，如本文中所使用的，冠词“一”和“一个”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。更进一步地，如本文中所使用的，术语“集合”旨在包括一个或多个项目(例如，相关项目、无关项目、相关项目和无关项目的组合等)，并且可以与“一个或多个”互换使用。在仅旨在一个项目之处，使用短语“仅一个”或类似语言。此外，如本文中所使用的，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式术语。此外，除非另有明确陈述，否则短语“基于”旨在意指“至少部分基于”。