成像结构的制作方法

1.本发明各方面大体上涉及成像结构，更具体地，但非排他性地，涉及在用于生成与待成像的对象或场景相关的光谱和/或深度信息的系统中使用的成像结构。


背景技术：

2.在增强现实系统、图像处理系统和自动驾驶车辆技术等中，需要对周围环境进行快速和可靠的感测。在这样的系统中，由摄像机生成的图像数据可以用于将信息覆盖在真实世界图像上，或解释周围环境，以避免碰撞等。
3.为了增强从基于rgb传感器的摄像机等收集的数据，可以使用从其它成像源收集的数据。例如，从电磁(electromagnetic，em)光谱的多个区域收集和处理数据的光谱摄像机可以用于实现表面和材料特性的识别映射和测量。在另一个示例中，3d深度感测可以用于从周围环境获得准确、可重复和实时的3d信息。但是，光谱和深度感测摄像机通常分辨率低，视场窄。因此，与其它图像捕获设备(可以具有相对大的视场)相比，光谱和/或深度感测系统在许多真实世界情况下的应用受到限制。


技术实现要素：

4.根据第一方面，提供了一种用于生成表示对象或场景图像的数据的成像结构，成像结构包括用于在第一视场内生成第一波段中的图像数据的第一图像捕获设备和用于在第二视场内生成第二波段中的图像数据的第二图像捕获设备，其中，第二视场在第一视场内。
5.在一些示例中，图像捕获设备之一可以是光谱摄像机，即用于生成表示电磁频谱(光谱带)的多个(通常是窄的)波长范围的图像数据的摄像机。该多光谱数据可以提供对周围环境的重要见解，可以用于多种应用。例如，由光谱设备为使用rgb摄像机捕获的场景或对象提供的这种附加见解可以包括在识别室外或室内场景中的光源时使用光谱信息，这可以实现卓越的自动白平衡(automatic white balance，awb)操作，同时确保图像中的色彩精度。其它应用可以是图像分割、语义理解、皮肤检测和其它材料检测。在一个示例中，图像捕获设备之一可以是可见光(例如，基于rgb传感器的)摄像机。
6.在第一方面的一种实现方式中，第一图像捕获设备可以包括rgb图像传感器元件。也就是说，第一图像捕获设备可以包括用于检测可见光的设备。第二图像捕获设备可以包括图像传感器元件，该图像传感器元件用于生成电磁频谱中的人类可见区域之外的波段中的图像数据。在一个示例中，第二图像捕获设备可以包括深度传感器，深度传感器用于生成表示第二图像捕获设备与对象或场景之间的距离测量值的深度数据。第二图像捕获设备用于相对于第一视场修改第二视场的位置。在一个示例中，第二视场(即，第二图像捕获设备的视场)可以相对于第一视场或在第一视场内改变。例如，在第一视场中检测到的显著对象或感兴趣区域可以用作第二视场的焦点，因此，第二视场可以移动，以便使显著对象或感兴趣区域落在第二视场内。
7.在第一方面的进一步的实现方式中，成像结构还可以包括第三图像捕获设备，用于在第三视场内生成第三波段中的图像数据，其中，第三视场在第一视场内。在一个示例中，第三图像捕获设备可以包括深度传感器，深度传感器用于生成表示第三图像捕获设备与对象或场景之间的距离测量值的深度数据。
8.随着增强现实的出现，深度信息有许多用途，3d范围成像是许多需要快速可靠观察环境的应用领域的使能技术。使用深度传感器，来自周围空间的精确、可重复和实时3d信息可以实现新应用的改进和开发。随着增强世界和真实世界融合，3d深度感测也变得越来越重要。因此，可以分析来自可以是广角传统摄像机等的第一图像捕获设备的帧，以检测感兴趣区域。可以引导另一个具有扫描功能和光谱和/或深度感测能力的摄像机来扫描检测到的感兴趣区域。
9.第一图像捕获设备和/或第二图像捕获设备和/或第三图像捕获设备可以由图像捕获传感器的子区域分别限定。例如，可以使用能够生成深度和/或光谱信息的图像捕获传感器。因此，例如，单个图像传感器可以用于按顺序捕获em光谱的可见和不可见区域的数据以及深度信息。
10.在一个示例中，第一图像捕获设备是广角摄像机。第二图像捕获设备可以是光谱成像设备，其中，第二波段包括以下中的至少一个：300nm
–
1000nm、650nm
–
1000nm和1000nm
–
2000nm。第三图像捕获设备可以生成以下波段中的至少一个中的图像数据：800nm
–
1000nm、100nm
–
1500nm和1500nm后波段。在一个示例中，第一图像捕获设备和第二图像捕获设备中的至少一个不生成对应于第三波段的图像数据。第一图像捕获设备和第二图像捕获设备中的至少一个可以包括用于阻挡来自第三波段的电磁辐射的滤波器。
11.根据第二方面，提供了一种用于生成对象或场景的图像的方法，该方法包括：使用具有第一视场的第一图像捕获设备生成电磁频谱的第一波段中的表示第一图像的第一图像数据；分析第一图像数据以确定第一图像的显著部分的存在；以及基于分析，使用具有比第一图像捕获设备的第一视场窄的第二视场的第二图像捕获设备生成电磁频谱的第二波段中的显著部分的第二图像数据。表示电磁频谱的第三波段中的第三图像的第三图像数据可以使用具有第三视场的第三图像捕获设备生成。在一个示例中，第二图像捕获设备的第二视场的位置可以相对于第一视场调整。第三图像捕获设备的第三视场的位置可以相对于第一视场调整。
12.在第二方面的一种实现方式中，基于显著部分在第一视场内的确定的位置，可以调整第二视场的当前位置，使得确定的位置和当前位置重合。也就是说，在第一视场中检测到的显著对象或感兴趣区域可以用作第二视场的焦点，因此，第二视场可以移动，以便使显著对象或感兴趣区域落在第二视场内。同样的考虑也适用于本文所描述的第三视场，该第三视场也可以调整，以使显著对象或感兴趣区域落在第三视场内。
13.调整第二视场(或实际上第三视场)的当前位置可以通过机械或电子部件实现。例如，图像捕获设备可以物理移动和/或旋转，以便改变其视场。在一个示例中，可以使用与图像捕获设备的传感器元件的子部分相关联的视场，其中，不同的子部分对应于不同的视场。
14.在一个示例中，可以生成表示包括从第一图像数据、第二图像数据和第三图像数据中的至少一个导出的信息的输出图像的输出图像数据。输出图像可以包括对象或场景的深度图。输出图像可以包括对象或场景的光谱图像。
15.根据第三方面，提供了一种非瞬时性机器可读存储介质，使用用于生成表示对象或场景的图像数据的指令编码，指令可由机器的处理器执行，从而使机器：使用具有第一视场的第一图像捕获设备生成电磁频谱的第一波段中的表示第一图像的第一图像数据；分析第一图像数据以确定第一图像的显著部分的存在；以及基于分析，使用具有比第一图像捕获设备的第一视场窄的第二视场的第二图像捕获设备生成电磁频谱的第二波段中的显著部分的第二图像数据。
16.在第三方面的一种实现方式中，非瞬时性机器可读存储介质还可以用可由机器的处理器执行的指令编码，从而使机器使用具有第三视场的第三图像捕获设备生成表示电磁频谱的第三波段中的第三图像的第三图像数据。指令还可以使机器：相对于第一视场调整第二图像捕获设备的第二视场的位置；相对于第一视场调整第三图像捕获设备的第三视场的位置；基于显著部分在第一视场内的确定的位置，调整第二视场的当前位置，使得确定的位置和当前位置重合；操作致动器，以调整第二视场和第三视场中的至少一个的位置；生成表示输出图像的输出图像数据，输出图像包括从第一图像数据、第二图像数据和第三图像数据中的至少一个导出的信息。
附图说明
17.为了更完整地理解本发明，现在仅作为示例参考以下结合附图的描述。
18.图1为示例提供的成像结构的示意图。
19.图2为示例提供的成像结构的示意图。
20.图3为示例提供的系统的示意图。
21.图4为示例提供的方法的流程图。
具体实施方式
22.下面详细描述示例性实施例，以使本领域普通技术人员能够体现和实现本文描述的系统和过程。重要的是要理解，实施例可以通过许多替代形式提供，并且不应解释为限于本文所阐述的示例。因此，虽然实施例可以通过各种方式修改并采取各种替代形式，但其具体实施例在附图中示出，并在下文作为示例详细描述。无意限制所公开的特定形式。相反，应包括属于所附权利要求范围内的所有修改、等价物和替代方案。示例性实施例的元件在整个附图中一致地用相同的附图标记表示，并在适当的情况下详细描述。
23.本文用于描述实施例的术语并不旨在限制范围。“一”、“一个”和“所述”是单数的，因为它们具有单一的指代物，但是，本文件中使用单数形式不应排除存在一个以上的指代物。换句话说，单数中提到的元件可以编号一个或多个，除非上下文中另有明确说明。还将理解，本文使用的术语“包括”、“包含”表示存在所陈述的特征、项目、步骤、操作、元件和/或组件，但是不排除存在或添加一个或多个其它特征、项目、步骤、操作、元件、组件和/或它们的组合。
24.除非另有定义，否则本文使用的所有术语(包括技术和科学术语)均应解释为本领域的惯例。还将理解，除非本文明确定义，否则通常用法中的术语也应解释为相关领域中的惯例，而不是理想化或过于形式化的意义。
25.根据示例，成像结构可以用于捕获图像数据，以便由自动驾驶车辆或移动设备等
系统使用。在一种实现方式中，成像结构可以作为所讨论的系统的一部分提供。例如，成像结构可以形成移动设备的成像模块。成像结构可以包括多个图像捕获设备，这些图像捕获设备用于生成em光谱的相应波段中的图像数据。图像捕获设备可以包括对em光谱的特定波段中的em辐射敏感的传感器。所讨论的频段可以彼此重叠或彼此分开/不同。
26.根据示例，成像结构包括第一图像捕获设备。第一图像捕获设备可以生成em光谱的第一波段中的图像数据，例如，该第一波段可以对应于em光谱的可见部分。在一个示例中，第一图像捕获设备用于在第一视场内生成图像数据。第一视场可以包括可以使用第一图像捕获设备的传感器成像的区域。该区域可以包括水平分量和垂直分量。相对较大的水平分量通常被称为广角，使得图像捕获设备能够跨相对较大的距离对场景进行成像。使用第一图像捕获设备捕获的图像可以是广角图像。视场可以与术语视角互换使用。在一个示例中，第一图像捕获设备可以用于连续图像捕获，或者可以在需要时激活。
27.可以分析表示使用第一图像捕获设备生成的场景或对象的图像的图像数据，以便确定感兴趣区域或显著部分。这种区域或部分可以使用任何数量的合适的方法来确定。例如，图像的对象或区域可以使用深度神经网络进行分类，例如卷积神经网络，例如retina-net、r-cnn或yolo。
28.因此，例如，可以处理广角传统摄像机的图像或帧，以便检测对象和对象类别，然后它们可以用于选择图像内的感兴趣区域。图像分析可以用于检测人类感兴趣的感兴趣区域(例如，面部、人、猫、狗、照片的主要对象等)和/或其它图像特征，例如，检测和标记天空、草、皮肤、可能的白色和灰色对象等。
29.第二图像捕获设备可以用于生成第二波段中的图像数据。第二图像捕获设备可以用于在定义第二视场的区域内生成图像数据。在一个示例中，第二视场在第一视场内。也就是说，第二图像捕获设备可以生成包括使用第一图像捕获设备捕获的图像的子部分的图像。第二图像捕获设备可以用于生成表示子部分的光谱和/或深度信息的数据。
30.根据示例，可以调整(第二图像捕获设备的)第二视场。也就是说，定义第二视场的区域可以在第一视场内移动。因此，第二图像捕获设备可以被认为包括扫描功能，该扫描功能可以以机械和/或电子的方式实现。因此，使用第一图像捕获设备捕获的图像的识别的显著部分可以用作第二图像捕获设备的焦点或被摄体。也就是说，第二图像捕获设备的视场可以基于第一视场内对应于第一图像捕获设备的图像的识别的显著部分来调整。因此，第二图像捕获设备生成的子图像可以包括识别的显著部分，第二视场已进行调整，以便能够使用第二图像捕获设备捕获识别部分的图像。
31.从rgb图像等中的显著部分生成表示光谱和/或深度信息的数据可以用于提供图像中感兴趣区域的改进和多功能信息。因此，通过将第二图像捕获设备的视场引导到第一图像捕获设备的图像的相关子部分，克服了扫描设备的缺点(例如窄fov和低分辨率)，并且可以广泛利用光谱和深度摄像机提供的优点。此外，当扫描感兴趣区域(即，相对于整个图像的子部分)时，最大限度地减少了待分析的数据量。因此，从可以是rgb摄像机等的第一图像捕获设备获得的图像数据可以与来自一个或多个扫描摄像机的数据结合使用，以提高第一图像捕获设备的图像质量，并使得能够分析场景，以便提供关于对象或周围环境等的附加信息，这些信息可以由应用使用。
32.图1为示例提供的成像结构的示意图。成像结构101可以用于生成表示对象或场景
的图像105的数据103。成像结构101包括用于在第一视场113内生成第一波段中的图像数据的第一图像捕获设备109，以及用于在第二视场115内生成第二波段中的图像数据的第二图像捕获设备111。第二视场115在第一视场113内。也就是说，第二图像捕获设备111的第二视场115限定的成像区域设置在第一图像捕获设备109的第一视场113限定的成像区域内。在图1的示例中，第二图像捕获设备111的视场的水平分量约为30度，而第一图像捕获设备109的视场的水平分量约为100度。因此，第二视场115可以相对于第一视场113在其周围移动，同时保持在由第一图像捕获设备109的第一视场113限定的成像区域内。例如，第一图像捕获设备109的视场113可以在60度至360度之间。例如，第二图像捕获设备111的视场115可以在15度至180度之间。在一个示例中，成像结构101可以形成移动设备107(例如移动设备(例如，智能手机))的一部分。
33.在图1的示例中，第一图像捕获设备109包括rgb图像传感器元件。也就是说，例如，第一图像捕获设备109是rgb摄像机的形式，并且可以包括广角镜头结构，从而使其能够在相对较大的视场成像，如以上所描述。在一个示例中，第一图像捕获设备109的视场113在大于视场115的意义上是宽的。因此，对广角的参考可以被解释为包括第一图像捕获设备109的视场113的水平分量大于第二图像捕获设备111的视场115的水平分量的情况。
34.第二图像捕获设备111的第二视场115的位置可以相对于第一图像捕获设备109的位置修改。例如，第二图像捕获设备111或其组件(这种透镜或透镜装置)可以以物理或机械的方式移动，以便调整其视场115。
35.由第一图像捕获设备109捕获的图像可以由分析模块117连续分析。例如，基于ai的分析功能可以在分析模块117中实现，并训练来检测特定对象。在一种实现方式中，可以存在手动模式，在手动模式中，在用户从设备107的取景器图像(例如，通过用手指轻触期望的点)选择待扫描的区域之后，接收用户输入。替代地，用户可以提供文本或口头输入。
36.在一个示例中，第二图像捕获设备111可以包括两个成像传感器，用于提供可以用于感知环境的数据。成像传感器之一可以是多光谱传感器。多光谱传感器的特性可以根据应用选择。光谱传感器/摄像机能够成像，例如，红外～700nm-1um、可见光谱～400nm-700nm(包括rgb)、紫外～10nm-400nm或其组合。在一个示例中，光学滤波器可以用于捕获特定的光谱范围。所选择的滤波器可以取决于用户输入。第二成像传感器可以形成深度摄像机的一部分。深度摄像机可以用于针对图像的每个点判断设备111与被摄体之间的深度和距离。例如，可以根据飞行时间技术计算距离。例如，深度摄像机可以用于测量距离和体积，以及用于对象扫描、室内导航、避障、手势识别或对象跟踪。因此，来自第二传感器的数据可以帮助3d成像以及改善增强现实(augmented reality，ar)体验。
37.图2为示例提供的成像结构的示意图。在图2的示例中，提供了第三图像捕获设备201。第三图像捕获设备201用于在第三视场203内生成第三波段中的第三图像数据。在一个示例中，第三视场203在第一视场113内。第三视场203可以不同于第二视场115，或可以部分地与第二视场115重叠。第三图像数据可以包括确定的显著部分的图像数据，并且可以与第二图像数据(即，由第二图像捕获设备生成的数据)结合使用或与第二图像数据分开使用。
38.在图2的示例中，第二图像捕获设备111可以是扫描光谱摄像机，第三图像捕获设备201可以是扫描深度摄像机。图像捕获设备201、111的视场115、203不需要相同，但是，在一个示例中，两者都比第一图像捕获设备109的视场窄。
39.根据示例，使用成像结构生成的数据可以以各种方式使用。例如，数据可以用于分析和识别材料和对象和/或改善使用第一图像捕获设备捕获的图像中的颜色。例如，光谱摄像机(例如第二图像捕获设备)可以包括能够生成大量周围环境数据的多光谱传感器。该数据可以用于检测存在的光源类型(在室外环境中或室内环境中)。也就是说，光谱摄像机可以用于确定照明源是自然光(例如太阳)还是人造光(例如灯)，这对于传统摄像机是不可能的。照明的确定可以用于调整捕获的图像中的白平衡。
40.在其它示例中，来自光谱摄像机的数据可以用于图像分割、语义理解、皮肤检测和其它材料检测。也就是说，对象独特的光谱反射和吸收特性可以用于分析光谱摄像机的数据。
41.由深度摄像机(例如，第三图像捕获设备)生成的数据可以用于获得3d信息，该3d信息可以根据例如在激光脉冲与快门打开之间增加延迟而收集的2d图像系列计算。
42.本公开中的示例可以作为方法、系统或机器可读指令提供，例如以软件、硬件、固件等的任何组合提供。这种机器可读指令可以包括在计算机可读存储介质(包括但不限于盘存储器、cd-rom、光存储器等)中，该计算机可读存储介质中具有计算机可读程序代码。
43.参考根据本公开的示例的方法、设备和系统的流程图和/或框图来描述本公开。尽管上面描述的流程图示出了特定的执行顺序，但执行顺序可以与所描述的顺序不同。关于一个流程图描述的框可以与另一个流程图的框组合。在一些示例中，流程图的一些框可能不是必要的和/或可以添加其它的框。应理解，流程图和/或框图中的每个流程和/或框，以及流程图和/或框图中的流程和/或图表的组合可以通过机器可读指令实现。
44.例如，机器可读指令可以由通用计算机、专用计算机、嵌入式处理器或其它可编程数据处理设备的处理器执行，以实现描述和图表中描述的功能。具体地，处理器或处理装置可以执行机器可读指令。因此，装置的模块可以由执行存储在存储器中的机器可读指令的处理器或根据嵌入在逻辑电路中的指令操作的处理器来实现。术语“处理器”应广义地解释为包括cpu、处理单元、asic、逻辑单元或可编程门组等。这些方法和模块都可以由单个处理器执行，也可以由多个处理器共同执行。
45.这种机器可读指令也可以存储在计算机可读存储器中，该计算机可读存储器可以引导计算机或其它可编程数据处理设备在特定模式下操作。例如，指令可以提供在非瞬时性计算机可读存储介质上，该存储介质用可由处理器执行的指令编码。
46.图3是示例提供的包括成像结构的系统的示意图。系统300包括处理器303和存储指令307的存储器305。在一个示例中，系统300可以是用户设备，例如智能设备。系统300包括致动器317。致动器317可以用于调整图像捕获设备111、201的视场(即，它可以用于调整第二图像捕获设备和/或第三图像捕获设备的视场，从而调整第二视场和/或第三视场)。例如，致动器317可以是线性致动器，用于平移图像捕获设备，从而调整其视场。替代地，致动器317可以是旋转致动器，用于调整图像捕获设备的位置，从而调整其视场。在一个示例中，致动器317可以包括线性和旋转致动器的组合，以实现线性平移和调整。
47.指令307可以由处理器303执行。指令307可以包括使用具有第一视场113的第一图像捕获设备109生成表示电磁频谱的第一波段中的第一图像的第一图像数据309的指令，并分析第一图像数据309，以确定第一图像的显著部分311的存在。
48.基于分析，指令307可以包括使用具有比第一图像捕获设备109的第一视场113窄
的第二视场115的第二图像捕获设备111生成电磁频谱的第二波段中的显著部分311的第二图像数据319的指令。在一个示例中，可以调整第二视场115，以便使第二图像捕获设备111通过使用致动器317对显著部分311成像。也就是说，可以使用处理器303控制致动器，以调整第二视场115，使得显著部分311在第二视场内，从而能够使用第二图像捕获设备111生成显著部分311的第二图像数据319。系统300可以生成表示输出图像325的输出图像数据323，输出图像325包括从第一图像数据、第二图像数据和第三图像数据中的至少一个导出的信息。
49.基于分析，指令307可以包括使用具有比第一图像捕获设备109的第一视场113窄的第三视场203的第三图像捕获设备201生成电磁频谱的第三波段中的显著部分311的第三图像数据321的指令。在一个示例中，可以调整第三视场203，以便使第三图像捕获设备201通过使用致动器317对显著部分311成像。也就是说，可以使用处理器303控制致动器，以调整第三视场203，使得显著部分311在第三视场内，从而能够使用第三图像捕获设备201生成显著部分311的第三图像数据321。
50.因此，系统300可以实现一种用于生成对象或场景的图像的方法，其中，使用第一图像捕获设备(例如rgb摄像机)捕获的图像的显著部分可以用作调整第二图像捕获设备和/或第三图像捕获设备的视场的基础，从而能够确定关于显著部分的附加信息，例如深度和/或光谱信息。
51.这种机器可读指令还可以加载到计算机或其它可编程数据处理设备上，使得计算机或其它可编程数据处理设备执行一系列操作以产生计算机实现的处理，因此，在计算机或其它可编程设备上执行的指令提供了用于实现流程图中的流程和/或框图中的框指定的功能的操作。
52.此外，本文的教导可以提供计算机软件产品的形式实现，计算机软件产品存储在存储介质中，并包括用于使计算机设备实现本发明示例中所述方法的多个指令。
53.图4为示例提供的方法的流程图。在框401中，使用具有第一视场的第一图像捕获设备生成电磁频谱的第一波段中的表示第一图像的第一图像数据。在框403中，分析第一图像数据以确定第一图像的显著部分的存在。在框405中，基于框403中的分析，使用具有比第一图像捕获设备的第一视场窄的第二视场的第二图像捕获设备生成电磁频谱的第二波段中的显著部分的第二图像数据。