主动立体的相机配置的方法及装置与流程

主动立体的相机配置的方法及装置
1.相关引用
2.本发明要求在2019年12月10日递交的申请号为16/708,790的美国非临时申请案的优先权，以上申请的全部内容以引用方式并入本发明。
技术领域
3.本发明涉及计算机立体视觉，更具体的是，本发明涉及在不降低图像质量的情况下用于主动立体的相机配置有关的技术。


背景技术：

4.除非此处另有说明，本部分所描述的方法相对于下面列出的权利要求而言不是先前技术，并且透过本部分的引入不被承认是先前技术。
5.计算机立体视觉是一种从场景的数字图像提供三维(three-dimensional，简称3d)信息的技术。比如，相机从不同角度获取两个图像，找出两个图像之间的关系，比如立体匹配。立体匹配存在一些限制。例如，像素可能被遮挡，结果立体匹配无法被执行。作为另一个例子，模糊的匹配结果(例如，由于低纹理或重复的图案)可能导致不可靠的深度信息。此外，尽管复杂的深度算法可被使用，但与立体匹配相关的一些限制仍无法避免。


技术实现要素：

6.以下发明内容仅是说明性的，不打算以任何方式加以限制。也就是说，以下发明内容被提供以介绍此处所描述的新且非显而易见的技术的概念、重点、好处和优势。选择而不是所有的实施方式在下面的详细说明中进行进一步描述。因此，以下发明内容不用于决定所要求主题的本质特征，也不用于决定所要求主题的范围。
7.本公开的目的是提出解决上述问题的方案、解决方案、概念、设计、方法和装置。具体地，本公开中提出的各种方案、解决方案、概念、设计、方法和装置涉及在不降低图像质量的情况下的主动立体的相机配置。
8.在一方面，一种方法可包括控制第一传感器和第二传感器以获取场景的图像。所述方法还可以包括从图像提取关于场景的深度信息。第一传感器可以被配置为感测第一光谱中的光，并且第二传感器可以被配置为感测第一光谱和第二光谱中的光，所述第二光谱与第一光谱不同。
9.在另一方面，一种装置可以包括第一传感器，第二传感器以及耦合到第一传感器和第二传感器的控制电路。第一传感器可被配置为感测第一光谱中的光。第二传感器可被配置为感测第一光谱和第二光谱中的光，所述第二光谱不同于第一光谱。控制电路可被配置为控制第一传感器和第二传感器以获取场景的图像。控制电路还可被配置为从图像提取关于场景的深度信息。
10.值得注意的是，尽管本文提供的描述可能是在特定技术的背景下，但是所提出的概念、方案及其任一(多种)变体/衍生物可在其他技术中，由其他技术实现或由其他技术实
现。因此，本公开的范围不限于本文描述的示例。
附图说明
11.下列图示用以提供本公开的进一步理解，并被纳入且构成本发明的一部分。这些图示说明了本公开的实施方式，并与说明书一起用以解释本公开的原理。为了清楚地说明本公开的概念，与实际实施方式中的尺寸相比一些元素可以不按照比例被示出，这些图示无需按照比例绘制。
12.图1示出可实现根据本公开的所提出的方案的示例场景的图。
13.图2示出可实现根据本公开的所提出的方案的示例场景的图。
14.图3示出根据本公开的实施方式的示例装置的图。
15.图4示出根据本公开的实施方式的示例处理的流程图。
具体实施方式
16.下文描述了本公开所要求保护的主题的详细实施例和实施方式。然而，应该理解的是，所公开的实施例和实施方式仅仅是对要求保护的主题的说明，其可以以各种形式体现。然而，本公开可以以许多不同形式实施，并且不应该被解释为限于本公开阐述的示例性实施例和实施方式。而是，这些示例性实施例和实施方式的提供，使得本公开的描述是彻底和完整的，并且将向本领域的技术人员充分传达本公开的范围。在以下描述中，可以省略公知特征和技术的细节以避免不必要地模糊所呈现的实施例和实施方式。
17.概述
18.通过比较从两个有利位置拍摄的两个数字图像中有关场景的信息，3d信息可以通过比较场景的两个数字图像中对象的相对位置经由立体匹配来获得。例如，以场景的第一图像为基础，对应的内容可在场景的第二图像中被识别。第一图像和第二图像之间的对应内容的相对位移量，与场景中的物体离与相机远近有关。主动三维(three-dimensional，简称3d)感测被用来改善深度信息的准确性并消除上述一些限制。通常，通过使用结构光或主动立体，主动3d感应可被实现。在结构光方法下，通过光图案(例如点图案或条纹图案)的变形，一个红外(infrared，简称ir)投影仪或发射器和一台ir相机可被用来获得深度信息，以下被称为“算法1”。但是，这种方法不能在明亮的环境中使用或不能很好地工作。在主动立体方法下，通过立体匹配，一个红外投影仪/发射器和两个红外相机可被用来获得深度信息，以下被称为“算法2”。然而，当在明亮的环境中使用时，在主动立体方法下的主动3d感测可能会退回到不使用投影仪/发射器的被动模式(例如，在关闭ir投影仪/发射器的情况下)。
19.图1示出可实现根据本公开的所提出的方案的示例场景100。在如图1所示的提出的方案下，在主动3d感测中，两个红绿蓝红外(red-green-blue ir，简称rgb-ir)传感器或相机可被利用。例如，特殊设计的滤色器数组(special-designedcolor filter array，简称cfa)传感器可被用来记录可见光和红外光，以及特殊图像信号处理器(special image signal processor，简称isp)可以从来自传感器的rgb-ir数据重构rgb-ir图像。在提出的方案下，两个rgb-ir传感器/相机中的每一个都可被配置为感测可见波段或光谱(例如，波长在纳米(nm)范围内)的光以及红外波段或光谱(例如，波长在
范围内)的光并输出两个图像(一个在可见波段，另一个在红外波段)。因此，当两个rgb-ir传感器/相机被利用时，场景的四个图像可被生成，即：可见波段中的左rgb图像，可见波段中的右rgb图像，ir波段中的左ir图像，以及红外波段中的右红外图像。两个rgb-ir传感器/相机中之一可被用作主相机，而另一个可被用作共享的深度感测相机。在提出的方案下，算法2(立体匹配)可被用于检测或估计场景的深度以提供深度信息。具体地，立体匹配可使用左和右rgb图像来生成rgb深度图，以及使用左和右ir图像来生成ir深度图。然后，rgb深度图和ir深度图一起被融合以提供组合的深度图。使用组合的深度图，进一步的处理可基于主动3d感测来实现计算机立体视觉。
20.参照图1，装置105可配备两个rgb-ir传感器，每个rgb-ir传感器被配置为感测可见波段和ir波段中的光，以分别获取场景的rgb图像和ir图像。装置105还可配备发光器(例如，ir投光器)，其被配置成向场景提供结构化光。使用算法2(立体匹配)，比如第一深度图(在图1中被称为“深度图1”)的第一深度信息可从由两个rgb-ir传感器获取的rgb图像中提取。使用算法2(立体匹配)，比如第二深度图(在图1中被称为“深度图2”)的第二深度信息可从由两个rgb-ir传感器获取的ir图像中提取。第一深度信息和第二深度信息可被融合或以其他方式组合以产生组合的深度图，其可被用于计算机立体视觉。
21.然而，所提出的方案并非没有缺点。例如，由于由不同传感器供应商设计的不同rgb-ir模式，结果rgb-ir图像质量可能存在失真或下降。另外，由于某些可见光感测像素被rgb-ir传感器中的ir感测像素替代，因此主相机的质量下降可能是不可避免的。
22.图2示出了可以实现根据本公开的所提出的方案的示例场景200。在如图2所示的提出的方案下，一个rgb传感器/相机和一个rgb-ir传感器/相机可在主动3d感测中被利用，其中rgb传感器/相机被用作主相机，并且rgb-ir传感器/相机被用作共享深度感测相机。在提出的方案下，拜耳(bayer)图案可被用于作为主相机的rgb传感器/相机的rgb像素。场景200中的rgb-ir传感器/相机可被用作子相机，由其获得的rgb信息可以与由主相机获得的rgb信息结合使用以进行立体匹配(例如，用于室外应用)。因此，场景的三个图像可被生成，即：可见波段中的第一rgb图像，可见波段中的第二rgb图像以及ir波段中的ir图像。有利地，由主相机获取的rgb图像的质量可被保持。
23.在所提出的方案下，算法1(即，使用结构化光通过ir图像中的图案变形来获得深度信息)和算法2(即，使用主动立体通过立体匹配来获得深度信息)都可以被用来根据两张rgb图像和一张ir图像生成场景的最终深度图。因此，对于rgb图像中存在重复图案或无/低纹理的任一色块，所述色块的深度信息仍可以使用结构化光(算法1)通过红外图像获得，从而增强深度感测的性能。
24.参照图2，装置205可配备rgb传感器和rgb-ir传感器。rgb传感器可被配置为感测可见光波段中的光以获取场景的rgb图像。rgb-ir传感器可被配置为感测可见波段和ir波段中的光，以获取场景的rgb图像和ir图像。装置205还可配备配置为向场景提供结构化光的发光器(例如，ir投光器)。使用算法2(立体匹配)，比如第一深度图(在图2中被称为“深度图1”)的第一深度信息可从由rgb传感器和rgb-ir传感器获取的rgb图像中提取。使用算法1(图案变形)，比如第二深度图(在图2中被称为“深度图2”)的第二深度信息可从由rgb-ir传感器获取的ir图像中提取。第一深度信息和第二深度信息可被融合或以其他方式组合以产生组合的深度图，其可被用于计算机立体视觉。
25.如图2所示，一种优化的相机组合(例如，使用设计为包括rgb-ir传感器的特殊isp)被提出。在场景200中，在单个平台中两种异构深度提取算法或技术被采用，以提供用于主动3d感测的深度信息。有利地，可以相信在获取的图像中质量没有下降。而且，所提出的方案可能适用于室内和室外应用。此外，与其他方法相比，所提出的方案利用相对较少数量的相机(例如，两个相机)，其他方法利用三个或更多相机，因此最终成本更高。
26.说明性实施
27.图3示出根据本公开的实施方式的示例装置300。装置300可执行各种功能以实现本文描述的与在不会降低图像质量的情况下的主动立体的相机配置有关的过程、方案、技术、过程和方法，包括对上述的场景以及以下描述的过程的各种过程、场景、方案、解决方案、概念和技术。装置300可以是场景200中的装置205的示例实现。
28.装置300可以是电子装置、便携式或移动装置、可穿戴装置、无线通信装置或计算装置的一部分。例如，装置300可以在智能电话、智能手表、个人数字助理、数字相机或比如平板计算机、膝上型计算机或笔记本计算机的计算设备中实现。此外，装置300也可以是机器类型装置的一部分，其可以是物联网(internet-of-things，简称iot)或窄带(narrowband，简称nb)-iot装置，例如不可移动或固定装置、家用装置、有线通信装置或计算装置。例如，装置300可以在智能恒温器、智慧冰箱、智慧门锁、无线扬声器或家庭控制中心中实现。可选地，装置300可以以一个或多个集成电路(integrated-circuit，简称ic)芯片的形式实现，例如但不限于，一个或多个单核处理器，一个或多个多核处理器，一个或多个缩减的处理器。指令集计算(reduced-instruction-set-computing，简称risc)处理器或一个或多个复杂指令集计算(complex-instruction-set-computing，简称cisc)处理器。
29.装置300可包括图3所示的那些组件中的至少部分，例如控制电路310，至少一个电磁(electromagnetic，简称em)波发射器320，第一传感器330和第二传感器340。可选地，装置300还可包括显示设备350。控制电路310与em波发射器320，第一传感器330，第二传感器340和显示设备350中的每一个通信以控制其操作。装置300可进一步包括与本公开的所提出的方案不相关的一个或多个其他组件(例如，内部电源，存储设备和/或用户接口设备)，因此，为了简化和简洁起见，装置300中这样的组件未在图3中示出，以下亦未进行描述。
30.在一方面，控制电路310以包括各种电子组件的电子电路来实现。可选地，控制电路310可以一个或多个单核处理器、一个或多个多核处理器、一个或多个risc处理器或一个或多个cisc处理器的形式实现。也就是说，即使在本文中使用单数术语“处理器”来指代控制电路310，根据本公开，控制电路310在一些实施方式中可以包括多个处理器，而在其他实施方式中可包括单个处理器。在另一方面，控制电路310可以具有电子组件的硬件(以及可选地，固件)的形式实现，所述电子组件包括例如但不限于一个或多个晶体管、一个或多个二极管、一个或多个电容器、一个或多个电阻器、一个或多个电感器、一个或多个忆阻器和/或一个或多个变容二极管，其被配置和布置为实现根据本公开的特定目的。换句话说，在至少一些实施方式中，控制电路310是专门设计、布置和配置为执行特定任务的专用机器，所述特定任务包括根据本公开的各种实施方式的在没有图像质量下降的情况下的主动立体的相机配置有关的任务。在一些实施方式中，控制电路310可包括具有实现根据本公开的各种所提出的方案中的一个或多个的硬件组件的电子电路。可选地，根据本公开的各种实施方式，除了硬件组件之外，控制电路310还可以利用除硬件组件之外的软件代码和/或指令
来实现在没有图像质量下降的情况下的主动立体的相机配置。
31.在根据本公开的各种提出的方案下，第一传感器330可被配置为感测第一光谱中的光，并且第二传感器340可以被配置为感测第一光谱和第二光谱中的光，其中第二光谱与第一频谱不同。控制电路310可被配置为控制em波发射器320以向场景投射结构化光。控制电路310还可被配置为控制第一传感器330和第二传感器340以获取场景的图像。控制电路310可以进一步被配置为从图像提取关于场景的深度信息。
32.在一些实施方式中，第一传感器330可包括被配置为感测可见波段中的光的rgb传感器，并且第二传感器340可包括被配置为感测可见波段和ir波段中的光的rgb-ir传感器。在一些实施方式中，rgb传感器和rgb-ir传感器中的至少一个包括滤色器数组(color filter array，简称cfa)，所述滤色器数组具有以bayer滤色器马赛克图案布置的rgb滤色器。
33.在一些实施方式中，在从图像提取关于场景的深度信息时，控制电路310可被配置为通过使用异构技术(heterogeneous technique)从图像提取关于场景的深度信息。在一些实施方式中，在通过使用异构技术从图像提取关于场景的深度信息时，控制电路310可被配置为：基于在第一光谱中由第一传感器330获取的第一图像和由第二传感器340获取的第二图像通过使用第一技术，以及基于在第二光谱中由第二传感器340获取的第三图像通过使用第二技术，来提取关于场景的深度信息。在这样的情况下，第一技术可包括基于立体匹配获得第一深度信息，第二技术可包括使用结构化光基于图案变形来获得第二深度信息。
34.在一些实施方式中，在从图像提取关于场景的深度信息时，控制电路310可被配置为基于在第一光谱中由第一传感器330获取的第一图像和由第二传感器340获取的第二图像使用单一技术从图像提取关于场景的深度信息。在这种情况下，单一技术可包括基于立体匹配获得深度信息。
35.在一些实施方式中，在提取关于场景的深度信息时，控制电路310可以被配置为执行特定操作。例如，控制电路310可以基于在第一光谱中由第一传感器330获取的第一图像和由第二传感器340获取的第二图像来获得第一深度信息。另外，控制电路310可基于第二光谱中由第二传感器340获取的第三图像来获得第二深度信息。此外，控制电路310可将第一深度信息和第二深度信息融合或以其他方式组合以产生组合结果作为深度信息。
36.说明性过程
37.图4示出根据本公开的实施方式的示例处理400。根据本公开，处理400可以是关于用于主动立体的相机配置的部分或全部的各种过程，场景，方案，方法，解决方案，概念和技术或其组合的示例实施方式。处理400可表示装置300的特征的实现的一方面。处理400可包括一个或多个操作、动作或功能，如块410、420和430中的一个或多个所示出。虽然显示为分离的块，但根据期望的实现，处理400可被划分为额外的块，被组合为更少的块或被消除。此外，处理400的块可以图4中所示的顺序执行或以其他顺序执行。此外，处理400的一个或多个块可以重复一次或多次。处理400可以由装置300或其任一变型实施。仅出于说明性目的而非限制，下面在装置300的上下文中描述处理400。处理400可以在块410处开始。
38.在410处，处理400可包括控制电路310控制em波发射器320向场景投射结构化光。处理400可以从410进行到420。
39.在420处，处理400可包括控制电路310控制第一传感器330和第二传感器340以获
取场景的图像，其中第一传感器330被配置为感测第一光谱中的光，并且第二传感器340被配置为感测第一光谱和第二光谱中的光，其中第二光谱与第一光谱不同。处理400可以从420进行到430。
40.在430，处理400可包括控制电路310从图像中提取关于场景的深度信息。
41.在一些实施方式中，第一传感器330可包括rgb传感器，其被配置为感测可见波段中的光，并且第二传感器340可包括rgb-ir传感器，其被配置为感测可见波段和ir波段中的光。在一些实施方式中，rgb传感器和rgb-ir传感器中的至少一个包括滤色器数组(color filter array，简称cfa)，所述滤色器数组具有以bayer滤色器马赛克图案布置的rgb滤色器。
42.在一些实施方式中，在从图像提取关于场景的深度信息时，处理400可涉及控制电路310通过使用异构技术从图像提取关于场景的深度信息。在一些实施方式中，在通过使用异构技术从图像提取关于场景的深度信息时，处理400可包括控制电路310基于在第一光谱中由第一传感器330获取的第一图像和由第二传感器340获取的第二图像使用第一技术，以及基于第二光谱中由第二传感器340获取的第三图像使用第二技术，来获取关于场景的深度信息。在这样的情况下，第一技术可包括基于立体匹配获得第一深度信息，第二技术可包括使用结构化光基于图案变形来获得第二深度信息。
43.在一些实施方式中，在从图像中提取关于场景的深度信息时，处理400可包括控制电路310基于在第一光谱中第一传感器330获取的第一图像和第二传感器340获取的的第二图像使用单一技术从图像中提取关于场景的深度信息。在这种情况下，单一技术可包括基于立体匹配获得深度信息。
44.在一些实施方式中，在提取关于场景的深度信息中，处理400可涉及控制电路310执行特定操作。例如，处理400可涉及控制电路310基于第一光谱中由第一传感器330获取的第一图像和由第二传感器340获取的第二图像来获得第一深度信息。另外，处理400可以涉及控制电路310基于第二光谱中由第二传感器340获取的第三图像来获得第二深度信息。此外，处理400可涉及控制电路310将第一深度信息和第二深度信息融合或以其他方式组合以生成组合结果作为深度信息。
45.附加的说明
46.本文所描述的主题有时表示不同的组件，其包含在或者连接到其他不同的组件。可以理解的是，所描述的结构仅是示例，实际上可以由许多其他结构来实施，以实现相同的功能，从概念上讲，任何实现相同功能的组件的排列实际上是“相关联的”，以便实现所需功能。因此，不论结构或中间组件，为实现特定的功能而组合的任何两个组件被视为“相互关联”，以实现所需的功能。同样，任何两个相关联的组件被看作是相互“可操作连接”或“可操作耦接”，以实现特定功能。能相互关联的任何两个组件也被视为相互“可操作地耦接”，以实现特定功能。能相互关联的任何两个组件也被视为相互“可操作地耦合”以实现特定功能。可操作连接的具体例子包括但不限于实体可配对和/或实体上相互作用的组件，和/或无线可交互和/或无线上相互作用的组件，和/或逻辑上相互作用和/或逻辑上可交互的组件。
47.此外，关于基本上任何复数和/或单数术语的使用，本领域的技术人员可根据上下文和/或应用从复数转换为单数和/或从单数到复数。为清楚起见，不同的单数/复数置换在
本文中明确地阐述。
48.此外，本领域的技术人员可以理解，通常，本公开所使用的术语特别是权利要求中的，如权利要求的主题，通常用作“开放”术语，例如，“包括”应解释为“包括但不限于”，“有”应理解为“至少有”“包括”应解释为“包括但不限于”等。本领域的技术人员可以进一步理解，若计划介绍特定数量的权利要求内容，将在权利要求内明确表示，并且，在没有这类内容时将不显示。例如，为帮助理解，下面权利要求可包含短语“至少一个”和“一个或多个”，以介绍权利要求的内容。然而，这些短语的使用不应理解为暗示使用“一”或“一个”介绍权利要求内容，而限制了任何特定权利要求。甚至当相同的权利要求包括介绍性短语“一个或多个”或“至少有一个”，不定冠词，例如“一”或“一个”，则应被解释为表示至少一个或者更多，对于用于介绍权利要求的明确描述的使用而言，同样成立。此外，即使明确引用特定数量的介绍性内容，本领域的技术人员可以认识到，这样的内容应被解释为表示所引用的数量，例如，没有其他修改的“两个引用”，意味着至少两个引用，或是两个或两个以上的引用。此外，在使用类似于“a、b和c中的至少一个”的表述的情况下，通常如此表述是为了本领域的技术人员可以理解所述表述，例如，“系统包括a、b和c中的至少一个”将包括但不限于单独具有a的系统，单独具有b的系统，单独具有c的系统，具有a和b的系统，具有a和c的系统，具有b和c的系统，和/或具有a、b和c的系统等。本领域的技术人员进一步可理解，无论在说明书中，权利要求中或者附图中，由两个或两个以上的替代术语所表现的任何分隔的单词和/或短语应理解为，包括这些术语中的一个，其中一个，或者这两个术语的可能性。例如，“a或b”应理解为，“a”，或者“b”，或者“a和b”的可能性。
49.从前述可知，出于说明目的，本公开已描述了各种实施方案，并且在不偏离本公开的范围和精神的情况下，可以进行各种变形。因此，此处所公开的各种实施方式不用于限制，真实的范围和申请由权利要求表示。