用于障碍物检测的设备和方法与流程

1.本披露内容涉及机器人领域，具体地涉及与用于表面横穿机器的平面外障碍物检测和恢复相关联的设备和方法。


背景技术：

2.本文提供的背景描述是出于总体上呈现本披露内容的背景的目的。除非本文中另有指示，否则本章节中描述的材料对于本技术的权利要求而言并非现有技术，并且不因为包含在本章节中而被承认是现有技术。
3.检测表面上的障碍物是比如轮式机器人设备等横穿表面的机器的常见问题。该问题的常规解决方案涉及使用专用深度传感器(例如深度相机、lidar等)来检测横穿表面上的障碍物。然而，常规的解决方案可能证明成本高且效率低。


技术实现要素：

4.根据一些实施例，提供了一种设备，该设备包括：该设备的主体；以及障碍物检测系统，该障碍物检测系统安装在该设备的主体上，其中，该系统包括：一个或多个光源，该一个或多个光源用于照亮该设备要横穿的表面；相机，该相机用于捕获该被照亮表面的一个或多个图像；以及处理装置，该处理装置与该相机和该一个或多个光源耦接以处理该捕获的一个或多个图像，以至少部分地基于这些图像的处理结果来检测布置在该被照亮表面上的障碍物或使得该障碍物被检测。
5.根据一些实施例，该处理装置用于将这些图像的处理结果提供给外部装置，以使得该外部装置检测该障碍物。
6.根据一些实施例，该一个或多个光源至少包括布置在该设备上相对于该表面的不同位置处的第一光源、第二光源、第三光源和第四光源，其中，照亮该表面包括相继打开该第一光源、该第二光源、该第三光源和该第四光源，其中，捕获一个或多个图像包括用该相机获得该表面的对应的第一图像、第二图像、第三图像和第四图像。
7.根据一些实施例，该处理装置用于控制该第一光源、该第二光源、该第三光源和该第四光源对该表面的照明，并且用该相机捕获该表面的对应的第一图像、第二图像、第三图像和第四图像，其中，捕获该第一图像、该第二图像、该第三图像和该第四图像中的两个连续图像之间的时间段包括提供存在于该两个连续图像中的相同像素的移动不超过像素移动阈值的值。
8.根据一些实施例，该处理装置处理该捕获的一个或多个图像包括基于对应的第一图像、第二图像、第三图像和第四图像来确定响应于由该第一光源、该第二光源、该第三光源和该第四光源进行的相继照明而由该表面反射的光强度，至少部分地基于该反射的光强度来估计与该表面相关联的几何参数，并且至少部分地基于这些估计的几何参数来识别该障碍物。
9.根据一些实施例，该相机布置在该主体上以提供该一个或多个光源和该相机共有
的视场(fov)，其中，该fov至少包括该横穿表面的一部分。
10.根据一些实施例，该一个或多个光源包括布置在该设备的主体上距该表面第一距离处的光源，其中，该障碍物布置在该表面上距该相机第二距离处，其中，该第二距离大于该第一距离。
11.根据一些实施例，该第二距离是该第一距离的至少三倍。
12.根据一些实施例，该一个或多个光源布置在该表面上方大约3cm处，其中，该相机布置在该表面上方大约5cm处，其中，该一个或多个光源用于以锐角照亮该表面。
13.根据一些实施例，该处理装置用于控制这些光源对该表面的照明，并且控制该相机对该表面的对应图像的捕获。
14.根据一些实施例，该处理装置处理该捕获的一个或多个图像包括确定响应于由该光源进行的照明而由该表面反射的光强度，并且至少部分地基于该确定的光强度来识别该障碍物。
15.根据一些实施例，该处理装置用于使得该相机在该表面被这些光源照亮时捕获第一图像，并且在该表面没有被这些光源照亮时捕获第二图像，其中，处理这些捕获的图像包括从该第一图像或该第二图像中的一个图像中减去该第一图像或该第二图像中的另一个图像。
16.根据一些实施例，该处理装置进一步用于至少部分地基于与该相机与该表面之间的距离相关联的几何参数以及该相机的焦距来确定该设备与该障碍物之间的该第二距离以及该障碍物的高度。
17.根据一些实施例，提供了一种方法，该方法包括：用系统的一个或多个光源照亮该系统前方的表面；用该系统的相机捕获该被照亮表面的一个或多个图像；以及用与该系统的相机和光源耦接的处理装置处理该捕获的一个或多个图像，包括检测布置在该被照亮表面上的物体。
18.根据一些实施例，该一个或多个光源至少包括布置在相对于该表面的不同位置处的第一光源、第二光源、第三光源和第四光源，其中，照亮该表面包括用该处理装置相继打开该第一光源、该第二光源、该第三光源和该第四光源，其中，捕获该被照亮表面的一个或多个图像包括用该相机获得该表面的对应的第一图像、第二图像、第三图像和第四图像。
19.根据一些实施例，处理该捕获的一个或多个图像包括：基于对应的第一图像、第二图像、第二图像、第三图像和第四图像，用该处理装置来确定响应于由该第一光源、该第二光源、该第三光源和该第四光源进行的相继照明而由该表面反射的光强度；至少部分地基于该反射的光强度，用该处理装置来估计与该表面相关联的几何参数；以及至少部分地基于这些估计的几何参数，用该处理装置来识别该物体。
20.根据一些实施例，该一个或多个光源包括布置在该系统的主体上距该表面第一距离处的光源，其中，该物体布置在该表面上距该相机第二距离处，其中，该第二距离大于该第一距离，其中，处理该捕获的一个或多个图像包括：用该处理装置来确定响应于由该光源进行的照明而由该表面反射的光强度；以及至少部分地基于该确定的光强度，用该处理装置来识别该物体。
21.根据一些实施例，提供了一种系统，该系统包括：一个或多个光源，该一个或多个光源用于照亮表面；相机，该相机用于捕获该被照亮表面的一个或多个图像；以及处理装
置，该处理装置与该相机和该一个或多个光源耦接以处理该捕获的一个或多个图像，以至少部分地基于这些图像的处理结果来检测布置在该被照亮表面上的物体或使得该物体被检测。
22.根据一些实施例，该系统安装在要横穿该被照亮表面的设备上。
23.根据一些实施例，该一个或多个光源至少包括布置在相对于该表面的不同位置处的第一光源、第二光源、第三光源和第四光源，其中，照亮该表面包括相继打开该第一光源、该第二光源、该第三光源和该第四光源，其中，捕获一个或多个图像包括用该相机获得该表面的对应的第一图像、第二图像、第三图像和第四图像。
24.根据一些实施例，该处理装置处理该捕获的一个或多个图像包括基于对应的第一图像、第二图像、第二图像、第三图像和第四图像来确定响应于由该第一光源、该第二光源、该第三光源和该第四光源进行的连续照明而由该表面反射的光强度，至少部分地基于该反射的光强度来估计与该表面相关联的几何参数，并且至少部分地基于这些估计的几何参数来识别该物体。
25.根据一些实施例，该一个或多个光源包括布置在距该表面第一距离处的光源，其中，该物体布置在该表面上距该相机第二距离处，其中，该第二距离大于该第一距离，其中，该处理装置处理该捕获的一个或多个图像包括确定响应于由该光源进行的照明而由该表面反射的光强度，并且至少部分地基于该确定的光强度来识别该物体。
附图说明
26.结合附图，通过以下具体实施方式将容易地理解实施例。为了便于描述，相同的附图标记表示相同的结构元件。在附图的各图中，通过示例的方式而非通过限制的方式展示了实施例。
27.图1是展示了根据一些实施例的配置有障碍物检测系统的用于表面横穿的示例设备的框图。
28.图2是根据一些实施例的可以安装在用于表面横穿的机器人设备上的障碍物检测系统的示例配置。
29.图3展示了根据一些实施例的图1至图2的障碍物检测系统的操作过程。
30.图4是根据一些实施例的安装在机器人设备上的示例障碍物检测系统的示意性侧视图。
31.图5是示出了根据一些实施例的障碍物检测系统的作为几何参数的函数的有效操作区域的示例图。
32.图6是展示了根据一些实施例的作为相机与表面上的障碍物之间的距离的函数的表面反射光强度的示例图。
33.图7是展示了根据一些实施例的障碍物检测系统在横穿表面上的操作的示例图。
34.图8是展示了根据一些实施例的障碍物检测系统的用于估计到物体的距离的操作的示例图。
35.图9是展示了根据一些实施例的障碍物检测系统的用于估计横穿表面上的障碍物高度的操作的示例图。
36.图10是展示了根据一些实施例的障碍物检测系统的用于检测横穿表面上的中断
的操作的示例图。
37.图11展示了根据一些实施例的图1和图4的障碍物检测系统的操作过程。
38.图12展示了根据一些实施例的适用于实践本披露内容的所有或选定方面的示例计算装置。
39.图13展示了根据一些实施例的具有被配置为使得基于处理器的装置实践本披露内容的所有或选定方面的指令的示例计算机可读存储介质。
具体实施方式
40.在以下具体实施方式中，参考了构成其一部分的附图，其中，相同的附图标记通篇指代相同的部分，并且在附图中通过图示的方式示出了可以实践的实施例。应当理解，在不脱离本披露内容的范围的情况下，可以利用其他实施例并且可以做出结构的或逻辑的改变。因此，以下具体实施方式不应以限制的含义来理解，并且实施例的范围由所附权利要求及其等效物限定。
41.本文描述了与具有物体(例如，障碍物)检测系统的机器人设备横穿表面相关联的设备、方法和存储介质。在一些情况下，该障碍物检测系统安装在该设备的主体上，并且包括一个或多个光源，该一个或多个光源用于照亮要横穿的表面；相机，该相机用于捕获该被照亮表面的一个或多个图像；以及处理装置，该处理装置与该相机和该光源耦接以处理该捕获的一个或多个图像，以至少部分地基于这些图像的处理结果来检测布置在该被照亮表面上的障碍物或使得该障碍物被检测。
42.可以以最有助于理解所要求保护的主题的方式将各种操作依次描述为多个离散动作或操作。然而，描述的顺序不应被解释为暗示这些操作必然是依赖于顺序的。具体地，这些操作可以不按呈现的顺序执行。所描述的操作可以按与所描述的实施例不同的顺序来执行。在附加的实施例中，可以执行各种附加的操作和/或可以省略所描述的操作。
43.出于本披露内容的目的，短语“a和/或b”意指(a)、(b)或(a和b)。出于本披露内容的目的，短语“a、b和/或c”意指(a)、(b)、(c)、(a和b)、(a和c)、(b和c)，或(a、b和c)。
44.描述可以使用短语“在一个实施例中”或“在实施例中”，这些短语可以各自指相同或不同的实施例中的一个或多个实施例。此外，关于本披露内容的实施例所使用的术语“包括(comprising)”、“包括(including)”、“具有(having)”等是同义的。
45.图1是展示了根据一些实施例的配置有障碍物检测系统的用于表面横穿的示例设备的框图。在实施例中，设备100包括被配置为至少在横穿方向114上横穿表面110的主体102。
46.在实施例中，设备100进一步包括被配置为检测表面110上的障碍物(例如，障碍物108)的障碍物检测系统104。障碍物检测系统104可以安装或以其他方式布置在设备100的主体102上。在实施例中，系统104包括用于照亮130要横穿的表面110(或表面的至少一部分106)的一个或多个光源120。系统104进一步包括用于捕获132被照亮表面部分106的一个或多个图像的相机122。系统106还包括与相机122和光源120耦接的处理装置124。根据本文所描述的实施例，处理装置124被配置为处理表面部分106的捕获的图像，以至少部分地基于图像处理的结果来检测布置在被照亮表面部分106上的物体(例如，障碍物)108或使得该物体被检测。
47.例如，处理装置124可以被配置为至少部分地基于经处理的图像来识别表面部分106上的障碍物108或使得该障碍物被识别出，并且至少部分地基于检测到的障碍物108来调节设备102横穿表面的轨迹(例如，方向114、速度等)或使得该轨迹被调节。在实施例中，处理装置124可以包括计算装置的一些或所有部件，如下文参考图12所描述的。
48.更具体地，处理装置124可以被配置为实施本文披露的障碍物检测过程的各个实施例。例如，处理装置124被配置为控制光源120对表面的照明、相机122对对应图像的捕获、以及根据本文描述的技术处理捕获的图像。换句话说，处理装置124可以配置有实施本文所描述的障碍物检测技术的模块142(例如，软件、固件或其组合)。在一些实施例中，处理装置124被配置为基于指令142提供障碍物检测。在一些实施例中，处理装置124被配置为预处理捕获的图像并将结果传送到外部装置140以根据模块142进行进一步处理和障碍物检测(例如，模块142可以被实施为在外部装置140上执行的软件)。
49.在实施例中，设备100可以包括横穿表面所需的其他部件。例如，在一些实施例中，设备100包括表面横穿装置(例如，轮子)134以及用于操作表面横穿装置134的马达136。在实施例中，马达136可以布置在主体102内部。处理装置124可以进一步被配置为至少部分地基于障碍物检测及其尺寸估计的结果来控制设备100的移动(例如，通过控制马达136的操作)。
50.在实施例中，障碍物检测系统104实施的障碍物检测技术基于以下考虑。在可见光谱内，光和物质的主要相互作用是反射和吸收。自然界中大多数材料的反射都可以用朗伯余弦定律很好地描述，该定律指出从任何角度观看时，表面都具有相同的辐射。当光源照亮朗伯表面时，由相机观察(测量)的辐射光强度与入射光方向和表面法线之间夹角的余弦成正比：
[0051][0052]
其中i为辐射强度，z为距光源的距离，i
l
为光源的发光强度，α为吸收系数，为表面与光源之间的方向(单位向量)，并且为到表面的法向向量(单位向量)。
[0053]
应当注意，与从成像像素到相机入射光瞳的光线相对应。可以从校准光源中得知i
l
。因此，上述方程包括四个变量，即z、α来自的两个自由度(dof)值(因为是单位向量)。很明显，使用不同校准光源对i进行四次测量可以解出(假设函数独立)四个未知的dof值，并且因此提供对物体(例如，物体表面)的距离和法线以及反射系数的估计。对物体的距离和法线的估计可以用来提供到障碍物的距离和障碍物的尺寸(例如，高度、深度等)的估计。因此，上文描述的技术可以应用于横跨具有障碍物的表面的机器人设备(例如，100)，以检测障碍物并估计其尺寸。障碍物可以包括例如表面异常(比如表面上的不平坦或障碍)、表面的边缘(比如悬崖、峭壁、绝壁或陡坡等)。所描述的实施例使用现成的相机和简单且低成本的照明源来检测障碍物。
[0054]
图2是根据一些实施例的可以安装在用于表面横穿的机器人设备上的障碍物检测系统的示例配置。具体地，障碍物检测系统200与参考图1所描述的系统104相对应，并且可以安装在机器人设备100上。为了易于理解，图2中省略了系统200的处理装置。
[0055]
在图2中示出了障碍物检测系统200的前视图。在实施例中，系统200包括从正面观
看的光源(例如，点光发射器)202、204、206和208，例如，示出为从页面之外投射光以照亮具有障碍物230的表面部分220。为了易于理解，在2d空间中示出了具有障碍物230的表面部分220。例如，光源204被示出为用光214照亮220。
[0056]
系统200进一步包括相机210，还指向图2中的页面之外。光源202、204、206和208可以布置在机器人设备(例如，100)的主体212上的不同位置，只要这些光源照亮设备前方(在横穿方向上)的表面。类似地，相机210可以布置在主体212上的任何地方，只要相机能够捕获(如216所指示的)由光源202、204、206、和208中的任何(或所有)光源照亮的表面部分220。换句话说，对于光源的相对布置的共面性或者光源和相机在设备100的主体212上的相对布置的共面性没有限制。在实施例中，相机210以及光源202、204、206和208共享共有的视场(fov)或照明场，由箭头232、234示意性地指示。
[0057]
在操作中，处理装置(如图1所示出的)可以命令相机依次拍摄横穿表面的多个(在实施例中，至少四个)图像，每个图像在打开的光源的不同组合的情况下拍摄。例如，表面的第一图像可以仅在光源202打开的情况下被捕获，第二图像可以仅在光源204打开的情况下被捕获，第三图像可以仅在光源206打开的情况下被捕获，并且第四图像可以仅在光源208打开的情况下被捕获。
[0058]
图3展示了根据一些实施例的图1至图2的障碍物检测系统的操作过程。如所指出的，障碍物检测系统可以安装在机器人设备上，比如设备100。过程300可以由障碍物检测系统的处理装置执行，比如图1的装置124。
[0059]
在框302处，处理装置使得第一光源(例如，202)或光源的第一组合(例如，202和204)打开。
[0060]
在框304处，处理装置使得障碍物检测系统的相机(例如，210)获取机器人设备所横穿的表面的图像。
[0061]
在框306处，处理装置使得障碍物检测系统的第一光源(例如，202)或光源的第一组合关闭。
[0062]
在决策框308处，处理装置确定系统中是否存在出于表面图像捕获的目的而没有打开和关闭的任何光源。
[0063]
如果出于表面图像捕获的目的，还有更多的光源要操作，则过程300返回到框302，在框302处，障碍物检测系统的下一个光源(例如，204)或光源的下一个组合(例如，202和206)被打开，并且如上文所描述的那样继续过程300。如果已经使用了所有光源(或光源的所有组合，总计四个)(例如，202、204、206和208)，并且捕获了对应的表面图像，则该过程移至框310，在该框处，处理图像以检测横穿表面上的障碍物，如下文所描述的。
[0064]
可以在以下方面完成使用图2的障碍物检测系统检测横穿表面上的障碍物。在图2的设置中，与场景和相机的移动相比，图像获取之间的时间段很小。第一图像、第二图像、第三图像和第四图像中的两个连续图像的捕获之间的时间段包括提供了场景中的相同物体(在两个连续图像中存在对应像素)的移动不超过像素移动阈值的值。换句话说，该时间段可以使得场景中的被照亮物体(比如障碍物)相对于相机的移动在相机平面中很小。
[0065]
例如，在图像序列中，表示物体上相同物理位置的像素的移动不能超过阈值。在实施例中，阈值可以包括两个至四个像素。在一些实施例中，阈值可以包括少于一个像素。表面的四个捕获的图像为每个像素提供四个测量结果，并且因此允许求解等式(1)中的z、α、
以基于对应的图像来确定响应于光源进行的相继照明而由物体外表面反射的光强度，并识别与物体外表面(场景的几何形状)相关联的几何参数。
[0066]
一旦场景的几何形状被识别，通过求解等式1，通过将平面-曲线表面拟合(例如，使用回归)到估计的几何形状，有可能找到横穿表面的3d结构，并且识别不位于横穿表面上的区域，例如，与表面的距离大于预定义阈值的区域。表面(如物体表面)的3d结构可以通过距离和表面上的(每个？)点的法线来描述。这是对使用相机可能提取的表面和几何信息的完整描述。这些表面(例如，物体表面)被限制在可从相机观察到的那些表面，即相机无法观察物体的背部或其内部结构。
[0067]
阈值可以基于机器人设备的机械学来确定，比如，物体在横穿表面上的什么高度被认为是设备的障碍物。
[0068]
可以应用进一步的约束，因为对于连续且光滑的表面z＝f(x,y)，并且即表面(例如，物体表面)的梯度平行于物体表面的法线。对表面几何形状的这种约束添加了这两个等式，并且因此，将求解等式(1)所需的测量结果的数量减少到两个而不是四个。在图2的设置中，假设重建的表面是分段光滑的，即除了孤立的1d边界之外都是光滑的。在这种假设下求解等式通常使用非线性优化技术来完成，例如，使用最小图像分割。
[0069]
在一些实施例中，图2的障碍物检测系统可以包括附加深度传感器(例如，立体相机、lidar)，因此深度z可以是已知的，至少在与场景的被照亮区域相对应的像素的一些位置处是已知的。在该示例中，仅需要针对三种照明配置的三个光源、三个对应的图像和对应的测量结果。如果假设表面光滑(如上文所描述的)，可能仅需要一个光源和对应的测量结果。一些实施例可以包括使用多个相机，并且因此能够一次获取多个图像。以上描述提供了使用主动照明来估计场景几何形状的方法。该方法可以应用于通过横穿表面的机器人设备进行的障碍物检测。
[0070]
在一些实施例中，可以使用捕获设备前方的表面的单个图像(没有附加传感器)来实现对被配置为横穿表面的机器人设备的障碍物检测。参考图4至图10描述了被配置为基于设备前方的表面的图像来检测障碍物的障碍物检测系统的示例配置。
[0071]
图4是根据一些实施例的安装在机器人设备上的示例障碍物检测系统的示意性侧视图。具体地，障碍物检测系统400与参考图1所描述的系统104相对应，并且可以安装在如图1所示出的机器人设备100上。为了易于理解，图4中省略了系统的处理装置。
[0072]
在实施例中，系统400包括布置在机器人设备100的主体412上的相机402，使得其具有重要部分(例如，横穿表面406的在其视场410内的部分408)。系统400进一步包括布置在设备100的主体412上的照明光源414。在实施例中，系统400可以包括多个光源；出于清楚的目的，图4中仅示出了一个源414。光源412布置在主体412上，使得其照亮横穿表面406的视场410(或至少其一部分)。如所示出的，光源412以锐角a照亮表面406(用光线430)。对相机402和光源414的相互布置的其他限制不适用于系统400，只要被照亮物体(例如，障碍物420)在视场410内。
[0073]
由于系统400的几何设置，来自表面406平面的反射光显著地小于来自布置在表面406上的物体(例如障碍物)420的反射光。例如，考虑在表面406平面上方的距离(高度)h1处
布置在主体412上的相机(例如，402)。例如，h1可以在表面406上方约5cm。进一步考虑在表面406平面上方的距离(高度)h2处布置在主体412上的光源(例如，414)。例如，h2可以在表面406上方约3cm。通常，相机402相对于表面406布置在光源414上方。障碍物420布置在表面406上与相机402相距水平距离z处。例如，z可以是约40cm。从等式(1)可以看出，在朗伯假设下，从障碍物表面反射的光的强度是从横穿表面反射的光强度的13倍以上。
[0074][0075]
其中，i_obstacle是来自障碍物(420)的光强度，如由相机(402)成像的，而i_surface是来自横穿表面(406)的光强度，如由相机(402)成像的。在此仅考虑源自光源(414)的光(即不包括反射的环境光)。由于几何设置和朗伯散射，可以获得物体与表面(和背景)之间的高对比度。高对比度提供了障碍物的检测。
[0076]
图5是示出了根据一些实施例的障碍物检测系统的作为几何参数的函数的有效操作区域的示例图。具体地，图500展示了被照亮表面上方的光源的高度h2作为相机与布置在表面上的物体(障碍物)之间的距离d的函数。如图500所示出的，为了提供有效操作区域(例如，期望的高对比度)，光源在被照亮表面上方的高度需要比相机与被观察到的物体(障碍物)之间的距离显著地更小(例如，是该距离的三分之一)。假设相机的高度与表面上方的照明源的高度相似。应当注意，出于解释的目的，在图5中提供了测量单位(cm)。
[0077]
因此，为了获得足够的对比度，障碍物与相机之间的距离d可以是光源与表面之间的距离h2的至少三倍。换句话说，距离d与h2之比对于上述考虑是重要的。因为相机402和光源414在设备100的主体412上的相对位置是已知的，所以可以推断出相机与表面之间的距离h1。距离h1在某种意义上是重要的，其需要足够低(例如，类似于障碍物420的距离h2和高度h3)使得物体表面的对比度足够高。明显的是，由于障碍物与表面强度的高对比度，光学设置允许容易地检测平面外的物体。
[0078]
图6是展示了根据一些实施例的作为相机与表面上的障碍物之间的距离的函数的表面反射光强度的示例图。图600示出了提供障碍物检测系统有效功能的有效照明区域602。如所示出的，为了获得有效区域602，系统的光源需要克服(横穿表面的)环境照明604。
[0079]
应当注意，环境光是指从相机测量并且因此会受到曝光时间和光学滤光器的影响的光。因此，可以减少环境光，如下文所解释的。因为在图4的设置中，期望看到来自光源的光反射，所以可以使用附加技术来减少来自其他光源(即环境光)的光散射。例如，可以在短时间段打开强大的高强度光源，与相机的短曝光时间设置同步和匹配。在另一个示例中，窄带光源和在相机中使用带通滤光器可以用来阻挡来自光谱的部分的光，这些光谱不是由系统光源产生的。在又另一个示例中，可以拍摄具有障碍物的表面的两个图像：一个使用有源发射器，并且另一个使用类似的设置，但使用的是无源发射器。可以从一个所产生的图像中减去另一个所产生的图像，以仅获得系统光源提供的照明。所描述的技术是互补的，并且可以同时应用。
[0080]
图7是展示了根据一些实施例的障碍物检测系统在横穿表面上的操作的示例图。出于解释的目的，障碍物检测系统被部分地示出。出于说明的目的，在2d空间中提供该图，但是应当理解，操作发生在3d空间中。还应当理解，图7所示出的系统与图4的系统400相对
应。
[0081]
如所示出的，系统的光源702布置在机器人设备704上，该机器人设备被配置为横穿表面，图7中示出了表面的一部分706。障碍物708布置在表面706上，并且在光源702的视场710内且被光源702照亮。视场710示意性地示出为由线750和752限定。出于说明的目的，障碍物708在3d空间中示出。
[0082]
由于障碍物与背景的高对比度，障碍物检测可以如下来完成。如上文所讨论的，具有障碍物708的表面706的两个图像可以由布置在设备704上的相机710拍摄(如虚线720和722所指示的)。即，可以拍摄由光源702照亮的障碍物的第一图像，并且可以拍摄在没有照明的情况下障碍物的第二图像。有了被照亮图像或通过从未被照亮的图像减去被照亮图像，可以在障碍物708图像730上识别明亮的区域和黑暗到明亮的过渡边缘，如图7示意性示出的。明亮的区域可以被定义为强度显著地高于其周围的区域(像素的连续区域)(例如，高预定义值)。
[0083]
区域的检测可以通过设置强度阈值来完成，该强度阈值跨视场710可以不同以补偿照明的不均匀性。在检测到的区域(例如，相机可见的物体外表面708)内，障碍物708的图像730的底部732处的像素(为了清楚起见，也在图4中示出)表示与表面706平面相交的像素(由虚线740指示)，并且包括布置在表面706上的物体的边缘。最顶部的像素是障碍物图像730的顶部734(为了清楚起见，也在图4中示出)，并且包括如在图像730中检测到的物体(障碍物708)的顶部边缘。
[0084]
以类似的方式，可以使用边缘检测来检测相同的明亮区域。在某些场景中，在障碍物与背景相比具有低吸收系数(即白色表面上的黑色物体)的情况下，障碍物与背景对比度可能太小而无法检测。为了解决这种无法检测的问题，可以在环境光条件下拍摄附加图像，其中黑色在浅色表面上突出。然后，可以检测到附加图像上的边缘，并将这些边缘与用主动照明检测到的边缘结合。下文的示例说明了上述考虑。如上文所解释的，照明设置产生对比度(在有效区域，例如，》3)。假设检测对比度阈值为1.5。如果物体比表面暗(得多)，即表面的反射系数(称为“反照率(albedo)”)与物体的反射系数之比为》(3*1/1.5)，则无法检测到该物体。然而，用环境光观察图像，反射系数存在差异，这允许检测物体(其现在比背景更暗)。
[0085]
除了障碍物检测之外，估计到障碍物的距离和障碍物的高度可以如下文所描述的那样进行估计。
[0086]
图8是展示了根据一些实施例的障碍物检测系统的用于估计到物体的距离的操作的示例图。具体地，图8示出了图4的系统的一些方面，这些方面被操作用于估计到横穿表面上的障碍物的距离。在实施例中，物体检测系统的相机802布置在距表面804的竖直距离d处。假设表面804是平面的，并且平面几何形状(从相机(入射光瞳)802到障碍物806的距离以及传感器平面(在其上创建图像的平面)与横穿平面之间的角度)是已知的。利用基本几何学，可以得出结论
[0087][0088]
其中，f是相机的焦距(固定的且已知的)，d是相机到表面804平面的竖直距离，并且d是从相机主点到障碍物与平面交点810(在图像平面上)的距离(固定且已知)。在实施例
中，d可以用图像处理技术来提取。因此，可以确定相机(相机平面)与物体之间的水平距离z。
[0089]
图9是展示了根据一些实施例的障碍物检测系统的用于估计横穿表面上的障碍物高度的操作的示例图。具体地，图9复制了图4和图8的设置，出于说明障碍物高度估计的目的，提供了附加的标注。
[0090]
一旦如参考图8所描述的那样确立了距离z，就可以估计布置在表面804上的物体(障碍物806)的高度。如从图9可以看出的，利用一些基本的几何学，障碍物的高度h可以确定为：
[0091][0092]
其中，d1为从相机主点到障碍物与平面交点810(在图像平面上)的距离，并且d2为从相机主点到障碍物顶点(806？)(在图像平面上)的距离。只要已知表面几何形状，距离和高度的估计就可以扩展到非平面表面。当参考图4描述的障碍物检测系统安装在移动平台(表面横穿机器人设备)上时，可以进行进一步的分析。从此处开始，假设移动平台具有感知其自移动(ego-motion)的能力(通过使用例如视觉里程计、同时定位和地图构建(slam)等)。通过上述方法检测到的相机与物体之间的距离可以使用自移动来过滤。假设物体在世界坐标中是静止的，应该满足以下等式z(t2)-z(t1)＝egomotionz(t2,t1)。此处，z(t1),z(t2)分别是通过等式3估计的在时间t1和t2处到障碍物的距离，并且egomotionz(t2,t1)是通过自移动(例如，视觉slam)估计的在时间t1到t2期间z方向上的相对移动。使用该等式，绝对距离(z)和相对z距离(来自自移动)估计都可以使用常见的估计技术来组合，例如卡尔曼滤波，以提高整体的准确度。
[0093]
在一些情况下，本文描述的实施例可以用于为机器人设备检测负台阶(例如，具有低于表面参考平面的平面的表面中的中断，比如由悬崖、峭壁、绝壁或陡坡形成的表面的边缘)。
[0094]
图10是展示了根据一些实施例的障碍物检测系统的用于检测横穿表面上的中断的操作的示例图。具体地，图10示出了图4的系统的一些方面(参考图8和图9进一步描述)，这些方面被操作用于检测横穿表面上的中断。
[0095]
在图10的设置中，表面804和中断1002的平面是平行的。在中断1002中具有高度hs的负台阶导致表面804与光源1004之间的距离从l1变化(增加)到l1 l2(如图10所示出的)，并且对应地从相机802到表面804的水平距离从d1变化(增加)到相机到负台阶d1 d2。如图10所示，d1是相机与中断1002的边缘1006之间的水平距离，d2是中断1002的边缘1006与1008之间的水平距离，1008是(从光源1004发出的)光线1020与中断1002的交点，hl是光源1004在表面804上方的高度，并且d3是1008与1002上相机可见的最近点之间的水平距离，例如，源于相机802并与中断1002相交的线1022的交点1009。
[0096]
在图10的设置中，在观察到的中断的点处，例如1006和1009，不需要物体表面法线的差异。原则上，可能存在差异，但与检测机制无关。与d3相对应的平面区域，即来自光源的光既被遮挡(即遮蔽)又被相机可见的区域，将非常黑暗(因为被遮蔽)，这意味着只有环境光会照亮该平面区域。因此，可以期望在悬崖边缘(点1006)看到非常大的对比度。
[0097]
因此，可以如下测量对比度：
[0098]
对比度＝悬崖边缘(1006)的照明/环境光(5)。
[0099]
如果具有障碍物检测系统的机器人设备在平面表面上移动，则可以计算从附接到设备的相机802拍摄的两个连续图像之间的平面单应性。使用已知的技术，可以根据平面单应性计算横穿表面平面法线。应当理解，在图4、图8和图9的描述中，假设相机和横穿表面平面的相对位置是已知的。上文的描述解释了如何动态地测量相机相对于横穿表面(例如，部分地-仅平面法线)的位置。
[0100]
假设相机在平面上方的高度是固定的，并且框架之间的平台移动是已知的，则定义了平面几何形状。另一种方法是使用倾斜测量结果(例如来自imu传感器)作为平面法线。非平面表面可以使用更精细的技术来估计，比如移动恢复结构(sfm)。
[0101]
为了提高性能，光源可以被设计和定位在机器人设备上，使得在相关的障碍物检测范围和照明源h(平面上方的高度)范围内，沿着横穿平面的照明强度和沿着垂直于平面的方向的光强度将尽可能均匀(例如，在图4和5中所示出的)。
[0102]
当障碍物检测设备安装在移动平台(例如轮式机器人)上时，检测障碍物可以与其他导航源(例如轮子里程计、视觉slam)相结合以将障碍物放置在全球地图上。障碍物的位置和表面(自由空间)上没有物体的高置信度区域可以转换为导航坐标并进行标记。然后可以引导机器人在自由空间上移动，和/或探索未标记的区域。
[0103]
应当注意，所描述的实施例可以在比用于表面横穿的机器人设备更大的规模上实施。通常，所描述的实施例可以应用于需要如参考图8至图10所描述的场景几何估计的任何技术解决方案。
[0104]
图11展示了根据一些实施例的图1和图4的障碍物检测系统的操作过程。如所指出的，障碍物检测系统可以安装在机器人设备上，比如图1的设备100。过程1100可以由障碍物检测系统的处理装置执行，比如图1的装置124。
[0105]
在框1102处，处理装置使得障碍物检测系统的光源(例如，图4的414或图10的1004)打开。
[0106]
在框1104处，处理装置使得障碍物检测系统的相机(例如，图4的402或图8至图10的802)获取机器人设备所横穿的表面的图像。
[0107]
在框1106处，处理装置使得光源关闭。
[0108]
在框1108处，处理装置使得图像被处理以检测所横穿的图像上的障碍物和/或估计其几何参数，如参考图5至图10所描述的。
[0109]
应当理解，描述的顺序不可以被解释为暗示过程1100和300的操作必然是依赖于顺序的。具体地，这些操作可以不按呈现的顺序执行。过程1100和300的至少一些或全部操作可以以不同于所描述的实施例的顺序来执行，如将从描述中显而易见的。
[0110]
图12展示了根据一些实施例的适用于实践本披露内容的所有或选定方面的示例计算装置。更具体地，计算装置1200可以被配置为执行图1的处理装置124和/或外部计算装置140的一些或全部功能。在一些实施例中，计算装置1200可以被配置为专用计算装置，即被配置为仅用于执行与机器人设备横穿表面相关联的操作的计算装置，比如图3和图11的过程，而不用于通用计算，比如被配置为用作机顶盒、游戏控制台、智能电话、电子书、用于消费音频/视频内容的平板计算机等的基于处理器的装置。在一些实施例中，计算装置1200可以被配置为通用计算装置，具有被配置为执行几乎任何二进制文件的设施(仅受计算周
期和/或存储器/存储约束)。
[0111]
如所示出的，计算装置1200包括耦接到一个或多个处理器1204的系统控制逻辑1208；存储器装置1212；一个或多个通信接口1214；和输入/输出(i/o)装置1220。
[0112]
存储器装置1212可以是非易失性计算机存储芯片。在实施例中，存储器装置1212包括封装、驱动电路系统(例如，驱动器)、将存储器装置1212与计算装置1200的其他部件电耦接的输入/输出连接等。存储器装置1212可以被配置为可移除地或永久地与计算装置1200耦接。
[0113]
例如在参考图1、图2和图4所描述的障碍物检测系统中，(多个)通信接口1214可以为计算装置1200提供用于通过一个或多个网络和/或与任何其他合适的装置通信的接口。(多个)通信接口1214可以包括任何合适的硬件和/或固件。一个实施例的(多个)通信接口1214可以包括例如网络适配器、无线网络适配器、电话调制解调器和/或无线调制解调器。对于无线通信，一个实施例的(多个)通信接口1214可以使用一个或多个天线来将计算装置1200与无线网络可通信地耦接。
[0114]
对于一个实施例，(多个)处理器1204中的至少一个处理器可以与系统控制逻辑1208的一个或多个控制器的逻辑封装在一起。对于一个实施例，(多个)处理器1204中的至少一个处理器可以与系统控制逻辑1208的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(多个)处理器1204中的至少一个处理器可以与系统控制逻辑1208的一个或多个控制器的逻辑集成在同一管芯上。对于一个实施例，(多个)处理器1204中的至少一个处理器可以与系统控制逻辑1208的一个或多个控制器的逻辑集成在同一管芯上以形成片上系统(soc)。
[0115]
一个实施例的系统控制逻辑1208可以包括任何合适的接口控制器，这些接口控制器用于向(多个)处理器1204中的至少一个处理器和/或与系统控制逻辑1208通信的任何合适的装置或部件提供任何合适的接口。系统控制逻辑1208可以将数据移入和/或移出计算装置1200的各个部件。
[0116]
一个实施例的系统控制逻辑1208可以包括用于向存储器装置1212提供接口来控制各种存储器访问操作的存储器控制器1224。存储器控制器1224可以包括可以被具体地配置为控制存储器装置1212的访问的控制逻辑1228。
[0117]
在各个实施例中，i/o装置1220可以包括被设计成使得用户能够与计算装置1200交互的用户界面、被设计成使得外围部件能够与计算装置1200交互的外围部件界面、和/或被设计成确定与计算装置1200相关的环境条件和/或位置信息的传感器。
[0118]
在各个实施例中，用户界面可以包括但不限于显示器(例如液晶显示器、触摸屏显示器等)、扬声器、麦克风、用于捕获图片和/或视频的一个或多个数码相机、闪光灯(例如，发光二极管闪光灯)和键盘。
[0119]
在各个实施例中，外围部件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。在各个实施例中，传感器可以包括但不限于陀螺仪传感器、加速度计、接近度传感器、环境光传感器和定位单元。定位单元可以另外地/可替代地是(多个)通信接口1214的一部分或与之交互，以与定位网络的部件通信，例如全球定位系统(gps)卫星。
[0120]
在一些实施方式中，计算装置1200可以包括通用计算装置，比如膝上型电脑、上网本、笔记本、超极本、台式计算机或服务器。在进一步的实施方式中，计算装置1200可以是处
理数据的任何其他电装置。
[0121]
图13展示了根据一些实施例的具有被配置为使得基于处理器的装置实践本披露内容的所有或选定方面的指令的示例计算机可读存储介质。如所展示的，计算机可读存储介质1302可以包括多个编程指令或比特流1304。编程指令(或比特流)1304的可执行代码可以被配置为响应于执行可执行代码/编程指令而使装置(例如计算装置1300)能够执行由124、140或参考图1、图3和图11所描述的对应部件执行的过程(的方面)。
[0122]
在替代性实施例中，可执行代码/编程指令/比特流1304可以代替地被布置在多个非暂态计算装置可读存储介质1302上。在实施例中，计算装置可读存储介质1302可以是非暂态的。在仍其他实施例中，可执行代码/编程指令1304可以被编码在暂态计算机可读介质中，比如信号。
[0123]
根据各个实施例，本披露内容描述了多个示例。
[0124]
示例1是一种设备，包括：该设备的主体；以及障碍物检测系统，该障碍物检测系统安装在该设备的主体上，其中，该系统包括：一个或多个光源，该一个或多个光源用于照亮该设备要横穿的表面；相机，该相机用于捕获该被照亮表面的一个或多个图像；以及处理装置，该处理装置与该相机和该一个或多个光源耦接以处理该捕获的一个或多个图像，以至少部分地基于这些图像的处理结果来检测布置在该被照亮表面上的障碍物或使得该障碍物被检测。
[0125]
示例2包括如示例1所述的设备，其中，该处理装置用于将这些图像的处理结果提供给外部装置，以使得该外部装置检测该障碍物。
[0126]
示例3包括如示例1所述的设备，其中，该一个或多个光源至少包括布置在该设备上相对于该表面的不同位置处的第一光源、第二光源、第三光源和第四光源，其中，照亮该表面包括相继打开该第一光源、该第二光源、该第三光源和该第四光源，其中，捕获一个或多个图像包括用该相机获得该表面的对应的第一图像、第二图像、第三图像和第四图像。
[0127]
示例4包括如示例3所述的设备，其中，该处理装置用于控制该第一光源、该第二光源、该第三光源和该第四光源对该表面的照明，并且用该相机捕获该表面的对应的第一图像、第二图像、第三图像和第四图像，其中，捕获该第一图像、该第二图像、该第三图像和该第四图像中的两个连续图像之间的时间段包括提供存在于该两个连续图像中的相同像素的移动不超过像素移动阈值的值。
[0128]
示例5包括如示例3所述的设备，其中，该处理装置处理该捕获的一个或多个图像包括基于对应的第一图像、第二图像、第三图像和第四图像来确定响应于由该第一光源、该第二光源、该第三光源和该第四光源进行的相继照明而由该表面反射的光强度，至少部分地基于该反射的光强度来估计与该表面相关联的几何参数，并且至少部分地基于这些估计的几何参数来识别该障碍物。
[0129]
示例6包括如示例1所述的设备，其中，该相机布置在该主体上以提供该一个或多个光源和该相机共有的视场(fov)，其中，该fov至少包括该横穿表面的一部分。
[0130]
示例7包括如示例1所述的设备，其中，该一个或多个光源包括布置在该设备的主体上距该表面第一距离处的光源，其中，该障碍物布置在该表面上距该相机第二距离处，其中，该第二距离大于该第一距离。
[0131]
示例8包括如示例7所述的设备，其中，该第二距离是该第一距离的至少三倍。
[0132]
示例9包括如示例7所述的设备，其中，该一个或多个光源布置在该表面上方大约3cm处，其中，该相机布置在该表面上方大约5cm处，其中，该一个或多个光源用于以锐角照亮该表面。
[0133]
示例10包括如示例7所述的设备，其中，该处理装置用于控制这些光源对该表面的照明，并且控制该相机控制对该表面的对应图像的捕获。
[0134]
示例11包括如示例7所述的设备，其中，该处理装置处理该捕获的一个或多个图像包括确定响应于由该光源进行的照明而由该表面反射的光强度，并且至少部分地基于该确定的光强度来识别该障碍物。
[0135]
示例12包括如示例11所述的设备，其中，该处理装置用于使得该相机在该表面被这些光源照亮时捕获第一图像，并且在该表面没有被这些光源照亮时捕获第二图像，其中，处理这些捕获的图像包括从该第一图像或该第二图像中的一个图像中减去该第一图像或该第二图像中的另一个图像。
[0136]
示例13包括如示例11所述的设备，其中，该处理装置进一步用于至少部分地基于与该相机与该表面之间的距离相关联的几何参数以及该相机的焦距来确定该设备与该障碍物之间的该第二距离以及该障碍物的高度。
[0137]
示例14是一种方法，包括：用系统的一个或多个光源照亮该系统前方的表面；用该系统的相机捕获该被照亮表面的一个或多个图像；以及用与该系统的相机和光源耦接的处理装置处理该捕获的一个或多个图像，包括检测布置在该被照亮表面上的物体。
[0138]
示例15包括如示例14所述的方法，其中，该一个或多个光源至少包括布置在相对于该表面的不同位置处的第一光源、第二光源、第三光源和第四光源，其中，照亮该表面包括用该处理装置相继打开该第一光源、该第二光源、该第三光源和该第四光源，其中，捕获该被照亮表面的一个或多个图像包括用该相机获得该表面的对应的第一图像、第二图像、第三图像和第四图像。
[0139]
示例16包括如示例15所述的方法，其中，处理该捕获的一个或多个图像包括：基于对应的第一图像、第二图像、第二图像、第三图像和第四图像，用该处理装置来确定响应于由该第一光源、该第二光源、该第三光源和该第四光源进行的相继照明而由该表面反射的光强度；至少部分地基于该反射的光强度，用该处理装置来估计与该表面相关联的几何参数；以及至少部分地基于这些估计的几何参数，用该处理装置来识别该物体。
[0140]
示例17包括如示例14所述的方法，其中，该一个或多个光源包括布置在该系统的主体上距该表面第一距离处的光源，其中，该物体布置在该表面上距该相机第二距离处，其中，该第二距离大于该第一距离，其中，处理该捕获的一个或多个图像包括：用该处理装置来确定响应于由该光源进行的照明而由该表面反射的光强度；以及至少部分地基于该确定的光强度，用该处理装置来识别该物体。
[0141]
示例18是一种系统，包括：一个或多个光源，该一个或多个光源用于照亮表面；相机，该相机用于捕获该被照亮表面的一个或多个图像；以及处理装置，该处理装置与该相机和该一个或多个光源耦接以处理该捕获的一个或多个图像，以至少部分地基于这些图像的处理结果来检测布置在该被照亮表面上的物体或使得该物体被检测。
[0142]
示例19包括如示例18所述的系统，其中，该系统安装在要横穿该被照亮表面的设备上。
[0143]
示例20包括如示例18所述的系统，其中，该一个或多个光源至少包括布置在相对于该表面的不同位置处的第一光源、第二光源、第三光源和第四光源，其中，照亮该表面包括相继打开该第一光源、该第二光源、该第三光源和该第四光源，其中，捕获一个或多个图像包括用该相机获得该表面的对应的第一图像、第二图像、第三图像和第四图像。
[0144]
示例21包括如示例20所述的系统，其中，该处理装置处理该捕获的一个或多个图像包括基于对应的第一图像、第二图像、第二图像、第三图像和第四图像来确定响应于由该第一光源、该第二光源、该第三光源和该第四光源进行的连续照明而由该表面反射的光强度，至少部分地基于该反射的光强度来估计与该表面相关联的几何参数，并且至少部分地基于这些估计的几何参数来识别该物体。
[0145]
示例22包括如示例18所述的系统，其中，该一个或多个光源包括布置在距该表面第一距离处的光源，其中，该物体布置在该表面上距该相机第二距离处，其中，该第二距离大于该第一距离，其中，该处理装置处理该捕获的一个或多个图像包括确定响应于由该光源进行的照明而由该表面反射的光强度，并且至少部分地基于该确定的光强度来识别该物体。
[0146]
尽管出于说明的目的，在本文中已经展示和描述了某些实施例，但是在不脱离本披露内容的范围的情况下，可以用为实现相同目的而计算的各种各样的替代性和/或等效实施例或实施方式来代替所示出和描述的实施例。本技术旨在涵盖本文讨论的实施例的任何修改或变化。因此，明确的意图是本文所描述的实施例仅由权利要求来限制。