具有基于特征的定位和导航的工业车辆的制作方法

具有基于特征的定位和导航的工业车辆
1.相关申请的交叉引用
2.本公开要求于2019年5月2日提交的题为《具有基于特征的定位和导航的工业车辆(industrial vehicle with feature
‑
based localization and navigation)》第62/842,032号美国专利申请的权益，其全部内容通过引用并入本文。
技术领域
3.本公开涉及用于提供光照不变特征检测的系统和方法，并且更具体地，涉及用于提供光照不变函数以进行特征检测的系统和方法。


背景技术：

4.为了使物品在工业环境中移动，工人通常会利用工业车辆，所述工业车辆包含例如叉举式卡车、手和马达驱动的托盘卡车和/或其它物料搬运车辆。工业车辆可以被配置为在环境中导航的自动引导车辆或手动引导车辆。为了便于自动引导或任何类型的车辆导航，工业车辆可以适用于在环境内定位。也就是说，工业车辆可以适配有用于定位的传感器和处理器，即，确定工业车辆在环境内的位置以及任选地工业车辆的姿态。传感器可以被配置成检测环境中的对象，并且定位可以取决于从这些检测到的对象提取的特征。在例如美国授权前公开编号2016/0090281和2016/0011595中描述了这种性质的系统。


技术实现要素：

5.根据本公开的主题，工业车辆包含驱动机构、转向机构、车辆控制器、相机和导航模块。相机通信地耦合至导航模块。车辆控制器响应于来自导航模块的命令。驱动机构和转向机构响应于来自车辆控制器的命令。相机被配置成捕获仓库的天花板、一个或多个吊灯、一个或多个有源目标或其组合的输入图像。导航模块被配置成通过执行机器可读指令来识别一个或多个天窗、一个或多个吊灯、一个或多个有源目标，或其组合。机器可读指令用于：从仓库的天花板的输入图像创建高斯尺度空间金字塔，其中高斯尺度空间金字塔包含多个尺度空间图像；对高斯尺度空间金字塔内的多个尺度空间图像的每个图像计算hessian响应的迹线；以及基于高斯尺度空间金字塔构建hessian响应金字塔的迹线。机器可读指令进一步用于：利用hessian响应金字塔的迹线构建多尺度候选图；利用多尺度候选图来识别天花板的输入图像中的一个或多个候选，其包含一个或多个天窗候选、一个或多个吊灯候选、一个或多个有源目标候选，或其组合；对一个或多个候选进行候选特征处理以将一个或多个候选的有效标识识别为仓库中的一个或多个天窗、一个或多个吊灯、一个或多个有源目标，或其组合；以及向车辆控制器发送命令以基于有效标识在仓库中导航工业车辆。
6.根据本公开的实施例，工业车辆包括驱动机构、转向机构、车辆控制器、相机和导航模块。相机通信地耦合至导航模块。车辆控制器响应于来自导航模块的命令。驱动机构和转向机构响应于来自车辆控制器的命令。相机被配置成捕获仓库的天花板的输入图像，该输入图像包含一个或多个天窗、一个或多个吊灯、一个或多个有源目标，或其组合。导航模
块被配置成通过执行机器可读指令来识别一个或多个天窗、一个或多个吊灯、一个或多个有源目标，或其组合。机器可读指令用于：从仓库的天花板的输入图像创建高斯尺度空间金字塔，其中高斯尺度空间金字塔包含多个尺度空间图像；对高斯尺度空间金字塔内的多个尺度空间图像的每个图像计算hessian响应的迹线；以及基于高斯尺度空间金字塔构建hessian响应金字塔的迹线。机器可读指令进一步用于：通过为每个尺度空间图像生成一个或多个边界框，并相对于阈值对hessian响应金字塔的迹线中的每个尺度空间图像进行阈值处理以利用处于或高于阈值的每个尺度空间图像，利用hessian响应金字塔的迹线来识别天花板的输入图像中的一个或多个候选，其包含一个或多个天窗候选、一个或多个吊灯候选和一个或多个有源目标候选。机器可读指令进一步用于：检测一个或多个候选的不同亮度的一个或多个灯特征、一个或多个候选的不同大小的一个或多个灯特征，或者其组合；对一个或多个候选进行候选特征处理，以将一个或多个候选的有效标识识别为仓库中的一个或多个天窗、一个或多个吊灯，以及一个或多个有源目标；以及向车辆控制器发送命令以基于有效标识在仓库中导航工业车辆。
7.根据本公开的另一实施例，一种用于导航工业车辆的方法包含在仓库中操作工业车辆，该工业车辆包含驱动机构、转向机构、车辆控制器、相机，以及导航模块。相机通信地耦合至导航模块。车辆控制器响应于来自导航模块的命令。驱动机构和转向机构响应于来自车辆控制器的命令。该方法包含：由相机捕获仓库的天花板、一个或多个吊灯、一个或多个有源目标或其组合的输入图像；利用导航模块从仓库的天花板的输入图像创建高斯尺度空间金字塔，其中高斯尺度空间金字塔包含多个尺度空间图像；对高斯尺度空间金字塔内的多个尺度空间图像中的每个图像计算hessian响应的迹线；以及基于高斯尺度空间金字塔构建hessian响应金字塔的迹线。该方法进一步包含：利用hessian响应金字塔的迹线构建多尺度候选图；使用导航模块，利用多尺度候选图来识别天花板的输入图像中的一个或多个候选，其包含一个或多个天窗候选、一个或多个吊灯候选、一个或多个有源目标候选，或其组合；对一个或多个候选进行候选特征处理，以使用导航模块在仓库中将一个或多个候选的有效标识识别为一个或多个天窗、一个或多个吊灯、一个或多个有源目标，或其组合；以及从导航模块向车辆控制器发送命令，以基于有效标识在仓库中导航工业车辆。
8.根据本公开的一个实施例，提供了一种工业车辆，该工业车辆包含驱动机构、转向机构、车辆控制器、相机，以及导航模块。相机通信地耦合至导航模块，车辆控制器响应于来自导航模块的命令，并且驱动机构和转向机构响应于来自车辆控制器的命令。相机被配置成捕获仓库天花板的输入图像，该输入图像包含特征在于沿着纵轴方向和横轴方向的不同图像强度变化率的细长天窗，以及特征在于图像强度变化率的吊灯。导航模块被配置成在这些吊灯与这些天窗之间进行区分并且向车辆控制器发送命令以基于有效的吊灯标识、有效的天窗标识或两者在仓库中导航工业车辆。
9.更具体地，经考虑，导航模块可以执行机器可读指令以从仓库天花板的输入图像创建高斯尺度空间金字塔，其中高斯尺度空间金字塔包含多个尺度空间图像。模块对高斯尺度空间金字塔内的每个图像计算hessian响应的迹线，并且构建与高斯尺度空间金字塔具有相同大小和结构的hessian响应金字塔的迹线。模块利用hessian响应金字塔的迹线来识别仓库天花板的输入图像中的隔离的吊灯候选和天窗候选。对隔离的吊灯候选和天窗候选进行候选特征处理，以识别仓库中的有效吊灯或天窗。
10.经考虑，高斯尺度空间金字塔可以通过运行应用于仓库天花板的输入图像的一系列级联图像平滑操作来创建，并且可以通过与二项式滤波器核的卷积来近似。还经考虑，高斯尺度空间金字塔可以通过用子采样操作补充一系列级联图像平滑操作来创建。补充子采样操作可以有条件地作为可用导航模块计算能力的函数来实现。
11.可以基于每个尺度空间图像与二阶偏导数滤波器核进行卷积而计算hessian响应的迹线。
12.根据本公开的另一实施例，导航模块被配置成在这些吊灯与这些天窗之间进行区分，并且向车辆控制器发送命令以基于有效的吊灯标识、有效的天窗标识或两者在仓库中定位工业车辆。
附图说明
13.对本公开的特定实施例的以下详细描述在结合以下附图时可最好地理解，在附图中用类似的参考数字指示类似的结构且在附图中：
14.图1描绘了根据本文示出和描述的一个或多个实施例的用于基于环境的定位的车辆；
15.图2描绘了根据本文示出和描述的一个或多个实施例的用于基于环境的定位的相机特征提取/顶灯特征提取的示范性算法的流程图；
16.图3以特征候选检测函数、特征候选生成和分类函数、特征提取函数和后处理函数的放大细节描绘了图2的流程图；
17.图4结合图3的特征候选检测函数示意性地描绘了根据本文示出和描述的一个或多个实施例的包括矩形吊灯和天窗的图像的尺度空间金字塔；
18.图5示意性地描绘了根据本文示出和描述的一个或多个实施例的在图4的尺度空间金字塔的三个尺度级别处检测到的旋转矩形特征候选；
19.图6示意性地描绘了关于图4的尺度空间金字塔的三个尺度级别的多尺度特征图结构；
20.图7结合图3的特征候选生成和分类函数描绘了根据本文示出和描述的一个或多个实施例的来自十个尺度的多个低级多尺度特征候选；
21.图8描绘了图7的十个尺度中的低尺度和高尺度的最佳拟合尺度；
22.图9结合图3的特征提取函数描绘了根据本文示出和描述的一个或多个实施例的应用于特征候选以生成合并和分割候选的合并和分割函数；
23.图10描绘了根据本文示出和描述的一个或多个实施例的在隔离滤光器处理合并图像和分割图像之前和之后；以及
24.图11描述了根据本文示出和描述的一个或多个实施例的应用于天窗候选的两级阈值处理实例。
具体实施方式
25.本文描述的实施例总体上涉及用于从包括但不限于天窗的顶灯中提取特征的基于环境的定位技术(ebl)。ebl可用于在如仓库等建筑物结构中定位和/或导航工业车辆。适当地，顶灯可以安装在建筑物的天花板中或天花板上。然而，在一些实施例中，照明也可以
或替代地经由合适的结构悬挂在天花板或墙壁上。在一些实施例中，相机可以安装到在仓库中导航的工业车辆(例如，自动引导车辆或手动引导车辆)。输入图像可以是在从图像中提取特征之前的从相机捕获的任何图像。
26.首先参考图1，工业车辆100可以被配置成在仓库110中导航。工业车辆100可以包含用于提升和移动有效载荷的工业车辆，例如叉车、前伸式叉车、转台式叉车、步履式堆垛车、牵引车、码垛车、高/低起重机、堆积机、拖车装载机、侧装载机、叉式起重机等。工业车辆100可以被配置成自动地或手动地沿着所需路径导航仓库110的库存运输表面122。因此，工业车辆100可以通过一个或多个车轮124的旋转而向前和向后引导。另外，可以通过使一个或多个车轮124转向来使工业车辆100改变方向。任选地，工业车辆100可以包含操作员控制装置126，用于控制车辆的函数，例如但不限于车轮124的速度、车轮124的取向等。操作员控制装置126可以包含分配给工业车辆100的函数的控制装置，例如开关、按钮、杠杆、手柄、踏板、输入/输出装置等。应当注意，本文使用的术语“导航”可以表示控制车辆从一个位置到另一个位置的移动。
27.工业车辆100可以包含驱动机构104a、转向机构104b、车辆控制器104c和导航模块104d。车辆控制器响应于来自导航模块的命令。驱动机构和转向机构响应于来自车辆控制器的命令。
28.工业车辆100可以进一步包含通信地耦合至导航模块104d的相机102，用于捕获俯视图像。相机102可以被配置成捕获仓库110的天花板112的输入图像200，其包含一个或多个天窗116、一个或多个吊灯114、118、119、一个或多个有源目标，或其组合。相机102可以是能够捕获对象的视觉外观并将视觉外观转换成图像的任何装置。因此，相机102可以包含图像传感器，例如电荷耦合装置、互补金属氧化物半导体传感器或其功能等效物。在一些实施例中，工业车辆100可以位于仓库110内并且被配置成捕获仓库110的天花板112的俯视图像。为了捕获俯视图像，相机102可以安装到工业车辆100上并且聚焦到天花板112上。为了定义和描述本公开的目的，本文所使用的术语“图像”可以表示被检测对象的外观的表示。图像可以以各种机器可读表示形式来提供，例如jpeg、jpeg 2000、exif、tiff、原始图像格式、gif、bmp、png、netpbm格式、webp、光栅格式、矢量格式，或适合于捕获俯视对象的任何其它格式。
29.仓库110的天花板112可以包含顶灯，例如但不限于吊灯114和/或天窗116，用于从天花板112或通常从在仓库中操作的车辆上方提供照明。天窗116可以是例如矩形灯。吊灯114可以包含基本上矩形的灯，例如可以是荧光灯或其它灯等的矩形灯119，和/或光学有源目标121，如在条带上包括一个或多个led的那些，如在于2019年2月2日提交的题为《用于基于光学目标的室内车辆导航的系统和方法(systems and methods for optical target based indoor vehicle navigation)》第16/280,736号美国专利申请中公开的，其转让给美国科朗设备公司(crown equipment limited)；并且可以安装在天花板或墙壁结构中或悬挂在天花板或墙壁结构上，以便从上方提供照明。如本文所使用的，术语“天窗”可以指天花板或屋顶中的孔口，其装配有允许日光进入的基本透光的介质，例如空气、玻璃、塑料等。虽然天窗可以具有各种形状和大小，但是本文描述的天窗可以包括矩形天窗，该矩形天窗可以被梁或横杆分割成或不分割成一系列面板。替代地，天窗可以包含矩形或圆形的较小的、离散的天窗。替代地或附加地，吊灯114可以包含基本上圆形的灯，例如圆形灯118等。因
此，顶灯或“吊灯”包括自然(例如阳光)和人造(例如电动)光源。在一些实施例中，吊灯是圆形对称的圆形灯，并且天窗基本上是细长的。在几何学中，圆形对称是平面物体的连续对称类型，其可以旋转任意角度并映射到其自身上。
30.在实施例中，一个或多个吊灯114可以包含一个或多个矩形吊灯119、一个或多个以对称图像强度变化率为特征的圆形吊灯118或其组合。一个或多个吊灯114的特征可在于对称图像强度变化率或沿着纵轴方向和横轴方向的不同的图像强度变化率。一个或多个天窗116的特征可在于沿着纵轴方向和横轴方向的不同的图像强度变化率。一个或多个有源目标121可以包含一个或多个光学发光二极管(led)特征，每个led特征的特征在于对称的强度变化率。导航模块104d可以被配置成将一个或多个候选的有效标识识别为一个或多个天窗、一个或多个吊灯以及一个或多个有源目标。导航模块104d可以进一步被配置成(i)基于对输入图像中沿着纵轴方向和横轴方向的不同图像强度变化率的识别，识别一个或多个天窗，(ii)基于对输入图像中的对称图像强度变化率或沿着纵轴方向和横轴方向的不同图像强度变化率的识别，识别一个或多个吊灯，以及(iii)基于对输入图像中的阈值距离内的多个对称强度变化率的识别，识别一个或多个有源目标。
31.本文描述的实施例可以包含通信地耦合至相机102的一个或多个处理器104。一个或多个处理器104可以执行机器可读指令以自动地实现本文描述的任何方法或功能。用于存储机器可读指令的存储器106可以通信地耦合至一个或多个处理器104、相机102或其任何组合。一个或多个处理器104可以包含处理器、集成电路、微芯片、计算机或能够执行机器可读指令或已被配置成以类似于机器可读指令的方式执行功能的任何其它计算装置。存储器106可以包含ram、rom、闪存、硬盘驱动器或能够存储机器可读指令的任何非暂时性装置。
32.一个或多个处理器104和存储器106可以与相机102集成在一起。替代地或附加地，一个或多个处理器104和存储器106中的每一个可以与工业车辆100集成在一起。此外，一个或多个处理器104和存储器106中的每一个可以与工业车辆100和相机102分离。例如，服务器或移动计算装置可以包含一个或多个处理器104、存储器106或两者。应当注意，在不脱离本公开的范围的情况下，一个或多个处理器104、存储器106和相机102可以是彼此通信地耦合的离散组件。因此，在一些实施例中，一个或多个处理器104的组件、存储器106的组件和相机102的组件可以在物理上彼此分离。如本文中所使用的短语“通信地耦合”意指组件能够彼此交换数据信号，例如通过导电介质的电信号、通过空气的电磁信号、通过光波导的光信号等。
33.因此，本公开的实施例可以包括以任何一代的任何编程语言(例如1gl、2gl、3gl、4gl或5gl)编写的逻辑或算法。逻辑或算法可以被编写为可以由处理器直接执行的机器语言，或者可以被编撰或汇编为机器可读指令并存储在机器可读介质上的汇编语言、面向对象的编程(oop)、脚本语言、微代码等。替代地或附加地，逻辑或算法可以以硬件描述语言(hdl)编写。进一步地，逻辑或算法可以通过现场可编程门阵列(fpga)配置或专用集成电路(asic)或其等效物来实施。
34.如上所述，工业车辆100可以包含一个或多个处理器104或与其通信地耦合。因此，一个或多个处理器104可以执行机器可读指令以操作或替换操作员控制装置126的功能。机器可读指令可以存储在存储器106上。因此，在一些实施例中，工业车辆100可以由执行机器可读指令的一个或多个处理器104自动导航。在一些实施例中，当工业车辆100被导航时，不
管是手动地还是自动地，车辆的位置可以由ebl监视。
35.例如，工业车辆100可以基于工业车辆100的局部位置沿着仓库110的库存运输表面122沿着所需路径自动导航到仓库环境内的所需位置。在一些实施例中，工业车辆100可以确定工业车辆100相对于仓库110的局部位置。出于限定和描述本公开的概念和范围的目的，应当注意，“仓库”涵盖其中材料搬运车辆运输货物的任何室内或以其它方式覆盖的设施，包括但不限于主要用于存储货物的仓库，如其中单个或多层仓库架或存储单元布置在过道中或以其它方式布置的仓库，以及其中货物由材料搬运车辆在设施周围运输以用于一个或多个制造过程的制造设施。工业车辆100的局部位置的确定可以通过将图像数据与地图数据进行比较来执行。地图数据可以本地存储在可以周期性更新的存储器106中，或由服务器等提供地图数据。给定局部位置和所需位置，可以为工业车辆100确定行进路径。一旦已知行进路径，工业车辆100就可以沿着该行进路径行进，以导航仓库110的库存运输表面122。具体地，一个或多个处理器104可以执行机器可读指令以执行ebl功能并操作工业车辆100。在一个实施例中，一个或多个处理器104可以调整车轮124的转向并控制油门以使工业车辆100导航库存运输表面122。
36.导航模块104d可以被配置成通过执行机器可读指令来识别一个或多个天窗116、一个或多个吊灯114、118、119、一个或多个有源目标121或其组合，如下面更详细描述的。在实施例中，机器可读指令用于从仓库的天花板的输入图像创建高斯尺度空间金字塔404，其中高斯尺度空间金字塔包含多个尺度空间图像。此外，如通过由导航模块104d执行这样的指令，对高斯尺度空间金字塔内的多个尺度空间图像中的每个尺度空间图像计算hessian响应的迹线406。如本领域技术人员所理解的并且在本公开的范围内设想的，hessian响应的迹线也可称为高斯的拉普拉斯曲线。基于高斯尺度空间金字塔构建hessian响应金字塔417的迹线。利用hessian响应金字塔的迹线来构建多尺度候选图408，以识别天花板112的输入图像200中的一个或多个候选，其包含一个或多个天窗候选116、一个或多个吊灯候选114、118、119、一个或多个有源目标候选121或其组合。对一个或多个候选进行候选特征处理，以将一个或多个候选的有效标识识别为仓库110中的一个或多个天窗116、一个或多个吊灯114、118、119、一个或多个有源目标121或其组合。从导航模块104d向车辆控制器104c发送命令以基于有效标识在仓库110中导航工业车辆100。
37.参考图2至3，示意性地描绘了用于全相机特征提取(cfe)算法10的函数序列的流程图。应当注意，虽然在所描绘的实施例中函数被列举和描绘为以特定顺序执行，但在不脱离本公开的范围的情况下，可以以替代顺序执行这些函数。还应注意，在不脱离本文描述的实施例的范围的情况下，可以省略一个或多个函数。
38.现在参考图2至11，并且共同参考图2至3，cfe算法10被配置成检测如上所述的各种隔离的灯(例如，圆形或矩形，无论是通电的还是未通电的)和长连续的带状天窗。cfe算法10可以进一步包含特征候选检测函数22，用于从天花板112的输入图像200中检测低级特征，该图像可以经历预处理函数20，如下面进一步描述的。共同参考图2至3，特征候选检测函数22可以包含用于低级特征检测的光照不变过程。例如，可以从天窗116和/或圆形灯118(和/或图1的矩形灯119)提取候选特征。该光照不变过程可以使得ebl能够针对其中光照水平可变和/或包括至少部分受阻的视线照明而影响发光度的场所进行稳健的执行，这些场所包括但不限于其中光照水平是高度可变的天窗密集场所，包括产品放置的高货架可能会
遮挡隔离灯和/或天窗的场所，和/或包括具有高水平光照的天窗的场所。因此，代替依赖于双模式系统，光照不变过程可以检测多尺度上的天窗候选411a和隔离灯候选411b作为多尺度图像空间中的局部最大值。
39.在特征候选检测函数22的框408处的多尺度候选检测器函数利用迹线输入417来生成要输入到框410中的多尺度候选图418，以从特征候选生成和分类函数24中的各种隔离灯和天窗生成和分类最佳拟合或有源目标候选。来自框410的结果可以是生成的天窗候选411a、隔离灯候选411b和有源目标候选411c，其被输入到特征提取函数50中。导航模块104d可以被配置成执行机器可读指令以从一个或多个候选中生成一个或多个最佳拟合候选，将一个或多个最佳拟合候选输入到候选特征处理的特征提取函数中以生成一个或多个候选特征提取，并且利用来自特征提取函数的一个或多个候选特征提取来将一个或多个候选的有效标识识别为一个或多个天窗116、一个或多个吊灯114、一个或多个有源目标121或其组合。一个或多个最佳拟合候选可被分类为包含一个或多个天窗候选411a、一个或多个吊灯候选411b、一个或多个有源目标候选411c或其组合的一个或多个候选411。
40.导航模块104d可以被配置成执行机器可读指令以应用合并和分割候选函数来合并和分割与一个或多个天窗候选相关联的一个或多个边界框，以在一个或多个最佳拟合候选被分类为一个或多个天窗候选时生成一个或多个分割边界框，并且从一个或多个分割边界框提取一个或多个特征以生成一个或多个候选特征提取。合并和分割候选函数可以在框412中应用于天窗候选411a，使得合并和分割候选413被输入到框414中以提取天窗作为天窗特征提取426。在框415中，可以将隔离灯候选411b和/或天窗特征提取426作为不可变的参考传入，以生成输入到框414b中的经滤波的候选419，以提取隔离灯并生成隔离灯特征提取416。导航模块104d可以被配置成执行机器可读指令以滤波一个或多个最佳拟合候选以生成一个或多个候选特征提取。该指令可以是：当一个或多个最佳拟合候选被分类为一个或多个吊灯候选时，滤波一个或多个最佳拟合候选，从包含一个或多个隔离灯候选的一个或多个吊灯候选生成一个或多个隔离灯特征提取，从一个或多个天窗候选生成一个或多个天窗特征提取，以及移除包含与一个或多个天窗特征提取相交的一个或多个隔离灯特征提取的一个或多个隔离灯候选。在实施例中，可以移除与含有天窗点定位的天窗提取相交的任何隔离灯候选411b，以减少报告实际上来自天窗的隔离灯提取的机会。如果检测到的天窗具有点定位，则cfe算法10具有足够的特征来滤除隔离灯候选411b而不影响定位系统。作为非限制性实例，角130(图1)表示可以从具有角的灯中提取的点定位，该灯可以如矩形灯，既可以是供电的，如隔离的灯和/或光学目标，也可以是未供电的，如天窗。隔离灯特征提取416和天窗特征提取426可以用作框52a中的后处理函数52的输入，并从来自图像处理帧的特征坐标转换回原始图像帧。在框54中，可以将转换后的特征报告给ebl系统。
41.cfe算法10的预处理函数20可以包含用于从原始图像中移除失真效应并在算法的主处理步骤之前移动到图像处理帧的函数，如于2018年1月30日发布的题为《具有基于特征的定位和导航的工业车辆》的授予美国科朗设备公司的第9,880,009号美国专利所描述的，其全部内容通过引用并入本文。预处理函数20可以被配置成在对输入图像200执行进一步的函数之前处理天花板112的输入图像200。输入图像200可以根据如本文描述的和如授予美国科朗设备公司的第9,880,009号美国专利中提出的一个或多个提取算法来处理。
42.特征候选检测函数22可以被配置成从输入图像中检测低级多尺度特征候选。来自
多个尺度的特征候选可以是定向边界框(旋转矩形)的形式。每个候选可以含有部分吊灯特征。在框408中，低级候选可被关联到跨多个尺度的图形结构中以生成多尺度候选图418。
43.特征候选生成和分类函数24可以被配置成从低级多尺度特征候选生成用于吊灯特征的最终候选，并且对每个候选最可能代表哪种类型的特征(如果有的话)进行分类。最终候选可以是定向边界框(旋转矩形)的形式，其含有吊灯特征，该吊灯特征是基本上圆形的灯或基本上矩形的灯，或者它可以是长的、连续的天窗。在实施例中，并非来自不同尺度的所有候选都用于生成那些分类的候选。
44.特征提取函数50被配置成从分类的候选中提取吊灯特征，例如质心和角。具体地，分类为隔离灯的特征候选，如基本上圆形或基本上矩形的灯，可以应用质心提取函数。附加地或替代地，作为点固定的角130可以从分类为更长或更大的基本上矩形的灯的特征候选中提取，如由屋顶结构分开的一系列面板。作为非限制性实例，该系列面板可以包括长天窗、矩形荧光灯面板，以及沿着共同纵轴排列成条带的条状灯，无论是条状荧光灯和/或条状天窗。引入框412中的合并和分割过程以在特征提取之前准备天窗候选411a。如果存在天窗，则在框415中根据天窗特征提取426滤波隔离灯候选411b。
45.最后，在框54中将提取的特征报告给主ebl算法之前，它们可以通过后处理函数52。后处理函数52可以包含将特征坐标从图像处理帧转换回原始图像帧，即ebl帧的函数。
46.共同参考图2至4，在框402中，特征候选检测函数22可以包含构建金字塔函数。在实施例中，构建金字塔函数被配置成运行一系列级联的图像平滑和子采样操作以创建高斯尺度空间金字塔，在一些实施例中，该高斯尺度空间金字塔可以是近似高斯空间金字塔，如在授予美国科朗设备公司的第9,880,009号美国专利描述的，其全部内容通过引用并入上文。
47.尺度空间金字塔可以由可配置数量的尺度级别和图像组成。可以调整尺度级别图像的数量以适应仓库中存在的最大灯特征的尺度。例如，构建金字塔函数可以被配置成对于包含天窗的仓库产生比不包含天窗的仓库具有更多级别的尺度空间金字塔。
48.图4示出了包含一些基本上矩形的吊灯和一些天窗的图像的实例尺度空间金字塔550。该实例尺度空间金字塔550总共包含从尺度索引0到尺度索引9的十个尺度空间图像，作为分别表示尺度空间金字塔550中的尺度索引0至9的图像级别，如图4所示，并且被布置为具有全图像大小的两个图像(例如，尺度索引0和1)，全图像大小一半的两个图像(例如，尺度索引2和3)，以及下两个子采样图像大小中的每一个的三个图像(例如，分别地，尺度索引4至6和7至9)。尺度索引越高，图像越平滑，可能检测到的特征候选越粗糙或频率越低。
49.在实施例中，对于cfe算法10，在金字塔中的尺度图像大小级别中的每一个不必具有相同数量的尺度图像。在不脱离cfe算法10的范围的情况下，尺度图像大小级别的数量和尺度图像的总数可以与图4中所示的不同，并且仍然允许cfe算法10产生适于用ebl定位的一组特征。
50.由框402中的构建金字塔函数产生的尺度空间金字塔550可以作为输入404被传递到框406的hessian响应金字塔函数的计算迹线。hessian响应金字塔函数的计算迹线，如在授予美国科朗设备公司的第9,880,009号美国专利(其全部内容通过引用并入上文)描述的，被配置成应用差分滤波，具体地计算每个图像的hessian响应的迹线，以产生hessian金字塔417的迹线。在实施例中，hessian金字塔的迹线在结构上与尺度空间金字塔550输入的
大小相同。具体地，对于图4的实例尺度空间金字塔550，图3的hessian金字塔417的所得迹线还含有分别以两个图像(例如，尺度索引0至1)、两个图像(例如，尺度索引2至3)、三个图像(例如，尺度索引4至6)和三个图像(例如，尺度索引7至9)的组从最大到最小的尺度图像级别排列的总共十个缩放图像。
51.hessian滤波的差分迹线可以被配置成响应于比它们在图像空间中的直接局部邻域具有更高强度的图像特征。它同样适用于识别圆形对称特征，如基本上圆形的灯118或更细长的特征，如天窗116或基本上矩形的灯119。
52.共同参考图3至5，特征候选检测函数22可以包含框408中的多尺度候选检测器函数，在一个实施例中，该多尺度候选检测器函数将由框406的hessian响应金字塔函数的计算迹线产生的hessian金字塔417的迹线作为输入，并且以多尺度候选图形418中的旋转矩形边界框的形式生成低级多尺度特征候选，以将其传递到特征候选生成和分类函数24。
53.在一个实施例中，框408的多尺度候选检测器可以通过对hessian金字塔417的迹线中的每个尺度图像进行阈值处理并执行图像处理函数以定位感兴趣的结构来检测特征候选。对于定位吊灯特征的ebl应用，hessian金字塔417的迹线中的图像的迹线响应可以被否定，因为暗背景上的亮对象在hessian响应空间的迹线中产生强烈的负响应。应用于轨迹响应图像的阈值对于hessian金字塔417的轨迹中的每个尺度图像可以是相同的固定阈值，或者在其它实施例中，对于每个尺度级图像大小或每个尺度图像可以是不同的，而不脱离该函数的范围。可以利用处于或高于阈值的每个尺度空间图像。
54.导航模块104d可以被配置成执行机器可读指令以基于hessian响应金字塔417的迹线中的每个尺度空间图像构建多尺度候选图418。多个尺度空间图像可以包含从低值细尺度索引到高于低值细尺度索引的值的高值粗尺度索引的范围。通过从高值粗索引开始向下处理尺度空间图像至低值细尺度索引来构建多尺度候选图418，以在每个尺度空间图像的一个或多个图节点之间建立图像间的图边连接；一个或多个图节点可以与每个尺度空间图像中的一个或多个边界框相关联。多尺度候选图418可用于通过为每个尺度空间图像生成一个或多个边界框并且相对于阈值对hessian响应金字塔417的迹线中的每个尺度空间图像进行阈值处理来识别一个或多个候选。
55.hessian金字塔图像的阈值化迹线是二进制图像，在其上可以通过连接的分量提取和处理或者附加地或替代地通过轮廓提取和处理来检测感兴趣的结构。关于cfe算法10中的后续处理步骤，表示感兴趣结构的连接分量或轮廓可以用如边界框之类的单一类型的表示来近似。在一个实施例中，这可以是旋转的矩形(定向的边界框)，在其它实施例中，它可以是轴对准的边界框。边界框拟合函数可以应用于来自hessian 417的迹线的每个阈值图像，以分别为金字塔中的每个尺度图像产生集合边界框。
56.在一个实施例中，可以在这一阶段应用滤波以移除极有可能对应于阈值处理阶段的噪声检测的边界框。例如，低于某一大小阈值的微小旋转矩形边界框可能会被丢弃，因为太小而不能包含适合于定位目的的吊灯特征。
57.从较小的尺度级别检测到的边界框——即，对于图4中描绘的实例金字塔550，已经被下采样到原始图像大小的二分之一、四分之一或八分之一的金字塔中的尺度图像——可以根据全尺寸图像的坐标系相应地放大。这允许在同一坐标空间中处理在hessian金字塔417的整个迹线上检测到的所有特征候选。
58.图5示出了在来自图4所示的尺度空间的三个尺度图像(例如，尺度索引0、6和9，其中尺度索引0是最细的，尺度索引9是最粗的)处检测并由边界框553包围的旋转矩形特征候选552的实例。为了简化描述，没有示出从其它尺度图像的检测，但是也可以将其结合到本文描述的系统和函数中。
59.参考图5，在指向金字塔550中最平滑图像的尺度索引9处，检测到的边界框553对应于较粗的结构，如大矩形灯119和整个天窗116。
60.在金字塔550中的更中间级别处(例如，在尺度索引6处)，所得边界框553开始拟合到略微更精细的细节级别，如单个天窗面板。在一些情况下，现在将在与天窗116分离的它们自己的框中检测与天窗116重叠的吊灯114。
61.在最细尺度图像(例如，在尺度索引0处)，金字塔550的底部，hessian的迹线响应于更细的高频细节。在实施例中并且如图5的尺度索引0图像所示，矩形灯的各个荧光管已经被分割成分离的边界框553。在更细的尺度上，可能存在一些噪声检测，例如在类似天窗面板的特征的角和边缘周围。
62.参考图2至6，以及框408的多尺度候选检测器，对特征候选检测函数22中的候选特征检测的差分滤波(即，经由框406生成的hessian 417的迹线)和尺度空间金字塔方法(例如，框404和406)的目的可以是双重的：分别检测不同亮度的灯特征和不同大小的灯特征。导航模块104d可以被配置成执行机器可读指令，以相对于多尺度候选图418检测一个或多个候选的不同亮度的一个或多个灯特征、检测一个或多个候选的不同大小的一个或多个灯特征，或其组合。
63.如图5所示，一些灯特征在某些尺度上具有良好的拟合边界框检测，但在其它尺度上具有不良的拟合边界框检测。最后，在实施例中，希望在特征候选生成和分类函数24中为每个灯特征仅生成单个特征候选边界框553，以传递到特征提取函数50，从而提取适于定位的特征，如质心或点定位。导航模块104d可以被配置成执行机器可读指令以在候选特征处理中为一个或多个候选中的每一个生成特征候选边界框553并从每个特征候选边界框553提取一个或多个特征。导航模块104d可以被配置成执行机器可读指令以基于有效标识生成一个或多个候选的特征坐标。导航模块104d可以进一步被配置成向车辆控制器发送命令，以基于有效标识和特征坐标在仓库110中导航工业车辆100。
64.为了辅助特征候选生成和分类函数24并提供跨尺度和空间维度的更多上下文，在框408的多尺度候选检测器函数的末尾，采用图构建算法来创建多尺度特征图结构作为多尺度候选图418。在实施例中，作为多尺度候选图418的多尺度特征图可以是有向非循环图(dag)。
65.跨hessian金字塔尺度的所有迹线的整个集合中的每个边界框553可以是图418中的节点或顶点。框408内的图构建算法从最粗的尺度开始，并沿着金字塔向下朝最细的尺度工作，以构建这些图顶点之间的边。
66.在一个实施例中，框408的多尺度候选检测器的图构建算法可以如下进行。首先，以从hessian金字塔417的迹线中的最粗尺度检测到的一组边界框553开始，并将所有这些框初始化为图中的源节点。然后可以对每个尺度上的边界框检测集从最粗到最细的尺度进行迭代。作为非限制性实例，迭代可以在该尺度级别处通过每个边界框553发生，并且在每个循环迭代处所考虑的框可被称为查询框。可以确定查询框是否与直接“父”(即，较粗的)
尺度级别中的任何边界框相交。这里，“相交”意味着在同一坐标系中的两个边界框553之间的二维相交检查——如这两个框是否来自同一尺度图像。可以在查询框和与其相交的先前较粗尺度中的每个框之间创建图边。如果在查询框和来自紧邻的较粗邻居尺度的框之间没有找到交集，则该方法可以以相同的方式迭代地检查下一个最粗尺度，直到找到交集或者检查了所有尺度。如果在任何粗级别上没有找到交集，则查询框变成图中的另一源节点或顶点。该步骤可以允许在来自在hessian金字塔417的迹线中不直接相邻的尺度级别的检测之间进行边缘，其中，例如，由于检测噪声或其它原因，可能未在所述特征的一个或多个尺度级别上检测到边界框553。
67.参考图6，描绘了多尺度特征图结构554的简化实例。与图5一样，仅示出了图4中所示的十个尺度级别中的三个。应当注意，可以在这个简化的实例中演示图构建算法而不损失泛化。
68.参考图6，箭头指示已经由图构建算法识别的边。不具有连接边的特征候选边界框553的单独组可称为“子图”。在图6中，有五个子图。除了边箭头之外，已经用相同的虚线类型绘制了相同子图内的矩形。
69.图6中所示的子图都具有最粗尺度级别中的单个源节点，并且可以具有多个汇节点，其中汇节点(或汇顶点)是不具有以更细尺度级别与之相交的相关联的“子”节点的节点。应当注意，在一些情况下，子图可以具有多于一个的源节点，并且源节点可以来自金字塔中的任何尺度级别。类似地，应当注意，图可以具有一个或多个汇节点，其也可来自任何尺度级别。通常，源节点将倾向于分别来自较粗的尺度和来自较细的尺度的汇节点。
70.多尺度特征图结构554(例如，作为框408的多尺度候选检测函数的所生成的多尺度候选图418)的目的是在从单独的尺度检测到的特征候选边界框553之间建立上下文和链接。在一些实施例中，通过允许选择以不同的细节层次检查复合灯特征，如连续天窗或由多个荧光管组成的基本上矩形的灯，这对于相机特征提取(cfe)算法10中的后续处理阶段是有益的。例如，对于连续的天窗特征，一个随后的处理步骤可以利用封装整个天窗的矩形。然后，不同的处理步骤可以利用在子图中编码的分层关系来使用与包含相同天窗的各个面板相关的边界框553。
71.在图中捕获的尺度空间关系可能有帮助的一些其它情形包括其中灯特征被其它对象部分遮挡的情形。例如，在更细的尺度上，由于部分遮挡，灯特征可以被分解为多个检测，但是进一步向上的子图可以是描绘整个灯特征的检测。多尺度特征图(例如，作为多尺度候选图418)标记了图3中的特征候选检测函数22的结束。多尺度特征图结构554被传递到特征候选生成和分类函数24。
72.参考图3和7至8，在特征候选生成和分类函数24中，在框410中处理作为来自框418的输入的低级别多尺度特征候选(mfc)，以生成吊灯候选并将那些候选分类为隔离灯候选411b或天窗候选411a。
73.低级别特征候选可以被关联到跨越多个尺度的图中。图7示出了来自10个尺度556的候选。相同颜色可以分离候选子集(例如，青色t、粉色p、蓝色b、绿色g和淡紫色l)，并且指示相同颜色的候选属于相同的候选图。在图7的尺度556的左上角标注尺度索引。对于每个候选图，在框410中分别从例如尺度0至2的低尺度和例如尺度3至9的高尺度找到最佳拟合尺度。最佳拟合尺度表示其中所有候选(例如边界框553)与其它尺度相比最佳地拟合吊灯
的尺度。图8示出了(例如，蓝色b的)中央子集候选图的低尺度和高尺度的最佳拟合尺度558。如果候选只出现在少数尺度中，则可以丢弃一些图。例如，右上角的另一子集候选图(例如，粉红色p)仅具有尺度为3至6的候选。
74.在最佳拟合尺度中，一个吊灯可以分割成多个候选。可以基于候选边界之间的距离递归地合并候选。然后，合并候选可以按大小分类为隔离灯候选和天窗候选。框410中的高尺度的最佳拟合尺度中的候选用于生成隔离灯候选411b和天窗候选411a。框410中的低尺度的最佳拟合尺度的候选用于生成隔离灯候选411b。可以根据比率和大小检查滤除一些候选。
75.在框410中，可以存在从低和高最佳拟合尺度两者生成的复制的隔离灯候选。如果在低尺度中发现重复，则可以将来自高尺度的候选传递到下一步过程。否则，可以丢弃来自高尺度的隔离灯候选。在实施例中，所有天窗候选411a被传递到下一步过程。一些隔离灯候选411b可以与天窗候选411a重叠。
76.参考图3和9，在特征提取函数50中，由于天窗面板之间的间隙的变化，从特征候选生成和分类函数24生成的天窗候选411a可能不能很好地拟合天窗灯。天窗候选411a可以在框412中基于面积比递归地合并。图9示出了帧560，并且示出了在帧560a中合并之前和在帧560b中合并之后的天窗候选411a。
77.在一些实施例中，如果在执行阈值和创建边缘图像函数之前将长边界框553分割成两个或更多个边界框553，则对边缘图像的质量可能是有益的，如在授予美国科朗设备公司的第9,880,009号美国专利描述的，其全部内容通过引用并入上文。
78.由于相机的视角和光照条件的变化，长天窗候选地图两端的天窗面板在大小和亮度上可能会出现很大差异。然后，在合并之后，框410中的分割过程可以简单地将一些长的天窗候选411a分割成两部分，以增加天窗面板外观的一致性，如图9的框560c所示，其展示了分割结果。
79.参考图11和特征提取函数50，从框412生成的合并和分割的天窗候选413被传递到框414a的提取天窗处理以提取天窗角特征。作为实例而非限制，框414a的该提取天窗过程类似于授予美国科朗设备公司的第9,880,009号美国专利的过程天窗函数，其全部内容通过引用并入上文。
80.为了创建更鲁棒的图像，在提取天窗函数414a的创建边缘图像函数中引入多级阈值处理。例如，在计算边缘图像之前，输入的灰度图像候选可以被二值化为前景(吊灯)和背景。一些场所可能具有相对明亮的隔离灯和黑暗的天窗。自适应阈值可以仅拾取明亮的隔离灯而不拾取天窗。给定候选，如果第一次二值化之后的前景比低于某个值，则可以再次对背景(屏蔽前景)应用另一个二值化。可以递归地应用该二值化处理，直到所有前景区域的比率超过所定义的值。图11示出了两级阈值594的实例。
81.参考图3和10，以及滤波器框415，滤波器框415的滤波器隔离灯候选处理可以将从天窗特征提取426和隔离灯候选411b中提取的天窗特征角作为输入，并将滤波后的隔离灯候选报告为滤波后的候选419，以在框414b中提取隔离灯并生成隔离灯特征提取416。在实施例中，在框414c中提取有源目标以生成有源目标提取427，以输入到坐标系52a中，用于在下面更详细描述的后处理52中进行转换。
82.在实施例中，来自特征候选生成和分类的隔离灯候选411b可能是有噪声的。一些
天窗面板可能被报告为隔离灯候选411b。如果隔离灯候选411b与具有足够提取的天窗角特征的任何天窗候选411a重叠，则丢弃隔离灯候选411b(例如，在滤波器框415中)。在实施例中，图3的滤波器框415的滤波隔离灯候选处理可以将隔离灯候选411b作为输入，并将滤波后的隔离灯候选报告为滤波后的候选419，以在框414b中提取隔离灯并生成隔离灯特征提取416。
83.滤波器框415的这个过程可以滤除一些出现在天窗附近的真实的隔离灯候选。图10的帧590示出了滤波器框415的隔离灯滤波处理之前的前帧590a和隔离灯滤波处理之后的后帧590b。
84.然后可以在框414b的提取隔离灯函数中处理滤波后的隔离灯候选419，以报告隔离灯特征提取416。隔离灯特征提取416的隔离灯特征可以是输入候选的质心，如在授予美国科朗设备公司的第9,880,009号美国专利所描述的，其全部内容通过引用并入上文。
85.天窗特征提取426和隔离灯提取416都可以在裁剪和移位的图像帧中报告。如在授予美国科朗设备公司的第9,880,009号美国专利所描述的，其全部内容通过引用并入上文，框52a中的转换坐标系处理可以被配置成在向框54中的ebl报告之前将提取坐标转换回用于后处理函数52的原始图像坐标。
86.现在应当理解，本文描述的实施例可以利用光照不变特征检测在仓库中导航工业车辆。此外，本文描述的实施例可以在建筑物中具有特定用途，例如，在圆形光线稀少或主要由天窗和自然光明源照明的仓库。因此，可以利用本文描述的光照不变特征检测来提高仓库的环境效率。例如，在白天的光照时间，可以减少电力的使用，因为本文描述的工业车辆可以通过使用自然照明的天窗进行导航。此外，本文描述的实施例可以通过采用cfe算法10对照度度可变和/或包括至少部分受阻的视线照度影响亮度的位点，通过使用光照不变特征检测来增加ebl的鲁棒性，使得光照变化和/或受阻的情况得到了缓解。此外，ebl的鲁棒性增加可以降低使用工业车辆操作仓库的环境成本，即，可以减轻由定位误差引起的里程，这可以降低工业车辆消耗的功率和工业车辆的维护成本。
87.出于描述和限定本发明的目的，应当注意，本文中提及的本公开的主题的特征是参数、变量或其它特征的“函数”并不旨在表示该特征仅是所列出的参数、变量或特征的函数。相反，本文对作为所列参数、变量等的“函数”的特性的引用旨在是开放式的，使得该特性可以是单个参数、变量等的函数，也可以是多个参数、变量等的函数。
88.还应当注意，本文对“一个或多个”组件、元件等的引用不应用于推断冠词“一个(a)”或“一个(an)”的替代使用应限于单个组件、元件等。
89.应注意，本文中以特定方式引述本公开的组件为“配置”以体现特定属性，或以特定方式运作，为结构引述，与既定用途的引述相反。更具体来说，本文中提到其中组件为“配置”的方式表示组件的现有物理条件，且因此将被视为界定组件的结构特性的引述。
90.出于描述和限定本发明的目的，应当注意，术语“基本上”和“近似”在在本文中用于表示可归因于任何定量比较、值、测量或其它表示的固有不确定度。术语“基本上”和“近似”在本文中也用于表示定量表示可能与所述参考不同而不会导致所讨论主题的基本功能发生变化的程度。
91.已经详细地并且通过参考其具体实施例描述了本公开的主题，应注意，本文公开的各种细节不应被视为暗示这些细节与作为本文所描述的各个实施例的基本组件的元件
相关，即使在本说明书随附的附图中的每个附图中展示了特定元件的情况下也是如此。此外，显然在不脱离本公开的范围的情况下可进行修改和变化，包含但不限于所附权利要求中限定的实施例。更具体地说，尽管本公开的一些方面在本文中被识别为优选的或特别有利，但经考虑，本公开不必限于这些方面。
92.应注意，所附权利要求书中的一项或多项利用术语“其中”作为过渡短语。出于限定本发明的目的，应注意，此术语在权利要求书中引入为开放的过渡短语，其用于引入结构的一系列特性的引述且应以与更多常用开放的前导术语“包含”相同的方式解释。