针对传感器校准确定多自由度姿势的制作方法

1.本公开总体上涉及车辆传感器，并且更具体地涉及车辆传感器校准。


背景技术：

2.自主车辆可以基于传感器输入来执行受计算机控制的转向和速度控制。除了其他之外，车辆还可以使用gps数据来确定导航路径。在没有gps数据的情况下，由于缺少有关其周围环境的信息，车辆可能会停止自主操作。


技术实现要素：

3.公开了一种校准装置和一种计算附连到结构的相机的全局多自由度(mdf)姿势的方法。所述方法可以包括：经由校准装置的计算机确定相对于与结构相对应的全局坐标系的校准装置mdf姿势；从包括相机的图像系统接收相对于校准装置的相机mdf姿势，其中图像系统的计算机基于由相机捕获的图像确定相机mdf姿势，所述相机至少包括附连到校准装置的校准板；基于校准装置mdf姿势和相机mdf姿势来计算全局mdf姿势；以及将全局mdf姿势传输到图像系统，使得图像系统的计算机可以将全局mdf姿势用于校准目的。
4.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，所述方法还包括：接收导航到新航路点的命令。
5.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，其中相机是红-绿-蓝深度(rgbd)相机。
6.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，其中图像系统的计算机使用深度神经网络来确定相机mdf姿势，所述深度神经网络接收包括表示校准板的图像数据的输入图像。
7.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，其中深度神经网络是卷积神经网络(cnn)。
8.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，其中cnn的输入层接收图像，其中cnn的输出层产生mdf姿势。
9.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，其中校准板包括一个或多个格栅阵列。
10.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，其中一个或多个格栅阵列被布置为形成基准标记。
11.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，其中校准板包括光源，所述光源经由基准标记发射电磁辐射。
12.根据以上阐述的方法示例和/或根据以上阐述的任何其他示例，其中确定校准装置mdf姿势还包括基于至少一个传感器捕获的传感器数据来确定校准装置mdf姿势，其中传感器数据表示校准装置外部的环境。
13.根据至少一个另外的说明性示例，描述了一种校准装置。所述校准装置可以包括：
校准板；至少一个传感器，其被布置成捕获校准装置外部的环境数据；无线收发器；以及计算机，其通信地耦接到至少一个传感器和收发器，其中所述计算机包括一个或多个处理器和存储器，所述存储器存储可由一个或多个处理器执行以致使一个或多个处理器执行以下操作的指令：基于由至少一个传感器捕获的环境数据来确定相对于与结构相对应的全局坐标系统的校准装置mdf姿势；从包括相机的图像系统接收相对于校准装置的相机mdf姿势，其中图像系统的计算机基于由至少包括校准板的相机捕获的图像来确定相机mdf姿势；基于校准装置mdf姿势和相机mdf姿势来计算全局mdf姿势；以及将全局mdf姿势传输到图像系统，使得图像系统的计算机可以将全局mdf姿势用于校准目的。
14.根据以上阐述的至少一个示例，指令还致使一个或多个处理器接收导航到新航路点的命令。
15.根据以上阐述的至少一个示例，相机是红-绿-蓝-深度(rgbd)相机。
16.根据以上阐述的至少一个示例，图像系统的计算机使用深度神经网络来确定相机mdf姿势，所述深度神经网络接收包括表示校准板的图像数据的输入图像。
17.根据以上阐述的至少一个示例，深度神经网络是卷积神经网络(cnn)。
18.根据以上阐述的至少一个示例，其中cnn的输入层接收一个或多个图像，其中cnn的输出层产生mdf姿势。
19.根据以上阐述的至少一个示例，其中校准板包括一个或多个格栅阵列。
20.根据以上阐述的至少一个示例，其中一个或多个格栅阵列被布置为形成基准标记。
21.根据以上阐述的至少一个示例，其中校准板包括光源，所述光源经由基准标记发射电磁辐射。
22.根据以上阐述的至少一个示例，其中至少一个传感器包括激光雷达传感器。
23.根据至少一个示例，公开了一种计算机程序产品，所述计算机程序产品包括存储可由计算机处理器执行的指令的计算机可读介质，其中所述计算机程序产品的指令包括以上阐述的方法的示例的任何组合和/或可由如以上和本文阐述的一个或多个处理器执行的指令的任何组合。
24.一些结构可以包括多个边缘装置或图像系统，所述多个边缘装置或图像系统可以用于辅助横越结构的车辆内的计算机视觉算法。通常，边缘装置计算车辆的多自由度(mdf)姿势，并使用计算出的mdf姿势来确定特定对象是否可能在车辆的路径内。在部署的环境内，相机可能需要校准。然而，手动校准可能需要大量的技术工人时间和结构停机时间。
附图说明
25.图1是包括用于辅助车辆导航的成像系统的结构的示意图。
26.图2是图1的成像系统的示例性部件的示意图，所述部件包括：多个电子深度相机；至少一个计算机，其从多个电子深度相机接收相机数据并使用相机数据来确定车辆的导航数据；以及无线收发器，其用于在车辆与计算机之间进行通信。
27.图3是示出用于确定车辆或装置的多自由度(mdf)姿势的深度神经网络的示例的示意图。
28.图4是示出根据本公开的示例性实现方式的示例性校准装置的示意图。
29.图5a至图6b示出了图4的校准装置的各种实现方式的示例图。
30.图7是示出图1的成像系统的视野内的校准装置的示例性环境图。
31.图8是示出确定成像系统的相机的全局姿势mdf的流程图。
具体实施方式
32.本公开描述了一种可以用于横越结构的校准装置。校准装置可以基于结构来确定相对于全局坐标系的校准装置的mdf姿势。校准装置还可以基于提供给校准装置的确定的mdf相机姿势来计算相机的全局mdf姿势。全局mdf姿势可以被相机用于校准目的。
33.现在转向附图，其中相同的附图标记指示相同或相似的特征和/或功能，图1中示出了用于引导车辆12的图像系统10。图像系统10耦接到结构14(例如，诸如停车场)，并且包括多个电子深度相机16a、16b、16c、处理来自相机16a、16b、16c的数据的至少一个计算机20，以及用于与车辆12通信的至少一个无线收发器22。
34.与每个相机16a、16b、16c相对应的相应光轴(za、zb、zc)法向于地面(或地球)24(或相对于其垂直)(例如，在图1中，同样地，每个光轴(za、zb、zc)并且也法向于结构14的地板26。当基于卫星的定位信号太弱而无法被车辆导航装备成功使用(例如，在一些停车场内)时，例如在这些情况下，可用的定位数据(通常由车辆的计算系统确定)可能不足以导航车辆12，图像系统10可能会有用。因此，图像系统10可以代表车辆12确定合适的定位数据。如下所说明的，相机16a可以捕获包括车辆12的至少一部分的一个或多个图像，并且计算机20(使用深度神经网络)可以确定车辆12的多自由度(mdf)姿势，例如，通常，这是六自由度(6dof)姿势；但是，此数量不是必需的。使用图像和该mdf姿势信息，计算机20可以确定车辆在结构中相对于其中的障碍物(例如，诸如其他车辆、结构14中的柱28等)的位置以及指示车辆12进行导航所用的航路点数据。计算机20可以经由无线收发器22向车辆12发送导航命令，并且车辆12可以根据命令在结构14内移动。可以在相机16a的整个视野(fov)中重复该过程。并且当车辆12进入相机16b的fov时，可能会发生交接，并且可以使用相机16b和计算机20执行相似的过程，从而使车辆12能够继续导航通过结构14的另一个区域。
35.图4所示并且在下文更详细地描述的校准装置400可以用于校准图像系统10。校准装置400可以是可以在整个结构14中转变的便携式装置。当校准装置400在整个结构14环境中转变时，校准装置400可以与每个图像系统10建立通信以执行校准。
36.转到图1，所示车辆12是乘用车辆；然而，这仅是一个示例。车辆12替代地可以是卡车、运动型多用途车(suv)、休闲车、公共汽车，或包括自主驾驶计算机的任何其他合适的车辆。例如，汽车工程师协会(sae)(其已经将操作定义为0-5级)。更具体地，车辆12可以包括一个或多个计算机(未示出)，所述一个或多个计算机被配置为存储和执行以硬件、软件、固件、它们的组合等来体现的逻辑指令或指令集，从而使得车辆12能够在有一些用户辅助(部分自主)或没有任何用户辅助(完全自主)的情况下进行操作。例如，在0-2级，人类驾驶员监视或控制大部分驾驶任务，通常没有来自车辆12的帮助。例如，在0级(“无自动化”)，人类驾驶员负责所有车辆操作。在1级(“驾驶员辅助”)，车辆12有时辅助转向、加速或制动，但驾驶员仍然负责绝大部分车辆控制。在2级(“部分自动化”)，车辆12可以在某些情况下控制转向、加速和制动，而无需人的交互。在3-5级，车辆12承担更多驾驶相关的任务。在3级(“条件性自动化”)，车辆12可以在某些情况下处置转向、加速和制动，以及监视驾驶环境。然而，3
级可能需要驾驶员偶尔进行干预。在4级(“高度自动化”)，车辆12可以处置与3级相同的任务，但不依赖于驾驶员干预某些驾驶模式。在5级(“完全自动化”)，车辆12可以在没有任何驾驶员干预的情况下处置所有任务。在至少一个示例中，车辆12的转向控制模式包括车辆12在sae 5级下的操作(在完全自主模式下的操作)，例如，至少在结构14内。
37.结构14被示出为具有天花板30、地板26和相对于地板26支撑天花板30的多个柱28的停车场。地板26和天花板30相对于地面24可以水平的或可以不是水平的，并且可以彼此平行或可以不平行。一般来说，结构14的至少一些区域可能没有有用的基于卫星的定位信号(即，不存在基于卫星的定位信号，或者替代地存在卫星定位信号但是较弱)。弱可以定义为衰减的且小于阈值；例如，阈值可以低于车辆导航装备可用的预定值。根据示例，基于卫星的定位信号可以是来自使用全球定位系统(gps)、全球卫星导航系统(glonass)等的卫星的无线信号。
38.根据一个示例，电子深度相机16a、16b、16c中的每一个可以是相似或相同的。因此，将仅详细描述一个相机(16a)。应理解，可以使用任何数量的电子深度相机(仅作为示例示出了三个)。
39.电子深度相机16a可以是能够接收深度数据(即，相机16a与相机16a的视野内的对象的表面之间的范围内)的任何合适的电子相机。电子深度相机16a的一个非限制性示例是诸如图2所示的红-绿-蓝-深度(rgbd)相机。例如，相机16a可以包括：壳体40，其可耦接地固定到结构14的天花板30；由壳体40承载的光学总成42，其中光轴za是光学总成42的光轴；一个或多个红外(ir)发射器44(出于说明目的，仅示出一个)；以及一个或多个红外(ir)深度传感器46(出于说明目的，仅示出一个)。例如，光学总成42可以包括光敏阵列48和在壳体40内并沿着光轴za对准的一个或多个透镜(未示出)。在操作中，相机16a确定一个或多个图像(例如，图像帧)，并且每个图像帧包括与图像帧内的对象相对应的颜色信息和深度信息。例如，在同时使用ir发射器44和ir深度传感器46来确定深度图像数据的同时，光敏阵列48可以接收颜色图像数据；并且最终，相机16a的处理器(未示出)将颜色图像数据和深度图像数据两者都关联到提供给计算机20的图像中(如下所述)。rgbd相机的两个非限制性商业示例为orbbec的astra s 3d相机和intel的realsense d435；存在其他示例。在图像系统10的一些实现方式中，期望rgbd相机，因为rgbd相机通常具有在2到5米之间的前焦距(ffd)(例如，与通常具有数百米的ffd的激光雷达系统不同)。此外，rgbd相机的成本可能大大低于激光雷达系统。
40.相机16a、16b和16c中的每一个可以安装到天花板30或结构14的其他特征，使得相应的光轴za、zb、zc相对于地面24是垂直的。根据一个示例，相机16a、16b、16c可以彼此间隔开，以便最小化它们相应的fov的重叠。根据图1所示的示例，当车辆12在相机16a的fov内居中时，车辆12不在相机16b和16c的fov内，并且相机16a可以确定六自由度姿势检测。根据另一个示例，重叠没有被最小化。例如，相应fov的重叠可以多达车辆12的长度(例如，其中在车辆12的高度处完全覆盖车辆12)。也存在其他重叠示例。多个相机16a-16c可以电耦接到计算机20(例如，至少通信地耦接)。
41.计算机20可以包括一个或多个处理器50(出于说明目的，图中仅示出一个处理器)、存储器52和多个指令54(仅作为示例，软件代码)，所述指令存储在存储器52上并且可由处理器50执行。处理器50可以被编程为处理和/或执行数字指令以执行本文所述的任务
中的至少一些。处理器50的非限制性示例包括微处理器、微控制器或控制器中的一者或多者、专用集成电路(asic)、现场可编程门阵列(fpga)、包括被布置为执行预定任务或指令的离散数字和/或模拟电子部件的一个或多个电路等，仅举几个例子。在至少一个示例中，处理器50从存储器52读取并执行多个指令集(例如，包括指令54)，所述指令集可以体现为存储在非暂时性计算机可读存储介质(例如，诸如存储器52)上的计算机程序产品。下文将在使用流程图示出并在本文其他地方描述的过程中描述指令54的非限制性示例，其中除非另有说明，否则这些和其他指令可以按任何合适的顺序执行。所述指令和下文描述的示例性过程仅仅是实施例，而不意在进行限制。
42.存储器52可以包括任何非暂时性计算机可用或可读介质，所述任何非暂时性计算机可用或可读介质可以包括一个或多个存储装置或存储物品。示例性非暂时性计算机可用存储装置包括常规硬盘、固态存储器、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)以及任何其他易失性或非易失性介质。非易失性介质包括例如光盘或磁盘以及其他持久性存储器，而易失性介质例如还可以包括动态随机存取存储器(dram)。这些存储装置是非限制性示例；例如，其他形式的计算机可读介质也是存在的并且包括磁性介质、压缩光盘rom(cd-rom)、数字视频盘(dvd)、其他光学介质、任何合适的存储器芯片或盒式磁带，或者计算机可从中读取的任何其他介质。如上所讨论的，存储器52可以存储一个或多个指令集(例如，诸如指令54)，所述指令集可以体现为软件、固件或可由处理器50执行的其他编程指令，包括但不限于本文所阐述的指令示例。在操作中，处理器50可以从存储器52读取数据和/或向存储器52写入数据。
43.指令54(存储在存储器52中并且可由处理器50执行)可以包括用于执行本文描述的方法的任何合适的指令集。如下文更全面地描述的，指令54可以包括至少一个深度神经网络58(在图3中示出示例)，所述深度神经网络从一个或多个图像确定车辆12的多自由度(mdf)姿势。然后，处理器50可以执行其他指令54。例如，使用mdf姿势，处理器50可以确定车辆12在路线32上(或到与路线32的偏离上)的二维(2d)投影。此外，处理器50可以：通过评估车辆12相对于此类对象的间隔以及车辆12相对于此类对象的航向(或其投影)来确定车辆12对结构14(柱28、墙壁、其他特征)内的对象的潜在干扰；确定遵循路线32(或从所述路线偏离)的路径，以避免发生碰撞；确定沿着所述路径的另一个航路点，以避免车辆与其他对象发生碰撞；并且使用无线收发器22向车辆12传达命令以移动到确定的航路点。
44.无线收发器22可以包括无线芯片组和匹配的天线，所述无线芯片组和匹配的天线使用诸如蓝牙、蓝牙低功耗(ble)、wi-fi、wi-fi direct等协议来促进短距离无线通信链路。此外，无线收发器22可以固定到结构14，并通信地耦接到计算机20。以这种方式，无线收发器22可能能够接收来自车辆12的请求，并将其传递给计算机20和/或接收来自计算机20的命令，并将所述命令传达给车辆12。
45.尽管未示出，但是图像系统10可以包括多个无线收发器22。例如，一个或多个无线收发器22可以分别通信地耦接到本地计算机20。无线收发器22的间隔可以基于结构14的预定区域内的信号强度和/或其他因素。
46.在至少一个示例中，图像系统10还可以包括与计算机20通信的基于卫星的定位接收器70(图2)。以此方式，使用接收器70，计算机20可以确定基于卫星的定位信号是不合适
的(例如，衰减过多)还是完全不存在。系统10的这个方面是可选的。
47.深度神经网络58(参见图3)可以是卷积神经网络(cnn)，其适于基于捕获的颜色图像数据和捕获的深度图像数据(例如，作为到cnn的输入)来对车辆姿势进行分类。根据一个非限制性示例，深度神经网络58可以包括卷积层60、池化层62和展平层64。卷积层60可以接收图像帧并使用内核或滤波器对图像帧进行卷积，例如，从而产生多个卷积特征。此后，池化层62可以减小卷积特征的空间大小。通常(尽管不是必需的)，可能存在卷积的多次迭代，之后是池化。此后，展平层64可以将池化输出转换为合适的列矢量以输入到神经网络，其中发生分类(例如，使用至少一个预定神经网络函数，例如，诸如softmax)，本示例中的分类与mdf姿势有关。也可以采用其他方面和卷积技术。在一个或多个实现方式中，深度神经网络58可以基于附连到校准装置的基准标记来确定校准装置的mdf姿势，本文中对其进行更详细描述。例如，深度神经网络58接收包括基准标记的图像作为输入。基于基准标记的取向，深度神经网络58可以产生捕获输入图像的相机相对于基准标记的mdf姿势。
48.尽管未示出，但是图像系统10可以包括多个计算机20。例如，此类计算机20可以联网在一起，因此可以根据需要平衡和分配计算任务。
49.图4示出了根据示例性实现方式的示例性校准装置400。如图所示，校准装置400包括电源402、激光雷达传感器404和计算机406。校准装置400的部件还包括壳体401，所述壳体容纳(例如包含)校准装置400的各种部件。在一个或多个实现方式中，壳体401可以包括纤维复合结构、空间框架结构等。
50.电源402向校准装置400的各个部件供电。例如，电源402可以向激光雷达传感器404、计算机406以及本文所述的校准装置400的其他部件供电。在各个实现方式中，电源402包括电池，诸如可再充电锂离子电池。尽管未示出，但是应理解，校准装置400可以包括一个或多个电压调节器和一个或多个dc-dc转换电路，诸如升压电路、降压电路或升压/降压电路，以转换电源402所供应的功率。
51.计算机406可以包括一个或多个处理器408(出于说明目的，在图中仅示出一个处理器)、存储器410和多个指令412(仅作为示例，软件代码)，所述指令存储在存储器410上并且可由处理器408执行。处理器408可以被编程为处理和/或执行数字指令以执行本文所述的任务中的至少一些。处理器408的非限制性示例包括微处理器、微控制器或控制器中的一者或多者、专用集成电路(asic)、现场可编程门阵列(fpga)、包括被布置为执行预定任务或指令的离散数字和/或模拟电子部件的一个或多个电路等，仅举几个例子。在至少一个示例中，处理器408从存储器410读取并执行多个指令集(例如，包括指令412)，所述指令集可以体现为存储在非暂时性计算机可读存储介质(例如，诸如存储器410)上的计算机程序产品。下文将在使用流程图示出并在本文其他地方描述的过程中描述指令412的非限制性示例，其中除非另有说明，否则这些和其他指令可以按任何合适的顺序执行。所述指令和下文描述的示例性过程仅仅是实施例，而不意在进行限制。
52.存储器410可以包括任何非暂时性计算机可用或可读介质，所述任何非暂时性计算机可用或可读介质可以包括一个或多个存储装置或存储物品。示例性非暂时性计算机可用存储装置包括常规硬盘、固态存储器、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)以及任何其他易失性或非易失性介质。非易失性介质包括例如光盘或磁盘以及其他持久性存储器，而易失性介质
例如还可以包括动态随机存取存储器(dram)。这些存储装置是非限制性示例；例如，其他形式的计算机可读介质也是存在的并且包括磁性介质、压缩光盘rom(cd-rom)、数字视频盘(dvd)、其他光学介质、任何合适的存储器芯片或盒式磁带，或者计算机可从中读取的任何其他介质。如上所讨论的，存储器410可以存储一个或多个指令集(例如，诸如指令412)，所述指令集可以体现为软件、固件或可由处理器408执行的其他编程指令，包括但不限于本文所阐述的指令示例。在操作中，处理器408可以从存储器410读取数据和/或向存储器410写入数据。指令412(存储在存储器410中并且可由处理器408执行)可以包括用于执行本文描述的方法的任何合适的指令集。
53.计算机402可以与固定在校准装置400内的无线收发器414通信。无线收发器414可以包括无线芯片组和匹配的天线，所述无线芯片组和匹配的天线使用诸如蓝牙、蓝牙低功耗(ble)、wi-fi、wi-fi direct等协议来促进短距离无线通信链路。无线收发器414可以允许计算机402与图像系统10通信。例如，计算机402和图像系统10可以出于校准目的而彼此通信。
54.校准装置400还包括校准板416。校准板416可以在壳体401的外部，或者包括壳体401的包封部分。校准板416可以被取向成使得成像装置10可以对表示校准板416的数据进行成像。例如，校准板416可以被取向成使得校准板416与壳体401的朝向结构14的地面例如地板取向的表面相对。
55.校准板416可以包括光源418和一个或多个平面栅格阵列420。光源418可以产生电磁辐射，例如光。例如，光源418产生漫射光。光源418可以包括一个或多个发光二极管(led)、白炽灯、荧光灯等，或它们的某种组合，并且可以与光漫射器组合使用。光源418可以根据显示图案产生光。使用控制光源418的光产生的一个或多个指令来产生显示图案。在一些实现方式中，指令控制例如产生光的开始时间、产生光的停止时间、产生的光的强度、与产生光有关的其他参数或其某种组合。指令可以由操作员设置。指令可以作为指令412存储在存储器414中。
56.一个或多个平面格栅阵列420可以包括呈格栅状图案的多个基准标记。在一些实施例中，基准标记是特定大小的小孔，使得如果背光照明，则基准标记表现为小光源。每个基准标记对应于由经历光学校准的图像系统10成像的可观察区域中的特定位置。
57.通常，平面格栅420包括多个基准标记。例如，平面格栅可以包括m x n个基准标记的阵列，其中m和n是大于或等于1的整数。此外，在一些实施例中，基准标记可能不存在或可能具有不同的大小以指示平面栅格420上的特定位置。平面栅格420可以被定位成使得其被光源418产生的漫射光均匀地背光照明。在光学校准期间，背光平面栅格420提供相对较高的对比度，使得图像系统10的相机可以出于mdf姿势计算目的捕获包括表示背光平面栅格420的图像数据的图像。
58.在一些实现方式中，校准装置400可以包括红-绿-蓝深(rgbd)相机422。rgbd相机422可以捕获深度图像数据和/或颜色图像数据。壳体401可以包括限定在壳体401的主体内的一个或多个孔口。rgbd相机422的相机透镜可以以一个或多个孔口取向，使得相机透镜可以捕获表示校准装置400外部的环境的图像数据。
59.如下文关于图6a和图6b所描述的，校准装置400还可以包括可以使激光雷达传感器404旋转的马达424。在示例性实现方式中，马达424可以包括定子、转子和附连到转子的
轴。定子可以驱动转子，转子驱动轴，以达到旋转目的。轴的另一侧可以附连到激光雷达传感器404，使得马达424可以使激光雷达传感器404围绕轴线旋转。例如，马达424可以致使激光雷达传感器404围绕旋转轴线旋转三百六十度(360
°
)。马达424可以从计算机406接收操作命令。
60.图5a和图5b示出了校准装置400的示例性实现方式。如图所示，校准装置400包括壳体401、激光雷达传感器404、校准板416和rgbd相机422。校准装置400还可以包括电源接口502。电源接口502可以是可以被致动以转变校准装置400的电源状态的按钮、开关等。例如，操作员可以致动电源接口502以致使校准装置400在通电状态和非通电状态之间转变。
61.图6a和图6b示出了校准装置400的示例性实现方式。如图所示，校准装置400包括壳体401、激光雷达传感器404(其包括旋转的激光雷达传感器602)、校准板416和rgbd相机422。校准装置400还可以包括电源接口502。电源接口502可以是可以被致动以转变校准装置400的电源状态的按钮、开关等。例如，操作员可以致动电源接口502以致使校准装置400在通电状态和非通电状态之间转变。如上所讨论的，旋转的激光雷达传感器602可以围绕旋转轴线旋转三百六十度(360
°
)。如图所示，旋转的激光雷达传感器602的一侧可以经由基座604附连到壳体401。校准板416可以经由基座606附连到旋转的激光雷达传感器602的另一侧。在一些示例性实现方式中，基座604、606相对于旋转的激光雷达传感器602是固定的。基座604、606可以由合适的材料构造，诸如用于构造壳体401的材料。
62.图7示出了示例性环境，其中校准装置400位于结构14内。如图所示，图像系统10可以附连到结构14并且取向成当校准装置400进入相机16的视野(fov)时捕获表示校准装置400的图像数据。校准装置400可以沿着地板26行进。在一些实现方式中，校准装置400可以附接到自动车辆，例如机器人，以允许校准装置400横越结构14。在其他实现方式中，一个或多个操作员在横越穿过结构14时处置例如携带校准装置400。
63.最初，校准装置400执行同时定位和映射(slam)程序以产生结构14的映射图。例如，计算机406可以使用slam程序来基于激光雷达传感器404和/或rgbd相机422接收的数据，产生结构14的映射图。校准装置400可以使用任何合适的slam程序来产生结构14的映射图。例如，slam程序可以包括扩展卡尔曼滤波器(ekf)slam、稀疏扩展信息滤波器(seif)slam或无迹卡尔曼滤波器(ukf)slam。
64.在映射图产生过程中，校准装置400还可以在环境中定位其自身。在定位程序期间，计算机402可以将估计的定位位置与对应于结构14的全局坐标系(参见图7)进行比较。全局坐标系可以是预定的并且基于结构14的布局。全局坐标系是校准装置400和图像系统10是共有的。
65.在已经使用一个或多个slam程序产生结构14的映射图之后，校准装置400可以利用定位程序来横越结构14和/或确定校准装置14的姿势估计。姿势估计可以包括相对于结构14的全局坐标系的校准装置400的mdf姿势。例如，使用定位程序，计算机406确定相对于结构14的全局坐标系的校准装置400的mdf姿势。如上所讨论的，mdf姿势可以包括六(6)个分量，包括x分量(x)、y分量(y)、z分量(z)、俯仰分量(θ)、侧倾分量(φ)和横摆分量(ψ)，其中x分量、y分量和z分量是根据笛卡尔坐标系(包括x轴、y轴和z轴)的平移，并且侧倾、俯仰和横摆分量是分别围绕x轴、y轴和z轴的旋转。校准装置400的相对于全局坐标系的mdf姿势在图7中被称为tc。
66.当校准装置400进入图像系统10的fov时，图像系统10可以经由计算机20确定图像系统10相对于校准装置400的mdf姿势。例如，相机16可以捕获包括车辆12的至少一部分的一个或多个图像。一个或多个图像可以包括相机图像数据和/或与相机图像数据中的特征相对应的深度图像数据。在示例性实现方式中，计算机20基于相机图像数据确定mdf姿势。相机图像数据包括表示平面栅格阵列420的数据，使得计算机20可以计算相机16相对于校准装置400的mdf姿势，其在图7中表示为t
1-1
。一旦计算机20确定相机16的mdf姿势，计算机20就将相机16的mdf姿势转变到校准装置400。在各种实现方式中，传输的数据是时间同步的，使得计算机406可以确定校准装置400的对应的mdf姿势数据。另外或替代地，传输的数据包括唯一标识符，所述唯一标识符用于识别部署在环境内的每个相机16。
67.使用校准装置400的mdf姿势和相机16相对于校准装置400的相应mdf姿势，计算机406确定相机16的全局mdf姿势。相机16(例如，图像系统10)的全局mdf姿势是相对于与结构14相对应的全局坐标系的mdf姿势。计算机406通过将校准装置400的mdf姿势数据和相机16的mdf姿势数据联系起来确定全局mdf姿势，其在图7中表示为t
dg
。例如，通过使用表示校准装置400的mdf姿势数据和相机16的mdf姿势数据的矩阵值执行矩阵乘法来计算全局mdf姿势。
68.例如，方程式1中示出了获得t
dg
的计算：
[0069][0070]
应理解，过程可以扩展到附连到结构14的每个相机。一旦计算出相机16的全局mdf姿势，计算机406就致使全局mdf姿势数据传输到相机16。计算机20可以将全局mdf姿势数据用于相机16的校准目的。在一些实现方式中，计算机20可以从图像系统10经由无线收发器414接收将校准装置400移动到确定的航路点的命令。所确定的航路点可以基于图像系统10确定对象在校准装置400的投影路径中。例如，计算机20可以基于对象确定新的航路点，使得校准装置400避开对象。
[0071]
现在转到图8，示出了流程图，所述流程图示出了确定图像系统10的诸如相机16之类的相机的全局mdf姿势的示例性过程800。过程800包括可由计算机406执行(例如，可由存储在存储器410中的一个或多个处理器408执行)的软件指令。软件指令的非限制性示例在图中被示出为指令框。应理解，尽管不一定在过程800中明确解释，但是也可以执行其他软件指令。在一些情况下，过程800可以包括不由计算机406执行而是由其他对象、装置、其他计算机等执行的步骤。
[0072]
过程800可以在框805处开始，在框805中，确定是否已经产生了表示结构14的映射图。例如，计算机406可以使用slam程序来确定结构14是否先前已经被映射。如果结构14先前还未被映射，则计算机406在框810处初始化slam程序。否则，在框815处，计算机406初始化定位程序，使得计算机406可以确定校准装置400相对于与结构14相对应的全局坐标系的mdf姿势。在框820处，基于在框810或框815中初始化的定位程序来确定校准装置400的mdf姿势。
[0073]
在框825处，确定是否已经接收到用于图像系统10(例如，相机16)的mdf姿势数据。如果尚未接收到用于图像系统10的mdf姿势数据，则过程800返回到框825。否则，在框830处，计算机406使用于图像系统10的mdf姿势数据与用于校准装置400的对应mdf姿势数据同步或匹配。在一个或多个实现方式中，计算机406基于时间戳数据来同步mdf姿势数据。
[0074]
在框835处，计算用于图像系统10的全局mdf姿势数据。如上所讨论的，通过使用表示校准装置400的mdf姿势数据和相机16的mdf姿势数据的矩阵值执行矩阵乘法来计算全局mdf姿势。在框840处，全局mdf姿势数据传输到图像系统10。例如，计算机406可以将全局mdf姿势数据提供给无线收发器414，使得无线收发器414可以将全局mdf姿势数据传输到图像系统10的无线收发器22。计算机20可以将全局mdf姿势数据用于相机16的校准目的。
[0075]
在一些实现方式中，过程800还可以包括：在框845处，确定是否已经接收到将校准装置400移动到另一航路点的命令。如果已经接收到命令，则在框850处更改校准装置400的移动(例如，航线)，使得校准装置400开始移动到确定的航路点。否则，过程800返回到框845。
[0076]
一般来说，所描述的计算系统和/或装置可以采用多个计算机操作系统中的任一个，包括但绝不限于以下版本和/或变型：applink/smart device link中间件、microsoft操作系统、unix操作系统(例如，由加州红木海岸的oracle corporation发布的操作系统)、由纽约阿蒙克市的international business machines发布的aix unix操作系统、linux操作系统、由加州库比蒂诺的apple inc.发布的mac osx和ios操作系统、由加拿大滑铁卢的blackberry,ltd.发布的blackberry os以及由google,inc.开发的android操作系统。
[0077]
计算装置通常包括计算机可执行指令，其中所述指令可以由诸如以上列出的那些的一个或多个计算装置执行。计算机可执行指令可以由使用多种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于java
tm
、c、c 、visual basic、java script、perl、python等。这些应用中的一些应用可以在计算机器(诸如所谓的java虚拟机、所谓的dalvik虚拟机等)上编译和执行。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，从而执行一个或多个过程，包括本文描述的过程中的一者或多者。此类指令和其他数据可以使用多种计算机可读介质来存储和传输。
[0078]
计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(dram)。此类指令可以通过一种或多种传输介质来传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成耦接到计算机的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、ram、prom、eprom、flash-eeprom、任何其他存储器芯片或盒式磁带、或者计算机可从其读取的任何其他介质。
[0079]
在本文中描述了数据库、数据存储库或其他数据存储装置的情况下，这些可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、数据库管理系统(dbms)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可以从计算机操作系统访
问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(例如上述pl/sql语言)之外，dbms还通常采用结构化查询语言(sql)。
[0080]
在一些示例中，系统元件可以被实施为一个或多个计算装置(例如，可穿戴装置、服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所描述功能的此类指令。
[0081]
处理器经由电路、芯片或其他电子部件来实施，并且可以包括一个或多个微控制器、一个或多个现场可编程门阵列(fpga)、一个或多个专用电路(asic)、一个或多个数字信号处理器(dsp)、一个或多个客户集成电路等。处理器可以被编程来处理传感器数据。
[0082]
存储器(或数据存储装置)经由电路、芯片或其他电子部件来实施，并且可以包括以下各者中的一者或多者：只读存储器(rom)；随机存取存储器(ram)；快闪存储器；电可编程存储器(eprom)；电可擦除可编程存储器(eeprom)；嵌入式多媒体卡(emmc)；硬盘驱动器；或任何易失性或非易失性介质等。存储器可以存储从传感器收集的数据。
[0083]
已经以说明性方式描述了本公开，并且应理解，已经使用的术语意图具有描述性词语而非限制性词语的性质。鉴于以上教导，本公开的许多修改和变化是可能的，并且本公开可以以不同于具体描述的其他方式来实践。
[0084]
根据本发明，一种计算附连到结构的相机的全局多自由度(mdf)姿势的方法包括：经由校准装置的计算机确定相对于与结构相对应的全局坐标系的校准装置mdf姿势；从包括相机的图像系统接收相对于校准装置的相机mdf姿势，其中图像系统的计算机基于由相机捕获的图像确定相机mdf姿势，所述相机至少包括附连到校准装置的校准板；基于校准装置mdf姿势和相机mdf姿势来计算全局mdf姿势；以及将全局mdf姿势传输到图像系统，使得图像系统的计算机可以将全局mdf姿势用于校准目的。
[0085]
根据一个实施例，本发明的特征还在于接收导航到新航路点的命令。
[0086]
根据一个实施例，相机是红-绿-蓝深度(rgbd)相机。
[0087]
根据一个实施例，图像系统的计算机使用深度神经网络来确定相机mdf姿势，所述深度神经网络接收包括表示校准板的图像数据的输入图像。
[0088]
根据一个实施例，深度神经网络是卷积神经网络(cnn)。
[0089]
根据一个实施例，cnn的输入层接收图像，其中cnn的输出层产生mdf姿势。
[0090]
根据一个实施例，校准板包括一个或多个栅格阵列。
[0091]
根据一个实施例，一个或多个格栅阵列被布置为形成基准标记。
[0092]
根据一个实施例，校准板包括光源，所述光源经由基准标记发射电磁辐射。
[0093]
根据一个实施例，确定校准装置mdf姿势还包括基于至少一个传感器捕获的传感器数据来确定校准装置mdf姿势，其中传感器数据表示校准装置外部的环境。
[0094]
根据本发明，提供了一种校准装置，其具有：校准板；至少一个传感器，其被布置成捕获校准装置外部的环境数据；无线收发器；以及计算机，其通信地耦接到至少一个传感器和收发器，其中所述计算机包括一个或多个处理器和存储器，所述存储器存储可由一个或多个处理器执行以致使一个或多个处理器执行以下操作的指令：基于由至少一个传感器捕获的环境数据来确定相对于与结构相对应的全局坐标系统的校准装置多自由度(mdf)姿势；从包括相机的图像系统接收相对于校准装置的相机mdf姿势，其中图像系统的计算机基
于由至少包括校准板的相机捕获的图像来确定相机mdf姿势；基于校准装置mdf姿势和相机mdf姿势来计算全局mdf姿势；以及将全局mdf姿势传输到图像系统，使得图像系统的计算机可以将全局mdf姿势用于校准目的。
[0095]
根据一个实施例，指令还致使一个或多个处理器接收导航到新航路点的命令。
[0096]
根据一个实施例，相机是红-绿-蓝深度(rgbd)相机。
[0097]
根据一个实施例，图像系统的计算机使用深度神经网络来确定相机mdf姿势，所述深度神经网络接收包括表示校准板的图像数据的输入图像。
[0098]
根据一个实施例，深度神经网络是卷积神经网络(cnn)。
[0099]
根据一个实施例，cnn的输入层接收一个或多个图像，其中cnn的输出层产生mdf姿势。
[0100]
根据一个实施例，校准板包括一个或多个栅格阵列。
[0101]
根据一个实施例，一个或多个格栅阵列被布置为形成基准标记。
[0102]
根据一个实施例，校准板包括光源，所述光源经由基准标记发射电磁辐射。
[0103]
根据一个实施例，至少一个传感器包括激光雷达传感器。