用于静止系统的基于安全相机的惯性测量单元校准的制作方法

用于静止系统的基于安全相机的惯性测量单元校准


背景技术：

1.交通工具引导系统通常依赖于用于确定交通工具取向或移动的惯性测量单元(imu)技术。imu的仔细定位确保正确的可操作性。原始设备制造商(oem)可以指定imu安装精度在交通工具主体坐标系的半度以内，这允许imu数据与交通工具的功能兼容。现有制造技术(例如，焊接)在被应用于在印刷电路板(pcb)上安装imu时具有共面性限制。交通工具imu安装中的微小安装误差可以招致imu数据中的显著误差，这可能会影响交通工具性能(包括导致不舒适或不安全的操纵)。


技术实现要素：

2.本文档描述了用于静止系统(包括交通工具)的基于安全相机的imu校准的技术和系统。现有交通工具相机系统被采用，具有增强的安全性以防止黑客试图并导致交通工具进入imu校准模式的恶意尝试。当校准系统确定交通工具被停放在受控环境中时，imu校准发生；校准目标被定位在到交通工具相机的不同视角处，以充当经编码的数据的光学图案的源。图案的特征是为了安全性以及为了对准功能。校准目标的图像可以推断交通工具坐标系，从该交通工具坐标系中执行针对imu安装误差补偿的计算。imu和交通工具坐标系之间的相对旋转被应用于imu数据，以补偿交通工具和imu之间的相对旋转，从而改善交通工具坡度和倾斜度量。
3.在一个示例中，方法包括：从静止交通工具的第一相机接收在第一相机的第一相机视场内的第一校准目标的图像，以及从静止交通工具的第二相机接收在第二相机的第二相机视场内的第二校准目标的图像。第二相机视场与第一相机视场相对。方法进一步包括：基于在第一校准目标的图像中编码的数据和在第二校准目标的图像中编码的数据，确定第一校准目标和第二校准目标对于校准静止交通工具的惯性测量单元(imu)是否是有效的；以及响应于确定第一校准目标和第二校准目标对于校准imu是有效的，基于第一校准目标的图像和第二校准目标的图像，建立相对于交通工具外部的地面真值(ground-truth)条件的交通工具坐标系。方法进一步包括：输出信息，以使得静止交通工具能够通过校准imu以将从imu输出的imu数据与交通工具坐标系对准，来补偿交通工具中的imu安装误差。
4.可以由硬件或者硬件和在其上执行的软件的组合来执行这些和其他描述的技术。例如，计算机可读存储介质(crm)可以具有存储在其上的指令，并且当该指令被执行时将处理器配置成用于执行所描述的技术。系统可以包括用于执行所描述技术的装置。处理器或处理器单元可以是被配置成用于执行本文所描述的方法和技术的系统的一部分。
5.通过由本公开构想的这些和其他示例的实现，可以实现安全和准确的imu校准，以消除例如，在交通工具(例如，卡车、汽车)中的imu安装不规则性，如根据具体实施方式和附图进一步解释清楚的。本发明内容介绍了用于静止系统的基于安全相机的imu校准。本发明内容并非旨在标识出要求保护的主题的必要特征，也并非旨在用于确定要求保护的主题的范围。
附图说明
6.本文档中参考附图描述了用于静止系统的基于安全相机的imu校准的细节，附图可以使用相同数字来引用类似特征和部件，以及使用连字符编号来指定这些类似特征和部件的变化。附图组织如下：图1示出了用于静止系统的基于安全相机的imu校准的示例环境的概念图；图2示出了被配置成用于执行用于静止系统的基于安全相机的imu校准的校准单元的概念图；图3示出了被配置成用于执行用于静止系统的基于安全相机的imu校准的校准部件的概念图；以及图4示出了用于执行用于静止系统的基于安全相机的imu校准的示例过程的流程图。
具体实施方式
7.imu数据可以用于启用一些交通工具功能。imu位置安装被规定具有很高的精度，以确保与交通工具坐标系对准。准确的imu数据对于实现安全的自主和半自主驾驶，以及提供可靠的主动安全功能尤其重要。因为即使是交通工具imu安装中的微小安装误差也可以招致imu数据中的显著误差，因此在安装到交通工具的其他部分中和交通工具的其他部分之间之后，可能需要进行imu校准。
8.一些现有技术在交通工具运动时实现imu校准。然而，这些技术是复杂的，依赖于昂贵的计算机，是耗时的，并且甚至有时可能使得交通工具不可操作(例如，在等待直到imu校准可以被导出时)。这些技术在移除imu和交通工具坐标系之间的安装误差方面作用有限。
9.又一些其他技术在交通工具静止并且没有移动时实现imu校准。交通工具通常包括具有多个相机的相机系统。由相机系统捕获的图像被用于校准imu；然而，这种校准形式具有安全问题。基于现有相机的imu校准技术容易受到黑客的攻击。当校准目标在停放的交通工具外部被欺骗时，交通工具相机可以被欺骗。如果交通工具的imu校准被黑客侵入侵，并且imu被不同地校准，则自主或半自主控制可能会发生故障，从而导致不稳定或不安全的交通工具行为。概述
10.描述了用于静止系统(包括交通工具)的基于安全相机的imu校准的技术和系统。现有的交通工具相机安装以增强的安全性被采用以用于静止imu校准。该校准不是每当停放交通工具时就被执行，而是仅当交通工具被停放在受控的校准环境(例如，在交通工具工厂、交通工具服务设施或其他受控的环境)中时发生，在该受控的校准环境中，停放的交通工具(包括安装到pcb组件的imu)的安全交通工具数据(例如，imu校准映射)是可访问的。
11.为了防止黑客试图并导致交通工具进入imu校准模式的恶意尝试，imu校准被限于由交通工具自身内部的计算机执行，或者由有权访问交通工具和校准环境的计算机执行。例如，消费者不被允许在它们自己的车库中重新校准它们的交通工具的imu。特殊设备充当校准系统，并且需要与交通工具的部件进行通信，以将imu与交通工具坐标系对准。
12.在受控的环境内，校准目标被定位在交通工具的外部，处于与交通工具的现有相
机系统的不同视角处。校准目标可以包括光学图案的计算机控制源，其由交通工具的相机感测。例如，每个相机都具有放置在它附近的对应校准良好的光学液晶显示器(lcd)屏幕。然而，为了增强的安全性，生成的各光学图案可以各自以专门防止欺骗尝试(例如，在imu校准侵入的情况下)的方式被编码。校准目标可以使得交通工具能够保持特定功能和信息(例如，imu校准)，该特定功能和信息对特定交通工具序列号、特定交通工具服务设施等具有唯一特权。这可以是对可以嵌入由交通工具相机捕获的光学图案中的其他标识或经编码特征的补充。
13.相机系统包括至少两个相机，该至少两个相机通常安装在不同的位置和高度处；附加相机可以改进校准结果。相机本身在交通工具上的间隔良好。至少第一相机(例如，前置相机)具有从交通工具的第一侧(例如，前端)投射的视场。至少第二相机(例如，后置相机)具有相对的视场，该相对的视场从交通工具的与第一侧相对的第二侧(例如，后端)投射。通过从位于交通工具的相反部分、侧面或端部处的两个或多个相机收集图像，可以对与imu相关联的安装误差进行精确检查和补偿。
14.校准系统获得相机的相应高度(例如，从交通工具控制器)。由校准系统使用这些相应高度来确定相对于地面真值条件的交通工具坐标系。即使在轮胎充气或其他交通工具部件使得交通工具坐标系不完美时，这仍然有效。imu坐标系和真实交通工具坐标系之间的变化可以应用于imu数据，因为它是为了补偿直接存在于交通工具和imu之间的相对旋转而生成的。补偿将imu数据与交通工具坐标系对准，而不管imu或交通工具坐标系与地面真值条件之间对准的不规则性。从imu读数导出的交通工具度量(诸如交通工具坡度和倾斜(bank))的准确度被改善。作为一个示例，当选择具有较小的相对高度差异的两个相反的(例如，前和后)相机时，可以在四米长的交通工具上实现半度精度的imu安装校准。例如，相对高度差异可以是大约34.9毫米，如通过将四米乘以半度的正切计算的。
15.这些校准技术可以是稳健的总体自适应感测系统的一部分，该稳健的总体自适应感测系统随后可以基于其他详细的交通工具信息(例如，变化的轮胎压力)来自动地处理相机位置的特定变化。然而，根据所描述的技术，校准imu来补偿交通工具安装误差并不需要在相机检查时的详细交通工具信息。示例环境
16.图1示出了用于静止系统的基于安全相机的imu校准的示例环境100的概念图。环境100包括交通工具102，交通工具102正在由校准系统104进行imu安装校准。环境100表示受控环境(诸如交通工具工厂或交通工具服务站)，其中交通工具102的部件被初始化为设置的原始基线或者使用对初始设置的官方更新被重新编程。尽管示出为客车，但是交通工具102可以表示其他类型的交通工具，包括其他类型的道路交通工具(例如，汽车、摩托车、公共汽车、拖拉机、半挂车)、有轨交通工具(例如，火车)、水运工具(例如，船只)、飞行器(例如，飞机)、航天器(例如，卫星)等。
17.交通工具102包括imu 106和相机系统108。imu 106生成imu数据，利用imu校准数据110对该imu数据进行补偿，imu校准数据110已经通过分析由相机系统108的至少两个相机捕获的相机图像112而产生。为了便于描述，imu 106被描述为单个imu。很多时候，交通工具102包括多个imu。imu 106可以包括一个以上的imu，每个imu被定位在交通工具102上的不同位置处，以获得不同交通工具区域的精确imu数据。同样，imu 106的多个imu可以被定
位在交通工具102的相同位置处，以用于增加安全性，例如，在交通工具上生成的imu数据中提供冗余。
18.相机系统108由交通工具102用于从相机图像112中检测存在于道路上或道路附近的对象，该对象可影响交通工具102可以如何继续行驶或停放或是否可以继续行驶或停放。相机系统108的每个相机被配置成用于捕获至少部分围绕交通工具102的特定感兴趣区域的图像，该特定感兴趣区域被称为视场。为了获得期望的视场，相机系统108的部件可以安装在交通工具102的任何部分上、安装到交通工具102的任何部分或与交通工具102的任何部分集成，所述任何部分诸如是交通工具102的前部、后部、顶部、底部、拐角或侧部，保险杠、侧视镜、前照灯和/或尾灯的一部分、后挡板、行李箱盖，或交通工具102的任何其他面向外部的位置处。
19.相机系统108包括相机108-1、相机108-2、相机108-3、相机108-4和相机108-n。相机108-1是交通工具102的面向第一端(例如，前端)的相机，并且相机108-2是交通工具102的面向第二、相对端(例如，后端)的相机。相机108-3是交通工具102的面向第一侧(例如，驾驶员侧)的相机，并且相机108-4是交通工具102的面向第二、相对侧(例如，乘客侧)的相机。相机108-n是交通工具102的中心定位的相机。在其他示例中，相机108-1和108-2或者相机108-3和108-4是被放置在交通工具102的不同拐角位置处的拐角相机。在一些示例中，相机108-1和相机108-2被定位在交通工具102的相对拐角处。同样，相机108-3和相机108-4可以被定位在不同的、相对的拐角处。出于本公开的目的，相对拐角是指交通工具102的前乘客侧拐角和后乘客侧拐角的组合，或者交通工具102的前驾驶员侧拐角和后乘客侧拐角的组合。相对侧包括交通工具102的前端和后端或者乘客侧或驾驶员侧的组合。
20.相机108-1被配置成用于提供视场120-1，相机108-2被配置成用于提供视场120-2，以此类推，相机108-n被配置成用于提供视场120-n(未示出)。相机系统108可以具有五个以上的相机或更少的相机。
21.除了检测对象以用于促进驾驶功能之外，相机系统108还可以用于校准imu 106，例如，以补偿imu 106相对于交通工具102的交通工具坐标系未对准的安装误差。然而，需要仔细选择用于捕获相机图像112的相机。为了生成足以生成imu校准数据110的相机图像112，相机系统108包括具有相反视场的至少两个相机。相反视场被认为是从被定位在交通工具102的相对侧或相对拐角处的相机投射的视场。例如，相机108-1和相机108-2投射相反的视场，其中视场120-1投射在交通工具102的前面，而视场120-2投射在交通工具102的后端之外。在为相机系统108选择相机以允许计算imu校准数据110的其他考虑包括：选择在它们之间具有最小分离距离和/或最大分离高度的相机。这在其他图2-图4的视图中更详细地描述。
22.相机系统108可以包括它自己的计算机硬件，或者可以至少部分地由交通工具102的计算机硬件控制，该交通工具102的计算机硬件可以与控制imu 106的交通工具部件相同或不同。为了附图的简洁，这些部件未在附图中示出。然而，交通工具102包括计算机硬件(例如，控制器、控制单元、处理器、可编程逻辑)，该计算机硬件被配置成用于以协调的方式控制相机系统108和imu 106捕获和管理存储在交通工具102上的相机图像112。imu校准数据110可以由交通工具102存储在与相机图像112不同的crm中。在其他示例中，交通工具102可以将相机图像112和imu校准数据110维护在相同crm上。在基于相机图像112生成imu校准
数据110之后，交通工具102的计算机硬件可以利用imu校准数据110校准imu 106。
23.交通工具102可以包括用于在交通工具102上生成imu校准数据110的硬件或逻辑。然而，在图1的示例中，使用环境100内的不同硬件离线地(例如，在交通工具102计算机硬件的外部)生成imu校准数据110。校准系统104的计算机硬件被配置成用于从交通工具102获得相机图像112，并且生成imu校准数据110，该imu校准数据110被发送回交通工具102以使得交通工具102的计算机硬件校准imu 106。
24.imu 106可以产生imu数据，并且imu校准数据110可以由交通工具102的计算机硬件用于在imu数据被输出以供交通工具功能使用之前补偿该imu数据。为此，交通工具102的计算机硬件可以执行导致imu数据生成的操作，该imu数据与交通工具102的交通工具坐标系紧密对准，从而防止与imu 106相关联的任何安装误差损坏imu数据。来自imu 106的经补偿的imu数据被输出，以准备好用于执行交通工具102的其他功能。
25.校准系统104包括校准单元114、通信链路116和多个校准目标118。通信链路116实现交通工具102的计算机硬件和校准系统104之间的数据传输。通信链路116可以是有线的或无线的。通信链路116可以是利用防止恶意访问交通工具102和/或校准系统104的加密和认证技术的安全链路。在通信链路116被建立的情况下，交通工具102可以发送利用相机系统108捕获的相机图像112，并且作为响应，接收由校准系统104生成的imu校准数据110。
26.校准目标118被视为校准目标118-1、校准目标118-2、校准目标118-3和校准目标118-4。校准目标118中的每一个被放置在相机系统108的不同相机的视场中。校准目标118-1位于视场120-1中，校准目标118-2被定位在视场120-2中，校准目标118-3被定位在视场120-3中，并且校准目标118-4被定位在视场120-4中。校准目标118中的每一个被配置成用于显示内容(包括经光学编码的数据)，该内容使得能够重新校准imu106。该内容由校准目标118中的每一个在相对于交通工具102和相机系统108的相机的精确位置处显示。这允许经编码数据内的对准标记被用于根据相机图像112确定交通工具坐标系。
27.此外，经编码数据防止校准目标118的欺骗，并且进一步防止校准系统104针对交通工具102和/或imu 106的错误类型(例如，品牌、型号、年份、序列号、交通工具标识号)错误地生成imu校准数据110。例如，如果从校准目标118的捕获的相机图像112中无法识别经编码数据的特征，则校准系统104可以避免与交通工具102通信并且不生成imu校准数据110。
28.校准系统104的校准单元114控制呈现在校准目标118上的内容，并且根据该内容的相机图像112生成imu校准数据110。例如，校准单元114被配置成用于接收由相机系统108捕获的校准目标118的相机图像112。基于经由通信链路116接收的相机图像112，校准单元114被配置成用于确定imu 106的坐标系的重新对准。例如，重新对准包括对imu坐标系的轴进行旋转校正，以使imu 106的参考系与交通工具102的参考系一致。校准单元114使得imu校准数据110通过通信链路116被传送给imu 106。这导致对imu 106的坐标系进行重新对准，以使得即使当交通工具102离开环境100的受控条件(例如，被停放在道路上)时，由imu106生成的未来imu数据也与交通工具102的坐标系精确对准。示例校准单元
29.图2示出了被配置成用于执行用于静止系统的基于安全相机的imu校准的校准单元114-1的概念图。校准单元114-1是校准单元114的示例并且在图1的上下文中被描述。例
如，校准单元114-1被视为可操作地和通信地耦合到校准目标118中的至少两个，每个校准目标具有它们自己的相应屏幕200，以用于显示图像或其他光学可识别内容。当连接到校准目标118中的两个以上校准目标时，校准单元114-1从屏幕200上的内容获得足够的信息，以改善使用imu 106推断的计算(例如，交通工具度量)。例如，利用至少三个仔细定位的校准目标118，或两个不同的仔细定位的校准目标118的相应屏幕200的至少三个图像112，交通工具坡度计算和交通工具倾斜计算两者可以被改善。
30.校准单元114-1包括处理器202和crm 204。crm 204存储指令和/或数据，当该指令和/或数据由处理器202执行时，实现校准部件206、相机图像接口208和imu数据接口210。校准单元114-1与校准目标118中的每一个共享通信链路212。
31.当校准目标118的图像出现在来自相机系统108的至少两个相机的两个相反的视场中时，相机图像接口208将校准单元114-1配置成用于接收校准目标118的图像。例如，经由通信链路116，相机图像接口208接收由相机108-1捕获的相机图像112中的一个相机图像，该一个相机图像属于视场120-1内的校准目标118-1。此外，如由相机108-2捕获的，相机图像接口208接收至少一个以上的相机图像112，该至少一个以上的相机图像112是视场120-2内的校准目标118-2的图像，视场120-2与视场120-1相对。类似地，当校准目标118-3和118-4分别出现在视场120-3和120-4中时，相机图像接口208可以在其他校准目标118的图像出现在由相机108-3和108-4捕获的图像中时接收其他校准目标118的图像。
32.imu数据接口210将校准单元114-1配置成用于通过通信链路116将imu校准数据110发送给交通工具102。例如，校准部件206基于在相机图像接口208处接收的相机图像112来生成imu校准数据110。imu校准数据110由imu数据接口210传输到交通工具102，以用于补偿imu 106产生的imu数据。
33.校准部件206负责基于从相机图像接口208的输入缓冲区分析的信息来生成imu校准数据110，以填充imu数据接口210的输出缓冲区。为了生成imu校准数据110，校准部件206选择要用于imu安装校准的特定相机，使得特定内容显示在它们相应的视场中，并且基于在校准目标118的拍摄的相机图像112中编码的数据，精确地将imu 106与交通工具102的交通工具坐标系对准。
34.为了选择相机系统108的相机，校准部件206获得关于相机系统108的每个相机的位置、视角和视场大小的信息，以标识合适的具有相反或相对视场的相机对(pair)。并非相机系统108的所有相机都可以是合适的对；两个相机之间的最小高度相似性可以用于确保：由于三角数学，它们的相对定位可以满意地解决imu 106中的较小安装误差(例如，角度误差)。例如，校准部件206可以获得相机108-1和相机108-2之间的相对分离高度。校准部件206还可以获得相机108-1和相机108-2之间的相对分离距离。如果相机108-1和108-2在交通工具102上的分离距离过于靠近(例如，不在相对侧、不在相对拐角上、不在相对端)，则它们可能不适合用于校准imu 106以改善交通工具倾斜和侧倾(roll)计算。同样，如果相机108-1和108-2相对于交通工具坐标系在高度方面相距太远，则它们可能不适合用于校准imu 106以改善交通工具倾斜和侧倾计算。然而，如果距离相距足够远，并且高度足够靠近，则相机108-1和108-2可以被选择来用于校准以改善imu 106的交通工具倾斜和侧倾计算。也就是说，校准部件206可以基于相机108-1和相机108-2之间的相对分离高度是否满足高度阈值(例如，小于百分之一米)，而从交通工具102的多个不同相机108-1到108-n中选择相
机108-1和108-2来用于校准imu 106。此外，或者替代地，校准部件206可以基于相机108-1和相机108-2之间的相对分离距离是否满足距离阈值(例如，超过几米)，而从交通工具102的多个不同相机108-1到108-n中选择相机108-1和108-2来用于校准imu 106。
35.校准部件206与校准目标118通信，以在相应的屏幕200上显示内容，该内容出现在来自相机系统108的所选择的相机的视场120和相机图像112中。校准部件206控制在每个校准目标118处显示的内容的呈现和格式。相应屏幕200中的每一个都可以显示相同、类似或不同的内容。校准部件206可以输出第一光学图案，以用于在校准目标118-1的相应屏幕200上显示。校准部件206可以输出第二光学图案，以用于在校准目标118-2的相应屏幕200上显示。光学图案可以从一个校准目标118到下一个校准目标不同，然而，每个校准目标118可以包括经编码数据的一部分。当由相机108-1和108-2和/或108-3和108-4捕获时，经编码数据出现在相机图像112的像素中。
36.经编码数据用于多个目的。预期的经编码数据与相机图像112中检测到的经编码数据的比较激活或调节imu 106校准。此外，经编码数据被用作对准特征，以生成imu校准数据110来校准imu 106。由此，在校准目标118的相应屏幕200上出现的内容提供用于防止非预期或恶意校准的安全性目的，以及用于校准imu 106的功能性目的。
37.例如，如示出为相应屏幕200上的看似随机的形状的图案，校准目标118可以由校准部件控制以显示类似于如图2所示的内容的内容。被包括在该光学图案示例中的是经编码数据，包括散布有嵌入式安全特征的参考对准区域，包括额外的噪声区域。对准区域可以用于生成imu校准数据110。光学图案可以由校准目标118显示或投射在垂直于水平面(该水平面包括相机108-1、108-2
…
等中的一个和交通工具102)的平面上。这可以在交通工具坐标系与imu坐标系对准和imu 106校准期间优化交通工具倾斜和侧倾角度的检测。嵌入式安全特征可以用于认证正在执行的潜在校准。例如，嵌入式密钥可以由校准目标118呈现用作公钥，以用于认证和证实校准过程是否被允许执行。在一些示例中，条形码或qr码可以指示安全网站或互联网协议(ip)地址，以用于允许校准部件206和交通工具102之间的双向通信。附加的安全措施可以包括定期地改变校准目标118，以进一步防止对imu 106的未经授权的重新编程或校准。这确保imu 106不被重新校准，除非校准部件206可以验证(validate)特定参数是从相机图像112可证实的(verifiable)。以此方式，校准部件206不太可能受到欺骗攻击的损害，该欺骗攻击视图模仿被定位在交通工具102周围的虚假校准目标上的经编码数据，例如，当交通工具102停放在环境100之外时。示例校准部件
38.图3示出了被配置成用于执行用于静止系统的基于安全相机的imu校准的校准部件206-1的概念图。校准部件206-1是校准部件206的示例并且在图1和图2的上下文中被描述。校准部件206-1被配置成用于通过生成用于校准imu 106的imu校准数据110来补偿交通工具102中的imu安装误差。
39.继续在图2的示例中，响应于接收到校准目标118-1和118-2和/或118-3和118-4的相机图像112，校准部件206-1检查是否继续或避免生成imu校准数据110。基于在校准目标118-1的图像中编码的数据和在校准目标118-2的图像中编码的数据，确定校准目标118-1和118-2对于校准交通工具102的imu 106是否是有效的。响应于确定校准目标118-1和118-2对于校准imu 106是无效的(例如，相机图像112中的一个或多个不包括校准部件206-1预
期看到的经编码数据)，校准部件206-1避免执行生成imu校准数据110的功能。否则，例如，响应于根据相机图像112验证了校准目标118-1和118-2，校准部件206-1调用生成imu校准数据110的功能。
40.imu校准数据110由校准部件206-1生成，用于移除imu坐标系302和交通工具坐标系304之间的相对旋转，而不受环境100的地面真值条件306的影响。imu校准数据110可以包括对imu 106的参数的调整，用于在隔离imu坐标系302和交通工具坐标系304中的每个相对于地面真值条件306(例如，重力矢量)所具有相对旋转之后，将imu坐标系302与交通工具坐标系304旋转对准。
41.地面真值条件306包括环境100的真实重力矢量(例如，如由位于交通工具102的外部的环境100中的高度校准的imu测量的)，并且被操作性地耦合到校准部件206-1。地面真值条件306可以由校准部件206-1以一种或多种方式(例如，从技术人员的输入、从来自关于环境100的文件的输入、从环境100中的其他设备或校准系统104)获得。
42.校准部件206-1从imu 106获得imu数据作为参考系，以确定相对于地面真值条件306的imu坐标系302。基于校准目标118-1的图像和校准目标118-2的图像，交通工具坐标系304同样相对于地面真值条件306被建立。通过将交通工具坐标系304与imu坐标系302进行比较，可以计算两个坐标系304和302之间的相对旋转，这与地面真值条件306的影响相隔离。例如，计算imu坐标系302(m)和地面真值条件306(g)之间的第一相对旋转同样，计算交通工具坐标系304(v)和地面真值条件306(g)之间的第二相对旋转基于第一相对旋转和第二相对旋转计算仅交通工具坐标系304(v)和imu坐标系302(m)之间的第三相对旋转该第三相对旋转移除了地面真值条件306(g)的相对旋转影响，并且单独指示imu坐标系302的轴和交通工具坐标系304的轴之间的相对旋转。通过确定对imu 106的参数的调整来确定imu校准数据110，该调整尽可能地减少imu坐标系302和交通工具坐标系304之间的第三相对旋转，或者将该第三相对旋转至少减少至可接受的容忍水平(诸如，在任何方向上的半度)内。
43.imu校准数据110被提供给交通工具102，以允许交通工具102校准从imu 106输出的imu数据，以供与交通工具坐标系304对齐的功能使用。使用imu数据接口210，校准部件206-1可以使校准系统104通过通信链路116将imu校准数据110传输给交通工具102。imu校准数据110指示如何补偿imu数据，以将imu 106的imu坐标系302与交通工具102的交通工具坐标系304对准，这可以有效防止由于交通工具102和/或imu 106的部件安装中的安装错误而导致的错误imu数据。交通工具102的计算机硬件可以通过使用imu校准数据110校准imu 106，来重新编程imu 106的设置和参数，从而补偿imu安装错误。在imu数据与交通工具坐标系304对齐并补偿交通工具102中的imu安装错误后，交通工具102可以使用从imu 106输出的imu数据来执行按照imu数据行动的交通工具功能。示例校准过程
44.图4示出了用于执行用于静止系统的基于安全相机的imu校准的示例过程400的流程图。为了便于描述，过程400主要在由校准系统104执行的情境中被描述，校准系统104使用通信链路116来与在环境100中停放并且静止的交通工具102交换信息。
45.有权访问crm 204的处理器202可以执行指令以执行过程400，并且执行校准部件
206和206-1、相机图像接口208和imu数据接口210。在本示例中，将过程400的操作(也称为步骤)编号为从402到414。然而，这个编号并不一定意味着特定的操作顺序。过程400的步骤可以以与图4的图中所示的特定方式不同的方式重新布置、跳过、重复或执行。
46.在402处，从静止交通工具的第一相机接收在第一相机视场内的第一校准目标的图像。在404处，从静止交通工具的第二相机接收在与第一相机视场相对的第二相机视场内的第二校准目标的图像。例如，校准系统104可以从交通工具102选择至少一对相机来校准imu 106。校准系统104选择相机108-1，相机108-1是前置相机并且具有在视场120-1内的校准目标118-1。为了与相机108-1配对以用于执行imu校准，校准系统选择相机108-2，相机108-2是后置相机并且具有在与视场120-1相对的视场120-2内的校准目标118-1。
47.在一些情况下，使用多于两个校准目标118和/或相机系统108的多于两个的相机。采用至少两个图像，更优选三个图像来辨别坡度和倾斜角度，交通工具坐标系304可以被准确地确定。例如，在402处，第一相机视场内的第三校准目标的图像可以由处理器202接收。第三校准目标或第二相机视场内的第四校准目标的图像可以由处理器202接收。使用两个、三个或甚至更多个校准目标的图像可以使得由于有附加的对准参考指示符和可从附加相机图像获得的经编码数据而以更高精确度和/或更高置信度计算交通工具坐标系304。
48.在406处，标识在第一校准目标的图像中编码的数据和在第二校准目标的图像中编码的数据。例如，校准系统104通过通信链路116进行通信，以使得交通工具102控制相机系统108捕获相机图像112。在由相机108-1和108-2捕获的相机图像112内，校准系统104标识校准目标118-1和118-2的光学图案内的特征，该光学图案包括用于确定交通工具坐标系统304的经编码数据。
49.例如，相机108-1可以具有到校准目标118-1的第一视角，并且相机108-2可以具有到校准目标118-2的第二视角。取决于校准目标118-1和118-2使用的视角，光学图案在相机图像112中看起来不同。第一和第二视角可以是相同或不同的。在任何一种情况下，校准系统将第一和第二视角设置为在相机图像112中导致独特的、相应的光学图案的精确的角度。通过将视角设置为精确的角度，可以防止校准目标和校准系统104的欺骗，并且精确的交通工具坐标系可以被推断为用于校准imu 106的参考系。
50.在408处，基于在第一校准目标的图像中编码的数据和在第二校准目标的图像中编码的数据，确定第一和第二校准目标对于校准静止对象的imu是否是有效的。例如，校准系统104将在校准目标118-1和118-2中的每一个校准目标处的相应光学图案与该特定校准目标的相对应预期图案进行比较，以确定该特定校准目标对于校准imu是否是有效的。如果校准目标118-1和118-2未被精确地定位在相机108-1和108-2附近，其中应用了精确的视角，则相机图像112内的光学图案112可能不包括可以用于确定交通工具坐标系的可识别特征。
51.在相机图像112内，经编码数据可以指示品牌、型号、序列号、交通工具标识号或交通工具102和正在被校准的imu 106的其他标识符。如果相机图像112内的经编码数据未被校准系统104验证为可信的(authentic)，则不对imu 106进行重新校准。例如，如果在408处，确定第一和第二校准目标对于校准imu是有效的，则采用“是”分支并且过程400继续到步骤410。否则，如果确定第一和第二校准目标对于校准imu是无效的，则采用“否”分支并且过程400继续到步骤414。可以以一种或多种方式像这样(例如，基于从交通工具102的控制
器接收到的信息是否满足用于imu校准的进入条件)来调节imu 106的校准。
52.交通工具102的计算机硬件向校准系统104发送信息，该信息指示交通工具102是否处于imu校准可接受的状态。当交通工具102处于环境100中时，交通工具102处于受控环境中，在该受控环境中交通工具102可以置于特殊编程模式中，该特殊编程模式不能从环境100外部被访问或不能在不使用特殊设备(诸如校准系统104)的情况下被访问。关于交通工具状态的信息(例如，交通工具102是否处于停放状态、控制器和/或交通工具102是否处于编程模式中、交通工具102是否处于环境100中)可以向校准系统104指示imu 106是否安全以进行校准。当信息满足用于imu校准的进入条件时，校准系统104被授权。这样，校准系统104避免生成用于校准imu 106的imu校准数据110，除非这样做是绝对安全的。基于从交通工具102的控制器接收到的信息，并且响应于imu 106的授权校准，imu 106可以被校准以将从imu 106输出的imu数据与交通工具坐标系304对准。
53.在410处，基于第一校准目标的图像和第二校准目标的图像，确定相对于交通工具外部的地面真值条件的交通工具坐标系。例如，除了交通工具坐标系304和地面真值条件306之间的第二相对旋转之外，还计算在imu坐标系302和地面真值条件306之间的第一相对旋转基于第一相对旋转和第二相对旋转计算在交通工具坐标系304和imu坐标系302之间的第三相对旋转第三相对旋转提供imu 106和交通工具参考系之间的直接关系，而不管每个坐标系相对于地面真值条件306的偏差。交通工具参考系(即，交通工具坐标系304)与交通工具底盘(例如，交通工具框架)有关。因此，交通工具坐标系304独立于由于如下因素而导致的交通工具部分位置的变化：可变悬架、不均匀轮胎充气、可变扭矩、或不会导致imu 106与交通工具底盘和交通工具坐标系304之间的相对安装误差的其他变量。计算在imu坐标系302的轴和交通工具坐标系304之间的相对旋转，以生成imu校准数据110，当imu校准数据110由交通工具102应用于imu 106的参数时，使得要被输出的imu数据与交通工具坐标系304对准，而不管imu 106的安装中的安装误差。
54.在412处，输出信息以使得静止交通工具能够校准imu，从而通过补偿交通工具中的imu安装误差来将从imu输出的imu数据与交通工具坐标系对准。例如，校准系统104被配置成用于向交通工具102输出信息。信息输出包括imu校准数据110，imu校准数据110从校准系统104被传输到交通工具102，其中交通工具102的计算机硬件将imu 106调整为与交通工具坐标系304旋转对准。这样，在交通工具的操作期间，从imu 106输出的imu数据被补偿以与交通工具坐标系304对准，这允许交通工具102的功能在信任imu数据没有误差的情况下直接使用imu数据。即使imu 106的安装超出针对将imu 106安装到交通工具102的pcb组件指定的公差，这也是正确的。进一步的示例
55.以下提供了用于静止系统的基于安全相机的imu校准的一些附加示例。
56.示例1：一种方法，包括：从静止交通工具的第一相机接收在第一相机的第一相机视场内的第一校准目标的图像；从静止交通工具的第二相机接收在第二相机的第二相机视场内的第二校准目标的图像，第二相机视场与第一相机视场相对；基于第一校准目标的图像中的经编码数据和第二校准目标的图像中的经编码数据，确定第一校准目标和第二校准目标对于校准静止交通工具的惯性测量单元(imu)是否是有效的；响应于确定第一校准目
标和第二校准目标对于校准imu是有效的，基于第一校准目标的图像和第二校准目标的图像，建立相对于交通工具外部的地面真值条件的交通工具坐标系；以及输出信息，以使得静止交通工具能够通过校准imu以将从imu输出的imu数据与交通工具坐标系对准来补偿交通工具中的imu安装误差。
57.示例2：任何前述示例的方法，其中第一相机包括交通工具的前置相机，并且第二相机包括交通工具的后置相机。
58.示例3：任何前述示例的方法，其中第一相机包括交通工具的面向第一侧的相机，并且第二相机包括交通工具的面向相对侧的相机。
59.示例4：任何前述示例的方法，其中第一相机包括交通工具的第一拐角前置相机，并且第二相机包括交通工具的相对拐角后置相机。
60.示例5：任何前述示例的方法，进一步包括：从静止交通工具的第三相机接收在第三相机视场内的第三校准目标的图像；从静止交通工具的第四相机接收在第四相机视场内的第四校准目标的图像，第四相机视场与第三相机视场相对；基于第三校准目标的图像中的经编码数据和第四校准目标的图像中的经编码数据，确定第三校准目标和第四校准目标对于校准imu是否是有效的；以及响应于确定第三校准目标和第四校准目标对于校准imu是有效的，进一步基于第三校准目标的图像和第四校准目标的图像，建立交通工具坐标系。
61.示例6：任何前述示例的方法，其中校准imu以将从imu输出的imu数据与交通工具坐标系对准包括：从静止交通工具的控制器接收指示静止交通工具被停放在受控的校准环境中的信息；基于从控制器接收到的信息，授权对imu的校准；以及响应于授权对imu的校准，校准imu以将从imu输出的imu数据与交通工具坐标系对准。
62.示例7：任何前述示例的方法，其中第一相机具有到第一校准目标的第一视角，并且第二相机具有到第二校准目标的第二视角，该方法进一步包括：将第一视角和第二视角设置为导致独特的相应光学图案的精确角度，该独特的相应光学图案包括在第一校准目标和第二校准目标中的每一个校准目标处的经编码数据；以及将在第一校准目标和第二校准目标中的每一个校准目标处的相应光学图案与该特定校准目标的相对应预期图案进行比较，以确定该特定校准目标对于校准imu是否是有效的。
63.示例8：任何前述示例的方法，其中第一校准目标和第二校准目标包括显示第一校准目标和第二校准目标的相应屏幕。
64.示例9：示例8的方法，进一步包括：输出第一光学图案，以用于在第一校准目标的相应屏幕上显示，第一光学图案包括出现在第一校准目标的图像中的经编码数据；以及输出第二光学图案，以用于在第二校准目标的相应屏幕上显示，第二光学图案包括出现在第二校准目标的图像中的经编码数据。
65.示例10：任何前述示例的方法，进一步包括：获得第一相机和第二相机之间的相对分离高度；以及基于第一相机和第二相机之间的相对分离高度是否满足高度阈值，从交通工具的多个不同相机中选择第一相机和第二相机以用于校准imu。
66.示例11：任何前述示例的方法，进一步包括：获得第一相机和第二相机之间的相对分离距离；以及进一步基于第一相机和第二相机之间的相对分离距离是否满足用于校正imu相对于静止交通工具的安装角度的误差的距离阈值，选择第一相机和第二相机以用于校准imu。
67.示例12：任何前述示例的方法，其中输出信息以使得静止交通工具能够校准imu以将从imu输出的imu数据与交通工具坐标系对准包括：向静止交通工具发送信息以用于针对交通工具坐标系和imu的坐标系之间的相对旋转补偿imu数据。
68.示例13：任何前述示例的方法，其中在imu数据与交通工具坐标系对准并且补偿交通工具中的imu安装误差之后，imu数据从imu输出，以用于执行静止交通工具的按照imu数据行动的功能。
69.示例14：一种系统，该系统包括处理器，该处理器配置成用于执行任何前述示例的方法。
70.示例15：一种包括指令的计算机可读存储介质，该指令在被执行时使得处理器执行任何前述示例的方法。
71.示例16：一种系统，该系统包括用于执行任何前述示例的方法的装置。结语
72.虽然在前述描述中描述并且在附图中示出了本公开的各种实施例，但应当理解，本公开不限于此，而是可以在接下来的权利要求的范围内以各种方式实施为实践。根据前述描述，将显而易见的是，可以做出各种更改而不偏离由所附权利要求所限定的本公开的范围。除了交通工具系统之外，与imu安装对准相关联的问题可能发生在其他系统中，而不仅仅是交通工具。因此，尽管被描述为用于改进交通工具的imu对准，但前述描述的技术也可以被适配并应用于其他问题，以有效地校准imu以与其他对象、装置和系统的主体坐标系对准。
73.除非上下文另有明确规定，否则“或”和语法上相关的术语的使用表示无限制的非排他性替代方案。如本文所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。例如，“a、b或c中的至少一种”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。