用于控制自主交通工具的方法、装置和系统与流程

用于控制自主交通工具的方法、装置和系统
1.相关申请的交叉引用
2.本技术要求于2019年8月6日提交的申请号为62/883,362、发明名称为“用于管理自主交通工具的方法、装置和系统”的美国临时专利申请的优先权，其全部内容并入本技术。
技术领域
3.本发明涉及能够在陆地、水上和空中移动的自主交通工具。具体地，本发明涉及控制自主交通工具。


背景技术：

4.自主交通工具包括多个用于导航的感测和执行单元。自主交通工具还包括与感测和执行单元连接以进行控制和监督的控制器。
5.控制器可能有必要识别和应对越来越多的复杂场景。控制器可以将与自主交通工具相关联的信息分类为安全关键信息和知识库。该分类认识到安全关键信息和知识库具有不同的处理要求。例如，安全关键信息的处理需要尽可能快地进行。这可以避免危急情况。另一方面，知识库可能需要对传感器数据进行深度处理以提高准确性。通过更高的准确性，控制器能够做出更好的决策。
6.解决不同要求的一种方法是在处理安全关键信息和准确性之间进行权衡。然而，环境的复杂性会影响权衡。例如，空旷的环境没有阻塞的环境复杂。从不太复杂的环境到复杂环境的变化会很快发生。因此，通过权衡，自主交通工具会实时运行在次优水平。


技术实现要素：

7.本发明公开了一种通过分离安全关键信息来控制自主交通工具的方法、装置和系统。进一步地，本发明公开了知识库和安全关键信息之间的链接，以使得能够在保持准确性的同时处理安全关键信息。
8.本发明的第一方面是一种用于控制至少一辆自主交通工具的控制器。该控制器包括被配置为控制自主交通工具的固件模块。固件模块包括事件模块，该事件模块被配置为处理自主交通工具的环境模型中的安全关键组件以生成紧急控制信号来控制自主交通工具。本文使用的环境模型充当知识库，是自主交通工具和与自主交通工具相关联环境的数字表示。本文使用的安全关键组件包括数字表示的对环境的和自主交通工具的安全至关重要(关键的)的数据。固件模块还包括事务模块，该事务模块被配置为通过对自主交通工具的感测单元的传感器数据进行事务处理来更新环境模型，由此更新环境模型的安全关键组件和/或非安全关键组件。本文使用的非安全关键组件包括环境模型的对环境和/或自主交通工具的安全不重要的数据。
9.在一实施例中，事件模块可以被配置为处理安全关键组件并生成紧急控制信号，而不管对事务模块的更新。
10.在又一实施例中，事务模块可以被配置为将更新定义为使用传感器数据和预测更新至少其中之一在环境模型上执行的事务，其中事务包括插入、删除、修改占用图中的物体参数，并且其中事务作为可恢复的原子操作来执行。
11.本发明的第二方面是一种用于控制至少一辆自主交通工具的系统。该系统包括被配置为生成指示自主交通工具的环境的传感器数据的感测单元。本文使用的传感器数据指示环境中自主交通工具和物体的位置、定位。该系统还包括如上文所述的控制器。控制器被通信耦连到感测单元并被配置为生成控制自主交通工具的操作的控制信号。该系统可以包括被配置为基于控制信号控制自主交通工具的操作的执行单元。
12.本发明的第三方面是一种控制至少一辆自主交通工具的方法。该方法包括识别自主交通工具的环境模型中的安全关键组件。环境模型是自主交通工具和与自主交通工具相关联环境的数字表示。安全关键组件包括数字表示的对环境和自主交通工具的安全至关重要的数据。该方法包括基于安全关键组件生成紧急控制信号以控制自主交通工具的操作。该方法进一步包括通过对自主交通工具中的感测单元的传感器数据进行事务处理来更新环境模型，由此更新环境模型的安全关键组件和非安全关键组件中的至少一个，并且其中非安全关键组件包括环境模型的对环境和自主交通工具的安全不重要的数据。
13.在一实施例中，该方法可以包括将对环境模型的更新定义为要在环境模型上执行的事务，其中更新基于传感器数据和预测更新其中之一。进一步地，该方法可以包括将事务作为可恢复的原子操作来执行，其中事务包括插入、删除、修改占用图中的物体参数。
附图说明
14.现在将参考本发明的附图来阐述本发明的上述和其他特征。所示实施例旨在说明而非限制本发明。
15.以下结合附图中所示的实施例进一步描述本发明，其中：
16.图1示出了根据本发明实施例的传感器数据分类的框图；
17.图2示出了根据本发明实施例的一种用于控制自主交通工具的控制器的框图；
18.图3示出了根据本发明实施例的一种用于控制无人驾驶飞行器的系统的框图；
19.图4示出了根据本发明实施例的图2中的控制器和图3中的系统使用的解决方案堆栈的框图；和
20.图5示出了根据本发明实施例的一种控制一辆或多辆自主交通工具的方法。
具体实施方式
21.以下对用于实施本发明的实施例进行详细描述。参考附图对各种实施例进行描述，其中相同的附图标记在整个附图中用于指代相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施例的透彻理解。显然，可以在没有这些具体细节的情况下实施这样的实施例。
22.图1示出了根据本发明实施例的感测单元102、104和106的传感器数据分类的框图。
23.感测单元102、104和106是传感器，包括但不限于摄像头、光探测和测距(lidar)、雷达、全球定位系统(gps)传感器、惯性测量单元(imu)等。因此，感测单元102、104和106指
的是任何能够提供关于自主交通工具和相关环境的信息的系统/装置。
24.在图1中，感测单元102被通信耦连到组件110。感测单元104和106被通信耦连到组件115。在一实施例中，组件110是起落架并且组件115是无人驾驶飞行器(即自主交通工具)的引擎盖。在无人驾驶飞行器(uav)的实施例中，感测单元102被配置为提供关于uav下方环境的信息。类似地，uav上方的环境由感测单元104和106感测。
25.在另一实施例中，组件110是前门并且组件115是自主汽车的前保险杠。感测单元102被配置为提供信息以使得能够判定侧面碰撞和车道偏离。感测单元104和106提供关于路径空隙的信息。
26.感测单元102、104和106的传感器数据相应地提供关于环境的信息。单独地，感测单元102、104和106的传感器数据可能无法提供对环境的全面了解。因此，传感器数据可以被融合并存储在知识数据库160中。
27.知识数据库160包括存储自主交通工具和环境的环境模型的数据库。环境模型是自主交通工具和环境的实时数字表示。
28.环境模型包括自主交通工具和环境中的物体的物体列表。本文使用的物体包括可能在自主交通工具中或在环境中的生物体、非生物体、活动物体和非活动物体中的至少一种。例如，物体包括自主交通工具中的乘客、行人、其他交通工具、建筑物等。
29.进一步地，环境模型包括物体和相关的物体参数的占用图。本文使用的物体参数定义了物体在一时间实例的状态以及物体相对于自主交通工具的关系。例如，将物体和自主交通工具之间的空间关系存储在占用图中。
30.提取环境模型中的安全关键组件140以进行处理。基于环境模型中的安全关键数据150识别安全关键组件140。安全关键数据150指示哪些物体参数对物体和自主交通工具的安全是至关重要的。安全关键组件140要求立即处理，因此无延迟地进行处理。
31.安全关键组件140的处理可以为执行机构单元130生成控制信号和/或为应急系统120生成应急控制信号。本文使用的应急系统120包括负责自主交通工具和物体的安全的执行机构单元。例如，应急系统120包括自主交通工具的制动单元或安全气囊单元。
32.执行机构单元130包括自主交通工具的任何影响其行为的组件。例如，执行机构单元130包括速度控制器、发动机、螺旋桨、起落架和底盘控制器等。执行机构单元130还可以用于控制自主交通工具以用于非关键场景。
33.可以在处理安全关键组件140之后更新环境模型。在一实施例中，通过将每个更新定义为事务来更新环境模型。事务包括插入、删除、修改占用图中的物体参数。事务作为可恢复的原子操作来执行。因此，基于事务的更新确保了完成对环境模型的更新并且可以信赖环境模型。
34.因此，在任何情况下，都可以保障有保证地访问最新的环境模型。
35.图1还示出了基于使用不同感测单元102、104和106从环境采集的信息来控制自主交通工具的过程。在中心点或知识数据库160处收集传感器数据以构建环境的第一表示。第一表示在上文中称为环境模型。对自主交通工具的安全至关重要的部分表示与表示的其余部分分离。安全关键组件140和非安全关键组件都可以访问环境模型。安全关键组件140在访问时认为该信息是完整的并且基于它来行动。非安全关键组件能够通过以下方式进一步提取环境模型：
36.1.插入来自感测单元的与自主交通工具和环境安全无直接关系的信息。
37.2.随时间变化聚合信息。
38.3.根据当前观察来诠释过去的知识。
39.使用用于控制一辆或多辆自主交通工具的控制器来执行上述过程。图2示出了根据本发明实施例的一种用于控制自主汽车280的控制器200的框图。
40.自主汽车280设有多个感测单元282、284和286。感测单元282、284和286被配置为收集关于自主汽车280和与汽车280相关联的环境290的信息。自主汽车280包括执行单元(图2中未示出)。感测单元282、284和286以及执行单元被通信耦连到控制器200。
41.控制器200包括固件模块210。本文使用的固件模块210指的是能够执行和存储软件指令的硬件和存储器。本文使用的“存储器”指的是所有计算机可读介质，例如，非易失性介质、易失性介质和传输介质，除了临时的传播信号。存储器存储由模块(例如环境模块220、事件模块230、事务模块240和预测模块250)定义的计算机程序指令。固件210的架构在图4中进一步描述。
42.在固件模块210中的模块被执行时，控制器200能够控制自主汽车280。以下将讨论每个模块。
43.环境模块220被配置为根据感测单元282、284和286生成的传感器数据生成环境模型。环境模型是根据传感器数据生成的数字表示。环境模块220被配置为使用传感器融合算法构建数字表示。在实施例中，执行传感器融合算法，由此分析传感器数据以生成汽车280和环境290中的物体列表。因此，环境模型包括诸如生物体、非生物体、活动物体和非活动物体等物体的物体列表。进一步地，环境模型包括物体和相关的物体参数的占用图。物体参数定义了物体在一时间实例的状态以及物体相对于自主汽车280的关系。例如，可以在空间上定义物体的关系。
44.环境模型使控制器能够诠释环境290。进一步地，汽车280的当前和预期状态被用于执行汽车280的轨迹规划。进一步地，不断更新环境模型以实现汽车280的路线规划。环境模型的更新可以作为可分割的更新来执行，从而保持环境模型的完整性。
45.事件模块230被配置为处理自主汽车280和环境290的环境模型中的安全关键组件。事件模块220还被配置为生成紧急控制信号以控制自主车辆280。安全关键组件包括环境模型的对环境290的和自主汽车280的安全至关重要的数据。例如，环境290中的障碍物可能对汽车280、汽车280和环境290内物体的安全至关重要。
46.基于障碍物的信息分析环境模型。在生成紧急控制信号的同时可以不考虑物体的分类。例如，环境模型可能将物体误分类为树而不是行人。可以更新环境模型以将物体正确分类为行人。然而，避开物体的决策确保了对汽车280、汽车280中的物体和物体/行人的保护。因此，事件模块230被配置为处理安全关键组件而不管对环境模型的更新以生成紧急控制信号。本文使用的“紧急控制信号”是发送到汽车280的执行机构单元以优先控制汽车280的行为的控制信号。控制信号也可以发送到应急系统，如汽车280中的安全气囊单元。
47.环境模型的更新由事务模块240执行。被配置为通过对传感器数据进行事务处理来更新环境模型。本文使用的“事务处理”是指将传感器数据划分为单独的、不可分割的操作(称为事务)的技术。作为一个整体完成或失败。因此，完成事务，或者在失败后“回滚”。事务处理是有利的，因为环境模型的完整性保持为已知的一致状态。
48.交易模块240被配置为更新环境模型的安全关键组件和非安全关键组件中的至少一个。非安全关键组件包括环境模型的对环境和自主交通工具的安全不重要的数据。在一实施例中，事务模块240被配置为将更新定义为使用传感器数据或对传感器数据的预测更新在环境模型上执行的事务。例如，如果物体开始移动，则可以在环境模型中更新移动方向的预测更新。事务包括插入、删除、修改占用图中的物体参数，其中事务作为可恢复的原子操作来执行。进一步地，事务模块240被配置为使得两个事务不能同时修改环境模型。
49.预测模块250被配置为基于历史传感器数据预测对环境模型的更新。例如，前一天同一时间的传感器数据用作预测可能的行人交通的参考。事务模块240使用预测更新来定义更新环境模型的事务。预测模块250用于基于实时接收到的传感器数据来诠释历史传感器数据。因此，更新时的环境模型使控制器200能够做出明智的决策。
50.控制器200是有利的，因为它通过提供具有最低可能延迟的安全相关信息来满足安全要求。进一步地，控制器200在不妨碍性能或不牺牲安全性的情况下利用环境290中潜在可用的尽可能多的知识。事件模块230和事务模块240的组合保证了从感测单元282、284和286接收到的传感器数据将始终是可访问的。
51.事件模块230确保控制器200具有：
52.反应性：一旦识别出事件(即安全关键组件)，控制器200就可以以尽可能少的延迟采取适当的动作。
53.灵活性：可以按层次结构组织安全关键组件，以在环境模型中赋予某些物体参数更高的重要性。进一步地，可以基于识别的安全关键组件配置可以触发的动作。
54.事务模块240还使控制器200能够以最小响应时间响应更新。进一步地，控制器200可用于在更新环境模型的同时处理事件。此外，环境的数据完整性始终受到保护。进一步地，控制器200可以是模块化的并且随着传感器数据变得更大或更多组件要使用控制器而以增加的成本进行扩展。
55.在某些实施例中，控制器200可以包括中央感测单元，其中传感器数据在所有级别上实时融合。这种控制系统在图3中公开。
56.图3示出了根据本发明实施例的一种用于控制无人驾驶飞行器380的系统300的框图。
57.无人驾驶飞行器380是自主交通工具并且包括多个执行机构单元。在图3中，指示了示例执行机构单元，例如，转向单元322、螺旋桨324、制动单元326和着陆单元328。进一步地，可编程网络接口350将无人机380与系统300连接。
58.网络接口350被配置为使用有线和无线通信标准中的一种或多种来提供感测单元、执行单元和/或控制器200之间的通信。例如，有线通信标准包括高速外围组件互连(pci-e)和千兆以太网和平板显示链路(fpd-link)。无线通信标准可以包括蓝牙、zigbee、超宽带(uwb)和无线局域网(wlan)。网络互连350的实例包括控制器局域网(can)、本地互连网络(lin)和汽车以太网。
59.系统300包括感测单元310、控制器200和可编程网络接口350。感测单元310包括数据收集装置(即传感器和/或处理器)的组合。在感测单元310中，融合具有不同类型/格式(2d、3d、adc等)的传感器数据。进一步地，结合环境模块220，将不同帧率的传感器数据组合成一个时间和空间同步的视图，称为环境模型。环境模型提供环境390和无人驾驶飞行器
280的数字表示。
60.当无人机380运行时，控制器200被用于处理事件和更新环境模型，控制器200的操作类似于图2中提供的描述。在一实施例中，控制器200包括现场可编程门阵列(fpga)，用于环境模型生成和传感器数据融合。进一步地，控制器200可以包括用于执行事件模块230、事务模块240和预测模块250的片上系统(soc)。在一实施例中，控制器200包括用于操作网络接口350的微控制器单元(mcu)。
61.本发明还包括解决方案堆栈400，用以实现环境模型的事件处理和基于事务的更新。图4示出了根据本发明实施例的控制器200和系统300使用的解决方案堆栈400的框图。
62.堆栈400包括硬件层495。硬件层495可以包括一个或多个中央处理单元和/或fpga。在硬件层495之上是操作系统层490。在一实施例中，本发明的模块220、230、240和250所执行的逻辑独立于硬件层495和操作系统层490。
63.在操作系统层490之上是中间件层480。中间件层480可以包括运行时动态库和/或传输库。进一步地，中间件层480可以包括用于操作系统抽象的抽象库。
64.操作系统层480之前是代码生成器层450。代码生成器层450包括系统运行时实例层470和组件接口462、464和468。代码生成器层450根据领域特定语言合成代码。代码生成器层450生成具有运行时实例和接口的包。实例由组件层中定义的组件组成。
65.在代码生成器层450之上是系统描述层410。系统描述层410是针对每个组件420、430和440定义的。每个组件分别包括类型层422、432、442。进一步地，每个组件分别包括组件层424、434、444。
66.系统描述层410使得能够对要描述的环境模型的进行更新。描述是关于基于预定关系连接的组件的实例。每个组件可以对应于系统中具有任务的语义实体。组件是系统中创建和处理对环境模型的更新的部件。可以使用类型层422、432、442来描述更新。
67.图5示出了根据本发明实施例的一种控制一辆或多辆自主交通工具的方法500。该方法首先在步骤510中接收自主交通工具中的感测单元的传感器数据。传感器数据可以包括来自雷达、光探测和测距(lidar)、视觉和其他传感器的实时原始的、未经过滤的数据。
68.在步骤520中，根据传感器数据生成环境模型。环境模型是自主交通工具和与自主交通工具相关联环境的数字表示。本文使用的环境模型还可以包括使用传感器融合技术基于传感器数据生成的第一数字表示。第一数字表示指示环境模型动态演化的潜力。在一实施例中，控制器将对原始传感器数据执行传感器融合算法并生成交通工具和与交通工具相关联的环境的物体列表。环境包括交通工具的周围环境。
69.环境模型可以包括自主交通工具和环境中的物体的物体列表和占用图。物体包括生物体、非生物体、活动物体和非活动物体中的至少一种。将物体相对于交通工具的关系映射在占用图中。因此，步骤520还包括生成占用图，该占用图包括物体的分布图和相关的物体参数。物体参数定义了物体在时间实例的状态以及物体相对于自主交通工具的关系。
70.在步骤530中，识别环境模型中的安全关键组件。安全关键组件包括数字表示的对环境和自主交通工具的安全至关重要的数据。例如，可能对自主交通工具或环境中的物体造成伤害的障碍物。通过判定环境模型中的安全关键数据来识别安全关键组件。例如，物体参数可以用于判定安全关键数据。
71.在步骤540中，基于安全关键组件生成紧急控制信号以控制自主交通工具的操作。
生成紧急控制信号，而不管环境模型的演化。例如，认为环境和自主交通工具的第一数字表示是完整的。因此，安全关键组件与更新环境模型的过程分离以获得更高的准确性。
72.在步骤550中，可以基于历史传感器数据来预测对环境模型的更新。这些更新是基于先前的环境条件使用机器学习的高级神经网络算法预测的。
73.在步骤560中，更新环境模型。更新步骤包括将对环境模型的更新定义为要在环境模型上执行的事务。更新可以基于传感器数据和/或预测更新。事务包括插入、删除、修改占用图中的物体参数。
74.通过对事务进行事务处理来更新环境模型。在事务处理中，事务作为可恢复的原子操作来执行。在执行期间，更新环境模型的安全关键组件和/或非安全关键组件。本文使用的非安全关键组件包括环境模型的对环境和自主交通工具的安全不重要的数据。
75.本发明可以采用计算机程序产品的形式，该计算机程序产品包括可从存储程序代码的计算机可用或计算机可读介质访问的程序模块，以供一个或多个计算机、处理器或指令执行系统使用或与其结合使用。出于本说明书的目的，计算机可用或计算机可读介质可以是任何能够包含、存储、沟通、传播或传输程序以供指令执行系统、设备或装置使用或与其结合使用的设备。介质可以是电子、磁性、光学、电磁、红外线或半导体系统(或设备或装置)或不包括在物理计算机可读介质的定义中的本身作为信号载体的传播介质，包括半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘，如光盘只读存储器(cd-rom)、光碟烧录器和dvd。如本领域技术人员所知，用于实现本技术的每个方面的处理器和程序代码都可以是集中式的或分布式的(或其组合)。
76.尽管已经参考某些实施例详细描述了本发明，但是应当理解，本发明不限于这些实施例。鉴于本公开，对本领域技术人员而言，在不脱离本文所描述的本发明的各种实施例的范围的情况下，将呈现许多修改和变化本身。因此，本发明的范围由所附权利要求书而不是由前述描述指示。在权利要求书的含义和等同范围内的所有改变、修改和变化都应被视为在其范围内。方法权利要求中要求保护的所有有利实施例也可以应用于系统/设备权利要求。