增强型环境感知系统的制作方法

1.本发明涉及道路交通安全技术领域，更具体地，涉及一种增强型环境感知系统。


背景技术：

2.近年来，越来越多的汽车配备了不同程度的自动驾驶能力。无论具备哪一等级的自动驾驶能力(l0-l5)，这类汽车通常都配置有多个不同类型的传感器，例如摄像头、雷达、激光雷达等等，从而使汽车可以通过自身的车载传感器来获取周围环境的感知信息，进而为自动驾驶决策提供支持。
3.然而，车载传感器存在局限性，尤其是在nlos(not line of sight，非视线)场景中，即对于各类传感器的感测盲区内的对象是无法察觉的。例如，当视线被其他车辆或障碍物遮挡时，无论是摄像头、雷达、还是激光雷达都无法探测障碍物后是否有诸如行人、自行车或其他车辆存在，因此对于突然从障碍物之后探出对象的对象，存在碰撞的风险。另一方面，对于行人或自行车而言，面对同样的盲区场景时，风险和受伤害程度相对更大。因此，为了避免这类风险，现有技术中，通常在探测到存在视野盲区时，就放慢车速或采取其他预防措施来确保安全，但这也会导致整体交通效率的降低。
4.此外，对于具有v2x(也称车联网)能力的车辆，与一定范围内的其他v2x车辆之间能够互相交换信息，但目前也并没有有效地利用这一机制来交换彼此的感知信息。此外，目前还存在有相当数量的不具有v2x能力的车辆，甚至不具有周围环境感知能力的车辆。
5.因此，希望能够提供一种改进的环境感知系统，以为车辆、行人、自行车等各类交通参与者提供更丰富和可靠的周围环境的感知信息。


技术实现要素：

6.提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
7.针对以上问题，本发明旨在建立一种增强型环境感知模型，利用车辆和基础设施的感知信息，提高所有交通参与者的安全性。
8.根据本发明的一个方面，提供了一种增强型环境感知系统，所述系统包括：
9.具备环境感知能力的基础设施；以及
10.具备环境感知能力的车辆，其中所述基础设施和所述车辆之间能够共享各自的环境感知信息，使得所述车辆能够基于融合的环境感知信息来做出自动驾驶决策。
11.根据本发明的进一步实施例，所述基础设施进一步包括：
12.路边传感器，所述路边传感器被配置成感测环境参数以及环境中的对象的参数；
13.信息通信技术设备，所述信息通信技术设备被配置成提供与所述车辆的通信；以及
14.计算单元，所述计算单元被配置成：
15.基于所述路边传感器的感测数据构建基础设施侧环境模型；以及
16.将所述基础设施侧环境模型与从所述车辆接收的车辆侧环境模型进行融合，得到融合后的基础设施侧环境模型。
17.根据本发明的进一步实施例，所述环境参数包括以下中的至少一个：天气、道路特征、以及异常活动；并且所述环境中的对象的参数包括以下中的至少一个：对象的属性；对象的坐标；以及对象的加速度和速度向量。
18.根据本发明的进一步实施例，所述信息通信技术设备被进一步配置成：
19.将最新的融合后的基础设施侧环境模型定时地发送给通信范围内的所有车辆。
20.根据本发明的进一步实施例，所述信息通信技术设备被进一步配置成：经由v2x方式将环境感知信息发送给具备v2x能力的车辆；以及经由蜂窝数据通信网络将环境感知信息发送给不具备v2x能力的车辆。
21.根据本发明的进一步实施例，所述车辆被配置成：与其他车辆共享各自的环境感知信息；以及基于融合的环境感知信息来做出自动驾驶决策。
22.根据本发明的进一步实施例，所述计算单元被进一步配置成基于所述基础设施侧环境模型检测潜在交通事故风险，并且所述信息通信技术设备被进一步配置成：响应于检测到的潜在交通事故风险，将风险警报发送给该潜在交通事故的相关方。
23.根据本发明的进一步实施例，所述相关方包括行人，并且所述信息通信技术设备被配置成将所述风险警报发送给所述行人的移动通信设备或所述行人附近的交通设施。
24.根据本发明的进一步实施例，所述路边传感器被进一步配置成标识并追踪特定对象，并且所述信息通信技术设备被进一步配置成将所述特定对象的信息发送给相关方。
25.根据本发明的进一步实施例，所述特定对象是走失的儿童或老人，所述相关方是亲人或警察，并且所述信息通信技术设备被配置成将所述特定对象的位置信息发送给所述相关方的车辆或移动通信设备。
26.根据本发明的另一方面，提供了一种车辆，所述车辆包括：
27.通信设备，所述通信设备被配置成接收来自基础设施的环境感知信息；以及
28.自动驾驶系统，所述自动驾驶系统被配置成基于接收到的环境感知信息来做出自动驾驶决策。
29.根据本发明的进一步实施例，所述车辆进一步包括：
30.车载传感器，所述车载传感器被配置成感测环境中的对象的参数，并且
31.所述自动驾驶系统被进一步配置成：
32.基于所述车载传感器的感测数据构建车辆侧环境模型；
33.将所述车辆侧环境模型与从所述基础设施接收的基础设施侧环境模型进行融合，得到融合后的车辆侧环境模型；以及
34.基于融合后的车辆侧环境模型来做出自动驾驶决策。
35.根据本发明的进一步实施例，所述通信设备被配置成接收来自其他车辆的车辆侧环境模型，并且
36.所述自动驾驶系统被进一步配置成：
37.将接收到的来自其他车辆的车辆侧环境模型与所述车辆自身的车辆侧环境模型进行融合，得到融合后的车辆侧环境模型；以及
38.基于融合后的车辆侧环境模型来做出自动驾驶决策。
39.根据本发明的进一步实施例，所述通信设备被配置成：
40.定时地向通信范围内的其他车辆以及基础设施发送最新的车辆侧环境模型；以及
41.定时地接收来自其他车辆的车辆侧环境模型以及来自基础设施的基础设施侧环境模型，并且
42.所述自动驾驶系统被进一步配置成：
43.将接收到的来自其他车辆的车辆侧环境模型以及来自基础设施的基础设施侧环境模型与所述车辆自身的最新的车辆侧环境模型进行融合，得到融合后的车辆侧环境模型；以及
44.基于融合后的车辆侧环境模型来做出自动驾驶决策。
45.根据本发明的进一步实施例，所述环境中的对象的参数包括以下中的至少一个：对象的属性；对象的坐标；以及对象的加速度和速度向量。
46.与现有技术相比，本发明提供的增强型环境感知系统至少具有以下优点：
47.1、利用道路基础设施的环境感知能力作为车辆环境感知能力的补充，可有效解决车载传感器在非视线场景中的局限性；
48.2、基础设施和具备环境感知能力的车辆之间可共享环境感知信息，使得基于融合后的环境感知信息所做出的自动驾驶决策更可靠；
49.3、在提供相同程度的自动驾驶能力的情况下，降低了对于车辆的资源需求(例如传感器数量、精度、计算能力、传输带宽等)，甚至于使得不具备环境感知能力的车辆也能够具备一定程度的自动驾驶/驾驶辅助能力；
50.4、基础设施能够通过诸如移动计算设备来通知面临潜在危险的行人，确保行人在道路环境中的安全性；以及
51.5、基础设施能够被用于识别和追踪特定对象(例如走失的儿童或老人)，并通过本发明的系统及时发送到相关人员的移动计算设备或车辆上；以及
52.6、提升了路面交通整体的安全性和效率。
53.通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
54.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
55.图1示出了根据本发明的一个实施例的增强型环境智能感知系统的示例架构图。
56.图2示出了可应用本发明的增强型环境智能感知系统的示例场景图。
57.图3示出了根据本发明的一个实施例的车辆的示例结构图。
具体实施方式
58.下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
59.图1示出了根据本发明的一个实施例的增强型环境智能感知系统100的示例架构图。如图1中所示，系统100可至少包括基础设施101(也称“道路基础设施”或“交通基础设施”)和车辆102，其中基础设施101和车辆102均具备环境感知能力。
60.基础设施101可包括各类路边传感器，包括但不限于相机、雷达、以及激光雷达等。可以理解，此处提到的路边传感器旨在与安装在车辆上的车载传感器予以区分，并不仅表示被安装在道路两边的传感器，而是泛指安装在道路的任意位置的传感器。此外，路边传感器可被安装在道路网络中的任何合适的位置，例如安装在交汇路口、道路两侧、上下匝道或诸如此类。
61.基础设施101还可包括各类ict(信息通信技术)设备，包括但不限于rsu(路侧单元)设备、lte/5g基站等。这些ict设备可与车辆以及云端的服务器进行通信。
62.基础设施101还可包括各类计算单元，例如mec(multi-access edge computing，多接入边缘计算)服务器、城市大脑(city brain或smart city)等等，用于处理感测到或接收到的数据信息。
63.基础设施101可通过设置在道路上的传感器来感测环境参数以及环境中的对象的参数。环境参数可包括但不限于：天气、道路特征、异常活动等。对象可包括交通参与者，包括但不限于车辆(既包括具备环境感知能力的车辆，也包括不具备环境感知能力的车辆)、行人、非机动车(例如自行车、滑板车)、动物、静态障碍物(例如散落在道路上的货物、落石等)。对象的参数可包括但不限于：
64.a)对象的属性，例如目标的类型(如车辆、行人、或障碍物等)、目标的物理属性(例如目标的大小)、目标的结构化数据(例如可通过ai进行分析来确定的目标的行为/意图)等等；
65.b)对象的坐标；以及
66.c)加速度和速度(向量)。
67.感测到的数据可被发送到各计算单元(例如mec服务器或城市大脑)，用于构建基础设施侧环境模型。作为一个示例，构建完的基础设施侧环境模型可以表现为对应于一定区域内的环境的坐标系下的各对象的位置和行动状态。
68.车辆102可包括各种车载传感器，包括但不限于相机、雷达、以及激光雷达等。车辆102还可包括各种通信设备，用于支持车辆与其他车辆、基础设施、人、云等任何事物的通信，即具备v2x能力。
69.车辆102可利用其自身的传感器检测周围环境中的来构建交通参与者的参数，参数可包括但不限于：
70.a)对象的特性；
71.b)对象的坐标；以及
72.c)加速度和速度(向量)。
73.感测到的数据可在车辆102本地用于构建车辆侧环境模型，例如对应于其周围环境的坐标系下的各对象的位置和行动状态。
74.为了便于解说，在图1中示出了由一个示例基础设施101、两辆具备环境感知能力的车辆102(分别是车辆a和车辆b)、以及一辆不具备环境感知能力但具备通信能力的车辆(车辆c)所组成的场景。可以理解的是，该场景中各实体的数量仅仅是示例，由其他数量的各类实体所组成的场景也适用于本发明。
75.如图1中所示，并且如之前所描述的，具有环境感知能力的车辆a和车辆b以及基础设施101分别通过其具有的传感器来感测周围环境中各对象的参数，并构建各自的环境模型。随后，每一个个体的环境模型可以与其他个体的环境模型进行共享和融合。
76.作为一个示例，车辆与其他车辆之间可共享环境模型。例如，车辆a的环境模型(记为环境模型a)和车辆b的环境模型(记为环境模型b)可以共享。为此，车辆b可将其环境模型b经由通信设备(例如v2x方式)发送给车辆a，车辆a随后在本地将自身的环境模型a和收到的环境模型b进行融合，从而得到融合后的增强环境模型。反之亦然，车辆a可将其环境模型a发送给车辆b，车辆b将自身的环境模型b和收到的环境模型a进行融合，得到融合后的增强环境模型。
77.在另一示例中，车辆与基础设施之间可共享环境模型。例如，车辆a的环境模型(记为环境模型a)和基础设施101的环境模型(记为环境模型i)可以共享。为此，车辆a可将其环境模型a经由通信设备(例如v2x方式)发送给基础设施101，基础设施101随后在本地将自身的环境模型i和收到的环境模型a进行融合，从而得到融合后的增强环境模型。反之亦然，基础设施101可将其环境模型i发送给车辆a，车辆a将自身的环境模型a和收到的环境模型i进行融合，得到融合后的增强环境模型。
78.可以理解，基础设施可接收多个车辆所共享的环境模型。例如，当在其通信范围内存在多辆具有环境感知能力的车辆时(例如，车辆a、车辆b、
……
)，每一车辆可分别将其环境模型发送给基础设施101，基础设施101随后在本地将自身的环境模型i和收到的多个环境模型(a、b、
……
)进行融合，得到融合后的增强环境模型。
79.在进一步示例中，具有环境感知能力的车辆与基础设施之间的环境模型共享可定时或不定时地进行。例如，以车辆与基础设施之间的环境模型共享通过v2x来进行为例，一方面，每当车辆或基础设施探测到其v2x范围内的新对象时，双方就可进行环境模型共享。另一方面，车辆和基础设施也可以定期地向v2x范围内的各个联网对象广播其最新的环境模型，从而使车辆和基础设施都可以不断融合并更新其本地的环境模型。基于这一机制，在一个示例中，基础设施101发送给车辆b的环境模型可以是已经融合了其自身的环境模型i和车辆a的环境模型a后的最新的环境模型，车辆b发送给车辆a的环境模型也可以是已经融合了其他的一个或多个其他车辆的环境模型后的最新的环境模型。
80.在车辆的本地决策阶段，各项自动驾驶决策可基于最新的环境模型来做出。也就是说，车辆可以根据与其他车辆合并的环境模型来做出决策(例如在不具有能提供环境感知信息的基础设施的区域时)，也可以根据与基础设施合并的环境模型来做出决策(例如在有基础设施但没有其他车辆时)，也可以根据与一定范围内与其他车辆和基础设施合并的环境模型来做出决策(例如在既有基础设施又有其他车辆时)。此外，通过这一机制，可以设想，原先不具备环境感知能力的车辆(例如车辆c)，现在也可以获得环境感知信息，进而也可以具备一定程度的自动驾驶能力，例如也可以提供盲区提醒、主动避让等等。
81.此外，在另一实施例中，车辆与基础设施之间共享的不一定是经过处理后的全局
型的环境模型，也可以共享单纯的通知信息或较原始的感测数据。例如，基础设施可仅仅告诉车辆其他车辆的实时车速以及相对距离、道路的路面情况或施工情况、天气情况等独立的信息和数据，由被通知到的车辆用作为其自身感测数据的补充。
82.图2示出了可应用本发明的增强型环境智能感知系统的示例场景图。在该场景中，道路上有具备感知能力的车辆a和车辆b，也有不具备感知能力的车辆c。同时，道路的其中一条车道上有道路养护人员正在施工。如之前提到的，假设该施工情况被基础设施所感测到，则基础设施可以将该信息通过例如v2x发送给范围内的车辆a和车辆b，使得相对于使用车辆自身的传感器来感测这一施工情况，车辆b能够被提前通知，从而能够更早、更安全地做出相应决策，从而提高交通安全和效率。另外，基础设施也可通过诸如lte/5g等通信方式通知车辆c，使得车辆c也可以知晓前方的道路施工情况，从而诸如提醒驾驶员注意减速或避让。
83.在该示例场景中，假设有一行人(或自行车、滑板车、或其他交通参与者)想要穿过十字路口。通过在行人的移动计算设备(例如智能手机、智能手表、手环)上安装有相应的应用程序，行人可以与本发明的增强环境感知系统进行交互。例如，行人的移动计算设备可将行人的定位和行动轨迹发送给基础设施和/或车辆，使其过马路的意图或行为被知晓，从而车辆可以进行避让。反之，基础设施或车辆也可发送信息给行人的移动计算设备，使其获得是否可以过马路的提示信息。例如，当存在即将发生的风险，行人可以得到实时警告。此外，即使行人的移动计算设备无法与增强环境感知系统进行交互，或未携带移动计算设备，本发明的增强环境感知系统也可以凭借更有效、更全面的感测能力，通过通知过往车辆来增强安全。在另一示例中，基础设施还可以利用任何可能的交通设施来发出紧急提醒，例如通过交通信号灯或设置在路口的扬声器来发出警告，提醒行人不要过马路。
84.此外，本发明的增强环境感知系统还可被用于非交通类的功能和信息的及时传递。例如，通过基础设施的传感器可被用于寻找和追踪走失的儿童或老人(例如通过各监控摄像头的面部识别能力)，并将实时结果发送到亲人和警察的电话或车辆上，以便他们尽快将他们找回。此外，可以设想，这一机制也可被用于寻找和追踪其他各类特定对象，例如犯罪嫌疑人、迷路者、宠物等等。
85.图3示出了根据本发明的一个实施例的车辆300的示例结构图。如图3中所示，车辆300可至少包括通信设备301和自动驾驶系统302。在一个实施例中，车辆300可以是不具备环境感知能力且不具备v2x能力的传统车辆，但车辆300的通信设备301具备数据通信能力，例如可以通过lte/5g等蜂窝数据通信方式连接到基础设施或云服务，用于接收例如来自基础设施的环境感知信息。自动驾驶系统302可被配置成基于接收到的环境感知信息来做出自动驾驶决策。需要注意的是，此处的“自动驾驶系统”泛指能够实现任意等级的自动驾驶的自动驾驶或辅助驾驶系统，因而包括从能够实现完全自动驾驶到仅能够实现基于接收到的警告信息发出提示驾驶员的警示的各程度自动驾驶系统。
86.在另一实施例中，车辆300可进一步包括一个或多个车载传感器303，因而具备环境感知能力。车载传感器303可包括但不限于：相机、雷达、以及激光雷达等。车载传感器可被配置成感测环境中的对象的参数，包括但不限于：对象的特性；对象的坐标；以及对象的加速度和速度向量。
87.在该实施例中，通信设备301除了支持lte/5g等蜂窝数据通信方式，还可进一步支
持v2x通信，并可被配置成定时地向通信范围内的其他车辆以及基础设施发送最新的车辆侧环境模型；以及定时地接收来自其他车辆的车辆侧环境模型以及来自基础设施的基础设施侧环境模型。在该实施例中，自动驾驶系统302可被配置成基于所述车载传感器的感测数据构建车辆侧环境模型；将所述车辆侧环境模型与从所述基础设施接收的基础设施侧环境模型进行融合，得到融合后的车辆侧环境模型；以及基于融合后的车辆侧环境模型来做出自动驾驶决策。此外，自动驾驶系统302可被进一步配置成：将接收到的来自其他车辆的车辆侧环境模型与所述车辆自身的车辆侧环境模型进行融合，得到融合后的车辆侧环境模型；以及基于融合后的车辆侧环境模型来做出自动驾驶决策。在又一实施例中，自动驾驶系统可被进一步配置成：将接收到的来自其他车辆的车辆侧环境模型以及来自基础设施的基础设施侧环境模型与所述车辆自身的最新的车辆侧环境模型进行融合，得到融合后的车辆侧环境模型；以及基于融合后的车辆侧环境模型来做出自动驾驶决策。
88.以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。