用于控制车辆的自动驾驶的装置和方法与流程

用于控制车辆的自动驾驶的装置和方法
1.本技术要求于2020年9月21日提交的申请号为10-2020-0121593的韩国专利申请的优先权权益，该韩国专利申请通过引用并入本文，如同在本文完整阐述一样。
技术领域
2.本公开涉及一种用于控制车辆的自动驾驶的装置和方法，其可以在车辆的自动驾驶期间导出行人和两轮车的预测路径以使事故最少化。


背景技术：

3.通常，自动驾驶车辆无需驾驶员操作加速器踏板、方向盘、制动器等即可通过自动检测道路和环境而行驶到目的地。
4.自动驾驶车辆不仅需要考虑在道路上行驶的其他车辆的移动，而且还需要考虑穿过道路的行人和两轮车的移动来控制行驶路径。传统的自动驾驶车辆基于考虑行人和两轮车在所有方向上的移动的概率分布数学模型，使用行人的当前位置和动态信息来预测行人的下一个位置。
5.然而，由于在交通拥堵的情况下道路阻塞时没有考虑行人的长期和短期的移动特性，因此传统的自动驾驶车辆可能存在诸如经常发生误报警和不报警的问题。
6.以上背景技术部分中公开的信息是为了帮助理解本公开的背景，并且不应被视为承认该信息构成现有技术的任何部分。


技术实现要素：

7.因此，本公开涉及一种用于控制车辆的自动驾驶的装置和方法，其基本上消除由于现有技术的限制和缺点造成的一个或多个问题。
8.本公开的一个目的是提供一种用于控制车辆的自动驾驶的装置和方法，其可以准确地导出行人的预测路径，以使行人事故最少化并确保自动驾驶车辆的行驶稳定性。
9.本公开的另一个目的是提供一种用于控制车辆的自动驾驶的装置和方法，其不仅可以应用于行人的简单移动，而且可以应用于与车辆交互的模型，并有效地导出在一般道路上乱穿道路的情况下以及在有人行横道的区域中行人的预测路径。
10.本公开的另外的优点、目的和特征将部分地在下面的描述中阐述，并且部分地在检查以下内容后对于本领域普通技术人员将变得显而易见，或者可以从公开的实践获知。本公开的目的和其他优点可以通过书面描述及其权利要求书以及附图中特别指出的结构来实现和获得。
11.为了实现这些目的和其他优点，并且根据本公开的目的，如在此具体体现和广泛描述的，一种用于控制车辆的自动驾驶的方法包括：计算基于包括车辆和行人的对象的动态信息分配以对象为基准沿对象的行进方向下降的第一坡度的第一高度信息；计算基于行人将占用对象以外的基础设施的概率分配第二坡度的第二高度信息；通过融合第一高度信息和第二高度信息，计算最终高度信息；基于最终高度信息与行人的穿过路径和速度的建
模信息，生成行人的预测路径；以及基于主车辆的预测路径和行人的预测路径，确定主车辆的驾驶策略。
12.在本公开的另一方面中，一种用于控制车辆的自动驾驶的装置包括处理器，该处理器被配置为：计算基于包括车辆和行人的对象的动态信息分配以对象为基准沿对象的行进方向下降的第一坡度的第一高度信息；计算基于行人将占用对象以外的基础设施的概率分配第二坡度的第二高度信息；通过融合第一高度信息和第二高度信息，计算最终高度信息；基于最终高度信息与行人的穿过路径和速度的建模信息，生成行人的预测路径；以及基于主车辆的预测路径和行人的预测路径，确定主车辆的驾驶策略。
13.应当理解的是，本公开的前述一般描述和以下详细描述都是示例性和解释性的，并且旨在提供对所要求保护的发明构思的进一步解释。
附图说明
14.所包括的附图提供对本公开的进一步理解并且被并入并构成本技术的一部分，其示出了本公开的实施例并且与说明书一起用于说明本公开的原理。在图中：
15.图1是根据本公开的一个实施例的用于控制车辆的自动驾驶的装置的示意框图；
16.图2是示出图1的行人路径预测器的配置的一个示例的示意框图；
17.图3是示出图1的驾驶控制器的配置的一个示例的示意框图；
18.图4是表示根据本公开的一个实施例的用于控制车辆的自动驾驶的方法的流程图；
19.图5和图6是示出根据本公开的一个实施例的基于基础设施的高度确定模块的功能的视图；
20.图7至图12是示出根据本公开的一个实施例的用于设置基于对象的高度确定模块的功能的行人行为建模方法的视图；
21.图13是示出根据本公开的一个实施例的基于对象的高度确定模块的功能的视图；
22.图14和图15是示出根据本公开的一个实施例的最终高度融合模块的功能的视图；
23.图16至图18是示出根据本公开的第一实施例的通过行人预测路径生成模块来预测行人路径的方法的视图；
24.图19和图20是示出根据本公开的第二实施例的通过行人预测路径生成模块来预测行人路径的方法的视图；
25.图21是示出根据本公开的第三实施例的通过行人预测路径生成模块来预测行人路径的方法的视图；
26.图22是示出根据本公开的其他实施例的通过最终高度融合模块所执行的输出生成方法的视图；
27.图23和图24是示出根据本公开的一个实施例的驾驶策略确定模块的功能的视图；
28.图25和图26是示例性地示出用于通过驾驶策略确定模块确定策略的风险确定方法的视图；
29.图27是示出根据本公开的一个实施例的行人预测路径的生成结果的视图；
30.图28是示例性地示出应用了根据本公开的一个实施例的自动驾驶装置的车辆的视图；以及
31.图29是示例性地示出应用了根据本公开的一个实施例的自动驾驶装置的自动驾驶系统的视图。
具体实施方式
32.现在将详细参考本公开的优选实施例，其示例在附图中示出。然而，本发明构思的公开不限于本文阐述的实施例并且可以进行各种修改。在附图中，为了清楚地描述本公开，省略了与本公开无关的要素的描述，并且即使在不同的附图中描绘相同或相似的要素时，也用相同的附图标记表示。
33.在以下实施例的描述中，应当理解的是，当一个部件“包括”一个要素时，该部件还可以包括其他要素，并且不排除存在此类其他要素，除非另有说明。此外，在以下实施例的描述中，由相同附图标记表示的部件表示相同的要素。
34.根据本公开的用于控制车辆的自动驾驶的装置考虑了行人和两轮车在除了加速的车辆之外的减速或停止的车辆前方通过，并因为后面没有车辆或因为后面的车辆未加速而占用空间的趋势，来推导行人的预测路径。为此，该装置利用空间域中的速度矢量构建网格图，对网格图进行矩阵转换，并基于坡度下降法和深度学习的长短期记忆方法提取行人的预测路径。因此，该装置可以提高行人和两轮车的路径预测精度。
35.在下文中，将参照附图描述根据本公开的每个实施例的用于控制车辆的自动驾驶的装置。首先，被称为行人的要素可以由包括被称为在人行道上行驶并穿过道路的两轮车的要素的其他要素代替。
36.图1是根据本公开的一个实施例的用于控制车辆的自动驾驶的装置的示意框图。
37.参照图1，根据本公开的一个实施例的装置包括传感器装置100、通信器110、地图发送模块118、驾驶环境确定器120、行人路径预测器200和驾驶控制器300。
38.传感器装置100可以感测位于主车辆前方、侧面和/或后方的至少一个周边车辆，并且可以检测每个周边车辆的位置、速度和加速度。传感器装置100可以包括安装在主车辆的前部、侧部和后部的各种传感器，例如激光雷达102、相机104、雷达106等。
39.激光雷达102可以测量主车辆和周边车辆之间的距离。激光雷达102可以通过向周边车辆发射激光脉冲并测量被周边车辆反射的激光脉冲的到达时间来计算反射点的空间位置坐标，从而测量与周边车辆的距离和周边车辆的形状。
40.相机104可以通过图像传感器获取主车辆周边的图像。相机104可以包括图像处理器，该图像处理器对所获取的图像进行处理，例如噪声去除、图像质量和饱和度调节以及文件压缩。
41.雷达106可以测量主车辆和周边车辆之间的距离。雷达106可以通过向周边车辆发射电磁波并接收被周边车辆反射的电磁波来测量与周边车辆的距离、周边车辆的方向和高度等。
42.通信器110可以接收用于感测主车辆和其他车辆的位置的信息。通信器110可以包括被配置为接收用于感测主车辆的位置的信息的各种装置，例如车辆到一切(v2x)通信装置112、控制器局域网(can)114、全球定位系统(gps)116等。
43.地图发送模块118提供车道可区分的精确地图。精确地图可以以数据库(db)的形式存储，可以使用无线通信定期自动更新或由用户手动更新，并且可以包括有关车道合并
路段的信息(例如，包括合并路段的位置信息及合并路段的法定最高速度信息)、各位置的道路信息、道路分支信息、交叉口信息等。
44.驾驶环境确定器120可以基于通过传感器装置10、地图发送模块118和通信器110获取的信息在精确地图上融合关于主车辆和其他车辆的对象信息以输出融合对象信息。根据本公开示例性实施例的装置的驾驶环境确定器120可以是处理器。处理器120具有存储软件指令的关联非暂时性存储器，软件指令在由处理器120执行时，提供对象融合模块122的功能、道路信息融合模块124的功能和主车辆位置识别模块126的功能。处理器120可以采用一个或多个处理器和存储程序指令的关联存储器的形式。
45.主车辆位置识别模块126输出关于主车辆的精确位置信息。主车辆位置识别模块126可以将传感器装置100感测到的信息、通信器110收集的主车辆的gps信息和地图发送模块118提供的精确地图信息进行比较，以一起输出主车辆的位置信息和位置识别可靠性信息。
46.道路信息融合模块124输出主车辆周边的精确地图。道路信息融合模块124基于位置识别可靠性信息和精确地图信息向对象融合模块122和行人路径预测器200输出关于主车辆周边的精确地图信息。
47.对象融合模块122将融合对象信息输出到行人路径预测器200。对象融合模块122从传感器装置100接收融合状态的关于位于道路内和道路外区域的车辆的信息、行人的位置、速度、分类信息以及轮廓和框信息。对象融合模块122将从传感器装置100输入的对象信息融合到主车辆周边的精确地图信息上，以输出融合对象信息。
48.行人路径预测器200通过从从对象融合模块122输入的融合对象信息和从道路信息融合模块124输入的主车辆周边的精确地图信息中提取融合对象信息的高度信息和主车辆周边的精确地图信息的高度信息来计算最终高度信息，并基于最终高度信息输出行人的预测路径。
49.驾驶控制器300可以基于从行人路径预测器200输出的行人的预测路径来确定主车辆的驾驶路径以控制主车辆的驾驶状态。行人路径预测器200和驾驶控制器300可以具有图2和图3所示的配置。
50.图2是示出图1的行人路径预测器200的配置的一个示例的示意框图。行人路径预测器200从融合对象信息、道路信息和主车辆周边的精确地图信息中提取对象的高度信息和对象以外的基础设施的高度信息，并基于提取的高度信息预测行人的路径。
51.参照图2，根据本公开示例性实施例的装置的行人路径预测器200可以是处理器。处理器200具有存储软件指令的关联非暂时性存储器，软件指令在由处理器200执行时，提供基于对象的高度确定模块(或第一高度确定模块)210的功能、基于基础设施的高度确定模块(或第二高度确定模块)212的功能、最终高度融合模块214的功能和行人预测路径生成模块216的功能。处理器200可以采用一个或多个处理器和存储程序指令的关联存储器的形式。
52.基于对象的高度确定模块210通过分析融合到从对象融合模块122输入的精确地图的对象信息来计算基于对象的高度信息。基于对象的高度确定模块210可以计算高度信息，该高度信息用于根据融合对象信息中包括的融合对象的类型、速度和位置以及形状信息向由对象占用的区域和对象的行进方向分配坡度。
53.基于基础设施的高度确定模块212根据从道路信息融合模块124输入的主车辆周边的精确地图计算基于基础设施的高度信息。基于基础设施的高度确定模块212可以计算用于使用对象以外的基础设施(例如道路形状、交通信号信息、人行横道信息等)分配坡度的高度信息。
54.最终高度融合模块214接收从基于对象的高度确定模块210输出的基于对象的高度信息和从基于基础设施的高度确定模块212输出的基于基础设施的高度信息。最终高度融合模块214通过结合基于对象的高度信息和基于基础设施的高度信息来计算最终高度。最终高度融合模块214可以以矩阵的形式输出计算的最终高度。
55.行人预测路径生成模块216基于从最终高度融合模块214输出的高度矩阵来预测行人的路径。行人预测路径生成模块216可以使用以高度矩阵输出的高度信息作为坡度信息，利用坡度下降法或机器学习技术来预测行人的路径。行人预测路径生成模块216可以通过与传感器和逻辑的操作周期同步，每小时输出预测行人位置的帧作为未来序列(sequence)来输出行人的预测路径。
56.图3是示出图1的驾驶控制器300的配置的一个示例的示意框图。
57.驾驶控制器300可以基于由行人路径预测器200确定的其他车辆的目标车道，即其他车辆的驾驶意图来控制主车辆的自动驾驶。
58.参照图3，驾驶控制器300可以执行驾驶策略确定模块318、速度曲线生成模块316、驾驶路径生成模块314、控制参数输出模块312和控制器310的各种功能。
59.根据本公开示例性实施例的装置的驾驶控制器300可以是处理器(例如，计算机、微处理器、cpu、asic、电路、逻辑电路等)。驾驶控制器300可以由存储例如在被执行时控制车辆的各种组件的操作的程序、再现算法的软件指令等的非暂时性存储器和被配置为执行程序、再现算法的软件指令等的处理器来实现。此处，存储器和处理器可以实现为单独的半导体电路。替代地，存储器和处理器可以实现为单个集成半导体电路。处理器可以实施为一个或多个处理器。
60.驾驶策略确定模块318基于从行人预测路径生成模块216输入的行人的预测路径和从控制参数输出模块312输入的先前时间帧中的驾驶路径和速度曲线来确定驾驶策略。驾驶策略确定模块318可以使用先前时间帧中的主车辆的路径作为输入来确定主车辆的预测路径和行人的预测路径之间的风险，通过主车辆行驶路径上的排行人的时间信息，确定防止主车辆在相应时间点在行人的通行位置行驶的最终驾驶策略。
61.速度曲线生成模块316可以基于包括关于限速和减速带等的信息的精确地图信息、最终驾驶策略、行人的预测路径和融合对象信息，生成与最终驾驶策略相对应的速度曲线。速度曲线生成模块316假设先前时间帧的点级路径(plp)，通过关于主车辆行驶路径上最接近车辆的速度、道路限速、前方减速带以及主车辆行驶路径上行人的通行时间信息来生成防止主车辆在相应的时间点在行人的通行位置行驶的速度曲线。
62.行驶路径生成模块314可以参考速度曲线生成绕过根据时间行人占用的区域的行驶路径。此处，可以通过行驶策略确定模块318来确定主车辆是否绕过根据时间行人占用的区域。行驶路径生成模块314的输出是描述行驶路径的信息，信息的形式可以是三次或四次方程的系数或根据时间帧的坐标列表，并且表达方法不限于特定的形式。
63.控制参数输出模块312可以使用用于跟踪横向控制路径的stanley方法等的方法、
用于跟踪速度曲线的pid控制等的方法，以便遵循通过综合确定的速度曲线和点级路径(plp)而生成的轨迹。
64.控制器310可以根据控制参数控制车辆的自动驾驶。
65.图4是表示根据本公开的一个实施例的用于控制车辆的自动驾驶的方法的流程图。
66.计算用于向由对象占用的区域和对象的行进方向分配坡度的基于对象的高度信息(s110)。
67.计算用于使用对象以外的基础设施来分配坡度的基于基础设施的高度信息(s112)。
68.通过组合基于对象的高度信息和基于基础设施的高度信息来计算最终高度信息(s114)。
69.基于最终高度信息来预测行人的路径(s116)。
70.基于主车辆的预测路径和行人的预测路径确定主车辆的驾驶策略(s118)。
71.基于确定的驾驶策略来控制主车辆的驾驶(s120)。
72.图5和图6是示出根据本公开的一个实施例的基于基础设施的高度确定模块的功能的视图，并且示例性地示出根据交通信号灯的信号确定的基于基础设施的高度。
73.图5的(a)和(b)示例性地示出在一般道路的人行横道处确定的高度，并且图5的(a)示例性地示出当红灯开启时确定的高度，图5的(b)示例性地示出当绿灯开启时确定的高度。
74.当在人行横道占用的区域行人信号灯开启(on)时，行人穿过人行横道。因此，与相邻区域相比，人行横道占用的区域具有非常高的坡度或非常高的对象行进和占用概率。人行横道的坡度可以根据国家或地区与行人乱穿道路的比率成反比分配。
75.当在人行横道占用的区域行人信号灯关闭(off)时，车辆驶通过人行横道，而行人不穿过人行横道，因此，在这种情况下，一般道路和人行横道的坡度彼此相似。此处，当行人信号灯关闭时，可以通过向人行横道入口的一部分提供坡度来进行建模，使得行人可见。由于交叉方向是两个方向，因此可以将对象分为与两个交叉方向对应的两组。一般道路可以具有在所有方向(两个方向)上确定高度的坡度域(或网格图)。
76.在距行人信号灯预定距离以上的路缘路段中，一般情况下，行人倾向于在车辆快速通过人行横道后穿过人行横道，因此很有可能沿与车辆行驶方向相反的方向行走，而不是沿车辆行驶方向行走，然后在人行横道处穿过道路。因此，可以将坡度修正为在与车辆行驶方向相反的方向上减小。
77.图6的(a)和(b)示例性地示出在交叉路口的人行横道处确定的高度，并且图6的(a)示例性地示出当人行横道安装在四个方向时确定的高度，并且图6的(b)示例性地示出当人行横道安装在四个方向和对角线方向时确定的高度。
78.由于行人穿过到与该行人当前所在的道路侧相对的另一道路侧，该行人当前所在的道路侧可能具有最高位置，而另一道路侧可能具有最低位置。可以在道路两侧之间的区域分配坡度，以逐渐改变高度。
79.因为穿过方向是四个方向，所以可以将对象分为与四个穿过方向对应的四个组，并且交叉路口可以具有在所有方向(四个方向)上确定高度的网格域(或网格图)。此处，由
于当实际道路上存在坡度时，行人更愿意下坡而不是上坡，因此可以计算实际坡度与虚拟坡度的和或加权和。各个位置的最终高度总和用于计算最终坡度，这将在随后形成行人的预测路径时使用。
80.此处，可以将高度值分配给精确地图上道路的各个网格(grid)单元。包括高度值的网格信息可以转换为矩阵，并可以在基于坡度下降法(gradient descent)或深度学习的长短期记忆(long short-term memory,lstm)方法生成预测路径时使用。
81.图7至图12是示出根据本公开的一个实施例的用于设置基于对象的高度确定模块的功能的行人行为建模方法的视图。
82.图7和图8是示例性示出根据车辆的位置和速度对行人的行为进行建模的方法的视图。图7是示出每种情况下要穿过道路的行人的状况的视图。图8是示出情况下的行人的预测路径的视图。
83.图7的《情况1》例示了车辆在行人要穿过的道路上与行人近距离处缓慢行驶的情况。图8示出在《情况1》的条件下行人的预测路径。参照图8，在《情况1》的情况下，由于车辆在近距离处，因此行人在车辆经过后穿过道路的可能性高。此外，为了缩短穿过道路所用的时间，行人沿与车辆行驶方向相反的方向移动后在车辆经过后穿过道路的可能性高。在《情况1》中，车辆经过行人所用的时间ttc可以设置为正常ttc。
84.《情况2》例示了车辆在行人要穿过的道路上与行人远距离处快速行驶的情况。图8示出在《情况2》的条件下行人的预测路径。参照图8，在《情况2》的情况下，车辆快速接近行人，因此行人在车辆经过后穿过道路的可能性高。此外，为了缩短穿过道路所用的时间，行人沿与车辆行驶方向相反的方向移动后在车辆经过后穿过道路的可能性高。在《情况2》中，车辆经过行人所用的时间ttc被认为与《情况1》中的时间ttc相似，因此可以设置为正常ttc。
85.《情况3》例示了车辆在行人要穿过的道路上与行人远距离处缓慢行驶的情况。图8示出在《情况3》的条件下行人的预测路径。参照图8，在《情况3》的情况下，车辆从远距离处缓慢接近行人，因此行人在车辆经过之前穿过道路的可能性高。在《情况3》中，为了安全起见，行人立即穿过道路的可能性高，因此车辆经过行人所用的时间ttc可以设置为长ttc。
86.《情况4》例示了车辆在行人要穿过的道路上与行人近距离处快速行驶的情况。图8示出在《情况4》的条件下行人的预测路径。参照图8，在《情况4》的情况下，车辆在近距离处并且快速接近行人，因此出于安全考虑，行人在车辆经过后穿过道路的可能性高。此外，由于车辆在近距离处，为了缩短行人的移动距离，行人在原地等待后在车辆经过后穿过道路的可能性高。因此，车辆经过行人所用的时间ttc可以设置为短ttc。
87.图9示例性地示出在每种情况下对行人的移动速度进行建模的过程。
88.要穿过道路的行人确定是否存在与车辆碰撞的风险(s210)。可以考虑与车辆的距离和车辆的速度来确定与车辆碰撞的风险。
89.当确定不存在与车辆碰撞的风险时，行人立即穿过道路的可能性高(s212)。例如，这种情况可以对应于行人与车辆之间的距离远并且车辆缓慢行驶的《情况3》。
90.当s210中确定存在与车辆碰撞的风险时，确定接近的车辆的速度是否高(s214)。
91.当确定车辆的速度高时，行人在原地等待后在车辆经过后穿过道路的可能性高(s218)。例如，这种情况可以对应于行人与车辆之间的距离近并且车辆快速行驶的《情况4
》。
92.当确定车辆速度低时，行人沿与车辆行驶方向相反的方向行走，即面向车辆行走，然后在车辆经过后穿过道路的可能性高(s216)。例如，这种情况可以对应于车辆在与行人近距离处缓慢行驶的《情况1》或者行人与车辆之间的距离远但车辆快速行驶的《情况2》。
93.图10示例性地示出根据车辆经过行人所用的时间ttc对行人的移动速度进行建模的过程。在图10中，thw表示行人能够等待车辆经过的时间。thc表示考虑行人前方车辆的停止距离而行人避免与车辆碰撞所用的时间。时间thc和时间thw可以通过深度学习进行参数调整，并且可以通过统计方法、应用规则等导出。
94.为了对要穿过道路的行人的速度进行建模，确定ttc是否等于或小于thc(s310)。即，确定车辆经过行人所用的时间ttc是否等于或小于考虑行人前方车辆的停止距离而行人避免与车辆碰撞所用的时间thc。
95.当ttc大于thc时，可以预测行人立即穿过道路(s312)。即，当车辆经过行人所用的时间ttc大于行人避免与车辆碰撞所用的时间thc时，行人确定为安全状态，从而在车辆经过之前立即穿过道路的可能性高(《情况3》)。
96.当ttc等于或小于thc时，为了安全起见，行人在车辆经过后穿过道路的可能性高。此后，确定ttc是否等于或小于thw(s314)。即，确定车辆经过行人所用的时间ttc等于或小于行人能够等待车辆经过的时间thw。
97.当ttc大于thw时，可以预测行人沿与车辆行驶方向相反的方向行走，然后穿过道路(s316)。即，当车辆经过行人所用的时间ttc大于行人能够等待车辆经过的时间thw时，为了缩短时间，行人向与车辆行驶方向相反的方向移动，然后在车辆经过后穿过道路的可能性高(《情况1》和《情况2》)。
98.当ttc小于thw时，可以预测行人在原地等待，然后在车辆经过后穿过道路(s318)(《情况4》)。
99.图11是示出根据ttc对行人的速度进行建模的方法的视图。
100.参考沿ttc时间轴表示的各个情况的状况，在ttc相对短即车辆经过行人所用的时间ttc小于行人能够等待车辆经过的时间thw的《情况4》的情况下，行人等待车辆经过，然后穿过道路。
101.在ttc正常，即车辆经过行人所用的时间ttc大于行人能够等待车辆经过的时间thw但小于行人避免与车辆碰撞所用的时间thc的《情况1》和《情况2》的情况下，行人沿与车辆行驶方向相反的方向行走，然后在车辆经过后穿过道路。
102.在ttc长，即车辆经过行人所用的时间ttc大于行人避免与车辆碰撞所用的时间thc的《情况3》的情况下，行人在车辆经过前立即穿过道路。
103.图11所示的曲线图表示对上述每种情况下的行人速度进行建模的结果。建模时，将行人的穿过方向设置为x轴，平行于道路的方向设置为y轴，行人的穿过速度设置为vx，行人沿道路的移动速度设置为vy。在每种情况下，曲线图表示行人的穿过速度vx随时间t的变化以及沿道路移动的行人的移动速度vy随时间t的变化。
104.在ttc短，即ttc小于thw的《情况4》中，行人在原地等待，然后在车辆经过后穿过道路。因此，在等待时间内，穿过速度vx为0，并且在ttc后，即车辆经过的时间点后，穿过速度vx逐渐增大。逐渐增大的穿过速度vx可以保持平均步行速度，直到行人完成穿过道路。由于
行人在原地等待后穿过道路，所以行人沿道路的移动速度vy保持为0。
105.在ttc正常，即ttc大于thw但小于thc的《情况1》和《情况2》的情况下，行人沿与车辆行驶方向相反的方向行走，然后在车辆经过后穿过道路。因此，行人沿道路的移动速度vy被保持直到ttc，即车辆经过的时间点，并且在ttc之后穿过速度vx逐渐增大。
106.在ttc长，即ttc大于thc的《情况3》的情况下，行人在车辆经过之前立即穿过道路。因此，穿过速度vx可以保持平均步行速度直到行人完成穿过道路。由于行人从原地立即穿过道路，因此行人沿道路的移动速度vy保持为0。
107.图12是示出当根据本公开的一个实施例的基于对象的高度确定模块210确定对象的高度时需要考虑的因素的视图。
108.在计算基于对象的高度时，不仅需要考虑对象实际占用的空间，而且需要一起考虑对象的速度，即车辆的速度v以及行人可以等待车辆经过的时间thw和考虑行人前方车辆的停止距离而行人避免与车辆碰撞所用的时间thc。
109.参照图12，车辆实际占用的区域可以被表示为具有最大高度。在考虑了行人前方车辆的停止距离，车辆在行人避免与车辆碰撞所用的时间thc内移动的距离thc*v可以被表示为具有较低的高度。车辆在行人能够等待车辆经过的时间thw内移动的距离thw*v可以被表示为具有更低的高度。这样，在建模对象的高度时，不仅向对象的轮廓周围的区域而且向对象前方的区域依次分配高度，从而能够计算行人的预测路径。
110.图13是示出根据本公开的一个实施例的通过基于对象的高度确定模块210确定对象的高度的方法的视图。在图13中，d
cross
表示行人穿过的主车道的距离。v
ped
表示行人的穿过速度，v
veh
表示车辆的移动速度。
111.参照图13，由于行人受到威胁的感觉因车辆类型而异，因此需要对除小型车辆之外的公交车或卡车的高度进行不同的设置。由于行人通常会对大车辆感受到更大的威胁，因此可以将对象(即车辆)的高度
∝hbox
与车辆的宽度w、长度l和高度h成比例地设置。一般来说，即使轿车和卡车的大小相同，行人也对卡车比轿车感受到更大威胁，不同类型车辆的高度可以设置为不同的高度
∝hbox
。例如，可以按照公交车》工程车》卡车》轿车》两轮车的顺序降低车辆的不同高度。
112.高度模型可以被设置为使得当车辆向前行驶时更大的高度被分配给车辆正前方的区域，并且由于行人离车辆越近越感受到威胁，高度随着区域在向前方向上远离车辆的位置而降低。
113.因为车辆沿着道路行驶，所以高度可以沿着车辆向前行驶的车道形成。变换车道的车辆经过车道连接之间的不连续性，在这种情况下，高度可以沿着车辆行驶方向的车道变换弯曲路径形成。
114.具有在车辆的向前方向上逐渐减小的高度的区间的长度可以与行人穿过相应车道所用的时间与车辆速度的乘积成比例。
115.将具有上述高度值的网格信息转换为矩阵，并基于坡度下降法和深度学习的长短期记忆(lstm)方法提取行人的预测路径。
116.图14和图15是示出根据本公开的一个实施例的最终高度融合模块214的功能的视图，更具体地，图14是示例性地示出在一般道路上确定的最终高度的视图，图15是示例性地示出在交叉路口处确定的最终高度的视图。
117.从基于对象的高度确定模块210输出的高度信息和从基于基础设施的高度确定模块212输出的高度信息被用作最终高度融合模块214的输入。从基于对象的高度确定模块210输出的高度信息是由对象分配的高度信息，基于基础设施的高度确定模块212输出的高度信息是由基础设施，例如道路形状、信号信息、人行横道等分配的高度信息。最终高度融合模块214可以通过适当地融合由对象分配的高度和由基础设施分配的高度来确定最终高度。
118.最终高度融合模块214可以根据确定对象和基础设施的重要性来分配通过加权求和获得的高度。例如，当通过基础设施确定的网格单元位置(20,20)的高度为0.3，通过对象确定的网格单元位置(20,20)的高度为0.4时，这个网格单元的位置的最终的高度可以是0.7(0.3
×
1 0.4
×
1)。此处，权重可以是调整参数。
119.最终高度融合模块214可以为每个位置分配在下一时间帧中被诸如建筑物、行人或车辆的对象占用的对象占用概率而不是几何高度信息。此处，可以在每个时间帧中更新对应的高度信息，并根据需要对各个时间帧之间的值进行插值，以实现更精确的确定。作为插值法，可以使用线性插值法、非线性插值法、机器学习等，但不限于此。
120.最终高度融合模块214可以将确定的高度信息转换成分配给二维网格的等间隔和各个离散坐标的值的矩阵，然后可以输出该矩阵。此处，可以输出从网格图转换的高度矩阵。
121.图16至图18是示出根据本公开的第一实施例的通过行人预测路径生成模块来预测行人路径的方法的视图。根据第一实施例的行人预测路径生成模块216可以基于坡度下降法来预测行人路径。
122.行人预测路径生成模块216可以使用坡度下降法，考虑从行人的起始位置到相对侧的坡度来搜索使所需的空间和时间损失最小化的路径。
123.坡度下降法被设计为搜索整个区域内的路径上的所有可能的最优解，从而提出行人沿其移动的概率较高的路径，而不是在短期反映行人的动态特征的预测路径，因此适合长期预测。然而，通过为更接近行人当前位置的区间分配更大的权重，可以将坡度下降法应用于短期预测。
124.行人预测路径生成模块216的输入可以包括从最终高度融合模块214输出的高度矩阵。如图16所示，网格图可以被配置为使得高度从行人的起点到相对侧的点逐渐降低。在图16的网格图上，未反映由基于基础设施的高度确定模块212计算的横向坡度。因为车辆向前行驶，所以网格图可以被配置为使得高度从车辆占用的网格区域在向前方向上逐渐降低。这种纵向坡度可以由基于对象的高度确定模块210计算。
125.参照图17，高度值可以分别分配给精确地图上道路上的各个网格单元。可以将具有高度值的网格信息转换为矩阵，并且可以基于坡度下降法生成预测路径。
126.在网格图上，可以从行人当前所在的起点到相对侧形成坡度，并且在这种情况下，可以应用两种以上的坡度下降法。例如，作为一种方法，可以应用单路径路由技术，在该单路径路由技术中，在每个时间帧中搜索在单路径上在负方向上具有最大坡度的点，并且在分支处选择任意路径。作为另一种方法，可以应用多路径路由技术，在该多路径路由技术中，通过在每个分支处复制路径来确保到目的地的多条路径，然后搜索具有最短距离的路径。此处，当高度信息的区分不清楚时，在使用多路径路由技术时，会出现很多分支，从而可
能占用很多资源。在这种情况下，考虑到可用资源，可以使用单路径路由技术或计算较少数量的多路径的技术。当资源充足或者高度区分清楚因而不会出现很多分支时，可以考虑所有情况的数量来计算多条路径，然后可以计算最短距离。此外，上述方法可以根据情况组合使用。
127.图18是表示用于生成行人的预测路径的循环型方法的流程图。
128.为了以循环方式生成行人的预测路径，选择坐标集(s410)，并确定可选坐标集的数量是否为两个或更多个(s412)。
129.在确定可选坐标集的数量为两个或更多个时，选择具有最小坡度的坐标集(s414)，并存储在相应的路径中(s416)。
130.确认所存储的路径是否是到目的地的路径(s418)，并且在确认所存储的路径是到目的地的路径时，输出所存储的最短路径(s420)。当确认存储的路径不是到目的地的路径时，返回到步骤s410，选择下一个坐标集，然后进行相同的后续操作。
131.当在s412中可选坐标集的数量小于两个时，确定可选坐标集的数量是否为一个或多个(s422)。
132.在确定可选坐标集的数量为一个或多个时，生成新路径(s424)，并存储在相应路径中(s426)。确认存储的路径是否是到目的地的路径(s418)，并且在确认存储的路径是到目的地的路径时，输出存储的最短路径(s420)。当确认存储的路径不是到目的地的路径时，返回到步骤s410，选择下一个坐标集，然后进行相同的后续操作。
133.当可选坐标集的数量小于一个时，当前状态为不能再选择坐标集的状态，即路径中断的状态，因此移除当前路径(s428)，并且将先前的坐标集输入到下一坐标集(s430)。此后，返回到步骤s410，选择下一个坐标集，然后进行相同的后续操作。
134.可以通过上述循环型方法生成行人的预测路径。
135.否则，可以使用用于生成行人的预测路径的递归方法。在下文中，将描述用于使用伪代码(pseudo code)生成行人的预测路径的递归方法的示例。
136.《用于生成行人的预测路径的伪代码》
[0137][0138]
如上所述，伪代码和流程图可以用于在坡度下降法的多路径路由技术中使用递归
和循环型算法来生成路径。遵循上述逻辑的算法可以有多种，即使它们在实现上有所不同。为了执行行人的预测路径生成方法，可以应用可以导出路径以便在坡度或高度域中空间和时间上使代价函数(cost function)最小化的各种方法。
[0139]
单路径路由技术可以作为一种情况(可选坐标集的数量＝1)被包括在多路径路由技术中。当实现逻辑时，可能需要适当处理(handling)返回值以实现递归函数。当逻辑以循环(loop)方式实现时，可能需要通过确认在先前路径上是否不存在下一个点来进行适当处理以避免无限回归。在分支点生成的路径作为新路径被存储在路径列表中。可以将分数(score)存储为与路径列表中各个路径的总长度成正比或成反比，然后后续模块可以按照分数的优先级顺序选择最终路径。
[0140]
图19和图20是示出根据本公开的第二实施例的通过行人预测路径生成模块来预测行人路径的方法的视图。根据本公开第二实施例的行人预测路径生成模块216可以基于深度学习的长短期记忆(lstm)来预测行人路径。
[0141]
lstm是机器学习算法的深度学习的一种rnn模型，其使用过去的连续序列(sequence)值作为输入来输出预测的未来序列。当lstm应用于行人预测路径生成模块216时，行人预测路径生成模块216可以接收改变的序列，例如行人的过去位置、动态信息、周边对象信息、形状信息等，并且可以输出作为一组预测位置的预测路径。
[0142]
行人预测路径生成模块216接收行人的位置和动态信息、周边车辆的位置和动态信息、分类信息、例如对象的轮廓和框的形状信息、精确地图值和预定矩阵。这些输入值可以不仅包括当前输入值，而且包括过去n个时间帧的先前输入值，并可用作lstm的输入。此处，随着时间帧的输入值之间的相关性增加，可以存储关于更多时间帧的信息。
[0143]
行人预测路径生成模块216的输入可以包括从最终高度融合模块214输出的高度矩阵。如图19所示，网格图可以被配置为使得高度从行人的起点到相对侧的点逐渐降低。在图19的网格图上，未反映由基于基础设施的高度确定模块212计算的横向坡度。因为车辆向前行驶，所以网格图可以被配置为使得高度从车辆占用的网格区域在向前方向上逐渐降低。这种纵向坡度可以由基于对象的高度确定模块210计算。
[0144]
参照图20，高度值可以分别分配给精确地图上道路上的各个网格单元。具有高度值的网格信息可以被转换成矩阵。此处，矩阵可以通过与传感器和逻辑的操作周期同步，按顺序连续输出n个时间帧。行人预测路径生成模块216可以接收序列中n个时间帧连续输出的矩阵，并可以基于lstm生成行人的预测路径。
[0145]
因为对象的移动和行人的未来位置遵循马尔可夫链(markov chain)，因此即使输入值是准确的，也很可能预测位置值在未来更远变得更不准确。因此，随着某个点在预测路径上越远，该点的预测位置值的准确度越可能降低。因此，在短期路径的预测中可以应用更大的权重，但是当对象的情况没有突然改变时，使用相对准确输入的长期预测的结果可能与短期预测的结果相似，因此，基于lstm的行人的预测路径可以用作长期预测路径。
[0146]
图21是示出根据本公开的第三实施例的通过行人预测路径生成模块来预测行人路径的方法的视图。根据本公开第三实施例的行人预测路径生成模块216可以通过坡度下降法和lstm互补组合来预测行人路径。
[0147]
行人预测路径生成模块216可以通过比较基于坡度下降法输出的多条路径和基于lstm的预测路径并考虑每个时间帧的路径上的预测位置之间的距离来确定两条路径的的
相似性。
[0148]
考虑到每个时间帧两条路径上的点的位置之间的差异，可以通过向近期分配更大的权重来将更大的重要性分配给近期的预测值。当基于lstm的路径和基于坡度下降法的路径具有不同的长度时，可以应用相同的方法。这样就可以将基于坡度下降法的路径与基于lstm的路径的相似度转化为分数(score)。行人预测路径生成模块216可以以各个分数的加权和的形式确定最终分数，从而能够计算最合适的路径。
[0149]
为了将两种方法互补组合，不仅可以使用这种加权求和的方法，而且可以使用根据情境切换的方法，并且两种方法的组合不限于此，也可以利用其他可以导出可靠路径的组合。行人预测路径生成模块216可以综合考虑反映行人特征的基于坡度下降法的路径长度、基于坡度下降法的路径与基于lstm的预测路径之间的相似度以及风险，确定具有可靠性的最终预测路径。
[0150]
图22是示出根据本公开的其他实施例的由最终高度融合模块214执行的输出生成方法的视图。
[0151]
参照图22，用于表示行人、对象、主车辆和周边道路形状的方法不限于网格图。该方法可以扩展到任何可以一起表达几何信息和描述各个对象的信息的数据表达方法。
[0152]
《分段表达》是一种将精确地图上的车道链路划分成小块，将段分配给各个块，并将高度信息分配给特定段的方法。
[0153]
《排列表达》是一种将道路的三维车道展开，将各车道排列成一维直线形式，并为长度方向上的位置分配各自的高度的方法。《排列表达》可以实现，因为精确地图上的连接关系是已知的。
[0154]
在《网格图表达》中，分配给每个网格区域的高度可以被解释为对象在下一时间帧中位于相应位置的概率。当高度被解释为对象占用概率时，作为输出的多条预测路径可以被解释为具有超过预定阈值的行进概率的一组位置。
[0155]
图23和图24是示出根据本公开的一个实施例的驾驶策略确定模块318的功能的视图。
[0156]
图23是示出根据本公开的一个实施例的驾驶策略确定模块318所执行的驾驶策略确定方法的示意图。
[0157]
驾驶策略确定模块318的输入可以包括从行人预测路径生成模块216输出的行人的最终预测路径、包括主车辆的位置、动态信息和精确地图的位置识别信息、在先前时间帧中的驾驶路径等。
[0158]
驾驶策略确定模块318确定在由行人预测路径生成模块216确定的行人的最终预测路径与在先前时间帧中预测的主车辆的预测路径之间是否存在碰撞的可能性。当确定存在碰撞可能性时，驾驶策略确定模块318基于多路径路由技术计算不与行人碰撞的主车辆的代表性驾驶路径，并通过确定行人的最终预测路径与各驾驶路径发生碰撞的风险来选择最终驾驶策略。
[0159]
当确定驾驶策略时，可以使用基于多路径生成的控制方法、纵向加速和减速控制方法、横向偏转/变道控制方法以及纵向和横向整合控制方法。
[0160]
在基于多路径生成的控制方法中，在随机生成多条路径后，选择根据时间在行人的预测路径上不与行人位置发生碰撞的自然路径，然后主车辆跟踪最合适的路径。
[0161]
在纵向加速和减速控制方法中，保持在先前时间帧中确定的驾驶路径，并且主车辆的速度仅在纵向方向上加速或减速，使得主车辆在主车辆与行人的预测路径发生碰撞的时间点不与行人交叉。
[0162]
在横向偏转/变道控制方法中，现有的纵向速度曲线被保持，主车辆沿与行人相反的方向偏转或仅沿主车辆的横向方向改变车道以避免与行人发生碰撞。
[0163]
参照图24，在纵向和横向整合控制方法中，在使用纵向加速和减速控制方法以及横向偏转/变道控制方法中的每一种都难以应对的情况下，或者在整合使用这两种方法更自然地产生驾驶增益的情况下，将这两种方法整合并使用，使主车辆在行人附近加速(或减速)的同时进行偏转驾驶或变道，以更稳定地避免与行人发生碰撞。
[0164]
确定驾驶策略的四种方法：基于多路径生成的控制方法、纵向加速和减速控制方法、横向偏转/变道控制方法以及纵向和横向整合控制方法，可以被独立地应用，或者可以相互补充地应用，以确定更有效的驾驶策略。为了执行有效的驾驶策略确定，可以通过确定根据主车辆的策略的驾驶路径和行人的预测路径之间的碰撞风险来选择使危险情况最小化的策略。
[0165]
驾驶策略确定模块318的输出可以是用于生成速度曲线的前方/在路径内/切入车辆信息、精确地图信息(限速、减速带、道路形状、车道信息等)以及用于生成驾驶路径的周边兴趣对象信息。
[0166]
图25和图26是示例性地示出用于通过驾驶策略确定模块318确定策略的风险确定方法的视图。
[0167]
参照图25，驾驶策略确定模块318可以确定由行人预测路径生成模块216确定的行人的最终预测路径与在先前时间帧中预测的主车辆的预测路径之间的碰撞可能性。
[0168]
如《选择感兴趣的行人的方法》中所示，可以以扇形形成行人将在横向方向上全速奔跑并因此与主车辆碰撞的区域ttc。此处，随着行人的最大奔跑速度增加并且随着主车辆的速度降低，扇形区域ttc的宽度可以增大。可以选择扇形区域ttc内的行人作为感兴趣的行人。
[0169]
在确定风险时，驾驶策略确定模块318可以通过确定在先前时间帧中存储的主车辆的目标行驶路径与行人在行人的预测路径列表中的各路径上随时间的位置之间的差是否等于或小于特定阈值来确定风险。此外，可以基于主车辆和行人之间的纵向/横向ttc而不是主车辆和行人在预测路径上彼此交叉的时间点来确定风险。此处，为了计算ttc，可以使用先前模块的预测路径信息。此外，可以基于行人进入的车道和行人的位置来确定风险。此处，为了获取关于行人进入的车道的信息，可以使用先前模块的预测路径信息。
[0170]
上述方法确定的各个风险可以存储为在行人的预测路径列表上的各个预测路径中的每个的分数，并且根据设计意图，相应的分数可以确定为与风险成正比或成反比。
[0171]
图26是示出用于确定感兴趣的行人与主车辆的预测路径之间的碰撞风险的方法的视图。
[0172]
因为自动驾驶车辆可以基于预先生成的控制路径和速度曲线行驶，所以可以知道主车辆的计划路径。从预测路径生成模块216输出的行人的预测路径和在先前时间帧中预测的主车辆的预测路径可以包括对象的随时间的位置信息。因此，可以计算各个对象之间根据时间的预测相对距离d
points
(t)。可以通过比较各个对象之间的预测距离d
points
(t)来确
定两个对象之间的碰撞可能性。
[0173]
在时间t行人与主车辆之间的距离d
points
(t)非常短，从而接近碰撞的实际距离(《min_t，min_t是主车辆避免碰撞所用的最短时间)，主车辆对应的路径可能会造成很大的风险，因此可以被排除在候选之外。此处，随着行人与主车辆之间的距离根据时间持续变大，相应的路径可以被确定为更安全的路径。为了确定这种情况，可以通过使用两个对象在根据时间的距离之和以及两个对象之间距离的平均值、最小值和中值等有意义的统计方法，选择综合确定两个对象之间的距离较长的情况。随着预测路径的准确性增加，可以更准确地确定碰撞可能性。
[0174]
图27是示出根据本公开的一个实施例的人行横道处的行人和两轮车的预测路径的生成结果的视图。
[0175]
参照图27，行人a和两轮车b位于人行横道的正前方。行人c位于偏离人行横道的位置。根据车辆的速度和行驶方向，在道路上行驶的车辆的高度可以显示在网格图上。
[0176]
行人a和两轮车b位于人行横道的正前方，因此，预计他们在人行横道处穿过道路。
[0177]
行人c位于偏离人行横道的位置，因此，预测行人c向人行横道移动，然后在人行横道处穿过道路。
[0178]
图28是示例性地示出应用了根据本公开的一个实施例的自动驾驶装置的车辆的视图。
[0179]
参照图28，可以在应用了根据本公开的一个实施例的自动驾驶装置的车辆上安装3d车顶激光雷达，以提高对周围对象的识别。
[0180]
为了计算行人的预测路径，需要使周边对象的遮挡最小化。例如，如果某些对象由于盲点被遮挡，则在计算行人的预测路径时，可能将坡度分配给被遮挡对象所在的区域，从而可能将这些区域识别为可接近区域。因此，可能会异常地计算经过相应区域或其附近的所有路径的代价函数(cost function)值。因此，具有局部最小(local minimum)值的路径可以被计算为具有全局最小(global minimum)值，并且在这种情况下，对象需要绕过的路径可以被设置为最终路径。此外，实际上不存在的全局最小值可能被设置为最终输出，并且在这种情况下，可能发生将主车辆不能实际行进的路径设置为最终路径的错误。
[0181]
为了减少这些误差，3d车顶激光雷达可以安装在自动驾驶车辆上。当3d车顶激光雷达位于车顶较高的上端时，3d车顶激光雷达可以无遮挡地测量道路上的对象。可以将来自3d车顶激光雷达的激光雷达信号与雷达、相机和v2x信息进行融合，使得激光雷达信号的可靠性被保证，从而可以获取遮挡相对较少的融合对象信息。
[0182]
图29是示例性地示出应用了根据本公开的一个实施例的自动驾驶装置的自动驾驶系统的视图，更具体地，示例性地示出利用v2x通信发送周边对象或网格图信息的系统。
[0183]
基础设施可以使用v2i通信发送关于网格图(或其他数据结构)或周边对象(车辆、行人、建筑物等)的信息(分类信息、大小和动态信息等)，从而，自动驾驶系统可以最终计算出行人的预测路径。当基础设施的资源足够使用v2i通信时，自动驾驶系统可以识别周边情况，可以将识别出的信息转换成网格图，然后可以将网格图发送到周边车辆。否则，自动驾驶系统可以只向周边车辆发送周边对象信息，然后各个车辆可以以分布式计算网格图。
[0184]
自动驾驶车辆可以使用v2v通信接收周边对象信息，并且可以最终计算行人的预测路径。如果使用v2v通信，当自动驾驶车辆计算行人的预测路径时，可以消除盲点，并且可
以确保数据的可靠性。
[0185]
如上所述，根据本公开的该实施例，考虑到行人在减速车辆或停止车辆而不是在加速车辆前方穿过道路并且随着后方没有车辆或随着后方车辆不加速而占用空间，建模行人穿过道路的条件，使用诸如行人的对象和对象以外的基础设施的高度信息预测对象的移动路径，从而能够提高行人穿过道路的预测路径的准确性。因此，可以降低自动驾驶过程中发生事故的风险，并可以提高自动驾驶的稳定性。
[0186]
根据本公开的一个示例性实施例的装置和方法可以被实现为记录有程序的计算机可读记录介质中的计算机可读代码。这种计算机可读记录介质可以包括其中存储了计算机系统可读的数据的所有种类的记录介质。例如，计算机可读记录介质可以包括硬盘驱动器(hdd)、固态驱动器(ssd)、硅磁盘驱动器(sdd)、rom、ram、cd-rom、磁带、软盘、光学数据存储装置等。
[0187]
从以上描述中显而易见，根据本公开的至少一个实施例的用于控制车辆的自动驾驶的装置和方法可以考虑行人在减速车辆或停止车辆而不是在加速车辆前方穿过道路并且随着后方没有车辆或随着后方车辆不加速而占用空间，导出行人的预测路径，从而能够提高行人的预测路径的准确性。
[0188]
此外，根据本公开至少一个实施例的装置和方法不仅可以应用于单个行人的移动，而且可以扩展到行人与车辆之间的交互模型，并有效地导出不仅在有人行横道的区域而且在一般道路上乱穿道路的情况下的行人的预测路径，从而降低事故风险，并提高自动驾驶的稳定性。
[0189]
对于本领域技术人员显而易见的是，在不脱离本公开的思想或范围的情况下，可以对本公开进行各种修改和变型。因此，本公开旨在涵盖在所附权利要求书及其等同内容的范围内的本文提供的示例性实施例的修改和变型。