一种车辆协同控制方法及系统与流程

本发明涉及智能驾驶辅助，具体涉及一种车辆协同控制方法及系统。

背景技术：

1、在城市道路交通事故中，行人作为交通参与者中的弱势一方，其伤亡比例长期居高不下。为此，各国汽车安全评级体系相继将行人自动紧急制动列为强制评价项目，各类行人保护系统亦随之在量产车型上普及。

2、然而，现有的行人保护系统在感知、预测与决策三个层面均存在明显不足。

3、在感知层面，多传感器普遍采用目标级后融合方式，即摄像头、毫米波雷达与激光雷达各自在其自身域内独立完成目标检测，再由融合模块对各自输出的目标框作关联。由于融合发生在检测头输出之后，激光雷达所提供的精确几何位置与摄像头所提供的丰富语义信息在融合之前即已被压缩为若干目标框，融合阶段所能利用的仅是两组高度压缩的结果，一旦某一传感器在其自身域内发生漏检，后融合无从补救。与此同时，各传感器的采样时刻若未严格对齐，车辆自身与目标之间的相对运动会在融合结果中表现为额外的位置偏差，该偏差在近距离横穿场景下尤为显著。上述缺陷导致遮挡行人、横向切入行人与弱小目标易被漏检。

4、在预测层面，现有方案多以行人历史位置的运动学外推、或者以横穿与否的二元分类为主。此类方案既不理解行人为何这样运动，也无法表达其未来行为固有的多模态性。行人由静止转为横穿是一个速度发生突变的过程，仅依据历史位置外推必然滞后于该突变；而在过街与不过街的行为分叉处，单一确定性预测为最小化平均误差将输出一条位于各模态之间的均值轨迹，该轨迹既非任何一种实际可能发生的行为，又会使真实存在的高风险模态在决策层被完全掩盖。

5、在决策层面，现有方案普遍基于碰撞时间等单一指标作出撞或不撞的二元判断。此类指标既不可微又仅反映单个时刻，无法作为优化目标，因而只能被当作触发开关使用，其必然结果是未达阈值即完全不作为、一旦越过阈值即全力制动的阶跃式响应，触发时机晚、动作突兀，既影响乘坐舒适性，也易引发驾驶员的不信任与后车追尾风险。

6、此外，现有系统的算法能力在整车出厂后即被冻结，而真实交通场景中的长尾工况数量庞大且难以在开发阶段穷举，系统无从从实车运行中持续获取高价值样本并改进自身，其能力随车辆生命周期的推移而相对退化。

技术实现思路

1、为解决上述技术问题，本发明提供一种车辆协同控制方法及系统，克服现有行人保护系统在多传感器信息融合层级过晚、行人未来行为预测缺乏对行为动机的表征且无法表达多模态性、决策依据只能作二元触发，以及系统能力出厂后即被冻结这四方面的缺陷，从而提供一种响应更早、更平滑且能够持续进化的行人保护方案。

2、本发明一种车辆协同控制方法，由搭载于车辆上的计算平台执行，所述方法包括以下步骤：

3、获取车载传感器系统采集的环境探测数据，对所述环境探测数据进行融合处理，输出包含各目标的类别及状态信息的场景状态特征序列；

4、将所述场景状态特征序列中类别为行人的目标确定为目标行人，依据所述目标行人的状态信息从所述环境探测数据的图像数据中提取所述目标行人的图像感兴趣区域序列，对所述图像感兴趣区域序列进行编码处理，获取所述目标行人的微观行为概率类别及人体关键点姿态数据；获取表征所述目标行人所处环境的环境上下文特征，并将所述微观行为概率类别、所述人体关键点姿态数据与所述场景状态特征序列中所述目标行人的历史动力学轨迹以及所述环境上下文特征融合编码为行人意图状态向量；

5、以所述场景状态特征序列中的多个交通参与者目标为节点构建表征节点间交互关系的动态交互图，将所述行人意图状态向量及各所述交通参与者目标的状态信息作为对应节点的节点属性，将所述动态交互图输入至生成式解码网络进行编码以输出交互上下文特征，并将所述交互上下文特征输入至变分自编码器进行解码，输出所述目标行人在未来预设时间域内的多条可能轨迹以及每条可能轨迹对应的发生概率；

6、针对每一条所述可能轨迹，依据其空间坐标点及对应的所述发生概率分别构建随时间及空间维度向外衰减扩散的时空风险场，并将各所述时空风险场叠加形成时空风险热力图；

7、在自车动力学能力及道路几何边界所确定的约束下，构建包含碰撞风险惩罚项的优化函数，在所述时空风险热力图上求解使所述优化函数最小化的最优车辆控制序列，并将所述最优车辆控制序列映射为多级控制指令发送至底层车辆动力学执行器系统。

8、上述技术方案中，所述车载传感器系统为多源异构传感器网络，所述环境探测数据包括点云数据与所述图像数据；所述获取车载传感器系统采集的环境探测数据，对所述环境探测数据进行融合处理，输出包含各目标的类别及状态信息的场景状态特征序列的步骤，包括：

9、利用精确时间协议对所述多源异构传感器网络进行时间同步采集；

10、利用校准参数将所述点云数据投影至图像平面生成深度图；

11、将所述深度图与所述图像数据协同输入基于多视角注意力机制的鸟瞰图转换网络，生成稠密场景特征图；

12、在所述稠密场景特征图上执行目标检测与基于交并比及运动一致性的多目标追踪任务，为各目标分配唯一标识，生成带有时间戳、类别、三维位置、三维包围盒尺寸、速度矢量、航向角和历史轨迹点的动态场景状态列表，作为所述场景状态特征序列。

13、上述技术方案中，所述图像感兴趣区域序列为连续多帧的行人图像数据；所述编码处理由多任务编码网络执行，所述多任务编码网络基于变换器编码器构建，并通过并行预测分支分别输出作为所述微观行为概率类别的微观行为概率向量、作为所述人体关键点姿态数据的人体关键点二维坐标、包含头部俯仰角与偏航角的视线估计特征，以及表征所述目标行人与周边物理对象交互情况的空间交互检测特征。

14、上述技术方案中，所述行人意图状态向量连续表征所述目标行人的横穿道路倾向性、移动紧迫度以及对交通环境的注意力水平。

15、上述技术方案中，所述交互编码网络为时空图卷积网络；所述编码包括：在空间维度上，依据各节点之间的相对位置与相对速度关系确定聚合权重，对各节点的邻居节点特征进行加权聚合以更新各节点的特征；在时间维度上，对各节点在历史时段内的特征序列进行卷积建模，输出所述交互上下文特征；所述时空图卷积网络包括图注意力网络及一维时序卷积网络；所述空间维度上的加权聚合由所述图注意力网络执行，其聚合权重依据动态更新的边属性确定，所述边属性由相连节点之间的相对位置向量与相对速度矢量运算生成；所述时间维度上的卷积建模由所述一维时序卷积网络对每个节点的时间特征序列进行滑动建模执行。

16、上述技术方案中，所述时空风险场的构建及所述时空风险热力图的形成，包括：

17、所构建的所述时空风险场在空间维度上呈二维高斯分布并沿时间维度呈高斯衰减；

18、将所述发生概率作为振幅权重系数赋予对应的时空风险场，生成加权后的时空风险场；

19、将各所述加权后的时空风险场在空间和时间维度上进行标量叠加，生成所述时空风险热力图。

20、上述技术方案中，所述碰撞风险惩罚项为满足所述约束的候选规划轨迹与所述时空风险热力图在所述未来预设时间域上的交互积分总和；所述优化函数还包括乘坐舒适性惩罚项及通行效率惩罚项，以构成多目标优化函数；所述乘坐舒适性惩罚项为所述候选规划轨迹的加加速度及横向加速度的联合惩罚值，所述通行效率惩罚项为实际车速偏离期望设定车速的数值。

21、所述映射为多级控制指令，包括：

22、当所述碰撞风险惩罚项低于第一设定阈值时，触发一级预警指令；

23、当所述碰撞风险惩罚项介于所述第一设定阈值与第二设定阈值之间时，触发二级协同制动指令；

24、当所述碰撞风险惩罚项超过所述第二设定阈值时，触发三级紧急干预指令；

25、所述映射为多级控制指令，包括：依据所述碰撞风险惩罚项的大小及所述时空风险热力图的峰值，确定所触发的指令级别。

26、本发明还提供了一种车辆协同控制系统，用于实现上述技术方案所述方法，包括搭载于车辆上的计算平台，所述计算平台包括以下模块：

27、超融合感知模块，用于获取车载传感器系统采集的环境探测数据，对所述环境探测数据进行融合处理，输出包含各目标的类别及状态信息的场景状态特征序列；

28、意图理解模块，用于将所述场景状态特征序列中类别为行人的目标确定为目标行人，依据所述目标行人的状态信息从所述环境探测数据的图像数据中提取所述目标行人的图像感兴趣区域序列，对所述图像感兴趣区域序列进行编码处理，获取所述目标行人的微观行为概率类别及人体关键点姿态数据；并获取表征所述目标行人所处环境的环境上下文特征，将所述微观行为概率类别、所述人体关键点姿态数据与所述场景状态特征序列中所述目标行人的历史动力学轨迹以及所述环境上下文特征融合编码为行人意图状态向量；

29、轨迹预测模块，用于以所述场景状态特征序列中的多个交通参与者目标为节点构建表征节点间交互关系的动态交互图，将所述行人意图状态向量及各所述交通参与者目标的状态信息作为对应节点的节点属性，将所述动态交互图输入至交互编码网络进行编码以输出交互上下文特征，并将所述交互上下文特征输入至生成式解码网络进行解码，输出所述目标行人在未来预设时间域内的多条可能轨迹以及每条可能轨迹对应的发生概率；

30、多目标决策模块，用于针对每一条所述可能轨迹，依据其空间坐标点及对应的所述发生概率分别构建随时间及空间维度向外衰减扩散的时空风险场，并将各所述时空风险场叠加形成时空风险热力图；并在自车动力学能力及道路几何边界所确定的约束下，构建包含碰撞风险惩罚项的优化函数，在所述时空风险热力图上求解使所述优化函数最小化的最优车辆控制序列；

31、协同执行模块，用于将所述最优车辆控制序列映射为多级控制指令发送至底层车辆动力学执行器系统。

32、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述技术方案所述的车辆协同控制方法，或者实现如上述技术方案所述的车辆端数据上传与模型更新方法。

33、本发明所取得的技术效果由感知、意图理解、概率预测、风险场构建与多目标优化五个步骤所构成的链路整体产生，而非各环节效果的算术相加，其关键在于三处将各步骤耦合为一个整体的接口。其一，行人意图状态向量作为交互图的节点属性参与多体推理，使预测得以在行人尚未产生任何可观测位移之前，即依据其注意力水平与横穿倾向调整所输出的轨迹分布，从而把预测的提前量由运动学可观测之后推进至意图可观测之时。其二，每条可能轨迹的发生概率作为其风险场的振幅权重，使多模态预测的概率信息被无损地携带进代价函数，系统在漏掉真实风险与被小概率吓退之间所取得的平衡，由预测模型给出的概率本身定量决定，而非由人工设定的规则决定。其三，风险场沿自车候选轨迹的路径积分作为优化函数的代价项，使碰撞风险由布尔量转变为连续可微的标量，车辆的响应由阶跃变为连续，介入的时机与介入的强度同时成为优化变量。

34、在感知环节，将融合层级前移至特征提取阶段并以精确时间协议作微秒级同步，消除了多传感器采样时刻不一致所引入的空间错位；点云投影所得的深度图与图像共同输入鸟瞰图转换网络，使几何与语义两类互补信息在特征层级即完成对齐，而非在结果层级作事后关联。由于融合发生在信息尚未被压缩的阶段，单一传感器的局部失效可由其他传感器在特征层面予以补偿，因而在雨雾、逆光、夜间及部分遮挡等工况下显著降低行人目标的漏检率与误检率。

35、在意图理解环节，以连续多帧的感兴趣区域序列替代单帧输入，使网络得以捕获行人重心转移、摆臂起始等在单帧中不可见的起步先兆，将行为判别的时机提前；以共享主干承担行为分类、姿态估计、视线估计与交互对象检测四项任务，使关键点姿态为行为分类提供结构化线索、视线方向为交互对象检测提供空间先验，因而在训练样本相对稀少的行为类别上仍能获得较高精度，同时四项任务共用一次主干前向计算，显著降低了车载推理的算力与时延开销。进一步令行人意图状态向量的若干维度连续表征横穿道路倾向性、移动紧迫度与对交通环境的注意力水平，使其不再是不可解释的黑箱表征：工程上可直接对其设置阈值或作为标定依据，失效场景发生后可逐维度归因；且由于语义约束在训练阶段对隐空间施加了结构化限制，该向量在样本稀少的长尾场景下亦不易发生语义漂移。

36、在轨迹预测环节，交互编码网络在空间维度聚合多体之间的相互影响、在时间维度聚合各目标自身的运动模式，使预测不再仅依赖行人自身的历史轨迹，而能够表达避让、跟随与通行权竞争等交互关系。当其以时空图卷积网络实现时，空间维度的聚合权重依据节点间的相对位置与相对速度动态确定，各邻居目标的影响强度由网络自适应分配而无需人工设定交互规则，且该强度随场景演进实时变化；时间维度的卷积建模则可完全并行计算且感受野随层数呈指数增长，以远低于循环结构的时延覆盖足够长的历史时段，使整套预测模型得以在车规级芯片上按控制周期实时运行。

37、在风险评估环节，令每条可能轨迹在空间维度上扩散为二维高斯分布并沿时间维度呈高斯衰减，再以发生概率作振幅加权后作标量叠加，将离散的多模态概率轨迹转化为在时空连续域上处处可微的标量场，使碰撞风险成为一个可直接进入连续优化问题的代价量。由于同一行人各模态的概率之和为一，该加权叠加在数学上即为对该行人未来风险取期望，各模态相加并不造成风险的重复计入；而多个行人在空间上相互靠近时，其风险场自然叠加形成更高的风险区域，无需额外的规则设计。

38、在决策求解环节，以候选规划轨迹在该标量场上的路径积分作为碰撞风险惩罚项，使决策依据由某一瞬间是否会撞升级为整个未来过程中累计承受了多少风险，该量同时反映风险的强度与持续时间；在此基础上并入乘坐舒适性与通行效率两项惩罚，使系统的行为不再是是否制动的开关式响应，而是在安全、舒适与效率三者之间连续权衡后的最优折中：加加速度被显式惩罚，使制动的建立与释放平缓、乘员不感突兀；速度偏差被显式惩罚，使系统不致为规避低概率风险而无谓地长时间低速行驶。

39、在指令映射环节，以阈值将连续的风险量映射为三档具有明确执行语义的指令，使人机交互、辅助制动与紧急制动各司其职，并可配合阈值处的迟滞避免风险量在阈值附近波动时执行器状态的反复切换；进一步以时空风险热力图的峰值与碰撞风险惩罚项共同判定指令级别，则使累计风险与瞬时极值两个判据相互补充--前者反映风险的持续承受程度，后者反映风险的瞬时烈度。由于积分量会将短时的极高风险平均掉，单一积分判据在行人自遮挡物后突然冲出一类场景下会出现干预滞后，而二者联合可使系统在长时间中等风险与短时间极高风险两类截然不同的危险形态下均能及时给出恰当等级的干预。

40、上述方法可由部署于车规级计算平台上的模块化系统实现，各模块既可实现为运行于同一片上系统的软件模块，也可由若干专用加速单元分别承载，部署形态的差异不影响上述技术效果的取得；上述方法亦可以计算机程序的形式存储于计算机可读存储介质中，既可在整车下线时预置于车载计算平台，也可经空中下载方式分发与更。