基于多模态对齐与动力学约束的智能驾驶决策方法及系统

本发明涉及智能驾驶，特别涉及一种基于多模态对齐与动力学约束的智能驾驶决策方法及系统。

背景技术：

1、随着智能驾驶技术的发展，车辆逐渐需要在开放道路环境中理解驾驶员自然语言指令、感知外部交通环境，并结合车辆自身状态生成转向、加速、减速或避让等驾驶行为。现有端到端智能驾驶方法通常将语音或文本语义、摄像头图像、车辆运动状态等输入信息编码后进行融合，并由神经网络直接输出规划轨迹或控制指令。

2、1. 多模态融合权重固定，难以适应复杂环境变化

3、现有方法通常采用固定特征拼接、固定注意力权重或者静态跨模态注意力机制融合语言、视觉和车辆状态信息。在晴朗白天等常规环境下，视觉信息通常具有较高可信度；但在雨天、夜间、强光眩目、摄像头遮挡等场景下，视觉信息质量会明显下降。如果系统仍然按照固定融合权重依赖视觉特征，则容易忽略驾驶员语音提示、车辆轮胎附着状态、车速变化等关键安全信息，导致决策滞后或误判。

4、2. 语义意图与车辆可执行动作之间缺少物理约束。

5、自然语言指令通常表达的是高层驾驶意图，例如“慢一点”“绕开前方障碍物”“靠右平稳变道”等，而车辆实际执行需要满足转角、曲率、加速度、横向加速度、加加速度等物理限制。若仅依赖数据拟合从语义到控制动作的映射，模型可能输出超出车辆动力学边界的轨迹或控制信号，例如瞬时大曲率转向、过高横向加速度或不连续制动，从而影响安全性和乘坐舒适性。

6、因此，有必要提出一种能够根据环境状态动态调整多模态融合权重，在决策生成过程中显示引入车辆动力学约束的智能驾驶决策方法。

技术实现思路

1、为了解决现有技术中多模态融合固定注意力权重不具备环境自适应能力、语义决策缺少车辆动力学约束的问题，本发明提出一种基于多模态对齐与动力学约束的智能驾驶决策方法及系统，通过动态模态权重实现多模态环境自适应融合，并引入可微分车辆动力学约束，生成安全合规、适配复杂路况的智能驾驶决策。

2、为实现上述目的，所采取的技术方案是：

3、本发明提供一种基于多模态对齐与动力学约束的智能驾驶决策方法，包括以下步骤：

4、采集多模态输入数据，所述多模态输入数据包含语义输入数据、视觉感知数据和车辆状态数据；

5、分别对语义输入数据、视觉感知数据和车辆状态数据进行编码，得到语义特征、视觉特征和车辆状态特征；

6、将视觉特征和车辆状态特征输入环境置信度评估器，生成包含语义模态、视觉模态和车辆状态模态的动态权重向量；

7、基于所述动态权重向量，以语义特征作为查询向量，将语义特征、视觉特征和车辆状态特征共同作为键和值，构建动态加权跨模态注意力模块，生成对齐后的多模态融合特征；

8、将对齐后的多模态融合特征输入动作解码器，生成候选轨迹和车辆控制参数；

9、将所述候选轨迹输入可微分车辆动力学约束层，对候选轨迹进行车辆运动学一致性约束和动力学边界约束，输出满足车辆物理边界的优化轨迹。

10、根据本发明基于多模态对齐与动力学约束的智能驾驶决策方法，进一步地，所述车辆状态数据包含车速、纵向加速度、横向加速度、横摆角速度、方向盘转角、制动状态、轮胎附着系数估计值、雨量强度、环境光照强度、路面湿滑程度和车辆定位状态。

11、根据本发明基于多模态对齐与动力学约束的智能驾驶决策方法，进一步地，所述环境置信度评估器生成动态权重向量包括：对视觉特征进行全局池化得到视觉全局特征，将视觉全局特征与车辆状态特征进行拼接，将拼接后的特征输入轻量化门控网络并经softmax归一化，输出三维动态权重向量，其中、、分别表示语义模态、视觉模态和车辆状态模态的置信权重，且。

12、根据本发明基于多模态对齐与动力学约束的智能驾驶决策方法，进一步地，所述环境置信度评估器还用于对动态权重向量进行时间平滑处理：，其中∈[0,1]为平滑系数，为当前时刻平滑后的动态权重向量，为上一时刻平滑后的动态权重向量，为当前时刻生成的动态权重向量。

13、根据本发明基于多模态对齐与动力学约束的智能驾驶决策方法，进一步地，所述动态加权跨模态注意力模块的计算过程为：将语义特征、视觉特征和车辆状态特征分别通过可训练投影矩阵映射为键向量和值向量，利用动态权重向量分别对各类模态的键向量和值向量进行加权，将加权后的键向量拼接为加权键矩阵，将加权后的值向量拼接为加权值矩阵，以语义特征映射得到的查询向量与加权键矩阵计算注意力分数，将注意力分数与加权值矩阵加权求和，得到对齐后的多模态融合特征。

14、根据本发明基于多模态对齐与动力学约束的智能驾驶决策方法，进一步地，所述可微分车辆动力学约束层在模型训练阶段以动力学约束损失函数的形式对动作解码器施加梯度惩罚，所述动力学约束损失函数包括运动学一致性损失和动力学边界损失，所述运动学一致性损失用于约束候选轨迹满足车辆运动学方程，所述动力学边界损失用于约束候选轨迹的纵向加速度、加加速度、曲率、曲率变化率和横向加速度不超过预设的车辆物理边界参数。

15、根据本发明基于多模态对齐与动力学约束的智能驾驶决策方法，进一步地，所述方法还包括安全兜底预测与动态仲裁步骤：

16、获取障碍物感知数据，所述障碍物感知数据包括障碍物位置、速度、尺寸、类别和运动趋势；

17、设置与主决策网络并行运行的安全兜底预测器，所述安全兜底预测器基于障碍物感知数据和车辆状态数据生成安全兜底决策；

18、当满足任一风险条件时，触发安全兜底机制；

19、通过仲裁模块对主决策结果和安全兜底决策进行动态融合，输出最终车辆执行指令。

20、根据本发明基于多模态对齐与动力学约束的智能驾驶决策方法，进一步地，所述安全兜底预测器的输入包括自车运动状态、障碍物相对距离、障碍物相对速度、前向碰撞时间和轮胎附着系数，基于输入输出保守制动、保持车道减速、低速避让或靠边停车决策；所述安全兜底预测器采用轻量化神经网络、规则模板或风险查表实现。

21、根据本发明基于多模态对齐与动力学约束的智能驾驶决策方法，进一步地，所述风险条件包括：主决策网络语义解析置信度低于第一阈值、前向碰撞时间低于第二阈值、动力学约束损失高于第三阈值、视觉图像质量评分低于第四阈值、障碍物风险评分高于第五阈值以及传感器数据不一致或车辆状态异常；所述仲裁模块根据仲裁特征向量计算仲裁权重，并按以下方式融合主决策结果和安全兜底决策：，其中为主决策结果，为安全兜底决策，所述仲裁特征向量包括主决策网络置信度、前向碰撞时间、碰撞风险、动力学约束损失、视觉图像质量和车辆状态稳定性。

22、进一步地，本发明提供一种基于多模态对齐与动力学约束的智能驾驶决策系统，包括：

23、数据采集模块，用于采集多模态输入数据，所述多模态输入数据包含语义输入数据、视觉感知数据和车辆状态数据；

24、多模态编码模块，用于分别对语义输入数据、视觉感知数据和车辆状态数据进行编码，得到语义特征、视觉特征和车辆状态特征；

25、环境置信度评估模块，用于将视觉特征和车辆状态特征输入环境置信度评估器，生成包含语义模态、视觉模态和车辆状态模态的动态权重向量；

26、动态跨模态对齐模块，用于基于所述动态权重向量，以语义特征作为查询向量，将语义特征、视觉特征和车辆状态特征共同作为键和值，构建动态加权跨模态注意力模块，生成对齐后的多模态融合特征；

27、主决策生成模块，用于将对齐后的多模态融合特征输入动作解码器，生成候选轨迹和车辆控制参数；

28、可微分动力学约束模块，用于将所述候选轨迹输入可微分车辆动力学约束层，对候选轨迹进行车辆运动学一致性约束和动力学边界约束，输出满足车辆物理边界的优化轨迹。

29、采用上述技术方案，所取得的有益效果是：

30、1、提高复杂环境下的多模态融合可靠性：本发明通过环境置信度评估器动态调整语义模态、视觉模态和车辆状态模态的权重，使系统能够在雨天、夜间、眩光、湿滑路面等场景下减少对低质量视觉信息的过度依赖，并增强语义指令和车辆状态信息在决策中的作用。

31、2、提高语义决策到车辆动作的可执行性：本发明在轨迹生成阶段引入可微分车辆动力学约束，使输出轨迹满足运动学一致性、纵向加速度限制、加加速度限制、轨迹曲率限制、曲率变化率限制和横向加速度限制，从而降低车辆产生突变转向、急加速或不连续制动的风险。

32、3、降低高风险场景下的响应延迟：本发明设置独立并行运行的安全兜底预测器，在主决策网络置信度不足或碰撞风险升高时，可以快速生成保守安全策略，并通过仲裁模块实现平滑接管或紧急接管。

33、4、增强系统工程可部署性：本发明的环境置信度评估模块、可微分动力学约束模块和安全兜底预测模块均可独立配置，能够适配不用类型的视觉编码器、语义编码器、车辆底盘控制器和传感器组合，具有较好的工程适配能力。