基于多模态语言模型与车辆意图识别的交叉口通行方法

本发明涉及智能交通，具体涉及一种基于多模态语言模型与车辆意图识别的交叉口通行方法。

背景技术：

1、交叉口是城市道路网络中车辆、非机动车和行人时空交互最密集的区域。特别是在早晚高峰、恶劣天气、临时施工、优先车辆通行和潮汐车流等情形下，仅基于固定配时或单一感知结果进行控制，难以兼顾通行效率和冲突风险。车路协同通信v2x（vehicle-to-everything，车联万物）能够向路侧系统提供车辆位置、速度、目标车道、转向意图和预计到达时刻等先验信息，为交叉口精细化协同通行提供了条件。但是，现有通信可能受到通信时延、定位漂移、消息丢失、车辆临时变道、驾驶员或自动驾驶系统策略变化以及异常报文等因素影响。若交通控制系统将车辆上报的意图直接作为放行或预约依据，容易造成车辆实际轨迹与已分配通行窗口不一致，进而产生相位冲突、冲突区重复占用或对行人和非机动车保护不足的问题。

2、大模型具有综合理解异构场景信息和生成候选协同策略的能力，但将大模型直接用于输出相位、绿灯时间或车辆放行指令，仍存在输出不符合路口相位规则、无法解释意图依据以及难以及时处置车辆意图偏离的问题。

3、因此，提供了一种基于多模态语言模型与车辆意图识别的交叉口通行方法。

技术实现思路

1、（1）要解决的技术问题

2、本发明实施例提供了一种基于多模态语言模型与车辆意图识别的交叉口通行方法，解决了交叉口协同通行方法中环境感知不足、传统模型生成方案难以满足物理安全约束、车辆实际轨迹发生偏离时通行窗口难以及时撤销的技术问题。

3、（2）技术方案

4、本发明提供了一种基于多模态语言模型与车辆意图识别的交叉口通行方法，包括以下步骤：

5、获取目标交叉口的车辆意图消息和路侧感知数据；

6、根据所述车辆意图消息和所述路侧感知数据形成车辆意图记录；

7、对所述车辆意图记录进行可信校验，得到意图可信度；

8、根据车辆信息、车道组和预测轨迹构建时空冲突图；

9、将结构化场景信息、所述意图可信度及所述时空冲突图输入大模型，得到候选通行优先级或候选通行窗口；

10、对所述候选通行优先级或所述候选通行窗口进行相位约束和冲突约束验算，得到协同通行方案；

11、根据所述协同通行方案向车载终端下发控制指令；

12、当监测到的车辆实际轨迹与所述车辆意图记录的偏离满足预设条件时，撤销对应通行窗口、重新生成协同通行方案或执行安全回退方案。

13、进一步地，所述车辆意图消息至少包括临时车辆标识、消息生成时间、车辆位置、速度、加速度、航向角、目标车道标识、目标转向方向及预测到达冲突区的时刻中的至少两项。

14、进一步地，所述路侧感知数据包括由摄像机、毫米波雷达、激光雷达或地磁传感器中的一种或多种获得的目标轨迹、目标类别、位置、速度、航向角及车道归属信息。

15、进一步地，所述车辆意图记录为基于位置距离、速度差、航向角差和时间戳差对车辆标识与路侧目标轨迹进行关联。

16、进一步地，所述意图可信度至少由消息时效一致性、位置运动一致性、历史行为履约一致性及路网相位规则兼容性确定。

17、进一步地，所述时空冲突图的节点包括交通参与者、车道组、冲突区及预测占用时间窗，边用于表示两个交通参与者占用同一冲突区的时间重叠关系或两个车道组之间的冲突关系。

18、进一步地，所述大模型的输出信息包括候选放行车道组、候选通行优先级、候选时间窗、候选相位序列和对应的结构化理由中的一种或多种。

19、进一步地，所述对所述候选通行优先级或所述候选通行窗口进行相位约束和冲突约束验算，得到协同通行方案，具体为：

20、依据当前相位、允许相位迁移关系、最小绿灯时间、黄灯时间、全红时间、行人清空时间、非机动车保护时间及冲突区互斥关系，对所述候选通行优先级或所述候选通行窗口进行验算；当候选结果不满足任一约束时，生成包含被违反约束和关联冲突区的结构化反例，并将所述结构化反例反馈至所述大模型以生成所述协同通行方案。

21、进一步地，所述预设条件包括：实际轨迹相对预测轨迹的位置偏差、航向偏差、到达时刻偏差或实际转向与意图转向不一致度中的至少一项超过阈值。

22、本发明还提供了一种采用上述的基于多模态语言模型与车辆意图识别的交叉口通行方法的系统，包括：

23、数据获取模块，用于获取目标交叉口的车辆意图消息和路侧感知数据；

24、意图记录模块，用于根据所述车辆意图消息和所述路侧感知数据形成车辆意图记录；

25、可信校验模块，用于对所述车辆意图记录进行可信校验，得到意图可信度；

26、冲突构建模块，用于根据车辆信息、车道组和预测轨迹构建时空冲突图；

27、协同决策模块，用于将结构化场景信息、所述意图可信度及所述时空冲突图输入大模型，得到候选通行优先级或候选通行窗口；

28、安全编译模块，用于对所述候选通行优先级或所述候选通行窗口进行相位约束和冲突约束验算，得到协同通行方案；

29、控制执行模块，用于根据所述协同通行方案向车载终端下发控制指令；

30、在线监测模块，用于当监测到的车辆实际轨迹与所述车辆意图记录的偏离满足预设条件时，撤销对应通行窗口、重新生成协同通行方案或执行安全回退方案。

31、（3）有益效果

32、综上，本发明通过将车辆上报意图与路侧实测轨迹、历史履约行为及路网相位规则联合校验，避免将不可信或失真的车辆转向意图直接作为协同通行依据，提高了通行窗口分配的可靠性。将大模型限定为生成结构化候选优先级和候选窗口，完成相位与冲突约束验证，使大模型的场景理解能力与交叉口物理安全约束形成闭环，降低不可执行或存在冲突的控制方案被下发的概率。同时，通过在线检测意图与实际轨迹偏离并执行撤销、重分配和安全回退，能够适应临时变道、突然转向、通信质量下降和异常事件，提高复杂交叉口在混行条件下的鲁棒性和可解释性。

1.一种基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，所述车辆意图消息至少包括临时车辆标识、消息生成时间、车辆位置、速度、加速度、航向角、目标车道标识、目标转向方向及预测到达冲突区的时刻中的至少两项。

3.根据权利要求1所述的基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，所述路侧感知数据包括由摄像机、毫米波雷达、激光雷达或地磁传感器中的一种或多种获得的目标轨迹、目标类别、位置、速度、航向角及车道归属信息。

4.根据权利要求1所述的基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，所述车辆意图记录为基于位置距离、速度差、航向角差和时间戳差对车辆标识与路侧目标轨迹进行关联。

5.根据权利要求1所述的基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，所述意图可信度至少由消息时效一致性、位置运动一致性、历史行为履约一致性及路网相位规则兼容性确定。

6.根据权利要求1所述的基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，所述时空冲突图的节点包括交通参与者、车道组、冲突区及预测占用时间窗，边用于表示两个交通参与者占用同一冲突区的时间重叠关系或两个车道组之间的冲突关系。

7.根据权利要求1所述的基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，所述大模型的输出信息包括候选放行车道组、候选通行优先级、候选时间窗、候选相位序列和对应的结构化理由中的一种或多种。

8.根据权利要求1所述的基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，所述对所述候选通行优先级或所述候选通行窗口进行相位约束和冲突约束验算，得到协同通行方案，具体为：

9.根据权利要求1所述的基于多模态语言模型与车辆意图识别的交叉口通行方法，其特征在于，所述预设条件包括：实际轨迹相对预测轨迹的位置偏差、航向偏差、到达时刻偏差或实际转向与意图转向不一致度中的至少一项超过阈值。