一种智能交通的图文推理方法、系统、设备及介质与流程

本发明涉及智能交通，具体地，涉及一种智能交通的图文推理的方法、系统、设备及介质。

背景技术：

1、路侧感知在智慧交通领域具有广泛应用，通过部署在道路上的“智慧之眼”来突破单车智能的感知局限，构建更安全、更高效、更协同的交通系统。路侧感知系统的“上帝视角”能有效弥补单车传感器的盲区，并实现全天候、超视距的感知。单车智能在复杂路口或恶劣天气下存在感知盲区。路侧设备通过高位部署，能提前发现被遮挡的行人或车辆，在驾驶员反应过来之前发出预警甚至主动避险。在模拟测试中，车路协同系统能在0.3秒内完成从发现险情到车辆自动制动的全过程，避免高速追尾事故。路侧感知能瞬间捕捉事故、故障停车等异常事件并自动报警。在高速，一起爆胎侧翻事故从发生到后台收到报警仅用30秒，路巡人员9分钟即到场处理，而以往类似事故处置最快也要1小时。

2、路侧感知为“聪明的车”提供了“智慧的路”这一强大外援，是高级别自动驾驶规模落地的重要支撑。路侧感知设备（摄像头、雷达等）将实时路况信息（如红绿灯状态、施工占道、前方拥堵）直接推送给车辆，辅助其进行路径规划和决策。这不仅让自动驾驶更安全，也降低了单车感知系统的硬件成本。路侧感知是“车路云一体化”架构的核心数据源。路侧感知数据汇入云控平台后，可实现城市级智能网联汽车的监管、交通事件的数字孪生监控和红绿灯的智能调控。

3、路侧感知系统能将海量交通流数据转化为智能决策，让信号灯从“固定配时”走向“动态思考”。通过路侧设备实时采集车道级车流量、车速数据，ai模型能动态优化红绿灯配时方案。可使试点路口闯红灯行为显著下降近50%；在公交优先场景下，公交车路口停车延误下降40%以上。路侧感知系统被用于优化商用车的零部件物流。系统可提前告知重卡司机最佳通行速度以减少急刹，预计可将平均物流时长缩短15%以上，同时降低油耗。

4、路侧感知让交通管理从依赖“人海战术”转向“精准洞察”，实现对交通违法和特定场景的智能监管。系统能自动识别行人、非机动车闯红灯等违法行为，并实现“事前提醒、事中干预、事后证据固定”的全流程闭环处理。路侧感知技术已被用于无人驾驶巡查车，可动态识别占道经营、乱停车等多类城市管理问题，将数据同步回传至城市管理平台，实现“一数多用”。

5、近年来，视觉语言模型（vision-language model，vlm）发展迅速，其在路侧感知领域的应用也日益深入和广泛。vlm的核心价值在于为交通系统带来了前所未有的语义理解与逻辑推理能力，不再局限于“看见”物体，而是能真正“理解”复杂的交通场景。但不同于文本信息，图像信息存在大量冗余，导致vlm推理速度较慢。一张高分辨率图像会被编码成几百甚至上万个视觉信息元，如llava-next处理高清图会产生2880个视觉信息元，qwen2.5-vl处理多图或视频时信息元数可达16384个。而自注意力机制的计算复杂度是随序列长度呈平方级增长的，大量冗余信息元带来了巨大的算力浪费，而且因为推理速度慢，难以满足一些应用的要求。

6、因此，现有技术的智能交通的图文推理方法的图像信息存在大量冗余导致推理速度慢，相关技术方案仍有待改进。

技术实现思路

1、为解决上述技术问题，本发明提出了一种智能交通的图文推理方法、系统、设备及介质，能够压缩视觉信息元，结合场景和问题文本而指向性地保留有关的视觉信息元，显著降低推理耗时和内存消耗并保证推理的准确性。

2、本发明在第一方面提供了一种智能交通的图文推理方法，包括以下步骤：

3、将图文信息编码为图像信息元组和文本信息元组；

4、基于图像信息元组与文本信息元组之间的相关性，从图像信息元组中提取出第一图像信息元组；

5、基于图像信息元组与具有先验知识的信息元字典之间的相关性，从图像信息元组中提取出第二图像信息元组；

6、将第一图像信息元组、第二图像信息元组和文本信息元组解码为推理结果。

7、在一些实施例中，将图文信息编码为图像信息元组和文本信息元组包括：

8、使用图像视觉编码器对图文信息中的输入图像进行编码，得到由多个图像信息元构成的图像信息元组；

9、使用文本编码器对图文信息中的输入文本进行编码，得到由多个文本信息元构成的文本信息元组。

10、在一些实施例中，基于图像信息元组与文本信息元组之间的相关性，从图像信息元组中提取出第一图像信息元组包括：

11、基于图像信息元组和文本信息元组生成相关性矩阵，相关性矩阵包括图像信息元组中的每个图像信息元与文本信息元组中的每个文本信息元之间的相关性；

12、基于相关性矩阵确定每个图像信息元与所有文本信息元之间的整体相关性；

13、从图像信息元组中获取与所有文本信息元之间的整体相关性最大的第一数量的图像信息元，并基于其构成第一图像信息元组。

14、在一些实施例中，基于图像信息元组与具有先验知识的信息元字典之间的相关性，从图像信息元组中提取出第二图像信息元组包括：

15、使用训练好的分类器基于图像信息元组和文本信息元组而确定图文信息的图文类型；

16、基于图文类型而确定与图文类型相对应的信息元字典，信息元字典由具有先验知识的多个样本信息元构成；

17、基于图像信息元组和信息元字典从图像信息元组中获取与所有样本信息元之间的整体相关性最大的第二数量的图像信息元，并基于其构成第二图像信息元组。

18、在一些实施例中，还包括以下所述分类器的训练以及信息元字典的生成步骤：

19、使用标注过的训练数据对分类器进行训练，使得分类器建立起图像信息元组和文本信息元组与图文类型之间的对应关系；

20、对从图文类型相同的图像-文本信息对中提取的重要视觉信息元进行聚类，将生成的每个聚类中心作为一个样本信息元，由所有样本信息元构成与图文类型相对应的信息元字典。

21、在一些实施例中，将第一图像信息元组、第二图像信息元组和文本信息元组解码为推理结果包括：

22、对第一图像信息元组和第二图像信息元组取并集生成第三图像信息元组；

23、将第三图像信息元组和文本信息元组解码为推理结果。

24、在一些实施例中，在得到推理结果之后还执行以下步骤：

25、基于真实值对推理结果进行比较得到偏差度量；

26、使用偏差度量对图像视觉编码器、和/或文本编码器进行校正。

27、本发明第二方面提供了一种智能交通的图文推理系统，包括：

28、编码模块，其将图文信息编码为图像信息元组和文本信息元组；

29、文本剪枝模块，其基于图像信息元组与文本信息元组之间的相关性，从图像信息元组中提取出第一图像信息元组；

30、先验剪枝模块，其基于图像信息元组与具有先验知识的信息元字典之间的相关性，从图像信息元组中提取出第二图像信息元组；

31、解码模块，其将第一图像信息元组、第二图像信息元组和文本信息元组解码为推理结果。

32、本发明第三方面提供了一种计算设备，包括处理器和存储器，存储器存储有可在处理器上运行的计算机指令，指令在由处理器执行时实现前述的智能交通的图文推理方法中的一个或多个步骤。

33、本发明第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现前述的智能交通的图文推理方法中的一个或多个步骤。

34、本发明实施例通过将图文信息编码为图像信息元组和文本信息元组；基于图像信息元组与文本信息元组之间的相关性，从图像信息元组中提取出第一图像信息元组；基于图像信息元组与具有先验知识的信息元字典之间的相关性，从图像信息元组中提取出第二图像信息元组；将第一图像信息元组、第二图像信息元组和文本信息元组解码为推理结果，从而能够压缩视觉信息元，结合场景和问题文本而指向性地保留有关的视觉信息元，显著降低推理耗时和内存消耗并保证推理的准确性。