一种智能交通的图文推理方法、系统、设备及介质与流程

本发明涉及智能交通，具体地，涉及一种智能交通的图文推理的方法、系统、设备及介质。

背景技术：

1、路侧感知作为智慧交通与公路数字化领域的核心基础技术，正经历从“看见”到“理解”再到“预见”的深度演进。通过在路侧部署多种摄像头，路侧感知系统能够实时捕获交通参与者的位置、速度、类型及行为意图，同时对道路基础设施状态、气象环境及突发事件进行全面监测，构建起覆盖“人-车-路-环”的全方位感知网络。

2、在智慧交通的应用实践中，路侧感知已不再局限于传统的交通流统计与视频监控，而是深度融入车路协同（vehicle-to-everything，v2x）、自动驾驶云控平台、交通数字孪生等前沿场景。通过协同至边缘计算和云端智能，路侧感知系统能够将原始传感器数据实时转化为结构化的交通语义信息，包括目标检测与跟踪、交通事件识别、路况态势评估等，为智能网联汽车提供超视距的“上帝视角”，弥补单车智能在感知范围与恶劣环境下的局限性。

3、在公路数字化转型的大背景下，路侧感知正成为构建全息路网和数字孪生公路的数据源头。依托高精度、低延时的感知能力，路侧感知系统能够为公路基础设施建立动态的数字化映射，实现对路面病害、沿线设施缺损、交通拥堵态势的主动预警与智能决策。随着开放词汇检测、跨模态大模型等新技术的引入，路侧感知正朝着“开集识别”和“语义泛化”的方向发展，不仅能够精准识别预设的交通标志、信号灯等已知目标，更能灵活应对施工区域、临时设施、异常抛洒物等开放式场景中的未知类别，显著提升了系统在复杂城市道路与高速公路场景中的鲁棒性和泛化能力。

4、现有技术的路侧感知技术已在智能网联示范区、智慧高速、城市全息路口等项目中实现规模化部署。随着车路云一体化的国家战略深入推进，以及v2x产业生态的日趋成熟，路侧感知将从技术验证走向全域覆盖，从辅助工具升级为交通系统智能决策的核心引擎，为构建安全、高效、绿色的未来交通体系提供坚实的技术底座。

5、grounding-dino等视觉-语言模型作为通用的目标检测器，可根据输入文本检测特定目标。路侧感知可以检测交通场景中的专有目标，如路上的行人、路侧基础设施（如水马）等，而grounding-dino等视觉-语言模型（vision language model，vlm）不是路侧感知专有模型，因此缺乏针对路侧感知固定场景的认知。

6、因此，现有技术的智能交通的图文推理方法的通用模型针对路侧感知场景缺乏调优、性能表现不佳、路测感知缺乏鲁棒性，相关技术方案仍有待改进。

技术实现思路

1、为解决上述技术问题，本发明提出了一种智能交通的图文推理方法、系统、设备及介质，能够提高针对路侧感知场景的性能表现，实现高鲁棒性的路测感知。

2、本发明在第一方面提供了一种智能交通的图文推理方法，包括以下步骤：

3、对通用的语言-视觉检测模型进行微调以生成闭集微调模型、开集持续预训练微调模型和开放词汇微调模型；

4、对路由器进行训练，使路由器学习图文训练数据与闭集微调模型、开集持续预训练微调模型和开放词汇微调模型之间的对应关系；

5、使用训练好的路由器基于输入的图文信息从闭集微调模型、开集持续预训练微调模型和开放词汇微调模型中选择图文信息的适用模型；

6、使用图文信息的适用模型确定用于进行图文推理的图像特征提取器、文本特征提取器和检测头，对图文信息进行图文推理。

7、在一些实施例中，对通用的语言-视觉检测模型进行微调以生成闭集微调模型、开集持续预训练微调模型和开放词汇微调模型包括：

8、对语言-视觉检测模型的检测头进行微调以生成闭集-检测头参数，并基于闭集-检测头参数生成闭集微调模型；

9、对语言-视觉检测模型的检测头和图像特征提取器进行微调以生成开集持续预训练-检测头参数和开集持续预训练-图像特征提取器参数，并基于开集持续预训练-检测头参数和开集持续预训练-图像特征提取器参数生成开集持续预训练微调模型；

10、对语言-视觉检测模型的检测头、图像特征提取器和文本特征提取器进行微调以生成开放词汇-检测头参数、开放词汇-图像特征提取器参数和开放词汇-文本特征提取器参数，并基于开放词汇-检测头参数、开放词汇-图像特征提取器参数和开放词汇-文本特征提取器参数生成开放词汇微调模型。

11、在一些实施例中，使路由器学习图文训练数据与闭集微调模型、开集持续预训练微调模型和开放词汇微调模型之间的对应关系包括：

12、将图文训练数据分别输入闭集微调模型、开集持续预训练微调模型和开放词汇微调模型，获得三个推理结果；

13、基于三个推理结果各自与真值的交并比而得到三个原始分数，将三个原始分数归一化得到监督信号；

14、将图文训练数据输入路由器得到原始逻辑值，通过反向传播调整路由器的参数使原始逻辑值拟合监督信号以建立对应关系。

15、在一些实施例中，使用训练好的路由器基于输入的图文信息从闭集微调模型、开集持续预训练微调模型和开放词汇微调模型中选择图文信息的适用模型包括：

16、使用训练好的路由器基于图文信息而计算出闭集微调模型、开集持续预训练微调模型和开放词汇微调模型分别对于图文信息的推理分数；

17、使路由器将计算出的推理分数最高的模型确定为适用模型。

18、在一些实施例中，使用图文信息的适用模型确定用于进行图文推理的图像特征提取器、文本特征提取器和检测头，对图文信息进行图文推理包括：

19、响应于适用模型为闭集微调模型，而基于具有闭集-检测头参数的检测头、以及语言-视觉检测模型中的图像特征提取器和文本特征提取器对图文信息进行图文推理；

20、响应于适用模型为开集持续预训练微调模型，而基于具有开集持续预训练-检测头参数的检测头、具有开集持续预训练-图像特征提取器参数的图像特征提取器以及语言-视觉检测模型中的文本特征提取器对图文信息进行图文推理；

21、响应于适用模型为开放词汇微调模型，而基于具有开放词汇-检测头参数的检测头、具有开放词汇-图像特征提取器参数的图像特征提取器以及具有开放词汇-文本特征提取器参数的文本特征提取器对图文信息进行图文推理。

22、在一些实施例中，对图文信息进行图文推理包括：

23、使用图像特征提取器基于图文信息中的输入图像而确定图像特征；

24、使用文本特征提取器基于图文信息中的输入文本而确定文本特征；

25、使用特征增强颈基于图像特征和文本特征而确定模态融合特征；

26、使用检测头基于模态融合特征而确定目标框和类别作为图文推理的结果。

27、在一些实施例中，特征增强颈为语言-视觉检测模型中的特征增强颈。

28、本发明第二方面提供了一种智能交通的图文推理系统，包括：

29、微调模块，其对通用的语言-视觉检测模型进行微调以生成闭集微调模型、开集持续预训练微调模型和开放词汇微调模型；

30、训练模块，其对路由器进行训练，使路由器学习图文训练数据与闭集微调模型、开集持续预训练微调模型和开放词汇微调模型之间的对应关系；

31、判定模块，其使用训练好的路由器基于输入的图文信息从闭集微调模型、开集持续预训练微调模型和开放词汇微调模型中选择图文信息的适用模型；

32、推理模块，其使用图文信息的适用模型确定用于进行图文推理的图像特征提取器、文本特征提取器和检测头，对图文信息进行图文推理。

33、本发明第三方面提供了一种计算设备，包括处理器和存储器，存储器存储有可在处理器上运行的计算机指令，指令在由处理器执行时实现前述的智能交通的图文推理方法中的一个或多个步骤。

34、本发明第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现前述的智能交通的图文推理方法中的一个或多个步骤。

35、本发明实施例通过考虑到路侧感知的场景需求而对通用的视觉-语言模型进行微调得到专有模型，利用不同微调策略得到多个微调模型，每个微调模型的侧重点不同并且适合不同的场景或问题；在需要推理时根据给定的场景和文本选择合适的微调模型，从而在不大幅增加计算和显存开销的情况下得到最优的推理结果，能够提高针对路侧感知场景的性能表现，实现高鲁棒性的路测感知。