一种基于大模型的交通气象实时观测服务方法及系统与流程

本发明涉及交通气象处理，尤其涉及一种基于大模型的交通气象实时观测服务方法及系统。

背景技术：

1、随着汽车保有量的持续增长和道路网络的不断扩展，极端和特殊天气（如道路积水、结冰、浓雾等）对交通安全和道路通行能力的影响日益显著。在恶劣天气条件下，道路湿滑、能见度降低等问题可能导致交通事故频发，严重影响交通运行效率。目前，交通气象监测主要依赖于自动气象观测站，这些设备通过多种传感器采集气象数据，虽然能够提供相对精准的气象参数，但其存在部署成本较高、覆盖密度有限、难以直接反映道路实际状况等问题，难以满足对高时空分辨率交通气象数据的需求。此外，人工观测方式也难以满足现代交通系统对实时性和精确性的要求。而公路监控摄像头作为道路交通监测的重要基础设施，具有高密集分布和全天候运行的特性，是一种性价比极高的交通信息采集手段，因此通过深度学习和图像处理技术处理公路摄像头采集到的图片和视频信息可以快速且真实的观测到实时的交通气象状况。其次，之前观测段和服务端要通过交通气象专家作为桥梁，由人工分析观测端数据并将决策提供给服务端。而多模态大模型的出现可以替代这个角色。

2、专利cn119169832a设计了一种可移动式高速公路交通气象实时检测预警系统，通过设计一种移动形传感器实时采集高速公路沿线的交通气象数据，并进行预处理和分析，最后通过通信模块将处理后的数据传输到监控中心。本方案采用的是基于公路沿线监控图片或视频，通过深度学习可直接获取直观相关信息的方案，可直接输出道路状况和能见度等级，实现方法和得到信息的直观性不同。

3、专利cn119228808a设计了一种基于不同波长光进行图像灰度对比的能见度检测方法，通过构建标准目标物在实验室环境下的标准灰度数据集，然后通过对采集到的灰度图像进行综合分析，利用不同波长光的大气透射率不同的原理，计算消光系数进而测得能见度。本方案采用深度学习技术，建立了基于道路监控能见度等级的数据集，对实际的道路照片训练，可得出适用于交通管理得能见度等级，并给出交通管理方法。

4、专利《cn112966782b》设计了一种多视角特征融合的路面积水检测识别方法，对相同区域不同视角的图像进行处理，得到颜色直方图和信息熵，通过计算颜色直方图的相似度和信息熵偏差判断出路面是否积水。本方案只使用单个摄像头的一个视角便可得知路面是否积水，观测成本更低，且提供决策方案。

5、专利《cn109409185a》提出了一种识别积雪覆盖路面的方法，先利用车前摄像头检测车前方轮胎轨迹，前方检测到轮胎轨迹即判断有积雪，若前方未检测到轮胎轨迹，使用车后方和侧方相机检测轮胎轨迹，当后方和两个侧方图像中的至少一个检测到轮胎轨迹，即判断有积雪覆盖。本方案使用道路监控摄像头，使用深度学习技术直接判别是否积雪。数据来源，判别方法，判别使用的资源都不相同。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明的目的在于提供一种基于大模型的交通气象实时观测服务方法及系统，其能够对道路气象交通的实时检测，通过现有的交通监控，使用深度学习和图像处理的方法，实时检测路面状况（积雪，积水，潮湿，干燥）和道路能见度等级。并且利用ai大模型的推理能力，给出智能调度决策。

3、为实现上述目的，本发明第一方面的技术方案提供了一种基于大模型的交通气象实时观测服务方法，包括以下步骤：

4、s1视觉感知数据采集：采用已部署的道路监控摄像头采集实时视频流，通过加密视频流api接口完成数据传输，按预设采集频率从视频流中截取道路场景图片，经清晰度校验与异常筛选后得到有效原始图片；

5、s2多维度交通气象参数并行识别：将所述有效原始图片输入本地或边缘端部署的算法处理模块，并行运行路面状况识别算法、能见度等级检测算法、天气状况识别算法，同步输出路面状况分类结果、积水/积雪路面量化面积、能见度数值与对应等级、天气实况分类结果；

6、s3多模态气象特征融合分析：通过多模态大模型对所述有效原始图片、同步获取的区域实时气象数据进行跨模态特征融合与综合评估，输出当前路段气象条件的综合评估结果；

7、s4基于检索增强生成的智能交通决策生成：将步骤s2得到的识别结果、步骤s3得到的综合评估结果输入决策服务模块，通过检索增强生成rag技术调取内置的交通气象行业知识库，将检索结果与识别结果、综合评估结果深度融合后，输入大语言推理模型生成与当前路段属性匹配的可落地交通决策方案；

8、s5标准化数据交互输出：将步骤s2得到的识别结果、步骤s4得到的交通决策方案按预设标准化编码规则进行结构化封装，按与采集频率同步的输出频率完成数据输出，实现交通气象观测与决策服务的闭环运行。

9、在上述技术方案中，优选地，所述步骤s1中，预设采集频率支持按需配置，默认值为每30秒截取1帧图像；所述有效原始图片的分辨率不低于1920×1080，若截取的图片出现模糊、遮挡、过曝、欠曝的异常情况，系统自动触发重新截取机制，直至获取符合清晰度要求的有效原始图片。

10、在上述任一技术方案中，优选地，所述步骤s2中的路面状况识别算法，基于convnext骨干网络构建语义分割模型，实现干燥、潮湿、积水、积雪四类路面状况的像素级识别与量化分析，所述语义分割模型的整体表达式为：，式中：x为输入的有效原始图片；为模型输出的像素级路面状况类别概率图；w为分割头权重参数，采用1×1卷积核；为convnext骨干网络的主干映射函数，表达式为，其中为骨干网络的第l个卷积块；为多尺度特征融合函数，表达式为，其中为骨干网络第i层输出的特征图，为上采样操作，为对应特征层的融合权重，n为特征层总数量；

11、所述语义分割模型采用交叉熵损失函数进行参数优化，损失函数表达式为：，式中：n为单批次内图像的像素总数量；c为路面状况的类别总数；为第n个像素在第i类上的真实标注标签；为第n个像素属于第i类的模型预测概率；

12、所述语义分割模型的训练超参数设置为：学习率1e-4，批次大小16，训练轮次50轮；训练完成后，模型对四类路面状况的识别准确率不低于92%，推理速度不低于30帧/秒；模型输出路面状况分类结果的同时，通过像素级分割结果与图片比例尺的换算，计算得到积水、积雪路面的实际面积，计算误差不超过5%。

13、在上述任一技术方案中，优选地，所述步骤s2中的能见度等级检测算法，基于efficientnet网络构建分类模型，实现交通气象规范中5个能见度等级的精准分类与数值输出，所述分类模型的整体表达式为：，式中：p为能见度等级的预测类别概率向量；x为输入的有效原始图片；w为分类权重矩阵；gap为全局平均池化操作；b为分类偏置向量；

14、为efficientnet骨干网络的主干映射函数，表达式为，其中为骨干网络的第l个倒残差卷积块；

15、所述分类模型采用交叉熵损失函数进行参数优化，损失函数表达式为：，式中：k为能见度等级的类别总数；为能见度等级真实标签的one-hot编码；为对应类别的模型预测概率；

16、所述分类模型的训练超参数设置为：学习率5e-5，批次大小32，训练轮次40轮；训练完成后，模型对能见度等级的识别准确率不低于90%，推理速度不低于40帧/秒；所述5个能见度等级的划分规则为：等级0对应能见度大于500m，等级1对应能见度200m-500m，等级2对应能见度100m-200m，等级3对应能见度50m-100m，等级4对应能见度0m-50m。

17、在上述任一技术方案中，优选地，所述步骤s2中的天气状况识别算法，基于convnext-base骨干网络构建分类模型，结合迁移学习技术实现晴天、阴天、雨天、雾天、多云五类天气实况的精准识别，所述分类模型的整体表达式为：，式中：p为天气状况的预测类别概率向量；x为输入的有效原始图片；w为分类权重矩阵；gap为全局平均池化操作；b为分类偏置向量；为convnext-base骨干网络的主干映射函数；

18、所述迁移学习的权重优化表达式为：，式中：脚标s为源任务，脚标t为目标天气识别任务；为天气状况识别模型的最终优化权重；为通过反向传播与优化器求解损失函数最小值对应的权重参数；为天气状况识别模型的初始化权重；为基于imagenet-1k数据集预训练得到的骨干网络权重；为目标任务的交叉熵损失函数，表达式为，其中k为天气状况的类别总数，为天气状况真实标签的one-hot编码，为对应类别的模型预测概率；

19、所述分类模型的训练超参数设置为：学习率1e-4，批次大小32，训练轮次35轮；训练完成后，模型对天气状况的识别准确率不低于89%，推理速度不低于35帧/秒。

20、在上述任一技术方案中，优选地，所述步骤s4中的检索增强生成rag技术，其概率生成表达式为：，式中：x为模型输入的查询文本，包含当前路段的识别结果与综合评估结果；y为大语言模型生成的交通决策方案输出序列；z为交通气象行业知识库的全量文档集合；z为从知识库中检索得到的单段相关文档内容；为在输入查询x条件下，检索选中文档z的概率；为在给定输入查询x与检索文档z的条件下，模型生成决策方案y的条件生成概率；为给定输入查询x时，模型生成决策方案y的最终边际概率；

21、所述交通气象行业知识库涵盖交通气象行业规范、道路安全标准、恶劣天气应急处置流程、不同气象条件下的交通管控经验，知识库支持定期更新。

22、在上述任一技术方案中，优选地，所述步骤s3中的多模态特征融合，其表达式为：，式中：为第n个模态的输入数据，包括道路场景图像、区域实时气温、降水、风速气象数据；为第n个模态输入对应的特征编码网络；为多模态特征融合函数，用于对多组异构特征进行对齐与融合；m为输出的多模态融合语义表达向量；

23、所述步骤s4中的大语言推理模型，其序列生成概率表达式为：，式中：x为文本化的算法识别结果与rag检索内容输入；m为多模态特征融合后的语义表达向量；y为最终生成的交通决策方案文本序列；为序列中第t个生成的token；为第t个token之前已生成的全部token序列；为给定前文序列、文本输入与多模态融合信息时，生成第t个token的条件概率；t为生成序列的总长度；

24、所述交通决策方案采用分级输出机制，分为一般提示、警示提醒、应急处置三个等级。

25、在上述任一技术方案中，优选地，所述步骤s5中，结构化输出采用json字典格式，包含六大核心参数，各参数的编码规则如下：date：采集日期与时间，格式为yyyymmddhhmmss，精确到秒；ana：天气实况编码，采用0-4编码，0=多云，1=有雾，2=下雨，3=阴天，4=晴天；aqe：路面状况编码，采用0、8、9、10编码，0=积雪，8=干燥，9=潮湿，10=积水；aqa：积水或积雪的实际路面面积，单位为m²，路面状况为干燥、潮湿时取值为0；ama：能见度数值，单位为m，取值范围0-5000；aml：能见度等级编码，采用0-4编码，对应5个能见度等级；

26、所述结构化输出支持扩展决策建议、数据可信度附加参数，输出频率与步骤s1的采集频率同步，数据异常时同步输出异常提示信息。

27、本发明第二方面的技术方案提供了一种执行本发明第一方面中任一技术方案提供的基于大模型的交通气象实时观测服务方法的系统，包括依次通信连接的视觉感知模块、算法处理模块、决策服务模块、识别数据输出模块；

28、所述视觉感知模块，用于采用已部署的道路监控摄像头采集实时视频流，按预设频率截取并筛选得到有效原始图片，完成数据加密传输；

29、所述算法处理模块，部署于本地服务器或边缘计算设备，内置并行运行的路面状况识别算法、能见度等级检测算法、天气状况识别算法，用于对有效原始图片进行多维度协同识别，输出交通气象相关精准参数；

30、所述决策服务模块，内置多模态大模型、大语言推理模型与交通气象行业知识库，用于融合算法识别结果与多模态分析数据，通过检索增强生成技术完成行业知识匹配，生成可落地的交通决策方案；

31、所述识别数据输出模块，用于对识别结果与决策方案进行标准化结构化封装，完成与现有交通管理系统、气象监测平台、道路养护系统的无缝对接。

32、在上述技术方案中，优选地，所述视觉感知模块的道路监控摄像头，涵盖高速公路、城市主干道、次干道、桥梁、隧道出入口交通场景的已部署设备，无需新增专用气象监测硬件；所述视觉感知模块内置图像校验单元，用于对截取的图片进行清晰度、异常状态校验，触发异常重采机制。

33、与现有技术相比，本发明提供的基于大模型的交通气象实时观测服务方法及系统的优点在于：

34、本发明无需新增专用气象监测硬件，可全面复用高速公路、城市道路、桥梁隧道等交通场景已广泛部署的道路监控摄像头资源，大幅降低了交通气象监测系统的部署与运维成本，同时依托监控设备的高密度全域覆盖特性，解决了传统固定气象站监测覆盖密度不足、时空分辨率低、难以直接反映路面实际状况的核心痛点；

35、本发明通过基于深度学习优化构建的路面状况识别、能见度等级检测、天气状况识别三类算法并行处理架构，仅需单摄像头单视角的道路图像输入，即可同步完成路面状况像素级识别与量化、能见度等级划分、天气实况分类的多维度交通气象参数精准检测，突破了现有技术检测维度单一、需依赖多视角/多设备协同、识别结果难以直接作为交通管理决策依据的技术局限，且各算法均具备优异的识别精度与实时推理性能，可稳定适配不同光照、时段、天气条件下的复杂道路场景监测需求；

36、本发明通过多模态大模型实现道路场景图像与区域实时气象数据的跨模态特征融合与综合评估，替代了传统交通气象服务中依赖交通气象专家人工完成数据分析的中间环节，大幅提升了分析效率与响应实时性，同时结合检索增强生成技术与内置的交通气象行业知识库，通过大语言推理模型直接生成与当前路段类型、交通属性相匹配的分级可落地交通决策方案，打破了传统交通气象观测仅能输出原始数据、无法直接提供闭环决策服务的行业壁垒，真正实现了交通气象“观测即服务”的全流程智能化闭环运行；

37、此外，本发明通过统一规范的标准化结构化数据编码与输出规则，可实现与现有交通管理、气象监测、道路养护等业务系统的无缝对接，同时支持本地与边缘端灵活部署，兼具极强的场景适配性与工程落地实用性，能够为恶劣天气下的交通管控、应急处置、道路养护提供全链条的精准智能化支撑，有效降低恶劣气象条件下的交通事故发生率，提升道路通行安全与交通运行效率。