一种基于大小模型复判的燃气无人机智能巡检系统及方法与流程

摘要: 本发明涉及燃气安全智能巡检领域,特别是涉及一种基于大小模型复判的燃气无人机智能巡检系统及方法。背景技术:1、随着城镇燃气管网规模持续增长,巡检app、厂站固定摄...
一种基于大小模型复判的燃气无人机智能巡检系统及方法与流程

本发明涉及燃气安全智能巡检领域,特别是涉及一种基于大小模型复判的燃气无人机智能巡检系统及方法。

背景技术:

1、随着城镇燃气管网规模持续增长,巡检app、厂站固定摄像头、工地布控球及无人机等视觉感知设备每日产生海量图片与视频数据,传统人工审阅模式存在效率低、漏检多、标准不统一等短板,已无法满足全域安全管控需求。

2、现已公开的中国专利cn121660202a-一种基于边缘计算的无人机智能巡检方法,涉及由无人机巡检终端采集设备表面温度、燃气泄漏浓度等多维度物理参数,边缘计算控制器基于物理参数构建概率密度函数并计算设备故障概率,再基于故障概率生成巡检任务序列和进行路径规划。该方案虽然能够实现基于边缘计算的巡检任务调度与路径优化,但其核心在于解决“何时去哪巡检”的决策问题,边缘计算控制器不涉及对巡检图像中具体危险目标的视觉检测,也不具备对图像数据与传感数据进行深度语义融合分析的能力。在燃气巡检场景中,无人机同步搭载甲烷泄漏探头和视觉相机,同时采集图像数据与甲烷浓度等传感数据,该方案无法将图像视觉特征与传感数据数值进行交叉验证,当甲烷浓度超标而图像未见明显视觉异常时存在漏检风险。

3、更为关键的是,现有云边巡检架构普遍为同质化的“边缘初筛+云端规则判断”模式,云端无行业大模型支撑,不具备多模态语义推理与视觉-传感数据深度融合能力,误报漏检问题无法根治。因此,亟需一种以燃气行业多模态大模型为核心、大小模型形成闭环迭代、视觉与泄漏传感结果深度结合的大小模型复判智能巡检方案。

技术实现思路

1、针对上述问题,本发明提供了一种基于大小模型复判的燃气无人机智能巡检系统及方法,其能够保障实时性的前提下提升危险场景识别精度,解决视觉与传感数据割裂、传统云边架构同质化、大小模型无协同闭环的技术问题,进而解决因视觉与传感数据割裂导致的漏检风险。

2、本发明的技术方案是:

3、一种基于大小模型复判的燃气无人机智能巡检系统,包括:

4、无人机终端,用于采集图像数据与传感数据,并将所述图像数据和传感数据上传至边缘感知与初筛模块;所述传感数据包括甲烷浓度数据;

5、边缘感知与初筛模块,用于接入图像数据与传感数据,并按时间戳与空间坐标对所述图像数据与所述传感数据进行配准,得到图像-传感数据关联数据;并用轻量化视觉小模型对所述关联数据中的图像数据进行风险目标检测与筛选,同时将所述关联数据中的传感数据与预设安全阈值进行比对;将筛选出的关联数据和/或传感数据超过预设安全阈值的关联数据标为异常数据,发往云端智能复判模块;

6、云端智能复判模块,用于接收所述异常数据,并利用预先构建的燃气行业多模态大模型,结合专属知识库和预设提示词,对所述异常数据进行深度语义融合、逻辑推理与交叉验证,确认危险场景并输出风险判定分级;

7、平台应用与闭环模块,用于接收所述风险判定分级,生成预警信息和处置工单并下发,并接收人工复核结果,通过所述人工复核结果实现所述轻量化视觉小模型与所述燃气行业多模态大模型的双路径迭代优化。

8、进一步地,所述巡检无人机通过机载通信链路与所述边缘感知与初筛模块连接;所述边缘感知与初筛模块通过加密网络与所述云端智能复判模块连接;所述云端智能复判模块通过api接口与所述平台应用与闭环模块连接。

9、进一步地,所述边缘感知与初筛模块包括:

10、数据接入单元,用于接入所述图像数据和所述传感数据,并按时间戳与空间坐标对所述图像数据与所述传感数据进行配准,得到所述图像-传感数据关联数据;

11、图像预处理单元,用于对所述实时图像数据进行格式标准化、去重和图像增强处理;

12、小模型推理单元,加载轻量化视觉小模型,对预处理后的图像数据进行风险目标检测和置信度判定,滤除低于预设阈值的画面,保留筛选出的图像数据;

13、传感数据比对单元,用于将传感数据与预设安全阈值逐一比对,标记传感数据超过预设安全阈值的关联数据;

14、异常数据上传单元,将所述筛选出的关联数据和所述传感数据超过预设安全阈值的关联数据标为异常数据,发往所述云端智能复判模块;其中,传感数据超过预设安全阈值时,不受图像筛选结果约束,独立触发上传。

15、进一步地,所述云端智能复判模块包括:

16、多模态大模型推理单元,用于加载燃气行业多模态大模型,对所述异常数据中的图像数据进行语义理解,并对所述异常数据中的传感数据进行数值解读;

17、专属知识库管理单元,用于存储和管理燃气安全领域的规范、标准和历史案例知识;

18、提示词工程与风险核验单元,用于调用预设提示词,结合所述专属知识库,对图像语义结果与传感数值结果进行语义级交叉验证,完成误报排除与逻辑判定;

19、风险等级判定单元,用于综合语义理解、数值解读和风险核验结果,输出风险判定分级。

20、进一步地,所述无人机终端包括机载甲烷泄漏探头;所述机载甲烷泄漏探头具备ppm级检测精度,用于对甲烷气体浓度进行实时监测,并将甲烷浓度数据与对应航拍图像数据以时间戳与空间坐标精准同步回传至所述边缘感知与初筛模块。

21、进一步地,所述平台应用与闭环模块包括:

22、分级预警与工单生成单元,用于对高风险事件生成实时预警并推送至调度中心和就近巡线人员,对中风险事件自动生成整改工单并按预设流程派发,对低风险事件纳入统计分析台账;

23、处置复核与闭环销号单元,用于接收现场处置后的复核结果,完成从预警、派单、整改到复核销号的全流程闭环;

24、模型迭代反哺单元,用于根据所述人工复核结果生成标注样本,将所述标注样本中用于修正漏检、误报的图像样本用于对所述轻量化视觉小模型进行增量微调;将所述标注样本中的跨模态误判案例用于更新所述预设提示词及所述专属知识库,实现所述轻量化视觉小模型与所述燃气行业多模态大模型的协同迭代;

25、设备档案沉淀单元,用于将巡检记录与隐患处置结果同步至对应燃气设备的全生命周期管理档案。

26、进一步地,还包括地面管理终端,通过无线网络与所述平台应用与闭环模块连接,接收预警信息和处置工单,并上传现场处置反馈结果。

27、根据本发明的另一方面,还提供一种基于大小模型复判的燃气无人机智能巡检方法,包括:

28、采集终端上传的现场环境图像数据和现场环境传感数据;

29、按时间戳与空间坐标对所述现场环境图像数据与所述现场环境传感数据进行配准,得到图像-传感数据关联数据;

30、利用轻量化视觉小模型对所述关联数据中的图像数据进行实时风险目标检测与筛选,同时将所述现场环境传感数据与预设安全阈值进行比对,将筛选出的关联数据和/或传感数据超过预设安全阈值的关联数据上传至云端智能复判模块;其中,传感数据超过预设安全阈值时,不受图像筛选结果的约束而独立触发上传;

31、以燃气行业多模态大模型为核心决策单元,结合专属知识库和预设提示词,对上传的图像数据进行深度语义分析,得到图像语义分析结果,并将所述图像语义分析结果与上传的传感数据进行语义级交叉验证与逻辑推理,确认危险场景并输出风险判定分级;

32、基于所述危险事件类别及风险等级执行分级处置,生成预警与派单指令,并接收人工复核结果,通过所述人工复核结果实现所述轻量化视觉小模型与所述燃气行业多模态大模型的双路径迭代,反哺模型优化。

33、进一步地,所述轻量化视觉小模型为yolo v10n模型;所述燃气行业多模态大模型为基于transformer架构、具备视觉、语言和传感数据多模态理解及行业知识推理能力的多模态大语言模型。

34、进一步地,所述通过人工复核结果实现所述轻量化视觉小模型与所述燃气行业多模态大模型的双路径迭代,包括:将经人工复核确认的漏检、误报图像样本自动生成标注样本,用所述标注样本对所述轻量化视觉小模型进行微调训练;将跨模态误判案例纳入用于辅助所述预设提示词生成的负面示例库,基于更新后的负面示例库对所述预设提示词与所述专属知识库进行更新优化,实现所述轻量化视觉小模型与所述燃气行业多模态大模型的协同进化。

35、本发明的有益效果是:

36、1.本发明将轻量化视觉小模型部署于边缘侧,对图像数据进行快速初筛,仅将异常数据发往云端;将燃气行业多模态大模型部署于云端作为系统核心决策单元,对异常数据进行深度语义分析和交叉验证。通过边缘快速过滤与云端精准复判的分工协作,既保障了现场巡检的实时性,又发挥了复杂场景下深度语义理解的能力,解决了传统云边架构同质化无核心智能、单一小模型泛化能力弱、单一大模型难以边缘实时部署的矛盾。

37、2.本发明在云端利用多模态大模型实现视觉结果与甲烷泄漏传感结果的深度语义融合与交叉验证,将图像分析结论与传感数据做交叉验证。当两者均指向异常时交叉确认危险等级;当仅传感异常而图像未见异常时,大模型可回溯图像排查小模型漏检的微弱视觉特征,并依据传感数据数值独立判定风险等级。该机制有效降低了误报率和漏报率,提升了危险场景识别的准确性和可信度。

38、3.本发明构建了完整的大小模型协同迭代闭环:边缘小模型负责快速初筛,云端大模型负责精准复判;人工复核结果分别反哺小模型权重与大模型提示词、知识库,实现“业务数据→模型优化→业务提升”的自进化,彻底解决大小模型如何闭环、如何协同的问题。

39、4.本发明在边缘侧对传感数据直接进行阈值比对,传感数据超标时不受图像检测结果的约束而独立触发上传,不依赖视觉小模型的分析能力。当甲烷浓度超标而图像未见明显视觉异常时,传感数据仍可独立触发告警,消除了单一依赖视觉模型导致的漏检风险。