基于九宫格分层视觉思维链与专业知识协同的边坡病害识别方法与流程

摘要: 本方案属于边坡养护,具体涉及一种基于九宫格分层视觉思维链与专业知识协同的边坡病害识别方法。背景技术:1、公路边坡养护是保障山区公路通行安全的核心环节,当前边坡病...
基于九宫格分层视觉思维链与专业知识协同的边坡病害识别方法与流程

本方案属于边坡养护,具体涉及一种基于九宫格分层视觉思维链与专业知识协同的边坡病害识别方法。

背景技术:

1、公路边坡养护是保障山区公路通行安全的核心环节,当前边坡病害巡检主要分为人工徒步巡检、无人机航拍 + 通用图像识别两类方案,现有技术存在多重难以兼顾的技术缺陷:

2、(1)传统人工徒步巡检缺陷

3、山区边坡地形陡峭、临空高危区域多,人工巡检易发生坠石、滑坡伤人安全事故;公路线路跨度大,人工巡检覆盖效率极低,边坡微小裂缝、浅层剥落、隐蔽冲沟等病害极易漏检;病害记录依赖人工主观描述,无标准化定位载体,养护台账无法统一归档比对。

4、(2)专用目标检测模型(yolo、detr 系列)缺陷

5、该类模型仅依靠图像视觉特征完成检测,无法引入边坡地质、降雨气象、岩土工程规范等领域专业知识辅助病害判别;航拍大图中小尺度病害标注成本极高,密集标注工作量巨大;原图直接推理算力消耗极高,图像压缩后细微病害特征丢失,识别召回率大幅下降。

6、(3)现有多模态大模型视觉思维链方案缺陷

7、现有视觉 cot 推理方案均依赖模型输出像素级检测框坐标,但多模态大模型对数值坐标回归精度远低于专用目标检测网络;无针对边坡航拍场景设计分层裁剪策略,未利用图像 exif 元数据关联区域地质、历史降雨上下文辅助判别;缺少面向边坡工程的专用结构化知识库,视觉感知与专家工程知识完全割裂,复杂地质边坡误判率高。

8、(4)现有边坡智能识别通用短板

9、现有方案未模拟人类 “先全局浏览、后局部聚焦” 的生物视觉认知规律,全局概览与局部精细推理流程割裂;缺少统一标准化区域锚点划分方式,病害位置描述无量化标准,难以对接公路养护数字化台账;无配套专用标注工具支撑分层数据集构建,无法形成“图像采集-标注-模型训练-在线推理”完整工程数据闭环。

10、综上,现有技术无法同时兼顾航拍大图算力控制、微小病害精细识别、领域专业知识融合、标准化病害定位、地质气象多源上下文辅助五大核心工程需求,本发明提出了一套完整解决方案用于解决现有技术存在的问题。

技术实现思路

1、本方案旨在克服现有技术中的至少一种缺陷,提供一种基于九宫格分层视觉思维链与专业知识协同的边坡病害识别方法,用于解决现有技术无法同时兼顾航拍大图算力控制、微小病害精细识别、领域专业知识融合、标准化病害定位、地质气象多源上下文辅助五大核心工程需求等问题。

2、为了解决上述技术问题,本方案提出了一种基于九宫格分层视觉思维链与专业知识协同的边坡病害识别方法,所述方法包括以下步骤:

3、s1:数据采集及处理:获取无人机航拍的边坡原始图像并对其进行图像预处理,得到气象地质辅助上下文及包含九宫格网格编号的边坡原始图像的低分辨率概览图;

4、s2:全局推理:将所述低分辨率概览图及气象地质辅助上下文输入到多模态大模型中进行全局推理,输出全局边坡场景描述及包含病害特征信息的可疑网格编号;

5、s3:局部精细推理:根据可疑网格编号从边坡原始图像中裁剪对应网格区域的局部子图,并从全局边坡场景描述中提取病害关键词,输入到边坡专业知识库进行检索,获得与病害关键词关联的专业知识文本,然后将局部子图、专业知识文本及气象地质辅助上下文输入到多模态大模型中进行局部精细推理,从而更新病害类型、病害严重程度、病害判定依据;

6、s4:迭代执行与结果输出:迭代执行所述局部精细推理,直至无新增可疑网格,并输出最终的边坡病害识别结果,所述边坡病害识别结果至少包括病害类型及可疑网格编号。

7、本方法以九宫格网格编号替代像素级坐标标识病害位置,能够规避多模态大模型坐标回归精度远低于专用检测网络的短板,充分发挥其全局场景统筹理解优势,并且所输出的标准化网格编号可直接对接公路边坡养护数字化台账,统一病害位置记录规范,为病害对比归档提供量化载体。具体地,先以低分辨率概览图执行全局推理,能够有效控制推理算力与耗时开销;再仅针对可疑网格从高清原图裁剪局部子图进行精细识别,能够在算力受限条件下保留微小病害细节,避免直接压缩全图导致微小病害特征丢失,实现大图推理算力与微小病害识别精度之间的平衡。其次,通过在局部精细推理中注入边坡专业知识库检索的专业知识文本,能够使视觉感知与岩土工程专业知识协同判别,为病害判定提供规范条文、工程案例与稳定阈值等依据,降低复杂地质边坡的误判率,同时使病害判定依据有据可查、便于复核。同时还借助 exif 元数据关联拍摄时间与地理位置获取气象地质辅助上下文,能够为降雨诱发滑塌、风化岩土剥落等气象地质相关病害提供辅助判定依据,提升微小病害识别召回率。最后通过迭代执行局部精细推理直至无新增可疑网格,能够逐级精化病害判定并保证推理过程收敛,在保障精度的同时兼顾整体推理开销,从而支撑无人机大范围边坡自动化巡检工程应用。

8、优选地,在所述步骤s1中,所述图像预处理包括:

9、s11:提取所述边坡原始图像的exif元数据,根据所述exif元数据确定拍摄时间与地理位置,并依据所述拍摄时间与地理位置来获取边坡所在区域的气象地质辅助上下文;

10、s12:将所述边坡原始图像压缩为低分辨率概览图,并在其上叠加均匀均分的3×3的九宫格辅助线,并对各网格进行统一编号处理,从而生成包含九宫格辅助线的边坡原始图像的低分辨率概览图。

11、通过提取exif元数据自动确定拍摄时间与地理位置,能够自动获取边坡所在区域的气象地质辅助上下文,为气象地质相关病害的判别提供多源辅助依据。将原始图像压缩为低分辨率概览图,能够降低后续全局推理的算力与耗时开销;在其上叠加均匀均分的 3×3 九宫格辅助线并统一编号,能够为病害位置建立标准化量化锚点,为可疑网格的定位与局部子图的裁剪提供统一载体,并使病害位置描述可直接对接养护台账,便于标准化记录与归档。

12、优选地,所述多模态大模型为经 lora 微调得到的qwen3-vl模型,所述 lora 微调仅对qwen3-vl模型的视觉编码器注意力层与跨模态交互层添加lora适配器,并冻结qwen3-vl模型的原始权重。

13、在本方案中选用 qwen3-vl 多模态大模型,能够同时理解图像、病害描述与专业知识文本等多模态信息,支撑九宫格视觉推理与知识协同判别,并且采用 lora 低秩适配微调,仅对视觉编码器注意力层与跨模态交互层添加适配器并冻结基座原始权重,能够针对性增强航拍图像视觉特征提取与跨模态对齐能力;同时保留基座通用能力、避免灾难性遗忘;冻结大部分参数还能降低训练算力与时间开销、减少过拟合,提升泛化能力。所得轻量化 lora 权重便于导出、融合与部署。

14、优选地,所述经 lora 微调得到的 qwen3-vl 模型由以下步骤训练获得:

15、a1:采集无人机边坡航拍图像并对其进行多轮分层标注得到多模态数据集;

16、a2:将所述多模态数据集转换为llama factory兼容的多模态对话模板并将图像统一缩放至预设分辨率,从而获得模型训练所需的输入数据;

17、a3:启用lora微调策略并设定相应超参数,然后调用llama factory内置脚本启动单卡或多卡微调来执行模型训练,从而得到经lora微调优化后的qwen3-vl模型。

18、通过采集边坡航拍图像并多轮分层标注构建多模态数据集,能够获得与巡检场景一致的训练数据,使模型在全局与局部两个粒度上学习病害特征,为提升微小病害识别能力奠定基础,并且将数据集转换为 llama factory 兼容对话模板,能够直接接入标准微调框架,将图像统一缩放至预设分辨率,能够统一输入尺寸、保障训练稳定性并降低显存占用。此外,还启用 lora 微调并调用框架内置脚本进行单卡或多卡训练,仅需微调少量参数,能够降低训练算力与显存开销、缩短训练周期,无需自行搭建流程,单卡/多卡灵活适配不同算力资源,以便于训练出适配边坡病害识别任务的轻量化模型。

19、优选地,在所述步骤a1中包括:基于pyqt5开发边坡灾害九宫格交互标注工具,并利用其来对无人机边坡航拍图像开展多轮迭代标注,包括:首轮对完整全景图进行九宫格全图标注,若单一网格内病害占比超过预设阈值,则自动依据网格编号从原图裁剪对应局部子图,再对裁剪子图开展第二轮精细标注,持续迭代标注直至目标病害占满整张裁剪图像,从而完成对无人机边坡航拍图像的多轮迭代标注生成多模态数据集。

20、在本方案中,基于 pyqt5 开发九宫格交互标注工具,提供可视化标注界面及多病害管理、exif 解析、json 存储,降低人工标注成本与主观误差,提升标注效率与标准化程度。通过全图标注与病害占比超过预设阈值自动裁剪子图再标注的多轮迭代,形成全局粗标、局部细标的分层流程,与推理阶段相呼应,使模型在全局与局部两个粒度上学习病害特征;以病害占比阈值作为自动裁剪的客观判据,统一裁剪时机、减少人为偏差。并且通过持续迭代直至病害占满整张裁剪图像,从而逐级放大细节、避免微小病害漏标;子图依据网格编号自动裁剪,使标注数据与九宫格定位体系一致,为训练提供标准化监督数据。

21、优选地,所述方法还包括模型部署:通过llama factory脚本将多模态大模型的lora适配器与qwen3-vl模型融合所生成可独立推理的完整权重,基于fastapi封装成图像上传与九宫格病害推理接口,以支持批量无人机边坡航拍图像在线识别,从而完成模型部署。

22、将lora适配器与qwen3-vl基座融合生成可独立推理的完整权重,能够在推理时省去动态加载适配层,降低调用复杂度、提升推理响应效率,融合后的权重轻量、便于分发部署。此外,基于 fastapi 封装图像上传与九宫格病害推理接口,能够为外部系统提供标准化的在线推理服务,接口职责清晰、易于集成,便于对接公路养护数字化台账等系统,从而实现支持批量无人机边坡航拍图像在线识别,能够提升图像处理吞吐量、支撑大范围边坡自动化巡检,降低工程部署与运维成本。

23、优选地,所述从全局边坡场景描述中提取病害关键词,输入到边坡专业知识库进行检索,获得与病害关键词关联的专业知识文本包括:

24、s31:知识摄入:对边坡信息相关文档进行标准化处理,划分为若干不同类目,然后依托预设边坡知识架构精度原始文档,自动提取相关核心专业信息,从而生成来源摘要,构建边坡专业知识库;接着识别文档内专业概念、工程实体并新建标准化知识页面,搭建页面双向关联链接,并同步更新全局知识索引与操作日志;

25、s32:知识查询:根据从全局边坡场景描述中提取到的病害关键词及页面双向关联链接来在边坡专业知识库中查询并整合边坡相关的多维度专业信息,再将所获得的多维度专业信息转化为专业知识文本。

26、在上述步骤中将边坡规范、工程案例与岩土计算文档标准化处理并划分类目,形成体系清晰、便于检索的结构化知识库,并且依托预设知识架构调用大模型精读原始文档,自动提取规范条文、支护工艺、稳定分析公式与病害判定阈值等核心信息并生成来源摘要,降低构建成本、保证知识可追溯可复核。还通过识别专业概念与工程实体并新建标准化知识页面、搭建双向关联链接,能够将碎片化知识整合为关联知识网络,检索时联动获取关联概念与案例,避免知识孤立,同步更新全局索引与操作日志,实现知识快速定位与变更可追踪。在知识查询时,依据病害关键词及双向关联链接整合多维度信息并转化为专业知识文本,能够使检索结果紧扣病害主题、信息全面,为局部精细推理提供与病害判定直接相关的依据,支撑视觉感知与工程知识协同判别。

27、优选地,在所述步骤s3中还包括对边坡专业知识库进行知识治理,依托预设专业schema定期对全库维基页面校验梳理,所述校验梳理包括:统一岩土、边坡专业术语表述;排查新旧规范参数、理论结论冲突,存在矛盾时以现行公路边坡养护规范为准并标记修正;补全缺失概念双向关联链接、完善页面来源元数据;清理冗余、过时低价值内容并归档,同步更新全局索引;建立知识库版本迭代日志,支持历史知识版本回滚,持续消除知识碎片化、信息矛盾问题。

28、在本方案中,依托预设专业 schema 定期校验梳理知识库来对边坡专业知识库进行知识治理,能够保持知识库持续规范与准确。统一岩土、边坡专业术语,能够消除检索偏差;修正新旧规范参数冲突并以现行规范为准,能够保证知识时效性、避免过时参数误判;补全缺失双向链接与来源元数据,能够提升知识关联完整性与可追溯性;清理冗余过时内容并归档,控制知识库规模。建立版本日志并支持历史版本回滚,使知识变更可追踪、可回退,持续消除知识碎片化与信息矛盾,为病害推理提供一致可信的专业依据。

29、优选地,在所述步骤s4中包括:在进行局部精细化推理后输出的边坡病害识别结果中,若存在新增的可疑网格编号,则根据新增的可疑网格编号再次从边坡原始图像中重新裁剪得到对应网格区域的局部子图,并根据相对应的病害关键词在边坡专业知识库中进行检索获得专业知识文本,同时结合气象地质辅助上下文一起输入到多模态大模型中迭代执行局部精细推理,直至无新增可疑网格,从而输出最终的边坡病害识别结果;此外,在每一轮迭代过程中若是重新裁剪得到的局部子图长边像素小于预设像素阈值,则终止迭代直接输出当前推理得到的边坡病害识别结果。

30、在该步骤中,依据新增的可疑网格编号从原始图像重新裁剪局部子图并继续迭代推理,能够使每一轮仅针对新发现的可疑区域精化,避免重复计算、逐级收敛;从高清原图重新裁剪,能够保证每轮使用完整细节,避免压缩导致微小病害特征丢失,提升识别精度。每轮迭代中重新检索专业知识并融合气象地质上下文,能够使精推理持续获得专业知识与多源信息支持,保持视觉与工程知识协同判别的连贯性。以无新增可疑网格作为迭代终止条件,能够提供明确收敛判据、避免无限迭代。并且在每轮迭代中,当裁剪局部子图长边像素小于预设阈值时终止迭代并直接输出当前结果,能够及时排除细节不足的子图、避免在低分辨率子图上浪费算力,在保障精度的同时控制整体推理开销,提升自动化巡检效率。

31、优选地,所述根据新增的可疑网格编号再次从边坡原始图像中重新裁剪得到对应网格区域的局部子图包括:当输出的多个可疑网格编号拼凑不为矩形时,通过空白元素补全为矩形后再裁剪;当输出的多个可疑网格编号分为多块独立区域时,分别裁剪为多块局部子图,并分别对多块局部子图迭代执行局部精细推理。

32、当多个可疑网格编号拼凑不为矩形时,通过空白元素补全为矩形后再裁剪,能够使裁剪区域保持规整完整,避免产生畸形、破碎的裁剪片段,从而一次完成整块区域推理,提升推理效率与结果完整性。当多个可疑网格编号分为多块独立区域时,分别裁剪为多块局部子图并分别迭代执行局部精细推理,能够避免将互不相连的区域硬拼为一张图而引入无关空白干扰模型判别,使各块子图内容聚焦、独立精化、互不影响,从而保证各独立区域病害判定的准确性与可靠性。

33、与现有技术相比,本发明的有益效果为:

34、1、规避大模型坐标回归精度短板,病害定位标准化

35、现有视觉思维链依赖模型输出像素检测框,多模态大模型坐标回归精度远低于专用检测网络;本发明采用3×3九宫格网格编号替代像素坐标定位,充分发挥大模型全局场景统筹理解优势,输出标准化网格编号可直接对接公路边坡养护数字化台账,统一病害位置记录规范。

36、2、平衡大图推理算力与微小病害细节保留

37、原图直接输入大模型会产生海量 token,推理耗时、算力开销巨大;图像全局压缩后又会丢失微小裂缝、浅层剥落等细节。本方法先使用压缩图完成全局粗推理降低算力消耗,仅针对可疑网格从高清原图裁剪局部图像精细识别,大幅减少细节丢失。

38、3、实现视觉感知与边坡专业知识协同判别

39、通用视觉模型仅依靠图像像素特征识别病害,无法结合岩土工程规范、病害诱因知识辅助判断;本发明搭建llm wiki结构化边坡知识库,推理过程同步注入专业判定依据。

40、4、引入气象地质多源上下文辅助识别,提升微小病害召回率

41、通过图像 exif 元数据联动历史降雨、区域地层地质信息,针对降雨诱发滑塌、风化岩土剥落等病害提供辅助判断依据。