基于多模态智能体的锅炉水冷壁缺陷检测方法及系统与流程
本发明属于工业视觉检测,具体涉及基于多模态智能体的锅炉水冷壁缺陷检测方法及系统。
背景技术:
1、锅炉水冷壁作为火力发电、核能发电等能源装备的核心部件,其安全运行直接关系到整个发电系统的稳定性和可靠性。水冷壁受热面长期承受高温、高压、腐蚀、磨损等复杂工况,容易产生管子壁厚减薄、机械损伤、防磨瓦异常、弯曲变形、开裂等多种缺陷。据统计,锅炉受热面管失效占电站锅炉非计划停运原因的较大比例,严重威胁电力生产安全。因此,及时、准确地检测水冷壁缺陷对于保障电站安全运行具有重要意义。
2、传统的缺陷检测方法主要依赖人工目视检查或常规图像处理技术。人工目视检查存在以下问题:检测效率低,一名经验丰富的检测工程师每天只能检查有限数量的管排;主观性强,不同检测人员的判断标准存在差异,容易产生漏检和误检;工作环境恶劣,锅炉内部高温、高湿、粉尘多,对检测人员健康造成威胁;难以发现早期缺陷,人眼对细微缺陷的识别能力有限,往往只能在缺陷发展到较严重阶段才能发现。
3、常规图像处理方法(如基于边缘检测、纹理分析、模板匹配的传统计算机视觉方法)虽然在一定程度上提高了检测效率,但也存在明显局限:特征工程依赖人工设计,需要针对不同缺陷类型设计专门的特征提取算法,泛化能力差;对光照、角度、背景变化敏感,实际工业现场环境复杂多变,传统方法的鲁棒性不足;难以处理复杂缺陷类型,对于形态多样、边界模糊的缺陷,传统分割和分类方法效果不佳;缺乏知识积累机制,每次检测都是独立的,无法利用历史检测经验提升性能。
4、近年来,大语言模型(large language model,简称llm)和视觉语言模型(visuallanguage model,简称vlm)的快速发展为工业视觉检测带来了新的机遇。多模态大模型具备强大的图像理解能力和自然语言推理能力,能够理解复杂的视觉场景并输出结构化的分析结果。然而,将多模态大模型应用于工业缺陷检测仍面临以下技术挑战:
5、一是缺乏系统性知识管理。传统缺陷检测方法仅输出判断结果,无法积累和复用检测经验,每次检测都需要重新分析,难以形成可进化的智能体系。检测过程中产生的大量有价值信息(如缺陷特征描述、判断依据、相似案例等)未能有效保存和利用。
6、二是参考样本利用不足。现有方法通常采用端到端训练模式,需要大量标注数据训练深度学习模型。对于工业缺陷检测场景,缺陷样本往往稀缺且获取成本高,难以满足训练需求。同时,现有方法无法灵活利用少量参考样本进行小样本学习,对于新出现的缺陷类型适应能力差。
7、三是人机交互机制缺失。现有系统多为“黑盒”模式,检测完成后即结束,无法有效收集和利用用户反馈。当检测结果出现错误时,系统无法从中学习改进;当遇到新类型缺陷时,系统也无法通过用户指导快速适应。这种单向的检测模式限制了系统性能的持续提升。
8、四是可解释性差。深度学习模型的“黑盒”特性使得检测结果难以解释,工业现场人员难以理解模型为何做出某种判断,导致对检测结果的信任度低,影响实际应用推广。工业场景对检测结果的可解释性有较高要求,需要明确知道判断依据和推理过程。
9、五是增量学习能力弱。传统模型需要重新训练才能学习新知识,训练过程耗时耗力,且可能导致灾难性遗忘(忘记已学习的知识)。无法实现在线学习和知识更新,难以适应工业现场不断变化的检测需求。
10、因此,亟需一种能够充分利用多模态大模型的图像理解和推理能力,结合智能agent的自主决策和学习能力,实现缺陷检测、知识积累与系统进化一体化的技术方案。
11、为此,我们提出基于多模态智能体的锅炉水冷壁缺陷检测方法及系统。
技术实现思路
1、本发明旨在至少解决现有技术中存在的技术问题之一,提供基于多模态智能体的锅炉水冷壁缺陷检测方法及系统。
2、本发明的一方面提供基于多模态智能体的锅炉水冷壁缺陷检测方法,包括如下步骤:s1:获取待测区域图像,对所述待测区域图像执行预处理以获得预处理图像;构造包含所述预处理图像的第一提示词,以驱动vlm模型对所述预处理图像执行全局语义解析,提取分析文本;s2:基于所述分析文本,结合预设的缺陷知识库,从全量缺陷类型中筛选出置信度靠前的多个候选缺陷类型;s3:从预置数据集中检索与所述候选缺陷类型匹配的参考图像,构造包含预处理后的所述待测区域图像和所述参考图像的第二提示词,以驱动所述vlm模型对预处理后的所述待测区域图像和所述参考图像进行跨图像视觉特征对比分析,确定目标缺陷子类型;s4:构造包含所述待测区域图像、所述参考图像、所述分析文本、所述候选缺陷类型以及所述目标缺陷子类型的综合提示词,以驱动所述vlm模型对所述综合提示词进行融合推理,生成缺陷检测报告。
3、进一步地,在所述步骤s1中,对待测区域图像进行预处理的步骤具体包括:对所述待测区域图像进行格式检查、尺寸调整以及文件压缩,以满足所述vlm模型的接口输入要求。
4、进一步地,所述步骤s2的具体步骤包括:获取所述缺陷知识库中各缺陷类型的特征描述信息;计算所述分析文本与各所述特征描述信息之间的文本相似度;基于所述文本相似度对各所述缺陷类型进行置信度排序,并选取排序靠前的多个所述缺陷类型作为所述候选缺陷类型。
5、进一步地,所述预置数据集按照所述缺陷类型组织文件夹结构,每个所述缺陷类型对应一个独立文件夹,且该所述独立文件夹内仅存放该所述缺陷类型的所有参考图像。
6、更进一步地,在所述步骤s3中,从预置数据集中检索与所述候选缺陷类型匹配的参考图像的步骤具体包括:根据所述候选缺陷类型的名称构建图片存储路径并定位对应的目标文件夹;读取所述目标文件夹内所有符合预设格式的图片文件的完整路径,生成路径列表;将所述路径列表作为所述跨图像视觉特征对比分析的输入数据输入所述vlm模型。
7、进一步地,所述缺陷检测报告的内容包括:是否存在缺陷的判定结果、缺陷类型分类、置信度数值、判断理由以及建议措施,还包含完整的推理链条信息,用于支持结果展示和反馈收集。
8、进一步地,还包括:采集用户对所述缺陷检测报告的评价,并基于评价类型实现所述缺陷知识库的增量学习。
9、更进一步地,采集用户对所述缺陷检测报告的评价,并基于评价类型实现所述缺陷知识库的增量学习的步骤具体包括:当用户对所述缺陷检测报告的评价为正确时,自动创建或定位对应的缺陷类型目录,将所述待测区域图像复制至所述预置数据集并执行重名文件处理,同时将新样本的视觉描述与包含用户确认及自动添加标识的标签信息同步更新至所述缺陷知识库以实现增量学习;当用户对所述缺陷检测报告的评价为错误或不确定时,仅记录反馈信息而不更新所述缺陷知识库,将相关样本留待人工审核。
10、本发明的另一方面提供基于多模态智能体的锅炉水冷壁缺陷检测系统,用于实现上述任一项所述的基于多模态智能体的锅炉水冷壁缺陷检测方法,该系统包括用于获取待测区域图像的输入模块以及缺陷检测推理模块,所述缺陷检测推理模块包括:初步分析模块,用于对所述待测区域图像执行预处理操作,并构造包含预处理后的所述待测区域图像的第一提示词,以驱动vlm模型对预处理后的所述待测区域图像进行全局语义解析,提取分析文本;粗筛候选模块,用于基于所述分析文本,结合预设的缺陷知识库,从多个缺陷类型中筛选出候选缺陷类型;细筛匹配模块,用于检索与所述候选缺陷类型对应的参考图像,构造包含所述待测区域图像和所述参考图像的第二提示词,调用所述vlm模型进行对比分析,确定目标缺陷子类型;最终判断模块,用于构造包含所述分析文本、所述候选缺陷类型、所述目标缺陷子类型及所述参考图像的综合提示词,以调用所述vlm模型生成最终的缺陷检测报告。
11、进一步地,还包括知识管理与增量学习模块,被配置为构建并维护缺陷知识库与数据集,为所述缺陷检测推理模块提供知识支持,并基于用户对所述缺陷检测报告的反馈执行增量学习,以实现系统的检测能力持续提升。
12、本发明的有益效果如下:
13、实现了基于四阶段推理的缺陷检测机制,通过初步分析、粗筛、细筛、最终判断的分层推理流程,充分利用多模态大模型的视觉理解能力,结合参考样本进行小样本学习,缺陷检测准确率显著提升,同时具备良好的可解释性,能够输出详细的判断理由。相比传统深度学习方法需要大量训练数据,本发明仅需少量参考样本即可实现有效检测,大大降低了数据准备成本。
14、构建了缺陷知识库管理系统,将检测经验以结构化形式存储和复用,支持知识的动态更新和扩展,解决了传统方法缺乏知识积累的问题,使系统具备长期记忆能力。知识库采用json格式存储,便于查询、更新和版本管理,形成可传承的检测知识资产。
15、设计了人机协同反馈学习机制,通过收集用户反馈并自动更新知识库,实现了系统的持续学习和进化,对于用户确认的正确检测自动纳入数据集,不断提升系统的检测能力和覆盖范围。这种增量学习方式避免了传统模型的灾难性遗忘问题,实现了知识的在线积累。
16、具备良好的可解释性,四阶段推理流程的每个阶段都输出中间结果和推理依据,最终判断包含详细的理由说明,使工业现场人员能够理解和信任检测结果,有利于实际应用推广。相比深度学习模型的“黑盒”特性,本发明的透明推理过程更符合工业应用需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com