一种基于有序原型空间的船体污损等级与清洗评估方法及系统
本发明属于图像数据处理与水下视觉检测,具体涉及一种基于有序原型空间的船体污损等级与清洗评估方法及系统。。
背景技术:
1、水下船体生物污损是船舶运营与维护领域长期面临的技术难题。船舶在海洋环境中长期运行,船体表面极易附着海洋生物(如藤壶、藻类、贝类等),形成不同程度的生物污损层。研究表明,生物污损可导致船体航行阻力上升,燃油消耗显著增加,航速与操控性下降,同时污损区域可能掩盖潜在的结构损伤,埋下航行安全隐患。因此,实现船体污损等级的高效、精准识别,对于降低船舶运营成本、保障航行安全具有重要意义。
2、近年来,船体清洁机器人逐步替代传统人工清洗,成为水下船体维护的主流作业载体。然而,现有清洁机器人的配套检测方法仍存在以下技术局限:
3、(1)传统识别方法缺乏等级有序性建模能力。目前船体污损检测主要依赖人工目测、潜水拍摄或单帧图像识别。部分研究采用图像识别传感器结合三维轮廓测量仪进行涂层破损识别与锈蚀等级评定,但此类方法在分类器设计上仍沿用传统线性分类模块或软最大层(softmax),将污损等级视为相互独立的离散类别。这忽略了污损等级之间固有的有序递进关系(即无污损→微污损→轻度→中度→重度)之间存在天然的连续性与顺序性。传统无序分类方式无法建模这种等级语义联系,导致识别结果易出现等级跳跃(如将中度误判为轻度),影响分级判定的合理性与工程可信度。
4、(2)现有图像处理与识别方法难以适配机器人视频流实时评估需求。部分基于深度学习的船舶表面缺陷检测方法已被提出,例如采用注意力机制增强锈迹特征的船舶锈迹分类方法,以及基于机器视觉的船体表面缺陷检测系统,这些方法主要针对单帧静态图像设计。然而,船体清洁机器人的实际作业场景要求系统具备清洗前与清洗后视频序列的连续处理能力,实现动态等级评估与清洗效果量化对比。现有方法在时序一致性建模、视频流实时推理、清洗前后差异量化等方面存在明显不足,难以满足“快速判断清洗是否有效”“自动标注重点清洁区域”等实际作业需求。
5、(3)清洁机器人对轻量化部署提出更高要求。船体清洁机器人通常搭载嵌入式计算单元,算力和存储资源有限。现有图像识别模型参数量大、推理延迟高,难以在机器人端实现实时等级推理。如何在保证识别精度的同时实现模型轻量化,是工程化部署面临的关键挑战。
6、为应对上述问题,已有专利尝试从不同角度进行改进。如专利cn120931525a公开了一种船舶水下污损生物图像增强与智能识别协同优化方法,通过多模态数据融合提升识别精度;专利cn121213852a公开了一种船舶除污机器人清洗效果分析方法,通过多帧信息融合重构无光学干扰图像以评估清洗质量。然而,这些方法仍未能解决等级有序性建模与机器人端实时部署的核心难题。
7、此外,现有的component features(comfe)可解释图像分类方法,通过设置类别原型以及利用可学习查询向量对图像分块特征进行聚合以生成图像组件原型,实现基于原型匹配的图像分类,为组件级图像特征表征提供了技术基础。然而,该方法主要面向一般图像分类任务,未针对船体污损等级之间的物理递进关系、等级跨度较大的预测误差以及清洗前后等级评估需求设置相应的有序约束机制,因而难以直接满足船体污损有序分级与清洗效果评估的应用需求。
8、综上所述,亟需一种面向船体清洁机器人、具备等级有序性建模能力与实时推理能力的污损分级识别方法,实现对船体生物污损的自动识别、有序分级判断,并能适配后续清洗效果评估与可视化交互需求,助力构建智能化、闭环式的船体清洁管理体系。
技术实现思路
1、本发明所要解决的技术问题是提供一种基于有序原型空间的船体污损等级与清洗评估方法及系统,通过引入有序原型空间建模机制,实现船体表面污损等级的精细判定,为清洗前后差异评估提供基础,提升清洁系统的智能化和实用性,适用于船体清洁机器人的水下视频流实时处理场景。
2、采用的技术方案为:
3、一种基于有序原型空间的船体污损等级与清洗评估方法,包括以下步骤:
4、(1)数据预处理:采集船体清洁机器人获取的水下船体视频数据,提取关键帧并进行图像增强处理,依据预设污损等级标准对图像样本进行等级标注,获得有效图像样本集;
5、(2)特征提取:将预处理后的图像输入视觉主干网络,提取高维全局特征向量,构建统一的视觉语义表示空间;
6、(3)构建有序原型空间分类头:基于原型学习框架生成类别原型和图像原型,两类原型共同构建具有语义判别能力的分类空间;所述类别原型作为分类基准,所述图像原型用于表征图像的组件特征;
7、(4)特征映射与相似度度量:将图像特征、图像原型及类别原型映射至单位球面,采用余弦相似度进行语义距离度量,以最大相似度对应类别作为分级输出;
8、(5)有序性约束:构建顺序损失函数,对相邻等级之间的原型施加顺序约束,确保类别原型按污损严重度递增方向有序排列,引导模型保持等级语义的连续性;
9、(6)多任务损失联合优化训练:将聚类损失 、判别损失 、辅助损失与顺序损失组合为全局总损失函数,通过最小化总损失同时优化类别原型矩阵 、transformer聚类头参数及可学习参数矩阵 ,形成分类准确性与等级有序性兼顾的多任务优化策略;
10、(7)系统部署与推理:将训练完成的分类模型部署至船体清洁机器人的嵌入式计算单元,实现实时污损等级推理;
11、(8)清洗后评估:上位机系统接收船体清洁机器人上传的清洗前后两帧图像及其对应的污损等级,自动生成对比视图,展示同一区域清洁前后的污损图片变化及等级评定结果,辅助作业人员判断清洗效果。
12、优选的,所述步骤(1)中提取关键帧采用固定时间间隔采样与帧间差分联合筛选机制,剔除无效图像帧;所述无效图像帧包括大面积空白水域帧、严重运动模糊帧、过曝欠曝帧及受气泡遮挡帧;所述图像增强处理包括尺寸归一化、亮度均衡、白平衡修正与对比度校正;依据《国际海事组织海洋环境保护委员会第378(80)号决议》(mepc.378(80))中提出的附着物分级标准,标注污损等级标签0至4级,构建有效图像样本集;其中,0至4级标签分别对应无污损、微污损、轻度、中度、重度污损。
13、优选的,所述步骤(2)中的视觉主干网络采用基于vision transformer架构的dinov3模型;具体为:将输入图像划分为固定大小的图像块序列,经线性映射与位置编码后输入transformer编码器,利用12层自注意力机制提取高维全局特征向量,并对提取的特征进行l2归一化处理,构建统一的视觉语义表示空间。
14、设输入图像尺寸为 h×w,图像块尺寸为 p×p,图像块数量n为:
15、;
16、dinov3模型采用自监督蒸馏学习策略,通过不同视角、不同增强方式下图像特征的一致性约束,使模型学习具有语义稳定性的视觉表示;所述高维全局特征向量综合反映船体表面纹理变化、结构形态特征及生物附着覆盖情况。
17、优选的,所述步骤(3)中的有序原型空间分类头包括图像组件原型聚合模块和有序类别原型匹配模块;所述有序类别原型匹配模块设置类别原型,作为不同污损等级的分类基准;所述图像组件原型聚合模块通过transformer聚类头和多个可学习查询向量,对待识别图像的分块特征进行聚合,生成多个表征图像局部组件特征的图像原型;
18、类别原型c的定义为: ;
19、式中,nc表示类别原型总数,是类别数的正整数倍,d表示图像嵌入特征的维度,是dinov3 模型输出的统一特征向量的维度数;
20、所述类别原型初始为随机矩阵,或根据全局污损标签计算同一等级图像的平均特征向量作为初始值,经过监督学习后的高维类别原型矩阵为原型空间提供基准参考,通过训练完成的transformer聚类头提取待识别图像的图像原型,将图像原型映射到原型空间中;
21、图像原型p :
22、通过dinov3提取的初始特征z以分块特征向量组的形式储存,其定义公式为: ;
23、式中,x表示输入图像,nz表示一张图像的分块数,f表示dinov3模型;
24、通过设计好的transformer聚类头,将初始特征向量组z聚类为图像原型p,其定义公式为:
25、;
26、;
27、式中,是参数为的transformer聚类解码器,qi表示图像解码器的第 i 个可学习查询向量;为图像原型个数,其在数值上远小于nz。
28、优选的,所述步骤(4)中,将图像特征、图像原型及类别原型进行l2归一化,使其分布于单位球面上,基于vmf分布框架采用余弦相似度进行语义距离度量,经训练优化使图像原型分布在对应类别原型附近、初始特征分布在图像原型附近。
29、优选的,所述步骤(5)中的顺序损失函数基于三元组损失实现,通过欧氏距离对每两个相邻等级之间的每一对原型施加顺序约束;所述顺序约束使得低等级类别原型与高等级类别原型之间的距离随等级差增大而单调递增。
30、优选的,顺序损失的定义为:
31、;
32、式中,,k 表示污损等级总数; 表示等级 所对应的类别原型数量; 为等级 下的第 个类别原型;示与 同等级的参考原型(正样本);表示下一个等级 中的参考原型(负样本); 为顺序间隔常数,用于控制相邻等级间的最小间隔。
33、有序原型空间的全局总损失函数表示为:
34、;
35、式中, 表示总损失;表示聚类损失,驱动相似特征向特征原型聚合;表示分类损失,用于优化模型分级效果;表示辅助损失,用于稳定训练并提升原型质量;表示顺序损失,用于确保原型有序性;为损失项权重,能够进行优化。
36、基于三元组损失构建损失函数,通过欧氏距离对每两个相邻等级之间的每一对原型都施加顺序约束,以促进原型有序排列。
37、通过最小化总体损失函数,同时优化类别原型、聚类头、参数矩阵;
38、基于vmf分布的原型距离计算:
39、初始特征z、图像原型p、类别原型c在经过l2归一化后,分布于单位球面d上,通过两个向量的余弦值表征其相似度:
40、(1-1);
41、式1-1表示在已知图像原型 的条件下,特征向量 的概率密度服从以 为均值、 为浓度参数的vmf分布。
42、通过该概率函数可计算特征与图像原型之间的余弦相似度,为后续图像与类别原型之间的匹配提供理论基础。
43、(1-2);
44、式中,表示类别ν与第l个类别原型之间的权重,为 vmf 分布浓度参数。vmf分布用于刻画图像原型与类别原型之间的余弦相似性密度。
45、基于公式1-1和公式1-2,通过训练学习优化,实现图像原型p分布在对应类别原型c附近,初始特征z分布在图像原型p附近。
46、优选的,所述步骤(7)中部署前对分类模型进行轻量化压缩,所述轻量化压缩包括知识蒸馏与int8量化;部署后的模型在船体清洁机器人嵌入式计算单元上实时推理得到污损等级。
47、优选的,所述方法采用平均精度map和平均绝对误差mae两个指标,分别量化表征无序预测精度和有序分类精度;
48、map定义为:
49、 ;
50、mae定义为:
51、 ;
52、式中,c表示等级类别总数,ap表示第 c 类级别的平均精度;为第 i个样本的真实等级,为预测等级,n 为样本总数,该指标能够有效反映等级预测误差的整体大小。
53、本发明还提供一种用于实现所述基于有序原型空间的船体污损等级与清洗评估系统,包括:
54、图像采集模块:配置于水下机器人或船体清洁机器人上,用于采集船体视频数据;
55、预处理模块:用于通过固定时间间隔采样与帧间差分联合筛选机制提取关键帧,剔除无效图像帧,并进行尺寸归一化、亮度均衡、白平衡修正与对比度校正;
56、特征提取模块:采用基于vision transformer架构的dinov3视觉主干网络,提取高维全局特征向量并进行l2归一化;
57、有序原型空间分类模块:包括图像组件原型聚合模块和有序类别原型匹配模块,用于生成图像原型和类别原型;将图像特征、图像原型及类别原型映射至单位球面,基于vmf分布框架采用余弦相似度进行距离度量,输出污损等级;所述类别原型受顺序损失函数约束,并按照污损严重度有序排列;
58、多任务联合优化模块:用于将聚类损失、判别损失、辅助损失与顺序损失组合为全局总损失函数进行联合优化;
59、部署与推理模块:用于将压缩后的模型部署至嵌入式计算单元,实现实时推理;
60、评估可视化模块:用于生成清洗前后污损等级对比视图。
61、与现有技术相比,本发明的有益效果在于:
62、(1)本发明提出了一种基于有序原型空间(ordinal prototype space, ops)的船体污损等级与清洗评估方法,在船体清洁机器人系统中引入有序原型空间分类机制(opshead),替代传统线性分类模块,通过对视频流的实时处理,构建类原型与图像原型并结合有序性约束损失函数,实现对船体污损等级的细粒度识别。其中特征向量通过vmf分布投影至高维球面,可稳定保持不同污损等级之间的空间区分性,提升识别精度与模型鲁棒性。该机制能够对清洁前后关键帧图像进行自动分级对比,显著降低人工干预成本,提高清洗效果评估的准确性与自动化水平,适用于船体清洗现场的嵌入式实时部署。
63、(2)本发明通过构建具有物理顺序关系的类别原型向量,并结合基于 vmf分布的相似度度量和有序性损失函数,显著提升了模型对污损等级的判别精度与合理性。该方法相较于传统无序分类方式,不仅优化了准确率,还具备更强的等级连续性与工程可用性。
64、(3)本发明将特征映射至单位球面,基于vmf分布采用余弦相似度:通过训练优化,使图像原型分布在对应类别原型附近、初始特征分布在图像原型附近,对于输入图像生成的多个图像原型,取平均余弦相似度作为与类别原型的整体匹配分数。
65、(4)本发明采用vision transformer架构和自监督学习策略,使模型不再依赖大量人工标注数据,能自动从海量无标签图像中学习底层语义。构建有序原型空间分类头,相当于建立了一组“标准模板”(如轻度、中度、重度污损的理想特征),作为分类的刻度尺,使模型既能判别等级,又能通过图像原型与类别原型的对比,可视化解释是哪部分特征(如纹理粗糙度、颜色变化)导致了当前分级。
66、(5)本发明通过顺序约束,迫使类别原型在空间中按“无污损或微污损→轻度污损→中度污损→重度污损”的路径递增排列。即使模型对某张图片的绝对分类置信度不高,也会因为原型的有序排列而输出一个“相邻”等级,而不会出现将“重度”错判为“轻度”这种颠覆性错误,极大提升了评估的可靠性。通过组合四种损失(聚类损失保证类内紧凑、判别损失保证类间可分、辅助损失增强稳定性、顺序损失保证有序),实现了多目标协同优化。
67、(6)本发明方法识别精度高,机器人根据等级自适应调节清洗策略,避免过度或不足清洗,降低成本,并减少燃油消耗。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com