一种基于伪标签优化的水下点云三维目标检测方法与系统与流程

本发明属于水下机器人自主感知与三维点云目标检测，特别涉及一种面向浑浊、弱光、远距离退化水下场景，融合光学-声纳多模态信息、基于自适应伪标签优化的水下声纳点云三维目标检测方法与系统。

背景技术：

1、水下三维目标检测是水下机器人自主作业的核心感知基础，需要从声纳三维点云中精准识别管道、线缆、桥墩、沉船、海洋生物等目标，并输出目标精确三维坐标、尺寸与姿态，为避障、巡检、打捞作业提供决策支撑。目前行业主流技术方案存在三大固有缺陷：

2、人工三维标注成本极高、样本稀缺水下声纳点云天然稀疏、噪声干扰强、目标轮廓残缺，三维边界框人工标注需同时匹配空间几何、时序运动、跨模态对应关系，单帧标注耗时是二维图像标注的10倍以上；大规模水下三维标注数据集难以构建，直接导致三维检测网络训练不充分，模型泛化能力差。

3、传统伪标签方案无水下环境自适应能力，标签噪声累积陆地场景半监督伪标签方法直接迁移至水下场景时，未考虑水体浊度、光照、探测距离对成像质量的动态影响：浑浊水体下光学图像失效、远距离声纳点云密度骤降，自生成伪标签包含大量错标、漏标样本；低质量伪标签参与训练会持续引入噪声，不断拉低模型检测精度。

4、单模态信息割裂，退化场景鲁棒性不足纯光学二维检测无法输出三维空间坐标，弱光、高浊度水体中图像信噪比急剧下降，检测完全失效；仅依靠声纳点云缺少纹理、语义信息，细小目标、重叠目标区分能力差；现有技术未建立光学-声纳跨模态标签互校正、融合增强机制，单一模态信息利用率极低。

5、综上，现有技术同时存在三维标注样本稀缺、伪标签质量不可控、多模态信息融合缺失、退化水下场景检测精度暴跌四大技术瓶颈，无法满足水下机器人全天候、全水域自主检测需求。

技术实现思路

1、针对现有水下声纳三维目标检测存在人工三维标注成本高、伪标签噪声难以管控、多模态信息割裂、退化水域检测鲁棒性弱、模型泛化能力不足的问题，本发明依托预训练视觉模型自动批量生成三维伪标签，无需人工三维标注，缓解训练样本稀缺问题；构建五维自适应伪标签质量评估体系，动态适配水下环境区分不同质量标签；针对中等质量伪标签设计三类修复策略，充分利用未标注样本；采用环境驱动模态融合权重分配逻辑，高浊度、远距离场景侧重声纳信息，清澈近景强化光学语义；搭建训练闭环迭代机制，动态调整样本采样权重并聚合多轮模型副本，均衡稀有样本训练效果、提升整体检测精度。

2、为实现上述目的，本发明提供了如下技术方案：一种基于伪标签优化的水下点云三维目标检测方法，包括如下步骤：

3、s1、通过水下机器人同步采集声纳三维点云、光学图像两类多模态数据，采集水体浊度、光照强度、目标距离、机器人位姿的水下环境参数；按时间戳匹配生成未标注训练样本集与实时待检测样本；

4、s2、将光学图像输入全程参数冻结的预训练视觉基础模型dinov3提取像素级密集视觉特征，生成二维目标候选框；将二维候选框投影映射至声纳三维点云空间，提取对应点云子集；经视觉语义一致性筛选、密度聚类剔除离群点后，生成包含类别、三维边界框、置信度、帧标识的初始三维伪标签集合；

5、s3、针对每一个初始三维伪标签，独立计算模型置信度、视觉特征一致性、声纳-光学跨模态一致性、水下环境几何一致性、时序运动稳定性五类归一化质量得分；仅利用水下环境参数动态分配五类得分的融合权重，加权求和得到伪标签综合质量得分q；

6、s4、预先设置高质量阈值、低质量阈值；依据两类模态得分差异，选择性执行特征引导点云补全、跨模态标签迁移、多模态融合增强三类修复操作，输出优化三维伪标签集合；

7、s5、采用sparse4d稀疏卷积三维检测网络，以优化伪标签集合开展训练；每个训练周期结束后，在独立人工标注验证集采用3dap@0.25评估模型性能；根据类别/场景训练不足程度调整样本采样权重，基于dinov3视觉特征空间分布提升低密度样本采样权重；在预设训练轮次保存模型副本，依据副本间特征表示一致性得分加权聚合，得到最终三维检测模型；

8、s6、将待检测样本完成时间同步、坐标统一至声纳点云坐标系后输入最终模型；对模型输出候选结果执行置信度阈值筛选、三维非极大值抑制，输出水下目标类别、三维边界框、空间坐标与置信度。

9、进一步，步骤s2所述视觉语义一致性筛选实现方式为：计算声纳点投影位置对应图像块特征与二维候选框平均特征的余弦相似度；若相似度＜0.55则剔除该点云，仅保留相似度≥0.55的点云子集；密度聚类半径0.35m，最小聚类点数为5。

10、进一步，步骤s3五类质量得分计算规则如下，五类得分统一归一化至[0,1]：

11、模型置信度q1：首轮取yolo26二维置信度与点云聚类紧凑度均值，迭代训练采用三维模型分类置信度；

12、视觉一致性q2：计算二维投影区域相邻图像块特征余弦相似度均值；

13、跨模态一致性q3：融合投影框iou与中心距离衰减项，目标距离＜5m时iou权重0.7，≥5m时权重0.5；

14、几何一致性q4：基于点密度、法向量、曲率几何先验，对管道、桥墩、礁石、海洋生物配置差异化约束；

15、时序稳定性q5：通过卡尔曼滤波预测目标时序状态，结合观测偏差高斯衰减计算得分。

16、进一步，步骤s4中三类中间质量伪标签修复操作判定与实现逻辑：特征引导点云补全：视觉一致性得分＞0.70且框内点云密度＜50点/m³；通过图像边缘、视觉特征插值生成补充点云，重新聚类生成修正三维框；跨模态标签迁移：单一模态高质量、另一模态退化；图像清晰则将二维语义标签映射修正三维框；声纳几何完整则用三维几何修正图像候选区域；多模态融合增强：双模态均具备有效信息；基于浊度、光照、距离计算视觉综合分值分配光学、声纳模态融合权重，加权融合两类模态三维边界框参数。

17、本发明具有如下有益效果：依托5000组独立人工标注水下验证集，以3dap@0.25为核心评价指标，对比三类传统方案，标注成本大幅降低，海量训练样本可批量构建传统人工三维标注；本发明双阶段预标注：无需人工三维标注，50000组样本离线批量生成伪标签，仅需3000张二维图像预训练yolo26，整体标注成本大幅降低；解决水下三维标注样本稀缺瓶颈。伪标签噪声得到有效抑制，训练数据质量显著提升对比直接使用初始未优化伪标签训练方案。

18、全水域自适应能力强，退化场景检测精度提升显著分场景量化对比：

19、①清澈近景（浊度＜20ntu，距离＜5m）：3dap@0.25达89.2%，较传统纯声纳方案提升8.3%；

20、②高浊度远距离（浊度≥40ntu，距离≥8m）：传统纯光学方案检测失效（ap＜40%），传统固定权重伪标签方案ap仅57.1%；本发明自适应调整声纳权重后ap达76.8%，提升19.7个百分点；通过环境驱动双权重调节机制，实现清水、浑水、近景、远景全场景稳定检测，鲁棒性远超现有单模态/固定权重方案。

21、模型训练均衡性、泛化能力显著优化，稀有目标识别能力大幅增强传统固定采样训练：小型海洋生物、远距离线缆稀有类别ap仅48~55%；本发明闭环迭代采样权重调节+低密度特征增强：稀有类别ap提升至72~79%；多副本特征一致性聚合进一步平滑训练波动，模型在未参与训练的陌生水域泛化精度提升8~12个百分点，可直接应用于全新未勘探水域巡检作业。