一种水下近距离目标融合检测识别方法、系统及装置与流程

本发明涉及水下机器人，特别涉及一种水下近距离目标融合检测识别方法、系统及装置。

背景技术：

1、水下机器人也称无人遥控潜水器，是一种工作于水下的极限作业机器人，水下环境恶劣危险，人的潜水深度有限，所以水下机器人已成为开发海洋的重要工具，水下机器人在近距离作业中，如海底管道检测、水下结构物维修、沉物打捞等，需要对目标进行精确的检测、识别和轮廓定位。

2、然而，水下近距离环境极其复杂：水体对光线的吸收和散射导致光学图像模糊、色彩失真、对比度低；浑浊水体会使可见光有效作用距离大幅缩短；作业产生的气泡和悬浮物会形成强烈干扰，声纳虽不受光照和浑浊度影响，但在近距离下分辨率有限，且对目标边缘和纹理细节的辨识能力远低于光学传感器，存在声学阴影和镜面反射问题。

3、而现有技术多依赖单一传感器，或进行简单的信息融合（如数据级拼接或决策级投票），存在明显局限性，从而为人们的使用带来不便。

4、因此，如何提供一种水下近距离目标融合检测识别方法、系统及装置，是目前亟待解决的问题。

技术实现思路

1、本发明实施例提供了一种水下近距离目标融合检测识别方法、系统及装置，以解决现有技术中的问题。

2、为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

3、根据本发明实施例的第一方面，提供了一种水下近距离目标融合检测识别方法。

4、在一个实施例中，一种水下近距离目标融合检测识别方法，该方法包括：

5、获取目标区域内水下近距离的多源异构数据；

6、对多源异构数据进行预处理，提取异构代表特征；

7、对异构代表特征进行跨模态特征对齐处理，得到一致性跨模态特征；通过预设特征融合网络内置的跨模态注意力融合机制，自适应求解一致性跨模态特征中各模态特征通道的注意力权重，并根据注意力权重对一致性跨模态特征进行加权融合，输出联合特征；

8、构建用于执行目标类别识别与像素级和/或点云级精确分割的多任务输出层，并将联合特征输入至多任务输出层，输出水下目标的检测识别结果及目标轮廓精准定位信息。

9、在一个实施例中，多源异构数据包括彩色图像、三维点云数据及声学图像。

10、在一个实施例中，对多源异构数据进行预处理，提取异构代表特征包括：

11、对彩色图像进行水下去散射增强处理，得到增强彩色图像；

12、对三维点云数据进行统计离群点去除与体素化下采样处理，以去除无效噪声点云和精简数据量，得到增强三维点云数据；

13、对声学图像进行声斑噪声抑制与对比度增强处理，以消除声学成像固有噪声，得到增强声学图像；

14、从增强彩色图像、增强三维点云数据及增强声学图像中分别提取纹理颜色特征、几何形状特征和材质反射强度特征，形成异构代表特征。

15、在一个实施例中，对彩色图像进行水下去散射增强处理，得到增强彩色图像包括：

16、基于彩色图像，进行全局背景光估计，获得全局背景光向量；

17、根据全局背景光向量，对彩色图像进行逐像素透射率估计，生成透射率图；

18、基于水下光学传播特性，结合全局背景光向量与透射率图，从彩色图像中反演目标辐射亮度，得到清晰图像；

19、对清晰图像依次进行白平衡校正与自适应局部对比度增强处理，输出增强彩色图像。

20、在一个实施例中，从增强彩色图像、增强三维点云数据及增强声学图像中分别提取纹理颜色特征、几何形状特征和材质反射强度特征，形成异构代表特征包括：

21、对增强彩色图像进行多尺度卷积处理，分别在浅层、中层和深层获取不同分辨率的特征图，经通道对齐与上采样融合后，输出纹理颜色特征；

22、对增强三维点云数据进行三维空间特征提取，输出几何形状特征；

23、对增强声学图像进行卷积处理，输出材质反射强度特征；

24、整合多尺度纹理颜色特征、几何形状特征和材质反射强度特征，形成异构代表特征。

25、在一个实施例中，对异构代表特征进行跨模态特征对齐处理，得到一致性跨模态特征包括：

26、以目标区域对应的位姿数据与深度数据为基准，对异构代表特征中各特征进行时间戳对齐处理，得到时间对齐异构代表特征；

27、基于位姿数据对应的旋转矩阵与平移向量，将时间对齐异构代表特征中各特征统一映射至同一空间参考坐标系下，获得空间对齐异构代表特征；

28、对空间对齐异构代表特征进行自适应尺度归一化处理，将不同维度、不同量级的特征映射至统一的特征尺度区间，得到一致性跨模态特征。

29、在一个实施例中，通过预设特征融合网络内置的跨模态注意力融合机制，自适应求解一致性跨模态特征中各模态特征通道的注意力权重，并根据注意力权重对一致性跨模态特征进行加权融合，输出联合特征包括：

30、通过预设特征融合网络将一致性跨模态特征中各模态特征映射调整至统一特征维度，得到调整后一致性跨模态特征；

31、根据预设特征融合网络内置的跨模态注意力融合机制，对调整后一致性跨模态特征中各模态特征进行全局池化采样，融合所有模态的通道描述信息，自适应生成各模态特征通道对应的注意力权重向量；

32、利用跨模态注意力融合机制将各模态特征与对应的注意力权重向量逐通道相乘，得到加权模态特征；

33、通过预设特征融合网络将各加权模态特征在通道维度进行拼接融合，并对拼接后的特征进行降维筛选与整合处理，输出联合特征。

34、在一个实施例中，根据预设特征融合网络内置的跨模态注意力融合机制，对调整后一致性跨模态特征中各模态特征进行全局池化采样，融合所有模态的通道描述信息，自适应生成各模态特征通道对应的注意力权重向量包括：

35、对调整后一致性跨模态特征中各模态特征分别进行全局平均池化，获得各模态特征的通道描述向量；

36、将当前模态特征的通道描述向量与剩余全部模态特征的通道描述向量进行拼接，形成跨模态上下文描述向量；

37、将跨模态上下文描述向量依次经过全连接降维、非线性激活、全连接升维及归一化处理，生成当前模态特征通道对应的注意力权重向量；

38、遍历所有模态，获得各模态特征通道对应的注意力权重向量。

39、在一个实施例中，多任务输出层包括分类分支及分割分支；

40、其中，所述分类分支，用于对联合特征依次进行全局池化与全连接映射处理，输出目标类别识别结果；

41、所述分割分支，用于对联合特征进行逐层上采样与卷积恢复空间分辨率处理，输出像素级分割结果；或者，用于将联合特征映射回各采样点后进行逐点类别判定处理，输出点云级分割结果；

42、所述分类分支与所述分割分支在训练阶段采用联合损失函数进行监督，所述联合损失函数包括分类损失函数、交叉熵损失函数与dice损失函数。

43、根据本发明实施例的第二方面，提供了一种水下近距离目标融合检测识别系统。

44、在一个实施例中，一种水下近距离目标融合检测识别系统，该系统包括：

45、异构数据获取单元，用于获取目标区域内水下近距离的多源异构数据；

46、异构数据处理单元，用于对多源异构数据进行预处理，提取异构代表特征；

47、联合特征构建单元，用于对异构代表特征进行跨模态特征对齐处理，得到一致性跨模态特征；通过预设特征融合网络内置的跨模态注意力融合机制，自适应求解一致性跨模态特征中各模态特征通道的注意力权重，并根据注意力权重对一致性跨模态特征进行加权融合，输出联合特征；

48、检测识别单元，用于构建用于执行目标类别识别与像素级/点云级精确分割的多任务输出层，并将联合特征输入至多任务输出层，输出水下目标的检测识别结果及目标轮廓精准定位信息。

49、根据本发明实施例的第三方面，提供了一种水下近距离目标融合检测识别装置。

50、在一个实施例中，一种水下近距离目标融合检测识别装置，该装置包括：

51、驱动机构、异构数据采集模块、特征处理模块、驱动模块及调节模块；

52、其中，驱动机构包括漂浮板，漂浮板内腔底部的一端设置有蓄电池，漂浮板内腔底部的另一端设置有特征处理模块。

53、在一个实施例中，特征处理模块包括特征提取器和特征处理器，特征提取器设置于漂浮板内腔的另一端底部，特征处理器设置于漂浮板内腔的另一端顶部。

54、在一个实施例中，驱动模块包括设置于漂浮板顶部一端的第二电机，第二电机的输出轴设置有第三支架，第三支架的一侧设置有第三电机，第三电机的输出轴设置有扇叶；

55、在一个实施例中，第三支架底部的另一端设置有第二辅助杆，第二辅助杆的底部设置有第二卡板，且第二卡板设置于漂浮板的顶部。

56、在一个实施例中，调节模块包括设置于漂浮板顶部中端的第一电机，第一电机的输出轴设置有电动伸缩杆，电动伸缩杆的伸缩端设置有第一支架，第一支架的正面设置有第四电机；

57、电动伸缩杆固定端的底部设置有第一卡板，第一卡板的底部滑动设置有若干等距分布的第一辅助杆，且第一辅助杆设置于漂浮板的顶部。

58、在一个实施例中，异构数据采集模块包括设置于第四电机的输出轴上的第二支架，第二支架顶部的一端设置有惯性测量仪；

59、第二支架一侧的中端设置有光学相机，第二支架一侧的两端均设置有高频前视声纳，第二支架底部的一端设置有激光扫描仪，第二支架的底部且位于激光扫描仪的另一侧设置有深度压力传感器。

60、本发明实施例提供的技术方案可以包括以下有益效果：

61、1、本发明信息互补性强：光学、激光、声纳三者优势互补，克服了单一传感器在特定环境下的局限性，激光提供精确3d形状，光学提供纹理颜色，声纳提供穿透浑浊水体和材质信息；

62、2、本发明融合机制先进：采用基于注意力机制的特征级融合，能够自适应地权衡不同传感器信息的重要性，尤其在部分传感器数据质量下降时，能自动倚重更可靠的传感器信息，鲁棒性极高；且由于增设特征对齐模块，可在融合前削弱不同模态间的时空偏差，提高后续注意力融合的稳定性和识别准确率；

63、3、本发明输出结果精确：同时完成分类和像素级分割，不仅知道是什么，还知道精确位置和轮廓，为后续的抓取、操作等作业提供关键信息；

64、4、本发明自动化程度高：基于深度学习端到端实现，减少了传统方法中对人工特征设计和复杂规则制定的依赖；

65、5、本发明整体灵活性大：在驱动模块和调节模块的配合下可有效提高异构数据采集模块整体的灵活性，从而实现对不同位置目标进行识别的目的。

66、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。