一种用于水下密闭空间场景的图像增强和姿态估计方法、设备、存储介质、产品和装置

本发明涉及水下视觉图像处理与机器人视觉，特别涉及一种用于水下密闭空间场景的图像增强和姿态估计方法、设备、存储介质、产品和装置。

背景技术：

1、随着海洋资源开发、水下工程运维、水下特种作业技术的发展，水下机械臂被广泛应用于水下装配、设备检修、水工结构巡检等任务中，视觉监测系统是水下机械臂远程操控与自主作业的核心感知单元。在压力筒密闭水下环境中，其压力可达30mpa，且水体存在轻微浑浊、环境光照度极低的特点，同时水体对光线存在光谱选择性吸收与散射效应，导致水下相机采集的图像存在严重的颜色失真，如偏蓝或偏绿、对比度低、细节模糊、噪声显著等问题，直接影响后续目标检测与姿态估计的精度；同时，水下环境的折射、反光、局部遮挡等问题，也对机械臂三维姿态估计的实时性、精度与鲁棒性提出了极高的要求。

2、针对水下图像增强技术，现有方案主要分为传统图像处理方法与基于深度学习的方法两类。传统方法如白平衡算法、线性对比度拉伸、直方图均衡化等，仅能实现简单的颜色与亮度调整，无法适配水下复杂的光衰减与散射特性，易出现图像过饱和、色彩二次失真、细节丢失等问题，在轻微浑浊暗环境下增强效果极差。若采用基于卷积神经网络cnn的水下图像增强方法，并依赖大规模成对的水下退化与清晰图像训练数据，也会导致真实水下场景的成对标注数据获取难度极大、成本极高，导致模型泛化能力弱，跨场景增强效果不稳定；另外，现有基于生成对抗网络gan的增强方法，未充分结合水下光学成像的物理模型，仅通过数据驱动实现图像增强，易出现增强后图像与水下物理成像规律不符、内容失真的问题，且模型计算量大，无法满足多相机同步采集场景下的实时处理需求。

3、针对水下机械臂三维姿态估计技术，现有方案主要分为单目视觉法、多目立体视觉法与激光雷达法。激光雷达法的设备成本高、点云稀疏，无法实现机械臂关节点的精细化姿态估计；单目视觉法依赖目标先验模型，在水下遮挡、光照不均场景下精度极低，无法满足作业需求；多目立体视觉法是当前主流方案，但现有技术存在显著缺陷：其一，二维关节点检测多采用静态bin分配的坐标分类策略，在密集预测场景中易出现大实例关键点遗漏、小实例关键点量化误差大的问题，水下低质量图像中检测精度大幅下降；其二，三维重建多采用普通三角测量法，默认各视角观测数据权重一致，未考虑水下折射、反光、遮挡导致的部分视角观测质量低的问题，易引入显著的系统误差，导致三维姿态估计结果偏差大；其三，现有算法难以兼顾实时性与精度，高精度模型推理延迟高，无法满足水下机械臂实时操控的需求，而轻量化模型则无法保证关节点检测的精度。

4、综上，现有技术无法同时满足密闭水下作业暗环境、轻微浑浊水体场景下，水下图像增强的实时性、自然性、物理真实性，以及机械臂三维姿态估计的高精度、强鲁棒性、低延迟的双重需求，严重制约了水下机械臂视觉监测系统的工程化应用。

技术实现思路

1、本发明是为了解决上述问题，进而提供了一种用于水下密闭空间场景的图像增强和姿态估计方法、设备、存储介质、产品和装置。

2、本发明为解决上述技术问题所采用的技术方案是：一种用于水下密闭空间场景的图像增强和姿态估计方法、设备、存储介质、产品和装置，包括以下步骤：

3、s1：对采集的原始水下图像进行基于最小颜色损失约束的自适应通道统计颜色校正处理；

4、s2：对所述颜色校正后的图像进行耦合最小颜色损失的lab分层自适应对比度增强处理；

5、s3：对所述增强处理后的图像进行融合梯度、色度相似度及色彩损失约束视觉感知融合，以获得最终增强图像；

6、s4：将所述最终增强图像输入rtmo二维姿态估计网络，分别检测得到各视角下机械臂各关节点的二维坐标与对应的置信度；

7、s5：基于多相机联合标定得到的各相机内外参数，结合所述各视角关节点的二维坐标与置信度，通过置信度加权的三角测量法，求解得到机械臂各关节点的三维坐标，完成机械臂三维姿态估计。

8、进一步地，s1中所述基于最小颜色损失约束的自适应通道统计颜色校正处理的具体实现过程为：

9、s1.1：分别计算原始水下图像红色通道r、绿色通道g以及蓝色通道b的均值和方差，并构建基于统计特征的归一化校正模型：

10、

11、其中，表示原始图像对应颜色通道的像素值，表示初始颜色校正后的通道图像；

12、s1.2：以所述绿色通道g作为参考通道，构建红色通道r和蓝色通道b的自适应补偿因子；

13、s1.3：根据所述自适应补偿因子，对衰减较严重的红色通道r和蓝色通道b进行动态补偿，得到补偿后的红色通道r和蓝色通道b；

14、s1.4：将所述补偿后的图像转换至线性rgb空间，构建颜色适应矩阵，对不同光照条件下的图像颜色进行进一步校正，其表达式为：

15、

16、

17、

18、

19、其中，表示补偿后的rgb图像，表示线性空间图像，表示伽马系数，表示参考光源矩阵，表示目标光源矩阵，表示颜色校正后的输出图像。

20、进一步地，s2中所述耦合最小颜色损失的lab分层自适应对比度增强处理的具体实现过程为：

21、s2.1：将所述颜色校正后的图像转换至亮度与色度分离的lab颜色空间，得到亮度分量以及第一色度分量和第二色度分量；

22、s2.2：对所述亮度分量进行局部对比度提升，并采用多尺度分解方式提取基础层与细节层，先对亮度分量进行自适应直方图均衡处理，再利用平滑滤波算子进行两层基础层分解，得到：

23、

24、

25、其中，为第一基础层，为第二基础层，和表示平滑锐化一体化滤波操作；

26、s2.3：根据所述第一基础层和第二基础层构建亮度分量的细节层信息，得到：

27、

28、

29、其中，表示第一细节层，表示第二细节层，通过将亮度分量分解为基础层与细节层，实现图像大尺度亮度信息与小尺度纹理信息的分离；

30、s2.4：将所述第二基础层与第一细节层和第二细节层进行重构；同时，对色度分量和进行自适应平衡调整，调整公式分别为：

31、当时，

32、

33、当时，

34、

35、其中，和分别表示lab颜色空间中的色度分量，和分别表示调整后的色度分量，最后将增强后的亮度分量与调整后的色度分量重新转换回rgb空间，得到对比度增强后的图像。

36、进一步地，s3中所述融合梯度、色度相似度及色彩损失约束视觉感知融合处理的具体实现过程为：

37、s3.1：分别获取所述原始图像、颜色校正后的图像以及对比度增强后的图像，并将其转换至亮度与色度分离空间；

38、s3.2：对亮度分量采用sobel算子计算梯度幅值，得到图像梯度信息；

39、s3.3：分别计算所述颜色校正图像与所述原始图像之间、对比度增强图像与原始图像之间的梯度相似性，其表达式为：

40、

41、其中，计算原始图像与颜色校正图像时，为原始图像梯度，为颜色校正图像梯度；计算原始图像与对比度增强图像时，为原始图像梯度，为对比度增强图像梯度，表示两幅图像之间的梯度相似性；

42、s3.4：基于色度分量计算所述图像的颜色相似性，其表达式为：

43、

44、其中，计算原始图像与颜色校正图像时，、为原始图像双通道色度值，、为颜色校正图像双通道色度值；计算原始图像与对比度增强图像时，、为原始图像双通道色度值，、为对比度增强图像双通道色度值；、分别表示两幅图像在第一色度分量上的取值，、分别表示两幅图像在第二色度分量上的取值；

45、s3.5：根据梯度相似性和颜色相似性构建综合相似度：

46、

47、并利用softmax函数计算颜色校正图像与对比度增强图像对应的融合权重和；

48、s3.6：依据所述融合权重，对颜色校正结果和对比度增强结果进行加权融合，得到最终增强图像：

49、

50、其中，表示最终输出的增强图像。

51、进一步地，s5中所述机械臂三维姿态估计方法的具体实现过程为：

52、s5.1：获取各水下相机的内参矩阵、畸变系数、相机间外参矩阵与投影矩阵p；

53、s5.2：通过混合编码器处理主干输出的特征图得到采样特征图；对每个网格单元生成得分与姿态特征，用于预测边界框、关键点坐标与可见性；

54、s5.3：扩展边界框以覆盖所有关节点，并沿水平、垂直轴分别均匀划分为个、个bin，每个bin对应一个坐标区间，每个水平bin的x坐标计算方式为：

55、

56、其中，和分别为边界框的左右两侧，索引i的取值范围为1到，y轴上的bin计算方式相同；

57、s5.4：对每个bin的坐标进行编码，生成bin特定的位置表征，并通过全连接层对位置编码进行线性变换优化；

58、s5.5：从姿态特征中提取关键点特征并优化，将优化后的关键点特征与每个bin的位置表征相乘，经计算得到每个bin中关键点出现的概率热图；

59、s5.6：通过所述概率热图解码得到机械臂各关节点的二维坐标，同时输出每个关节点的置信度得分；

60、s5.7：将各视角的增强水下图像输入训练完成的rtmo网络，设置得分阈值0.1与非极大值抑制nms进行网格过滤，解码得到各视角下机械臂每个关节点的二维坐标与对应的置信度，其中i为相机编号，j为关节点编号。

61、进一步地，s5中所述基于置信度加权三角测量法实现的机械臂三维姿态重建具体实现过程为：

62、s5.8：为每个所述关节点j设置置信度阈值δ，对于第j个关节点，仅保留各视角中置信度的二维坐标观测值，剔除低置信度、受遮挡或干扰的无效观测数据；

63、s5.9：对于所述第j个关节点，设其三维空间齐次坐标为，对于每个有效观测视角i，其组成矩阵为3×4的相机投影矩阵pi，二维观测齐次坐标为,根据相机投影关系有：

64、

65、将每个有效视角对应的2个线性方程，组成2×4的系数矩阵ai，所有有效视角的系数矩阵堆叠形成过约束线性方程组：

66、；

67、s5.10：为每个有效视角i的线性方程赋予权重，即权重与该视角下关节点的置信度正相关，将权重作用于系数矩阵a，得到加权后的系数矩阵aw，降低低质量观测对三维重建的影响；

68、s5.11：对加权后的系数矩阵aw进行奇异值分解svd，求解得到齐次坐标xj，将齐次坐标除以其第四维元素，得到关节点j的三维欧式坐标；

69、s5.12：遍历机械臂所有关节点，重复上述步骤5.8至步骤5.11，得到所有关节点的三维坐标，结合机械臂的运动学模型，完成机械臂三维姿态的估计与位姿解算。

70、一种包含用于水下密闭空间场景的图像增强和姿态估计设备，包括存储器、处理器及存储在存储器上的计算机优化程序，所述处理器执行所述计算机程序以实现用于水下密闭空间场景的图像增强和姿态估计方法的步骤。

71、一种包含用于水下密闭空间场景的图像增强和姿态估计介质，其上存储有计算机程序，该计算机程序被处理器执行时实现用于水下密闭空间场景的图像增强和姿态估计方法的步骤。

72、一种包含用于水下密闭空间场景的图像增强和姿态估计产品，包括计算机程序，该计算机程序被处理器执行时实现用于水下密闭空间场景的图像增强和姿态估计方法的步骤。

73、一种包含用于水下密闭空间场景的图像增强和姿态估计装置，包括水下图像增强子模块和机械臂姿态估计子模块，所述水下图像增强子模块执行时实现用于水下密闭空间场景的图像增强和姿态估计方法中s1~s3的步骤，所述机械臂姿态估计子模块执行时实现权利要求1所述方法中s4~s5的步骤。

74、本发明与现有技术相比具有以下效果：

75、本发明通过基于颜色校正、对比度增强与视觉感知融合三阶段架构的水下图像增强算法，对水下图像进行色彩校正与清晰度提升，有效解决水下图像色彩失真、细节模糊的问题；基于rtmo二维姿态估计与多视角置信度加权三角测量，对机械臂进行高精度、低延迟的三维姿态估计，解决现有技术在特殊水下场景中应用的高延迟、低精度、弱鲁棒问题。本发明可以实现在密闭水下暗环境、轻微浑浊水体场景中输出高质量增强图像与机械臂姿态估计结果，显著提升水下机械臂视觉监测清晰度与准确度，为水下作业提供稳定可靠的视觉输入。