一种面向边缘计算的水下墩柱图像增强方法和系统

摘要: 本发明属于水下图像处理与边缘计算,具体涉及一种面向边缘计算的水下墩柱图像增强方法、系统及边缘计算设备,尤其适用于水下机器人对桥梁、码头等结构物的墩柱进行实时视觉...
一种面向边缘计算的水下墩柱图像增强方法和系统

本发明属于水下图像处理与边缘计算,具体涉及一种面向边缘计算的水下墩柱图像增强方法、系统及边缘计算设备,尤其适用于水下机器人对桥梁、码头等结构物的墩柱进行实时视觉检测与病害识别的应用场景。

背景技术:

1、水下墩柱(如桥墩、码头支柱等)是重大基础设施的关键承载结构,其健康状态直接关系到工程安全。定期对水下墩柱进行裂缝、剥落、露筋等病害检测是结构维护的重要环节。传统人工潜水检测方式存在作业风险高、效率低、成本高等问题,已逐渐被基于水下机器人(rov/auv)的视觉检测技术所替代。

2、然而,水下机器人视觉检测面临两大核心挑战:第一,复杂水下光学环境导致图像严重退化。水体对光线的选择性吸收(红光衰减最快)和悬浮颗粒的后向散射,使得采集到的水下墩柱图像普遍存在蓝绿色偏、对比度低、细节模糊、雾化效应等问题,严重干扰了后续的病害识别;第二,许多实际应用场景(如偏远桥梁、深海结构)网络条件差,且水下机器人自身携带的电池和计算资源有限,需要在水下设备边缘端实现实时、低功耗的图像增强处理,无法依赖云端强大的计算能力。

3、针对上述问题,现有技术主要分为两类:一类是传统物理模型方法,如基于暗通道先验(dcp)及其水下改进版(udcp)的图像复原算法,这类方法计算量小但泛化能力弱,在复杂水质下容易出现色彩失真或恢复不足。另一类是基于深度学习的方法,如图像到图像的翻译网络、生成对抗网络等,这类方法增强效果优异,但模型参数量大、计算复杂度高,难以在边缘设备上实时运行。

4、因此,如何兼顾水下图像增强的质量与效率,研发一种既能够有效恢复水下墩柱图像的色彩与细节、又能在算力受限的边缘端实时运行的方法,成为本领域亟待解决的技术问题。

技术实现思路

1、本发明提供一种面向边缘计算的水下墩柱图像增强方法和系统,旨在解决水下复杂环境中图像退化严重与边缘设备算力有限之间的矛盾,实现高质量、低延迟的水下墩柱图像增强,为水下机器人的实时病害检测提供可靠的视觉预处理支撑。

2、第一方面,本发明提出了一种面向边缘计算的水下墩柱图像增强方法,该方法包括如下步骤:获取原始水下墩柱图像;基于水下成像物理模型对所述原始水下墩柱图像进行物理复原,得到物理复原特征图;从所述原始水下墩柱图像中提取至少一个数学特征图,所述数学特征图包括用于表征骨干结构边缘的边缘特征图和/或用于表征微观纹理的纹理特征图;将所述原始水下墩柱图像、所述物理复原特征图以及所述数学特征图共同输入至基于状态空间模型的特征融合网络,通过所述特征融合网络对多模态特征进行全局上下文建模与自适应加权融合,输出增强图像。

3、优选的,从所述原始水下墩柱图像中提取所述数学特征图包括:基于相位一致性提取所述边缘特征图;和/或基于分数阶微分提取所述纹理特征图。

4、进一步优选的,所述基于水下成像物理模型进行物理复原包括:提取所述原始水下墩柱图像的蓝颜色通道和绿颜色通道,构建水下暗通道图;基于所述水下暗通道图中亮度值最高的前若干百分比的像素点,估计全局背景光;根据所述水下暗通道图与所述全局背景光计算初始透射率图,并采用引导滤波对所述初始透射率图进行保边平滑优化,得到优化透射率图;根据所述优化透射率图与所述全局背景光,恢复得到所述物理复原特征图。

5、进一步优选的,所述基于相位一致性提取边缘特征图包括:对所述原始水下墩柱图像进行多尺度、多方向的滤波,计算每个像素点的相位一致性值,其中所述相位一致性值基于局部振幅与相位偏差函数计算,并引入噪声补偿阈值;将计算得到的相位一致性值图作为所述边缘特征图。

6、进一步优选的,所述基于分数阶微分提取纹理特征图包括:构造分数阶微分卷积掩膜,所述掩膜基于grünwald-letnikov定义;利用所述分数阶微分卷积掩膜对所述原始水下墩柱图像的灰度图进行卷积运算,得到所述纹理特征图。

7、优选的,所述基于状态空间模型的特征融合网络为基于选择性状态空间模型的mamba网络,所述mamba网络包括选择性扫描机制,其状态转移参数为输入依赖的。

8、优选的,将所述原始水下墩柱图像、所述物理复原特征图以及所述数学特征图输入至特征融合网络之前,还包括:将上述各特征图在通道维度进行拼接,并通过卷积投影层映射至统一特征空间。

9、优选的,所述特征融合网络通过预先构建的水下墩柱病害多模态增强数据集进行监督训练,训练所用的损失函数为组合损失函数,所述组合损失函数包括像素级l1损失、感知损失以及结构相似性损失中的至少两者。

10、优选的,还包括:将训练后的特征融合网络进行模型压缩,所述模型压缩包括结构化剪枝和/或混合精度量化,并将压缩后的模型部署于边缘计算终端。

11、第二方面,本发明实施例提供了一种面向边缘计算的水下墩柱图像增强系统,包括:图像获取模块,用于获取原始水下墩柱图像;物理复原模块,用于基于水下成像物理模型对所述原始水下墩柱图像进行物理复原,得到物理复原特征图;数学特征提取模块,用于从所述原始水下墩柱图像中提取至少一个数学特征图,所述数学特征图包括用于表征骨干结构边缘的边缘特征图和/或用于表征微观纹理的纹理特征图;特征融合模块,其内设有基于状态空间模型的特征融合网络,用于将所述原始水下墩柱图像、所述物理复原特征图以及所述数学特征图共同输入至基于状态空间模型的特征融合网络,通过所述特征融合网络对多模态特征进行全局上下文建模与自适应加权融合,输出增强图像。

12、优选的,还包括:输出模块,用于将所述增强图像输出至边缘计算终端进行存储、显示或驱动后续病害识别。

13、第三方面,本发明实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

14、第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

15、第五方面,本技术实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

16、与现有技术相比,本发明的有益效果在于:

17、(1)增强质量高,病害特征突出:本发明采用“物理复原-数学特征提取-智能融合”三级架构,物理复原模块从光学模型层面恢复图像对比度与色彩基准,相位一致性边缘特征图对光照变化具有不变性,能够清晰勾勒墩柱轮廓与裂缝完整骨架,分数阶微分纹理特征图能够有效增强微小病害细节。三类特征经基于状态空间模型的融合网络自适应加权融合,生成的增强图像在色彩保真度、边缘完整性、纹理清晰度方面均优于现有方法。通过消融实验证明,全模态融合相对于单模态输入,峰值信噪比(psnr)提升约1.83db,结构相似性(ssim)提升约0.0095,呈现出明显的协同增强效应。

18、(2)满足边缘端实时性要求:本发明的核心融合网络采用基于状态空间模型的线性复杂度架构(计算复杂度o(n)),相比于transformer的二次复杂度o(n²)具有显著的效率优势。结合结构化剪枝与混合精度量化等模型压缩技术,整个算法可在nvidia jetson系列等嵌入式平台上以超过20帧/秒的速度稳定运行,满足水下机器人实时巡检的毫秒级响应需求。

19、(3)环境鲁棒性强:相位一致性对光照和对比度变化具有内在不变性,分数阶微分在增强纹理的同时能够抑制高频噪声,物理复原模块基于水下成像模型具有明确物理意义。三者结合使得本发明的算法在不同浑浊度、不同光照条件的水下环境中均能保持稳定、可靠的增强效果,泛化能力突出。

20、(4)工程落地路径完整:本发明提供了从专用数据集构建(水下墩柱病害多模态增强数据集)、算法设计、模型训练到边缘部署的全栈解决方案,可直接集成至现有水下机器人的视觉系统中,赋能其实现高水平的自主环境感知能力。