基于语义聚类令牌重排序与暗响应调制的水下图像增强方法及系统

本发明属于计算机视觉、人工智能和图像恢复，具体涉及一种基于内容自适应循环轨迹建模的水下图像增强方法、系统、计算机设备及计算机可读存储介质。

背景技术：

1、水下图像通常受到波长相关光吸收、散射、后向散射以及非均匀照明等因素影响，容易出现颜色偏移、对比度降低、雾化遮蔽和细节丢失等退化现象。水下图像增强旨在从退化观测中恢复色彩一致、结构清晰且视觉自然的图像，是水下机器人、海洋生态监测、水下视觉巡检和水下目标感知等任务的重要预处理环节。

2、与一般图像恢复任务相比，水下退化具有显著的空间异质性。同一幅图像中，不同区域可能因场景深度、水体介质、照明条件和目标反射率不同而呈现不同退化强度；空间距离较远的区域可能具有相似的退化模式，而相邻区域也可能需要不同的恢复操作。因此，水下图像增强既需要保持局部边缘和纹理，又需要在空间上分散但语义或退化模式相关的区域之间建立长程依赖。

3、现有卷积神经网络方法擅长局部结构恢复，但其长距离依赖建模能力受限；transformer方法能够建模全局关系，但受限计算复杂度较高；视觉rwkv等循环模型具有线性复杂度优势，但通常依赖固定的水平、垂直、光栅或频域扫描顺序。固定扫描顺序与输入内容无关，难以匹配水下图像中区域依赖关系随内容和退化模式变化的特点，可能导致循环状态在无关区域之间传播，并延迟相关区域之间的信息交互。此外，动态重排序虽然有利于长程依赖建模，但可能破坏原始邻域连续性，造成边缘、纹理和细节保真不足。

技术实现思路

1、本发明提供一种基于语义聚类令牌重排序与暗响应调制的水下图像增强方法及系统，其目的在于解决现有水下图像增强技术中，循环模型依赖固定扫描顺序难以适配水下退化的特点、动态重排序会破坏邻域连续性的问题。

2、第一个方面，本发明的目的在于提供一种基于语义聚类令牌重排序与暗响应调制的水下图像增强方法，包括以下步骤：

3、s1：获取待增强的水下图像，对所述待增强的水下图像进行卷积特征编码，得到至少一个尺度的二维水下退化特征图；

4、s2：将各尺度的二维水下退化特征图分别输入对应的聚类感知循环rwkv模块进行特征增强，处理过程如下：

5、s21：对输入特征执行层归一化后，通过暗响应调制局部传播提取局部结构响应，得到局部增强特征；

6、s22：将所述局部增强特征展平为令牌序列，对令牌序列进行特征空间聚类，得到多个语义令牌组；计算每个语义令牌组的语义原型和空间质心，基于各语义令牌组的语义原型与空间质心构建组间关系矩阵，并根据所述组间关系矩阵构造内容自适应循环轨迹；

7、s23：按照所述内容自适应循环轨迹重排令牌序列并执行循环加权键值聚合，将聚合结果映射回原始二维空间布局后，与输入特征进行残差连接，得到对应尺度的循环增强特征；

8、s3：通过解码器对全部尺度的循环增强特征进行上采样融合与图像重建，输出增强后的水下图像。

9、更进一步地，提供优选方案：所述s21包括：采用深度可分离卷积对输入特征提取局部结构响应，所述深度可分离卷积的卷积窗口尺寸随所在网络层的深度增加而增大。

10、更进一步地，提供优选方案：所述s22中，对令牌序列进行特征空间聚类，得到多个语义令牌组，具体为：

11、对令牌序列中每个位置的令牌特征进行l2归一化处理，对归一化后的全部令牌执行k均值聚类，得到k个语义令牌组。

12、更进一步地，提供优选方案：所述s22中，计算每个语义令牌组的语义原型和空间质心，具体为：

13、针对每个语义令牌组，以组内全部令牌特征的均值作为该组的语义原型，以组内全部令牌的归一化坐标的均值作为该组的空间质心。

14、更进一步地，提供优选方案：所述s22中，基于各语义令牌组的语义原型与空间质心构建组间关系矩阵，具体为：

15、对于任意两个语义令牌组，二者的组间关系值由语义相似度项与空间邻近项加权求和得到；其中语义相似度项为两组语义原型的余弦相似度，空间邻近项为两组空间质心欧氏距离的负指数函数值。

16、更进一步地，提供优选方案：，所述s22中，根据所述组间关系矩阵构造内容自适应循环轨迹，具体包括：

17、根据组间关系矩阵确定各语义令牌组的聚类级遍历顺序；

18、针对每个语义令牌组，将组内令牌映射回二维网格空间，划分得到至少一个空间连通区域；每个连通区域内部按光栅扫描顺序排列令牌，同一语义令牌组内的不同连通区域按其空间质心的光栅索引排序，得到该语义令牌组的组内令牌序列；

19、按照所述聚类级遍历顺序依次串接所有语义令牌组的组内令牌序列，形成最终的内容自适应循环轨迹。

20、更进一步地，提供优选方案：所述s23包括：

21、按照内容自适应循环轨迹的顺序对令牌序列进行重排，对重排后的令牌序列执行循环加权键值聚合；聚合完成后通过逆重排操作恢复令牌与原始二维空间位置的对应关系。

22、第二个方面，本发明的目的在于提出一种基于语义聚类令牌重排序与暗响应调制的水下图像增强系统，所述系统用于实现上述任意一项或多项方案所述的基于语义聚类令牌重排序与暗响应调制的水下图像增强方法，所述系统包括

23、特征编码模块：用于获取待增强的水下图像，对所述待增强的水下图像进行卷积特征编码，得到至少一个尺度的二维水下退化特征图；

24、至少一个聚类感知循环rwkv模块，与各尺度的二维水下退化特征图一一对应，用于对输入特征进行增强处理，处理过程如下：

25、对输入特征执行层归一化后，通过暗响应调制局部传播提取局部结构响应，得到局部增强特征；

26、将所述局部增强特征展平为令牌序列，对令牌序列进行特征空间聚类，得到多个语义令牌组；计算每个语义令牌组的语义原型和空间质心，基于各语义令牌组的语义原型与空间质心构建组间关系矩阵，并根据所述组间关系矩阵构造内容自适应循环轨迹；

27、按照所述内容自适应循环轨迹重排令牌序列并执行循环加权键值聚合，将聚合结果映射回原始二维空间布局后，与输入特征进行残差连接，得到对应尺度的循环增强特征；

28、图像重建模块：用于通过解码器对全部尺度的循环增强特征进行上采样融合与图像重建，输出增强后的水下图像。

29、第三个方面，本发明的目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据上述任意一项或多项方案组合所述的基于语义聚类令牌重排序与暗响应调制的水下图像增强方法。

30、第四个方面，本发明的目的在于提供一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述任意一项或多项方案组合所述的基于语义聚类令牌重排序与暗响应调制的水下图像增强方法。

31、与现有技术相比，本发明的优势在于：

32、本发明通过聚类感知语义动态重排序将视觉rwkv的固定扫描路径改造为内容自适应循环轨迹，使循环状态优先在语义相关和退化模式相关的区域之间传播，改善空间异质性水下退化场景中的长程依赖建模效果。

33、本发明通过暗响应调制局部传播在动态令牌重排序之前注入局部结构响应，并利用伪暗响应图自适应控制局部结构注入强度，能够缓解重排序引入的邻域连续性损失，提高边缘保持、纹理恢复和局部颜色过渡的自然性。

34、本发明在不改变循环加权键值聚合算子基本形式的前提下调整令牌传播顺序，并通过深度可分离卷积和通道混合实现局部补偿，具有较好的计算效率和模型扩展性，适合高分辨率水下图像增强任务。

35、实验结果表明，在多个水下图像增强数据集上，本发明能够获得较好的全参考指标和无参考感知质量，并在颜色一致性、目标边界清晰度和局部细节保真方面表现稳定，具有较强的实际应用价值。

36、本发明适用于水下图像处理场景，可应用于水下机器人、海洋生态监测、水下视觉巡检、水下目标感知等水下视觉任务。