一种基于多浑浊度监督迁移与带符号偏振协同建模的水下偏振图像增强方法

摘要: 本发明涉及水下偏振成像与计算机图像处理,尤其涉及一种基于多浑浊度监督迁移与带符号偏振协同建模的水下偏振图像增强方法。背景技术:1、水下光在传播过程中会受到吸收、...
一种基于多浑浊度监督迁移与带符号偏振协同建模的水下偏振图像增强方法

本发明涉及水下偏振成像与计算机图像处理,尤其涉及一种基于多浑浊度监督迁移与带符号偏振协同建模的水下偏振图像增强方法。

背景技术:

1、水下光在传播过程中会受到吸收、前向散射和后向散射的共同影响,使采集到的水下图像出现颜色衰减、对比度降低、边缘模糊和细节不稳定等现象。水下图像质量还会随观测距离、颗粒物浓度和照明条件变化,同一图像增强模型在不同水域或不同散射状态下可能产生不同的恢复结果。

2、现有水下偏振成像方法通常利用多个偏振角度观测构建stokes分量或偏振特征,并将其用于图像增强。此类偏振特征构建及其用于图像处理的基本方式已有相关研究,本发明的改进重点不在于单独提出stokes分解,而在于将保留正负号的偏振差分与同场景多浑浊度训练监督结合,使其服务于单档输入下的恢复。

3、同一场景的多浑浊度观测可提供成组训练数据,但实际部署通常只能获得一种浑浊度下的四角度图像。需要解决的问题是:在不假设不同浑浊度下偏振观测相同、也不依赖部署时提供其他档位图像的前提下,如何利用成组训练数据中的清水监督,使网络在单档输入时仍能获得有效约束。

4、针对上述问题,本发明以单档部署约束下的多档监督迁移为主线:训练时逐档恢复并以对应清水rgb图像监督,以同一网络多档恢复代理图的均值构成停止梯度的组级在线教师,再通过随机等级遮挡及单档、遮挡组双路蒸馏,将组级信息传递至单档恢复代理图;同时,将s0与保留正负号的s1、s2及稳定化相对偏振分量分路编码并进行多尺度残差交互,使偏振方向差异参与恢复代理图和扩散条件的生成。

技术实现思路

1、本发明的目的在于提供一种适用于单档四角度输入部署的水下偏振图像增强方法,利用同场景多浑浊度训练组中的清水监督构造组级在线教师和随机遮挡蒸馏约束,并使强度结构信息与带符号偏振信息共同参与恢复代理图及扩散条件的生成。

2、为实现上述发明目的,本发明采用的技术方案如下:

3、一种基于多浑浊度监督迁移与带符号偏振协同建模的水下偏振图像增强方法,包括如下步骤:

4、构建水下偏振图像深度学习训练集;所述训练集包含六种浑浊度,每种浑浊度包含同一场景在0°、45°、90°和135°四个偏振分析角度下采集的四幅rgb偏振图像,并包含与对应场景匹配的清水rgb图像。

5、对输入的0°、45°、90°和135°四幅rgb偏振图像按颜色通道构建rgb-stokes输入,计算强度分量s0及带符号的线偏振分量s1、s2;s1、s2保留相应偏振方向差分的正负号,不计算s3,s3在网络接口中作为占位通道。

6、将s0送入强度结构分支;以设有正数下限的s0稳定化处理s1、s2,得到相对偏振分量q、u,并将带符号s1、s2与q、u共同送入偏振调制分支。两路特征分别编码后在各尺度进行残差交互,使偏振差分的方向、幅度及相对强度变化参与单档恢复代理图和扩散条件的构建。

7、在每一尺度将两路特征拼接,通过可学习卷积映射生成两路残差更新量,并分别加回对应分支特征;将交互后的两路特征送入下一尺度,以形成强度信息与偏振信息的多尺度交互;在最深层交互特征处设置由多个空洞卷积单元串联形成的上下文模块,以在不改变特征尺寸的情况下扩大空间感受范围。

8、将各尺度交互后的特征上采样至输入空间尺寸并拼接,形成联合特征;其中,最深层联合特征先经过膨胀率依次为2、4和8的多尺度空洞上下文模块处理;通过恢复预测模块生成rgb残差,将所述rgb残差与归一化强度图相加并限制至预设范围,得到清水rgb恢复代理图。

9、将恢复代理图与多尺度联合特征拼接并投影得到条件特征,同时由联合特征映射得到引导特征;因此,同一单档四角度观测经强度与带符号偏振特征协同编码后形成的恢复代理图、条件特征和引导特征共同用于扩散恢复。

10、将所述条件特征与当前带噪图像共同输入条件扩散网络,并将所述引导特征输入网络的引导接口,通过条件去噪采样输出增强rgb图像。

11、在一种实施方式中,训练数据按场景划分训练集、验证集和测试集,使同一场景的不同浑浊度、不同偏振分析角度图像及其清水rgb图像处于同一数据划分。训练时将同一场景各浑浊度档位组织为一组,部署时则从该组对应的任一档位构造单档四角度输入。

12、在提取多尺度特征时,强度结构分支和偏振调制分支采用各自的编码参数;在第l个尺度分别得到强度特征al和偏振特征bl,并在该尺度完成残差交互后继续进行下一尺度的编码。

13、在组织四个偏振分析角度的输入图像时,四个偏振分析角度的rgb图像按颜色通道组织为rgb-stokes输入;对于任一颜色通道,令0°、45°、90°和135°偏振分析角度的强度分别为i0、i45、i90和i135,则,所述线偏振分量采用标准stokes定义的一半尺度,并直接用于双分支编码;其中,s3为输入接口中的占位分量,不表示对圆偏振量的实测。

14、进一步,在进行多尺度残差交互时,将第l个尺度的强度特征al与偏振特征bl拼接,由卷积映射生成对应残差更新量,两路特征的更新表示为:

15、

16、其中,δal、δbl表示拼接特征经卷积映射后分成的两路残差更新量,a′l、b′l表示更新后的特征。所述残差更新量保留正负号,分别加回对应分支;各尺度更新后的两路特征同时保留,并在统一空间尺寸后拼接形成联合特征。

17、其中,s0用于提取强度和空间结构信息;带符号s1、s2及稳定化相对偏振分量q、u共同表征偏振方向差异和相对变化。不同浑浊度下的这些观测可以不同,本发明不对其作跨档相等约束,而是通过逐档清水rgb监督和组级恢复代理图蒸馏,使偏振特征在各自输入条件下参与清水恢复。

18、在一种实施方式中,对同一场景各浑浊度档位分别输入同一双分支网络,得到各档恢复代理图。首先以同一场景对应的清水rgb图像逐档监督这些恢复代理图;随后对六档恢复代理图求均值并停止梯度,将其作为在线组级教师结果。该教师由当前网络在组内观测上的恢复输出形成,不是预先训练的独立教师网络,也不要求各档stokes输入或中间偏振特征相互一致。

19、在计算稳定化相对偏振分量时,对s0设置正数下限ε,并将所得比值限制在[-1,1]区间内,q、u表示为:

20、,

21、其中,clip表示区间截断,ε为暗部稳定参数。带符号s1、s2与q、u同时作为偏振调制分支的输入;在低强度区域,q、u为稳定化相对偏振特征,不作为精确偏振度测量值。

22、训练阶段从六档训练组随机选取一档作为单档输入,并随机生成等级掩码形成遮挡组。掩码可仅保留一档、保留两档、保留不连续的多个档位或保留全部六档;对可见档恢复代理图求均值,得到遮挡组结果。分别计算单档结果与组级教师结果、遮挡组结果与组级教师结果之间的平滑l1蒸馏损失,并保留每档恢复代理图相对于对应清水rgb图像的监督损失。部署阶段只输入一档的四角度rgb偏振图像,不提供掩码、浑浊度等级、其他档位图像或清水rgb图像。

23、本发明的有益效果如下:

24、本发明将强度分量s0与保留正负号的s1、s2及稳定化相对偏振分量q、u分路编码,并在多尺度进行残差交互。该处理使偏振差分方向和相对变化能够参与单档恢复,不将偏振幅值预设为散射量或细节衰减量。

25、本发明的重点在于训练期多档监督与部署期单档输入之间的衔接:各浑浊度档位的恢复代理图分别接受对应清水rgb监督,多档恢复代理图均值经停止梯度形成组级在线教师,再由随机等级遮挡形成的单档及遮挡组结果共同接受蒸馏约束。组级教师由当前增强网络产生,不是独立预训练教师,也不要求跨浑浊度偏振特征相同。

26、恢复代理图同时作为清水监督对象、组级蒸馏对象和扩散条件的组成部分,使训练阶段的多档监督最终作用于部署阶段实际生成扩散条件的单档中间结果;因此,迁移约束与推理路径相衔接,而非仅在训练时附加与部署无关的组级损失。

27、通过逐档清水监督、停止梯度的组级在线教师、随机浑浊度等级遮挡以及单档和遮挡组双路蒸馏的组合训练,本发明将同场景多档训练信息用于支持单档四角度推理。部署时不需要浑浊度等级、其他档位图像、等级掩码或清水图像;单档输入中的带符号s1、s2及稳定化q、u仍参与恢复代理图和扩散条件的生成。