一种基于图像重建引导特征校准的多聚焦图像融合方法
本发明属于图像处理、计算机视觉,涉及一种基于卷积神经网络的多聚焦图像融合方法。
背景技术:
1、在光学成像系统中,由于景深的限制,只能对景深内的图像聚焦,景深外部图像将会变模糊,因此很难在一幅图像中使不同深度的物体都能清晰呈现,这限制了计算机视觉、医学成像等众多领域的发展。多聚焦图像融合技术就是将两幅甚至多幅不同景深图像进行融合,从而得到一张全区域都清晰的全聚焦图像。因此多聚焦图像融合技术研究具有重要意义。
2、其中多聚焦图像融合技术主要分两类:传统方法和深度学习方法。传统方法主要依赖人工设置提取特征和规则,在不同场景需要设计不同规则,鲁棒性差。深度学习方法依赖网络结构的设计,直接生成融合图,或者先生成决策图再进行融合,但容易出现聚焦散焦边界划分错误,聚焦区域误判等现象,从而导致最终融合图像局部不清晰。
技术实现思路
1、针对上述现象,本文提供了一种基于图像重建引导特征校准的多聚焦图像融合网络。
2、为此,本发明采取的技术方案:
3、一种基于图像重建引导特征校准的多聚焦图像融合方法,训练整个网络包括下列步骤:
4、(1)数据准备:选取公共数据集benchmark,按数据集内已有程序随机选取图像中的物体实例区域进行高斯模糊模拟失焦效果,并生成对应的多聚焦图像对和真值图。最后再按照文件将数据集划分为训练集和验证集,并生成可记录多聚焦图像对和真值图路径的文件。
5、(2)图像预处理:在进行网络训练前需要将多聚焦图像对及其对应真值图转为灰度图,再进行随机旋转、随机翻转、随机裁剪填充和添加高斯噪声,将图像缩放填充至256×256像素,最后将两张单通道多聚焦图像合并成2通道,作为模型输入。
6、(3)网络结构设计:以geu-net为基线构建多聚焦融合网络。该网络由主干网络、全局特征金字塔提取模块(gfpe)、全局注意力连接上采样模块(gacu)、随机退化合成模块(sdsm)、残差特征校准模块(rfcm)及多尺度重建支路(mrb)负责多尺度特征提取、全局上下文建模、深浅层特征融合、聚焦区域置信度预测及融合。训练总共分为两阶段,第一阶段训练主干网络、gfpe和gacu使网络具有判别聚焦散焦基础功能。第二阶段冻结第一阶段训练过的部分,主要训练sdsm、rfcm和mrb,用于辅助主网络得到精准的决策图。
7、(3.1)取p对多聚焦图像记为、,其中和分别代表前景聚焦和背景聚焦图像,将第p对灰度图像所对应的第p个真值图记为,从而构建p对多聚焦图像真值图集合记为,全清晰参考图像由真值图从两幅源图像中选取清晰像素构成,另外本文中所有的和分别代表逐元素相乘与相加。融合公式如下所:
8、 (1)
9、(3.2)将第p对灰度图像和在通道维度上拼接为后,将其依次送入编码器、gfpe、gacu以及解码器,从而得到基本决策图,然后与真值图进行bce损失函数计算,再反向传播更新主网络全部参数从而得到最优权重。
10、(3.3)加载第一阶段预训练权重,冻结主网络全部参数,仅训练sdsm、rfcm与mrb,将送入编码器,然后对多尺度编码器提取主分支特征,随后对同一拼接图像施加随机掩码与高斯模糊得到,并将再次送入同一个编码器提取校准分支最深层特征,将送入rfcm即两个3×3卷积,每个卷积层后接批归一化,两个卷积层之间使用selu激活函数,且第二个卷积层的权重和偏置初始化为0。经rfcm后输出作为残差,与主分支最深层特征逐元素相加得到增强特征:
11、 (2)
12、其中
13、 (3)
14、(3.4)将增强特征依次送入gfpe模块、gacu模块和解码器进行特征解码得到第p个初始决策图。在多级解码器逐级上采样过程中,从各层级特征引出多尺度特征图,并将其依次送入重建支路。所述重建支路包含四个投影卷积块proj1×1和三个融合卷积块fuse3×3。重建特征分别记为,从最深一级开始,将双线性上采样至与相同的空间尺寸,经通道拼接后由第一个fuse3×3融合为16通道特征,随后逐级上采样并与下一层级的重建特征拼接融合,最后一级fuse3×3输出单通道重建结果。
15、(3.5)由真值图构建全聚焦图像,用单通道重建结果与构建的全聚焦图像计算mse损失和梯度损失,然后再进行反向传播并更新模块参数。
16、(3.6)将初始决策图与真值图计算bce损失,将重建结果与全清晰图像计算mse损失和梯度损失。总损失函数公式如下所示:
17、 (4)
18、其中代表bce损失,代表mse损失,代表梯度损失。
19、 (5)
20、上述公式中代表最终输出的重建结果,代表全清晰图像。
21、 (6)
22、上述公式中的和分别代表图像在水平方向和垂直方向的一阶差分算子。
23、(3.7)以源图像或为引导,对二值决策图执行条件随机场细化,条件随机场即为crf,输出软决策图:
24、 (7)
25、(3.8)如图5所示,利用最终决策图取反后得到反向决策图,分别将最终决策图与,反向决策图与进行逐像素相乘后,将得到部分清晰图像与进行逐像素相加,从而获得第p对图像与的预测的全聚焦图像。最终融合图的公式如下所示:
26、 (8)
27、其中公式中的其中代表逐元素乘法。
28、(4)本发明提出一种基于图像重建引导特征校准的图像融合方法,与已有技术相比,本发明的有益效果体现在以下方面:
29、(4.1)大部分多聚焦图像融合网络都以多聚焦图像对为输入,两张图清晰区域互补,网络已经能通过比较两幅图来判断哪里更清晰。但网络见到的退化模式相对固定,且待融合图像通常需要跨语义融合,所以本发明先对输入图像随机选取50%区域额外施加高斯模糊。该方法的价值是让网络对任意位置出现的失焦都具备稳定响应能力,强化该网络对真实场景中复杂失焦分布的鲁棒性。
30、(4.2)掩码后的深层特征本身是被退化的,直接使用会影响后续融合质量。所以rfcm的作用就是输入掩码特征,输出一个残差修正量,加到原始清晰特征e5上,让网络在遇到失焦输入时能自适应地补回关键信息。且在不影响原始区分聚焦散焦功能的情况下,逐渐学习如何用退化特征修正清晰特征,使最终决策图能更准确反应真实聚焦区域。
31、(4.3)多聚焦图像融合的最终目标是从局部清晰的源图像生成一张全清晰图像。重建支路为网络增加了一条从解码特征到全清晰图像的密集像素监督路径。重建支路的主要作用是迫使lch学习让后续解码特征更有利于恢复全清晰图像的修正量,能校准后的特征能保留更完整的边缘和纹理信息。这有助于最终决策图在焦点边界处更锐利,在过渡区域更准确。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com