一种基于图像配准和动态目标融合的去湍流方法与流程

1.本发明属于视频图像去湍流技术领域，尤其涉及一种基于图像配准和动态目标融合的去湍流方法。


背景技术：

2.在远距离成像系统中，大气湍流是造成图像几何变形，图像模糊的主要原因之一。如果不对湍流图像进行处理，一些计算机视觉任务比如目标识别检测、跟踪将不能顺利进行，同时也影响着相关的目标观测任务。大气湍流引起的图像扭曲变形具有随机性，其内在机制很难去用一种模型来估计，因此目前复原湍流图像的原图需要一套复杂的图像复原流程。
3.在过去十几年的去湍流算法研究中，复原算法有：基于幸运图像的多帧复原算法，该类算法是在多帧图像中对图像中的图像块选取最清晰的图像块来合成复原图像。基于rpca矩阵低秩分解的多帧复原算法，该类算法可以把图像分解为场景图像和稀疏湍流图像，通过对场景图像进行图像增强，对稀疏湍流图像做均值消除湍流部分，最后进行融合得到清晰的复原图像。以上算法是针对静止场景的复原，而当场景中存在运动目标时，由于多帧中存在运动目标导致多帧图像融合后会出现运动目标拖影问题。


技术实现要素：

4.有鉴于此，本发明提出了一种基于深度学习非刚性配准和动态目标融合去湍流的方法，有效解决场景中出现的图像扭曲和运动目标拖影和模糊的问题。
5.本发明公开的一种基于图像配准和动态目标融合的去湍流方法，包括以下步骤：步骤一：获取湍流干扰后的图像序列，搭建基于深度学习非刚性配准网络，对网络进行初始化后进行迭代优化获取去湍流形变图像；步骤二：提取当前图像的运动目标：采用vibe前景提取算法提取场景中的运动目标部分，形成运动目标掩膜；步骤三：对去湍流形变图像和原图图像运动区域进行局部区域融合，得到包含当前运动目标的去除了湍流的图；步骤四：采用基于分块导向滤波算法增强图像细节部分，得到清晰的去湍流图像。
6.进一步的，所述深度学习非刚性配准网络由网格变形网络和图像生成网络组成。
7.进一步的，对网络进行初始化，包括获取湍流干扰图像ik，初始化网络：根据下式初始化网络，让网络的输入和输出最相似：式中表示绝对偏差，为分别为网格变形网络和图像生成网络的权重变量，表示均匀网格图，表示第k个网格变形网络，表示图像生成网络；然后使用1000次最小化迭代后权重作为网络初始化权重。
8.进一步的，使用傅里叶特征映射对网格输入进行预处理，以表示更高频的细节信息，高斯傅里叶特征映射如下：如下： 表示网格坐标，b是一组高斯分布随机采样点。
9.进一步的，网络迭代优化，学习生成去湍流图像，包括：根据下式进行最小化迭代，直到网络收敛得到去除湍流的图像：式中,表示图像生成网络输出的湍流图像，，表示形变网格， 表示去湍流图像和变形网格之间的约束；表示去湍流图像和变形网格之间的约束；表示对去湍流图像依据形变网格进行的形变操作。
10.进一步的，将当前帧的运动目标掩模m和去湍流图x进行图像融合处理，得到保留运动物体的去除湍流的影响的融合图y，融合的具体步骤为：计算去湍流图和当前帧的运动物体区域局部差异值，根据差异值计算图像融合权重，当差异值越小时，当前图的权重比例越大：根据权重值进行两幅图像的融合，融合的公式为：。
11.进一步的，图像细节增强的具体步骤为：对步骤三得到的融合图像进行分块，块的大小为m*n，m和n分别为块的行和列大小；对每个块采用导向滤波，分解为基础层图像和细节层图像，计算每个块的纹理复杂度，复杂度为该块的梯度值，具体公式如下所示： ,,其中为图像像素值；采用基于纹理复杂度的方法计算每个块的细节增强比例值，最后和基础层叠加形成细节增强图像，细节增强比例值和细节增强图像计算如下：,。
12.本发明的有益效果在于：采用基于深度学习非刚性配准得到去湍流图像；采用运动目标提取算法，将运动目标部分与去湍流的图像进行融合，可有效去除运动目标的拖影以及运动目标模糊问题。
附图说明
13.图1本发明的流程示意图；图2非刚性匹配网络；图3本方法的去湍流效果图（静态目标），其中，（a）为原图，（b）为本发明去湍流后的图，（c）为原图局部放大图，（d）为本发明去湍流的局部放大图；图4本方法的去湍流效果图（动态目标），其中（a）为原图，（b）为本方法去湍流后的图。
具体实施方式
14.下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
15.如图1所示，本发明构建了一种基于深度学习非刚性配准和动态目标融合去湍流的方法，其基本思想是利用一种无监督的深度学习非刚性配准算法对湍流图像进行形变校正，为了保持场景里的运动目标，减少拖影现象，采用vibe运动目标提取算法，获取到运动目标掩膜，再将运动目标和去除湍流形变后的图进行融合，最后再用基于分块导向滤波细节增强算法对图像细节进行增强，可以得到清晰的去除湍流后的图像。
16.包括如下步骤:（1）输入图像序列，基于深度学习算法进行图像非刚性校正，具体步骤为：1.1搭建基于卷积的深度学习非刚性匹配网络：其网络用来去除湍流造成的形变，网络框架如图2所示，网络由网格变形网络和图像生成网络组成。
17.1.2获取湍流干扰图像ik，初始化网络:根据公式（1）初始化网络，让网络的输入和输出最相似。
18.ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式（1）中表示绝对偏差，为分别为网格变形网络和图像生成网络的权重变量，表示均匀网格图，表示第k个网格变形网络，表示图像生成网络。然后使用1000次最小化迭代后权重作为网络初始化权重。由于直接将网格的坐标传递到网络会产生模糊的图像，而使用傅里叶特征映射对网格输入进行预处理可以表示更高频的细节信息，所以这里对网格进行了高斯傅里叶特征映射。
[0019] 表示网格坐标，b是一组高斯分布随机采样点。
[0020]
1.3网络迭代优化，学习生成去湍流图像：根据公式（2）进行最小化迭代，直到网络收敛得到去除湍流的图像。
[0021]
ꢀꢀꢀ
(2)式（2）中,表示图像生成网络输出的湍流图像，，表示形变网格，表示去湍流图像和变形网格之间的约束。
[0022]
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)表示对去湍流图像依据形变网格进行的形变操作。
[0023]
（2）获取运动目标掩膜：输入图像序列，采用vibe算法，获取到当前帧的运动目标掩膜，记为。
[0024]
（3）将当前帧运动目标区域和去湍流图进行图像融合处理，得到保留运动物体的去除湍流的影响的融合图y，融合的具体步骤为：3.1 计算去湍流图和当前帧的运动物体区域局部差异值，根据差异值计算图像融合权重，当差异值越小时，当前图的权重比例越大。
[0025]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)3.2 根据权重值进行两幅图像的融合，融合的公式为：
ꢀꢀꢀꢀꢀꢀ
(5)（4）图像细节增强：为了使图像的细节更加清晰，采用分块导向滤波对图像进行细节增强，具体步骤为：4.1对步骤三得到的融合图像进行分块，块的大小为m*n4.2对每个块采用导向滤波，分解为基础层图像和细节层图像，计算每个块的纹理复杂度，复杂度为该块的梯度值，具体公式如（7）所示。
[0026] ,
ꢀꢀꢀꢀ
(6)
ꢀꢀ
(7)其中为图像像素值。
[0027]
4.3 采用基于纹理复杂度的方法计算每个块的细节增强比例值，最后和基础层叠加形成细节增强图像。
[0028]
,
ꢀꢀꢀꢀꢀꢀꢀ
(8)如图3和图4所示，其中图3突出了细节增强的效果，图4突出了运动目标细节保留的效果。
[0029]
采用基于深度学习非刚性配准得到去湍流图像；采用运动目标提取算法，将运动目标部分与去湍流的图像进行融合，可有效去除运动目标的拖影以及运动目标模糊问题。
[0030]
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本技术中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“x使用a或b”意指自然包括排列的任意一个。即，如果x使用a；x使用b；或x使用a和b二者，则“x使用a或b”在前述任一示例中得到满足。
[0031]
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开
的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
[0032]
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
[0033]
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。