一种低能见度进近飞行多模态监视图像增强方法

1.本发明涉及多模态图像增强处理技术领域，具体涉及一种低能见度进近飞行多模态监视图像增强方法。


背景技术：

2.飞机进近着陆阶段是安全飞行的重要环节，该阶段大部分情况下是依靠机长的目视情况进行着陆，因此存在很大安全隐患，此阶段也是飞行事故的易发点。如果能在飞机进近着陆阶段为机长提供真实有效的飞行态势和窗外视景，并增强飞行员视景，则可以帮助机长进行正确感知与操作，降低飞机进近着陆阶段飞行事故发生率。为解决此问题，利用先进的红外热成像与可见光等光电传感器，通过红外热成像获取场景温度辐射强度信息，通过可见光成像获取目标纹理、颜色和轮廓等信息，再将红外信息与可见光信息配准融合到一幅图像中，生成多模态融合图像，提升飞行员在低能见度进近飞行情况下的视野能见度。
3.在图像取景时，由于传感器的装配差异以及拍摄时间、距离和视角等客观因素，会导致光电传感器监视图像存在尺度差异、视角差异、仿射变形、难以提取相似几何特征等问题，从而产生多模态图像特征描述符相关度低、配准准确率低等问题。目前多模态融合算法主要分为像素层、特征层和决策层图像融合。像素级融合需要在待融合图像严格配准下进行，是在底层像素层面上对图像进行融合，可以最大限度保留原图像的像素信息，但运算量较大。特征级融合是从待融合图像中提取特征信息，比如对边缘信息、纹理信息和区域信息等进行综合分析与处理，将这些特征有选择性地保留到融合图像中。决策级图像融合属于最高层次的融合过程，通过对待融合图像的特征信息进行分类和识别，根据一定准则做出最优决策。多模态图像融合需要综合颜色、纹理、热辐射等信息，传统融合算法效果一般，难以满足低能见度进近飞行视野需求。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种低能见度进近飞行多模态监视图像增强方法，包括以下步骤：步骤1：采集进近飞行过程中监视视野的红外热成像和可见光图像，分别通过msrcr算法对红外热成像进行增强处理、基于多曝光图像融合法对可见光图像进行增强处理；步骤2：分别对增强处理后的红外热成像、可见光图像进行图像轮廓特征提取，基于图像轮廓特征中的角点特征进行特征匹配，基于角点特征匹配结果利用最小二乘法计算分别得到红外热成像、可见光图像的多模态图像配准图像；步骤3：分别对红外热成像、可见光图像的多模态图像配准图像进行塔形分解变换，得到多层塔形分解分量，将同一层数的红外热成像的塔多模态图像配准图像塔形分解分量与可见光图像的多模态图像配准图像塔形分解分量进行融合，得到多组融合分量；步骤4：将多组融合分量进行逆向塔形变换，得到多模态融合图像，为低能见度进
近飞行情况下的监视视野图像进行增强。
5.优选的，所述步骤1中，通过msrcr算法对红外热成像进行增强时，还包括以下步骤：步骤11：将红外热成像转换到hsv颜色空间，对hsv颜色空间进行颜色空间分离，得到h通道分量图像、s通道分量图像、v通道分量图像；步骤12：h通道分量图像、s通道分量图像、v通道分量图像均依次进行入射光照估计、去除入射光照、加权平均处理后，合并为新的颜色空间；步骤13：采用msrcr算法通过色彩校正系数对新的颜色空间进行合并和颜色恢复。
6.优选的，所述步骤13中，msrcr算法通过色彩校正系数对图像恢复颜色时的数学表达式如下：式中，为第个色彩通道msr算法结果，为msrcr算法结果，计算表达式如下：计算表达式如下：计算表达式如下：表示第个色彩通道的图像像素点，表示第个色彩通道的图像像素点；表示该红外热成像图像二维坐标系的横轴，表示该红外热成像图像二维坐标系的纵轴；表示第个新颜色空间中色彩通道的颜色恢复因子，即色彩校正系数；表示颜色空间的映射函数；为增益常数，为受控制的非线性强度。
7.优选的，所述步骤1中，基于多曝光图像融合法对可见光图像进行增强时，还包括以下步骤：步骤14：将可见光图像的rgb颜色空间变换成hsv颜色空间，再对hsv颜色空间进行hsv颜色空间分离，得到h通道分量图像、s通道分量图像、v通道分量图像；步骤15：生成v通道分量图像的弱曝光图像和强曝光图像，再将v通道分量图像与弱曝光图像和强曝光图像进行融合重构，得到融合重构后的v通道分量图像；步骤16：将h通道分量图像、s通道分量图像、融合重构后的v通道分量图像重新进行合并，并转换回rgb颜色空间。
8.优选的，所述步骤2中，对增强后的红外热成像和增强后的可见光图像进行图像轮廓特征提取时，将增强后的红外热成像和增强后的可见光图像转换为灰度颜色空间。
9.优选的，所述步骤2中，基于图像轮廓特征中的角点特征进行特征匹配时还包括以下步骤：步骤21：提取图像轮廓特征中的角点特征后，在图像曲率尺度空间下计算每个角点特征的轮廓中线特征主方向，建立sift描述符；步骤22：利用flann方法进行特征粗匹配后，再利用随机抽样一致算法进行特征精匹配，得到角点特征匹配结果。
10.本发明的有益效果是：该方法基于msrcr对红外热成像图像进行增强、基于多曝光图像融合法对可见光图像进行增强；然后对增强后的图像采用基于轮廓特征主方向的多模态图像自动配准方法进行配准；最后基于图像金字塔的多模态图像融合方法进行融合处理，将红外信息与可见光信息配准融合到一幅图像中，实现特征信息互补、减少冗余信息，为飞行员在低能见度进近飞行情况下的监视视野进行增强。
附图说明
11.图1显示为本发明的流程图；图2显示为本发明采集的红外热成像；图3显示为本发明增强后的红外热成像；图4显示为本发明采集的可见光图像；图5显示为本发明增强后的可见光图像；图6显示为本发明的特征粗匹配结果；图7显示为本发明的征精匹配结果；图8显示为本发明的多模态融合图像结果。
具体实施方式
12.下面结合本发明的附图1～8，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施。
13.在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
14.如图1所示，一种低能见度进近飞行多模态监视图像增强方法，包括以下步骤：步骤1：采集进近飞行过程中监视视野的红外热成像和可见光图像，分别通过msrcr算法对红外热成像进行增强处理、基于多曝光图像融合法对可见光图像进行增强处理；步骤2：分别对增强处理后的红外热成像、可见光图像进行图像轮廓特征提取，基于图像轮廓特征中的角点特征进行特征匹配，基于角点特征匹配结果利用最小二乘法计算分别得到红外热成像、可见光图像的多模态图像配准图像；步骤3：分别对红外热成像、可见光图像的多模态图像配准图像进行塔形分解变换，得到多层塔形分解分量，将同一层数的红外热成像的塔多模态图像配准图像塔形分解分量与可见光图像的多模态图像配准图像塔形分解分量进行融合，得到多组融合分量；步骤4：将多组融合分量进行逆向塔形变换，得到多模态融合图像，为低能见度进近飞行情况下的监视视野图像进行增强。
15.采集飞行进近飞行过程中视野的红外热成像如图2所示，采集的可见光图像如图4
所示；通过msrcr算法对红外热成像进行增强处理结果如图3所示，基于多曝光图像融合法对可见光图像进行增强处理结果如图5所示。
16.具体的，所述步骤1中，通过msrcr算法对红外热成像进行增强时，还包括以下步骤：步骤11：将红外热成像转换到hsv颜色空间，对hsv颜色空间进行颜色空间分离，得到h通道分量图像、s通道分量图像、v通道分量图像；步骤12：h通道分量图像、s通道分量图像、v通道分量图像均依次进行入射光照估计、去除入射光照、加权平均处理后，合并为新的颜色空间；步骤13：采用msrcr算法通过色彩校正系数对新的颜色空间进行合并和颜色恢复。
17.色彩校正系数用于调节各颜色通道之间比例关系，降低图像色彩失真。
18.具体的，所述步骤13中，msrcr算法通过色彩校正系数对图像恢复颜色时的数学表达式如下：式中，为第个色彩通道msr算法结果，为msrcr算法结果，计算表达式如下：计算表达式如下：计算表达式如下：表示第个色彩通道的图像像素点，表示第个色彩通道的图像像素点；表示该红外热成像图像二维坐标系的横轴，表示该红外热成像图像二维坐标系的纵轴；表示第个新颜色空间中色彩通道的颜色恢复因子，即色彩校正系数；表示颜色空间的映射函数；为增益常数，为受控制的非线性强度。
19.具体的，所述步骤1中，基于多曝光图像融合法对可见光图像进行增强时，还包括以下步骤：步骤14：将可见光图像的rgb颜色空间变换成hsv颜色空间，再对hsv颜色空间进行hsv颜色空间分离，得到h通道分量图像、s通道分量图像、v通道分量图像；步骤15：生成v通道分量图像的弱曝光图像和强曝光图像，再将v通道分量图像与弱曝光图像和强曝光图像进行融合重构，得到融合重构后的v通道分量图像；步骤16：将h通道分量图像、s通道分量图像、融合重构后的v通道分量图像重新进行合并，并转换回rgb颜色空间。
20.生成强曝光图像时，提取曝光不足的像素区域：生成强曝光图像时，提取曝光不足的像素区域：表示曝光不足像素区域，表示满足条件的曝光不足像素点， 表示通道光照分量图对应的像素点， 为区分曝光不足像素点的像素值阈值。
21.曝光不足像素区域的信息熵为：
其中， 为中每个灰度级出现的概率。
22.采用图像信息熵最大化原则计算最优曝光率值：值：表示通过曝光率值对像素区域进行曝光处理后的曝光图像；同理，生成弱曝光图像时，提取曝光过度的像素区域并计算最佳曝光率：同理，生成弱曝光图像时，提取曝光过度的像素区域并计算最佳曝光率：同理，生成弱曝光图像时，提取曝光过度的像素区域并计算最佳曝光率：为强曝光最优曝光率，为弱曝光最优曝光率。
23.具体的，所述步骤2中，对增强后的红外热成像和增强后的可见光图像进行图像轮廓特征提取时，将增强后的红外热成像和增强后的可见光图像转换为灰度颜色空间。
24.具体的，所述步骤2中，基于图像轮廓特征中的角点特征进行特征匹配时还包括以下步骤：步骤21：提取图像轮廓特征中的角点特征后，在图像曲率尺度空间下计算每个角点特征的轮廓中线特征主方向，建立sift描述符；步骤22：利用flann方法进行特征粗匹配后，再利用随机抽样一致算法进行特征精匹配，得到角点特征匹配结果。
25.sift描述符，即尺度不变特征转换(scale-invariant feature transform或sift)，是一种常用的图像特征，称之为sift特征，flann (fast library for approximate nearest neighbors)为快速近似最近邻搜索库，利用flann方法进行特征粗匹配的结果如图6所示，利用随机抽样一致算法进行特征精匹配的结果如图7所示。
26.图像曲率尺度空间下角点特征检测结果表示为：其中，为图像曲率尺度空间下条轮廓中第条轮廓的特征角点集合，表示特征角点像素点。
27.的主方向定义为图像轮廓中线向量的方向，中线向量表示为：其中，、分别为特征点指向轮廓始端和末端的特征向量，为中线向量的横坐标，为中线向量的纵坐标。
28.轮廓中线特征主方向用表示，取值范围为。
29.将多组融合分量进行逆向塔形变换时，设计基于gauss-laplace双金字塔模型的图像融合流程，将原图分解到不同空间频带上，利用不同融合算子对不同分解层进行融合处理，可以有效整合多光电传感器图像的纹理、色彩等信息：设计基于gauss-laplace双金字塔模型的图像融合方法：（1）建立gauss金字塔方法：原图为，利用高斯核函数对层图像进行卷积，然后隔行隔列降采样得到第层高斯塔形分解图像。
30.其中，，指大小为的高斯核，指层数，、为图像的列数和行数。
31.（2）建立图像laplace金字塔方法，得到gauss-laplace双金字塔模型，用于对多模态图像配准图像进行塔形分解变换：通过放大算子将gauss塔形分解图像内插放大，得到与尺寸相同的图像；；其中，，的定义下式；然后，得到拉普拉斯塔形分解图像：（3）利用算子将逐步内插放大到与原图分辨率相同的图像，再通过加权融合重建原图，即逆塔形变换。，即逆塔形变换。
32.即为在低能见度进近飞行情况下对多模态监视图像进行增强融合后的结果，如图8所示，为图像金字塔层数。