一种基于多光谱相机的图像融合系统的制作方法

1.本发明涉及智能图像处理技术领域，具体涉及一种基于多光谱相机的图像融合系统。


背景技术：

2.光谱成像技术是利用单个或多个光谱通道进行光谱数据采集和处理、图像显示和分析解释的技术。多光谱成像是让传感器在多个很窄的波段上感受不同的光。例如，进行火灾识别时，可以利用多光谱相机采集多光谱图像作为识别依据，与单一光谱图像，例如红外，或可见光(这里的多光谱为狭义概率)图像相比，图像细节信息更丰富，火灾识别更加精准、及时，尤其是针对火灾初期，及早发现可以避免火灾蔓延，减少损失。
3.多光谱相机可分为三类：
4.1、多镜头型多光谱相机。它具有多个镜头，每个镜头各有一个滤光片，分别让一种较窄光谱的光通过，多个镜头同时拍摄同一景物，用一张胶片同时记录几个不同光谱带的图像信息；
5.2、多相机型多光谱相机。它是由几台相机组合在一起，各台相机分别带有不同的滤光片，分别接收景物的不同光谱带上的信息，同时拍摄同一景物，各获得一套特定光谱带的图像信息；
6.3、它采用一个镜头拍摄景物，然后通过分光器或滤光片(或膜)将来自景物的光线分离为多个波段的光束，用多套图像传感器分别将各波段的光信息记录下来实现多光谱成像。
7.三种不同的成像方式，各有优缺点，光束分离的成像质量差，但重叠精度高。而多镜头和多相机型的多光谱相机尽管对准同一目标物进行成像，其图像的重叠一致性肯定是不可能完全一致，不过成像质量应该相对较高。
8.在使用上述的多相机型多光谱相机和单镜头多光谱相机进行多光谱图像采集时，不同光谱带的图像信息是分开的，也即会得到多张不同光谱带的图像。但是，在现实的应用中，人们往往需要结合不同光谱带的图像信息进行分析，鉴于方便性的考虑，往往需要将多张不同光谱带的图像融合至一张图像中。


技术实现要素：

9.因此，本发明实施例要解决的技术问题在于克服现有技术中的部分多光谱相机采集得到的不同光谱带的图像信息分开在不同的图像上的缺陷，从而提供一种基于多光谱相机的图像融合系统。
10.为此，本发明提供一种基于多光谱相机的图像融合系统，包括：
11.多光谱图像采集模块、第一处理器和第二处理器；
12.所述多光谱图像采集模块用于针对同一拍摄区域采集多张不同光谱带的图像；
13.所述第一处理器，用于对所述多张不同光谱带的图像进行去噪处理和图像增强，
得到多张第一图像；
14.所述第二处理器，用于对多张所述第一图像进行配准，得到多张第二图像；还用于对配准后的多张所述第二图像进行融合。
15.可选的，所述第二处理器，用于利用图像融合模型对配准后的多张所述第二图像进行融合；
16.所述图像融合模型至少包括神经网络滤波器、循环神经网络模块、超限学习机自编码器和堆叠去噪自编码器；
17.所述神经网络滤波器至少包括卷积层和反卷积层以及位于所述卷积层和所述反卷积层之间的对称连接层，用于对所述第二图像进行特征提取，以输出所述第二图像的第一特征；其中，所述卷积层的层数和所述反卷积层的层数相同，且所述卷积层和所述反卷积层相对于所述对称连接层对称；
18.所述循环神经网络模块，用于根据所述第一特征，输出所述第二图像的第二特征；
19.所述超限学习机自编码器，用于对所述循环神经网络模块输出的所述第二特征进行特征融合；
20.所述堆叠去噪自编码器，用于根据融合后的所述第二特征进行图像融合。
21.可选的，所述图像融合模型是通过以下方式训练得到：
22.随机选取所述图像融合模型的参数；
23.使用受限玻尔兹曼机对所述图像融合模型中的所述神经网络滤波器的参数进行预训练；
24.使用去噪自编码器对所述图像融合模型的参数进行逐层预训练；
25.用反向传播算法对所述图像融合模型的参数进行调整；
26.使用去噪自编码器对所述图像融合模型的参数进行逐层预训练时使用的损失函数为：
[0027][0028]
其中，y、x为训练样本通过所述图像融合模型进行融合后得到的融合图像、样本中通过其他融合方式得到的融合图像，f(w)为权重衰减项，a为权重值， m＝1，2，3
…
，m，m为所述堆叠去噪自编码器中隐藏层神经单元的数量，b为稀疏性参数，为第m个隐藏神经单元的平均活跃度。
[0029]
可选的，所述第二处理器还用于分别对多张所述第二图像进行区域划分，从同一所述第二图像中划分出的相邻区域之间的清晰度不同；
[0030]
根据多张所述第二图像中各自的区域划分情况下，确定所有所述第二图像中的区域划分方式；所有所述第二图像的区域划分方式是一样的；
[0031]
利用确定的所述区域划分方式分别对所述第二图像进行区域划分；
[0032]
针对所述第二图像中的第一区域，根据各所述第二图像中所述第一区域的清晰度确定在对所述第一区域进行融合时各所述第二图像的融合权重；其中，所述第一区域为所述第二图像中的任一区域；
[0033]
根据确定的所述融合权重，融合所述第二图像中的所述第一区域。
[0034]
可选的，所述第二处理器还用于计算所述第二图像的局部熵，获取所述第二图像中的纹理图像；
[0035]
对所述纹理图像进行腐蚀、膨胀处理和五值化处理，然后标记出连通域；
[0036]
利用所述连通域作为掩膜对所述第二图像进行区域划分，得到临时区域；
[0037]
计算所述临时区域内的各像素点的灰度值；
[0038]
根据所述临时区域内的各像素点的灰度值，计算灰度均方差；
[0039]
根据所述灰度均方差确定所述临时区域的清晰度；
[0040]
若相邻的所述临时区域的清晰度相同，则合并为一个区域。
[0041]
可选的，所述第二处理器还用于分别获取多张所述第二图像的灰度均值，根据各张所述第二图像的灰度均值之间的比值确定融合权重；
[0042]
分别对多张所述第二图像进行连续上采样，获得每张所述第二图像的上采样金字塔；
[0043]
根据所述融合权重，将各张所述第二图像的上采样金字塔的各层信息分别进行叠加得到融合图像的上采样金字塔；
[0044]
对所述融合图像的上采样金字塔，利用自下向上的递推方法得到最终融合图像。
[0045]
可选的，所述第二处理器用于获取所述第二图像中每个待插值像素点位置相邻的8个像素点的灰度值；
[0046]
根据所述8个像素点的灰度值和预先确定的卷积核，确定所述待插值像素点位置处的灰度值。
[0047]
可选的，所述第二处理器用于针对所述融合图像的上采样金字塔中的下层图像进行下采样，得到与相邻的上一层图像尺寸相同的临时图像；
[0048]
计算所述临时图像与相邻的上一层图像的差值图像；
[0049]
将所述差值图像与相邻的上一层图像按照平均梯度取最大法进行相加融合。
[0050]
可选的，所述第一处理器用于对所述多张不同光谱带的图像分别进行离散傅里叶变换，得到所述不同光谱带的图像的频谱图；
[0051]
获取所述频谱图中的高频区域和低频区域；
[0052]
分别对所述频谱图中的高频区域和低频区域进行增强处理；
[0053]
对处理后的所述频谱图进行重构，得到不同光谱带的增强图像。
[0054]
可选的，所述第二处理器用于对待配准的两张所述第一图像分别进行边缘检测；
[0055]
从其中一张所述第一图像中选取多段连续的第一边缘，所述第一边缘离散分布于所述第一图像中的各个位置；
[0056]
针对每一所述第一边缘，将其与另一张所述第一图像中检测到的边缘进行几何特征匹配，得到匹配相似度；
[0057]
若从另一张所述第一图像中匹配到匹配相似度大于第一预设阈值的匹配边缘，则将所述第一边缘记为第二边缘；
[0058]
针对每一所述第二边缘，按照所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定配准位置和配准角度；
[0059]
按照所述配准位置和所述配准角度对两张所述第一图像进行配准。
[0060]
本发明实施例的技术方案，具有如下优点：
[0061]
本发明实施例提供的基于多光谱相机的图像融合系统，能够智能地将多光谱相机采集得到的多张不同光谱带的图像进行融合得到一张多光谱图像，不同的光谱带的图像中的图像信息不一样，将多张带有不同光谱带图像信息的图像融合，可以得到一张图像信息更加丰富的图像。将多张不同光谱带的图像融合成一张多光谱图像，可以便于后续的分析和展示。在火灾预警场景中，利用多光谱图像进行火灾识别可以大大提高火灾识别精度，在火灾起始时期及时识别到火灾，可以避免火灾蔓延，最大程度减少损失和伤害，对多张不同光谱带的图像进行融合，不仅方便存储、展示，而且利于火灾识别时的分析处理。
附图说明
[0062]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0063]
图1为本发明实施例中基于多光谱相机的图像融合系统的一个具体示例的原理框图；
[0064]
图2为本发明实施例中的多光谱图像采集模块的一个具体示例的结构示意框图。
具体实施方式
[0065]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0066]
在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通；可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0067]
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0068]
实施例1
[0069]
本实施例提供一种基于多光谱相机的图像融合系统，如图1所示，所述系统包括：
多光谱图像采集模块1、第一处理器2和第二处理器3；
[0070]
所述多光谱图像采集模块1用于针对同一拍摄区域采集多张不同光谱带的图像；
[0071]
所述第一处理器2，用于对所述多张不同光谱带的图像进行去噪处理和图像增强，得到多张第一图像；
[0072]
所述第二处理器3，用于对多张所述第一图像进行配准，得到多张第二图像；还用于对配准后的多张所述第二图像进行融合。
[0073]
本发明实施例能够智能地将多光谱相机采集得到的多张不同光谱带的图像进行融合得到一张多光谱图像，不同的光谱带的图像中的图像信息不一样，将多张带有不同光谱带图像信息的图像融合，可以得到一张图像信息更加丰富的图像。将多张不同光谱带的图像融合成一张多光谱图像，可以便于后续的分析和展示。在火灾预警场景中，利用多光谱图像进行火灾识别可以大大提高火灾识别精度，在火灾起始时期及时识别到的火灾，可以避免火灾蔓延，最大程度减少损失和伤害，对多张不同光谱带的图像进行融合，不仅方便存储、展示，而且利于火灾识别时的分析处理。
[0074]
其中一种可选的具体实施方式中，所述第二处理器3，用于利用图像融合模型对配准后的多张所述第二图像进行融合；
[0075]
所述图像融合模型至少包括神经网络滤波器、循环神经网络模块、超限学习机自编码器和堆叠去噪自编码器；
[0076]
所述神经网络滤波器至少包括卷积层和反卷积层以及位于所述卷积层和所述反卷积层之间的对称连接层，用于对所述第二图像进行特征提取，以输出所述第二图像的第一特征；其中，所述卷积层的层数和所述反卷积层的层数相同，且所述卷积层和所述反卷积层相对于所述对称连接层对称；
[0077]
所述循环神经网络模块，用于根据所述第一特征，输出所述第二图像的第二特征；
[0078]
所述超限学习机自编码器，用于对所述循环神经网络模块输出的所述第二特征进行特征融合；
[0079]
所述堆叠去噪自编码器，用于根据融合后的所述第二特征进行图像融合。
[0080]
本实施例中，利用深度学习网络模型对多张不同光谱带的图像进行智能融合，融合的效率更高，而且随着模型的不断优化，融合的效果也会越来越好。
[0081]
进一步可选的，所述图像融合模型是通过以下方式训练得到：
[0082]
随机选取所述图像融合模型的参数；
[0083]
使用受限玻尔兹曼机对所述图像融合模型中的所述神经网络滤波器的参数进行预训练；
[0084]
使用去噪自编码器对所述图像融合模型的参数进行逐层预训练；
[0085]
用反向传播算法对所述图像融合模型的参数进行调整；
[0086]
使用去噪自编码器对所述图像融合模型的参数进行逐层预训练时使用的损失函数为：
[0087][0088]
其中，y、x为训练样本通过所述图像融合模型进行融合后得到的融合图像、样本中
通过其他融合方式得到的融合图像，f(w)为权重衰减项，a为权重值， m＝1，2，3
…
，m，m为所述堆叠去噪自编码器中隐藏层神经单元的数量，b为稀疏性参数，为第m个隐藏神经单元的平均活跃度。
[0089]
本实施例中，所述图像融合模型的训练样本可以利用其他方式对多张不同光谱带的图像进行融合得到融合后的图像，且该融合后的图像是经过评估认为融合效果较好的融合图像。为了提升训练样本的数量，从而提高训练效果，可以对上述利用其他方式进行融合得到的融合图像及融合前的多张不同光谱带的图像分别按照同样的方式进行切割，从而得到多组训练样本。
[0090]
另外，还可以通过信息熵、标准差和/或平均梯度对融合后的图像进行评价，使得所述图像融合模型对多张不同光谱带的图像进行融合得到的融合图像的信息熵、标准差和/或平均梯度尽可能大。
[0091]
另一种可选的具体实施方式中，所述第二处理器3还用于分别对多张所述第二图像进行区域划分，从同一所述第二图像中划分出的相邻区域之间的清晰度不同；
[0092]
根据多张所述第二图像中各自的区域划分情况下，确定所有所述第二图像中的区域划分方式；所有所述第二图像的区域划分方式是一样的；
[0093]
利用确定的所述区域划分方式分别对所述第二图像进行区域划分；
[0094]
针对所述第二图像中的第一区域，根据各所述第二图像中所述第一区域的清晰度确定在对所述第一区域进行融合时各所述第二图像的融合权重；其中，所述第一区域为所述第二图像中的任一区域；
[0095]
根据确定的所述融合权重，融合所述第二图像中的所述第一区域。
[0096]
其中，融合权重是根据区域中的清晰度确定，其中一张所述第二图像中的所述第一区域的清晰度越高，那么其融合权重越高。
[0097]
由于不同光谱带图像中同一细节的清晰度可能存在不同，因此本实施例中为了提升融合图像的质量，根据同一细节在不同图像中的清晰度不同确定融合时各图像的权重值。
[0098]
进一步可选的，所述第二处理器3还用于计算所述第二图像的局部熵，获取所述第二图像中的纹理图像；
[0099]
对所述纹理图像进行腐蚀、膨胀处理和五值化处理，然后标记出连通域；
[0100]
利用所述连通域作为掩膜对所述第二图像进行区域划分，得到临时区域；
[0101]
计算所述临时区域内的各像素点的灰度值；
[0102]
根据所述临时区域内的各像素点的灰度值，计算灰度均方差；
[0103]
根据所述灰度均方差确定所述临时区域的清晰度；
[0104]
若相邻的所述临时区域的清晰度相同，则合并为一个区域。
[0105]
临时区域的清晰度的计算方式还可以是其他现有的方式，具体可以参考相关现有技术，这里不作具体说明。
[0106]
其他可选的具体实施方式中，可以利用卷积神经网络对多张所述第二图像进行区域划分。其训练样本可以通过上述方法进行区域划分。
[0107]
第三种可选的具体实施方式中，所述第二处理器3还用于分别获取多张所述第二图像的灰度均值，根据各张所述第二图像的灰度均值之间的比值确定融合权重；
[0108]
分别对多张所述第二图像进行连续上采样，获得每张所述第二图像的上采样金字塔；
[0109]
根据所述融合权重，将各张所述第二图像的上采样金字塔的各层信息分别进行叠加得到融合图像的上采样金字塔；
[0110]
对所述融合图像的上采样金字塔，利用自下向上的递推方法得到最终融合图像。
[0111]
本实施例中，，从不同空间尺度上对图像分别进行融合，再融合不同空间尺度的图像得到最终融合图像，可以提升图像中各细节特征的融合效果。在构建图像金字塔时采用上采样的方式，与下采样方式相比，可以最大程度保留图像细节，从而提高融合图像的清晰度。
[0112]
可选的，所述第二处理器3用于获取所述第二图像中每个待插值像素点位置相邻的8个像素点的灰度值；
[0113]
根据所述8个像素点的灰度值和预先确定的卷积核，确定所述待插值像素点位置处的灰度值。
[0114]
可选的，所述第二处理器3用于针对所述融合图像的上采样金字塔中的下层图像进行下采样，得到与相邻的上一层图像尺寸相同的临时图像；
[0115]
计算所述临时图像与相邻的上一层图像的差值图像；
[0116]
将所述差值图像与相邻的上一层图像按照平均梯度取最大法进行相加融合。
[0117]
另一种可选的具体实施方式中，分别使用滤波器对多张所述第二图像进行滤波处理筛选出所述第二图像中清晰度高的区域，对滤波处理后的所述第二图像进行图像融合。
[0118]
可选的，所述第一处理器2用于对所述多张不同光谱带的图像分别进行离散傅里叶变换，得到所述不同光谱带的图像的频谱图；
[0119]
获取所述频谱图中的高频区域和低频区域；
[0120]
分别对所述频谱图中的高频区域和低频区域进行增强处理；
[0121]
对处理后的所述频谱图进行重构，得到不同光谱带的增强图像。
[0122]
具体的，可以按照以下公式对频谱图中的高频区域和低频区域进行增强处理：
[0123]
p
′
＝(p(1-g))
μ
[0124]
其中，p、p
′
为处理前后的高频区域或低频区域，g、μ为处理系数，针对高频区域进行处理和针对低频区域进行处理时取值不同。
[0125]
本发明实施例通过对图像进行傅里叶变换得到频谱图，并对该频谱图中的低频区域和高频区域分别进行处理来实现图像增强，相比基于原图像进行频谱增强的效果更好。
[0126]
其他可选的具体实施方式中，所述第一处理器2用于分别提取所述多张不同光谱带的图像中相邻像素点的对比度大于第一对比度阈值的第一区域、对比度小于或等于所述第一对比度阈值且大于第二对比度阈值的第二区域、对比度小于所述第二对比度阈值的第三区域；
[0127]
对所述第一区域、所述第二区域和所述第三区域分别采用不同的方式进行增强处理。
[0128]
可选的，所述第二处理器3用于对待配准的两张所述第一图像分别进行边缘检测；
[0129]
从其中一张所述第一图像中选取多段连续的第一边缘，所述第一边缘离散分布于所述第一图像中的各个位置；
[0130]
针对每一所述第一边缘，将其与另一张所述第一图像中检测到的边缘进行几何特征匹配，得到匹配相似度；
[0131]
若从另一张所述第一图像中匹配到匹配相似度大于第一预设阈值的匹配边缘，则将所述第一边缘记为第二边缘；
[0132]
针对每一所述第二边缘，按照所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定配准位置和配准角度；
[0133]
按照所述配准位置和所述配准角度对两张所述第一图像进行配准。
[0134]
进一步可选的，所述针对每一所述第二边缘，按照所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定配准位置和配准角度，包括：
[0135]
从所述第二边缘中选择一段第二边缘，按照该第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则确定可选配准位置和可选配准角度；获取在按照所述可选配准位置和所述可选配准角度进行配准时，其他的第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差；
[0136]
重复上述步骤，直至获取根据每一所述第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差确定的可选配准位置和可选配准角度；
[0137]
按照其他的第二边缘上的特征点与另一张所述第一图像中匹配的特征点之间的距离方差最小的原则，选择其中一段所述第二边缘对应的可选配准位置和可选配准角度，作为所述配准位置和所述配准角度。
[0138]
另外，所述多光谱图像采集模块1可以是多相机型多光谱相机，所述第一处理器和所述第二处理器可以是多相机型多光谱相机以外的其他处理器。所述多光谱图像采集模块1还可以是单镜头多光谱相机中的图像采集模块，所述第一处理器和所述第二处理器可以是单镜头多光谱相机中的处理器，也可以是单镜头多光谱相机以外的处理器。如图2所示，单镜头多光谱相机可以包括一个镜头11、液晶可调滤色片12和图像传感器13。
[0139]
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。