基于多光谱分析的夜视图像质量提升方法、装置、设备与流程

1.本发明涉及人工智能技术领域，尤其涉及一种基于多光谱分析的夜视图像质量提升方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着科技的进步以及社会的发展，监控系统被应用于各个领域并承担着越来越重要的角色。从军队到监狱、从银行到商场、从学校到住宅区甚至每一条街道对于监控系统的需求都与日俱增。同时随着人们夜间活动时间的增长，低照度甚至微光环境下体现的信息也越来越重要。微光夜视图像的主要特点是：1、图像灰度均值较低、信噪比低、对比度低，导致图像质量较低；2、图像灰度级分布集中，整帧图像通常集中在几十到几百的灰度级内，提高图像质量的手段较少。


技术实现要素：

3.本发明提供一种基于多光谱分析的夜视图像质量提升方法、装置、电子设备及可读存储介质，其主要目的在于提高夜视图像质量。
4.为实现上述目的，本发明提供的一种基于多光谱分析的夜视图像质量提升方法，包括：获取原始夜视图像集合，对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典；利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合；对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合；对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合；对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合。
5.可选地，所述对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典，包括：按照预设的分块尺寸对所述原始夜视图像集合中的图像进行分块，得到分块图像集合；计算所述分块图像集合中分块图像的邻域重构权值矩阵；基于k-lspsc算法对所述邻域重构权值矩阵进行迭代优化，得到稀疏系数，并基于所述稀疏系数构建局部稀疏结构字典。
6.可选地，所述基于k-lspsc算法对所述邻域重构权值矩阵进行迭代优化，得到稀疏系数，并基于所述稀疏系数构建局部稀疏结构字典，包括：获取预设的稀疏字典，固定所述稀疏字典，并利用预设的交替优化公式对所述邻
域重构权值矩阵进行迭代优化，得到稀疏系数矩阵；固定所述稀疏系数矩阵，利用预设的字典更新公式对所述稀疏字典进行更新，得到局部稀疏结构字典。
7.可选地，所述利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合，包括：利用所述局部稀疏结构字典对分块图像集合中的图像进行稀疏表示，得到稀疏图像集合；利用下述公式对所述稀疏图像集合中的图像进行二次项求解，得到所述夜视去噪图像集合：其中，为所述夜视去噪图像集合，为经验常数，为单位矩阵，为方形窗口算子，表示分块图像集合，为所述局部稀疏结构字典，表示转置，为第个中心分块图像的稀疏系数。
8.可选地，所述对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合，包括：对所述夜视去噪图像集合中的图像进行分谱滤光处理，得到多个三基色图像；利用预设的波段范围对所述多个三基色图像进行波段筛选，得到多个波段图像，并对所述多个波段图像进行图像融合，汇总所有融合的图像得到所述增强图像集合。
9.可选地，所述对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合，包括：将所述增强图像集合中的图像进行颜色通道分解，得到不同颜色通道的图像；利用msrcr算法对每个颜色通道的图像进行多尺度增强处理，得到多尺度增强图像；计算所述多尺度增强图像的色彩恢复系数，并基于所述色彩恢复系数对不同颜色通道的多尺度增强图像进行色彩恢复，得到不同颜色通道的色彩恢复图像；对不同颜色通道的色彩恢复图像进行融合得到所述标准夜视图像集合。
10.可选地，所述计算所述多尺度增强图像的色彩恢复系数，包括：利用下述公式计算所述多尺度增强图像的色彩恢复系数：利用下述公式计算所述多尺度增强图像的色彩恢复系数：其中，为第个颜色通道的色彩恢复系数，为增益常量，为非线性系数，为第个颜色通道的图像，为第个颜色通道的色彩恢复图像，为多尺度增强图像，为第个尺度的权重，为高斯环绕函数，表示卷积运算，d表示尺度数。
11.可选的，所述对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合，包括：逐一计算所述标准夜视图像集合中图像的原始直方图，对所述原始直方图进行分区，得到多个子直方图；对所述多个子直方图进行灰度动态调整，得到多个调整子直方图；基于灰度级概率密度函数对所述多个调整子直方图进行灰度均衡增强处理，得到多个标准子直方图；对每个标准子直方图进行归一化处理及直方图均衡化处理，汇总所有直方图均衡化处理后的图像得到所述增强夜视图像集合。
12.为了解决上述问题，本发明还提供一种基于多光谱分析的夜视图像质量提升装置，所述装置包括：局部字典构建模块，用于获取原始夜视图像集合，对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典；稀疏去噪模块，用于利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合；色彩增强模块，用于对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合；色彩恢复模块，用于对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合；夜视图像增强模块，用于对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合。
13.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：存储器，存储至少一个计算机程序；及处理器，执行所述存储器中存储的计算机程序以实现上述所述的基于多光谱分析的夜视图像质量提升方法。
14.本实施例通过对原始夜视图像集合中的图像进行自适应训练，得到局部稀疏结构字典，并基于所述局部稀疏结构字典对原始夜视图像集合中的图像进行稀疏去噪，利用局部稀疏结构的噪声不变特性，能有效抑制噪声同时保持图像细节，从而提高降噪效果。同时，基于分谱滤光处理及色彩增强处理对夜视去噪图像集合中的图像进行多光谱分析及色彩增强，提高了夜视图像的对比度，并且通过进行色彩恢复处理，也提高了夜视图像的真实性。最后通过子直方图均衡化处理，使夜视图像分布更加均匀，进一步保留原有的图像细节，提高了夜视图像质量。因此本发明提出的基于多光谱分析的夜视图像质量提升方法、装置、电子设备及计算机可读存储介质，可以提高夜视图像质量。
附图说明
15.图1为本发明一实施例提供的基于多光谱分析的夜视图像质量提升方法的流程示意图；图2为本发明一实施例提供的基于多光谱分析的夜视图像质量提升装置的功能模块图；
图3为本发明一实施例提供的实现所述基于多光谱分析的夜视图像质量提升方法的电子设备的结构示意图。
16.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
17.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.本技术实施例提供一种基于多光谱分析的夜视图像质量提升方法。所述基于多光谱分析的夜视图像质量提升方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述基于多光谱分析的夜视图像质量提升方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
19.参照图1所示，为本发明一实施例提供的基于多光谱分析的夜视图像质量提升方法的流程示意图。在本实施例中，所述基于多光谱分析的夜视图像质量提升方法包括：s1、获取原始夜视图像集合，对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典。
20.本发明实施例中，所述原始夜视图像集合是由微光夜视装备或微光夜视系统采集到的在低光照度条件下的图像，如夜晚条件下，监控摄像头拍摄的微光照片。
21.详细地，所述对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典，包括：按照预设的分块尺寸对所述原始夜视图像集合中的图像进行分块，得到分块图像集合；计算所述分块图像集合中分块图像的邻域重构权值矩阵；基于k-lspsc算法对所述邻域重构权值矩阵进行迭代优化，得到稀疏系数，并基于所述稀疏系数构建局部稀疏结构字典。
22.其中，若图像块较小则局部结构不具表征性，若图像块较大则提取特征的稀疏性较弱。因此，本发明实施例中，为了兼顾图像稀疏信息和结构特征，各图像分块尺寸设为８ｘ８。
23.进一步地，所述计算所述分块图像集合中分块图像的邻域重构权值矩阵，包括：步骤a：对所述分块图像集合进行随机采样，得到样本图像集合，对所述样本图像集合中的分块图像进行中心标记及邻域标记，得到中心分块图像及邻域分块图像；本发明实施例中，为减少计算量，只采用部分样本训练字典，例如在所有分块图像集合中随机选取其中的25％。由于随机采样，各图像块的非重叠近邻像块数目可能过少，为确保计算准确的局部结构关系，本发明实施例以每一个分块图像为中心，并标记各图像块最近邻的64个邻域分块图像。
24.步骤b：利用各标记的邻域分块图像到中心分块图像的优化函数计算邻域重构权
值；本发明其中一个实施例中，所述优化函数可以表示为：其中，为各邻域分块图像，为第个中心分块图像，n为分块图像数量；为邻域重构权值矩阵，，表示邻域重构权值矩阵中第个中心分块图像的邻域重构权值，表示第个中心分块图像和第个邻域分块图像的邻域重构权值。
25.进一步地，所述基于k-lspsc算法对所述邻域重构权值矩阵进行迭代优化，得到稀疏系数，并基于所述稀疏系数构建局部稀疏结构字典，包括：获取预设的稀疏字典，固定所述稀疏字典，并利用预设的交替优化公式对所述邻域重构权值矩阵进行迭代优化，得到稀疏系数矩阵；固定所述稀疏系数矩阵，利用预设的字典更新公式对所述稀疏字典进行更新，得到局部稀疏结构字典。
26.本发明一可选实施例中，所述预设的稀疏字典是使用模板图像集学习的模板字典。所述固定所述稀疏字典用于确定一个固定的学习字典，进而对稀疏结构进行优化更新。
27.本发明一可选实施例中，所述预设的交替优化公式为：本发明一可选实施例中，所述预设的交替优化公式为：其中，为第个中心分块图像的稀疏重构误差项，为第个中心分块图像的稀疏系数，为第个中心分块图像，b为所述预设的稀疏字典，为所述邻域重构权值矩阵中第个中心分块图像和第个邻域分块图像的邻域重构权值，为优化稀疏系数时固定的其余稀疏系数，、为固定的优化参数，为映射函数，其中，本发明实施例中，所述映射函数可以为径向基核函数。
28.本发明一可选实施例中，通过所述交替优化公式优化每一个，在满足约束条件时，汇总所有稀疏系数，得到总的稀疏系数矩阵s。
29.进一步地，本发明一可选实施例中，所述预设的字典更新公式为：进一步地，本发明一可选实施例中，所述预设的字典更新公式为：其中，b为所述预设的稀疏字典，表示转置，为单位矩阵，表示稀疏系数矩阵，表示分块图像集合。
30.本发明一可选实施例中，利用预设的字典更新公式不断更新字典，直至满足字典
约束条件，得到局部稀疏结构字典。
31.s2、利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合。
32.本发明实施例中，采用a和b表示纯信号图像和含噪声图像，c为叠加噪声，则含噪声图像可表示为b＝a＋c，图像去噪即是从b中重构a。
33.详细地，所述利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合，包括：利用所述局部稀疏结构字典对分块图像集合中的图像进行稀疏表示，得到稀疏图像集合；利用下述公式对所述稀疏图像集合中的图像进行二次项求解，得到夜视去噪图像集合：其中，为所述夜视去噪图像集合，为经验常数，为单位矩阵，为方形窗口算子，表示分块图像集合，为所述局部稀疏结构字典，表示转置，为第个中心分块图像的稀疏系数。
34.本发明实施例中，现有稀疏降噪方法依赖于高斯噪声分布假设，不能很好的解决微光图像中复杂分布的噪声去冗余问题，并且在强噪声干扰下难有效保留图像细节，通过k-lspsc算法训练出的局部稀疏结构字典，可以降低噪声干扰，提高图像块稀疏表示的鲁棒性，同时利用局部稀疏结构的噪声不变特性，能有效抑制噪声同时保持图像细节，从而提高降噪效果。s3、对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合。
35.本发明实施例中，由于夜视图像中的光照本身比较微弱，会使得图像色彩严重失真，通过多个波段的滤光片进行分谱滤光处理，同时由于不同波段的图像专注于不同色彩，通过将不同波段的图像进行融合，可以对色彩进行增强，提高图像真实感。
36.具体地，所述对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合，包括：对所述夜视去噪图像集合中的图像进行分谱滤光处理，得到多个三基色图像；利用预设的波段范围对所述多个三基色图像进行波段筛选，得到多个波段图像，并对所述多个波段图像进行图像融合，汇总所有融合的图像得到所述增强图像集合。
37.本发明一可选实施例中，可以使用不同光谱透过率的分谱滤光片，将夜视去噪图像集合中的图像分解成ｒ、ｇ、ｂ三个基色图像。每个基色的图像有不同波段图像，本发明实施例从每个基色图像序列中提取短波图像（380~480nm）、中波图像（510~565nm）及长波图像（590~650nm），进行图像融合，得到增强图像。
38.s4、对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合。
39.本发明实施例中，由于夜视图像中的光照本身比较微弱，经过分谱滤光处理及色
彩增强处理后的图像中的色彩依然较弱，因此需要对图像进行色彩恢复，从而提高图像的真实性。
40.本发明其中一个实施例中，可以利用msrcr 算法对所述增强图像集合中的图像进行色彩恢复处理。其中，所述msrcr （multi-scale retinex with color restoration，带色彩恢复的多尺度视网膜增强)算法将图像中的比例关系引入三个颜色通道来对 msr （multi-scale retinex，多尺度视网膜增强)结果进行比例调节，从而优化图像的颜色，避免颜色不饱和及失真，使图像具有更好的颜色呈现。
41.详细地，所述对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合，包括：将所述增强图像集合中的图像进行颜色通道分解，得到不同颜色通道的图像；利用msrcr算法对每个颜色通道的图像进行多尺度增强处理，得到多尺度增强图像；计算所述多尺度增强图像的色彩恢复系数，并基于所述色彩恢复系数对不同颜色通道的多尺度增强图像进行色彩恢复，得到不同颜色通道的色彩恢复图像；对不同颜色通道的色彩恢复图像进行融合得到所述标准夜视图像集合。
42.本发明一可选实施例中，可以利用下述公式计算所述多尺度增强图像的色彩恢复系数：系数：其中，为第个颜色通道的色彩恢复系数，为增益常量，为非线性系数，为第个颜色通道的图像，为第个颜色通道的色彩恢复图像，为多尺度增强图像，为第个尺度的权重，为高斯环绕函数，表示卷积运算，d表示尺度数。
43.本发明实施例中取大、中、小三个尺度，每个尺度权重为1/3。由于msr 算法在处理 rgb 彩色图像时，都是分别对 r、g、b 通道进行单独地增强，导致增强过程可能会改变各像素点在各颜色通道中的像素值比例，从而淡化图像的全局或者特定区域物体的真实颜色，通过增加色彩恢复系数提高了对图像真实色彩恢复的准确率。
44.s5、对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合。
45.本发明实施例中，所述直方图均衡法处理后的图像能够很好地提升对比度和清晰度，但是这种整体提高对比度的方法无法将非常亮和非常暗的地方处理好，很难整体把控，因此本发明实施例提出了一种改良的直方图均衡算法，即子直方图均衡化，以针对细小的范围进行图像增强处理。
46.详细地，所述对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合，包括：逐一计算所述标准夜视图像集合中图像的原始直方图，对所述原始直方图进行分
区，得到多个子直方图；对所述多个子直方图进行灰度动态调整，得到多个调整子直方图；基于灰度级概率密度函数对所述多个调整子直方图进行灰度均衡增强处理，得到多个标准子直方图；对每个标准子直方图进行归一化处理及直方图均衡化处理，汇总所有直方图均衡化处理后的图像得到所述增强夜视图像集合。
47.本发明实施例中，可以将所述标准夜视图像集合中图像的原始直方图分为四个子直方图，它们的灰度区间为依次是[m0，m1]，[m1，m2]，[m2，m3]，[m3，m4]，并利用下述公式： 对所述多个子直方图进行灰度动态调整。其中，所述公式中的 表示子直方图的灰度级动态范围，表示调整后的子直方图的灰度级动态范围，表示调整因子，为图像灰度级总数，表示子直方图的个数。
[0048]
本发明实施例通过将子直方图按照设定的动态范围调整，得到新的调整直方图，每一个子区间都得到了动态拉伸，降低了灰度级合并的可能性。
[0049]
进一步地，本发明一可选实施例中，通过下述灰度级概率密度函数对所述多个调整子直方图进行灰度均衡增强处理：其中，为灰度均衡增强后的标准子直方图的灰度级频率，为灰度级频率中值，为控制因子，为灰度级频率最小值，为灰度级频率最大值，为当前未处理的调整子直方图的灰度级频率。
[0050]
本发明一可选实施例中，进一步对所述标准子直方图的灰度级频率进行归一化处理，再进行he（histogram equalization，直方图均衡化）处理，从而对夜视图像进行增强。其中，所述归一化处理及he处理为现有公知技术，在此不再赘述。
[0051]
本实施例通过对原始夜视图像集合中的图像进行自适应训练，得到局部稀疏结构字典，并基于所述局部稀疏结构字典对原始夜视图像集合中的图像进行稀疏去噪，利用局部稀疏结构的噪声不变特性，能有效抑制噪声同时保持图像细节，从而提高降噪效果。同时，基于分谱滤光处理及色彩增强处理对夜视去噪图像集合中的图像进行多光谱分析及色彩增强，提高了夜视图像的对比度，并且通过进行色彩恢复处理，也提高了夜视图像的真实性。最后通过子直方图均衡化处理，使夜视图像分布更加均匀，进一步保留原有的图像细节，提高了夜视图像质量。因此本发明提出的基于多光谱分析的夜视图像质量提升方法，可以提高夜视图像质量。
[0052]
如图2所示，是本发明一实施例提供的基于多光谱分析的夜视图像质量提升装置的功能模块图。
[0053]
本发明所述基于多光谱分析的夜视图像质量提升装置100可以安装于电子设备中。根据实现的功能，所述基于多光谱分析的夜视图像质量提升装置100可以包括局部字典
构建模块101、稀疏去噪模块102、色彩增强模块103、色彩恢复模块104及夜视图像增强模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0054]
在本实施例中，关于各模块/单元的功能如下：所述局部字典构建模块101，用于获取原始夜视图像集合，对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典；所述稀疏去噪模块102，用于利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合；所述色彩增强模块103，用于对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合；所述色彩恢复模块104，用于对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合；所述夜视图像增强模块105，用于对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合。
[0055]
详细地，所述基于多光谱分析的夜视图像质量提升装置100各模块的具体实施方式如下：步骤一、获取原始夜视图像集合，对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典。
[0056]
本发明实施例中，所述原始夜视图像集合是由微光夜视装备或微光夜视系统采集到的在低光照度条件下的图像，如夜晚条件下，监控摄像头拍摄的微光照片。
[0057]
详细地，所述对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典，包括：按照预设的分块尺寸对所述原始夜视图像集合中的图像进行分块，得到分块图像集合；计算所述分块图像集合中分块图像的邻域重构权值矩阵；基于k-lspsc算法对所述邻域重构权值矩阵进行迭代优化，得到稀疏系数，并基于所述稀疏系数构建局部稀疏结构字典。
[0058]
其中，若图像块较小则局部结构不具表征性，若图像块较大则提取特征的稀疏性较弱。因此，本发明实施例中，为了兼顾图像稀疏信息和结构特征，各图像分块尺寸设为８ｘ８。
[0059]
进一步地，所述计算所述分块图像集合中分块图像的邻域重构权值矩阵，包括：步骤a：对所述分块图像集合进行随机采样，得到样本图像集合，对所述样本图像集合中的分块图像进行中心标记及邻域标记，得到中心分块图像及邻域分块图像；本发明实施例中，为减少计算量，只采用部分样本训练字典，例如在所有分块图像集合中随机选取其中的25％。由于随机采样，各图像块的非重叠近邻像块数目可能过少，为确保计算准确的局部结构关系，本发明实施例以每一个分块图像为中心，并标记各图像块最近邻的64个邻域分块图像。
[0060]
步骤b：利用各标记的邻域分块图像到中心分块图像的优化函数计算邻域重构权值；
本发明其中一个实施例中，所述优化函数可以表示为：其中，为各邻域分块图像，为第个中心分块图像，n为分块图像数量；为邻域重构权值矩阵，，表示邻域重构权值矩阵中第个中心分块图像的邻域重构权值，表示第个中心分块图像和第个邻域分块图像的邻域重构权值。
[0061]
进一步地，所述基于k-lspsc算法对所述邻域重构权值矩阵进行迭代优化，得到稀疏系数，并基于所述稀疏系数构建局部稀疏结构字典，包括：获取预设的稀疏字典，固定所述稀疏字典，并利用预设的交替优化公式对所述邻域重构权值矩阵进行迭代优化，得到稀疏系数矩阵；固定所述稀疏系数矩阵，利用预设的字典更新公式对所述稀疏字典进行更新，得到局部稀疏结构字典。
[0062]
本发明一可选实施例中，所述预设的稀疏字典是使用模板图像集学习的模板字典。所述固定所述稀疏字典用于确定一个固定的学习字典，进而对稀疏结构进行优化更新。
[0063]
本发明一可选实施例中，所述预设的交替优化公式为：本发明一可选实施例中，所述预设的交替优化公式为：其中，为第个中心分块图像的稀疏重构误差项，为第个中心分块图像的稀疏系数，为第个中心分块图像，b为所述预设的稀疏字典，为所述邻域重构权值矩阵中第个中心分块图像和第个邻域分块图像的邻域重构权值，为优化稀疏系数时固定的其余稀疏系数，、为固定的优化参数，为映射函数，其中，本发明实施例中，所述映射函数可以为径向基核函数。
[0064]
本发明一可选实施例中，通过所述交替优化公式优化每一个，在满足约束条件时，汇总所有稀疏系数，得到总的稀疏系数矩阵s。
[0065]
进一步地，本发明一可选实施例中，所述预设的字典更新公式为：进一步地，本发明一可选实施例中，所述预设的字典更新公式为：其中，b为所述预设的稀疏字典，表示转置，为单位矩阵，表示稀疏系数矩阵，表示分块图像集合。
[0066]
本发明一可选实施例中，利用预设的字典更新公式不断更新字典，直至满足字典
约束条件，得到局部稀疏结构字典。
[0067]
步骤二、利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合。
[0068]
本发明实施例中，采用a和b表示纯信号图像和含噪声图像，c为叠加噪声，则含噪声图像可表示为b＝a＋c，图像去噪即是从b中重构a。
[0069]
详细地，所述利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合，包括：利用所述局部稀疏结构字典对分块图像集合中的图像进行稀疏表示，得到稀疏图像集合；利用下述公式对所述稀疏图像集合中的图像进行二次项求解，得到夜视去噪图像集合：其中，为所述夜视去噪图像集合，为经验常数，为单位矩阵，为方形窗口算子，表示分块图像集合，为所述局部稀疏结构字典，表示转置，为第个中心分块图像的稀疏系数。
[0070]
本发明实施例中，现有稀疏降噪方法依赖于高斯噪声分布假设，不能很好的解决微光图像中复杂分布的噪声去冗余问题，并且在强噪声干扰下难有效保留图像细节，通过k-lspsc算法训练出的局部稀疏结构字典，可以降低噪声干扰，提高图像块稀疏表示的鲁棒性，同时利用局部稀疏结构的噪声不变特性，能有效抑制噪声同时保持图像细节，从而提高降噪效果。
[0071]
步骤三、对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合。
[0072]
本发明实施例中，由于夜视图像中的光照本身比较微弱，会使得图像色彩严重失真，通过多个波段的滤光片进行分谱滤光处理，同时由于不同波段的图像专注于不同色彩，通过将不同波段的图像进行融合，可以对色彩进行增强，提高图像真实感。
[0073]
具体地，所述对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合，包括：对所述夜视去噪图像集合中的图像进行分谱滤光处理，得到多个三基色图像；利用预设的波段范围对所述多个三基色图像进行波段筛选，得到多个波段图像，并对所述多个波段图像进行图像融合，汇总所有融合的图像得到所述增强图像集合。
[0074]
本发明一可选实施例中，可以使用不同光谱透过率的分谱滤光片，将夜视去噪图像集合中的图像分解成ｒ、ｇ、ｂ三个基色图像。每个基色的图像有不同波段图像，本发明实施例从每个基色图像序列中提取短波图像（380~480nm）、中波图像（510~565nm）及长波图像（590~650nm），进行图像融合，得到增强图像。
[0075]
步骤四、对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合。
[0076]
本发明实施例中，由于夜视图像中的光照本身比较微弱，经过分谱滤光处理及色彩增强处理后的图像中的色彩依然较弱，因此需要对图像进行色彩恢复，从而提高图像的真实性。
[0077]
本发明其中一个实施例中，可以利用msrcr 算法对所述增强图像集合中的图像进行色彩恢复处理。其中，所述msrcr （multi-scale retinex with color restoration，带色彩恢复的多尺度视网膜增强)算法将图像中的比例关系引入三个颜色通道来对 msr （multi-scale retinex，多尺度视网膜增强)结果进行比例调节，从而优化图像的颜色，避免颜色不饱和及失真，使图像具有更好的颜色呈现。
[0078]
详细地，所述对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合，包括：将所述增强图像集合中的图像进行颜色通道分解，得到不同颜色通道的图像；利用msrcr算法对每个颜色通道的图像进行多尺度增强处理，得到多尺度增强图像；计算所述多尺度增强图像的色彩恢复系数，并基于所述色彩恢复系数对不同颜色通道的多尺度增强图像进行色彩恢复，得到不同颜色通道的色彩恢复图像；对不同颜色通道的色彩恢复图像进行融合得到所述标准夜视图像集合。
[0079]
本发明一可选实施例中，可以利用下述公式计算所述多尺度增强图像的色彩恢复系数：系数：其中，为第个颜色通道的色彩恢复系数，为增益常量，为非线性系数，为第个颜色通道的图像，为第个颜色通道的色彩恢复图像，为多尺度增强图像，为第个尺度的权重，为高斯环绕函数，表示卷积运算，d表示尺度数。
[0080]
本发明实施例中取大、中、小三个尺度，每个尺度权重为1/3。由于msr 算法在处理 rgb 彩色图像时，都是分别对 r、g、b 通道进行单独地增强，导致增强过程可能会改变各像素点在各颜色通道中的像素值比例，从而淡化图像的全局或者特定区域物体的真实颜色，通过增加色彩恢复系数提高了对图像真实色彩恢复的准确率。
[0081]
步骤五、对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合。
[0082]
本发明实施例中，所述直方图均衡法处理后的图像能够很好地提升对比度和清晰度，但是这种整体提高对比度的方法无法将非常亮和非常暗的地方处理好，很难整体把控，因此本发明实施例提出了一种改良的直方图均衡算法，即子直方图均衡化，以针对细小的范围进行图像增强处理。
[0083]
详细地，所述对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合，包括：
逐一计算所述标准夜视图像集合中图像的原始直方图，对所述原始直方图进行分区，得到多个子直方图；对所述多个子直方图进行灰度动态调整，得到多个调整子直方图；基于灰度级概率密度函数对所述多个调整子直方图进行灰度均衡增强处理，得到多个标准子直方图；对每个标准子直方图进行归一化处理及直方图均衡化处理，汇总所有直方图均衡化处理后的图像得到所述增强夜视图像集合。
[0084]
本发明实施例中，可以将所述标准夜视图像集合中图像的原始直方图分为四个子直方图，它们的灰度区间为依次是[m0，m1]，[m1，m2]，[m2，m3]，[m3，m4]，并利用下述公式： 对所述多个子直方图进行灰度动态调整。其中，所述公式中的 表示子直方图的灰度级动态范围，表示调整后的子直方图的灰度级动态范围，表示调整因子，为图像灰度级总数，表示子直方图的个数。
[0085]
本发明实施例通过将子直方图按照设定的动态范围调整，得到新的调整直方图，每一个子区间都得到了动态拉伸，降低了灰度级合并的可能性。
[0086]
进一步地，本发明一可选实施例中，通过下述灰度级概率密度函数对所述多个调整子直方图进行灰度均衡增强处理：其中，为灰度均衡增强后的标准子直方图的灰度级频率，为灰度级频率中值，为控制因子，为灰度级频率最小值，为灰度级频率最大值，为当前未处理的调整子直方图的灰度级频率。
[0087]
本发明一可选实施例中，进一步对所述标准子直方图的灰度级频率进行归一化处理，再进行he（histogram equalization，直方图均衡化）处理，从而对夜视图像进行增强。其中，所述归一化处理及he处理为现有公知技术，在此不再赘述。
[0088]
本实施例通过对原始夜视图像集合中的图像进行自适应训练，得到局部稀疏结构字典，并基于所述局部稀疏结构字典对原始夜视图像集合中的图像进行稀疏去噪，利用局部稀疏结构的噪声不变特性，能有效抑制噪声同时保持图像细节，从而提高降噪效果。同时，基于分谱滤光处理及色彩增强处理对夜视去噪图像集合中的图像进行多光谱分析及色彩增强，提高了夜视图像的对比度，并且通过进行色彩恢复处理，也提高了夜视图像的真实性。最后通过子直方图均衡化处理，使夜视图像分布更加均匀，进一步保留原有的图像细节，提高了夜视图像质量。因此本发明提出的基于多光谱分析的夜视图像质量提升装置，可以提高夜视图像质量。
[0089]
如图3所示，是本发明一实施例提供的实现所述基于多光谱分析的夜视图像质量提升方法的电子设备的结构示意图。
[0090]
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13，还可以包括存
储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于多光谱分析的夜视图像质量提升程序。
[0091]
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：sd或dx存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（smart media card， smc）、安全数字（secure digital， sd）卡、闪存卡（flash card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于多光谱分析的夜视图像质量提升程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0092]
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（central processing unit，cpu）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（control unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如基于多光谱分析的夜视图像质量提升程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
[0093]
所述通信接口12用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如wi-fi接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（display）、输入单元（比如键盘（keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organic light-emitting diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0094]
所述总线13可以是外设部件互连标准（peripheral component interconnect，简称pci）总线或扩展工业标准结构（extended industry standard architecture，简称eisa）总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0095]
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0096]
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0097]
进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如wi-fi接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。
[0098]
可选地，该电子设备还可以包括用户接口，用户接口可以是显示器（display）、输入单元（比如键盘（keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organic light-emitting diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0099]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0100]
所述电子设备中的所述存储器11存储的基于多光谱分析的夜视图像质量提升程序是多个指令的组合，在所述处理器10中运行时，可以实现：获取原始夜视图像集合，对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典；利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合；对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合；对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合；对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合。
[0101]
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
[0102]
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）。
[0103]
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：获取原始夜视图像集合，对所述原始夜视图像集合中的图像进行分块，并利用分块后的夜视图像进行自适应训练，得到局部稀疏结构字典；利用所述局部稀疏结构字典对所述原始夜视图像集合中的图像进行稀疏去噪，得到夜视去噪图像集合；对所述夜视去噪图像集合中的图像进行分谱滤光处理及色彩增强处理，得到增强图像集合；对所述增强图像集合中的图像进行色彩恢复处理，得到标准夜视图像集合；对所述标准夜视图像集合中的图像进行子直方图均衡化处理，得到增强夜视图像集合。
[0104]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0105]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0106]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0107]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0108]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0109]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0110]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
[0111]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。