一种基于图像转换的跨光谱人脸识别方法及监控设备

1.本发明属于模式识别、数字图像处理及机器学习技术领域，尤其涉及一种基于图像转换的跨光谱人脸识别方法及监控设备。


背景技术：

2.目前，人脸识别是基于人的面部特征信息进行自动身份识别的一种生物识别技术。相比于其他生物特征，人脸具有普遍性、采集廉价性、非侵入性等优势，成为应用最广泛的生物特征识别技术之一。虽然人脸识别技术的研究成果显著并已广泛运用在工业界中，但多数人脸识别技术采用可见光波段。该方式有着难以克服的缺陷，例如当环境光照不稳定时，或在夜间等复杂光照条件下，人脸识别算法性能会显著下降。而红外线波段由于具有背景光照要求低、穿透力强、可在雨天雾天等气候下成像等优势，可很好地解决光照变化和夜间成像两个难题。因此使用可见光和红外线相结合的跨光谱人脸识别技术在实际中尤为迫切。从目前研究来看，跨光谱人脸识别方法可分成两大类：基于传统机器学习的方法和基于深度学习的方法。由于传统机器学习方法普遍设计繁琐复杂、针对特定情形性能好但鲁棒性差等问题，而逐渐被深度学习方法所替代。
3.随着深度学习的迅速发展，部分基于深度学习的跨光谱人脸识别方法采用图像生成的方法，如pix2pix、cyclegan等。但是，这些图像生成技术大多是针对图像风格迁移设计的，并非针对人脸图像所设计，因此技术本身并不涉及对身份特征的保持。而身份保持问题在人脸识别中又尤为关键，且这其中少数面向人脸图像生成的网络也局限于单向图像生成，不能达到双向图像转换的目的。因此，直接使用这些方法均无法很好地满足当前跨光谱人脸识别对图像转换的需求。
4.通过上述分析，现有技术存在的问题及缺陷为：传统人脸识别技术适用范围窄以及现有跨光谱人脸识别技术识别性能不能很好满足需求。
5.解决以上问题及缺陷的难度为：
6.(1)针对跨光谱人脸识别问题，现有深度学习方法基于风格迁移的图像生成技术不能有效保持图像转换前后人脸身份特征信息，因此在图像转换过程中如何有效对人脸身份特征进行保持是跨光谱人脸识别问题的难点之一。
7.(2)为了提升跨光谱人脸识别的准确度，现有人脸图像生成网络多局限于单向图像生成，无法对双向异源图像起到平均误差的作用，因此需要设计双向图像转换网络并构建复合型损失函数，进行跨光谱人脸图像生成。
8.(3)为了进一步提升跨光谱人脸识别的准确度，需要设计合适的决策融合策略对匹配分数进行融合，因此，如何设计决策融合算法从而实现匹配分数融合是一个十分挑战的任务，目前业内对于该问题的研究尚且少见。
9.解决以上问题及缺陷的意义为：
10.(1)利用深度学习理论及图像生成技术，提出新的基于图像转换的跨光谱人脸识别方法。该方法保障在跨光谱人脸图像转换过程中的人脸身份特征的保持，并且设计双向
图像转换网络，可有效克服光谱波段不同带来的图像模态差异的目的。相比其他传统方法和深度方法具有更高的识别性能、更强的鲁棒性。
11.(2)通过设计决策融合算法，实现融合后决策为全局最优决策，可进一步提升跨光谱人脸识别的准确度。


技术实现要素：

12.针对现有技术存在的问题，本发明提供了一种基于图像转换的跨光谱人脸识别方法及监控设备。
13.本发明是这样实现的，一种基于图像转换的跨光谱人脸识别方法，所述基于图像转换的跨光谱人脸识别方法，包括：
14.步骤一，获取可见光人脸图像集和红外线人脸图像集，并将可见光人脸图像集和红外线人脸图像集分别对应划分为可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集，并对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理，以达到增强各图像集中人脸图像质量的目的；
15.步骤二，构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，用于对各光谱人脸图像进行特征学习。通过使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，以得到训练好的跨光谱双向图像转换网络模型；
16.步骤三，将可见光和红外线人脸预处理测试图像输入至训练好的跨光谱双向图像转换网络模型进行图像双向转换，得到生成的可见光图像和生成的红外线图像；
17.步骤四，分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数；
18.步骤五，将可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，以实现融合后决策为全局最优决策。使用融合后匹配分数进行人脸识别，以实现跨光谱人脸识别。
19.进一步，所述步骤一中，对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理以改善后续图像转换效果，并分别得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
20.所述可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集，包括：
21.对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
22.对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
23.进一步，所述步骤一，具体过程为：
24.在进行图像双向转换前，对可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像作归一化和对比度调整；
25.对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
26.将可见光人脸图像集中的人脸图像首先进行灰度转换，转换为灰度图像，其灰度转换的公式设计具体如下：
27.i
gray
＝0.2989
×
r 0.5870
×
g 0.1140
×bꢀꢀꢀꢀꢀꢀ
(1)
28.其中，r、g、b为可见光图像对应的rgb值，i
gray
为可见光图像进行灰度转换后输出的灰度图像；
29.然后，再将灰度图像i
gray
进行最大最小归一化处理，其归一化到[0，255]，归一化公式设计具体如下：
[0030][0031]
其中，in为灰度图像i
gray
进行归一化后图像输出，i
max
和i
min
分别为灰度图像i
gray
中的最大及最小灰度值；
[0032]
对可见光人脸训练图像集和可见光人脸测试图像集中的每一幅可见光人脸训练图像、可见光人脸测试图像均分别通过上述公式(1)、公式(2)的处理，进而得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
[0033]
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
[0034]
将红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像首先使用log算子进行图像增强，其图像增强的公式设计具体如下：
[0035]
ie＝log
c 1
(1 cx)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0036]
其中，ie为图像增强后的图像，x为图像增强前的图像，c是调节对比度的参数，默认c＝10，c越大图像对比度增强越明显；
[0037]
然后，再对增强后的图像ie进行归一化处理，其归一化到[0，255]的归一化公式如上述公式(2)；
[0038]
对红外线人脸训练图像集和红外线人脸测试图像集中的每一幅红外线人脸训练图像、红外线人脸测试图像均分别通过上述公式(3)、公式(2)的处理，进而得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
[0039]
进一步，所述步骤二中，构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括vis-to-ir生成器模块、ir-to-vis生成器模块、可见光判别器模块、红外线判别器模块和身份保持模块；
[0040]
可见光人脸训练图像作为vis-to-ir生成器模块的输入，vis-to-ir生成器模块的输出与ir-to-vis生成器模块的输入连接；红外线人脸训练图像作为ir-to-vis生成器模块的输入，ir-to-vis生成器模块的输出与vis-to-ir生成器模块的输入连接；可见光判别器模块的输入为可见光人脸训练图像和ir-to-vis生成器模块输出，可见光判别器模块的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块的输入为红外线人脸训练图像和vis-to-ir生成器模块的输出，红外线判别器模块的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块(identity retaining module，irm)包括依次连
接的resnet特征提取模块、特征归一化模块、特征空间映射模块；身份保持模块的输入为可见光或红外线人脸训练图像和vis-to-ir或ir-to-vis生成器模块的输出；身份保持模块irm的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
[0041]
所述使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型，具体过程为：
[0042]
构建基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数；
[0043]
使用可见光和红外线人脸预处理训练图像集并利用基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
[0044]
进一步，所述步骤二中，具体过程为：
[0045]
构建跨光谱双向图像转换网络模型，跨光谱双向图像转换网络模型为一种鲁棒性高、且专门针对跨光谱双向图像转换网络模型；构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括vis-to-ir生成器模块g、ir-to-vis生成器模块f、可见光判别器模块d
vis
、红外线判别器模块d
ir
和身份保持模块irm，其中，vis-to-ir生成器模块g的输入与可见光人脸训练图像连接，vis-to-ir生成器模块g的输出与ir-to-vis生成器模块f的输入连接；ir-to-vis生成器模块f的输入与红外线人脸训练图像连接，ir-to-vis生成器模块f的输出与vis-to-ir生成器模块g的输入连接；可见光判别器模块d
vis
的输入为可见光人脸训练图像和ir-to-vis生成器模块f输出，可见光判别器模块d
vis
的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块d
ir
的输入为红外线人脸训练图像和vis-to-ir生成器模块f的输出，红外线判别器模块d
ir
的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块irm包括依次连接的resnet特征提取模块、特征归一化模块、特征空间映射模块；身份保持模块的输入为可见光或红外线人脸训练图像和vis-to-ir或ir-to-vis生成器模块的输出；身份保持模块irm的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
[0046]
生成器模块采用自编码网络，该网络由1个卷积核为7*7的卷积层，2个卷积核为3*3的卷积层，9个残差块，2个卷积核为3*3的反卷积和1个卷积核为7*7的卷积层构成，每个卷积层的输出会进行实例正则化操作，其中前半部分为编码过程，后半部分为解码过程；判别器模块中网络由9个卷积层、5个最大池化层，2个全连接层和1个二分类层构成；身份保持模块网络依次包含resnet特征提取模块、特征归一化模块、特征空间映射模块，分别对两幅输入人脸图像进行特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
[0047]
使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；在模型训练过程中，构建基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数，具体使用对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损
失的总和作为该复合型损失函数；具体复合型损失函数的表达式如下：
[0048]
loss＝l
gan
λ
cyc
l
cyc
λ
syn
l
syn
λ
pc
l
pc
λ
irm
l
irm
ꢀꢀꢀꢀꢀ
(4)
[0049]
其中，l
gan
、l
cyc
、l
syn
、l
pc
、l
irm
分别表示对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失；λ
cyc
为l
cyc
对应系数，λ
syn
为l
syn
对应系数，λ
pc
为l
pc
对应系数，λ
irm
为l
irm
对应系数；上述系数用于调节各损失在复合型损失函数中所占比重；针对其实验特定数据集，其取值分别定为λ
cyc
＝10，λ
syn
＝30，λ
pc
＝10，λ
irm
＝10；
[0050]
具体l
gan
、l
cyc
、l
syn
、l
pc
及l
irm
的设计分别如以下各式所示：
[0051][0052]
l
cyc
(g,f)＝e
v～pdata(v)
[||f(g(v))-v||1] e
i～pdata(i)
[||g(f(i))-i||1]
…
(6)
[0053]
l
syn
(g,f)＝e
v～p(v),i～p(i)
[||f(i)-f(g(v))||1] e
v～p(v),i～p(i)
[||g(v)-g(f(i))||1]
……
(7)
[0054]
l
pc
(g,f)＝e
v～p(v),i～p(i)
[||v-f(i)||1] e
v～p(v),i～p(i)
[||i-g(v)||1]
…
(8)
[0055][0056]
其中，v和i分别表示跨光谱双向图像转换网络模型对应的可见光输入图像集和红外线输入图像集，v和i分别代表可见光和红外线输入图像的单个样本；l
gan
(g,d
ir
,v,i)是由d
ir
对i的判别结果和对v经过g生成后的判别结果计算二元交叉熵损失值构成，l
gan
(f,d
vis
,i,v)由d
vis
对v的判别结果和对i经过f生成后的判别结果计算二元交叉熵损失值构成；
[0057]
其中l
cyc
用来保证循环合成图像尽可能逼近原始图像，从而训练高精度生成器；由v经过g生成后再经过f循环生成的图像与v间的l1损失值，和由i经过f生成后再经过g循环生成的图像与i间的l1损失值构成；
[0058]
其中l
syn
用来保证生成图像尽可能逼近循环合成图像，由i经过f生成后图像与v经过g生成后再经过f循环生成的图像间的l1损失值，和v经过g生成后图像与i经过f生成后再经过g循环生成的图像间的l1损失值构成；
[0059]
其中l
pc
用来保证跨光谱双向图像转换网络的图像低频成分的准确性，由v与i经过f生成图像的l1损失值，和i与v经过g生成图像的l1损失值构成；
[0060]
其中l
irm
用来保证双向图像转换过程中身份信息的准确与一致性，将原图像与生成的跨光谱图像同时输入至人脸特征提取网络，得到各自对应的维度为128的特征向量和再对这两个特征计算欧氏距离作为其损失值；
[0061]
使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；通过上述公式(4)构建的跨光谱双向图像转换网络模型的复合型损失函数，基于复合型损失函数，并将可见光人脸预处理训练图像集和红外线人脸预处理训练图像集中人脸训练图像输入至跨光谱双向图像转换网络模型中进行训练，训练过程中采用反向传播算法训练跨光谱双向图像转换网络模型，从而
primei分别为红外线人脸匹配分数的gar值和d-prime值，matchscorev和matchscorei分别为可见光匹配分数和红外线匹配分数，w1和w2为融合过程中通过融合公式计算出的权值；采取上述融合策略根据两个匹配分数的gar值，自适应计算融合权值，并可保证d-prime值小的匹配矩阵融合权重大于1/2，以达到提升融合效果及匹配度的目的；
[0079]
基于gar和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵根据公式(14)进行决策融合；使用融合后匹配分数matchscore进行人脸识别，通过计算融合后匹配分数矩阵的far值、gar值、eer值和d-prime值，以实现跨光谱人脸识别。
[0080]
本发明的另一目的在于提供一种基于图像转换的跨光谱人脸识别监控设备，所述监控设备包括可见光摄像头及红外线摄像头、视频录像机、只读存储器、显示器、路由器、外部硬盘和电源。所述只读存储器存储有跨光谱人脸识别计算机程序，所述视频录像机用于执行计算机程序及控制整套监控设备的信息交互，所述计算机程序被所述视频录像机执行时，使得所述视频录像机执行所述的基于图像转换的跨光谱人脸识别方法的步骤。
[0081]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提出了一种包含身份保持模块的图像转换模型、以及可见光和红外线图像间的双向图像转换思路，为了生成图像近似真实的图像分布，同时有效保持身份信息，从而达到显著提升当前跨光谱人脸识别性能的效果；并且提出一种决策融合策略，用于融合双向转换后生成的两个匹配分数，并与传统融合算法进行对比，以达到进一步提升跨光谱人脸图像识别精度的目的，为跨光谱人脸识别技术的推广提供基础支持。
[0082]
以下将结合附图及具体实施例对本发明做进一步详细说明。
附图说明
[0083]
图1是本发明实施例提供的基于图像转换的跨光谱人脸识别方法流程图。
[0084]
图2是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中跨光谱双向图像转换网络模型结构示意图。
[0085]
图3是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中生成器模块及判别器模块的结构示意图；
[0086]
图3中：图a、生成器模块；图b、判别器模块。
[0087]
图4是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中身份保持模块的结构示意图。
[0088]
图5是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中可见光与近红外人脸图像双向生成结果示例示意图；
[0089]
图5中：图a、在可见光1.5m处拍摄所得人脸图像；图b、可见光图像转换后生成的近红外图像；图c、近红外图像转换后生成的可见光图像；图d、在近红外1.5m处拍摄所得人脸图像。
[0090]
图6是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中可见光与短波红外人脸图像双向生成结果示例示意图；
[0091]
图6中：图a、在可见光1.5m处拍摄所得人脸图像；图b、可见光图像转换后生成的短波红外图像；图c、短波红外图像转换后生成的可见光图像；图d、在可见光1.5m处拍摄所得
人脸图像。
[0092]
图7是本发明实施例提供的基于图像转换的跨光谱人脸识别监控设备的结构示意图。
具体实施方式
[0093]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0094]
实施例一
[0095]
目前人脸识别技术大多采用可见光成像，但在光线不足和恶劣气候等特殊成像环境下通常表现不佳，而红外线成像技术具备背景光线要求低、雨天雾天等气候下成像等等优势，因此使用可见光和红外线图像的跨光谱人脸识别技术在实际应用中显得尤为迫切。但目前跨光谱人脸识别技术未考虑图像双向转换与分数融合等因素，导致它们的识别率普遍不高，因此直接使用这些方法无法很好满足目前特殊成像环境下的人脸识别需求。基于上述存在的问题，本发明实施例提供了一种基于图像转换的跨光谱人脸识别方法，业内的普通技术人员还可以采用其他的步骤实施，图1所示的本发明提供的基于图像转换的跨光谱人脸识别方法仅仅是一个具体实施例而已。
[0096]
如图1所示，本发明实施例提供的基于图像转换的跨光谱人脸识别方法，包括：
[0097]
s101：获取可见光人脸图像集和红外线人脸图像集，并将可见光人脸图像集和红外线人脸图像集分别对应划分为可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集，并对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理；
[0098]
s102：构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；
[0099]
s103：将可见光和红外线人脸预处理测试图像输入至训练好的跨光谱双向图像转换网络模型进行图像双向转换，得到生成的可见光图像和生成的红外线图像；
[0100]
s104：分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数；
[0101]
s105：将可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别。
[0102]
本发明实施例提供的s101中，对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理以改善后续图像转换效果，并分别得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
[0103]
所述可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集，包括：
[0104]
对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
[0105]
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
[0106]
本发明实施例提供的s101，具体过程为：
[0107]
在进行图像双向转换前，对可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像作归一化和对比度调整；
[0108]
对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
[0109]
将可见光人脸图像集中的人脸图像首先进行灰度转换，转换为灰度图像，其灰度转换的公式设计具体如下：
[0110]igray
＝0.2989
×
r 0.5870
×
g 0.1140
×bꢀꢀꢀꢀꢀꢀ
(1)
[0111]
其中，r、g、b为可见光图像对应的rgb值，i
gray
为可见光图像进行灰度转换后输出的灰度图像；
[0112]
然后，再将灰度图像i
gray
进行最大最小归一化处理，其归一化到[0，255]，归一化公式设计具体如下：
[0113][0114]
其中，in为灰度图像i
gray
进行归一化后图像输出，i
max
和i
min
分别为灰度图像i
gray
中的最大及最小灰度值；
[0115]
对可见光人脸训练图像集和可见光人脸测试图像集中的每一幅可见光人脸训练图像、可见光人脸测试图像均分别通过上述公式(1)、公式(2)的处理，进而得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
[0116]
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
[0117]
将红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像首先使用log算子进行图像增强，其图像增强的公式设计具体如下：
[0118]
ie＝log
c 1
(1 cx)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0119]
其中，ie为图像增强后的图像，x为图像增强前的图像，c是调节对比度的参数，默认c＝10，c越大图像对比度增强越明显；
[0120]
然后，再对增强后的图像ie进行归一化处理，其归一化到[0，255]的归一化公式如上述公式(2)；
[0121]
对红外线人脸训练图像集和红外线人脸测试图像集中的每一幅红外线人脸训练图像、红外线人脸测试图像均分别通过上述公式(3)、公式(2)的处理，进而得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
[0122]
本发明实施例提供的s102中，构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括vis-to-ir生成器模块、ir-to-vis生成器模块、可见光判别器模块、红外线判别器模块和身份保持模块；
[0123]
其中，可见光人脸训练图像作为vis-to-ir生成器模块的输入，vis-to-ir生成器
模块的输出与ir-to-vis生成器模块的输入连接；红外线人脸训练图像作为ir-to-vis生成器模块的输入，ir-to-vis生成器模块的输出与vis-to-ir生成器模块的输入连接；可见光判别器模块的输入为可见光人脸训练图像和ir-to-vis生成器模块输出，可见光判别器模块的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块的输入为红外线人脸训练图像和vis-to-ir生成器模块的输出，红外线判别器模块的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块(identity retaining module，irm)包括依次连接的resnet特征提取模块、特征归一化模块、特征空间映射模块。身份保持模块的输入为可见光或红外线人脸训练图像和vis-to-ir或ir-to-vis生成器模块的输出；身份保持模块irm的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络。
[0124]
本发明实施例提供的s102中，使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型，具体过程为：
[0125]
构建基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数；
[0126]
使用可见光和红外线人脸预处理训练图像集并利用基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
[0127]
本发明实施例提供的s102，具体过程为：
[0128]
构建跨光谱双向图像转换网络模型，跨光谱双向图像转换网络模型为一种鲁棒性高、且专门针对跨光谱双向图像转换网络模型；
[0129]
具体地：构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括vis-to-ir生成器模块g、ir-to-vis生成器模块f、可见光判别器模块d
vis
、红外线判别器模块d
ir
和身份保持模块irm，其中，vis-to-ir生成器模块g的输入与可见光人脸训练图像连接，vis-to-ir生成器模块g的输出与ir-to-vis生成器模块f的输入连接；ir-to-vis生成器模块f的输入与红外线人脸训练图像连接，ir-to-vis生成器模块f的输出与vis-to-ir生成器模块g的输入连接；可见光判别器模块d
vis
的输入为可见光人脸训练图像和ir-to-vis生成器模块f输出，可见光判别器模块d
vis
的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块d
ir
的输入为红外线人脸训练图像和vis-to-ir生成器模块f的输出，红外线判别器模块d
ir
的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块irm包括依次连接的resnet特征提取模块、特征归一化模块、特征空间映射模块。所述身份保持模块的输入为可见光或红外线人脸训练图像和vis-to-ir或ir-to-vis生成器模块的输出；身份保持模块irm的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络。
[0130]
生成器模块采用自编码网络，该网络由1个卷积核为7*7的卷积层，2个卷积核为3*3的卷积层，9个残差块，2个卷积核为3*3的反卷积和1个卷积核为7*7的卷积层构成，每个卷
积层的输出会进行实例正则化操作，其中前半部分为编码过程，后半部分为解码过程；判别器模块中网络由9个卷积层、5个最大池化层，2个全连接层和1个二分类层构成；身份保持模块网络依次包含resnet特征提取模块、特征归一化模块、特征空间映射模块，分别对两幅输入人脸图像进行特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
[0131]
使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
[0132]
在模型训练过程中，构建了基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数，具体使用对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的总和作为该复合型损失函数；具体复合型损失函数的表达式如下：
[0133]
loss＝l
gan
λ
cyc
l
cyc
λ
syn
l
syn
λ
pc
l
pc
λ
irm
l
irm
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0134]
其中，l
gan
、l
cyc
、l
syn
、l
pc
、l
irm
分别表示对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失；λ
cyc
为l
cyc
对应系数，λ
syn
为l
syn
对应系数，λ
pc
为l
pc
对应系数，λ
irm
为l
irm
对应系数；上述系数用于调节各损失在复合型损失函数中所占比重；针对其实验特定数据集，其取值分别定为λ
cyc
＝10，λ
syn
＝30，λ
pc
＝10，λ
irm
＝10；
[0135]
具体l
gan
、l
cyc
、l
syn
、l
pc
及l
irm
的设计分别如以下各式所示：
[0136][0137]
l
cyc
(g,f)＝e
v～pdata(v)
[||f(g(v))-v||1] e
i～pdata(i)
[||g(f(i))-i||1]
……
(6)
[0138]
l
syn
(g,f)＝e
v～p(v),i～p(i)
[||f(i)-f(g(v))||1] e
v～p(v),i～p(i)
[||g(v)-g(f(i))||1]
……
(7)
[0139]
l
pc
(g,f)＝e
v～p(v),i～p(i)
[||v-f(i)||1] e
v～p(v),i～p(i)
[||i-g(v)||1]
…
(8)
[0140][0141]
其中，v和i分别表示跨光谱双向图像转换网络模型对应的可见光输入图像集和红外线输入图像集，v和i分别代表可见光和红外线输入图像的单个样本。l
gan
(g,d
ir
,v,i)是由d
ir
对i的判别结果和对v经过g生成后的判别结果计算二元交叉熵损失值构成，l
gan
(f,d
vis
,i,v)由d
vis
对v的判别结果和对i经过f生成后的判别结果计算二元交叉熵损失值构成；
[0142]
其中l
cyc
用来保证循环合成图像尽可能逼近原始图像，从而训练高精度生成器。由v经过g生成后再经过f循环生成的图像与v间的l1损失值，和由i经过f生成后再经过g循环生成的图像与i间的l1损失值构成；
[0143]
其中l
syn
用来保证生成图像尽可能逼近循环合成图像，由i经过f生成后图像与v经过g生成后再经过f循环生成的图像间的l1损失值，和v经过g生成后图像与i经过f生成后再经过g循环生成的图像间的l1损失值构成；
[0144]
其中l
pc
用来保证跨光谱双向图像转换网络的图像低频成分的准确性，由v与i经过
f生成图像的l1损失值，和i与v经过g生成图像的l1损失值构成；
[0145]
其中l
irm
用来保证双向图像转换过程中身份信息的准确与一致性，将原图像与生成的跨光谱图像同时输入至人脸特征提取网络，得到各自对应的维度为128的特征向量和再对这两个特征计算欧氏距离作为其损失值；
[0146]
进一步地，使用所述可见光和红外线人脸预处理训练图像集对所述跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
[0147]
通过上述公式(4)构建的跨光谱双向图像转换网络模型的复合型损失函数，基于该复合型损失函数，并将可见光人脸预处理训练图像集和红外线人脸预处理训练图像集中人脸训练图像输入至跨光谱双向图像转换网络模型中进行训练，训练过程中具体可以采用反向传播算法训练跨光谱双向图像转换网络模型，从而得到本实施例最终训练好的跨光谱双向图像转换网络模型，用于后续得到生成的可见光图像和生成的红外线图像。
[0148]
本发明实施例提供的s104中，分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数，包括：
[0149]
使用标准的单光谱人脸特征提取模型如facenet等对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行特征提取并归一化，得到可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外线图像特征向量；
[0150]
采用计算特征向量的欧氏距离，对可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外图像特征向量进行计算，分别得到可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵；
[0151]
根据可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵，分别计算可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵的错误接受率(false accept rate,far)、真实接受率(genuine accept rate，gar)、等错误率(equal error rate,eer)和规范化间距(d-prime)。
[0152]
本发明实施例提供的s105中，可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别，具体过程为：
[0153]
构建基于gar和d-prime的决策融合算法，根据基于gar和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵进行决策融合；
[0154]
使用融合后匹配分数进行人脸识别，通过计算融合后匹配分数矩阵的far值、gar值、eer值和d-prime值，进行人脸识别，以实现跨光谱人脸识别。
[0155]
具体过程为：将可见光人脸匹配分数和所述红外线人脸匹配分数归一化后使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别；
[0156]
构建基于gar和d-prime的决策融合算法进行匹配分数融合，计算得到融合后匹配分数matchscore，具体公式设计如下：
[0157]
当d-primev＞d-primei时：
[0158][0159]
当d-primev＜d-primei时：
[0160][0161]
当d-primev＝d-primei时：
[0162]
最终的融合分数为：
[0163]
matchscore＝w1×
matchscorev w2×
matchscoreiꢀꢀꢀꢀꢀꢀ
(13)
[0164]
其中，gv和d-primev分别为可见光人脸匹配分数的gar值和d-prime值，gi和d-primei分别为红外线人脸匹配分数的gar值和d-prime值，matchscorev和matchscorei分别为可见光匹配分数和红外线匹配分数，w1和w2为融合过程中通过融合公式计算出的权值。采取上述融合策略的优势在于可根据两个匹配分数的gar值，自适应计算融合权值，并可保证d-prime值小的匹配矩阵融合权重大于1/2，以达到提升融合效果及匹配度的目的。
[0165]
进一步地，基于gar和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵根据公式(14)进行决策融合；使用融合后匹配分数matchscore进行人脸识别，通过计算融合后匹配分数矩阵的far值、gar值、eer值和d-prime值，以实现跨光谱人脸识别。
[0166]
为了验证本发明提出的基于图像转换的跨光谱人脸识别方法的优越性，本发明给出多个公开人脸图像集上的图像转换结果样本，请参见图5a～5d和图6a～6d，图5a～5d是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中在casia人脸图像集下，可见光人脸图像与近红外人脸图像双向生成结果示例，具体地：图5a为在可见光1.5m处拍摄所得人脸图像，图5d为在近红外1.5m处拍摄所得人脸图像，图5b为可见光图像转换后生成的近红外图像，
[0167]
表1本实施例跨光谱图像双向转换网络模型中生成器的具体网络参数
[0168][0169]
图5c为近红外图像转换后生成的可见光图像；图6a～6d是本发明实施例在tinders人脸图像集下，可见光人脸图像与短波红外人脸图像双向生成结果示例，具体地：图6a为在可见光1.5m处拍摄所得人脸图像，图6d为在短波红外1.5m处拍摄所得人脸图像，图6b为可见光图像转换后生成的短波红外图像，图6c为短波红外图像转换后生成的可见光图像。
[0170]
本实施例验证过程中跨光谱双向图像转换网络模型中生成器中每一层参数设计具体参见表1，卷积过程中为减少输入图像和生成图像的伪影，1层、15层采用反射填充方式(reflection padding)填充为3，其他层中padding方式为1填充。其中，跨光谱双向图像转换网络模型生成器中每一层的参数根据实际情况而设计，本实施例以表1中具体参数设计进行识别验证。
[0171]
本实施例验证过程中跨光谱图像双向转换网络模型中判别器每一层的参数设计具体参见表2。
[0172]
表2本实施例跨光谱图像双向转换网络模型中判别器的具体网络参数
[0173][0174]
本实施例验证过程中跨光谱图像双向转换网络模型中身份保持模块结构示意图，具体参照图4。身份保持模块irm中依次包含resnet特征提取模块、特征归一化模块l2、特征空间映射模块ed。其中身份保持模块irm输入图像batch首先被裁剪至固定尺寸；resnet特征提取模块、特征归一化模块l2、特征空间映射模块ed可分别通过现有常见方法实现，具体实现方式不限。
[0175]
为说明本发明的跨光谱双向图像转换网络模型的跨光谱转换效果优于其他主流图像生成方法，将其与其他现有公开方法如基于cf共享子空间的图像生成方法、基于pix2pix的图像生成方法和基于cyclegan的图像生成方法等进行了对比，分别计算了双向生成图像与对应波段原图的真实接受率(gar)、等误率(eer)、规范化间距(d-prime)和fr
é
chet inception距离(fid)，其中真实接受率(gar)和规范化间距(d-prime)越大说明图像生成质量越好，等误率(eer)越小说明图像生成质量越好，fr
é
chet inception距离(fid)表示的是生成图像的特征向量与真实图像的特征向量之间的距离，该距离越近，表明生成模型的效果越好，即图像的清晰度高，且多样性丰富。
[0176]
表3本实施例提供的不同图像转换方法匹配分数对比结果(casia数据集)
[0177][0178]
表3对比结果表明，采用本发明的跨光谱双向图像转换网络模型在casia数据集可见光波段取得最大的真实接受率(gar)和规范化间距(d-prime)、最小等误率(eer)和fr
é
chet inception距离；类似的，本发明的跨光谱双向图像转换网络模型在casia数据集近红外波段上同样具有最大真实接受率(gar)和规范化间距(d-prime)、最小等误率(eer)和次优的fr
é
chet inception距离(fid)。
[0179]
表4本实施例提供的不同图像转换方法匹配分数对比结果(tinders数据集)
[0180][0181]
由表4结果表明，采用本发明的跨光谱双向图像转换网络模型在tinders数据集可见光波段上取得最大的真实接受率(gar)和次优的规范化间距(d-prime)，以及最小fr
é
chet inception距离(fid)和次小的等误率(eer)；在红外线波段获得最大的真实接受率(gar)和规范化间距(d-prime)、最小的fr
é
chet inception距离(fid)和次优的等误率(eer)。
[0182]
从整体图像双向转换实验结果来看，本发明的跨光谱双向图像转换网络的人脸双
向生成性能的指标大多数为最优结果，少数为次优结果，从而说明本发明方法的性能整体优于其他主流图像生成方法。
[0183]
设计决策融合算法进行匹配分数对比。请参见表5，表5分别给出了采用最大值融合算法、算术平均融合算法和基于gar和d-prime的决策融合算法，进行匹配分数融合，得到对应的真实接受率(gar)、等误率(eer)和规范化间距(d-prime)对比结果。
[0184]
由表5和表6对比结果可以看出，使用本发明基于gar和d-prime的决策融合算法进行匹配分数融合后，其gar、eer和d-prime等性能评价指标均显著超过了未进行融合前的结果(见表3和表4)；同时，本发明进行决策融合后的性能评价指标也高于最大值融合算法、几何平均融合算法和算术融合算法等传统融合方法。基于gar和d-prime的决策融合算法考虑了转换后单光谱下匹配分数的真实接受率(gar)和规范化间距(d-prime)，使融合后的匹配分数既起到了平均误差的作用，又确保了类内与类间特征的距离，因此使得最终的决策结果是全局最优决策。
[0185]
表5不同决策融合算法匹配分数对比结果(casia数据集)
[0186][0187]
表6不同决策融合算法匹配分数对比结果(tinders数据集)
[0188][0189]
可见，本实施例针对传统人脸识别方法仅采用可见光的局限性，引入了红外线波段进行双向图像转换，有效克服因环境光照不确定变化的影响，使该技术适用于白天夜间、
晴天和雨雪等多种环境下；本实施例针对跨光谱人脸识别问题，设计了跨光谱双向图像转换网络模型，将可见光人和红外线人脸图像进行双向图像转换得到各自对应生成的人脸图像；本实施例针对跨光谱人脸识别问题特别设计了一种复合型损失函数，具体由对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失五部分构成，此复合型损失函数的选择既保证了生成图像质量的真实性，又保留了人脸的身份信息，达到将跨光谱问题转化成单光谱问题，从而有利于人脸识别准确度的提升；本实施例针对单光谱下生成的可见光匹配分数和红外线匹配分数，设计了基于gar和d-prime的决策融合算法，将单光谱下的匹配分数，使用决策融合算法进行融合，融合后的匹配分数既起到了平均误差的作用，又确保了类内与类间特征距离，从而使最终的决策结果是全局最优决策，达到提升最终人脸识别的性能。
[0190]
本实施例提出了一套完整的基于图像转换的跨光谱人脸识别技术，可以解决传统人脸识别技术的适用范围窄、识别性能不高、且特征提取鲁棒性差等诸多缺陷；本实施例为人脸识别的实用化提供了新理论和新算法支持，使得人脸识别技术变得更加实用、可靠和普及化；本实施例可以广泛应用于户外、夜间、雨雪和其他复杂环境下的考勤、民用监控、公安执法、进出管控、小区入口等等应用场合。
[0191]
实施例二
[0192]
在上述实施例一的基础上，本实施例提供了一种基于图像转换的跨光谱人脸识别监控设备，图7为所述监控设备的结构示意图。该监控设备包括可见光摄像头及红外线摄像头、视频录像机、显示器、路由器、只读存储器、外部硬盘和电源；
[0193]
视频录像机用于控制整套监控设备的信息交互，可见光摄像头及红外线摄像头分别用于采集可将光及红外线监控图像，只读存储器(rom)用于存放本发明跨光谱人脸识别方法所对应的计算机程序，显示器用于实时显示所采集监控图像，路由器用于该监控设备与外界其他设备的连接，外部硬盘用于存储摄像头采集的监控图像数据，电源用于为整体监控设备进行供电。
[0194]
所述跨光谱人脸识别监控设备运行时，通过视频录像机处理器(cpu)读取只读存储器中的计算机程序代码，并执行程序。该计算机程序在被执行时实现以下步骤：
[0195]
步骤1、控制可见光与红外线摄像头进行人脸图像采集，获取可见光人脸图像集、红外线人脸图像集。
[0196]
步骤2、对可见光人脸图像集、红外线人脸图像集进行预处理得到可见光人脸预处理图像集、红外线人脸预处理图像集。
[0197]
具体而言，本发明实施例的步骤2采用对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
[0198]
步骤3、构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，并进行训练，保存训练模型参数。
[0199]
具体而言，本实施例的步骤3包括：
[0200]
构建的跨光谱双向图像转换网络模型，包括vis-to-ir生成器模块g、ir-to-vis生成器模块f、可见光判别器模块d
vis
、红外线判别器模块d
ir
、和身份保持模块irm。生成器模块
由1个7*7卷积，2个3*3的卷积，9个残差块，2个3*3的反卷积和1个7*7的卷积构成，每个卷积层的输出会进行实例正则化操作，其中前半部分为编码过程，后半部分为解码过程；判别器模块由9个卷积层、5个最大池化层，2个全连接层和1个二分类层构成；身份保持模块irm依次包含resnet特征提取模块、特征归一化模块、特征空间映射模块；
[0201]
构建了基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数作为损失函数；使用可见光和红外线人脸预处理训练图像集并利用基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型，保存各个情形下对应的参数，一共有两个网络模型，分别对应可见光与近红外的双向图像转换网络参数，和可见光与短波红外的双向图像转换网络参数
[0202]
步骤4、使用训练好的网络模型进行图像生成。
[0203]
具体而言，本实施例的步骤4将可见光和红外线人脸预处理测试图像输入至训练好的跨光谱双向图像转换网络模型进行图像双向转换，得到生成的可见光图像和生成的红外线图像。
[0204]
步骤5、分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数。
[0205]
具体而言，本实施例的步骤5包括：
[0206]
使用单光谱人脸特征提取模型如facenet对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行特征提取并归一化，得到可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外线图像特征向量；
[0207]
采用计算特征向量的欧氏距离，对可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外线图像特征向量进行计算，分别得到可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵；
[0208]
根据所述可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵，分别计算可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵的far值、gar值、eer值和d-prime值。
[0209]
步骤6、进行决策融合，计算匹配结果，以实现跨光谱人脸识别，最后将跨光谱人脸识别结果输出到显示器中。
[0210]
具体而言，本实施例步骤6包括：
[0211]
构建基于gar和d-prime的决策融合算法进行匹配分数融合；
[0212]
将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵依据决策融合算法进行融合；
[0213]
使用融合后匹配分数进行人脸识别，通过计算所述融合后匹配分数矩阵的far值、gar值、eer值和d-prime值，进行人脸识别，得到最终匹配结果。
[0214]
本实施例提供的基于图像转换的跨光谱人脸识别监控设备，可以执行上述跨光谱人脸识别方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0215]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或
多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0216]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。