基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统与流程

1.本发明涉及生物特征识别技术领域，具体涉及基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统。


背景技术：

2.掌纹和掌静脉生物特征相比常见的指纹、指静脉等特征，具有特征区域大、纹理信息丰富、安全性高及鲁棒性强等特点，因此在近几年也受到了越来越多的关注。尤其是掌纹掌静脉的模态融合识别，能够兼顾掌纹与掌静脉特征的优点，大大提高防伪能力和识别性能，然而目前掌纹掌静脉融合识别时，掌静脉识别精度易受到环境温度的影响，在同样的采集条件下不同温度的掌静脉图像之间有一定的区别，如图1所示，图1a和图1b分别为常温与低温掌静脉成像对比图。环境温度对掌静脉的影响过程为：外界环境温度降低，导致体温降低；而手部由于处于血液流出的末端，其吸收到的热能小，导致手部的温度相对来说更易降低；手掌温度降低后，手掌浅层表面的血管收缩，皮肤血流量减少，以减少体热散失；手掌浅层表面血管收缩，血液流量减少，血液中的血红蛋白浓度降低，导致850nm波长的光源被血管吸收的量减少；被血管吸收的光减少，因此图像传感器接收到的图像中，手掌浅层血管区域就不会呈现明显的暗光区域，导致掌静脉纹路被弱化，从而影响后续的特征提取和特征匹配，降低掌静脉识别算法的精度，也降低了掌纹掌静脉融合识别算法的性能，限制了掌纹掌静脉算法在实际应用场景中的部署。
3.2003年日本富士通着手研发掌静脉识别相关技术，并在此后几年内迅速将该理论成熟化和产品化，陆续推出了palm secure非接触式掌静脉识别仪等系列识别产品并在日本多家银行和企业得到广泛应用，富士通最新的非接触式掌静脉模块为palmsecure-f pro。
4.研究温度对掌静脉的影响需要在采集图像的同时采集手掌温度，首先对掌纹掌静脉进行成像需要特定波长的光源，掌纹和掌静脉成像分别需要波长为400nm左右和850nm左右的光源，因此需要将手放置在光源照射到的地方才能够成像。除此之外，现有的掌纹掌静脉识别设备和算法设计没有考虑环境温度带来的掌静脉成像差异，降低了掌静脉识别算法的识别精度，限制掌静脉识别算法在实际场景应用的部署。


技术实现要素：

5.针对上述存在的问题，本发明提出一种基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统，通过手掌温度信息动态调整掌纹掌静脉融合识别时的融合权重，实现掌纹掌静脉融合识别算法抗环境温度变化的方法，方法过程清晰，识别算法具有高精度和对环境温度变化鲁棒等优点，能够提升算法在实际场景的应用部署能力。
6.本发明至少通过如下技术方案之一实现。
7.基于手掌温度信息的掌纹掌静脉动态融合识别方法，包括以下步骤：
8.第一步、截取掌纹图像和掌静脉图像进行感兴趣区域，获得掌纹和掌静脉的感兴
趣区域图像；
9.第二步、采用嵌入网络从掌纹和掌静脉感兴趣区域图像提取掌纹特征和掌静脉特征，提取到的掌纹特征和掌静脉特征作为待匹配的样本；
10.第三步、将待匹配的样本与所有存储的已注册样本依次组成匹配对，并获取掌纹匹配分数和掌静脉匹配分数的匹配对的匹配分数，对于匹配分数进行排序，分别得到用于融合识别的掌纹和掌静脉的最大匹配分数；
11.第四步、利用各匹配对的温度差求取掌纹和掌静脉动态融合权重，根据得到的动态融合权重将掌纹和掌静脉最大匹配分数进行融合，得到最终的匹配分数，根据最终的匹配分数输出识别结果。
12.优选地，所述嵌入网络为深度卷积网络模型efficientnet，所述深度卷积网络模型通过网络架构搜索来提供优化的网络尺寸参数组合，并将网络尺寸变化的问题转化为优化问题，通过网格搜索的方法进行优化。
13.优选地，所述深度卷积网络模型的主要模块是结合挤激(squeeze-and-excitation,se)方式优化的移动倒置瓶颈卷积(mobile inverted bottleneck mbconv)模块。
14.优选地，所述嵌入网络包括掌纹特征提取网络f
pp
和掌静脉特征提取网络f
pv
，将掌纹图像x
pp
、掌静脉图像x
pv
分别通过掌纹特征提取网络f
pp
和掌静脉特征提取网络f
pv
进行处理后，得到掌纹特征b
pp
和掌静脉特征b
pv
，提取掌纹特征和掌静脉特征为：
15.b＝f(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
16.其中b表示基础特征，f(x)表示嵌入网络，x是掌纹图像或掌静脉图像。
17.优选地，获取各匹配对掌纹匹配分数和掌静脉匹配分数时，将注册样本特征集记为(b
jpp
，b
jpv
)，j＝1
…
n，其中n为注册样本的数量；将第i个待匹配掌纹图像x
ipp
、掌静脉图像x
ipv
通过掌纹特征提取网络f
pp
和掌静脉特征提取网络f
pv
得到的掌纹特征和掌静脉特征记为待匹配样本(b
ipp
，b
jpv
)，掌纹匹配分数公式为：
18.s
i，jpp
＝distance(b
ipp
,b
jpp
)，i,j＝1
…n19.其中b
ipp
表示待匹配样本的掌纹特征，b
jpp
表示已注册样本的掌纹特征，distance()为距离度量函数；
20.掌静脉匹配分数公式为：
21.s
i，jpv
＝distance(b
ipv
,b
jpv
),i,j＝1
…n22.其中b
ipv
表示待匹配样本的掌静脉特征，b
jpv
表示已注册样本的掌静脉特征。
23.优选地，掌纹和掌静脉匹配分数通过动态融合权重w进行融合得到各匹配对的匹配分数s
i，j
：
24.s
i，j
＝w
×si，jpp
(1-w)
×si，jpv
，i，j＝1
…nꢀꢀꢀꢀꢀꢀ
(2)。
25.优选地，所述动态融合权重w与温度差δt存在相互映射关系：
26.w＝f(δt)
ꢀꢀꢀꢀꢀꢀ
(3)
27.用户进行注册时，注册样本的手掌温度视为常温t0，用户进行识别时，待匹配样本的手掌温度为t1，则温度差δt为：
28.δt＝t
0-t1ꢀꢀꢀꢀꢀꢀꢀ
(4)
29.其中t0为用户进行注册时注册样本的手掌温度，t1为用户进行识别时，待匹配样本
的手掌温度；当环境温度变化，当待匹配样本手掌温度接近常温时，在进行掌纹和掌静脉融合时增加掌静脉的融合权重、降低掌纹的融合权重；当δt增大时，在掌纹和掌静脉融合时增加掌纹的融合权重、降低掌静脉的融合权重。
30.优选地，所述映射关系通过以下方式求取：
31.将第三步的掌纹掌静脉数据集划分成训练集、验证集和测试集，映射关系f()在验证集上进行求取：首先遍历验证集中的所有匹配对，使用网格搜索法求取使得等误率eer最小的最优拒识阈值m:
32.min
w，m
(eer),i,j＝1
…nꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
33.其中n为注册样本的数量；对于验证集中的所有匹配对，当匹配对的匹配分数s
i，j
＞m时，将该匹配对称为正样本对，正样本对的匹配分数记为s
p
，正样本对的标签记为y＝1；当匹配对的匹配分数s
i，j
＜m时，将该匹配对称为负样本对，负样本对的匹配分数记为sn，负样本对的标签记为y＝-1，对于验证集的各匹配对，均存在最优容许权重且对于正样本对，存在正样本最优容许融合权重使得正样本对满足式(6)；对于负样本对，存在负样本最优容许融合权重使得负样本对满足式(7)：
[0034][0035][0036]
其中s
i，jpp
表示掌纹匹配分数，s
i，jpv
表示掌静脉匹配分数；
[0037]
对验证集所有匹配对创建总样本点集其中δt
i，j
为匹配对温度差，y
i，j
为该匹配对对应的标签，以样本标签和最优容许权重将总样本点集进行划分为正样本点集和负样本点集其中n＝n
p
nn，n
p
为正样本的数量，nn为负样本的数量；
[0038]
对于总样本点集，存在动态融合权重w满足：
[0039][0040]
即
[0041][0042]
其中f(δt)是总样本点集的最优分界面，采用支持向量机对样本点集的最优分界面进行求解，通过得到的分界面方程获得动态融合权重w与温度差δt之间的映射关系。
[0043]
优选地，正样本最优容许融合权重和负样本最优容许融合权重为：
[0044]
[0045][0046]
所述的基于手掌温度信息的掌纹掌静脉动态融合识别方法的系统，包括注册模块、采集模块、识别模块和删除模块；
[0047]
所述采集模块用于采集掌纹图像、掌静脉图像和手掌温度信息；
[0048]
所述注册模块在待机状态下，用户点击触摸屏上的注册按键进入注册模式，进入注册模式后，用户首先需要输入自己的用户名，点击确认后进入采集状态，通过嵌入式网络对采集到的掌纹图像和掌静脉图像进行特征提取，得到注册用户的掌纹特征和掌静脉特征，即注册样本，再将掌纹特征、掌静脉特征和采集到的手掌温度信息存储到数据库，完成用户注册；
[0049]
所述识别模块，当用户将手掌以自然张开状态进入图像采集区域后，自动进入识别状态，在手掌运动过程中，系首先自动采集掌纹图像、掌静脉图像和手掌温度信息，再基于手掌温度信息的掌纹掌静脉动态融合识别方法，最后将识别结果显示到触摸屏上；
[0050]
所述删除模块，在待机状态下，用户点击触摸屏上的删除按键进入删除模式，进入删除模式后输入待删除的用户名，点击触摸屏上的确认按键后将指定用户的所有数据从数据库中删除。
[0051]
相对于现有技术，本发明具有如下有益效果：
[0052]
基于手掌温度信息，通过动态调整掌纹特征和掌静脉特征的融合权重实现不同手掌温度下的掌纹掌静脉融合识别，可抗手掌温度变化，并通过实验对系统进行了有效地验证和测试，克服环境温度对掌静脉特征的影响，提高掌纹掌静脉融合识别算法识别精度，增强算法对环境温度变化的鲁棒性和在实际场景的应用部署能力，提升识别系统的性能。能够在不同环境温度下达到较好的识别效果，防止了花费大量研究时间制作出的掌静脉识别设备在环境温度变化后无法使用的问题。
附图说明
[0053]
图1为本发明常温与低温掌静脉成像对比图；
[0054]
图2为本发明系统状态机流程图；
[0055]
图3为本发明样本点集示意图；
[0056]
图4为本发明svm最佳分类面图。
具体实施方式
[0057]
以下结合附图对本发明的具体实施作进一步说明。为表达的更简洁清晰，在下列描述当中，不详细描述公知的功能和结构，以凸显本发明的优势和特征。
[0058]
所述基于手掌温度信息的掌纹掌静脉动态融合识别方法，包括如下步骤：
[0059]
第一步、对掌纹图像和掌静脉图像进行感兴趣区域截取获得掌纹和掌静脉的感兴趣区域图像；
[0060]
第二步、采用嵌入网络从掌纹和掌静脉感兴趣区域图像提取掌纹特征和掌静脉特征，提取到的掌纹特征和掌静脉特征作为待匹配的样本；
[0061]
第三步、将待匹配的样本与所有的存储的已注册样本依次组成匹配对，并计算各
匹配对掌纹匹配分数和掌静脉匹配分数，对于匹配分数进行排序，分别得到掌纹和掌静脉的最大匹配分数用于融合识别；
[0062]
第四步、利用各匹配对的温度差求取掌纹掌静脉动态融合权重，根据得到的动态融合权重进行掌纹掌静脉最大匹配分数进行融合得到最终的匹配分数，根据该匹配分数给出识别结果。
[0063]
所述嵌入网络使用深度卷积网络模型efficientnet，efficientnet通过网络架构搜索(nas)来提供优化的网络尺寸参数组合，并将网络尺度变化的问题转化为一个优化问题，通过网格搜索的方法来解决。该网络的主要区块是mobile inverted bottleneck(mbconv)结合了squeeze-and-excitation(se)优化。嵌入网络f被用来提取基础特征b:
[0064]
b＝f(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0065]
其中x是掌纹图像或掌静脉图像，掌纹特征和掌静脉特征提取是指将掌纹图像x
pp
、掌静脉图像x
pv
分别通过掌纹特征提取网络f
pp
和掌静脉特征提取网络f
pv
进行处理后，得到掌纹特征b
pp
和掌静脉特征b
pv
。
[0066]
所述计算各匹配对掌纹匹配分数和掌静脉匹配分数时，将注册样本特征集记为(b
jpp
，b
jpv
)(j＝1
…
n)，其中n为注册样本的数量；将第i个待匹配掌纹图像x
ipp
、掌静脉图像x
ipv
通过掌纹特征提取网络f
pp
和掌静脉特征提取网络f
pv
得到的掌纹特征和掌静脉特征记为待匹配样本(b
ipp
，b
jpv
)。将待匹配样本和已注册样本的掌纹特征b
ipp
,b
jpp
、掌静脉特征b
ipv
,b
jpv
分别计算掌纹匹配分数s
i，jpp
＝distance(b
ipp
,b
jpp
)和掌静脉匹配分数s
i，jpv
＝distance(b
ipv
,b
jpv
),(i,j＝1
…
n)，其中distance()为距离度量函数，该距离一般采用余弦距离。
[0067]
所述掌纹和掌静脉匹配分数通过动态融合权重w按照式(2)进行融合得到各匹配对的匹配分数s
i，j
：
[0068]si，j
＝w
×si，jpp
(1-w)
×si，jpv
，i，j＝1
…nꢀꢀꢀ
(2)
[0069]
将用户进行注册时，即注册样本的手掌温度视为常温t0，当系统被放置在地铁、机场、火车站闸机等环境温度不可控的场所进行掌纹掌静脉融合识别时，受环境温度影响，用户进行识别时，即待匹配样本的手掌温度为t1，温度差定义如式(3)：
[0070]
δt＝t
0-t1ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0071]
当环境温度变化,用户进行掌纹掌静脉识别时手掌温度相应变化，掌纹和掌静脉成像存在差异，因此当待匹配样本手掌温度接近常温时，δt较小，则在进行掌纹和掌静脉融合时应增加掌静脉的融合权重、降低掌纹的融合权重；当待匹配样本手掌温度较低时，δt较大，在掌纹和掌静脉融合时应增加掌纹的融合权重、降低掌静脉的融合权重。可见式(1)中的动态融合权重w与δt存在相互映射关系f()使得：
[0072]
w＝f(δt)
ꢀꢀꢀꢀꢀꢀ
(4)
[0073]
所述映射关系f()可以通过下述方式求取：
[0074]
根据训练过程将掌纹掌静脉数据集划分成训练集、验证集和测试集，其中训练集用于训练模型训练，验证集用于选取模型的超参数，测试集用于测试模型的性能。映射关系f()在验证集上进行求取。首先遍历验证集中的所有匹配对，使用网格搜索法求取使得等误率eer最小的最优拒识阈值m:
[0075]
min
w，m
(eer),i,j＝1
…nꢀꢀꢀꢀꢀ
(5)
[0076]
对于验证集中的所有匹配对，当匹配对计算的匹配分数s
i，j
＞m时，将该匹配对称为正样本对，正样本对的匹配分数记为s
p
，正样本对的标签记为y＝1；当匹配对计算的匹配分数s
i，j
＜m时，将该匹配对称为负样本对，负样本对的匹配分数记为sn，负样本对的标签记为y＝-1，因此对于验证集的各匹配对，均存在最优容许权重且对于正样本对，存在正样本最优容许融合权重使得正样本对满足式(6)；对于负样本对，存在负样本最优容许融合权重使得负样本对满足式(7)。
[0077][0078][0079]
则权重可通过式(8)计算，通过式(9)计算得到。
[0080][0081][0082]
因此对验证集所有匹配对可以创建总样本点集因此对验证集所有匹配对可以创建总样本点集其中δt
i，j
为匹配对温度差，y
i，j
为该匹配对对应的标签，取值为1或-1，以样本标签和最优容许权重将总样本点集进行划分为正样本点集和负样本点集如图3所示，其中n＝n
p
nn，n
p
为正样本的数量，nn为负样本的数量。
[0083]
可见对于总样本点集，存在动态融合权重w满足：
[0084][0085]
即
[0086][0087]
其中f(δt)是样本点集的最优分界面，如图4所示,采用支持向量机(support vector machine,svm)对样本点集的最优分界面进行求解，得到的分界面方程f svm
()＝f()，获得动态融合权重w与温度差δt之间的映射关系。
[0088]
本发明提出的系统采用状态机设计模式管理系统的运行，规定了系统的不同状态以及在这些状态之间的转换条件，状态机流程图如图2所示，各系统以及转换条件如下：
[0089]
待机状态：系统开机后默认运行在待机状态，并实时监测是否有手掌通过图像采集区域，触摸屏显示在主页模式且无识别结果。
[0090]
注册状态：在待机状态下，用户点击触摸屏上的注册按键进入注册模式，进入注册模式后，用户首先需要输入自己的用户名，点击确认后进入采集状态，通过嵌入式网络对采
集到的掌纹图像和掌静脉图像进行特征提取，得到注册用户的掌纹特征和掌静脉特征，即注册样本，再将掌纹特征、掌静脉特征和采集到的手掌温度信息存储到数据库，完成用户注册。
[0091]
采集状态：在采集状态下，用户需要按照触摸屏显示的提示，首先完成掌纹图像、掌静脉图像和手掌温度信息的自动采集。
[0092]
删除状态：在待机状态下，用户点击触摸屏上的删除按键进入删除模式，进入删除模式后输入待删除的用户名，点击触摸屏上的确认按键后就可以将指定用户的所有数据从数据库中删除。
[0093]
识别状态：当用户将手掌以自然张开状态在系统上方运动且进入图像采集区域后，系统自动进入识别状态。在手掌运动过程中，系统首先自动采集掌纹图像、掌静脉图像和手掌温度信息，再由系统运行基于手掌温度信息的掌纹掌静脉动态融合识别算法，最后将识别结果显示到触摸屏上。
[0094]
现有技术在进行掌纹和掌静脉特征融合识别时没有考虑到环境温度对于掌静脉特征的影响，本发明在温度变化时使用动态权重实现掌纹掌静脉融合识别。在环境低温下降低掌静脉的融合权重，提高环境温度变化时系统的识别精度和鲁棒性。不考虑温度变化时掌静脉特征的变化，在各种温度下均使用固定的权重进行掌纹掌静脉融合识别。
[0095]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。