一种基于多光谱图像的证照鉴伪方法

本发明属于但不限于证照防伪，尤其涉及一种基于多光谱图像的多国证照鉴伪方法及系统。

背景技术：

1、 现如今随着我国经济建设的平稳推进，我国与其他国家在各领域深层次的交流与 合作更加频繁，以贸易、旅游等为目的的出入境人员增加。为了满足国际化的服务需求，完善个人信息认证系统，火车站、机场等多处重要的交通设施推行基于护照的身份认证系统。同时随着外国人口的涌入，酒店的入住办理、银行的金融服务等工作也面临验证护照真伪的需求。因此，作为个人信息的载体以及法律支持的有效证件，在公共场所的身份认证流程中护照已经成为不可或缺的一部分。随着智能化识别技术的普及，为了提升出入境处理的速度，降低安检人员的培训成本，海关等出入境口岸、银行等金融机构以及旅店等住宿场所推行智能化的护照查 验流程。护照查验的整体程序是“接取证件-人证对照-查验证件-资料录入-盖章放行”。在“查验证件”的流程中，护照鉴伪软件通过护照鉴伪算法检测护照各种光谱图像的真伪。护照鉴伪软件的检测结果决定出入境人员的身份证明是否有效且合法，严格且精确的护照鉴伪算法能提升护照鉴伪结果的可靠性。护照中独特的防伪特征对于护照鉴伪软件检测护照的真伪起到关键作用：护照鉴伪算法通过识别护照中特定区域的防伪特征，判断护照的所有防伪特征是否有效且完整，根据护照所有防伪特征的识别结果以及相关个人信息的验证结果决定护照的真伪。

2、在实际的应用实践中，对于证照鉴伪存在诸多问题，导致证照鉴伪的效果较差：第一，不同设备采集的证照图像紫外差异过大，尤其表现在紫外光的波段和紫外光线强弱不同导致同一本证照采集的紫外图像差异过大，容易出现识真误报的问题，跨设备采集图像鉴伪区域特征检测是本发明要解决的一个重要问题；第二，证照的磨损可能导致在紫外光线下，紫外图像整体偏暗，鉴伪区域特征减弱，造成鉴伪错误的情况；第三，护照的紫外存在不规则分布的荧光纤维，荧光纤维的长度和分布都是不规律的，对鉴伪难度提出较大的挑战。

3、传统的鉴伪方法在上述应用实践中会有较差的效果。一方面，现有的方法难以处理跨设备不同波段和不同强度的紫外光线拍摄的图像，在进行跨设备图像鉴伪时会出现偶发性鉴伪出错的问题；另一方面，已知现有的传统方面如模板匹配、sift特征点检测等等方法在护照出现局部磨损的时候，效果较差，鉴伪难度较大；最后传统的非深度学习的方法难以针对性地检测不规则分布地荧光纤维，采用深度学习的方法来检测荧光纤维具有较好的效果。

4、鉴于上述分析，现有技术存在的急需解决的技术问题为：

5、证照通用防伪特征的预筛选问题；

6、跨设备场景下证照识别困难、鉴伪不准等问题；

7、面对无规则分布且有着许多干扰图案，传统方法存在着检测效率不高、准确率底下的问题，

8、针对护照红外图像上丰富的防伪特征图案，传统的技术方案的鲁棒性较差，面对复杂的防伪特征往往表现出鉴伪失败的情况。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于多光谱图像的多国证照鉴伪方法及系统。

2、本发明是这样实现的，一种基于多光谱图像的多国证照鉴伪方法，其特征在于，基于多光谱图像的多国证照鉴伪方法，该方法具体包括：

3、s1：基于差值图像的预筛选，检测证照的通用防伪特征，通过计算图像的绝对差异、对差值图像进行形态学操作、对图像差异进行量化来完成；

4、s2：根据设备采集图像的深度统计特征构建设备的特性模型从而对图像进行补偿，使其图像特征接近标准设备；

5、s3：采用多重尺度纹理分析(msta)的方法提取紫外防伪特征并检测；

6、s4：将紫外图像通过仿射变换和白光图像物理对齐，通过squeeze-and-excitation 模块自动学习紫外图像和白光图像通道的重要性权重，实现多光谱特征的动态融合，同时设计了三层的cnn网络用于荧光增强作为检测模型的入口；

7、s5：针对红外图像设计了一种多模态差分特征增强及检测网络，用于检测红外光下复杂防伪特征。

8、进一步，所述s1，分别对图像的红外光图像和紫外光图像进行以下算法处理：在预处理阶段，对白光下拍摄的图像进行灰度化处理；在差异计算方面，通过计算两张图像的绝对差异，将两张图像做绝对差值运算，然后将差异图像二值化，突出显著差异，最后进行形态学膨胀，连接相邻差异点；在差异度量化阶段，将预筛选后的图像主要采用红外结构相似性指数irssim和紫外差异像素比例uvdiffpercentage来进行量化，度量图像是否具有通用的防伪特征，irssim和uvdiffpercentage的计算公式如下：

9、

10、

11、其中，、分别是紫外图像和白光图像的均值，、分别是紫外图像和白光图像的方差，σ是协方差，c1，c2是常数，用于防止分母为0；

12、经过s1部分处理后可以初步筛选出两种护照，一种是不具有通用的防伪特征，输出为假护照，另一种则是具备通用的防伪特征，对于这一种护照，将护照的多光谱图像继续输入s2中进行更加精确的防伪特征检测。

13、进一步，所述s2，采用多层级特征变换与统计矫正(mftsc)，首先采用多尺度几何分析(mga)，将图像分解成不同频率和方向的分量：

14、

15、其中，是尺度s和方向d的系数，是对应的基函数，r是残差；

16、对每个子带的系数分布进行精确建模，使用广义高斯分布(ggd)：

17、

18、其中α控制分布的尖峰程度，σ控制扩散度，使用自适应核密度估计代替参数分布；

19、构建设备特性的参数模型如下，包括光谱特性、非线性变换和噪声特性：

20、

21、其中，m是颜色混合矩阵，r是非线性响应函数，b是偏移量，η是噪声项；

22、针对每个子带，利用最优传输理论构建源设备和标准设备之间的映射：

23、

24、其中f表示累积分布函数，采用wasserstein距离最小化和正则化最优传输；针对荧光特点的物理约束，引入荧光材料的发射特性越少，确保矫正结果符合物理规律：

25、

26、其中e(λ)表示激发光谱，r(λ)表示荧光材料的响应特性，s(λ)是传感器的光谱敏感度；

27、采用自适应协方差结构协整，利用多变量统计分析，修正不同设备间的特征协方差结构：

28、

29、其中，σ表示协方差矩阵，μ表示均值向量；

30、采用迭代贝叶斯框架估计原始场景辐射：

31、

32、

33、进一步，所述s3，步骤如下：

34、（1）msta对图像进行了多尺度分解，创建图像金字塔；

35、（2）采用共生灰度矩阵（glcm）来捕捉像素对之间的空间关系；

36、（3）采用gabor滤波器模拟人类视觉系统对方向和频率的选择性；

37、（4）提取小波变换特征来捕捉荧光图案中不同频率的成分；

38、（5）采用局部方向模式的ldip算法，更加关注像素领域的方向特性；

39、（6）msta将上述所有特征在多个尺度上融合，生成全面的荧光纹理表征。

40、进一步，所述s4，将需要检测和区分的目标分为三类，分别是荧光纤维、细长的线条以及荧光文字，首先要收集包含荧光线条的样本图像并且确保图像的多样性：不同角度、亮度、背景复杂度、荧光线条的长短等等；

41、采用多光谱数据融合的方法，将紫外图像与可见光图像融合，使用orb或akaze算法提取两幅图像的关键点和特征描述符，使用flann或bfmatcher进行特征点匹配，筛选优质匹配对，使用最小二乘法拟合变换矩阵，通过匹配点求解仿射变换矩阵，最后将紫外图像按变换矩阵对齐到rgb图像，在特征融合方面采用了通道注意力机制动态加权融合，通过squeeze-and-excitation模块自动学习紫外图像和白光图像的重要性权重，实现多光谱特征的动态融合；

42、本发明还设计了一个3层的cnn网络，输入为rgb图像，输出为荧光增强后的单通道掩膜，使用荧光图像的像素级标注训练该网络，将增强后的图像和原图像拼接得到最后的图像，最后，将经过荧光特征增强之后的图像输入荧光纤维目标检测模块，增强对荧光线条的全局上下文感知。

43、进一步，所述s5，多模态差分特征增强及检测网络包括：

44、双流特征提取模块，分别针对可见光图像特征和红外图像特征使用两个分支进行特征提取；

45、特征差分模块，用于计算可见光图像与红外图像的多层特征差异；

46、几何约束模块，用于利用证件的固定结构作为先验知识；

47、多级监督策略，用于同时使用像素级、区域及和全局监督信号；

48、自校准样本生成器，用于模拟不同拍摄条件下的证件图像对。

49、进一步，所述双流特征提取模块，可见光特征提取分支使用修改版的densenet作为骨干网络，保留浅层特征，同时引入分块注意力机制，关注证件的不同功能区域如常见的人像消失区域、护照上方文字消失区域等等，最后输出5个不同尺度的特征图：fv1，fv2，fv3，fv4，fv5；红外光图像特征提取分支使用与可见光分支相同的网络结构，但是不共享权重，在每个卷积块后添加通道注意力模块，增强红外特有的纹理表达，最后输出5个不同尺度的特征图：fir1，fir2，fir3，fir4，fir5；在本模块中使用了空间变换网络（stn）自动定位证件区域，同时生成证件区域掩码，用于后续特征提取的关注区域定义。

50、进一步，所述特征差分模块，采用了多层差分特征计算的方式，对每个尺度的特征图计算差异：

51、

52、其中，γ和β是可学习的参数，第一项捕获绝对差异，第二项专注于红外消失区域特征，最后会生成5个尺度的差分特征图：d1,d2,d3,d4,d5。

53、进一步，所述几何约束模块，首先建立证件模板库，包含不同类型的证件的标准布局，使用变形卷积网络（defomable cnn）适应不同拍摄角度下的证件畸变。

54、本发明另一目的在于提供一种基于多光谱图像的多国证照鉴伪系统，该系统包括设备特性补偿模块、紫外防伪特征提取及检测模块、紫外荧光纤维检测模块、红外差分特征提取及检测模块；

55、所述设备特征补偿模块是针对不同设备采集的紫外图像在亮度、对比度方面有较大差异设计的算法补偿模块；

56、紫外防伪特征提取及检测模块、紫外荧光纤维检测模块分别是针对紫外防伪特征的检测模块；

57、红外差分特征提取及检测模块是针对护照红外防伪特征的检测模块。

58、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

59、本发明提出的基于差值图像的预筛选算法，通过计算图像的绝对差异、对差值图像进行形态学操作、对图像差异进行量化等方法，可以有效筛选出具备通用防伪特征的护照，从而极大地提高了证照鉴伪的效率。

60、本发明可用于复杂环境下的证照鉴伪工作，并且支持跨设备的算法补偿，有效解决了同类型的算法在进行设备迁移算法模块需要重大调整的难题。根据紫外图像部分鉴伪特征可能受到护照磨损、一线操作人员误遮挡等情况，算法采用了多重尺度纹理分析（msta）的方式，护照紫外图像进行了多尺度的分解，创建图像金字塔，采用共生灰度矩阵（glcm）来捕捉像素对之间的空间关系，采用了gabor滤波器迷你人类视觉系统对方向和频率的选择性，提取了小波变换特征来捕捉荧光图案中不同频率的成分，采用了局部方向模式的ldip算法来捕捉荧光图案中的方向结构，最后msta将所有特征在多个尺度进行融合，生成全面的荧光纹理表征。相比于同类型算法，本发明的算法在面临复杂鉴伪场景仍具有较好的效果。

61、本发明提出的一种护照紫外图像荧光纤维检测算法，可以极大程度上为此类无规则分布的荧光目标检测提供有力的技术支持。长期以来，护照紫外图案上荧光鉴伪的检测许多都只是使用传统的方式进行检测，这类方法存在着效率不高并且不易将荧光纤维和类似的图案如细长线条和荧光文字区分开。本发明采用多光谱数据融合的方法，将紫外图像和可见光图像融合，提升荧光线条的对比度。由于紫外图像和白光图像可能因拍摄角度、镜头畸变等原因导致像素位置不匹配，需通过仿射变换将两者严格对齐，确保同一物理点在两幅图像中的坐标一致，在特征融合方面采用了通道注意力机制动态加权融合，通过squeeze-and-excitation模块自动学习紫外图像和白光图像的重要性权重。本发明还设计了一个3层的cnn网络，输入为rgb图像，作为荧光增强后的单通道掩膜，将增强后的图像和原图像拼接后得到最后的图像，设计这样一个轻量级荧光特征增强子网络用于专门提取荧光通道的高频信息，抑制背景噪声。最后，将经过荧光特征增强之后的图像输入荧光纤维目标检测模块，增强对荧光线条的全局上下文感知。

62、本发明提供的红外图像消失图案的检测网络，可用于多种复杂护照红外特征图案的鉴伪工作。长期以来，因为护照红外光下特征图案的多样性如消失的文字信息、消失的人脸信息、半边消失的数字轮廓等等，大部分方法在面临这些场景时会出现特征区域定位不准，对特征区域的检测不够精确等等问题。本发明设计了一种多模态差分特征增强网络(mm-dfen)。特征增强是其中的一个环节，目的是为了提高检测的准确性和鲁棒性。整个网络是一个完整的红外消失特征检测系统，从特征提取、差异计算、约束优化到最终输出分割掩码，最终检测出红外特征区域目标。

63、本发明的技术进步主要体现在以下几个方面：

64、（1）针对护照紫外图像鉴伪，引入了基于深度统计模型的设备响应模型，并且采用了多重尺度纹理分析，将图像进行了多尺度分解进行特征提取，结合紫外图像的多维度防伪特征进行综合分析。采用多光谱特征融合的方式同时设计3层cnn荧光增强网络来提取荧光通道的高频信息，最后将经过荧光特征增强之后的图像输入荧光纤维目标检测模块，增强对荧光线条的全局上下文感知。

65、（2）针对护照红外图像，具体来说本发明设计了一种多模态差分特征网络，设计了双流特征提取模块、多层差分特征计算模块、几何约束模块、多级解码器、多级监督模块等等，整个网络的具有完整的红外特征增强、提取、检测功能，同时得益于其几何约束模块，该网络结构能够保证证照图像适应不同角度拍摄的畸变。比起传统图像处理方法在特定场景下可能失效的问题，本发明的解决方案具备更好的鲁棒性。

66、本发明提及到的解决方案在证照通用防伪特征的预筛选、设备防伪特性补偿、紫外防伪特征分布不规则、红外防伪特征复杂场景下进行证照鉴伪工作等方面取得了显著的技术进步。这些进步不仅提高了该任务的准确性和可靠性，还为传统方法和深度学习方法相结合进行证照鉴伪工作提供了新思路和更为有效地技术手段。

67、（3）本发明的技术方案转化后的预期收益和商业价值为：

68、该技术方案的转化预期收益和商业价值相当可观。首先，本发明提出的基于差值图像的预筛选算法，可以有效筛选出具备通用防伪特征的护照，从而极大地提高了证照鉴伪的效率。同时，该技术方案解决了跨设备场景下证照鉴伪存在图像对比度、亮度、色彩等方面差异过大的问题，该问题极大地改善了在跨设备场景下，因为不同设备紫外灯强度和波段不同的影响，设备上图像采集、识读、鉴伪等效果也会有不同程度上的差异，甚至导致算法的框架需要极大调整。该技术方案使得证照鉴伪能够做到一套鉴伪算法能够部署到不同的设备上，这将以极大的优势吸引机场、边检、海关以及各种有证照鉴伪需求的企事业单位更可能选择技术方案转化的鉴伪设备，而不是选择不同功能的设备完成相应的组合工作。同时由于大型证照阅读仪和小型阅读仪存在诸如硬件基础等差异，由它们采集的图像往往也具有显著差异，本技术方案的实施为新的硬件平台的发明提供了便利性，在算法的结构上无需重大调整，极大增强了算法的普适性。其次，该技术方案为解决证照上无规则分布的荧光纤维和红外光下多种特征图案的检测提供了一种技术方案，潜力巨大，有望被其他行业采用，从而获取持续收益。池外，技术方案的专利保护将进一步确保竞争又是和市场份额，为企业带来长期的商业价值和竞争优势。综上所述，该技术方案的转化预期收益和商用价值较高，有望成为机场、边检口岸证照采集系统的重要技术和商业标准。

69、（4）本发明的技术方案填补了国内外业内技术空白：

70、长期以来，证照通用防伪特征的预筛选一直是一个没有得到有效解决的问题，本发明提出的基于差值图像的预筛选算法，可以有效筛选出具备通用防伪特征的护照，对于提升整个鉴伪系统的效率具有重大意义。对于一个证照鉴伪系统来说，针对跨设备场景下采集到的多光谱图像的鉴伪工作，目前绝大部分的系统采用的是针对不同设备对算法的参数甚至框架进行调整。例如对于大型的文检设备在采集图像时，由于设备的紫外灯光线较强，采集的证照紫外图像对比度就会更高，同时在色彩、亮度以及其它方面也有一定的差异。本技术方案提供的方法基于深度统计模型对设备的参数进行补偿，从而有效解决了跨设备场景下证照识别困难、鉴伪不准等问题。有效填补了国内外业内技术空白。此外，本发明在荧光纤维检测、红外区域特征检测上也取得了重要突破。在此之前，荧光纤维检测主要使用传统方法检测，面对无规则分布且有着许多干扰图案，传统方法存在着检测效率不高、准确率底下的问题，本发明采用了深度学习的方式，并且采用了多光谱图像数据融合的方法，将紫外图像和可见光图像融合，提升了荧光线条的对比度。同样对于红外区域的检测，针对护照红外图像上丰富的防伪特征图案，传统的技术方案的鲁棒性较差，面对复杂的防伪特征往往表现出鉴伪失败的情况。本发明设计的多模态差分网络，高度结合了传统图像处理和深度学习的方法，采用多层网络结构，能够有效处理护照红外图像复杂的防伪区域纹理特征，为证照红外图像鉴伪的发展带来了新的技术解决方案和目标。

71、附图/表说明

72、图1是本发明实施例提供的基于多光谱图像的多国证照鉴伪方法流程图；

73、图2是本发明实施例提供的基于多光谱图像的多国证照鉴伪系统结构图；

74、图3是本发明实施例提供的中国公民护照多光谱图像示意图；

75、图4是本发明实施例提供的中国公民护照经过基于通用防伪特征的预筛选模块后生成的红外图（左）和紫外图（右）；

76、图5是本发明实施例提供的基于通用防伪特征的预筛选模块结构图；

77、图6是本发明实施例提供的设备特性模型补偿示意图；

78、图7是本发明实施例提供的证照紫外防伪特征提取网络结构图；

79、图8是本发明实施例提供的证照紫外荧光纤维分布示意图；

80、图9是本发明实施例提供的证照紫外荧光纤维检测网络结构图；

81、图10是本发明实施例提供的荧光纤维检测的输入图像、融合增强图像以及检测结果图；

82、图11是本发明实施例提供的本发明实施例证照多模态差分特征增强网络结构图。