生成手掌/手指前景掩模的方法与流程

•ꢀ
m. piccardi,
ꢀ“
background subtraction techniques: a review”2004 ieee international conference on systems, man and cybernetics
•ꢀ
z. zivkovic,
ꢀ“
improved adaptive gaussian mixture model for background subtraction,
”ꢀ
proceedings of the 17th international conference on pattern recognition, 2004
•ꢀ
sobral, andrews & vacavant, antoine.
ꢀ“
a comprehensive review of background subtraction algorithms evaluated with synthetic and real videos”. computer vision and image understanding, 2014
•ꢀ
s. liao, g. zhao, v. kellokumpu, m. pietik
ä
inen和s. z. li,
ꢀ“
modeling pixel process with scale invariant local patterns for background subtraction in complex scenes,
”ꢀ
2010 ieee computer society conference on computer vision and pattern recognition, san francisco, ca, 2010
•ꢀ
w. kim和c. kim,
ꢀ“
background subtraction for dynamic texture scenes using fuzzy color histograms,”在ieee signal processing letters, vol. 19, no. 3, pp. 127-130中, 2012年3月.
•ꢀ
dar-shyang lee,
ꢀ“
effective gaussian mixture learning for video background subtraction,”在 ieee transactions on pattern analysis and machine intelligence, vol. 27, no. 5, pp. 827-832中, 2005年5月.
•ꢀ
j. yao和j. odobez,
ꢀ“
multi-layer background subtraction based on color and texture,
”ꢀ
2007 ieee conference on computer vision and pattern recognition, minneapolis, mn, 2007
•ꢀ
k. shafique, o. javed和m. shah,
ꢀ“
a hierarchical approach to robust background subtraction using color and gradient information,”motion and video computing, ieee workshop on (motion), orlando, florida, 2002.然而，在非接触式指纹标识系统中，这两种方法对于捕获用于统计建模的图像序列而变得具有挑战性，并且背景场景也可能因时间而变化。因此，存在对于一种关于非接触式指纹标识系统的新方法的需要。
8.因此，另外的替代和有利的解决方案在本领域中将是合期望的。


技术实现要素：

9.本发明旨在提出一种用于非接触式指纹标识系统的特定领域中的背景减除的新方法。
10.本发明在其最广泛的意义上被定义为一种生成手掌/手指前景掩模以用于对使用至少具有闪光灯的非接触式指纹读取器获取的图像上的指纹进行后续图像处理的方法，所述方法包括以下步骤：
‑ꢀ
采集读取器附近非接触式位置中的手掌/手指的两个图像，一个图像在闪光灯开启的情况下取得，并且一个图像在不用闪光灯的情况下取得，
‑ꢀ
计算用闪光灯的情况下获取的图像与不用闪光灯的情况下获取的图像之间的差异图，
‑ꢀ
计算图像的每个像素的自适应二值化阈值，每个像素的阈值是差异图中的对应值，对其减去该对应值乘以使用用闪光灯的情况下获取的非反射空白目标的图像在闪光灯补偿因子图中确定的对应闪光灯补偿因子值，并且对其加上该对应值乘以在使用不用闪光灯的情况下获取的图像在背景增强因子图中确定的对应背景增强因子值，通过将第一值归因于其中自适应二值化阈值高于差异图中对应值的像素，并将第二值归因于其中自适应二值化阈值低于差异图中对应值的像素，来对差异图进行二值化，二值化图像是手掌/手指前景掩模。
11.在本发明的帮助下，可以通过自适应地计算不同区之间的差异来标识和提取有效前景，即手掌/手指区。然后，提取的干净前景由前景掩模表示，所述前景掩模可以用于非接触式指纹标识系统中的高级指纹处理任务。
12.本发明是组合了非接触式指纹标识系统的硬件和软件能力两者的独特且高效的解决方案。它仅需要两个图像和最少的硬件设置来解决问题。在硬件方面，它接收同一主体的两个图像，一个是在闪光灯开启的情况下，另一个是在闪光灯关闭的情况下，然后装置能够传输、处理和保存捕获的图像。在软件方面，所提出的算法能够基于两个捕获的图像自适应地计算前景与背景区域之间的差异，然后为手掌/手指生成准确的前景掩模。
13.在功能性方面，本发明处理各种情景，利用所述各种情景，非接触式指纹标识系统能够在不同的位置中更稳健地工作。在性能方面，本发明不仅准确标识前景手掌/手指区域，而且还提升传统背景建模技术的速度，这大幅改进了非接触式指纹标识系统的性能。在成本方面，本发明减轻了需要更复杂的视窗和覆盖来去除杂乱的背景场景和噪声的产品设计的负担。在业务需求方面，本发明是客户的核心特征之一。
14.有利地，所述方法进一步包括在二值化图像中的噪声去除的步骤。
15.根据本发明的具体特征，对于每个像素，闪光灯补偿因子通过像素的标准照明值除以如在非反射空白目标的图像中获得的像素的参考照明值来定义，该图像是参考图像。
16.根据本发明的另一具体特征，对于每个像素，背景增强因子通过在闪光灯关闭的情况下的图像中的背景亮度除以针对不同主体在闪光灯开启的情况下手掌/手指的亮度平均值来定义。
17.本发明还涉及一种非接触式获取指纹图像处理器，其至少连接到非接触式指纹读取器，所述非接触式指纹读取器至少具有闪光灯并且适于在用或不用闪光灯的情况下获取读取器附近非接触式位置中的手掌/手指的图像以用于采集用户的指纹，所述处理器适于生成手掌/手指前景掩模以用于指纹的后续图像处理，所述处理器在接收到在读取器附近的非接触式位置中手掌/手指的两个图像——一个图像在闪光灯开启的情况下取得并且一个图像在不用闪光灯的情况下取得——时，适于计算在用闪光灯的情况下获取的图像与在不用闪光灯的情况下获取的图像之间的差异图，以计算图像的每个像素的自适应二值化阈值，每个像素的阈值是差异图中的对应值，对其减去该对应值乘以使用用闪光灯的情况下获取的非反射空白目标的图像在闪光灯补偿因子图中确定的对应闪光灯补偿因子值，并且对其加上该对应值乘以在使用不用闪光灯的情况下获取的图像在背景增强因子图中确定的对应背景增强因子值，所述处理器进一步适于通过将第一值归因于其中自适应二值化阈值高于差异图中对应值的像素，并将第二值归因于其中自适应二值化阈值低于差异图中对应值的像素，来对差异图进行二值化，所得二值化图像是手掌/手指前景掩模，其将用于使
用非接触式指纹读取器获取的图像上的指纹的后续图像处理。
18.有利地，处理器进一步适于从二值化图像去除噪声。
19.其还有利地适于将针对每个像素的闪光灯补偿因子定义为像素的标准照明值除以如在非反射空白目标的图像中获得的像素的参考照明值，该图像是参考图像。
20.所述处理器还进一步有利地适于将针对每个像素的背景增强因子定义为在闪光灯关闭的情况下的图像中的背景亮度除以针对不同主体在闪光灯开启的情况下手掌/手指的亮度平均值。
21.为了实现前述和相关目的，一个或多个实施例包括在下文充分描述并在权利要求中特别指出的特征。
附图说明
22.以下描述和附图详细阐述了某些说明性方面，并且仅指示了可以以之采用实施例原理的各种方式中的几种。当结合附图考虑时，其他优点和新奇特征将根据以下详细描述而变得清楚，并且所公开的实施例旨在包括所有这样的方面及其等同物。
·
图1是其中实现本发明的环境的示意图；
·
图2示出了用于本发明的非接触式指纹图像的背景减除方法的流程图；
·
图3示出了闪光开启/关闭图像差异图计算；
·
图4示出了闪光灯增强因子图计算的流程图；
·
图5示出了背光增强因子图计算的流程图；
·
图6图示了本发明的差异图的自适应阈值化（thresholding）；和
·
图7示出了噪声去除和最终手掌/手指掩模生成。
具体实施方式
23.为了本发明的更完整理解，现在将参考附图详细描述本发明。详细描述将说明和描述被认为是本发明的优选实施例的内容。当然应当理解，在不脱离本发明的精神的情况下，可以容易地在形式或细节上进行各种修改和改变。因此，旨在本发明可以不限于本文所示和所述的确切形式和细节，也不限于比本文公开的和如下文要求保护的发明整体少的任何内容。相同的元件在不同的附图中用相同的附图标记指定。为了清楚，附图中仅示出了对理解本发明有用的那些元件和步骤，并将对其进行描述。
24.图1是所发明装置1的示意图。它包括3个主要组件：两个图像i/o功能11和14，图像处理器12和图像存储器13。所发明装置1连接到至少一个非接触式指纹读取器10以接收指纹的捕获。
25.因此，根据本发明，图像i/o功能11从非接触式指纹读取器10接收原始非接触式手掌/手指图像，其包括闪光和非闪光手掌/手指图像两者。那些图像在图3上示出。
26.图像i/o功能11然后将图像传输到图像处理器12和图像存储器13。当适用时，它还可以将经处理的图像输出到非接触式指纹标识系统的其他组件。
27.图像处理器12在处理接收到的图像的同时实现本发明。在本发明方法的结束处，生成准确的前景手掌/手指掩模。
28.包括rom和ram存储器的图像存储器存储装置13能够保存捕获的或经处理的图像。
29.图2示出了用于本发明的非接触式指纹图像的背景减除方法的流程图。首先，在步骤s0中，从非接触式指纹扫描仪10接收同一主体的两个手掌/手指图像，一个是在闪光灯开启的情况下捕获的，另一个是在闪光灯关闭的情况下捕获的。
30.第二，在步骤s1中计算两个图像之间的差异并生成差异图。第三，由于不均匀的闪光灯和背景噪声，在步骤s2中使用自适应阈值化对差异图进行自适应二值化。因此生成初始前景掩模。第四，在步骤s3中，形态学操作被应用于初始前景图，以便去除随机噪声和结构噪声。最后，在步骤s4中生成最终准确的手掌/手指掩模。
31.图3是图示了如何利用闪光开启/关闭图像差异图计算来生成图像的初始前景图的示例。以小于10ms的间隔持续捕获从非接触式指纹扫描仪11接收的两个图像，一个是闪光开启情况下的if并且另一个是闪光关闭情况下的inf。这因此假设两个图像if与inf之间没有手掌/手指移动。两个图像if与inf之间的差异将是噪声和闪光灯可以照亮的部分。
32.因为背景场景通常超出闪光灯的范围，所以被照亮的主体包括手掌/手指和扫描仪本身的一些部分。基于照亮的手掌/手指的特殊图案，可以通过计算两个图像if与inf之间的差异来生成初始前景图，即手掌/手指。如图3上所示，获得差异图dm。
33.根据本发明，通过根据以下等式计算闪光图像与非闪光图像之间的每个像素的灰度差异来生成前景图：，其中if(x,y)是闪光图像在位置 (x,y)处的像素值，并且inf(x,y)是非闪光图像在同一位置处的像素值，并且id(x,y)是两个图像if与inf之间的绝对差异。
34.图4是闪光灯增强因子图计算的流程图，其图示了如何补偿闪光手掌/手指图像if中不均匀分布的闪光灯。由于硬件限制，手掌/手指图像中的闪光灯不均匀分布，图像中心接收最强的闪光灯，并且闪光灯的强度沿着从图像中心到图像边界的方向减小。然而，手掌/手指的物理形状和位置要求图像中的所有区域被均匀照明，尤其是沿着手指更有可能位于的图像if的边界。
35.本发明提出了通过计算补偿因子来补偿不均匀的闪光灯。特殊的非反射目标用于覆盖非接触式采集设备10的视场。
36.然后，在步骤c1中，在闪光灯开启的情况下取得该非反射目标的图像，作为闪光灯分布的参考图像ir。然后，在步骤c2中平滑所获得的图像，以在步骤c3中获得像素值图。然后，闪光灯补偿或增强因子图fcm——实际上也是像素值图——在步骤c4中被定义为：，其中是位置(x,y)处的图像像素的闪光灯补偿因子，is(x,y)是像素(x,y)的标准照明值，其等于没有渐晕效应的图像中心区域中的平均亮度水平，并且ir (x,y)是同一位置处的参考像素值。然后，闪光灯补偿因子图fcm被保存在图像存储器13中，并且当需要校正新的差异图id时被检索。
37.图5是背光增强因子图计算的流程图，其图示了如何获得背景增强因子图bcm。如上面提及的，如果使用传统的二值化方法，因此动态和强背景场景/噪声（例如，强背景光）的存在在图像中可能是显著的，并且破坏前景手掌/手指。根据本发明，执行二值化以自适应地增加/减少用于二值化的阈值，以适应捕获图像中的亮度。
38.为了确定背景增强因子图bcm，在制造之前在闪光开启的情况下跨不同主体而取得多个样本图像，然后基于收集的样本图像评估手掌/手指的亮度。来自多个主体的手掌/手
指的亮度的平均强度被标示为bf，其被生成并保存在用于所有设备的软件开发工具包（sdk）中。在设备的正常操作——即设备安装在现场以捕获指纹——期间，对于每次捕获，在第一步骤bc1处在闪光灯关闭的情况下取得图像。该图像在步骤bc2中被阈值化。亮度的平均强度标示为bnf(x,y)。背景增强因子bcm在步骤bc3中被公式化为：。因此，针对将捕获指纹的安装设备获得背景增强因子图bcm。
39.图6示出了用于差异图的自适应阈值化以及较早前获得的差异图dm如何被转换成初始前景掩模ifm。三个输入用于该转换。第一个是初始差异图dm，其示出闪光开启和闪光关闭图像的本质差异图。第二个是闪光灯补偿图fcm，其补偿闪光灯并消除由沿着图像边界的闪光灯强度降级所引入的不准确性。最后一个是背景增强因子图bcm，其校正图像中存在的强背景。
40.然后，根据本发明，自适应二值化阈值t被公式化为。
41.初始差异图id然后被二值化为初始前景掩模ifm，如下：其中m(x,y)是如图6中所示包含手掌/手指和噪声两者的初始前景掩模ifm在位置(x,y)处的像素值。一旦生成了初始前景图，就存在标识和去除图像中存在的噪声——包括随机噪声和结构噪声——的需要。因此，存在去除噪声以生成最终的前景掩模ffm的需要。在本发明中，应用形态学操作来去除结构和随机噪声。
42.在实验中，发明人发现结构噪声存在于设备外壳的至少一部分被捕获的图像中。背景噪声也可能引起某种附加的随机噪声。这可以在初始前景掩模ifm上看到，如在图6的右侧图片上所示。
43.所以，形态学操作用于去除所有类型的噪声。首先，对图像应用开启操作，这从图像去除小对象和随机噪声，例如图像中的设备体；然后对图像应用关闭操作，这去除前景中的小孔，并平滑手掌/手指的边缘。
44.图7示出了噪声去除和最终手掌/手指掩模生成作为在噪声去除之前与之后的比较，结果是手掌/手指的最终前景掩模ffm。一旦获得最终的手掌/手指前景掩模ffm，它就被保存在图像存储器13中。使如此获得的最终前景掩模ffm作为到用于高级非接触式指纹处理任务的非接触式指纹标识系统中其他模块的输入。
45.在以上详细描述中，参考了附图，附图通过图示的方式示出了可以以之实践本发明的具体实施例。这些实施例被足够详细地描述，以使得本领域技术人员能够实践本发明。因此，上述详细描述不应以限制性意义考虑，并且本发明的范围仅由适当解释的所附权利要求来限定。