一种多视角三维指纹粗配准方法

1.本发明涉及点云配准技术领域，特别涉及一种多视角三维指纹粗配准方法。


背景技术：

2.生物识别技术在近几年得到了飞速的发展，相比于传统的身份认证方式，基于生物特征的身份认证方式安全性更高且更加便捷。近几年出现了包括掌纹识别、手型识别、指纹识别、虹膜识别、人脸识别、签名识别、静脉识别等生物识别技术并得到了广泛的应用。其中，指纹识别技术的应用最为广泛也最易被人们所接受，与其他生物特征相比，指纹包含普遍性、唯一性、永久性、可采集性、可行性、可靠性等优点。
3.近年来，在计算机视觉领域，光学三维测量技术取得了长足的进步，将其应用在三维手指测量上可以解决传统二维采集方式存在的指纹按压形变和信息丢失等缺陷问题。基于结构光的投影测量法通过结构光源辅助重建来采集手指表面三维信息，将经过编码的光线投射到手指上使结构光发生形变，再计算出这些形变所隐含的手指指纹的三维信息，测量系统结构相对简单、成本低、便于维护。受限于三维测量系统本身的视野范围、扫描范围和遮挡等问题，对手指的测量过程往往需要从多个视角进行，三维指纹配准将不同视角的三维指纹数据变换到统一的坐标系下，实现三维数据的对齐，从而获得更加完整的手指指纹的三维模型。
4.三维指纹配准包括粗配准和精配准：粗配准是在完全不知道两组三维指纹数据的任何初始相对位置的情况下，快速估算一个大致的点云配准矩阵的配准方法。精配准是利用粗配准得到的初始变换矩阵，通过如迭代最近点算法(icp算法)计算得到一个较为精确解的配准方法。现有指纹粗配准方法通过对指纹点云数据进行三维映射，将三维指纹映射到二维坐标系，再进行特征点匹配，但映射过程会引入误差，造成映射错误或者失真，导致粗配准精度低下甚至配准失败。


技术实现要素：

5.为了克服现有指纹粗配准技术的上述不足，本发明提供一种具有强鲁棒性、高效和高精度的多视角三维指纹粗配准方法，解决了三维指纹数据不完整等问题。
6.为了实现上述目的，本发明采用的技术方案为：
7.一种多视角三维指纹配准方法，包括如下步骤：
8.1)读取两组不同视角的三维指纹数据，分别作为源指纹和目标指纹。每组数据包含一帧点云数据和对应同步拍摄的二维指纹图像。对两幅二维指纹图像进行预处理。
9.2)对两幅预处理后的指纹图像提取特征点，并进行特征描述。
10.3)对两组特征点信息进行模糊匹配，获得初始模糊匹配对。
11.4)使用不同特征点对之间的几何位置关系对模糊匹配对进行双重匹配验证，滤除错误的匹配点对。
12.5)根据匹配的二维特征点对找到对应的源三维指纹点云数据和目标三维指纹点
云数据的三维点云特征点对，进行粗配准，得到初始变换矩阵。
13.进一步，所述步骤1)中预处理包括如下步骤：
14.(11)读取两幅二维指纹图像，并增强得到脊谷分明的二值化指纹图和对应的指纹前景掩模图；
15.(12)由于拍摄的影响，增强得到的指纹图像边缘区域质量较差，因此通过腐蚀操作腐蚀前景掩模图像边缘区域，最后使用掩模图像过滤增强指纹边缘区域；
16.(13)计算两幅二值化指纹图的方向图，并细化得到源指纹细化图和目标指纹细化图；
17.再进一步，所述步骤2)包括如下步骤：
18.(21)对源指纹细化图和目标指纹细化图提取端点、分叉点、核心点作为特征点，得到特征点的二维坐标，根据指纹图像的方向图和特征点二维坐标计算特征点的方向场，得到的初始特征点信息为(x,y,t,θ)，(x,y)为特征点的坐标，t为特征点类型，包括端点、分叉点、核心点，θ为特征点的方向；
19.(22)源二维指纹m提取到的特征点集合为fm＝{f
m1
,f
m2
,
…
,f
mm
},目标二维指纹n提取到的特征点集合为fn＝{f
n1
,f
n2
,
…
,f
nn
}；
20.(23)针对特征点集合fm和fn中除核心点之外的每一个细节点，计算该细节点到特征集合中核心点之间跨越的脊线数，具体计算步骤如下：
21.(231)核心点c坐标为(xc,yc)，特征点p坐标为(x
p
,y
p
),，根据以下方程组计算经过点c和点p直线的斜率k和截距b：
[0022][0023]
(232)分别计算核心点c与特征点p的水平距离d
x
和垂直距离dy，当d
x
》dy时，记录核心点c和特征点p所在直线经过像素点的x值，根据斜率k和截距b计算对应的y值；反之记录经过像素点的y值，根据斜率k和截距b计算对应的x值，最终确定核心点c到特征点p所在直线经过的像素点集；
[0024]
(233)结合二维指纹图像信息，记录像素点集中每个像素点的灰度值，图像中位于脊线上的像素点灰度值为1，位于谷线上的像素点灰度值为0，遍历每一个像素点，如果该像素点的灰度值为1且下一个像素点的灰度值为0，则认为该点为脊线到谷线的突变点，为了增加计算脊线数的准确性，设定脊线之间宽度的阈值为4，如果该突变点满足与上一个突变点之间的距离大于脊线之间宽度的阈值，则跨越的脊线数加一；
[0025]
(234)将计算得到的跨越脊线数记录在特征点信息中，特征点信息扩增为(x,y,t,θ,n),n代表细节点到核心点之间跨越脊线数；
[0026]
(24)针对特征点集合fm和fn中除核心点之外的每一个细节点，分别计算细节点与其所在块的八邻域块的方向差，将细节点方向指向的邻域块作为起始块，按顺时针方向依次计算每个邻域块与细节点所在块的方向差，最终得到八个方向差θ
1-θ8，并记录到特征点信息中，特征点信息扩增为(x,y,t,θ,n,θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8)。
[0027]
再进一步，所述步骤3)包括如下步骤：
[0028]
(31)对于特征点集合fm中除核心点外的每一个细节点
遍历特征点集合fn中的细节点fn,寻找与该细节点匹配的特征点，匹配过程如下：
[0029]
(311)计算fm、fn与相应核心点跨越脊线数之差s1，计算公式如下：
[0030][0031]
(312)计算fm、fn八邻域块的方向差的欧氏距离s2，计算公式如下：
[0032][0033]
(313)根据经验值设置脊线数之差的阈值threshold_ridge为2，方向差的欧氏距离的阈值threshold_ori为0.3，针对源指纹图像中的特征点fm,从fn中选出所有能满足s1《threshold_ridge的特征点，组成集合m1，计算m1中与fm的欧氏距离s2最小的特征点，如果此时满足s2《threshold_ori,则认为该特征点与fm匹配，在匹配集合matched中保存记录匹配上的两个特征点fm、fn的坐标以及对应的s1、s2；
[0034]
(32)源指纹核心点和目标指纹核心点默认是互相匹配的特征点，因此在集合matched加上两个指纹核心点的信息，得到初始的特征点集合fm和fn中匹配的特征点对集合:
[0035]
matched＝{m1,m2,m3…
mi}
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0036]
其中：
[0037][0038]
(33)对特征点对进行初步筛选，针对集合matched中的每一个匹配点对，查找整个集合中是否存在相同坐标的匹配点对；如果存在，则证明fn中存在特征点与fm中的多个特征点相匹配，将重复匹配的所有匹配点对中方向差的欧氏距离s
i2
最小的三个匹配点对作为初步正确匹配的模糊匹配点对，其余特征点对删除，筛选后的匹配效果如图7所示。
[0039]
(34)综上，得到源二维指纹和目标二维指纹初始的模糊匹配点对集合matched。
[0040]
再进一步，所述步骤4)包括如下步骤：
[0041]
(41)利用初始匹配点对之间的相互位置关系进行进一步的匹配验证。对每对特征点定义一个得分，并初始化为0；
[0042]
(42)特征点对和(p≠q)是两对匹配特征点对，对该匹配点对进行第一重验证，计算和之间的距离记为d1，和之间的距离记为d2；计算特征点的方向和点与连线的夹角记为特征点的方向和点与连线的夹角记为计算特征点的方向和点与连线的夹角记为特征点的方向和点与连线的夹角记为
[0043]
(43)设置阈值td,t
α
,当满足距离差和角度差都低于阈值td,t
α
时，即
[0044]
|d
1-d2|≤td，
[0045]
则两对特征点对通过第一重验证，各自加一分，否则不加分；
[0046]
(44)当两对特征点对通过第一次验证各加一分后，遍历剩余匹配对中的每一组点对，将点对作为第三对匹配点对(r≠p≠q)加入，与前两组匹配点对形成三角几何关系，进行第二重验证，计算与之间的夹角记为之间的夹角记为与之间的夹角记为分别计算与之间的距离记为之间的距离记为与之间的距离记为
[0047]
(45)设置阈值t
dr
,t
αr
，当距离和角度满足以下条件时，即
[0048][0049]
则三对特征点通过第二重验证，各自加一分，否则不加分。
[0050]
(46)针对所有特征点对执行完以上操作后，挑选出分数为前三的特征点对保留下来，作为正确匹配的特征点对，删除其余错误匹配的特征点对，得到最终的matched集合。
[0051]
再进一步，所述步骤5)包括如下步骤：
[0052]
(51)根据集合matched中匹配的二维点对坐标，在对应的三维指纹上得到匹配的三维点对；
[0053]
(52)根据三维匹配点对，计算刚体变换参数r0、t0，其中r0为3
×
3的旋转矩阵，t0＝[t
x
,ty,tz]
t
为平移向量,r0、t0为两个三维指纹粗配准的初始变换关系，完成源三维指纹和目标三维指纹的粗配准。
[0054]
本发明的工作原理是：结合指纹点云数据对应的图像信息，提取二维特征点，通过构造特征点描述符对二维特征点进行双重匹配验证，得到匹配点对，根据二维匹配点对对应的三维点云特征点对计算三维指纹的初始变换矩阵，完成三维指纹的粗配准。
[0055]
本发明的优点是：指纹图像与点云数据同时同步采集，能够高精度实现指纹粗配准；根据指纹核心点和脊谷线信息构造描述符，同时进行双重匹配验证，具有强鲁棒性；使用指纹图像与点云信息相结合的方式进行粗配准，计算效率高。
附图说明
[0056]
图1是本发明中三维指纹粗配准步骤流程图。
[0057]
图2a～图2b是本发明中一个实施例提供的二维图像增强前后对比图，其中图2a是二维指纹增强前图，图2b是二维指纹增强后二值化图。
[0058]
图3是本发明中一个实施例目标指纹图像特征点提取结果。
[0059]
图4是本发明中一个实施例源指纹图像特征点提取结果。
[0060]
图5是本发明中一个实施例的特征点描述示意图。
[0061]
图6是本发明中一个实施例提供的对源图像和目标图像特征点匹配后的效果图。
[0062]
图7是本发明中一个实施例对匹配特征点对进行模糊匹配后的效果图。
[0063]
图8是双重匹配验证的几何位置关系示意图。
[0064]
图9是本发明中一个实施例对匹配特征点对进行匹配验证，删除错误匹配点对后的效果图。
[0065]
图10是本发明中一个实施例提供的源点云和目标点云配准前后的效果图，其中图10a是配准前的效果图，图10b是配准后的效果图。
具体实施方式
[0066]
下面结合附图和实施方式对本发明作进一步说明：
[0067]
参照图1，多视角三维指纹粗配准方法，包括如下步骤：
[0068]
1)读取两组不同视角的三维指纹数据，分别作为源指纹和目标指纹。每组数据包含一帧点云数据和对应同步拍摄的二维指纹图像。对两幅二维指纹图像进行预处理，处理步骤如下：
[0069]
(11)读取两幅二维指纹图像，并增强得到脊谷分明的二值化指纹图和对应的指纹前景掩模图；
[0070]
(12)由于拍摄的影响，增强得到的指纹图像边缘区域质量较差，因此通过腐蚀操作腐蚀前景掩模图像边缘区域，最后使用掩模图像过滤增强指纹边缘区域；增强前后图像如图2a和图2b所示。
[0071]
(13)计算两幅二维指纹增强图像的方向图，并细化得到源指纹细化图和目标指纹细化图；
[0072]
2)对步骤1)生成的增强后的指纹图像进行特征点提取，并进行特征描述，包括如下步骤：
[0073]
(21)对源指纹细化图和目标指纹细化图提取端点、分叉点、核心点作为特征点，得到特征点的二维坐标，根据指纹图像的方向图和特征点二维坐标计算特征点的方向场，得到的初始特征点信息为(x,y,t,θ),(x,y)为特征点的坐标，t为特征点类型，包括端点、分叉点、核心点，θ为特征点的方向，目标指纹图像特征点提取结果如图3所示、源指纹图像特征点提取结果图4所示，黄色三角表示核心点，绿色圆表示端点，红色圆表示分叉点；
[0074]
(22)假设源二维指纹m提取到的特征点集合为fm＝{f
m1
,f
m2
,
…
,f
mm
},目标二维指纹n提取到的特征点集合为fn＝{f
n1
,f
n2
,
…
,f
nn
}；
[0075]
(23)针对特征点集合fm和fn中除核心点之外的每一个细节点，计算该细节点到特征集合中核心点之间跨越的脊线数，如图5所示，红色三角形表示核心点位置，绿色圆表示细节点位置，具体计算步骤如下：
[0076]
(231)核心点c坐标为(xc,yc)，特征点p坐标为(x
p
,y
p
),，根据以下方程组计算经过点c和点p直线的斜率k和截距b：
[0077][0078]
(232)分别计算核心点c与特征点p的水平距离d
x
和垂直距离dy，当d
x
》dy时，记录核心点c和特征点p所在直线经过像素点的x值，根据斜率k和截距b计算对应的y值；反之记录经过像素点的y值，根据斜率k和截距b计算对应的x值，最终确定核心点c到特征点p所在直线经过的像素点集；
[0079]
(233)结合二维指纹图像信息，记录像素点集中每个像素点的灰度值，图像中位于脊线上的像素点灰度值为1，位于谷线上的像素点灰度值为0；遍历每一个像素点，如果该像素点的灰度值为1且下一个像素点的灰度值为0，则认为该点为脊线到谷线的突变点，为了
增加计算脊线数的准确性，设定脊线之间宽度的阈值为4，如果该突变点满足与上一个突变点之间的距离大于脊线之间宽度的阈值，则跨越的脊线数加一；
[0080]
(234)将计算得到的跨越脊线数记录在特征点信息中，特征点信息扩增为(x,y,t,θ,n),n代表细节点到核心点之间跨越脊线数，如图5中红色圆点表示跨越的脊线数；
[0081]
(24)针对特征点集合fm和fn中除核心点之外的每一个细节点，分别计算细节点与其所在块的八邻域块的方向差，将细节点方向指向的邻域块作为起始块，按顺时针方向依次计算每个邻域块与细节点所在块的方向差，最终得到八个方向差θ
1-θ8，记录到特征点信息中，特征点信息扩增为(x,y,t,θ,n,θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8)；
[0082]
3)根据步骤2)得到的两幅指纹的特征点信息进行特征点粗匹配，获得初始模糊匹配点对，匹配过程包括如下步骤：
[0083]
(31)对于特征点集合fm中除核心点外的每一个细节点中除核心点外的每一个细节点遍历特征点集合fn中的细节点fn,寻找与该细节点匹配的特征点，匹配过程如下：
[0084]
(311)计算fm、fn与相应核心点跨越脊线数之差s1，计算公式如下：
[0085][0086]
(312)计算fm、fn八邻域块的方向差的欧氏距离s2，计算公式如下：
[0087][0088]
(313)根据经验值设置脊线数之差的阈值threshold_ridge为2，方向差的欧氏距离的阈值threshold_ori为0.3，针对源指纹图像中的特征点fm,从fn中选出所有能满足s1《threshold_ridge的特征点，组成集合m1，计算m1中与fm的欧氏距离s2最小的特征点，如果此时满足s2《threshold_ori,则认为该特征点与fm匹配，在匹配集合matched中保存记录匹配上的两个特征点fm、fn的坐标以及对应的s1、s2；
[0089]
(32)源指纹核心点和目标指纹核心点默认是互相匹配的特征点，因此在集合matched加上两个指纹核心点的信息，得到初始的特征点集合fm和fn中匹配的特征点对集合:
[0090]
matched＝{m1,m2,m3…
mi}
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0091]
其中：
[0092][0093]
在实例中，匹配效果如图6所示。
[0094]
(33)对特征点对进行初步筛选，针对集合matched中的每一个匹配点对，查找整个集合中是否存在相同坐标的匹配点对；如果存在，则证明fn中存在特征点与fm中的多个特征点相匹配，将重复匹配的所有匹配点对中方向差的欧氏距离s
i2
最小的三个匹配点对作为初步正确匹配的模糊匹配点对，其余特征点对删除，筛选后的匹配效果如图7所示。
[0095]
(34)综上，得到源二维指纹和目标二维指纹初始的模糊匹配点对集合matched。
[0096]
4)根据步骤3)得到的初始模糊匹配点对，再使用特征点对与特征点对之间的几何位置关系进行双重匹配验证，滤除错误的匹配点对，包括如下步骤：
[0097]
(41)利用初始匹配点对之间的相互位置关系进行进一步的匹配验证。对每对特征点定义一个得分，并初始化为0；
[0098]
(42)特征点对和(p≠q)是两对匹配特征点对，对该匹配点对进行第一重验证，计算和之间的距离记为d1，和之间的距离记为d2；计算特征点的方向和点与连线的夹角记为特征点的方向和点与连线的夹角记为计算特征点的方向和点与连线的夹角记为特征点的方向和点与连线的夹角记为如图8中黑色部分所示；
[0099]
(43)设置阈值td,t
α
,当满足距离差和角度差都低于阈值td,t
α
时，即
[0100]
|d
1-d2|≤td，
[0101]
则两对特征点对通过第一重验证，各自加一分，否则不加分；
[0102]
(44)当两对特征点对通过第一次验证各加一分后，遍历剩余匹配点对中的每一组点对，将点对作为第三对匹配点对(r≠p≠q)加入，与前两组匹配点对形成三角几何关系，进行第二重验证，计算与之间的夹角记为与之间的夹角记为分别计算与之间的距离记为与之间的距离记为如图8中黄色部分所示；(45)设置阈值t
dr
,t
αr
，当距离和角度满足以下条件时，即
[0103][0104]
则三对特征点通过第二重验证，各自加一分，否则不加分。
[0105]
(46)针对所有特征点对执行完以上操作后，挑选出分数为前三的特征点对保留下来，作为正确匹配的特征点对，删除其余错误匹配的特征点对，得到最终的matched集合，双重匹配验证后的匹配效果如图9所示。
[0106]
5)根据步骤4)得到的二维匹配特征点对找到对应的三维匹配特征点对，进行粗配准，包括如下步骤：
[0107]
(51)根据集合matched中匹配的二维点对坐标，在对应的三维指纹上得到匹配的三维点对；
[0108]
(52)根据三维匹配点对，计算刚体变换参数r0、t0，其中r0为3
×
3的旋转矩阵，t0＝[t
x
,ty,tz]
t
为平移向量,r0、t0为两个三维指纹粗配准的初始变换关系，完成源三维指纹和目标三维指纹的粗配准，实例配准效果如图10a和图10b所示。
[0109]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。