深度学习与分水岭算法结合的虹膜图像分割方法及系统与流程

1.本发明属于虹膜分割技术领域，特别涉及一种深度学习与分水岭算法结合的虹膜图像分割方法及系统。


背景技术：

2.虹膜识别作为一种生物特征识别技术，是公认的最精确有效的生物特征识别方法。目前已存在的虹膜分割方法大都只关注虹膜的大致区域，但是对虹膜内外圆的边界进行定位的较少，且这些模型要么运行速度慢，要么结果不大理想。


技术实现要素：

3.针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种深度学习与分水岭算法结合的虹膜图像分割方法及系统。
4.为了实现上述目的，
5.第一方面，本发明提供了一种深度学习与分水岭算法结合的虹膜图像分割方法，包括以下步骤：
6.步骤1：对虹膜图像数据进行预处理，获得归一化后的图像数据；
7.步骤2：将归一化的图像数据输入到分割模型中，获得得到的特征图；
8.步骤3：对特征图进行距离变换运算，得到显示有虹膜内外圆位置的距离热力图；
9.步骤4：采用分水岭算法在热力图上计算得到虹膜内外圆边界轮廓。
10.其中，所述虹膜图像数据包括红外光环境下的图像数据和有可见光环境下的图像数据。
11.其中，
12.所述分割模型，包括上半部分的浅层网络和下半部的深层网络；
13.所述上半部分浅层网络对原始大小的虹膜图像数据i0进行处理，原始大小的虹膜图像数据i0输入后，经过三个卷积层{c0,c1,c2}之后，得到原始分辨率一半大小的特征图c0，c0与虹膜图像数据i0经过第一个平均池化v0后的特征图v0通过通道数进行拼接，由此输入到第二阶段的第一个卷积块b0中；第二阶段的第一个卷积块b0为下采样卷积块，第二阶段的后两个卷积块{b1,b2}的结构相同，第二阶段的最后一个卷积块b2的输出b2与第一个卷积块b0的输出b0及输入图像进行第二次平均池化操作v1的特征图v1按通道数拼接，输入到第三阶段的六个卷积块中；第三阶段的第一个卷积块b3为下采样卷积块，后续5个卷积块均与第二阶段的卷积块{b1,b2}相同，最终得到的输出按同样的方法将{b3,b8,v2}拼接之后进入一个卷积层c3，该卷积层将特征图的通道数设定成与深层网络的通道数相同，输出结果标记为r0；
14.所述下半部分深层网络的输入是原始分辨率大小的虹膜图像i0经过下采样操作dp0，得到比原分辨率小的虹膜图像i1，将其虹膜图像i1输入进一个简单的卷积层c4，然后再输入到含有不同数量的残差卷积块的阶段，第一阶段rb0有3个残差卷积块{r0～r2}，第二
阶段rb1有4个残差卷积块{r3～r6}，第三阶段rb2有6个残差卷积块{r7～rc}，得到残差卷积块之后的特征图后经过一个上采样p0，采样的大小为浅层网络最后的输出大小，即r0的输出大小，在特征图的大小与浅层网络相同之后，再过两个卷积层{c5,c6}得到与浅层网络的输出相同的通道数，深层网络与浅层网络的输出大小和通道数完全相同，输出结果标记为r1；
15.将深层网络与浅层网络的输出相加即r0与r1相加，得到的输出结果过一个分类层s0，再经过上采样p1之后得到与原始分辨率大小的特征图。
16.其中，
17.所述下采样卷积块包括卷积层j0、分组空洞卷积g0和分组卷积g1、卷积层j1、自适应平均池化层ap0、两个全连接层{f0,f1}；
18.数据输入一个卷积层j0之后，特征图分开输入到分组空洞卷积g0和分组卷积g1中去，然后通过通道维度融合这两组卷积的特征之后，连续过一个卷积层j1，一个自适应平均池化层ap0，两个全连接层{f0,f1}后得到这个下采样卷积块的输出，该卷积块输出的特征图大小是输入特征图大小的一半。
19.其中，
20.第二阶段的卷积块b1和b2包括卷积层j2、分组空洞卷积g2和分组卷积g3、自适应平均池化层ap1、两个全连接层{f2，f3}；数据输入过一个卷积层j2后将特征图分开输入到分组空洞卷积g2与分组卷积g3中，然后通过通道对特征图进行拼接，将拼接后的特征图连续输入进一个自适应平均池化层ap1与两个全连接层{f2,f3}中，最后将全连接层的输出与该卷积块的输入相加，得到该卷积块的输出，该卷积块输出的特征图大小与输入特征图大小一致。
21.其中，
22.所述残差卷积块包括三个卷积层{rs0，rs1，rs2}，输入数据ri过三个卷积层{rs0，rs1，rs2}之后，将输出结果rs2再与输入ri相加得到残差输出ro。
23.其中，
24.所述分割模型在通过对归一化后的虹膜图像数据进行特征提取与学习后，计算得到的特征图与掩膜图之间相应的损失，再传到分割网络更新网络权重；
25.其中，损失函数如下：
[0026][0027]
其中，y表示深度卷积神经网络对输入图像的推理输出，y
t
表示数据集标注的标签；
[0028]
l
ce
通过adam优化器不断迭代优化直到获得最小值，使得分割网络能学习到虹膜内外圆之间的关系。
[0029]
第二方面，与上述方法相对应地，本发明还提供了一种深度学习与分水岭算法结合的虹膜图像分割系统，包括预处理单元、特征图获取单元、距离变换运算单元以及边界轮廓计算单元；
[0030]
所述预处理单元用于对虹膜图像数据进行预处理，获得归一化后的图像数据；
[0031]
所述特征图获取单元用于将归一化的图像数据输入到分割模型中，获得得到的特征图；
[0032]
所述距离变换运算单元用于对特征图进行距离变换运算，得到显示有虹膜内外圆位置的距离热力图；
[0033]
所述边界轮廓计算单元用于采用分水岭算法在热力图上计算得到虹膜内外圆边界轮廓。
[0034]
其中，
[0035]
所述分割模型，包括上半部分的浅层网络和下半部的深层网络；
[0036]
所述上半部分浅层网络对原始大小的虹膜图像数据i0进行处理，原始大小的虹膜图像数据i0输入后，经过三个卷积层{c0，c1，c2}之后，得到原始分辨率一半大小的特征图c0，c0与虹膜图像数据i0经过第一个平均池化v0后的特征图v0通过通道数进行拼接，由此输入到第二阶段的第一个卷积块b0中；第二阶段的第一个卷积块b0为下采样卷积块，第二阶段的后两个卷积块{b1，b2}的结构相同，第二阶段的最后一个卷积块b2的输出b2与第一个卷积块b0的输出b0及输入图像进行第二次平均池化操作v1的特征图v1按通道数拼接，输入到第三阶段的六个卷积块中；第三阶段的第一个卷积块b3为下采样卷积块，后续5个卷积块均与第二阶段的卷积块{b1，b2}相同，最终得到的输出按同样的方法将{b3,b8,v2}拼接之后进入一个卷积层c3，该卷积层将特征图的通道数设定成与深层网络的通道数相同，输出结果标记为r0；
[0037]
所述下半部分深层网络的输入是原始分辨率大小的虹膜图像i0经过下采样操作dp0，得到比原分辨率小的虹膜图像i1，将其虹膜图像i1输入进一个简单的卷积层c4，然后再输入到含有不同数量的残差卷积块的阶段，第一阶段rb0有3个残差卷积块{r0～r2}，第二阶段rb1有4个残差卷积块{r3～r6}，第三阶段rb2有6个残差卷积块{r7～rc}，得到残差卷积块之后的特征图后经过一个上采样p0，采样的大小为浅层网络最后的输出大小，即r0的输出大小，在特征图的大小与浅层网络相同之后，再过两个卷积层{c5,c6}得到与浅层网络的输出相同的通道数，深层网络与浅层网络的输出大小和通道数完全相同，输出结果标记为r1；
[0038]
将深层网络与浅层网络的输出相加即r0与r1相加，得到的输出结果过一个分类层s0，再经过上采样p1之后得到与原始分辨率大小的特征图。
[0039]
其中，
[0040]
所述下采样卷积块包括卷积层j0、分组空洞卷积g0和分组卷积g1、卷积层j1、自适应平均池化层ap0、两个全连接层{f0,f1}；
[0041]
数据输入一个卷积层j0之后，特征图分开输入到分组空洞卷积g0和分组卷积g1中去，然后通过通道维度融合这两组卷积的特征之后，连续过一个卷积层j1，一个自适应平均池化层ap0，两个全连接层{f0,f1}后得到这个下采样卷积块的输出，该卷积块输出的特征图大小是输入特征图大小的一半。
[0042]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0043]
(1)本发明中深层网络与浅层网络的结合能充分学习到虹膜图像在多尺度方向上的空间细节与虹膜内外圆的上下文信息，实现一个具有更高的准确性和泛化能力的虹膜分
割网络；
[0044]
(2)相比于其他的虹膜分割方法，本发明在深度学习与分水岭算法上的结合使得分割除了得到虹膜的大致区域之外也能获得虹膜内外圆的精准定位，提高对虹膜边界的关注度和虹膜区域的分割的准确度；
[0045]
(3)本发明使用的多尺度图像和不同架构的模型融合使得模型具备更好的泛化能力，深度学习模型从多方面提取到虹膜图像的特征进行学习，结合分水岭算法获得虹膜内外圆的上下文位置关系，能更精准地分割出虹膜内圆和外圆的边界。
附图说明
[0046]
图1是本发明实施例提供的一种轻量级虹膜图像分割方法流程图；
[0047]
图2是本发明实施例提供的轻量级分割模型的结构示意图；
[0048]
图3是本发明实施例提供的下采样卷积块的结构示意图；
[0049]
图4是本发明实施例提供的第二阶段的卷积块b1和b2的结构示意图；
[0050]
图5是本发明实施例提供的残差卷积块结构示意图。
具体实施方式
[0051]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0052]
目前已存在的虹膜分割方法大都只关注虹膜的大致区域，但是对虹膜内外圆的边界进行定位的较少，且这些模型要么运行速度慢，要么结果不大理想。因此本发明提出一种基于虹膜图像上下文信息与分水岭算法结合的虹膜图像分割模型，该框架通过深层模型与浅层模型分别学习虹膜图像的上下文信息与图像的空间细节，通过距离变换得到前景区域，然后通过分水岭算法得到虹膜内外圆的边界，从而快速精准地实现虹膜内外圆的边界定位，也为虹膜区域后续的提取与归一化提供了准确的参数。
[0053]
实施例1
[0054]
如图1所示，本实施例提供了一种深度学习与分水岭算法结合的虹膜图像分割方法，包括以下步骤：
[0055]
步骤1：对虹膜图像数据进行预处理，获得归一化后的图像数据；
[0056]
其中，上述的虹膜图像数据是在不同光照条件下采集的虹膜图像，既包含红外光环境下的图像数据，又包含有可见光环境下的图像数据。虹膜图像数据经过预处理等操作，该步骤可表示为：i
pre
＝f
pre
(i)，其中，i表示输入的虹膜图像，f
pre
表示预处理操作。
[0057]
步骤2：将归一化的图像数据输入到分割模型中，获得得到的特征图；归一化后的图像输入到分割模型m中，由分割模型学习虹膜图像中虹膜内外圆的上下文信息f，该步骤可表示为：f＝m(i
pre
)。
[0058]
具体地，虹膜图像数据与倍数下采样后的虹膜图像数据分别经过两个不同深度的特征抽取网络得到抽取虹膜图像的特征。
[0059]
如图2所示，分隔模型包括上半部分的浅层网络和下半部分的深层网络。
[0060]
上半部分的浅层网络得到原始大小的虹膜图像数据i0，经过三个卷积层{c0,c1,c2}之后得到原始分辨率一半大小的特征图c0，c0与原始图像经过第一个平均池化v0后的特征图v0通过通道数进行拼接，由此输入到第二阶段sc1的第一个卷积块b0(虚线部分)中，该虚线卷积块亦可称为下采样卷积块，其主要结构如图3所示，其输入过一个卷积层j0之后，特征图分开输入到分组空洞卷积g0和分组卷积g1中去，然后通过通道维度融合这两组卷积的特征之后，连续过一个卷积层j1，一个自适应平均池化层ap0，两个全连接层{f0,f1}后得到这个下采样卷积块的输出，该下采样卷积块输出的特征图大小是输入特征图大小的一半。第二阶段的后两个卷积块{b1,b2}的结构相同，其主要结构如图4所示，与下采样卷积块b0类似，输入过一个卷积层j2后将特征图分开输入到分组空洞卷积g2与分组卷积g3中，然后通过通道对特征图进行拼接，将拼接后的特征图输入连续输入进一个自适应平均池化层ap1与两个全连接层{f2,f3}中，最后将全连接层的输出与该卷积块的输入相加，得到该卷积块的输出。该卷积块输出的特征图大小与输入特征图大小一致。由此第二阶段的最后一个卷积块b2的输出b2与第一个下采样卷积块b0的输出b0及输入图像进行第二次平均池化操作v1的特征图v1按通道数拼接，输入到第三阶段的六个卷积块sc2中，与第二阶段类似，第三阶段的第一个卷积块b3为下采样卷积块，后续5个卷积块均与第二阶段的卷积块{b1，b2}相同，最终得到的输出按同样的方法将{b3，b8，v2}拼接之后进入一个卷积层c3，该卷积层将特征图的通道数设定成与深层网络的通道数相同，输出结果标记为r0。
[0061]
下半部分的深层网络的输入是原始分辨率大小的虹膜图像i0经过下采样操作dp0，得到比原分辨率小的多的虹膜图像i1，将其输入进一个简单的卷积层c4，然后再输入到含有不同数量的残差卷积块的阶段，每个残差卷积块的结构如图5所示，输入数据ri过三个卷积层{rs0,rs1,rs2}之后，将输出结果rs2再与输入ri相加得到残差输出ro。第一阶段rb0有3个残差卷积块{r0～r2}，第二阶段rb1有4个残差卷积块{r3～r6}，第三阶段rb2有6个残差卷积块{r7～rc}，得到残差卷积块之后的特征图后经过一个上采样p0，采样的大小为浅层网络最后的输出大小，即r0的输出大小，在特征图的大小与浅层网络相同之后，再过两个卷积层{c5，c6}得到与浅层网络的输出相同的通道数。由此，深层网络与浅层网络的输出大小和通道数完全相同。输出结果标记为r1。
[0062]
将深层网络与浅层网络的输出相加即r0与r1相加，得到的输出结果过一个分类层s0，再经过上采样p1之后得到与原始分辨率大小的特征图。
[0063]
步骤3：对特征图进行距离变换运算，得到显示有虹膜内外圆位置的距离热力图；将从网络中输出的特征图f进行距离变换运算d，得到显示有虹膜内外圆的位置的距离热力图{hi，hp}，即hi，hp＝d(f)。
[0064]
步骤4：采用分水岭算法在热力图上计算得到虹膜内外圆边界轮廓。
[0065]
采用分水岭算法w在热力图上计算得到虹膜内外圆边界轮廓，即该步骤可表示为：
[0066]
c
iris
，c
pupil
＝w(hi，hp)
[0067]
其中分割模型在通过对归一化后的虹膜图像数据进行特征提取与学习后，计算得到的特征图f与掩膜图gt之间相应的损失，再传到分割网络更新网络权重。本方法使用经典的交叉熵损失，损失函数如下：
[0068][0069]
其中，y表示深度卷积神经网络对输入图像的推理输出，y
t
表示数据集标注的标签。
[0070]
l
ce
通过adam优化器不断迭代优化直到获得最小值，使得分割网络能学习到虹膜内外圆之间的关系，进一步提高虹膜内外圆分割的精度与速度。
[0071]
(1)本发明提出的深度不同的网络结构协同分水岭算法实现虹膜图像分割的框架，能够充分学习到虹膜图像中虹膜内外圆之间的上下文关系，提高虹膜图像在不同光照条件下的虹膜内外圆的分割定位精度，同时大大增强模型在不同数据上的泛化性能。
[0072]
(2)不同深度的网络结构，不同大小的图像分辨率，网络能从虹膜图像上学到的特征信息也是多样化的，这样更能丰富网络模型的特征，使得模型充分地学习到虹膜图像中的上下文信息，能更准确快速地得到分割结果。
[0073]
(3)通过深度学习模型与分水岭算法的结合，替代了语义分割中单纯地针对虹膜图像中的每个像素的分类，更能精确地描述虹膜内外圆边界的位置，提高虹膜内外圆边界的精度。
[0074]
另外，与上述方法相对应地，本发明还提供了一种深度学习与分水岭算法结合的虹膜图像分割系统，包括预处理单元、特征图获取单元、距离变换运算单元以及边界轮廓计算单元；
[0075]
所述预处理单元用于对虹膜图像数据进行预处理，获得归一化后的图像数据；
[0076]
所述特征图获取单元用于将归一化的图像数据输入到分割模型中，获得得到的特征图；
[0077]
所述距离变换运算单元用于对特征图进行距离变换运算，得到显示有虹膜内外圆位置的距离热力图；
[0078]
所述边界轮廓计算单元用于采用分水岭算法在热力图上计算得到虹膜内外圆边界轮廓。
[0079]
需说明的是，本发明实施例提供的轻量级虹膜图像分割装置与上述实施例的轻量级虹膜图像分割方法的具体实施细节及效果相同或相似，在此不再赘述。
[0080]
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。