一种人眼虹膜图像中虹膜区域自动分割方法和系统与流程

1.本发明属于图像分割技术领域，更具体地，涉及一种人眼虹膜图像中虹膜区域自动分割方法和系统。


背景技术：

2.随着技术的发展和进步，虹膜识别技术作为识别技术的不断的创新和改进。当前使用的虹膜识别技术，尽管其具有较高的准确度，然而，其识别容易受到周围环境变化的影响，例如，光照度、遮挡物、识别距离等，因此，虹膜识别技术的完善，还有很长的路要走。


技术实现要素：

3.本技术的目的在于提供一种人眼虹膜图像中虹膜区域自动分割方法和系统，以不断改进虹膜识别技术，提高虹膜图像分割的准确性与速度。
4.为实现本发明的目的，本发明提供了一种人眼虹膜图像中虹膜区域自动分割方法，包括以下步骤：
5.步骤一：获取人眼虹膜图像数据集；
6.步骤二：对步骤一中获取的数据集进行预处理操作，以得到预处理数据集；
7.步骤三：将步骤二得到的预处理数据集输入训练好的深度卷积神经网络中；
8.步骤四：将从步骤三中训练好的网络中提取骨干网卷积层的特征上采样到训练好的解码器中，得到每幅人眼虹膜图像中虹膜外圆区域的位置；
9.步骤五：将从步骤三中训练好的网络中提取到的多个特征提取层的特征融合，然后输入到训练好的扩展版多层感知机中；
10.步骤六：利用步骤五中训练好的扩展版多层感知机中预测得到的基于梯度向量流的主动轮廓模型的参数，由此拟合得到虹膜的内圆位置。
11.其中，
12.所述深度卷积神经网络包括顺次连接的简版的vggnet和上采样的解码器及扩展版的多层感知器。
13.其中，
14.所述简版的vggnet，网络结构如下：
15.第一部分是输入层，其输入为300*400*3像素的矩阵；
16.第二部分是特征抽取模块，共四个不同尺度的特征抽取层，每个特征抽取层包含有两个级联的卷积层，除去最后一个特征抽取层以外，其他每一层在最后均有最大池化层，取最后一层的输出矩阵作为提取的特征c1、c2、c3、c4，其大小分别是150*200*64、75*100*128、38*50*256和38*50*512。
17.其中，
18.所述上采样的编码器对简版的vggnet输出的特征c1、c2、c3、c4进行特征融合，上采样的编码器的网络结构如下：
19.第一层是在特征c4输出上的两层卷积层，其卷积核尺寸均为3*3*256，步长均为1，均使用same模式填充，第一层输出经过上采样后得到的输出矩阵为76*100*256，记为upsample_1；
20.第二层是通道融合层，其将裁剪过的输出矩阵upsample_1和输出矩阵c3通过通道数融合，输出矩阵大小为75*100*512；
21.第三层同样是两层卷积层，其卷积核尺寸分别为3*3*256和3*3*128，步长均为1，均使用same模式填充，该层输出经过上采样后得到的输出矩阵为150*200*128，记为upsample_2；
22.第四层是通道融合层，其将输出矩阵upsample_2和输出矩阵c2通过通道数融合，输出矩阵大小为150*200*256；
23.第五层同样是两层卷积层，其卷积核尺寸分别为3*3*128和3*3*64，步长均为1，均使用same模式填充，第五层输出经过上采样后得到的输出矩阵为300*400*64，记为upsample_3；
24.第六层是通道融合层，其将输出矩阵upsample_3和输出矩阵c1通过通道数融合，输出矩阵大小为300*400*128；
25.第七层同样是两层卷积层，其卷积核尺寸分别为3*3*64和3*3*32，步长均为1，均使用same模式填充，其输出矩阵300*400*32；
26.第八层是卷积层，其卷积核尺寸为3*3*1，步长为1，第八层使用same模式填充，其输出矩阵的大小为300*400*1。
27.其中，
28.所述扩展版的多层感知器将简版的vggnet输出的特征c1、c2、c3、c4通过通道数融合然后输入到网络中，扩展版的多层感知器的网络结构如下：
29.整个扩展版的多层感知器共五层卷积层，步长均为1且均采用same模型填充，卷积核尺寸分别是1*1*512，1*1*256，1*1*128，1*1*64，1*1*32，最后的输出层是五个分支，每个分支包含一个步长为1且采用same模型填充，卷积核尺寸分别是1*1*1的卷积层，最终的输出为300*400*1。
30.其中，
31.基于梯度向量流的主动轮廓模型的能量表达式如下所示：
[0032][0033]
其中，c
′
(s)表示曲线c(s)的一阶导，c
″
(s)表示曲线c(s)的二阶导，α、β分别为一阶导与二阶导的参数，控制曲线的长度与曲率，e
gvf
为梯度向量流的施加在曲线上的外力，e
norm
为图像梯度在曲线法向上施加的外力，κ与是控制e
gvf
和e
norm
的参数；
[0034]
其中，产生梯度向量流的梯度向量场的生成式如下所示：
[0035][0036]
其中向量场v(x,y)＝[u(x,y),v(x,y)]，表示图像的梯度，
[0037]
而扩展版多层感知机预测的五个参数图即为v，α，β，κ，
[0038]
与上述方法相对应，本发明还提供了一种人眼虹膜图像中虹膜区域自动分割系
统，包括如下单元：
[0039]
第一单元，其用于获取人眼虹膜图像数据集；
[0040]
第二单元，其用于对第一单元中获取的数据集进行预处理操作，以得到预处理数据集；
[0041]
第三单元：其用于对第二单元得到的预处理数据集输入训练好的深度卷积神经网络中；
[0042]
第四单元：将从第三单元中训练好的网络中提取骨干网卷积层的特征上采样到训练好的解码器中，得到每幅人眼虹膜图像中虹膜外圆区域的位置；
[0043]
第五单元：将从第三单元中训练好的网络中提取到的多个特征提取层的特征融合，然后输入到训练好的扩展版多层感知机中；利用扩展版多层感知机中预测得到的基于梯度向量流的主动轮廓模型的参数，由此拟合得到虹膜的内圆位置。
[0044]
其中，
[0045]
所述深度卷积神经网络包括顺次连接的简版的vggnet和上采样的解码器及扩展版的多层感知器。
[0046]
其中，
[0047]
所述简版的vggnet，网络结构如下：
[0048]
第一部分是输入层，其输入为300*400*3像素的矩阵；
[0049]
第二部分是特征抽取模块，共四个不同尺度的特征抽取层，每个特征抽取层包含有两个级联的卷积层，除去最后一个特征抽取层以外，其他每一层在最后均有最大池化层，取最后一层的输出矩阵作为提取的特征c1、c2、c3、c4，其大小分别是150*200*64、75*100*128、38*50*256和38*50*512。
[0050]
其中，
[0051]
所述上采样的编码器对简版的vggnet输出的特征c1、c2、c3、c4进行特征融合，上采样的编码器的网络结构如下：
[0052]
第一层是在特征c4输出上的两层卷积层，其卷积核尺寸均为3*3*256，步长均为1，均使用same模式填充，第一层输出经过上采样后得到的输出矩阵为76*100*256，记为upsample_1；
[0053]
第二层是通道融合层，其将裁剪过的输出矩阵upsample_1和输出矩阵c3通过通道数融合，输出矩阵大小为75*100*512；
[0054]
第三层同样是两层卷积层，其卷积核尺寸分别为3*3*256和3*3*128，步长均为1，均使用same模式填充，第三层输出经过上采样后得到的输出矩阵为150*200*128，记为upsample_2；
[0055]
第四层是通道融合层，其将输出矩阵upsample_2和输出矩阵c2通过通道数融合，输出矩阵大小为150*200*256；
[0056]
第五层同样是两层卷积层，其卷积核尺寸分别为3*3*128和3*3*64，步长均为1，均使用same模式填充，该层输出经过上采样后得到的输出矩阵为300*400*64，记为upsample_3；
[0057]
第六层是通道融合层，其将输出矩阵upsample_3和输出矩阵c1通过通道数融合，输出矩阵大小为300*400*128；
[0058]
第七层同样是两层卷积层，其卷积核尺寸分别为3*3*64和3*3*32，步长均为1，均使用same模式填充，其输出矩阵300*400*32；
[0059]
第八层是卷积层，其卷积核尺寸为3*3*1，步长为1，第八层使用same模式填充，其输出矩阵的大小为300*400*1；
[0060]
所述扩展版的多层感知器将简版的vggnet输出的特征c1、c2、c3、c4通过通道数融合然后输入到网络中，扩展版的多层感知器的网络结构如下：
[0061]
整个扩展版的多层感知器共五层卷积层，步长均为1且均采用same模型填充，卷积核尺寸分别是1*1*512，1*1*256，1*1*128，1*1*64，1*1*32，最后的输出层是五个分支，每个分支包含一个步长为1且采用same模型填充，卷积核尺寸分别是1*1*1的卷积层，最终的输出为300*400*1。
[0062]
与现有技术相比，本发明的有益效果为，
[0063]
本发明公开了一种端到端的基于编码
‑
解码结构的虹膜图像分割方法和系统，通过集成编码器
‑
解码器结构和基于梯度向量流的主动轮廓模型的方式实现端到端的虹膜分割，有利于虹膜内外边界的定位与拟合，也有利于为后续虹膜归一化提供准确的参数。
附图说明
[0064]
图1是本发明一种人眼虹膜图像中虹膜区域自动分割方法流程图。
[0065]
图2是本发明方法中使用的深度卷积神经网络的示意图。
具体实施方式
[0066]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0067]
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0068]
对于本领域技术人员而言，可根据具体情况理解上述术语在本技术中的具体含义。
[0069]
本发明的目的在于提供一种人眼虹膜图像中虹膜区域的自动分割方法，使计算机自主学习兼并人为引导计算机对虹膜特征区域的学习，以达到对实时的自动分割效果。
[0070]
如图1
‑
图2所示，
[0071]
本发明提供了一种人眼虹膜图像中虹膜区域自动分割方法，包括以下步骤：
[0072]
步骤一：获取人眼虹膜图像数据集；
[0073]
具体而言，数据集是在非可控的可见光照明条件下采集的虹膜数据集。
[0074]
步骤二：对步骤一中获取的数据集进行预处理操作，以得到预处理数据集。
[0075]
本步骤中对获取的数据集进行预处理操作包括以下子步骤：
[0076]
(2
‑
1)针对获取的数据集中的每一幅待分割的人眼虹膜图像而言，通过使用线性函数对待分割的人眼虹膜图像进行归一化处理，以得到归一化后的图像；
[0077]
(2
‑
2)对步骤(2
‑
1)归一化后的每一幅待分割的人眼虹膜图像进行随机增强操作，以得到随机增强后的图像，构成预处理数据集；
[0078]
具体而言，增强操作可以是以任意角度旋转、高斯噪声等的组合的操作。
[0079]
步骤三：将步骤二得到的预处理数据集输入训练好的深度卷积神经网络中。
[0080]
步骤四：将从步骤三中训练好的网络中提取骨干网卷积层的特征上采样到训练好的解码器中，得到每幅人眼虹膜图像中虹膜外圆区域的位置。
[0081]
步骤五：将从步骤三中训练好的网络中提取到的多个特征提取层的特征融合然后输入到训练好的扩展版多层感知机中。
[0082]
步骤六：利用步骤五中训练好的扩展版多层感知机中预测得到基于梯度向量流的主动轮廓模型的参数，由此拟合得到虹膜的内圆位置。
[0083]
优选地，深度卷积神经网络主要包括顺次连接的简版的vggnet和上采样的解码器及扩展版的多层感知器。
[0084]
在优选的实施例中，对于顺次连接的简版的vggnet而言，其网络结构如下：
[0085]
第一部分是输入层，其输入为300*400*3像素的矩阵；
[0086]
第二部分是特征抽取模块，共四个不同尺度的特征抽取层，每个特征抽取层包含有两个级联的卷积层，除去最后一个特征抽取层以外，其他每一层在最后均有最大池化层，取最后一层的输出矩阵作为提取的特征c1、c2、c3、c4，其大小分别是150*200*64、75*100*128、38*50*256和38*50*512。
[0087]
优选地，上采样的编码器对简版的vggnet输出的特征c1、c2、c3、c4进行特征融合，上采样的编码器的网络结构如下：
[0088]
第一层是在特征c4输出上的两层卷积层，其卷积核尺寸均为3*3*256，步长均为1，均使用same模式填充，该层输出经过上采样后得到的输出矩阵为76*100*256，记为upsample_1；
[0089]
第二层是通道融合层，其将裁剪过的输出矩阵upsample_1和输出矩阵c3通过通道数融合，输出矩阵大小为75*100*512；
[0090]
第三层同样是两层卷积层，其卷积核尺寸分别为3*3*256和3*3*128，步长均为1，均使用same模式填充，该层输出经过上采样后得到的输出矩阵为150*200*128，记为upsample_2；
[0091]
第四层是通道融合层，其将输出矩阵upsample_2和输出矩阵c2通过通道数融合，输出矩阵大小为150*200*256；
[0092]
第五层同样是两层卷积层，其卷积核尺寸分别为3*3*128和3*3*64，步长均为1，均使用same模式填充，该层输出经过上采样后得到的输出矩阵为300*400*64，记为upsample_3；
[0093]
第六层是通道融合层，其将输出矩阵upsample_3和输出矩阵c1通过通道数融合，输出矩阵大小为300*400*128；
[0094]
第七层同样是两层卷积层，其卷积核尺寸分别为3*3*64和3*3*32，步长均为1，均使用same模式填充，其输出矩阵300*400*32；
[0095]
第八层是卷积层，其卷积核尺寸为3*3*1，步长为1，该层使用same模式填充，其输出矩阵的大小为300*400*1；
[0096]
在优选的实施例中，扩展版的多层感知器将简版的vggnet输出的特征c1、c2、c3、c4通过通道数融合然后输入到网络中，扩展版的多层感知器的网络结构如下：
[0097]
整个扩展版的多层感知器共五层卷积层，步长均为1且均采用same模型填充，卷积
核尺寸分别是1*1*512，1*1*256，1*1*128，1*1*64，1*1*32，最后的输出层是五个分支，每个分支包含一个步长为1且采用same模型填充，卷积核尺寸分别是1*1*1的卷积层，最终的输出为300*400*1。
[0098]
除上采样的编码器和扩展版的多层感知器的最后一层采用sigmoid激活函数之外，其他所有的卷积层都是采用的relu激活函数。
[0099]
优选地，基于梯度向量流的主动轮廓模型的能量表达式如下所示：
[0100][0101]
其中，c
′
(s)表示曲线c(s)的一阶导，c
″
(s)表示曲线c(s)的二阶导，α、β分别为一阶导与二阶导的参数，控制曲线的长度与曲率，e
gvf
为梯度向量流的施加在曲线上的外力，e
norm
为图像梯度在曲线法向上施加的外力，κ与是控制e
gvf
和e
norm
的参数。
[0102]
其中，产生梯度向量流的梯度向量场的生成式如下所示：
[0103][0104]
其中向量场v(x,y)＝[u(x,y),v(x,y)]，表示图像的梯度。
[0105]
而扩展版多层感知机预测的五个参数图即为v，α，β，κ，
[0106]
具体地，本实施例中使用的深度卷积神经网络是通过如下步骤训练得到：
[0107]
(1)获取数据集；
[0108]
具体而言，数据集是在非可控的可见光照明条件下采集的虹膜数据集，将这些图像随机划分为2部分，其中50％作为训练集(train set)，50％作为测试集(test set)。
[0109]
(2)对标注后的数据集进行预处理，以得到预处理后的数据集；
[0110]
具体而言，本步骤的预处理过程和前文中所述的预处理过程完全相同，在此不再赘述。
[0111]
(3)使用步骤(2)得到的预处理数据集中的训练集部分中的一批次数据，将其输入深度卷积神经网络中，以获得推理输出，将该推理输出和步骤(1)中标注后的数据集一并输入深度卷积神经网络的损失函数中，以获取损失值。
[0112]
具体而言，为了满足后期基于梯度向量流的主动轮廓模型的需要，一批次数据仅为1张图像；
[0113]
(4)根据adam算法并使用步骤(3)得到的损失值对深度卷积神经网络的损失函数进行优化，以达到逐步更新深度卷积神经网络中参数的目的。
[0114]
具体而言，优化过程中学习率lr＝1e
‑
4，衰减率为0.9，损失函数主要分为两个部分，一方面用于解码器分支，一方面用于扩展版的多层感知器分支。具体如下：
[0115]
(4a)针对解码器分支而言，其损失函数如下所示，
[0116][0117]
其中y
t
代表真实值图像掩码，y
i
代表经过解码器预测得到的输出图像，|
·
|代表图像中像素值为1的像素个数，∩代表两个掩膜图像的交集部分像素值为1的像素的个数。
[0118]
(4b)针对扩展版多层感知机分支而言，因其为基于梯度向量流的主动轮廓模型预
测所需的五个参数，故其损失函数如下所示：
[0119][0120][0121][0122][0123][0124]
其中y
t
代表真实的曲线坐标，y
i
代表经过扩展版多层感知机的由梯度向量流拟合的结果曲线，ω代表曲线填充而来的区域，gt(x,y)代表真实值的掩膜，v(x,y)代表扩展版多层感知机为梯度向量场预测得到的参数图。
[0125]
(5)针对步骤(2)得到的预处理数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤(3)和步骤(4)，直到达到迭代次数为止，从而得到训练好的深度卷积神经网络；
[0126]
具体而言，本步骤中的训练过程包括200个周期，每个周期迭代次数为493次。
[0127]
(6)使用步骤(2)中得到的预处理数据集中的测试集部分对训练好的深度卷积神经网络进行验证。
[0128]
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。