一种用于指静脉图像分割的系统以及方法与流程

1.本发明涉及图像处理领域，具体来说涉及指静脉脉络提取技术领域，更具体地说，涉及一种用于指静脉图像分割的系统以及方法。


背景技术：

2.在当今社会，随着科学技术的不断发展，信息安全问题成为当下最为迫切的问题，怎样去有效地保护个人信息的安全问题凸显的尤为重要。目前广泛使用的生物特征主要有人脸、指纹、掌纹、虹膜等，但是这类生理特征很容易被窃用。因此，具有高防伪性和高安全性的生物特征识别研究得到研究人员的重视。手指静脉(以下简称指静脉)由于具有活体性且难以窃取的高防伪特点，从而让指静脉识别技术具有重要的研究意义以及实用价值，而如何完整、准确地提取到指静脉的纹路在很大程度上影响着识别准确度。
3.在指静脉识别中，静脉的脉络特征提取是静脉识别的关键。传统的指静脉分割方法具有较大的局限性，适用条件比较特定，泛化能力较弱；而深度学习由于其强大的特征表达能力，可以在一定程度上解决这些问题。但现有的一些基于卷积神经网络的指静脉分割模型，在基于小样本的指静脉图像训练时，容易出现过拟合而导致泛化能力较差；或者出现一些细节信息在分割后被丢失、出现较多噪点或者脉络图像中脉络不连贯的问题。比如在医学图像分割领域中，罗尼伯格(ronneberger)等人提出的用于生物细胞图像分割的unet网络模型，在近几年被广泛用于医学图像分割领域，但unet用于指静脉分割时，仍存在细小信息在分割后被丢失、出现较多噪点或者脉络图像中脉络不连贯的问题。


技术实现要素：

4.因此，本发明的目的在于克服上述现有技术的缺陷，提供一种用于指静脉图像分割的系统以及方法。
5.本发明的目的是通过以下技术方案实现的：
6.根据本发明的第一方面，提供一种用于指静脉图像分割的系统，包括：编码器，用于基于空洞卷积对所述输入的指静脉图像进行分辨率不同的下采样，生成所述指静脉图像的多个分辨率不同的静脉纹路的特征图；解码器，用于基于相应的静脉纹路的特征图进行特征融合以及上采样，生成分割的脉络图像。其中，所述编码器和解码器是按照以下方式训练得到的：用多个包括指静脉图像和对应的脉络标签的训练样本编码器和解码器生成脉络图像，用损失函数根据脉络图像和脉络标签计算损失值，并基于损失值通过反向传播更新编码器和解码器中神经网络的参数。
7.在本发明的一些实施例中，所述基于空洞卷积对所述输入的指静脉图像进行分辨率不同的下采样包括根据基于普通空洞卷积层的下采样以及基于残差块的空洞卷积层的下采样。
8.在本发明的一些实施例中，所述编码器在下采样的过程中通过相应的空洞卷积层以步长为2进行卷积操作以缩小静脉纹路的特征图的分辨率。
9.在本发明的一些实施例中，所述编码器在下采样的过程中不通过池化操作来缩小静脉纹路的特征图的分辨率。
10.在本发明的一些实施例中，所述用于指静脉图像分割的系统中除用于生成分割的指静脉脉络图的激活函数外的所有激活函数采用mish激活函数。
11.在本发明的一些实施例中，所述编码器包括：第一编码模块，被配置为采用普通空洞卷积层进行下采样，得到第一分辨率的第一特征图；第二编码模块，被配置为基于残差块的空洞卷积层对第一分辨率的第一特征图进行下采样，得到第二分辨率的第二特征图；第三编码模块，被配置为基于残差块的空洞卷积层对第二分辨率的第二特征图进行下采样，得到第三分辨率的第三特征图；第四编码模块，被配置为基于残差块的空洞卷积层对第三分辨率的第三特征图进行增加通道数的卷积操作，得到第三分辨率的第四特征图。
12.在本发明的一些实施例中，所述残差块包括第一残差块，第一残差块包括第一主分支和第一旁路分支，第一主分支包括至少两个空洞卷积层，第一旁路分支包括依次连接的batchnorm(简称bn)层、mish激活函数，第一主分支的输出与第一旁路分支的输出之和经过一个mish激活函数后作为第一残差块的输出。
13.在本发明的一些实施例中，所述残差块包括第二残差块，所述第二残差块包括第二主分支和第二旁路分支，第二主分支包括至少两个空洞卷积层，第二旁路分支的输出等于输入，第二主分支的输出与第二旁路分支的输出之和经过一个mish激活函数后作为第二残差块的输出。
14.在本发明的一些实施例中，该系统还可以包括：链接层，其中，所述链接层包括二维卷积神经网络层，用于对第四特征图进行增加通道数的卷积操作，得到第三分辨率的第五特征图并输出给所述解码器。
15.在本发明的一些实施例中，所述解码器包括：第一解码模块，被配置为对第三分辨率的第三特征图以及第五特征图进行融合、上采样以及降低通道数的二维普通卷积操作，得到第二分辨率的第六特征图；第二解码模块，被配置为对第二分辨率的第二特征图以及第六特征图进行融合、上采样以及降低通道数的二维普通卷积操作，得到第一分辨率的第七特征图；第三解码模块，被配置为对第一分辨率的第一特征图以及第七特征图进行融合、上采样以及降低通道数的二维普通卷积操作，得到第八特征图；第四解码模块，被配置为对原始分辨率的第八特征图进行降低通道数的二维普通卷积操作，得到第九特征图；第五解码模块，被配置为对第九特征图进行处理以生成分割的脉络图像。
16.在本发明的一些实施例中，所述损失值是对二分类交叉熵损失和dice损失的加权求和。
17.根据本发明的第二方面，提供一种提取指静脉脉络的方法，包括：将指静脉图像输入第一方面所述的系统，输出分割出的指静脉的脉络图像。
18.根据本发明的第三方面，提供一种基于指静脉进行身份识别的方法，包括：利用第一方面的系统或者第二方面所述的方法提取待识别身份的指静脉的脉络图像；基于所述提取的指静脉的脉络图像进行身份识别。
19.根据本发明的第四方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储一个或多个可执行指令；所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现第三方面或者第四方面所述方法的步骤。
附图说明
20.以下参照附图对本发明实施例作进一步说明，其中：
21.图1为根据本发明实施例的用于指静脉图像分割的系统的模块示意图；
22.图2为根据本发明实施例的第一残差块的结构示意图；
23.图3为根据本发明实施例的第二残差块的结构示意图；
24.图4为mish激活函数和relu激活函数的对比图；
25.图5为根据本发明实施例的用于指静脉图像分割的系统的一个实施方式的结构示意图；
26.图6为利用指静脉仪采集指静脉的场景示意图；
27.图7为利用指静脉仪采集指静脉的原理示意图；
28.图8为指静脉仪采集的指静脉数据的示意图；
29.图9为指静脉图像和对应的脉络标签的示意图；
30.图10为实验时采集到的三种现有网络结构以及本发明的系统的网络结构在训练集上的准确率结果；
31.图11为实验时采集到的三种现有网络结构以及本发明的系统的网络结构在验证集上的准确率结果；
32.图12为实验时采集到的三种现有网络结构以及本发明的系统的网络结构在训练集上的平均交并比结果；
33.图13为实验时采集到的三种现有网络结构以及本发明的系统的网络结构在验证集上的平均交并比结果；
34.图14为实验时采集到的使用三种不同的激活函数对平均交并比的影响结果；
35.图15为实验时采集到的三种现有网络结构以及本发明的系统的网络结构对一些指静脉图像的分割效果的对比图。
具体实施方式
36.为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
37.如在背景技术部分提到的，利用现有的分割神经网络unet对指静脉图像进行分割后，会出现一些细小信息在分割后被丢失、出现较多噪点或者脉络图像中脉络不连贯的问题。如果要进行后续利用，进而还可能影响基于该提取的脉络图像的相应任务的性能。例如，后续利用提取的指静脉脉络进行身份识别的准确性。因此，本发明构建了一种用于指静脉图像分割的系统，基于空洞卷积来对所述输入的指静脉图像进行分辨率不同的下采样，从而减少了对指静脉提取过程的信息丢失且可以避免噪声点对静脉纹路的影响，可以提取出更精细、噪声点更少的脉络图像。
38.在对本发明的实施例进行具体介绍之前，先对其中使用到的部分术语作如下解释：
39.空洞卷积(dilated convolutions，简写为dilated conv)，也称扩张卷积，是指在标准的(普通的)卷积核中注入空洞的卷积。空洞卷积相对于标准的卷积，多了一个称为空
洞率的超参数。
40.步长(stride)，是指卷积核在图的相应方向上每次的步进长度。默认步长为1，在图像上表示沿相应的方向一次移动一个像素点。若步长＝2，则在图像上表示沿相应的方向一次移动两个像素点。
41.激活函数，是指用于在神经网络中引入非线性因素的函数。例如，sigmoid、tanh、relu、mish激活函数。
42.在图像分割领域，unet网络是经典的u型网络架构的分割网络。但是，在使用unet网络时，其池化层在指静脉的脉络提取中会丢失部分静脉信息，分割出的指静脉脉络图会出现断点导致脉络不够完整且噪声点较多。根据unet网络分割出的指静脉脉络图进行后续的预测任务(如身份验证)的准确度不佳。因此，本发明基于u型网络架构进行了改进，在特征提取部分(对应于编码器)采用空洞卷积代替传统卷积进行下采样，可以增大感受野，得到了能更好地提取出指静脉的静脉信息的分割网络。
43.根据本发明的一个实施例，提供了一种用于指静脉图像分割的系统，参见图1，包括编码器和解码器，其中，编码器，用于基于空洞卷积对所述输入的指静脉图像进行分辨率不同的下采样，生成所述指静脉图像的多个分辨率不同的静脉纹路的特征图；解码器，用于基于相应的静脉纹路的特征图进行特征融合以及上采样，生成分割的脉络图像。基于空洞卷积降低输入图像的分辨率时，可以结合相应空洞卷积时的超参数来调整一个编码模块的输出的特征图的分辨率和通道数。
44.根据本发明的一个实施例，为了利用多种尺度下的特征图更好地提取指静脉脉络，在编码器中设置多个编码模块。例如，编码模块可以包括第一编码模块、第二编码模块和第三编码模块。第一编码模块、第二编码模块和第三编码模块可以被配置为基于空洞卷积对所述输入的指静脉图像进行分辨率不同的下采样，生成所述指静脉图像的多个分辨率不同的静脉纹路的特征图。为了进一步对提取的特征信息进行丰富，根据本发明的一个实施例，在编码器中增加第四编码模块。第四编码模块可以不对特征图的尺寸进行调整，输出的特征图的分辨率可以与输入的特征图相同，但输出的特征图的通道数比输入更多。该系统还可以包括链接层，用于链接编码器和解码器，将编码器中最后一个编码模块的输出进行通道调整后传输给解码器作为输入。根据本发明的一个实施例，为了更好地从多种尺度下的特征图中提取更完整的指静脉脉络，可以在解码器中设置多个解码模块。例如，解码模块可以包括第一解码模块、第二解码模块、第三解码模块、第四解码模块和第五解码模块。编码器中相应编码模块的特征图可以通过跳转支路送入具有相同或者相似分辨率输入特征图的解码模块中。例如，第一编码模块的输出可以通过跳转支路传输给第三解码模块，第二编码模块的输入可以通过跳转支路传输给第二解码模块。第三编码模块的输入可以通过跳转支路传输给第一解码模块。链接层将编码器中最后一个编码模块的输出进行通道调整后传输给解码器的第一解码模块作为输入。第一解码模块、第二解码模块、第三解码模块依次连接，前一个模块的输出作为下一个模块的输入，可以被配置为对来自跳转支路的输入以及主支路(即编码器、链接层、解码器按序连接形成的u型链路)的输入的特征图进行融合、上采样以及降低通道数的二维普通卷积操作并传输。第四解码模块可以被配置为对输入的特征图进行降低通道数的二维普通卷积操作。第五解码模块可以被配置为对输入的特征图进行处理以生成分割的脉络图像。
45.应当理解的是，图1所示的结构仅是一个可选实施例而已，本领域技术人员可以基于本发明的原理，进行适应性的调整，以获得类似效果的系统。例如，在以上实施例的基础上，去除第四编码模块，第三编码模块的输出传递给链接层。又例如，在第三编码模块和第四编码模块之间新增一个下采样的编码模块，在链接层和第一解码模块之间新增一个上采样的解码模块，并在新增的编码模块和解码模块之间增加跳转支路。
46.根据本发明的一个实施例，在进行下采样的过程中，可以使用残差网络以加深网络深度。一些研究表明，unet网络已经在语义分割或是其他像素级上的预测任务中取得不错的分割预测效果。然而，unet网络的卷积与传统的卷积神经网络一样都是对图像先做卷积再做池化，在降低指静脉图像尺寸的同时增大感受野，这样虽然可以增大感受野，但同时也会减小指静脉特征图的大小，导致特征图的分辨率变小，此时，经过上采样(upsampling)恢复到原图大小，在先减小后增大的过程中，指静脉图像的一些脉络信息就会丢失，从而会影响分割后指静脉的脉路连续性。为了更好的提取到指静脉的脉路信息，本系统采用空洞卷积代替常规卷积操作。空洞卷积之后的特征图大小如下:
[0047][0048]
其中，i表示输入的特征图的大小，p表示在卷积的过程中补零数，ker
n
＝k (k
‑
1)(d
‑
1)，k表示卷积核大小，d表示空洞卷积的采样率，s表示卷积的步长。由上述公式可以得到，d的大小会导致卷积核的大小发生变化，即，d增大卷积核ker
n
也会变大，卷积核ker
n
的大小会导致输出的特征图
[0049]
o
的大小，即，卷积核ker
n
变大，输出的特征图
o
会变小，也就是说，d增大会使卷积核ker
n
变大，但同时会使输出特张图map
o
变小。相应地调整这些超参数，则可以在编码过程中得到所需分辨率的特征图。
[0050]
为了更好地利用残差网络提取指静脉的脉络特征，申请人设计了两种残差块来进行数据处理。参见图2，根据本发明的一个实施例，残差块可以包括第一残差块和/或第二残差块。第一残差块可以包括第一主分支和第一旁路分支，第一主分支包括依次连接的空洞卷积层、bn层、mish激活函数、空洞卷积层、bn层、mish激活函数、bn层、mish激活函数，第一旁路分支包括依次连接的bn层、mish激活函数，第一主分支的输出与第一旁路分支的输出之和经过一个mish激活函数后作为第一残差块的输出。参见图3，根据本发明的一个实施例，第二残差块可以包括第二主分支和第二旁路分支，第二主分支包括依次连接的空洞卷积层、bn层、mish激活函数、空洞卷积层、bn层、mish激活函数、bn层、mish激活函数，第二旁路分支的输出等于输入，第二主分支的输出与第二旁路分支的输出之和经过一个mish激活函数后作为第二残差块的输出。其中，bn层是指batch normal或者batch norm。根据本发明的一个实施例，第一编码模块、第二编码模块、第三编码模块可以均采用基于残差块的空洞卷积层进行下采样；但应当理解，这不是必须的。例如，空洞卷积对所述输入的指静脉图像进行分辨率不同的下采样可以包括根据基于普通空洞卷积层的下采样以及基于残差块的空洞卷积层的下采样。例如，在第一编码模块中，是基于普通空洞卷积层进行的下采样。在第二编码模块、第三编码模块中，是基于残差块的空洞卷积层的下采样。该实施例的技术方案至少能够实现以下有益技术效果：空洞卷积的优点在于即使在不做池化操作下，也可以增大感受野，可以避免静脉特征图变小放大的过程中导致静脉信息丢失的问题。并且能够
更好的学习指静脉图像静脉纹路全局信息，提高指静脉的静脉分割精度和静脉脉络的连续性。
[0051]
根据本发明的一个实施例，为了更快速地缩小特征图的分辨率，避免神经网络过于庞大，编码器在下采样的过程中通过相应的空洞卷积层以步长为2进行卷积操作以缩小静脉纹路的特征图的分辨率。为了避免下采样过程中使用任何的池化操作对指静脉的脉络信息造成影响，本发明的编码器在下采样的过程中不通过池化操作来缩小静脉纹路的特征图的分辨率。这样，结合空洞卷积和相应的步长超参数，可以更好地提取指静脉的脉络信息。
[0052]
根据本发明的一个实施例，用于指静脉图像分割的系统中除用于生成分割的指静脉脉络图的激活函数外的激活函数可以采用relu、mish或者sigmoid激活函数。但是，申请人发现，在该过程中，不同的激活函数对提取的结果的影响效果是不同的。在网络训练中，sigmoid激活函数和relu激活函数是最为常用的卷积层激活函数。sigmoid函数由于其不具备稀疏性，从而会引起网络训练收敛速度慢以及存在梯度消失等问题。relu函数与sigmoid函数相比，虽然存在许多优点，但是relu函数不适用于数据较大梯度的输入，因为在参数更新以后，relu神经元会出现不再有激活功能的问题，所以会导致梯度永远为零，即relu函数可能会存在神经元坏死(网络“died”)的问题。图4给出了relu激活函数和mish激活函数的示意图，横坐标为输入，纵坐标为输出；从虚线框标注中可以看到，较relu激活函数相比，mish激活函数在负值的时候并不是完全截断的，而是允许有比较小的负梯度流入，这样可以保证指静脉的脉络信息的完整性；mish函数“有下界，无上界”特点很好的避免了梯度饱和的问题，同时，mish函数也保证了每一点的平滑，从而使得梯度下降效果比relu要好，并且该激活函数允许指静脉更好的脉络信息流入神经网络，从而可以提高网络的分割准确性和泛化能力并可以保证静脉信息的连续性。因此，为了更加完整的提取到指静脉的脉路信息，本系统优选采用mish激活函数代替relu函数。即，在下采样和上采样中，为了更好的传播静脉纹路特征信息，采用mish激活函数代替relu激活函数，mish激活函数有助于解码器在上采样恢复指静脉纹路特征细节。mish激活函数的公式如下：
[0053]
f(x)＝x*tanh(δ(x))；
[0054]
其中，x表示输入的特征图，δ(x)＝ln(1 e
x
)。
[0055]
根据本发明的一个实施例，一种用于指静脉图像分割的系统的一个示意性网络结构如图5所示，包括第一编码模块、第二编码模块、第三编码模块、第四编码模块、链接层、第一解码模块、第二解码模块、第三解码模块、第四解码模块和第五解码模块。其中，第一解码模块的输入(假设输入的指静脉图像为100*200*1，即100
×
200像素、单通道的图像)依次经补零模块、普通空洞卷积层、bn层和mish激活函数的处理，得到输出的特征图，并传输给第二编码模块以及通过跳转支路传输给第三解码模块；普通空洞卷积层的步长设为2，卷积核的大小为3
×
3，输出通道数为64；输出的特征图的尺寸为50*100*64(50
×
100像素，64通道，以下含义类似，不再赘述)。补零模块用于在特征图边缘补零以使输出的特征图的尺寸达到预设的尺寸大小；通常是以0对输入的特征图的最外侧像素进行填充。bn层是指用于batch normal的层。第二编码模块的输入可以被配置为依次经过一个第一残差块和两个第二残差块的处理，得到输出的特征图，并传输给第三编码模块以及通过跳转支路传输给第二解码模块；第二编码模块的第一残差块和第二残差块中选一个空洞卷积层的步长设为2，以缩小
特征图的分辨率，例如：第二编码模块的第一残差块的第一个空洞卷积层的步长设为2，第一残差块的第二个空洞卷积层以及所有第二残差块的两个空洞卷积层的步长设为1，通道数都可以设为128(n＝128)，输出的特征图的尺寸为25*50*128。第三编码模块的输入可以被配置为依次经过一个第一残差块和三个第二残差块的处理，得到输出的特征图，并传输给第四编码模块以及通过跳转支路传输给第一解码模块；第三编码模块的第一残差块和第二残差块中选一个空洞卷积层的步长设为2，以缩小特征图的分辨率，例如：第三编码模块的第一残差块的第一个空洞卷积层的步长设为2，第一残差块的第二个空洞卷积层以及所有第二残差块的两个空洞卷积层的步长设为1，通道数都可以设为256(n＝256)，输出的特征图的尺寸为13*25*256。第四编码模块的输入可以被配置为依次经过一个第一残差块和五个第二残差块的处理，得到输出的特征图，并传输给链接层；第四编码模块可以被配置为不对特征图的分辨率进行调整，而是进行增加通道数的调整，例如：第四编码模块的第一残差块的两个空洞卷积层的步长设为1，所有第二残差块的两个空洞卷积层的步长设为1，通道数都可以设为512(n＝512)，输出的特征图的尺寸为13*25*512。链接层的输入可以被配置为依次经过补零模块、二维卷积模块conv2d、bn层、mish激活函数的处理，得到输出的特征图，并传输给第一解码模块；输出的特征图的尺寸为13*25*1024。第一解码模块可以被配置为对来自第三编码模块的特征图以及来自链接层的特征图经过融合、上采样、补零模块、二维卷积模块conv2d、bn层、mish激活函数的处理，得到输出的特征图；输出的特征图的尺寸为25*50*512。其中，特征图的融合过程中，第一解码模块对来自第三编码模块的尺寸为13*25*256的特征图以及来自链接层的尺寸为13*25*1024的特征图经过融合，即拼接操作，得到尺寸为13*25*1280的特征图。上采样2d2x2表示用2x2的卷积核进行二维的逆卷积操作。第二解码模块可以被配置为对来自第二编码模块的特征图以及来自第一解码模块的特征图经过融合、上采样、补零模块、二维卷积模块conv2d、bn层、mish激活函数的处理，得到输出的特征图；输出的特征图的尺寸为50*100*256。其中，特征图的融合过程中，第二解码模块对来自第二编码模块的尺寸为25*50*128的特征图以及来自第一解码模块的尺寸为25*50*512的特征图经过融合，得到尺寸为25*50*640的特征图。第三解码模块可以被配置为对来自第一编码模块的特征图以及来自第二解码模块的特征图经过融合、上采样、补零模块、二维卷积模块conv2d、bn层、mish激活函数的处理，得到输出的特征图；输出的特征图的尺寸为100*200*128。其中，特征图的融合过程中，第三解码模块对来自第一编码模块的尺寸为50*100*64的特征图以及来自第二解码模块的尺寸为50*100*256的特征图经过融合，得到尺寸为50*100*320的特征图。第四解码模块可以被配置为对来自第三解码模块的特征图经过补零模块、二维卷积模块conv2d、bn层、mish激活函数的处理，得到输出的特征图；输出的特征图的尺寸为100*200*64。第五解码模块可以被配置为对来自第四解码模块的特征图经过1
×
1的卷积操作(conv 1
×
1)以及sigmoid激活函数的处理，得到分割出的脉络图像，分割出的脉络图像的尺寸为100*200*1。应当理解的是，本发明中的各个模块的输入、输出的特征图的尺寸、第一残差块的数量、第二残差块的数量是可以根据实际应用需要调整的，上述具体数值仅为示意。该实施例中，系统的编码和解码部分均采用mish激活函数替代relu激活函数；并利用第一残差块和第二残差块加深网络的深度，并且其中采用空洞卷积代替普通卷积在不做池化的情况下进行下采样。该实施例的系统所采用的网络架构不仅可以发挥resnet使模型快速收敛，并且具有防止模型退化和梯度消失等优点，还可以展
现出unet网络结构简单，减小模型数据量的优势。在编码器部分输入指静脉图像进行静脉脉路的特征提取，即指静脉图像在下采样经过多次特征提取，会得到分辨率较低的静脉纹路特征图，而这些特征图再经过网络的不断学习可以得到高效区分指静脉纹路的特征图，即指静脉图像经过下采样得到静脉纹路的特征图，在上采样部分完成编码；在此对于编解码中特征图尺寸相等的对应层，共进行三次特征融合，有效的解决模型的退化等问题。
[0056]
根据本发明的一个实施例，用于指静脉图像分割的系统是按照以下方式训练得到的：用多个包括指静脉图像和对应的脉络标签的训练样本训练指静脉图像分割的系统生成脉络图像，用损失函数根据脉络图像和脉络标签计算损失值，并基于损失值通过反向传播更新指静脉图像分割的系统中神经网络的参数。在一个实施例中，神经网络包括编码器和解码器中的神经网络。在一个实施例中，神经网络包括编码器、解码器以及链接层中的神经网络。在指静脉图像分割的系统的训练过程中，损失函数的选取也对系统的性能有影响。由于指静脉图像整体上呈现灰色静脉纹路为黑色，而静脉纹路的分割只需要分割静脉的前景和背景，当静脉图像的前景像素的数量远小于背景像素的数量时，损失函数中的负类样本成分就会占据主导，使得模型严重偏向背景，导致效果下降。为了避免模型失衡，根据本发明的一个实施例，采用dice损失和二分类交叉熵损失(binary cross
‑
entropy)来训练系统，使系统可以避免前景与背景像素数量不同而导致失衡。损失函数可以表示为：
[0057]
loss＝αl
p
(1
‑
α)l
dice
；
[0058]
其中，l
p
表示二分类交叉熵损失，α表示l
p
的权重，l
dice
表示dice损失。n表示单张图的像素点总数，y表示脉络标签，y
i
＝1表示第i个像素点是指静脉像素点，y
i
＝0表示第i个像素点是背景像素点，p(y
i
)表示第i个像素点是静脉像素点的概率。对于二分类交叉熵损失，指静脉图像中包含静脉像素点和背景像素点两个分类，y
i
＝1表示第i个像素点是指静脉像素点，y
i
＝0表示第i个像素点是背景像素点，相当于设静脉像素点为正样本(positive)，标签＝1(label＝1)，背景像素点为负样本(negative)，标签＝0(label＝0)；对于正样本y
i
＝1，loss＝
‑
log(p(y
i
))，当p(y
i
)越大时，损失就会越小，在最理想情况下p(y
i
)＝1，相应的损失为0；对于负样本y
i
＝0，loss＝
‑
log(1
‑
p(y
i
))，当p(y
i
)越小时，相应的损失就会越小，在最理想情况下p(y
i
)＝0，此时的相应的损失为0。y表示脉络标签，y表示分割输出，∩表示求交集，|
·
|表示求像素点的数量。对于dice损失(也称dice系数)，是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围为[0，1]，dice系数越大，相似性就越高。由于指静脉图像的静脉像素点与背景像素点极度不均衡，所以采用dice损失使网络的训练过程稳定。两个子损失的比重可以根据α进行调整，α可以根据实际任务的工程实践按需设置。例如，在申请人进行试验时，调参后选择了α＝0.35，可以认为，模型更倾向于选择更重视dice系数的方式，即：希望背景的分布更接近真实图像。二分类交叉熵损失本质上体现了模型的预测正确率，故权重略低。应当理解的是，如果批大小(batch size)不为1，一个批次中对每个样本的二分类交叉熵损失和dice损失进行加权求和得到每个样本的损失后，再计算所有样本的损失之和或者平均损失作为最后的总损失。
[0059]
为了验证本发明的效果，申请人还进行了相应的实验。
[0060]
1、实验的环境
[0061]
实验的硬件环境：cpu为inter(r)core(tm)i7
‑
7700hq cpu@2.80ghz*8；内存为15.3gib；显卡为geforce gtx 1060。
[0062]
网络环境及参数设置：实验中所有模型在ubuntu16.04环境下基于开源框架keras实现，cuda版本为9.0，编成语言为python3.5。网络训练阶段采用rmsprop优化目标函数，训练过程中，每个批处理大小为8，学习率为0.0001，全连接层中dropout因子设定为0.5。训练网络指静脉图像的尺寸为256
×
256，输入为指静脉的图像，输出为分割后的脉路图。应当理解，批处理大小、学习率、dropout因子可以根据需要设置。优选的，批处理大小的设置范围可以是8
‑
16；学习率的设置范围是0.0001
‑
0.001，dropout因子0.4
‑
0.7，可以从这些范围内选择相应的特定值进行设置。
[0063]
2、指静脉数据获取与标注
[0064]
本实验所用指静脉数据是采用指静脉仪采集所得，指静脉仪如图6所示，采集装置由放置手指的近红外光(led)组件和电荷耦合传感器(ccd)组成。采集到的指静脉建立用于本实验的指静脉数据库，为后续的指静脉识别提取静脉的脉络特征。
[0065]
手指静脉的采集原理如图7所示，在放置手指的上方的近红外光源led可以很好地穿透手指，在穿透手指中，由于静脉血液中的血红蛋白比手指中的骨骼和肌肉等能吸收更多的近红外光，当静脉血管吸收到红外光时，手指静脉在ccd下就可以得到一条条静脉对应的黑线，而其他组织就会呈现出灰黑色的指静脉图像。采用指静脉仪在60个受试者自愿采集静脉数据，指静脉仪采集指静脉图像如图8所示，对于每个受试者分别采集其左手的食指(index)、中指(middle)和无名指(ring)，右手的食指(index)、中指(middle)和无名指(ring)，受试者的每个手指采集6张图像，采集图像的格式为jpeg，图像尺寸(pix)为100
×
200，共2160张静脉图像。
[0066]
在采集到的指静脉数据中，构造训练数据集，在原始采集的60份静脉数据中随机选取多张指静脉图像采用数据标注软件对静脉图像中的血管位置进行标注得到脉络标签(也可称标签图像)。例如，对于图9的左图所示的原始的指静脉图像，对应的脉络标签参见图9的右图，脉络标签是只含有静脉血管的图像。例如，随机选择35张指静脉图像进行标注，将这35张经标注只有静脉血管的图像作为原始35张静脉图像的标签。在网络的训练中，为了防止网络过拟合，可以对35张原始静脉图像以及对应的标签做数据增强以增加数据的多样性以及数据数量。将原始图像与对应的标签和增强后的静脉图像以及标签混合在一起，训练数据与验证数据的划分比例为8:2来训练系统，并在验证集上测试系统的性能。
[0067]
3、性能评估
[0068]
在图像语义分割众多的评估模型性能的标准中，本技术对于静脉分割算法的模型评价使用均交并比(mean intersection over union，miou)，作为最后模型的评估指标。miou，即在每个类别上计算iou值，其计算两个交集和并集之比，而在图像的语义分割问题中，这两个集合为真实值(ground truth)和预测值(predicted segmentation)。miou计算公式如下：
[0069][0070]
其中，k 1为指静脉图像中标签类别数，i表示指静脉图像中的真实类别，p
ii
表示真实的数量，即预测正确的像素数量，p
ij
表示本属于i类但是被预测为j类的像素数量，即假阳性像素数量，p
ji
为假阴性像素数量。
[0071]
4、实验结果分析
[0072]
为了验证本技术的网络结构在指静脉的脉络上的分割效果，本技术在自建数据集上采用三种不同的分割方法作为对比进行实验，分别采用传统unet网络、segnet网络及res_unet网络进行对指静脉的静脉纹路进行分割实验。图10示出了系统在训练过程中的准确度变化曲线，其中，横坐标为训练的轮次(epoch)，纵坐标为准确率，相应的数字通过箭头指向对应的曲线，与附图右下方的数字代表的曲线含义相对应；如unet网络对应曲线1、segnet网络对应曲线2、resnet50_unet网络(后面简写为res_unet)对应曲线3，本发明的系统对应曲线4(命名为veinseg_net)，后续附图含义类似，不再赘述。在系统的训练过程中，传统的unet和segnet的准确率在第10个轮次后的变化较慢，在40个轮次慢慢趋于稳定。在图10中可以看到，传统的unet网络的训练准确率稳定在97％左右，而segnet的训练准确率逐渐稳定在95％左右。res_unet网络和本系统在第5个轮次后逐渐趋于稳定，但本技术提出的网络结构的训练准确率要比res_unet高，在20到30个轮次之间，并且本系统的准确率也要高于res_unet,然后逐渐趋于稳定。在验证集上的表现参见图11，从中可以很明显的看到系统的网络结构在同样的条件下要比其他三个网络结构的效果要好，并逐渐趋于稳定。训练过程的交并比(train_miou)参见图12，从中可以很明显的看到本技术的网络对指静脉的脉路分割的效果要好于传统的unet和segnet网络，本技术提出的网络结构的训练均交并比(miou)在第5个轮次以后要高于res_unet，并逐渐趋于稳定。验证过程的交并比(val_miou)参见图13所示，从不同的网络结构在验证集上的均交并比的变化曲线可以得出，传统的unet和segnet的验证均交并比虽然有波动，但是第30个轮次会逐渐趋于稳定，传统的unet的miou会趋于0.65左右并逐渐稳定，sgenet的miou会趋于0.58左右并逐渐趋于稳定。相比于unet、segnet和res_unet,本系统的网络结构在前5个轮次的均交并比要低于res_unet,但在第5个轮次以后，本系统的网络结构的均交并比要高于res_unet,并逐渐稳定在0.73左右。
[0073]
为了验证mish激活函数的性能，在自建数据集上进行了三组对比实验，第一组使用relu激活函数，relu函数不适用于较大梯度的输入，因为在参数更新以后，relu神经元不会再有激活功能，从而会导致梯度永远为零，即relu函数可能会存在网络“died”的问题；第二组使用mish激活函数，mish激活函数在负值的时候并不是完全截断的，而是允许有比较小的负梯度流入，这样可以保证指静脉的脉路信息的完整性，同时可以缓解relu激活函数带来的网络”died”的问题；第三组使用swish激活函数在相同的实验条件下测试其性能。由图14可以得出使用三个不同的激活函数的在验证集上的miou对比结果:mish>relu>swish。由此可知，本技术采用的mish激活函数miou要比relu、swish效果要好。用传统的unet网络、segnet网络以及res_unet网络和本系统的网络结构在自建数据集上进行测试得到均交并
比值如表1所示,对于同样的测试数据,同样的测试条件，使用不同的网络结构得到的miou对比结果为:本系统的网络结构>res_unet>unet>segnet。由此可知，本技术提出的网络结构在指静脉的脉络分割上具有更好的效果。
[0074]
表1不同网络结构miou测试结果
[0075]
分割网络结构轮次miou(％)unet5064.96segnet5058.32resnet_unet5071.94本系统的网络结构5072.70
[0076]
图15示出了传统unet、segnet、res_unet以及本技术的系统在验证集上的分割效果，对比发现，本技术的系统可以很清楚的分割出静脉的脉络特征。传统unet、segnet对于静脉分割会出现断点和不连续以及一些噪声点，unet和segnet会有很大的假阳率和假阴率。相比res_unet，本技术的系统分割出来的静脉纹路更加连续而且可以避免噪声点对静脉纹路的影响，同时，面对图像分割模型遇到的图像分割边缘震荡问题，本技术的系统表现得更加优秀，边缘更加清晰。指静脉的不易区分性和相似性使指静脉识别受很多因素的影响，本技术的系统可以从多尺度提取图像特征，算法的鲁棒性更好。
[0077]
根据本发明的一个实施例，提供一种提取指静脉脉络的方法，将提取的指静脉图像输入前述实施例的用于指静脉图像分割的系统，输出分割出的指静脉的脉络图像。例如，输入指静脉灰度图至系统，经系统处理后，得到分割出的脉络图像，例如二值图像所表示的指静脉脉络。
[0078]
根据本发明的一个实施例，一种基于指静脉进行身份识别的方法，例如，利用前述实施例的用于指静脉图像分割的系统或者前述方法提取待识别身份的指静脉的脉络图像；基于所述提取的指静脉的脉络图像进行身份识别。例如，在一些验证身份的设备中，部署本发明的系统，从而对采集到的相应人员的指静脉图像进行分割，得到待识别的脉络图像，并基于待识别的脉络图像与系统中已注册的人员的脉络图像进行匹配计算，从而进行身份识别。
[0079]
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
[0080]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0081]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
[0082]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也
不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。