基于重构差异的OCT指纹切面图像真伪检测方法

技术特征：
1.基于重构差异的oct指纹切面图像真伪检测方法，其特征在于，包括以下步骤：步骤s1、构建全卷积神经网络模型，该全卷积神经网络模型的主体由包括编码器、生成器、特征提取器；编码器获取输入图像在潜空间中的数据分布的特征图；生成器从获取的数据分布中重新构造出与输入图像相似的图像；特征提取器使用resnet网络结构，为了能更准确定位到图像中主要区域，减少背景内容干扰，加入了通道注意力模块以及空间注意力模块，加强获取输入图像更具语义信息的特征表示；步骤s2、收集oct系统采集的图像，将来源于不同个体真人手指的b-scan图像作为正样本图像，来源于不同仿制材料所制仿体的b-scan图像作为负样本图像，此外还收集10张oct系统在不放置待测物体时的只有背景的图像；然后对这些图像进行预处理，预处理完成后，从正样本图像中，随机选取70％的正样本图像作为训练数据；选取另外30％的正样本图像和负样本图像，数量均衡后作为测试数据；步骤s3、训练网络模型；选用划分好的训练图像作为输入数据，设定损失函数l
recon
，用于优化编码器、生成器，提升图像重构质量；设定对比损失l
con
，用于优化特征提取器；对所建网络模型进行多轮次训练，通过反向传播，对模型权重参数进行更新优化直到损失函数趋向收敛时，可以停止训练；步骤s4、测试网络模型；应用训练好的网络模型，选用测试数据输入模型进行测试，综合准确率、误检率、漏检率设定合适的阈值，后续实际应用，根据设定阈值对输入图像进行真伪判别。2.根据权利要求1所述的基于重构差异的oct指纹切面图像真伪检测方法，其特征在于，所述步骤s1网络模型中的编码器，具体包括：包括5层下采样卷积层，每层设定卷积核大小f＝3*3，步长s＝2，四周填充padding＝1；每经过这样的卷积操作后，图像尺寸缩小一倍，输出通道数也即特征图数量为该层使用卷积核的数量，以此实现下采样降维。3.根据权利要求1所述的基于重构差异的oct指纹切面图像真伪检测方法，其特征在于，所述步骤s1中的网络模型中的生成器，具体包括：包括5层上采样层，其中上采样层由两部分组成，包含两个过程：使用upsample函数进行上采样，将特征图尺寸扩大一倍；再使用大小f＝3*3的卷积核，设定步长s＝1，四周填充padding＝1进行卷积操作，保持特征图尺寸大小，调整输出通道数，通常设定输出通道数减半。4.根据权利要求1所述的基于重构差异的oct指纹切面图像真伪检测方法，其特征在于，所述步骤s2所述的图像预处理，具体包括：对原始尺寸1800*500的b-scan图像进行图像裁剪操作，分别裁去原始图像左右200像素，得到1400*500的b-scan图像，然后再对图像尺寸进行调整，使用双三次插值方法，将该裁剪后的图像大小缩放到需要的大小，实验中缩放至256*256，并转换为灰度图像；对10张只含背景的图像，进行数据增强扩充数量至100张，保存用于后续操作；数据增强具体方式包括：随机裁剪之后再重新调整成原来的大小、随机高斯模糊、随机翻转。5.根据权利要求1所述的基于重构差异的oct指纹切面图像真伪检测方法，其特征在于，步骤s3所述设定用于优化编码器、生成器部的损失函数l
recon
，具体包括：输入数据包括两部分：原始输入图像数据、随机遮挡后图像数据；其中随机遮挡后图像
数据，在每次加载数据时，使用随机大小的黑色色块在对应图像随机位置上遮挡得到；选用遮挡图像作为训练数据送入编码器、生成器；而原始输入图像数据作为衡量指标，重构的输出图像需与其比较，即计算重构图和原始未遮挡图在像素点上差异度，期望差异值尽量小，使得生成图分布尽量逼近原始输入图，使用l1 loss平均绝对误差，记作重构误差l
recon
，计算方式如下：l
recon
＝||g(e(x))-x||1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，x表示原始输入图像的数据分布状况，g(e(x))表示经由网络模型后重构复原出图像的数据分布状况。6.根据权利要求1所述的基于重构差异的oct指纹切面图像真伪检测方法，其特征在于，步骤s3所述设定用于优化特征提取器的损失函数l
con
，具体过程为：对输入及重构图像x和g(e(x))做垂直翻转，得到对应增强后的图像数据x^、g(e(x))^，将未增强和增强后的数据共计4组数据输入到特征提取器中，获取到的特征向量作为正特征向量，记作z
pos
，同时随机选取同样数量，在步骤s2中准备的增强后的背景图像数据，送入特征提取器中，该部分获得的特征向量作为负特征向量，记作z
neg
；先从z
pos
中选取一正特征向量作为锚点，记作z
o
，依次和同批次中另一种特征向量成对组合，在这些组合中，锚点和正特征向量组成的配对组合称为正数据对，而和负特征向量组成的配对组合称为负数据对；之后依次选取剩余的正特征向量，重复上述操作；数据对中的两向量的相似度由余弦相似度计算体现，其值越接近于1，表示两向量越相似，具体如下式所示：其中，s(a,b)表示为向量z
a
与向量z
b
数据对的余弦相似度，*
t
表示向量转置，||*||表示向量的模长，γ为尺度参数，调整余弦相似度原始[-1,1]范围；确定相似度衡量标准之后，设定对比损失函数l
con
，该损失函数在定义上类似于softmax-交叉熵损失函数，在损失函数优化的过程中，逐渐提高正数据对相似度的占比，从而实现特征提取器部分的学习目标：正数据对相似度最大化，负数据对相似度最小化；先计算其中一种锚点组成的正数据对在所有含该锚点组合中的占比，目标期望该占比越大越好，所以损失函数需要再取负号，如下式所示：其中，l
con_anchor_n
表示以第n个正特征向量为锚点的正数据对的平均损失值，m为含锚点z
o_n
的正数据对总数量，s(z
o_n
，z
pos_i
)表示第i个含锚点z
o_n
的正数据对的余弦相似度，n为含锚点z
o_n
的负数据对总数量，s(z
o_n
，z
neg_j
)表示第j个含锚点z
o_n
的负数据对的余弦相似度；接着，计算剩余锚点组合的损失值，同样依次进行上述计算，最后对所有锚点组合取得的损失值进行求和平均操作，得到特征提取器部分最终对比损失l
con
；其中，n为锚点总数量，该损失函数仅应用于特征提取器部分。7.根据权利要求1所述的基于重构差异的oct指纹切面图像真伪检测方法，其特征在
于，步骤s4中所述真伪判别标准，具体包括：1)在正向传播过程中，将测试图像及重构图像x1、x2输入特征提取器中，获得特征向量z
1 z2；2)选用余弦相似性计算特征向量z
1 z2的相似度；3)根据所有测试数据的余弦相似性计算结果，绘制roc曲线，综合准确率、误检率、漏检率设定合适的阈值；4)只要余弦相似性计算高于阈值，可以认定是真实手指图像，反之则认定是仿制手指图像。

技术总结
一种基于重构差异的OCT指纹切面图像真伪检测方法，包括：S1、构建全卷积神经网络模型，包括编码器、生成器、特征提取器；S2、收集OCT系统采集的图像，预处理完成后，随机选取70％的正样本图像作为训练数据；选取另外30％的正样本图像和负样本图像，数量均衡后作为测试数据；步骤S3、训练网络模型；选用划分好的训练图像作为输入数据，设定损失函数，用于优化编码器、生成器；设定对比损失，用于优化特征提取器；对所建网络模型进行多轮次训练，通过反向传播，对模型权重参数进行更新优化直到损失函数趋向收敛时，停止训练；步骤S4、测试网络模型；应用训练好的网络模型，选用测试数据输入模型进行测试，根据设定阈值对输入图像进行真伪判别。伪判别。伪判别。


技术研发人员：王海霞 朱成芳 张怡龙 陈朋 梁荣华
受保护的技术使用者：浙江工业大学
技术研发日：2022.02.25
技术公布日：2022/6/3