基于深度学习的手机端静脉显像方法与流程

技术特征：
1.一种基于深度学习的手机端静脉显像方法，其特征在于，所述的方法为：；步骤一、静脉图像数据集处理；步骤二、静脉显像网络的构建与训练；步骤三、静脉显像网络的轻量化；步骤四、网络模型手机端部署。2.根据权利要求1所述的一种基于深度学习的手机端静脉显像方法，其特征在于，所述的步骤一具体为：1.1、对原始采集得到的同帧可见光图像和近红外图像进行限制对比度自适应直方图均衡化，提升近红外图像的对比度，使得图中的静脉信息得到加强；1.2，对经过限制对比度自适应直方图均衡化处理后的近红外图像进行中值滤波；中值滤波器以滤波器包围的图像区域中所包含的像素灰度级的中值来代替中心像素的值，如公式(1)所示：其中为计算得出的该区域像素灰度级的中值，s
xy
为滤波器包围的图像区域，g(m，n)为滤波器区域内的像素值；1.3，图像数据集数据增强，对可见光图像进行随机色度变化，用以模拟不同人之间肤色的差异；对可见光图像逆时针随机旋转15
°
至45
°
，以及进行水平和垂直翻转用以模拟拍摄角度的变化，除色度变化外，对可见光图像所作的空间变化对其同帧的近红外图像也要实行同等变化；1.4，对图像数据归一化，统计训练集中各图像的像素分布规律，选出一幅像素值接近均值的图像作为基准图像，对训练集中的所有图像进行直方图规定化；1.5，将原始图像切成192*128大小的图像块作为训练集数据。3.根据权利要求1所述的一种基于深度学习的手机端静脉显像方法，其特征在于，所述的步骤二具体为：2.1，网络主要分为三个部分：特征提取器部分，联合上采样部分和上采样还原部分；特征提取器部分对输入图像进行卷积操作提取图像特征图，其中部分卷积层会对图像进行下采样操作，用来生成不同尺度的特征图；联合上采样部分将特征提取器部分所得到的尺寸大小不同的特征图上采样到相同尺寸进行拼接，并使用扩张卷积对拼接的特征图再一次提取特征，以期望不同尺寸的特征之间能够得到融合，获得静脉的尺度及形状信息；上采样还原部分对联合上采样部分输出的特征图上采样使最终输出的结果图与输入图像在尺寸上相同；2.2，显像网络采用全卷积的结构，直接以最后一个卷积层的特征图作为输出；网络训练时以输入图片对应的近红外图片作为真值图，采用均方误差损失作为损失函数，衡量输出结果与真值图像的差异大小；损失函数分为两个部分，第一部分为网络输出结果与真值图像均方误差损失，记为a；第二部分为使用vgg16网络对网络输出结果图像和真值图像提取特征图，并对两者的特征图做均方误差损失，记为b；最终，损失函数确定为：loss＝0.8*a 0.2*b；2.3，训练采用五折交叉验证；将训练集中图像的90％划分为训练集，10％划分为验证
集；记学习率为lr，训练总轮数为epochs，当前训练轮次为epo，学习率执行如式(2)所示的变化：4.根据权利要求1所述的一种基于深度学习的手机端静脉显像方法，其特征在于，所述的步骤三具体为：采用深度可分卷积代替原网络模型中所使用的普通卷积可以减少网络的参数量和计算量，起到模型轻量化的作用；设输入通道数为m，输出特征图尺寸为：d
f
*d
f
*n，卷积核尺寸为：d
k
*d
k
*m，一个卷积层的滤波器中共包含n个卷积核；普通卷积的参数量为d
k
*d
k
*m*n，深度可分卷积的参数量为分组卷积的参数量加上逐点卷积的参数量；其中分组卷积的参数量为d
k
*d
k
*m，逐点卷积的参数量为m*n，故深度可分卷积总参数量为(d
k
*d
k
n)*m。普通卷积的计算量为d
k
*d
k
*m*d
f
*d
f
*n，深度可分卷积的计算量包含分组卷积的计算量和逐点卷积的计算量；其中分组卷积的计算量为：d
k
*d
k
*m*d
f
*d
f
*1，逐点卷积的计算量为1*1*m*d
f
*d
f
*n，所以深度可分卷积总计算量为d
f
*d
f
*m*(d
k
*d
k
n)；普通卷积与深度可分卷积的参数量与计算量之比如式(3)和式(4)所示：通卷积与深度可分卷积的参数量与计算量之比如式(3)和式(4)所示：在卷积层中，n往往较大，取常见的卷积核尺寸d
k
＝3，可知在使用深度可分卷积代替普通卷积后，该卷积层的参数量约为之前的1/9。5.根据权利要求1所述的一种基于深度学习的手机端静脉显像方法，其特征在于，所述的步骤四中的选择android系统的手机端，cpu基于arm架构的智能手机作为部署实例中的硬件平台；采用ncnn框架作为手机端的推理框架，采用计算机视觉开源库opencv对图像数据进行处理；即使用android studio作为开发环境，以转换得到的模型权重文件和编译得到的ncnn_android和opencv_android库构建项目，以app的形式将静脉显像算法部署到手机端。

技术总结
本发明公开了一种基于深度学习的手机端静脉显像方法，属于图像处理与深度学习技术领域:包括：1）静脉图像数据集处理：采集同步的皮肤可见光图像与近红外图像，并对近红外图像进行增强，突出静脉信息，为后续网络训练提供真值数据；2）静脉显像网络的设计与训练：搭建静脉显像网络，以处理好的静脉图像数据集作为训练集训练网络；3）网络轻量化：改进显像网络，压缩其参数规模和计算量；4）手机端部署与应用：将轻量化后的网络部署到手机端运行，实现手机端的静脉显像。本发明基于深度学习方法及手机端开源神经网络推理框架提高了静脉显像工作的便捷性，在医疗领域具有很大的使用价值。在医疗领域具有很大的使用价值。在医疗领域具有很大的使用价值。


技术研发人员：钱蒙恩 唐超颖 杨嘉睿 王彪 李丽荣
受保护的技术使用者：南京航空航天大学
技术研发日：2021.07.14
技术公布日：2021/11/14