基于重组Unet的近红外静脉图像处理方法、装置及存储介质

基于重组unet的近红外静脉图像处理方法、装置及存储介质
技术领域
1.本发明涉及图像处理领域，尤其是涉及一种基于重组unet的近红外静脉图像处理方法、装置及存储介质。


背景技术：

2.静脉穿刺是医学上最普遍的临床干预措施，也是造成医疗伤害的主要原因。随着人们对生物识别安全性要求的提高，上肢近红外静脉图像可以用于无接触式扎针机器人的血管识别检测工作，对于静脉图像的分割效果将直接影响机器的操作识别效果。
3.目前，实现近红外静脉分割的处理方法包括两种：
4.一种是基于硬件检测实时快照，对视频流进行处理，采用高端的近红外摄像机可以达到接近实时处理的速度，但是高端的设备伴随着昂贵的价格、复杂的操作和调试过程，调试所费时间也较长。同时需要操作员具有较高的熟练度和专注度，实际效果不佳。另一种方法是基于卷积神经网络的图像处理技术，在搭载至机器前使用大量(亦或是少量)数据提前对网络模型进行训练，将训练效果优秀的结果搭载在静脉穿刺设备上，该种方法降低了对操作员的要求，但是提高了对神经网络训练效果的要求，常用的unet网络能够从更少的训练图像中进行学习，但是由于传统的unet模型框架较为复杂，识别速率较低，网络的收敛过程慢，不利于搭载在手术机器人上。
5.cn111046738a提出了一种针对指静脉分割的轻量化unet的精度提升方法，通过加入知识蒸馏的运用，采用参数正常结构相同的unet来辅助训练轻量级的网络，既不会增加网络本身的大小，又可以提高因为参数减少的精度。但该专利使用unet网络来对轻量级网络进行辅助训练，并没有直接缩小unet的结构，收敛速度慢，且难以实现预训练。


技术实现要素：

6.本发明的目的就是为了提供一种基于重组unet的近红外静脉图像处理方法、装置及存储介质，减小unet网络的网络结构，提高计算速度和识别精确度。
7.本发明的目的可以通过以下技术方案来实现：
8.一种基于重组unet的近红外静脉图像处理方法，包括以下步骤：
9.获取近红外静脉图像；
10.构建基于重组unet网络的近红外静脉图像处理模型并进行训练，所述重组unet网络包括依次连接的主干特征提取网络、加强特征提取网络和预测网络，其中，所述主干特征提取网络基于vgg网络对近红外静脉图像进行卷积和下采样处理得到有效特征层，所述加强特征提取网络基于unet网络对有效特征层进行特征融合，得到特征信息，所述预测网络对特征信息进行二分类预测得到静脉图像处理结果；
11.基于训练完成的近红外静脉图像处理模型对近红外静脉图像进行图像处理得到静脉图像处理结果。
12.所述vgg网络由卷积层和池化层组成。
13.所述主干特征提取网络通过2*2的池化层完成下采样。
14.所述有效特征层共5层。
15.所述特征融合为对有效特征层进行2倍上采样处理并执行concat堆叠操作。
16.所述特征信息包括纹理特征和形状特征。
17.所述静脉图像处理结果为仅包括静脉标签和背景标签的静脉图像。
18.所述重组unet网络的损失函数为：
[0019][0020]
其中，yi是特征标签，yi＝1代表静脉标签，yi＝0代表背景标签，p(yi)是n个特征标签为1的预测概率。
[0021]
一种基于重组unet的近红外静脉图像处理装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0022]
一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
[0023]
与现有技术相比，本发明具有以下有益效果：
[0024]
(1)本发明采用基于重组unet网络的近红外静脉图像处理模型，将unet网络的前半段替换为vgg网络，缩短了unet的网络结构，减小了文件大小，利于移动端搭载；
[0025]
(2)本发明采用vgg网络作为前端网络，可以直接使用github中vgg网络在imagenet数据集上的预训练权重，极大幅度缩短训练时间，提高收敛效率；
[0026]
(3)本发明的近红外静脉图像处理模型基于vgg和unet的结合网络模式，可以从更少的数据集中训练获得较好的训练结果；
[0027]
(4)本发明的近红外静脉图像处理模型采用u型网络结构，浅层卷积关注纹理特征，深层卷积关注本质特征；每一次下采样提取特征的同时必然会损失一些边缘特征，失去的特征通常不能通过上采样找回，但是，本发明使用了特征融合的方法，尽最大可能保留了图像的边缘信息，减少了图像失真；
[0028]
(5)本发明采用bce损失函数，将多分类任务降为二分类任务，提高了计算速度，并且损失函数直接反映静脉切割的结果而无需进行换算，提高了数据分析的效率。
附图说明
[0029]
图1为本发明的方法流程图；
[0030]
图2为本发明的图像处理过程示意图；
[0031]
图3为重组unet网络的网络结构示意图；
[0032]
图4为一种实施例中主干特征提取网络的网络结构示意图。
具体实施方式
[0033]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0034]
一种基于重组unet的近红外静脉图像处理方法，如图1所示，包括以下步骤：
[0035]
1)获取近红外静脉图像
[0036]
2)构建基于重组unet网络的近红外静脉图像处理模型并进行训练
[0037]
所述重组unet网络的网络结构如图3所示，包括依次连接的主干特征提取网络、加强特征提取网络和预测网络。基于重组unet网络的图像处理过程如图2所示。
[0038]
①
主干特征提取网络
[0039]
主干特征提取网络基于vgg网络对近红外静脉图像进行卷积和下采样处理得到有效特征层。
[0040]
unet网络由于结构的复杂性导致算法收敛速度慢，以及整体模型过大而不适宜搭载在手术机器人上，因此，将unet网络的前半部分替换为vgg网络以减少模型大小。vgg网络由卷积层和池化层组成，去掉了全连接层，直接缩小的网络结构。
[0041]
本实施例中，主干特征提取网络通过卷积层进行卷积，并通过2*2的池化层完成下采样，得到5个有效特征层。
[0042]
以输入图像大小为512x512x3为例，主干特征提取网络包括5组处理层，如图4所示，每组处理层执行的操作如下所示：
[0043]
处理层1：进行两次3x3的64通道卷积，获得一个512x512x64的初步有效特征层，再进行一次2x2最大池化操作，获得一个256x256x64的有效特征层；
[0044]
处理层2：进行两次3x3的128通道卷积，获得一个256x256x128的初步有效特征层，再进行一次2x2最大池化操作，获得一个128x128x128的有效特征层；
[0045]
处理层3：进行三次3x3的256通道卷积，获得一个128x128x256的初步有效特征层，再进行一次2x2最大池化操作，获得一个64x64x256的有效特征层；
[0046]
处理层4：进行三次3x3的512通道卷积，获得一个64x64x512的初步有效特征层，再进行一次2x2最大池化操作，获得一个32x32x512的有效特征层；
[0047]
处理层5：进行三次3x3的512通道卷积，获得一个32x32x512的初步有效特征层。
[0048]
②
加强特征提取网络
[0049]
加强特征提取网络基于unet网络对有效特征层进行特征融合，得到特征信息。由于主干特征提取网络是采用2*2的下采样对图像进行处理，因此加强特征网络对有效特征层进行2倍上采样处理来进行还原，并执行concat堆叠操作实现特征融合，使得最终获得的特征和输入图像保持尺寸一致。
[0050]
通过加强特征提取网络对近红外静脉图像提取到的特征信息包括纹理特征和形状特征，利用特征信息可以实现图像预测。
[0051]
③
预测网络
[0052]
预测网络对特征信息进行二分类预测得到静脉图像处理结果。
[0053]
vgg网络在imagenet数据集上的预训练过程是一个多分类任务模型，预训练的n_classes为40，在我们的网络流程中将n_classes设置为1，将多分类任务简化为二分类任务。所述二分类是指基于特征信息将图像中的像素分类为静脉标签或背景标签，由此得到的静脉图像处理结果为仅包括静脉标签和背景标签的静脉图像。
[0054]
本实施例采用适用于二分类的bce损失函数作为重组unet网络的损失函数，更能体现出网络的实际收敛情况。
[0055]
所述bce损失函数为：
[0056][0057]
其中，yi是特征标签，yi＝1代表静脉标签，yi＝0代表背景标签，p(yi)是n个特征标签为1的预测概率。
[0058]
3)基于训练完成的近红外静脉图像处理模型对近红外静脉图像进行图像处理得到静脉图像处理结果。
[0059]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0060]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。