一种基于改进的注意力卷积神经网络白细胞五分类方法与流程

1.本发明属于医学显微图像分类领域，涉及一种并行嵌入注意力模块卷积神经网络的白细胞分类方法。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.白细胞是免疫系统的一部分，它们负责摧毁和清除旧的或异常的细胞和细胞碎片，以及攻击病原体和异物。通常在血液中发现的白细胞是成熟的中性粒细胞、淋巴细胞和单核细胞，其中嗜酸性粒细胞和嗜碱性粒细胞的数量较少。白细胞数量的增加或减少可能代表某些疾病的发病迹象，各种白细胞的形态和比例可以反映一个人的健康状况。因此白细胞的精确分类对临床诊断和治疗起着至关重要的作用。人工镜检是临床上白细胞检测的“金标准”，可以准确的对白细胞进行分类并且可以观察到白细胞的病理学变化。但这种方法需要将血液样本经过繁琐的处理制作成血液涂片在显微镜下由专业的检验人员进行操作镜检，由于其操作繁琐，耗时时间长，镜检工作重复性强，可能会导致检验人员产生疲惫对白细胞的类别进行误判或漏判，进而影响对疾病的诊断和治疗。
4.近年来，由于卷积神经网络在处理多阵列呈现的数据表现出良好的性能，被广泛应用在医疗图像分类领域。然而，目前很多深度学习方法在执行卷积运算时无法充分利用关键特征和重要信息，这在很大程度上限制了神经网络的性能。目前，注意力机制已经广泛应用在自然语言处理和计算机视觉等人工智能相关领域。使用注意力机制可以使模型学会注意力
‑
能够忽略无关信息而关注关键信息，从而提高计算机视觉任务的性能。一些研究者已经把加入注意力机制的卷积神经网络用于白细胞的分类，主要包括：
5.专利《基于深层卷积神经网络的多类白细胞自动识别方法》(cn 110059568 a)提出了一种加入了注意力的深度卷积神经网络对白细胞进行分类。该深度卷积神经网络利用9个inception模块级联组成，在第4个和第7个inception模块分别添加了辅助分类器，并且在每个inception模块级联的时候加入se
‑
net通道注意力。在ilsvrc数据集对模型进行预训练，在训练集上对网络进行微调，实现对白细胞的分类。
6.缺点：该方法添加的辅助分类器利用了两个中间特征层来预测类别只是为了防止梯度消失等问题，并没有为网络最终决策提供更多帮助；此外inception网络超参数过多，泛化能力较差，不一定有一个较好的结果。
7.专利《基于混合残差注意力残差网络实现白细胞自动分类方法及系统》(cn 113343799a)提出一种混合注意力机制的残差网络对白细胞进行自动分类，该混合注意力机制残差网络通过堆叠使用残差注意力模块构成一个混合注意力残差网络，将卷积后得到的特征图通过混合注意力模块提取关键特征实现白细胞的分类。
8.缺点：此网络由多个残差注意力模块堆叠而成，忽略了低层次特征在遍历多次残差注意连接后受到的噪声影响，并且低层次特征(如纹理)在细粒度识别中很重要，可以帮
助区分两个相似的类。


技术实现要素：

9.针对目前方法中存在的堆叠使用残差注意力模块带来的噪声影响以及未能完全利用不同层次特征的问题，本发明提供了一种基于改进的注意力卷积神经网络白细胞五分类方法，以resnext
‑
50为骨干网路，网络中的分组卷积可以大大减少模型参数量，在骨干网络并行嵌入一种独立的注意力机制模块对低层次特征图和高层次特征图提取关键信息，并通过注意力模块分别得到不同层次特征图的预测类别和置信度分数，最后对所有预测类别通过置信度加权和平均得到模型输出类别，达到了提高白细胞分类准确率的目的。
10.为了实现上述目的，本发明采用的技术方案是：
11.一种基于改进的注意力卷积神经网络的白细胞分类方法，包括以下步骤：
12.步骤(1)：采集白细胞图像，并把完整的血液显微图像裁剪为单独的图像，并由血液检验专家对白细胞进行类别标注；
13.步骤(2)：对于步骤(1)采集到的白细胞显微图片进行图像增强操作，并进行预处理；
14.步骤(3)：将步骤(2)处理后的白细胞图像数据集随机地按照一定的比例划分为训练集和测试集；
15.步骤(4)：构建改进的注意力卷积神经网络模型，使用步骤(3)划分的训练集对模型进行巡练，此过程为一次前向传播过程；
16.步骤(5)：经过一次向前传播后，使用交叉熵损失函数计算预测值和真实值之间的误差，通过使用adam算法来不断地减小损失误差，并更新网络模型每层的参数，此过程为一次后向传播过程；
17.步骤(6)：反复经过步骤(4)的前向传播和步骤(5)的后向传播，不断更新网络层参数，当训练轮数达到设置的最大训练轮数时，网络模型收敛，训练结束，保存训练集准确率最高的网络模型为最优网络模型；
18.步骤(7)：使用步骤(6)保存的最优网络模型进行白细胞分类，输入一张白细胞图像到训练好的模型中，输出白细胞的类别。
19.步骤(1)的具体实施过程包括：首先使用显微镜对医院提供的血液涂片进行白细胞显微图像采集，在整个显微图像上以一个完整白细胞为中心裁剪大小为256*256的白细胞图像，并由血液专业对裁剪后的白细胞图像类别进行标注。
20.步骤(2)的具体实施过程包括：针对白细胞进行数据增强操作，包括上下左右裁剪、随机旋转、增强图像对比度，镜像翻转。
21.步骤(3)中将步骤(2)处理过后的图像数据集随机地按照7:3的比例划分为训练集和测试集。
22.所述的网络模型以残差网络resnext
‑
50为骨架使用分组卷积减少模型参数量，使用一种轻量型的注意力机制并行嵌入残差网络resnext
‑
50的各个阶段，对网络模型的不同层次的特征图生成空间注意热图，并输出基于局部信息的类别预测和置信度分数。最终的输出预测由所有类别预测和归一化置信度分数加权而成。
23.我们所采用的注意力机制可以添加在每个卷积层之后，并且不改变网络整体的结
构。注意力模块主要包括两个子模块：注意头h，它提取了特征图对类别决策最相关的区域；输出头o，通过全局池化和全连接生成类别预测，并且为每个注意头输出置信门得分。每个注意力机制将得到类别预测和置信度得分，最后将所有的类预测由置信度分数加权平均得到最终的预测类别。
24.与之前的技术相比，本发明具有以下优势：
25.1、本发明改进的注意力卷积神经网络同时采用注意力机制对低层次特征和高层次特征提取最感兴趣的部分，并利用这些特征输出类别预测和置信度得分来帮助最后模型的分类决策。
26.2、本发明采用了残差网络模型，在残差模块中使用了分组卷积，让网络学习不同的特征，降低网络参数的同时，也提高了模型的精度。
27.3、本发明采用了一种轻量化的注意力机制，并不会给模型带来复杂的参数，且注意力机制模块十分灵活，可以在不同的深度和宽度进行扩展，并且表现出很好的性能。
附图说明
28.图1为本发明方法流程图。
29.图2为本发明中使用的resnext
‑
50(34
×
4d)的残差模块。
30.图3为本发明中使用的注意力模块示意图。
31.图4为本发明中的注意力卷积神经网络示意图。
32.图5为五类白细胞显微图像。
具体实施方式
33.以下结合附图和技术方案，进一步说明本发明的具体实施方式。
34.如图1所示，本发明的总体步骤如下：
35.步骤1：数据集的采集和准备，将血液检验专家制作好的血液涂片在相同条件下用装有工业相机的生物显微镜(放大倍数为1000倍)进行白细胞显微图像的采集。以完整的单个白细胞为中心在整张图像裁剪出大小为256*256的白细胞图像，并且由血液检验专家将这些大小为256*256的白细胞图像进行类别标注，准确地分出嗜中性粒细胞、嗜酸性粒细胞、嗜碱性粒细胞、单核细胞和淋巴细胞。
36.步骤2：对步骤1采集和标注后的白细胞图像进行数据增强操作，具体的，对白细胞图像进行裁剪，分别以图像四个角和中心各截取大小为224*224的白细胞图像，并对进行镜像翻转，以及30度、60度旋转，增强图像对比度，以此来获取不同位置和不同环境下的白细胞图像，防止模型过拟合，增加模型的泛化能力。
37.步骤3：将步骤2增强过后的白细胞数据集随机按照7:3的比例划分为训练集和测试集，训练集用于对卷积网络模型的参数训练过程，测试集用于检验整个白细胞五分类识别算法的效率和参数权重的更新；
38.步骤4：构建改进的注意力卷积神经网络模型，本发明设计的网络模型以resnext
‑
50为骨干网络，在每个阶段后面并行嵌入了一种注意力机制来利用不同层次特征最有用的部分生成类别预测和置信度得分辅助最终模型的决策。
39.1)resnext
‑
50网络将inception、resnet、vgg中的优秀思想归纳并演绎，得到一个
结构简洁的强大的网络结构。resnext
‑
50由一个普通卷积结构，一些残差块，和一个全连接层组成。如图2所示，每个残差模块的左半部分由两个1*1的卷积核和3*3的卷积核组成卷积操作，右半部分则是一个快速连接操作，两部分的结果经过加操作经激活函数得到输出。具体地，对于左半部分的卷积操作首先通过1*1的卷积核实现整体升降维，然后采用分组卷积的思想对通道切分为32个分支，每个32分支的4通道特征图经过3*3卷积核分别做运算，将得到的变换结果(特征图)进行聚合。与resnet类似，整个resnext
‑
50有4个layer层，layer1含有3个残差块，layer2含有4个残差块，layer3含有6个残差块，layer4含有3个残差块。
40.2)在resnext
‑
50不同阶段末嵌入注意力模块，如图3所示，每个注意力模块包括了注意头和输出头两大部分。注意头部分对卷积过后得到的特征图z使用1*1的卷积核进行卷积操作和空间softmax输出注意力热图m，注意力热图m与输入特征图z通道的乘积通过广播机制得到注意头的输出h，其中m是一个2维平面，空间softmax用于模型学习图像中最相关的区域。每个注意模块注意头的的输出h由一个空间降维层(即全局池化层)组成，后面通过一个全连接层产生类别预测o，每个注意力模块根据其局部信息做出类别预测o。然而，在某些情况下，局部特征并不足以输出一个好的预测。为了缓解这个问题，我们让每个注意力模块以及骨架网络输出，通过与权矩阵的内积来预测置信度分数c，然后通过softmax函数对置信度分数进行归一化，得到权值g，网络的最终输出是各输出的类别预测和置信度分数的加权和，计算公式为
41.output＝g
net
·
output
net
∑∑g
lk
·
o
lk
42.其中output为整个网络模型的最终输出，g
net
为骨干网络的输出的归一化后的置信度分数，output
net
为骨架网络的的类别预测，g
lk
为每个注意力模块的输出的归一化后的置信度分数，o
lk
为每个注意力模块的类别预测。
43.使用步骤3得到的白细胞训练集数据对步骤4设计的网络模型进行训练，此过程为一次前向传播。
44.经过一次向前传播后，使用交叉熵损失函数计算预测值和真实值之间的误差，通过使用随机梯度下降算法来不断地减小损失误差，并更新网络模型每层的参数，采用学习率固定步长递减策略，步长为7个epoch，gamma系数为0.1，此过程为一次后向传播过程。
45.反复经过步骤5的前向传播和步骤6的后向传播，不断更新网络层参数，当训练轮数达到设置的最大训练轮数时，网络模型收敛，训练结束，保存训练集准确率最高的网络模型为最优网络模型。
46.利用步骤7保存的最优模型对白细胞测试集进行五分类预测，测试测准确率如下表所示。
[0047][0048]
应当理解的是，本说明书未详细阐述的部分均属于现有技术。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等均应包含在本发明的保护范围内。