基于注意力残差网络的血液白细胞分类方法与流程

classification based on regional convolutional neural networks.medical hypotheses,135:109472(2020).
10.[5]goodfellow i,pouget
‑
abadie j,mirza m,et al.generative adversarial nets[j].advances in neural informationprocessing systems,27(2014).
[0011]
[6]l ma,r shuai,x ran,et al.combining dc
‑
gan with resnet for blood cell image classification[c].medical&biological engineering&computing,58(6):1251
‑
1264(2020).。


技术实现要素：

[0012]
本发明的目的在于提供一种基于注意力残差网络的血液白细胞分类方法，能够提高白细胞分类的精度。
[0013]
为实现上述目的，本发明的技术方案是：一种基于注意力残差网络的血液白细胞分类方法，设计由多个注意力残差块、一个自适应平均池化层和一个全连接层组成的分类网络arnet对白细胞进行分类，每个注意力残差块中引入通道注意力机制，利用高层学到的白细胞特征图生成低层的注意力图，每个注意力残差块还引入深度可分离卷积来提取白细胞的特征并降低训练成本。
[0014]
在本发明一实施例中，还使用wgan对白细胞图像进行增广，针对白细胞的形态信息，生成器使用5个上采样和卷积层，其内核大小分别为6，4，4，4，4；在判别器中，使用5个卷积层，卷积核大小为3
×
3，步长为1，padding为1；判别器和生成器的损失函数分别为：
[0015][0016][0017]
其中，和表示真实数据和生成数据的概率，生成器和鉴别器之间相互对抗以生成高质量的白细胞图像。
[0018]
在本发明一实施例中，每个注意力残差块包括一个1
×
1卷积、一个深度可分离卷积和一个通道注意力块；深度可分离卷积由3
×
3的深度卷积和1
×
1的逐点卷积组成；通道注意力块由一个自适应平均池化层、两个全连接层和一个sigmoid激活函数组成。
[0019]
在本发明一实施例中，为使分类网络arnet在白细胞数据有限的情况下也能获得更好的泛化能力，在训练中使用标签平滑交叉熵损失函数：
[0020]
y
′
c
＝(1
‑
σ)y
c
σu(c),
[0021][0022]
其中，c表示第c个类别，y
c
表示第c个标签的真实值；σ为平滑因子，u(c)是均匀分布，y
′
c
是第c个标签平滑后的样本标签，表示预测类别的概率。
[0023]
相较于现有技术，本发明具有以下有益效果：本发明将深度学习技术引入白细胞图像分类领域，提出一个基于注意力残差网络的白细胞分类方法。本发明方法在每个残差块中引入通道注意力机制，利用高层学到的白细胞的特征图生成低层的注意力图。每个注意力残差块还引入了深度可分离卷积来提取白细胞的特征并降低训练成本。此外，采用
wasserstein生成对抗网络创建合成对抗网络，生成图像，以增强训练数据集，提升网络性能。在两个公开图像数据集上的实验结果表明，本发明方法提高了白细胞分类的精度。
附图说明
[0024]
图1为本发明方法的流程图。
[0025]
图2为本发明网络模型框架。
[0026]
图3为本发明残差网络与arblock结构。
[0027]
图4为本发明wgan的网络参数。
[0028]
图5为wgan的训练过程(以neutnophils为例)。
[0029]
图6为原始图像(ori)与生成图像(wgan)之间的比较和各类细胞的fid值。(a)嗜碱性粒细胞(b)嗜酸性粒细胞(c)淋巴细胞(d)单核细胞(e)中性粒细胞。
[0030]
图7为wgan训练过程的损失结果(左边是生成器损失，右边是判别器损失)。
具体实施方式
[0031]
下面结合附图，对本发明的技术方案进行具体说明。
[0032]
如图1所示，本发明一种基于注意力残差网络的血液白细胞分类方法，设计由多个注意力残差块、一个自适应平均池化层和一个全连接层组成的分类网络arnet对白细胞进行分类，每个注意力残差块中引入通道注意力机制，利用高层学到的白细胞特征图生成低层的注意力图，每个注意力残差块还引入深度可分离卷积来提取白细胞的特征并降低训练成本。此外，采用wasserstein生成对抗网络创建合成对抗网络，生成图像，以增强训练数据集，提升网络性能。
[0033]
以下为本发明具体实现过程。
[0034]
在gan和resnet的启发下，本发明提出一种新的基于注意力残差网络的白细胞分类方法，模型框架如图2所示，其由多个注意力残差块、一个自适应平均池化层和一个全连接层组成。每个注意力残差块包含一个1
×
1卷积、一个深度可分离卷积和一个通道注意力块。训练数据包含原始图像和通过wgan数据增强生成的图像。详细说明将在以下部分中进行。
[0035]
1、注意力残差块
[0036]
一般来说，当网络深度增加时，模型会获得更丰富的特征信息以获得更好的分类性能，但是网络深度的增加也可能导致梯度消失和网络性能下降的问题。如图3(a)所示，resnet创新性地设计了残差学习单元来克服网络深度增加带来的退化问题。残差块可以表示为：
[0037]
x
i 1
＝f(x
i
,w
i
) i(x
i
),
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0038]
其中x
i
为第i层的输入，x
i 1
为第i 1层的输出，w
i
为第i层的权重，f(
·
)为非线性变换，i(
·
)为特征映射。
[0039]
为了缓解梯度消失和网络性能下降的问题并捕获更多语义信息，注意力残差块(arblock)在图3(b)中引入了深度可分离卷积和通道注意力块。深度可分离卷积由3
×
3的深度卷积和1
×
1的逐点卷积组成。通道注意力块由一个自适应平均池化、两个全连接层和一个sigmoid激活函数组成，可以增强白细胞图像的重要特征并减少细节信息的丢失。本发
明提出的网络包含一个卷积块和四个残差块，四个残差块的堆叠次数分别为2、3、4和2。在残差块中使用selu激活函数可以防止梯度爆炸。
[0040]
2、标签平滑交叉熵损失函数
[0041]
为了使网络在白细胞数据有限的情况下也能获得更好的泛化能力，本发明在训练中使用了标签平滑交叉熵损失函数。首先，平滑分类标签，然后使用交叉熵计算网络的损失，其中考虑了正确分类和错误分类的标签损失。标签平滑交叉熵损失函数如下：
[0042]
y
′
c
＝(1
‑
σ)y
c
σu(c),
ꢀꢀꢀꢀꢀ
(2)
[0043][0044]
其中，c表示第c个类别，y
c
表示第c个标签的真实值；σ为平滑因子，取值0.1，u(c)是均匀分布，y
′
c
是第c个标签平滑后的样本标签，表示预测类别的概率。
[0045]
3、基于wgan的数据增强
[0046]
为了扩展训练数据集，本发明采用了数据增强。gan被称为最具想象力的深度学习网络模型，它由生成器和判别器组成。arjovsly等提出了距离对抗网络，解决了gan在生成样本不稳定的问题，以获得更好的纹理分析结果进行数据增强。本发明使用wgan对白细胞图像进行增广，其参数如图4所示(其中4(a)为生成器，4(b)为判别器)。针对白细胞的形态信息，生成器使用了5个上采样和卷积层来增加训练的稳定性，其内核大小分别为6，4，4，4，4。在判别器中，使用了5个卷积层，卷积核大小为3
×
3，步长为1，padding为1。
[0047]
在wgan中，判别器和生成器的损失函数分别为：
[0048][0049][0050]
其中，和表示真实数据和生成数据的概率。生成器和鉴别器之间相互对抗以生成高质量的白细胞图像。
[0051]
4、实验数据及评价
[0052]
为了验证本发明在标准染色条件下的分类性能，本发明使用了两个图像数据集，共672张图像，包含嗜酸性粒细胞、淋巴细胞、单核细胞、嗜碱性粒细胞和中性粒细胞。dataset1包含在传统染色条件下从cellavision博客收集的98张大小为300
×
300的彩色图像。dataset2包含福建省第三人民医院在传统染色条件下获得的574张大小为256
×
256的彩色图像。每张图像图像清晰且仅包含一个白细胞和多个红细胞。通过调整图像大小，本发明使用大小为128
×
128的图像。在本发明中，选择了常用的五个测度，即fr
é
chet inception distance(fid)、准确度(acc)、精确率(p)、召回率(r)、f1
‑
score。这些评价标准可定义为：
[0053][0054][0055][0056]
[0057][0058]
其中，μ
data
和μ
g
分别为训练样本和生成样本高斯分布的均值，∑
data
和∑
g
分别为训练样本和生成样本高斯分布的方差。tp rp tn fn表示数据集总数，tp fp为表示数据集中被预测为阳性的样本个数，tp fn表示数据集中真实标签为阳性的样本个数。
[0059]
5、定量比较
[0060]
1)wgan数据增强
[0061]
为提高wgan的生成效果，首先对数据集进行传统的数据增强，如翻转、平移等。wgan的训练过程如图5所示，这四幅图像的epoch依次为0、49、99、149。图6显示了原始图像和生成图像之间的比较和各类型细胞的fid值，其中fid值可以指示生成图像的质量，值越小代表生成的图像与原始图像越接近，图像生成的效果越好。结果表明，生成的白细胞图像与真实图像差别不大，可以作为训练数据集。生成器和判别器的损失曲线如图7所示，左侧代表生成器损失，右侧代表判别器损失。这表明wgan在生成图像方面具有更好的性能。通过wgan，生成831张白细胞图像并由专业医生确认。
[0062]
2)白细胞分类结果
[0063]
为了验证所提出的白细胞分类方法的有效性，本发明在arnet上进行了实验，并与几种最先进的方法进行了比较。可以看到表1中每种类型单元格的准确率、召回率和f1
‑
score值都很高，说明arnet可以有效地提取每种类型细胞的特征。如表2所示，它包括了不同分类网络的accuracy
‑
top1、accuracy
‑
top3和loss值。总体而言，使用数据增强将分类准确率普遍提高了约10％。使用wgan数据增强后，resnet50、senet和本发明的方法的白细胞分类精度分别为93.4％、91.37％和93.86％。此外，本发明损失值低于其他方法。综上所述，无论是否使用数据增强，本发明提出的分类方法在准确率和损失方面均优于其他方法，提高了白细胞的分类准确率。
[0064]
表1本发明方法中不同类型细胞的分类精度、召回率和f1值
[0065][0066]
表2白细胞分类结果的比较。y：使用wgan数据增强。n：不使用wgan数据增强
[0067][0068]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作
用未超出本发明技术方案的范围时，均属于本发明的保护范围。