一种基于注意力机制的微生物菌落分割方法

1.本发明属于注意力机制(attention mechanism)与卷积神经网络(convolutional neural network)的深度学习领域，尤其涉及一种基于注意力机制的微生物菌落分割方法。


背景技术：

2.近年来，食品安全问题频发，而食品安全事件无不与菌落相关。如何确定各种特殊场合的菌落种类也成为了大家普遍关注的问题。在一定程度上而言，菌落数量的多与少，可以直接或间接的反映出食品安全以及环境卫生的质量情况。随着近几年我国对食品安全和环境保护等领域加强了监管，菌落观察分析等工作的需求已越来越大，然而传统的依靠人工的菌落处理方法不仅工作内容繁琐，耗费大量时间，也容易造成主观错误。
3.卷积神经网络是由多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括激活层和池化层。与其他深度学习结构相比，卷积神经网络在图像分割与识别方面能够给出更好的结果。
4.注意力机制借鉴了人类的视觉注意力，人类在观察外部事物或者一幅图像时是有一种选择性的,即重点关注感兴趣的那部分区域，忽略其他无关细节，也就是常说的注意力焦点。这种机制可以帮助人类从大量冗余的信息中快速准确地筛选出感兴趣的、有价值的信息，从而极大地提高获取信息的效率。将注意力机制运用到神经网络中，能捕捉特征图中的长范围依赖，可以更加准确的定位某一种类菌落的位置及形状。
5.已有的菌落处理方法要么对菌落的分类效果较好，要么对菌落的边界形状及细节分割比较理想，但问题是现存方法无法在获取好的菌落分类结果的同时实现复杂菌落边界的高精度分割。


技术实现要素：

6.本发明目的在于提供一种基于注意力机制的微生物菌落分割方法,以解决现有方法无法在获取好的菌落分类结果的同时实现复杂菌落边界的高精度分割的技术问题。
7.为解决上述技术问题，本发明的一种基于注意力机制的微生物菌落分割方法的具体技术方案如下：
8.一种基于注意力机制的微生物菌落分割方法，包括如下步骤：
9.步骤1:菌落培养后用工业相机拍摄菌落图像，获取菌落数据集d，之后将d中所有n张菌落图像数据按40:7:7的比例划分为训练集、验证集、测试集；
10.步骤2:使用数据增强的方法对预输入的图片进行处理；
11.步骤3:设计注意力机制模块csa，并将其嵌入到高分辨率卷积神经网络中，形成深度卷积神经网络模型；
12.步骤4:通过加载预训练的网络模型参数对卷积神经网络进行参数初始化，输入数据在卷积神经网络中经过前向传播会得到一个期望输出，如果这个期望输出与数据的实际类别标签不相同，则将误差逐层反向传播至输入层，每层的神经元会根据该误差对网络结
构中的参数进行更新；
13.步骤5:每一次训练结束后，使用验证集对网络模型进行验证，并保存其准确率最高的模型参数作为最优模型；
14.步骤6:在测试集上对最优模型进行测试，并将菌落语义分割结果图输出，结果图中用不同灰度级的区域分别代表不同种类的菌落。
15.进一步的，所述步骤1包括深度卷积神经网络的数据输入，每一次输入的数据包含原始图片和标记图片，其中标记图片是通过不同的颜色对不同微生物菌落类型进行标记。
16.进一步的，所述步骤2数据增强的方法包括随机水平翻转，随机竖直翻转，360度随机旋转、随机裁剪。
17.进一步的，所述步骤3注意力机制模块csa首先对输入维度为c
×h×
w的特征图像分别进行水平平均池化和垂直平均池化，得到维度分别为c
×h×
1和c
×1×
w的中间特征图；用c表示第c个通道，h表示特征图中的第h行，w表示特征图中的第w列，该过程的计算公式分别是：
18.水平平均池化：
19.垂直平均池化：
20.之后，将得到的中间特征图分别用三个不同1
×
1卷积核进行处理；对于行池化，三个1
×
1卷积得到的特征图分别为qh，kh和vh；相应的，列池化得到的为qw，kw和vw；其中前两个1
×
1卷积核会使中间特征图的维度变为c'
×h×
1或c'
×1×
w，c'为降低维度后的通道数；而第三个1
×
1卷积核不会改变其维度，仍为c
×h×
1或c
×1×
w；紧接着，将前两个1
×
1卷积核处理过的特征图进行矩阵乘法，此过程会对特征图进行维度变换，使得矩阵相乘的形式为：(1
×h×
c')*(1
×
c'
×
h)或(1
×w×
c')*(1
×
c'
×
w)，故得到的注意力图维度为1
×h×
h或1
×w×
w；再将其使用softmax函数处理后与第三个1
×
1卷积结果进行矩阵乘法，同样地，需要将1*1卷积结果维度变换为1
×c×
h或1
×c×
w再进行计算，具体计算公式可表示为：
21.水平方向：
22.垂直方向：
23.上述公式中q
hi
、q
wi
表示特征图qh和qw的第i个位置，k
hj
、k
wj
表示特征图kh和kw的第j个位置；而s
ij
和t
ij
则表示在注意力图中第i个位置对第j个位置的影响力，s
ij
或t
ij
越大，就表示两个位置之间的相关性越高；由此得到的注意力特征图的维度为c
×h×
1和c
×1×
w；接着，将水平方向和垂直方向得到的结果均扩张至c
×h×
w，最后与原始输入特征图进行逐个像素相加，输出经过一个csa处理的特征图。
24.进一步的，所述步骤4将注意力机制模块csa嵌入到主体网络的各个卷积模块中后，执行前向传播计算网络参数，并将获得的输出向量oi经过softmax函数得到某一个像素点与其他所有像素的相关性权重向量wi；接着按照向量wi中的权重值与对应位置的像素相乘并累加便是网络对于每一个像素点预测的最终结果yi；得到的分类结果yi和当前正确的标签值y'i分别作为crossentropy损失函数的两个输入，计算损失值；将误差信号传递到每
一层的输出，再通过每一层的函数对参数的导数，可求得参数的梯度；再通过随机梯度下降(sgd)优化器更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化损失函数。进一步的，所述步骤5：每一次训练结束之后，使用图像分割中最常用的评估标准交并比iou在验证集上验证本发明提出模型的有效性，其具体计算公式为：iou＝(y'∩y)/(y'∪y)，其中y'为真实值，y为预测值；同时，保存iou最大的模型参数，当训练次数达到一定次数停止训练；最后加载iou最大的模型参数得到训练后的卷积神经网络的最终模型。进一步的，所述步骤6将一张未经处理的菌落图像输入到卷积神经网络中，首先使用两个卷积核大小为3
×
3，卷积步长为2的卷积层将输入图像下采样为原始大小的1/4，并在每个卷积层后使用批归一化(bn)减少误差；之后，将卷积层处理结果x输入到注意力机制模块csa中，使得进一步处理得到的特征图在保留菌落精确位置信息的同时捕获远程依赖或密集上下文信息；接着，将csa处理得到的特征图与输入图x进行逐个像素相机，获得一个注意力机制模块处理的最终结果x'。
25.进一步的，在经过多次注意力机制模块的处理之后，卷积神经网络还包括一个segmentation层，首先用卷积核大小为1
×
1，步长为1的卷积层处理先前得到的特征图，其保持特征图的通道维度不变；之后使用批归一化和relu激活函数保证特征数据的准确性；最后，通过卷积核大小为1
×
1，步长为1的卷积层将特征图通道维数变为菌落种类数；由此可以得到最终的菌落分割效果图。
26.本发明的一种基于注意力机制的微生物菌落分割方法具有以下优点：
27.(1)本发明提出了一种新型微生物菌落分割方式，提出了注意力机制模块csa，并首次采用语义分割的卷积神经网络与注意力机制相结合的方式对微生物菌落进行分割与分类。
28.(2)该菌落分割方法所分割出的菌落边界更加接近真实情况，而且准确率也更高，有利于对菌落进行后续的分析操作，在食品安全、医疗卫生、环保等行业具有重大意义。
附图说明
29.图1是本发明的整体流程图。
30.图2是本发明的注意力机制模块的详细处理过程图。
31.图3是本发明的卷积神经网络主体的结构图。
32.图4是本发明的模型的总体处理过程示意图。
具体实施方式
33.为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于注意力机制的微生物菌落分割方法做进一步详细的描述。
34.如图1所示，本发明的一种基于注意力机制的微生物菌落分割方法包括如下具体步骤：
35.步骤1：菌落培养后用工业相机拍摄菌落图像，获取菌落数据集d，之后将d中所有n张菌落图像数据按40:7:7的比例划分为训练集、验证集、测试集。例如216张菌落图像中训练集，验证集和测试集的菌落图像分别为160张、28张、28张。每一次的深度卷积神经网络输入的数据包含原始图片和标记图片，其中标记图片是通过不同的颜色对不同微生物菌落类
型进行标记。
36.步骤2：在训练网络模型时，在训练集上使用数据增强的方法(随机水平翻转，随机竖直翻转，360度随机旋转、随机裁剪)对预输入的图片进行处理，在训练集的160张菌落图像中，80张进行了随机水平翻转，80张进行了水机竖直翻转，所有160张图像均利用了随机旋转和随机裁剪，最后将图片数据转化成向量形式；
37.步骤3：如图2所示，设计注意力机制模块csa(cross strip attention)，并将其嵌入到高分辨率卷积神经网络中，形成本发明所提出的深度卷积神经网络模型。与传统神经网络常用的全局平均池化不同，本发明提出的注意力机制模块csa首先对输入维度为c
×h×
w的特征图像分别进行水平平均池化和垂直平均池化，得到维度分别为c
×h×
1和c
×1×
w的中间特征图。用c表示第c个通道，h表示特征图中的第h行，w表示特征图中的第w列，该过程的计算公式分别是：
38.水平平均池化：
39.垂直平均池化：
40.之后，我们将得到的中间特征图分别用三个不同1
×
1卷积核进行处理。对于行池化，三个1
×
1卷积得到的特征图分别为qh，kh和vh；相应的，列池化得到的为qw，kw和vw。其中前两个1
×
1卷积核会使中间特征图的维度变为c'
×h×
1或c'
×1×
w，c'为降低维度后的通道数；而第三个1
×
1卷积核不会改变其维度，仍为c
×h×
1或c
×1×
w，此种做法的目的是降低计算的复杂度。紧接着，将前两个1
×
1卷积核处理过的特征图进行矩阵乘法，此过程会对特征图进行维度变换，使得矩阵相乘的形式为：(1
×h×
c')*(1
×
c'
×
h)或(1
×w×
c')*(1
×
c'
×
w)，故得到的注意力图维度为1
×h×
h或1
×w×
w。再将其使用softmax函数处理后与第三个1
×
1卷积结果进行矩阵乘法，同样地，需要将1*1卷积结果维度变换为1
×c×
h或1
×c×
w再进行计算，具体计算公式可表示为：
41.水平方向：
42.垂直方向：
43.上述公式中qh i、qw i表示特征图qh和qw的第i个位置，类似的，kh j、kw j表示特征图kh和kw的第j个位置；而s
ij
和t
ij
则表示在注意力图中第i个位置对第j个位置的影响力，s
ij
或t
ij
越大，就表示两个位置之间的相关性越高。由此得到的注意力特征图的维度为c
×h×
1和c
×1×
w。传统卷积神经网络方法只能获取与卷积核大小相等的上下文信息，在进行分类或者分割时所能使用的信息量较少，故分类或分割存在准确率不高的情况。而通过本发明设计的csa模块获取的注意力图可以得到原始输入特征图在水平方向或者垂直方向上的上下文信息，增多处理过程中可利用的信息量，有利于菌落的总体形状以及边界细节的分割和不同菌落的分类。接着，将水平方向和垂直方向得到的结果均扩张至c
×h×
w，最后与原始输入特征图进行逐个像素相加，输出经过一个csa处理的特征图；由于水平注意力和垂直注意力的融合，该过程进一步增强了本发明提出网络的特征表征能力，有利于处于不同位置但种类相同的微生物菌落的分割与分类。
44.步骤4：通过加载预训练的网络模型参数对本发明所设计的卷积神经网络进行参数初始化，输入数据在卷积神经网络中经过前向传播会得到一个期望输出，如果这个期望输出与数据的实际类别标签不相同，则将误差逐层反向传播至输入层，每层的神经元会根据该误差对网络结构中的参数进行更新。如图3所示，加载预训练模型的参数初始化神经网络，该网络是本发明所设计的卷积神经网络的主体。在将本发明所设计的注意力机制模块csa嵌入到主体网络的各个卷积模块中后，执行前向传播计算网络参数，并将获得的输出向量oi经过softmax函数得到某一个像素点与其他所有像素的相关性权重向量wi；接着按照向量wi中的权重值与对应位置的像素相乘并累加便是网络对于每一个像素点预测的最终结果yi；得到的分类结果yi和当前正确的标签值y'i分别作为crossentropy损失函数的两个输入，计算损失值。将误差信号传递到每一层的输出，再通过每一层的函数对参数的导数，可求得参数的梯度。再通过随机梯度下降(sgd)优化器更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化损失函数。
45.步骤5：每一次训练结束之后，使用图像分割中最常用的评估标准交并比iou在验证集上验证本发明提出模型的有效性，其具体计算公式为：iou＝(y'∩y)/(y'∪y)，其中y'为真实值，y为预测值。同时，保存iou最大的模型参数，当训练次数达到一定次数停止训练。最后加载iou最大的模型参数得到训练后的卷积神经网络的最终模型。
46.步骤6：利用本发明提出的深度卷积神经网络模型在测试集上对最优模型进行测试并输出微生物菌落的语义分割结果图，结果图中不同灰度级的区域分别代表不同种类的菌落。该过程如图4所示。将一张未经处理的菌落图像输入到本发明提出的卷积神经网络中，首先使用两个卷积核大小为3
×
3，卷积步长为2的卷积层将输入图像下采样为原始大小的1/4，并在每个卷积层后使用批归一化(bn)减少误差。之后，将卷积层处理结果x输入到本发明提出的注意力机制模块csa中，使得进一步处理得到的特征图在保留菌落精确位置信息的同时捕获远程依赖或密集上下文信息。接着，将csa处理得到的特征图与输入图x进行逐个像素相机，获得一个注意力机制模块处理的最终结果x'。在经过多次注意力机制模块的处理之后，本发明提出的网络还有一个segmentation层，首先用卷积核大小为1
×
1，步长为1的卷积层处理先前得到的特征图，其保持特征图的通道维度不变；之后使用批归一化和relu激活函数保证特征数据的准确性；最后，通过卷积核大小为1
×
1，步长为1的卷积层将特征图通道维数变为菌落种类数(图4中为4，包含背景)。由此可以得到最终的菌落分割效果图，效果图中不同灰度级的区域分别代表不同种类的菌落。
47.可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明所保护的范围内。