一种基于深度学习的复杂背景菌落的测量方法与流程

1.本发明公开了基于机器视觉的测量领域中，涉及生物领域中关于菌落尺寸大小测量的方法。


背景技术：

2.菌落总数的测定是医学、食品、农业等行业中普遍需要进行检测的项目之一，尤其在食品行业中，菌落总数是食品卫生质量必不可少的依据之一。目前食品中常用的菌落总数的方法有显色培养基法、电阻抗技术法等，都主要靠人工对菌落总数进行计算并测量，造成人工成本高，效率慢等问题。


技术实现要素：

3.本发明针对现有菌落总数和测量方法的不足，提供了一种基于深度学习的复杂背景下菌落的测量方法。
4.本菌落的测试方法相对于现有的菌落总数计数和测量的方法，对菌落尺寸的测量具有很高的鲁棒性和精确性，同时也大大的减少对菌落样本数量的需求。该方法主要包括以下步骤：
5.步骤 1：菌落区域采集。利用视觉光路系统装置，对生物培养皿中的菌落区域进行拍摄，获取到菌落区域的图像样本。
6.步骤2：菌落样本的扩增。1）首先把采集的菌落图像进行归为集合a={a1,s2,
…
,an}，然后采集一些相近场景的图像归为集合b={b1,b2,
…
,bn}。2）构建对抗学习网络样本。随机从样本集合a和样本集合b中分别各取一张图像组成对抗学习样本组，输入到数据扩增的对抗网络中，设计的数据扩增的对抗网络包含一个生成器和两个辨别器，随机的结合生成器和判别器，并对其中一个判别器采用结构相似损失函数（如式1所示）进行调节，生成器是一个2k层网路，其中前k层中每层网路包含一个3x3的卷积层和1x1的卷积层，间隔两层包含一个dropout层，并采用elu进行激活，后k层网络进行升维，每层将前k层中每层所得到的特征层进行相加和相乘处理；两个判别器都是k 1层网路，其中一个判别器1采用残差网络结构的深度网络，且第k 1层为全连接网络层，另一个判别器2采用金字塔网络结构并与生成器中的前k层权值共享，且第k 1层为全连接网络层。3）菌落数据网络训练。首先保持生成器不变，对判别器1和判别器2进行训练，当判别器1和2 都收敛，然后在保持判别器1和判别器2不变，对生成器进行训练，当生成器网络收敛后，最后对生成器、判别器1和判别器2一起进行训练，当整体网络收敛后，生成大量菌落区域样本。
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式1
7.步骤 3：菌落区域关键点检测网络。1）对菌落数据进行标注：在步骤2生成的数据集中选取典型的菌落图像进行数据标定。首先对菌落的区域进行标注，有菌落的部分涂成黑色，其他部分涂为白色；然后根据几何的先验知识，通过对标注的图像进行处理，得到每
个菌落的关键点，如图2所示。2）构建菌落区域关键点检测网络。将1）中菌落图像和相对应的关键点输入到关键点检测网络中进行训练，设计的关键点检测网络是一个2k 2层模型，其中前k层与数据扩增的对抗网络中的生成器网络的前k层权值共享，后k层进行升维操作，每一层升维中包含一个卷积核为3x3的卷积操作、一个elu卷积操作和一个升维操作。后k层中每n=2n（n为1、2、、、k/2）层时与前2n层进行进行相加，即：f(y)=h(x) x，其中x为2n（n为1、2、、、k/2）；后k层中每n=2n 1（n为1、2、、、k/2-1）层与前k层网络中的2n 1（n为1、2、、、k/2-1）层进行相乘，即：w(z)=h(v)*v，其中v为2n 1（n为1、2、、、k/2-1），对k-1层分别进行全卷积操作得到f
s1
和进行卷积核为3x3的卷积操作、elu卷积操作和升维操作，然后对第k层进行全卷积操作得到f
s2
，对f
s1
和f
s2
进行相加并进行全卷积操作得到fo，最后对f
s1
和fo相加并进行全卷积操作得到go，即go=g(fo，f
s2 )，其中g表为全卷积操作。3）将样本图像输入到关键点检测网络中，网络输出为相应图像的关键点。
8.步骤4：菌落尺寸的精确测量。由步骤3可得菌落区域的关键点，由公式2可得菌落区域的长度r，即为菌落测长度。
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式2其中xi、yi为菌落区域的关键点，、，λ为调节系数。
附图说明
9.图1是本发明采集的待测量的菌落图像。
10.图2 是本发明关键点的图像。
11.图3是本发明二值化标注图像。
具体实施方式
12.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
13.本菌落的测试方法相对于现有的菌落总数计数和测量的方法，对菌落尺寸的测量具有很高的鲁棒性和精确性，同时也大大的减少对菌落样本数量的需求。该方法主要包括以下步骤：
14.步骤 1：菌落区域采集。利用视觉光路系统装置，对生物培养皿中的菌落区域进行拍摄，获取到菌落区域的图像样本。
15.步骤2：菌落样本的扩增。1）首先把采集的菌落图像进行归为集合a={a1,s2,
…
,an}，然后采集一些相近场景的图像归为集合b={b1,b2,
…
,bn}。2）构建对抗学习网络样本。随机从样本集合a和样本集合b中分别各取一张图像组成对抗学习样本组，输入到数据扩增的对抗网络中，设计的数据扩增的对抗网络包含一个生成器和两个辨别器，随机的结合生成器和判别器，并对其中一个判别器采用结构相似损失函数（如式1所示）进行调节，生成器是一个2k层网路，其中前k层中每层网路包含一个3x3的卷积层和1x1的卷积层，间隔两层包含一个dropout层，并采用elu进行激活，后k层网络进行升维，每层将前k层中每层所得到的特征层进行相加和相乘处理；两个判别器都是k 1层网路，其中一个判别器1采用残差网络
结构的深度网络，且第k 1层为全连接网络层，另一个判别器2采用金字塔网络结构并与生成器中的前k层权值共享，且第k 1层为全连接网络层。3）菌落数据网络训练。首先保持生成器不变，对判别器1和判别器2进行训练，当判别器1和2 都收敛，然后在保持判别器1和判别器2不变，对生成器进行训练，当生成器网络收敛后，最后对生成器、判别器1和判别器2一起进行训练，当整体网络收敛后，生成大量菌落区域样本。
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式1
16.步骤 3：菌落区域关键点检测网络。1）对菌落数据进行标注：在步骤2生成的数据集中选取典型的菌落图像进行数据标定。首先对菌落的区域进行标注，有菌落的部分涂成黑色，其他部分涂为白色；然后根据几何的先验知识，通过对标注的图像进行处理，得到每个菌落的关键点，如图2所示。2）构建菌落区域关键点检测网络。将1）中菌落图像和相对应的关键点输入到关键点检测网络中进行训练，设计的关键点检测网络是一个2k 2层模型，其中前k层与数据扩增的对抗网络中的生成器网络的前k层权值共享，后k层进行升维操作，每一层升维中包含一个卷积核为3x3的卷积操作、一个elu卷积操作和一个升维操作。后k层中每n=2n（n为1、2、、、k/2）层时与前2n层进行进行相加，即：f(y)=h(x) x，其中x为2n（n为1、2、、、k/2）；后k层中每n=2n 1（n为1、2、、、k/2-1）层与前k层网络中的2n 1（n为1、2、、、k/2-1）层进行相乘，即：w(z)=h(v)*v，其中v为2n 1（n为1、2、、、k/2-1），对k-1层分别进行全卷积操作得到f
s1
和进行卷积核为3x3的卷积操作、elu卷积操作和升维操作，然后对第k层进行全卷积操作得到f
s2
，对f
s1
和f
s2
进行相加并进行全卷积操作得到fo，最后对f
s1
和fo相加并进行全卷积操作得到go，即go=g(fo，f
s2 )，其中g表为全卷积操作。3）将样本图像输入到关键点检测网络中，网络输出为相应图像的关键点。
17.步骤4：菌落尺寸的精确测量。由步骤3可得菌落区域的关键点，由公式2可得菌落区域的长度r，即为菌落测长度。
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式2其中xi、yi为菌落区域的关键点，、，λ为调节系数。
18.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。