一种基于深度学习的复杂背景菌落的测量方法与流程

技术特征：
1.一种基于深度学习的复杂背景菌落测量方法，该方法提出了一种结合对抗学习网络与关键点检测网络为一体的菌落尺寸测量方法：首先通过对抗学习网络实现对菌落区域样本的扩增，很大的减少了深度学习网络对样本的需求量；然后将对抗网络中的特征提取部分的权值迁移到菌落区域中关键点检测网络中，这样大大的提高了检测网络中对样本特征的提取能力，对菌落尺寸的测量具有很高的鲁棒性和精确性，同时也大大的减少对菌落样本数量的需求。2.根据权利要求1所述的一种基于深度学习的复杂背景菌落测量方法，其特征在于该方法主要包括以下步骤：步骤 1：菌落区域采集：利用视觉光路系统装置，对生物培养皿中的菌落区域进行拍摄，获取到菌落区域的图像样本。3.步骤2：菌落样本的扩增：1）首先把采集的菌落图像进行归为集合a={a1,s2,
…
,an}，然后采集一些相近场景的图像归为集合b={b1,b2,
…
,bn}；2）构建对抗学习网络样本：随机从样本集合a和样本集合b中分别各取一张图像组成对抗学习样本组，输入到数据扩增的对抗网络中，设计的数据扩增的对抗网络包含一个生成器和两个辨别器，随机的结合生成器和判别器，并对其中一个判别器采用结构相似损失函数（如式1所示）进行调节，生成器是一个2k层网路，其中前k层中每层网路包含一个3x3的卷积层和1x1的卷积层，间隔两层包含一个dropout层，并采用elu进行激活，后k层网络进行升维，每层将前k层中每层所得到的特征层进行相加和相乘处理；两个判别器都是k 1层网路，其中一个判别器1采用残差网络结构的深度网络，且第k 1层为全连接网络层，另一个判别器2采用金字塔网络结构并与生成器中的前k层权值共享，且第k 1层为全连接网络层；3）菌落数据网络训练：首先保持生成器不变，对判别器1和判别器2进行训练，当判别器1和2 都收敛，然后在保持判别器1和判别器2不变，对生成器进行训练，当生成器网络收敛后，最后对生成器、判别器1和判别器2一起进行训练，当整体网络收敛后，生成大量菌落区域样本。4.
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式1步骤 3：菌落区域关键点检测网络：1）对菌落数据进行标注：在步骤2生成的数据集中选取典型的菌落图像进行数据标定，首先对菌落的区域进行标注，有菌落的部分涂成黑色，其他部分涂为白色；然后根据几何的先验知识，通过对标注的图像进行处理，得到每个菌落单元的关键点，如图2所示；2）构建菌落区域关键点检测网络：将1）中菌落图像和相对应的关键点输入到关键点检测网络中进行训练，设计的关键点检测网络是一个2k 2层模型，其中前k层与数据扩增的对抗网络中的生成器网络的前k层权值共享，后k层进行升维操作，每一层升维中包含一个卷积核为3x3的卷积操作、一个elu卷积操作和一个升维操作，后k层中每n=2n（n为1、2、、、k/2）层时与前2n层进行进行相加，即：f(y)=h(x) x，其中x为2n（n为1、2、、、k/2）；后k层中每n=2n 1（n为1，2、、、k/2-1）层与前k层网络中的2n 1（n为1，2、、、k/2-1）层进行相乘，即：w(z)=h(v)*v，其中v为2n 1（n为1，2、、、k/2-1），对k-1层分别进行全卷积操作得到f
s1
和进行卷积核为3x3的卷积操作、elu卷积操作和升维操作，然后对第k层进行全卷积操作得到f
s2
，对f
s1
和f
s2
进行相加并进行全卷积操作得到f
o
，最后对f
s1
和f
o
相加并进行全卷积操作得到g
o
，即g
o
=g(f
o
，f
s2 )，其中g表为全卷积操作；3）将样本图像输入到关键点检测
网络中，网络输出为相应图像的关键点。5.步骤4：菌落尺寸的精确测量：由步骤3可得菌落区域的关键点，由公式2可得菌落区域的长度r，即为菌落测长度。6.
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式2其中x
i
、y
i
为菌落区域的关键点，、，λ为调节系数。

技术总结
本发明公开了一种复杂背景下培养皿中菌落大小测量的方法，该方法包括如下步骤：利用设计的深度学习网络特征提取器对样本图像进行扩充，然后在应用设计的深度学习网络完成对培养皿中菌落尺寸的测量。本方法能对生物中培养皿中的菌落进行精确测量。首先通过视觉系统装置采集培养皿中菌落区域的图像，然后对菌落区域中的菌落尺寸进行测量：把采集的菌落样品通过设计的对抗网络模型中对菌落图像进行样本的扩增，并将对抗网络模型迁移到菌落区域中关键点的检测网络中，用于加强对关键点的检测能力。本发明能精确的测量多种大小的菌落尺寸，为生物中菌落的培养提供快速、准确的测量技术。技术。


技术研发人员：ꢀ(51)Int.Cl.G06V20/69
受保护的技术使用者：北京晟易机器人科技有限公司
技术研发日：2020.08.27
技术公布日：2022/2/28