一种基于深度卷积神经网络的菌落分割计数方法及系统与流程

1.本发明涉及菌落分割计数技术领域，尤其涉及一种基于深度卷积神经网络的菌落分割计数方法及系统。


背景技术：

2.国内外有很多仪器厂商生产菌落自动计数仪，从产品大致可以分为两种：一种是手动数字显示式自动细菌检验仪器，实验人员识别菌落，但是不用数数，由仪器来记录实验人员选取的菌落的数量，这种仪器只能显示数量，不能储存可追溯的样品的结果照片，比如xc-30菌落计数器，由计数器、控笔、计数池等部部分组成；另外一种是全自动菌落计数仪，比如qxc-30全自动菌落计数器和梅里埃的ec2自动菌落计数仪，通过对培养皿拍照并进行处理以及分析得出菌落数，并保存图片以及计数值。但是目前市面上的仪器都存在一些问题：手动计数的菌落计数仪仅仅只是辅助试验人员进行计数，增加计数的准确性，但是并没有解决替代人工和提高效率的问题；自动计数仪的问题在于尽管实现全自动无人工参与，但是其仅能处理单一种菌落出现的场景，而对于食品领域多种菌落，混合菌落等复杂情况下无法解决，其计数准确率有非常大的下滑。
3.这是因为目前的菌落计数内部的算法存在一定的缺陷和不足，例如使用环形灯进行菌落图像拍摄，实现高清晰度的菌落图像拍摄。以及在其基础上使用机械传动黑箱拍摄装置，但在算法检测识别中未进行创新研发。在算法上使用数字图像处理计数，采用中值滤波等方式去除图像噪声，对灰度图像进行适应性阈值处理，最后通过连通域检测的方式进行菌落计数。这是一种典型的菌落计数方式，但是这种方式的缺点在于菌落的误检测严重，适应性不强，具有较大的应用局限性。通过使用人工智能最新的深度学习技术进行菌落分割计数的研究，对菌落图像进行实例标注，使用基于mobilenetv1和ssd的级联实例分割网络进行菌落检测，相比于传统的数字图像处理方法，其效果有较大的提升，但是其采用检测的方式会使得生成的菌落检测框过多，需要一系列的检测抑制操作。同时其方法的模型精度较低，且不能解决菌落粘连等一系列情况。
4.综上所述，现有的产品计数仪器具有一定的局限性，一方面仅能处理单一菌落的情况，对于混合菌落的情况不能精确处理，另一方面的产品仅仅能够做到辅助检测，并不能实现完全的自动化检测计数。此外，对于现有的专利产品而言，一方面的专利集中在机械传动的高精度黑箱拍摄系统，这为菌落计数算法的研发奠定关键基础，但其专利的本身并没有解决核心的检测计数问题。另一方面对于菌落计数的算法研发上，具有两种解法方案，一种是传统的数字图像处理方法，利用腐蚀膨胀滤波等方式进行图像预处理，再利用各种阈值处理方式进行菌落分割计数，这种方式的优点在于运算处理速度快，但是其识别精度差，难以实际应用。另一种方式是使用最新的基于深度学习的人工智能技术，但使用的检测网络模型存在较大的误检效应，且不能解决菌落粘连情况下的计数问题等。


技术实现要素：

5.为了针对现有菌落分割计数算法对混合菌落和复杂菌落的识别精度不足的问题，本发明的目的是提出一种基于深度卷积神经网络的菌落分割计数的方法，用于实现对不同尺度菌落目标的高精度分割以及精准菌落计数。
6.为了实现上述技术目的，本发明提供了一种基于深度卷积神经网络的菌落分割计数方法，包括以下步骤：
7.在暗箱环境下，采集低噪声菌落图像数据，通过labelme软件进行修改并进行菌落标注，获取初始图像数据；
8.基于mobilenetv2的基础模块，采用unet模型的跳跃连接方式，并在模型编码器的结尾添加一个aspp结构，构建多尺度聚合模型，多尺度聚合模型用于通过将高维度语义信息和低维度边缘信息进行结合，对初始图像数据进行菌落分割，获取菌落分割图像数据；
9.通过适用性分水岭算法，对菌落分割图像数据进行处理后，采用四连通域检测的方式进行菌落计数。
10.优选地，在获取初始图像数据的过程中，对进行菌落标注的低噪声菌落图像数据，通过顶帽变换进行预处理，获取初始图像数据，用于实现对不同场景下背景的强鲁棒性。
11.优选地，在采用unet模型的跳跃连接方式的过程中，跳跃连接方式用于在模型解码器端和同尺度的编码器特征进行拼接，实现特征的结合和保留。
12.优选地，在模型编码器的结尾添加一个aspp结构的过程中，aspp结构用于获得单一特征层输出的多尺度特征以及降低池化层的层数。
13.优选地，在构建多尺度聚合模型的过程中，将级联分割网络模型融合到多尺度聚合模型中，用于实现多尺度聚合模型的精细化和轻量化。
14.优选地，在对初始图像数据进行菌落分割的过程中，基于欧几里得距离图的中心损失函数，通过计算前景点和背景点到边缘的欧几里得距离，作为损失函数的权重，同时分别使用两个参数控制其指数变换量，实现对中心点的加强识别。
15.一种基于深度卷积神经网络的菌落分割计数系统，包括：
16.图像采集模块，用于在暗箱环境下，采集低噪声菌落图像数据；
17.数据预处理模块，用于通过labelme软件进行修改并进行菌落标注，获取初始图像数据；
18.菌落分割模块，用于基于mobilenetv2的基础模块，采用unet模型的跳跃连接方式，并在模型编码器的结尾添加一个aspp结构，构建多尺度聚合模型，多尺度聚合模型用于通过将高维度语义信息和低维度边缘信息进行结合，对初始图像数据进行菌落分割，获取菌落分割图像数据；
19.菌落技术模块，用于通过适用性分水岭算法，对菌落分割图像数据进行处理后，采用四连通域检测的方式进行菌落计数。
20.优选地，菌落分割计数系统，还包括：
21.数据存储模块，用于存储低噪声菌落图像数据、初始图像数据、菌落分割图像数据、菌落计数的计数数据以及菌落分割计数系统产生的其他系统数据；
22.数据显示模块，用于显示初始图像数据以及在初始图像数据的当前显示界面上显示菌落分割图像数据和计数数据。
23.本发明公开了以下技术效果：
24.相比于现有技术，本发明实现了在对多种菌落混合的复杂场景分割计数，解决小目标菌落检测丢失，菌落粘连等一系列情况，实现高自动化，高精度，高效率的自动化检测计数。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明实施例所述的；采集菌落图像及其标注示例图；
27.图2为本发明实施例所述的；数据增强示例图；
28.图3为本发明实施例所述的；菌落分割网络结构图；
29.图4为本发明实施例所述的；菌落分割结果验证集可视化对比图；
30.图5为本发明实施例所述的；菌落分割结果测试集可视化图；
31.图6为本发明实施例所述的；菌落去粘连可视化第一示例图；
32.图7为本发明实施例所述的；菌落去粘连可视化第二示例图；
33.图8为本发明实施例所述的：菌落分割计数软件平台图。
具体实施方式
34.下为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.如图1-8所示，本发明提供了一种基于深度卷积神经网络的菌落分割计数方法，包括以下步骤：
36.在暗箱环境下，采集低噪声菌落图像数据，通过labelme软件进行修改并进行菌落标注，获取初始图像数据；
37.基于mobilenetv2的基础模块，采用unet模型的跳跃连接方式，并在模型编码器的结尾添加一个aspp结构，构建多尺度聚合模型，多尺度聚合模型用于通过将高维度语义信息和低维度边缘信息进行结合，对初始图像数据进行菌落分割，获取菌落分割图像数据；
38.通过适用性分水岭算法，对菌落分割图像数据进行处理后，采用四连通域检测的方式进行菌落计数。
39.进一步优选地，在获取初始图像数据的过程中，对进行菌落标注的低噪声菌落图像数据，通过顶帽变换进行预处理，获取初始图像数据，用于实现对不同场景下背景的强鲁棒性。
40.进一步优选地，在采用unet模型的跳跃连接方式的过程中，跳跃连接方式用于在模型解码器端和同尺度的编码器特征进行拼接，实现特征的结合和保留。
41.进一步优选地，在模型编码器的结尾添加一个aspp结构的过程中，aspp结构用于获得单一特征层输出的多尺度特征以及降低池化层的层数。
42.进一步优选地，在构建多尺度聚合模型的过程中，将级联分割网络模型融合到多尺度聚合模型中，用于实现多尺度聚合模型的精细化和轻量化。
43.进一步优选地，在对初始图像数据进行菌落分割的过程中，基于欧几里得距离图的中心损失函数，通过计算前景点和背景点到边缘的欧几里得距离，作为损失函数的权重。菌落的中心点距离边缘相对最远，因此其权重会最大，这是因为本研究认为识别出菌落的中心区域即可识别出该菌落，相比之下菌落边缘的精细程度可以做一定的让步。同时分别使用两个参数控制其指数变换量，实现对中心点的加强识别。
44.一种基于深度卷积神经网络的菌落分割计数系统，包括：
45.图像采集模块，用于在暗箱环境下，采集低噪声菌落图像数据；
46.数据预处理模块，用于通过labelme软件进行修改并进行菌落标注，获取初始图像数据；
47.菌落分割模块，用于基于mobilenetv2的基础模块，采用unet模型的跳跃连接方式，并在模型编码器的结尾添加一个aspp结构，构建多尺度聚合模型，多尺度聚合模型用于通过将高维度语义信息和低维度边缘信息进行结合，对初始图像数据进行菌落分割，获取菌落分割图像数据；
48.菌落技术模块，用于通过适用性分水岭算法，对菌落分割图像数据进行处理后，采用四连通域检测的方式进行菌落计数。
49.进一步优选地，菌落分割计数系统，还包括：
50.数据存储模块，用于存储低噪声菌落图像数据、初始图像数据、菌落分割图像数据、菌落计数的计数数据以及菌落分割计数系统产生的其他系统数据；
51.数据显示模块，用于显示初始图像数据以及在初始图像数据的当前显示界面上显示菌落分割图像数据和计数数据。
52.实施例1：本发明首先基于先前的微生物菌落计数设备的硬件基础，对高清无噪声的菌落图像进行菌落的分割计数处理。本专利设计一种食品菌落的自动计数方法，该方法的步骤包括：1)对培养皿数据进行样本采集；2)对培养皿菌落图像进行像素级别的语义标注，搭建标准数据集；3)搭建一个多尺度特征聚合的级联背景分割网络，使用原图、背景、粗糙语义分割的三输入，并利用顶帽变换进行背景一致均匀化。网络使用u型的级联网络，其中mobilenetv2作为骨干网络。最后使用基于目标的中心损失函数进行目标引导实现高精度分割；4)使用适应性分水岭算法实现菌落去粘连处理，实现高精度计数。5)进行检测结果的可视化和分析。
53.数据集的采集和研发：
54.根据自动菌落计数的需求，我们需要批量采集高精度的低噪声菌落图像数据，用于算法的研发和未来的实践应用。依据前期的拍摄平板实验调查结果显示，暗箱环境下拍摄可以减少光线对图像采集的影响。同时考虑到图像的流水线批量采集，我们与检验中心联合设计一个简易采集设备。设备运行采用气缸等方式进行平皿的推送，并采用弹性机构
进行定位，人工只需要做产品的上下料；设备拟采用ccd传感器对培养皿的位置进行准确定位，对于设备的外观、构造等也进行了设计，仪器运行示意图1硬件采集设备所示。
55.设备的工作流程设计如下：
56.1、人工将所有培养皿进行装载，放入流水线的载具中；
57.2、对载具进行挡停定位；
58.3、向拍摄点供料(培养皿被运送至指定拍摄点)；
59.4、拍摄完成后，培养皿被运送至收料载具中。
60.通过以上流程，可以实现平板的推送、定位、回收等。样品的批量化检测的方法是建立在智能化流水线的基础上。这种处理方法在医院、食品安全的理化检测等很多领域内都是被成熟应用的。另外，拍照系统的技术也是成熟的，因此将这种架构应用于微生物检测领域有其理论和实践上的合理性。
61.根据暗箱操作数据采集的要求，我们共采集一个月中不同时间段送样的微生物菌落图像数据，图像的分辨率为高清4k(4608
×
3456)。由于需要对图像内部的每一个菌落都进行标注，我们在开源的labelme软件上进行一定程度的修改并给予到检测中心专家进行标注，具体的结果如图1所示。
62.数据预处理：
63.由于接下来的网络结构，在网络结构中我们采取了原图像 背景图 粗糙语义分割的三输入模式。在这种模式中，背景图像是一个强先验信息。背景的偏差过大会直接影响模型的训练和推理效果。因此我们需要对背景做一个均匀化，使得在有一定光照或者菌落干扰的情况下背景保持一致性。同时由于背景进行一致化的操作，输入图像也因此需要进行同样的操作以保持同维变化。在图像预处理操作，我们采用在菌落分割计数领域常用的顶帽变换进行预处理，实现背景的均匀一致化。这是由于顶帽变换可以通过腐蚀、膨胀操作的处理实现对不均匀光照的平衡。对于目标处理以后的结果如图2所示。从图中我们可以看出经过数据预处理后背景呈现一致的黑色，其含有菌落的图像的背景也呈现一致的颜色，有效避免光照对背景的图像，实现对不同场景下背景的强鲁棒性。
64.网络结构：
65.整体的网络架构如图3所示，本发明首先采用一个多输入的方式进行先验引导，多模态输入包括原图、背景、以及粗糙语义分割。在本发明的网络模型中我们采用输入的通道拼接进行多模态拼接，这不仅是因为该方式简洁且效果良好，更是因为我们在输入预处理中已经进行相应的背景抑制。接下来将分别讲解我们的网络模型设计原理。
66.(1)多尺度聚合。多尺度特征聚合的处理是希望解决高维度语义信息和低维度边缘信息等的结合，实现高精度的分割。在图3中的网络模型中可以看到，我们一方面采用unet模型中的跳跃连接方式，在解码器端和同尺度的编码器特征进行拼接，实现特征的结合和保留。除此之外，我们在模型编码器的结尾添加一个aspp的结构，这种结构的设计一方面是为了获得单一特征层输出的多尺度特征，另一方面是降低池化层的层数，在保持感知野的同时，保持特征图的高分辨率，以实现小目标的获取能力。
67.(2)级联分割网络。考虑到多模态输入的特殊性，我们并不只是单纯在输入端进行多模态在通道维度上的拼接，更是基于此提出级联网络模型。在目标检测领域有提出过级联的rcnn网络进行级联不同iou阈值的输出我们提出的级联网络是出于两个目的：精细化
和轻量化。如图3所示，模型在每一级别都会输出一个分割结果图，然后将该结果图作为新的粗糙语义分割图，和原始图以及背景图进行拼接实现新一次的分割结果。级联网络的设计可以辅助平衡精度和参数量。其中骨干网络模型采用mobilenetv2的基础模块，广泛应用可分离卷积，实现参数量和运算量的下降。mobilenetv2架构的轻量化设计有助于模型未来的扩展研究。
68.(3)基于欧几里得距离图的中心损失函数。通过计算前景点和背景点到边缘的欧几里得距离，作为损失函数的权重，同时分别使用两个参数控制其指数变换量，实现对中心点的加强识别。
69.菌落分割结果可视化：
70.我们对模型的输出结果进行可视化，其结果如图4所示。由于篇幅的限制，只截取其中的三张图表现本文的模型与其余算法之间的差异，对比u-net、u-net 、deeplabv3、ocrnet以及pspnet等。从图5中可以看出，本文的模型分割效果好于之前的算法。对于密集小目标的提取，如中间的图像可知，由于本文一系列对小目标提取的策略，最终对小目标的分割能力有较大的提升，能够很好地分割出物体缺失的区域。更多的测试图像可视化表现如图5所示。
71.菌落计数：
72.菌落计数采用四连通域检测的方式进行计数，但是由分割时候会出现菌落粘连在一起的情况，因此需要通过算法进行去粘连处理。这里本专利使用适用性分水岭的算法进行处理，主要的原因在于对于不同尺寸目标需要使用不同的腐蚀膨胀系数，因此我们根据目标的占据像素，分类为小、中、大三种目标，并对其进行参数设计，具体的结果如图6和图7所示。
73.软件平台设计：
74.本文主要解决整个微生物菌落检测设备的软件系统，根据硬件的设备拍摄采集相关的图像数据，搭建一套与硬件设备匹配的软件系统。该系统搭载我们的菌落分割计数算法，并进行可视化展示。通过该软件系统，一方面将采集数据与存储数据库连接起来，一方面通过中间的算法处理和人工校正方式实现自动化的检测识别，减轻人工负担的同时大大提高运行效率，其中包括前端的界面展示，专家结果矫正，检测数据的入库等。具体的展示结果如图8所示。