基于深度学习的微通道下大肠杆菌与微球的三维定位方法

1.本发明属于细菌计数领域，具体涉及一种基于深度学习的微通道下大肠杆菌与微球的三维定位方法。


背景技术：

2.由于食物经常受到细菌等污染，从而导致各种疾病的发生，对人类健康带来各种危害。因此食品的污染程度的测定对食品安全具有重要意义。其中食品中的细菌数量是反映食品污染程度的一项重要指标。常用的细菌计数方式有平板计数法、基于传感器的检测方式、荧光检测方式、流式细胞术和基于显微图像的检测方式等。其中平板计数法需要进行培养，时间周期长，基于传感器的检测方式会由于传感器的限制而导致检测受限。荧光检测方法需要对样本进行染色，这对样本存在一定的破坏。流式细胞术需要使用到流式细胞仪，而流式细胞仪由于价格昂贵只适合在实验室中使用。显微图像检测方式常结合微流控芯片，由于其高通量，样品用量少等优点，将其作为检测平台并与细菌定量检测结合，大大加快了检测时间并简化了操作步骤，并且适合现场检测。由于微流控芯片中样本十分微小，因此一般需要通过显微镜获取样本的显微图像进行检测，这种方式更加直观并且能够获得更多的信息。对于微通道内的观察可以使用琼脂糖将待测样本液进行固定后进行观察，这种方式观察时细菌不会在微通道内浮动，可以静态的观察。同时也可以对待测物进行染色，对芯片中流动的样本液体实时检测。静态的观测方式可以对通道内的细菌进行延时成像，通过加药等操作后观察通道内细菌的面积变化进行检测。动态的方式可以实时检测视野下经过的细菌个数，通过流速和视野体积计算总体积，最终处理得到细菌个数。但这些成像方式大多都只会聚焦在微通道内的某一个层上进行观察，由于景深的限制会导致丢失掉微通道内其他层的信息，且随着细菌的增长还可能会对该层上的细菌造成干扰。当目标物大小与微通道深度差距较大时能检测到的目标物数量会受到更大的限制。
3.为此提出了一种在三维空间中微通道下的细菌与微球计数方法。利用微通道设计了一种大肠杆菌浓度检测系统，将待测菌液样本、已知浓度的微球溶液和低熔点琼脂糖进行混合，将其固定在微通道内，使得细菌与微球不会在微通道内随液体流动而悬浮或沉降，而细菌活性不受影响。通过使用普通光学显微镜与ccd相机，对微通道最上端聚焦处至最底端聚焦处进行摄影，得到样本视频。将样本视频逐帧取出，利用yolo算法对三维空间内的细菌与微球进行跟踪检测并对细菌数量与微球数量进行计数。该方法能够有效区分不同的目标物(细菌与微球)，并且对其进行准确计数。同时对微球与细菌位置在三维空间中进行重建，可根据选取不同的聚焦层定位到希望观测的细菌或微球位置。


技术实现要素：

4.针对上述问题，本发明提出了一基于深度学习的微通道下大肠杆菌与微球的三维定位方法，该方法能够有效区分不同的目标物(细菌与微球)，并且对其进行准确计数。同时将检测到的目标物在三维空间中进行重构，有效地展示出目标物在空间中是否均匀，为样
本选取和样本的有效性提供评价指标。也可根据选取不同的聚焦层定位到希望观测的细菌或微球位置。
5.一种基于深度学习的微通道下大肠杆菌与微球的三维定位方法，包括以下步骤：
6.步骤1、样本制备
7.使用多个不同浓度的大肠杆菌菌液分别与微球、琼脂糖混合，并分别注入到微通道中，得到多个微通道样本。
8.步骤2、样本视频的采样与拆分
9.2-1.针对每个微通道样本，均取若干个视野；针对每个视野，均进行不同聚焦深度的图像采集，获得视频样本。
10.2-2.根据视频样本中提取若干张图像，组成数据集。
11.步骤3、数据集标注。在数据集的图像中，分别对大肠杆菌和微球打上标签。
12.步骤4、模型训练。利用带标签的数据集训练模型，获得能够分别识别出大肠杆菌和微球的识别模型。
13.步骤5、对大肠杆菌和微球分别进行目标定位。
14.5-1.向微流道中输入混合有微球和琼脂糖溶液的被测菌液；对微流道的不同深度进行聚焦拍摄，获得微流道不同深度的被测图像；使用识别模型对各被测图像进行检测；得到各被测图像中所有细菌和微球对应的候选框[x
l
,y
l
,xr,yr]及其置信度。
[0015]
5-2.按聚焦位置从上到下的顺序对各被测图像进行排序，获得被测图像集合f，针对被测图像集合f中的每个图像帧fi。
[0016]
5-3.按照排列顺序依次对所有图像帧进行识别去重操作，具体如下：依次取图像帧fi中未被访问过的候选框k作为特征框；将特征框标记为已访问状态；对当前图像帧fi逐帧向下进行近似框识别，直到完成最后一个图像帧的近似框识别或有图像帧中不存在特征框的近似框；将特征框的所有近似框均标记为已访问状态。以特征框及其近似框中置信度最高的候选框作为目标点位置，将目标点位置的坐标放入结果集中。所有候选框k均标记已访问状态时，识别去重操作完成。
[0017]
步骤6：三维重建
[0018]
根据步骤5得到的结果集中的所有目标点坐标，构建出包含所有目标点的三维图像。
[0019]
作为优选，步骤2-2中提取数据集的过程如下：
[0020]
分别各微通道的均匀度系数γi如下：
[0021][0022]
式中，φk表示当前微通道中第k个视野下的微球个数，μ表示当前微通道中所有视野下的平均微球个数；vk表示当前微通道中第k个视野对应的体积，n表示当前微通道的视野区域数。将均匀度系数γi小于或等于0.8的微通道对应的所有视频样本去除；之后，将剩余视频样本中微球数量不在预设区间内的视频样本去除。
[0023]
对保留的视频样本进行逐帧取出，得到图片集；在图片集中随机选取多张样本图像作为数据集。
[0024]
作为优选，步骤3中进行数据集标注的具体过程如下：
[0025]
3-1.选取数据集中的若干张不同聚焦程度的含有细菌与微球的局部图像；局部图像仅含有一个大肠杆菌或一个微球；对于含有微球的局部图像，过微球的圆心截取一条直线，计算该直线上每个点的信噪比snr如式(2)所示；计算该截线上的信噪比极差，选取信噪比极差大于1的截线对应的微球图像作为处于聚焦状态的微球。
[0026]
对于含有大肠杆菌的局部图像，过细菌中心截取一条直线，使用式(2)计算该直线上每个点的信噪比snr，计算该直线上每个点的信噪比snr如式(2)所示；计算该截线上的信噪比极差，选取信噪比极差大于0.15的截线对应的大肠杆菌图像作为处于聚焦状态的大肠杆菌。
[0027][0028]
式中，snr表示截线上的一个点的信噪比；gi表示灰度值大小；stddev表示背景的标准差。
[0029]
3-2.工作人员根据处于聚焦状态的细菌和微球的形状特点，对数据集中的所有图像进行人工标注。
[0030]
作为优选，所述的微通道的长度为40mm，宽为0.5mm，高为0.1mm。
[0031]
作为优选，所述的微球为直径2μm的聚苯乙烯微球。
[0032]
作为优选，步骤4中，所述的识别模型采用yolo模型。模型损失函数采用ciou函数。
[0033]
作为优选，步骤4中，在模型训练过程中，采用图像缩放、色彩空间调整和mosaic-8增强方法对数据集中的图像进行数据增强，扩增训练样本数量。
[0034]
作为优选，步骤5-3中，近似框表示与特征框的重叠区域大于或等于特征框的90％的候选框。
[0035]
作为优选，步骤6执行后，进行目标区域细菌变化跟踪，具体过程如下：根据步骤6得到的三维图像，记录感兴趣区域，以及感兴趣区域中的细菌位置和形态。
[0036]
经过预设时长后，再次对微流道进行图像采集，以及细菌、微球的位置检测，获得新的三维图像；利用两个三维图像中微球的位置作为定位基准，获得感兴趣区域中的细菌的生长情况。
[0037]
作为优选，微通道样本中，大肠杆菌菌液、微球、琼脂糖的体积比为1:1:2。
[0038]
本发明的有益效果在于：
[0039]
1.本发明构建了三维立体场景逐帧检测中大肠杆菌与微球的有效训练集，制定了不同聚焦程度的有效标注规则，快速准确检测大肠杆菌与微球，降低微球与细菌的漏检率与错检率和杂质的影响。
[0040]
2.本发明基于微通道，利用三维结构对细菌与微球进行检测与计数，有效降低二维平面检测中细菌堆叠的可能性，有利于细菌与微球的长时程培养下的定位与识别。
[0041]
3.本发明可同时对细菌与微球数量进行计数，可利用微球作为参照或辅助，有效筛选样本与估计菌液浓度。
[0042]
4.本发明可将检测到的目标物在三维空间中进行重构，有效地展示出目标物在空间中是否均匀，为样本选取和样本的有效性提供评价指标。也可根据选取不同的聚焦层定位到希望观测的细菌或微球位置。
附图说明
[0043]
图1为本发明的流程图；
[0044]
图2为微球在不同聚焦状态下的示意图；
[0045]
图3为细菌在不同聚焦状态下的示意图；
[0046]
图4为微通道的示意图；
[0047]
图5为本发明中目标定位的流程图；
[0048]
图6为本发明进行三维重建所得三维图的示意图；
[0049]
图7为模板匹配检测效果图；
[0050]
图8为本发明中yolo检测的效果图。
具体实施方式
[0051]
以下结合附图进行具体说明。
[0052]
一种基于深度学习的微通道下大肠杆菌与微球的三维定位方法，用于对微通道中的大肠杆菌菌液进行大肠杆菌数量和位置的测定。如图4所示，大肠杆菌菌液所处的微通道的长度为40mm，宽为0.5mm，高为0.1mm；微通道中添加有2μm直径的聚苯乙烯微球。
[0053]
如图1所示，该基于深度学习的微通道下大肠杆菌与微球的三维定位方法，包括以下步骤：
[0054]
步骤1、样本制备
[0055]
1-1.将1ml菌液、1ml微球与2ml的1％低熔点琼脂糖利用恒温磁力搅拌器在37℃下进行充分混匀，并利用微泵将所得的混合液注入微通道中。
[0056]
1-2.将注入混合液后的微通道在室温下静置1min，使微通道中的混合液凝固。
[0057]
1-3.分别使用六种不同浓度大肠杆菌菌液；每个浓度的大肠杆菌菌液重复五次样本制备，得到30个微通道样本。本实施例中，六个浓度分别为1.8
×
108cfu/ml、4.2
×
108cfu/ml、4.7
×
108cfu/ml、6.4
×
108cfu/ml、7.3
×
108cfu/ml、9.9
×
108cfu/ml。
[0058]
步骤2、样本视频采样与视频拆分
[0059]
2-1.使用装有40
×
物镜的生物显微镜与连接了1000万像素ccd相机的20
×
电子目对微通道进行录像。每个微通道随机选取10个不同的视野；在录像过程中，将生物显微镜的焦点从微通道顶部逐渐调整到微通道底部，每个视野均获得一个视频样本；视频样本中的各图像帧分别对应微通道不同深度的图像。30个微通道样本各有10个视野，从而得到300个视频样本。
[0060]
2-2.使用式(1)分别计算30个微通道的均匀度系数γi，i＝1,2,...,30；
[0061][0062]
式中，φk表示当前微通道中第k个视野下的微球个数，μ表示当前微通道中所有视野下的平均微球个数；vk表示当前微通道中第k个视野对应的体积，n表示当前微通道的视野区域数。将均匀度系数γi小于或等于0.8的微通道对应的所有视频样本去除；之后，将剩余视频样本中微球数量在区间[150,300]外的视频样本去除；保留的视频样本中大肠杆菌的分散情况更为均匀。
[0063]
对保留的视频样本进行逐帧取出，得到图片集；在图片集中随机选取400张样本图
像作为数据集；将数据集拆分为训练集和验证集；训练集与验证集的比例为0.8:0.2，其中，训练集共有320帧图像，共包含细菌样本1952个，微球样本2701个；验证集共有80帧图像，共包含细菌506个，微球样本729个。
[0064]
步骤三、数据集标注
[0065]
3-1.如图3和4所示，选取数据集中的若干张不同聚焦程度的含有细菌与微球的局部图像；局部图像进含有一个大肠杆菌或一个微球；对于含有微球的局部图像，过微球的圆心截取一条直线，使用式(2)计算该直线上每个点的信噪比snr，计算该截线上信噪比极差(如表1)，选取差值大于1的状态作为微球的聚焦状态。
[0066]
同样的，对于含有大肠杆菌的局部图像，过细菌中心截取一条直线，使用式(2)计算该直线上每个点的信噪比snr，计算该截线上信噪比极差(如表2)，选取极差大于0.15的状态作为微球的聚焦状态。标注出细菌与微球的聚焦状态。
[0067][0068]
式中，snr表示截线上的一个点的信噪比；gi表示该点的灰度值大小；stddev表示背景的标准差。
[0069]
表格1 微球不同聚焦状态下最大信噪比差值表
[0070][0071]
表格2 微球不同聚焦状态下最大信噪比差值表
[0072][0073]
3-2.工作人员根据处于聚焦状态的细菌和微球的局部图像的形状特点，对数据集中的所有图像进行人工标注。
[0074]
步骤4：模型训练
[0075]
对所有数据集图像采用自适应图片缩放至1280
×
1280，以适应设定的yolo模型标准输入尺寸，对模型进行300轮训练，获得能够分别识别出图像中细菌和微球的识别模型；模型训练过程中采用图像缩放、色彩空间调整和mosaic-8增强方法对图像进行数据增强，扩增训练样本数量。模型损失函数采用ciou函数。
[0076]
步骤5、目标定位
[0077]
5-1.向微流道中输入混合有浓度为2
×
108个/ml的微球溶液和1％浓度的低熔点琼脂糖溶液的被测菌液；之后，对微流道的不同深度进行聚焦拍摄，获得微流道不同深度的被测图像；使用步骤4训练得到的识别模型对各被测图像进行检测，得到被测图像中所有细菌和微球的对应目标检测区域位置的候选框[x
l
,y
l
,xr,yr]及其置信度。
[0078]
5-2.按聚焦位置从上到下的顺序对各被测图像进行排序，获得被测图像集合f，针
对被测图像集合f中的每个图像帧fi，分别创建候选框访问状态集合ti。
[0079]
5-3.如图5所示，按照排列顺序依次对所有图像帧的所有未被访问过的候选框k进行识别去重操作，具体如下：
[0080]
选择图像帧fi，若图像帧fi中不存在未被访问过的候选框k，且图像帧fi是最后一帧，则识别去重操作完成，直接进入步骤6。
[0081]
若图像帧fi中不存在未被访问过的候选框k，且图像帧fi不是最后一帧，则继续对下一个图像帧中的未被访问过的候选框进行识别去重操作。
[0082]
若图像帧fi中存在未被访问过的候选框k，则以该候选框作为特征框，并创建置信度列表，并执行下述操作：
[0083]
将特征框在对应帧的候选框访问状态集合中标记为已访问状态，并将特征框的置信度加入置信度列表中。对当前图像帧fi逐帧向下进行近似框识别，直到完成最后一个图像帧的识别或有图像帧中不存在特征框的近似框；近似框表示与特征框的重叠区域大于或等于特征框的90％的候选框。将特征框的所有近似框均标记为已访问状态，并将所有近似框的置信度均加入置信度列表中。以置信度列表中置信度最高的特征框或近似框作为目标点的唯一坐标，将该目标点坐标放入结果集中，以避免重复计数。
[0084]
所有候选框均标记为已访问状态时，说明已完成所有图像帧的识别去重操作；此时，结果集中包含了被测微通道中的所有大肠杆菌和微球，且大肠杆菌与微球被区分开。
[0085]
步骤6：三维重建
[0086]
根据步骤5得到的结果集中的所有目标点坐标，构建出包含所有目标点的三维图像，如图6所示。
[0087]
步骤7：目标区域细菌变化跟踪
[0088]
7-1.根据步骤6得到的三维图像，记录感兴趣区域，以及感兴趣区域中的细菌位置和形态。
[0089]
7-2.在细菌生长一段时间后，按照步骤5和6的方法再次对微流道进行图像采集和细菌形态、微球位置检测，由于通过手动逐层扫描检测无法得到精确的z轴位置信息，即再次对同一样本进行图像采集时，每一帧无法与上一次图像采集时一一对应，从而导致无法分辨两个不同时刻下细菌z轴方向上的生长情况。为此利用微球作为定位基准，将两次图像采集获得细菌的位置联系起来，从而获取各细菌在两次图像采集之间的z轴方向生长和移动情况。由于微球为立体球状，因此在三维空间中无论如何旋转，在z轴上的长度即为微球的直径。以每个微球的出现至微球的消失间的图像帧作为一个2μm的观察层(微球直径)，再根据微球之间的相对位置得到所有观察层。当再次进行图像采集和细菌、微球位置检测时，先通过微球定位到感兴趣区域中的细菌位置，再通过感兴趣区域中所处的观察层相对位置获取细菌在z轴上的生长状况。
[0090]
为了验证本方法效果相较于以模板匹配为代表传统机器视觉方法更好，采用模板匹配方式与本方式进行对比。从实验数据中随机抽取的一帧。分别用上述两种不同方法进行目标检测。图7是采用传统的模板匹配法进行检测，由于微球存在较为规则的结构，因此大部分微球可以被检出，但存在明显的漏检和误检情况，而细菌由于形态各异，仅检出与模板一致的细菌目标，无法实现全部细菌的准确检测。图8是yolo模型检测结果，从对局部区域的放大图像，其中分别对细菌和微球采用不同颜色矩形框进行标记，并显示其置信度，对
于已经淡出视野的微球模型并没有发生误检，而视野中出现的细菌则准确的检出。对比两者检测结果(如表3)，yolo模型在目标检测效果上远好于常规模板匹配方法，且效率大幅提升。并且虽然yolo检测方法中也会存在漏检，但是因为聚焦状态不同导致的，因此在上一帧或下一帧中会被检测出来，通过步骤5可有效的标记出来。
[0091]
表格3 yolo检测方法与模板匹配方法识别准确率表
[0092]