一种虫卵计数方法和装置与流程

1.本发明实施例涉及虫卵计数技术领域，尤其涉及一种虫卵计数方法和装置。


背景技术：

2.虫卵计数涉及农业生产的诸多方面，例如在养殖家畜过程中，统计消化道寄生虫能判断寄生虫的感染程度和某种药物的驱虫效果；在农作物种植过程中，统计农业害虫虫卵能评估灾害发生情况；在养殖桑蚕过程中，良卵数和良卵率是评估蚕种质量的重要指标。
3.现有的技术如专利文献cn208383670u公开的一种新型虫卵计数板、专利文献cn212102837u公开的一种犬粪便棘球绦虫虫卵计数板，专利文献cn212741352u公开的球虫卵囊计数装置，均采用计数板的方式，采用玻璃片和刻度板等装置辅助手工统计，存在人工成本高和准确率低的问题。技术文献(张杭文,袁国良,张云,于文驰.基于数字图像处理的鱼卵计数的研究[j].电子设计工程,2013,21(14):190-193.)提出了一种基于数字图像处理的鱼卵计数研究，只对数目不大并且粘连度不高的鱼卵具有较高的精确度，随着卵粒数目的增大，误差随之增大，不具有通用性。技术文献(吴征王,孔新平,孙建春,田发益,董海龙,吴庆侠,李家奎,索朗斯珠.大肠杆菌活菌计数方法的优化[j].高原农业,2019,3(02):193-197.)使用的优化的分光光度法，需要配置培养皿和检测仪器，成本较高，操作方法复杂。


技术实现要素：

[0004]
本发明提供一种虫卵计数方法和装置，采用深度学习算法检测虫卵并计算虫卵面积，建立虫卵总面积和卵粒数目的数学模型，达到计算和统计卵粒数目的目标，以解决现有计数方法中存在的成本高、准确率低、效率低、不通用的问题。
[0005]
第一方面，本发明实施例提供了一种虫卵计数方法，所述虫卵图像由数据采集模块采集得到，所述数据采集模块包括摄像头、测距装置、支架以及托盘，所述摄像头和测距装置与所述托盘的相对距离相同，所述摄像头用于采集托盘中待检测物件的图像信息，所述测距装置用于测量摄像头与所述待检测件之间的距离信息，所述方法包括：
[0006]
s10、采集目标虫卵图像并建立数据集；
[0007]
s20、根据所述数据集，利用改进faster-rcnn训练虫卵目标检测模型；
[0008]
s30、建立虫卵总面积和卵粒数目的数学模型；
[0009]
s40、建立测距装置的数据与摄像头拍摄范围的数学模型；
[0010]
s50、采集待统计的虫卵图像，利用所述目标虫卵检测模型，确定所述待统计的虫卵图像的目标检测输出框；
[0011]
s60、根据所述目标检测输出框、虫卵总面积和卵粒数目的数学模型以及测距装置的数据与摄像头拍摄范围的数学模型，确定所述待统计的虫卵图像的虫卵数量。
[0012]
第二方面，本发明实施例还提供了一种虫卵计数装置，所述虫卵图像由数据采集模块采集得到，所述数据采集模块包括摄像头、测距装置、支架以及托盘，所述摄像头和测
距装置与所述托盘的相对距离相同，所述摄像头用于采集托盘中待检测物件的图像信息，所述测距装置用于测量摄像头与所述待检测件之间的距离信息，所述虫卵图像和距离信息采集完成后，使用数据处理模块进行处理，所述数据处理模块包括：
[0013]
目标检测模型建立模块，利用改进faster-rcnn训练虫卵目标检测模型；
[0014]
数学模型建立模块，用于建立虫卵总面积和卵粒数目的数学模型，以及建立测距装置的数据与摄像头拍摄范围的数学模型；
[0015]
目标检测输出框确定模块，用于采集待统计的虫卵图像，利用所述目标虫卵检测模型，确定所述待统计的虫卵图像的目标检测输出框；
[0016]
计数模块，用于根据所述目标检测输出框、虫卵总面积和卵粒数目的数学模型以及测距装置的数据与摄像头拍摄范围的数学模型，确定所述待统计的虫卵图像的虫卵数量。
[0017]
本实施例的有益效果：
[0018]
本发明通过采用深度学习对图像中的虫卵进行目标检测，使用数据处理模块自动计算和统计卵粒数目，程序运行可在5s内完成，相对误差最小可达0.00047，与手工计数和使用计数板计数相比，本发明的方法能使得计数过程更为简便、快速，能避免由于人工计数在操作过程中由于视觉疲劳等造成的重复计数、漏计、错误判断的发生，能避免在操作过程中对卵粒造成损坏，能留下被测对象的影像记录作为备案。
[0019]
此外，本发明利用卵粒数目和虫卵面积的正相关关系，使用拟合方式建立虫卵面积和卵粒数目的数学模型，无需考虑卵粒的大小、质量、种类、是否粘连，具有通用性。与分光光度法相比，本发明无需专用的精密仪器，无需配置溶液，设备需求少，自动化程度高，可节约大量经济成本和劳动力成本。本发明能广泛应用于动物乃至人体寄生虫学、植物保护、昆虫育种等方面的科研和生产活动中。
附图说明
[0020]
图1为本发明实施例中的一种虫卵计数方法的流程图；
[0021]
图2为本发明实施例中的数据采集模块结构图；
[0022]
图3为本发明实施例中的标记后的数据集示意图；
[0023]
图4为本发明实施例中的faster-rcnn网络结构图；
[0024]
图5为本发明实施例中的resnet50残差单元结构图；
[0025]
图6为本发明实施例中的建议框提取过程示意图；
[0026]
图7为本发明实施例中的多尺度特征提取流程图；
[0027]
图8为本发明实施例中的实施例中摄像头采集到的检测图像示例；
[0028]
图9为本发明实施例中的目标检测网络结果示意图；
[0029]
图10为本发明实施例中的截取目标检测网络输出框示意图；
[0030]
图11为本发明实施例中的输出框分割示意图；
[0031]
图12为本发明实施例中的原图像分割虫卵后的示意图；
[0032]
图13为本发明实施例中的提供中的一种虫卵计数装置的结构示意图。
具体实施方式
[0033]
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0034]
实施例
[0035]
图1为本发明实施例一提供的一种虫卵计数方法的流程图，具体包括如下步骤：
[0036]
s10、采集目标虫卵图像并建立数据集。
[0037]
其中，虫卵图像由数据采集模块采集得到，如图2所示。所述数据采集模块包括摄像头1、测距装置2、支架3以及托盘4，所述摄像头和测距装置与所述托盘的相对距离相同，所述摄像头用于采集托盘中待检测物件的图像信息，所述测距装置用于测量摄像头与所述待检测件之间的距离信息。
[0038]
本实施例中，在采集得到目标虫卵图像后，随机选取一些目标虫卵图像进行随机旋转、翻转以及拉伸等操作，对数据集进行扩增和标注。进一步参见图3，本实施例中以草地贪夜蛾卵块为例。
[0039]
s20、根据所述数据集，利用改进faster-rcnn训练虫卵目标检测模型。
[0040]
具体的，所述s20包括：
[0041]
采用卷积神经网络resnet50，对输入图像的特征进行提取得到特征图；
[0042]
在特征提取网络生成的特征图上形成映射，得到建议框；
[0043]
将建议框和特征图相结合，在特征图上形成映射之后通过roi池化模块进行归一化，生成相同尺寸的特征向量；
[0044]
对所述特征向量进行定位和分类；
[0045]
利用分类损失和回归损失进行反向传播训练，得到训练好的虫卵目标检测模型。
[0046]
其中，上述改进faster-rcnn包括特征提取模块、建议框提取模块、roi池化模块、目标定位和分类模块，如图4所示。
[0047]
继续参见图5，特征提取模块中的卷积神经网络采用resnet50来代替原始faster-rcnn中的vgg16，以应对图像中目标的形状、颜色等特征的复杂性。resnet50由三层残差单元构成。resnet50的结构包括conv1、conv2_x、conv3_x、conv4_x、conv5_x五层，如下表所示：
[0048][0049]
本实施例中，为了更加准确地检测细小的卵粒，特征提取模块提取多尺度的特征，将各个层提取的特征送入建议框提取模块，建议框提取过程如图6。在得到建议框和特征图的映射后通过roi池化模块将特征归一化。分别提取conv3_x、conv4_x、conv5_x三个层得到的特征，分别送入建议框提取模块，得到建议框和特征图的映射之后通过roi池化模块进行归一化，生成相同尺寸的特征向量，特征向量中包含建议框的大小、位置、分类信息，如图7。
[0050]
目标定位和分类模块分为分类和定位两部分，分类部分使用全连接网络，使用softmax激活函数，对特征向量中的分类信息进行进一步处理，选用分类概率最大的作为最终的分类信息；定位部分采用输出框回归，对特征向量中建议框的大小和位置信息进行进一步处理，选用最大的输出框尺寸，输出框定位选用与真实框距离最小的定位，得到最终的位置信息。
[0051]
进一步的，预训练模型进行反向传播迭代训练，损失函数为：
[0052][0053]
其中，i代表一个批量中的索引值，pi代表第i个建议框的预测概率。如果真实边界框ground-truth标签表示正例，的值为1，否则的值为0。ti表示预测边界框的向量，表示正例真实边界框的向量。l
cls
代表分类损失，
reg
代表回归损失。n
cls
、n
reg
分别代表每个小批量中的图像数量和建议框数量。
[0054]
通过利用分类损失和回归损失进行反向传播训练，得到训练好的虫卵目标检测模型。
[0055]
s30、建立虫卵总面积和卵粒数目的数学模型。
[0056]
具体的，所述s30包括：记录不同虫卵总面积对应的卵粒数目；对不同虫卵总面积对应的卵粒数目进行函数拟合，以建立虫卵总面积和卵粒数据之间的数学模型。
[0057]
例如，收集卵块或收集分散的卵块并整齐排列，统计每一个卵块或排列后的卵粒的数目，测量对应的虫卵的面积，统计多组数据。根据统计的数据，以横坐标为虫卵总面积，纵坐标为卵粒总数目，制作散点图。观察散点图的分布并选择合适的待定函数并进行拟合，最终得到虫卵总面积和卵粒数目的数学模型。
[0058]
s40、建立测距装置的数据与摄像头拍摄范围的数学模型。
[0059]
具体的，所述s40包括：记录测距装置测量的摄像头与托盘之间不同的距离对应的摄像头拍摄范围；对所述距离和拍摄范围进行函数拟合，以建立所述距离与所述拍摄范围之间的数学模型。
[0060]
例如，调整摄像头和测距装置的位置以改变摄像头与托盘的距离，此过程中需要保证摄像头拍摄方向与测距装置测量方法相同，摄像头安装位置与测距装置安装位置距离托盘的距离相同。统计每一个位置的测距装置的数据，测量对应的摄像头拍摄范围，统计多组数据。根据统计的数据，以横坐标为测距装置的数据，纵坐标为摄像头拍摄范围，制作散点图。观察散点图的分布并选择合适的待定函数并进行拟合，最终得到测距装置的数据与摄像头拍摄范围的数学模型。
[0061]
s50、采集待统计的虫卵图像，利用所述目标虫卵检测模型，确定所述待统计的虫卵图像的目标检测输出框。
[0062]
本实施例中采集的待统计的虫卵图像如图8所示，将采集到的图像传输至数据处理模块，利用所述目标虫卵检测模型，确定所述待统计的虫卵图像的目标检测输出框，如图9。
[0063]
在s50之后，还包括：
[0064]
对所述目标检测输出框进行截取和阈值分割，并根据所述目标检测输出框的大小、位置以及阈值分割后的图像，将所述待统计的虫卵图像中的虫卵部分和背景部分进行区分，以得到分割后的虫卵图像。截取后的图像为图10，阈值分割后的图像为图11，分割虫卵后后的图像为图12。
[0065]
s60、根据所述目标检测输出框、虫卵总面积和卵粒数目的数学模型以及测距装置的数据与摄像头拍摄范围的数学模型，确定所述待统计的虫卵图像的虫卵数量。
[0066]
根据所述分割后的虫卵图像，计算所述待统计的虫卵图像中虫卵部分的像素点数目在所述待统计的虫卵图像的总像素点数目中的占比k。例如，图12中统计结果为：虫卵部分像素点个数为286037，图像总像素点个数为15925248，计算得出虫卵部分像素点所占的比例约为0.017961。
[0067]
根据s40中的数学模型，将当前测距模块与待统计的虫卵图像之间的距离带入s40的数据模型中，根据模型的函数关系，计算得到所述待统计的虫卵图像的真实面积s，所述占比k与所述真实面积s的乘积为所述待统计的虫卵图像中虫卵的总面积s
t
，计算方法为s
t
＝ks。
[0068]
根据s30中的数据模型以及所述待统计的虫卵图像中虫卵的总面积，计算所述待统计的虫卵图像中的虫卵数量。即根据上述步骤计算出来的虫卵的总面积，可以从虫卵总面积和卵粒数目的数学模型中得到对应的卵粒数目。
[0069]
本发明实施例的计数方案，通过采用深度学习对图像中的虫卵进行目标检测，使用数据处理模块自动计算和统计卵粒数目，程序运行可在5s内完成，相对误差最小可达0.00047，与手工计数和使用计数板计数相比，本发明的方法能使得计数过程更为简便、快速，能避免由于人工计数在操作过程中由于视觉疲劳等造成的重复计数、漏计、错误判断的发生，能避免在操作过程中对卵粒造成损坏，能留下被测对象的影像记录作为备案。
[0070]
此外，本发明利用卵粒数目和虫卵面积的正相关关系，使用拟合方式建立虫卵面积和卵粒数目的数学模型，无需考虑卵粒的大小、质量、种类、是否粘连，具有通用性。与分光光度法相比，本发明无需专用的精密仪器，无需配置溶液，设备需求少，自动化程度高，可节约大量经济成本和劳动力成本。本发明能广泛应用于动物乃至人体寄生虫学、植物保护、昆虫育种等方面的科研和生产活动中。
[0071]
参见图13，本发明实施例还提供一种虫卵计数装置，所述虫卵图像由数据采集模块采集得到，所述数据采集模块包括摄像头、测距装置、支架以及托盘，所述摄像头和测距装置与所述托盘的相对距离相同，所述摄像头用于采集托盘中待检测物件的图像信息，所述测距装置用于测量摄像头与所述待检测件之间的距离信息，所述虫卵图像和距离信息采集完成后，使用数据处理模块进行处理，所述数据处理模块包括：
[0072]
目标检测模型建立模块，利用改进faster-rcnn训练虫卵目标检测模型；
[0073]
数学模型建立模块，用于建立虫卵总面积和卵粒数目的数学模型，以及建立测距装置的数据与摄像头拍摄范围的数学模型；
[0074]
目标检测输出框确定模块，用于采集待统计的虫卵图像，利用所述目标虫卵检测模型，确定所述待统计的虫卵图像的目标检测输出框；
[0075]
计数模块，用于根据所述目标检测输出框、以及所述数学模型建立模块确定所述待统计的虫卵图像的虫卵数量。
[0076]
其中，上述目标检测模型建立模块包括：
[0077]
特征提取模块，用于采用卷积神经网络resnet50，对输入图像的特征进行提取得到特征图；
[0078]
建议框提取模块，用于在特征提取网络生成的特征图上形成映射，得到建议框；
[0079]
roi池化模块，用于将建议框和特征图相结合，在特征图上形成映射之后通过roi池化模块进行归一化，生成相同尺寸的特征向量；
[0080]
目标定位和分类模块，用于对所述特征向量进行定位和分类；
[0081]
训练模块，用于利用分类损失和回归损失进行反向传播训练，得到训练好的虫卵目标检测模型。
[0082]
可选的，上述数学模型建立模块用于：记录不同虫卵总面积对应的卵粒数目；
[0083]
对不同虫卵总面积对应的卵粒数目进行函数拟合，以建立虫卵总面积和卵粒数目之间的数学模型。
[0084]
数学模型建立模块还用于：记录所述测距装置测量的摄像头与托盘之间不同的距离时对应的摄像头拍摄范围；
[0085]
对所述距离和拍摄范围进行函数拟合，以建立所述距离与所述拍摄范围之间的数学模型。
[0086]
进一步的，该装置还包括图像处理模块，用于对所述目标检测输出框进行截取和
阈值分割，并根据所述目标检测输出框的大小、位置以及阈值分割后的图像，将所述待统计的虫卵图像中的虫卵部分和背景部分进行区分，以得到分割后的虫卵图像。
[0087]
具体的，上述计数模块具体用于：根据所述分割后的虫卵图像，计算所述待统计的虫卵图像中虫卵部分的像素点数目在所述待统计的虫卵图像的总像素点数目中的占比；
[0088]
根据所述数学模型建立模块，计算所述待统计的虫卵图像的真实面积，所述占比与所述真实面积的乘积为所述待统计的虫卵图像中虫卵的总面积；
[0089]
根据所述数学模型建立模块以及所述待统计的虫卵图像中虫卵的总面积，计算所述待统计的虫卵图像中的虫卵数量。
[0090]
本发明实施例所提供的一种虫卵计数装置可执行本发明任意实施例所提供的一种虫卵计数方法，具备执行方法相应的功能模块和有益效果。
[0091]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。