烟虫自动识别和计数方法、计算机可读介质与流程

1.本技术属于自动测量技术领域，具体涉及烟虫自动识别和计数方法、计算机可读介质。


背景技术：

2.烟草企业烟叶仓库和车间存放的大量高价值烟叶容易遭受到虫害，进而严重影响烟叶的可用性和卷烟质量。
3.现有技术中，烟草企业防治烟草虫害时，通常使用烟虫诱捕器监测烟叶原料的储存仓库和卷烟生产加工场所，由监测数据判断虫害问题及其影响的严重程度，所以，监测数据是决定采取何种虫害防治措施的重要依据。
4.现有技术中，烟叶仓库、车间内悬挂烟虫诱捕器后，主要通过人工巡查并手工记录的方式来统计诱捕器害虫数量，并反馈虫情信息。随着信息技术的进步，也逐步采用信息技术对烟虫诱捕器进行监测，包括拍照、记录，然后由人工来进行烟虫种类的识别、计数，并进一步分析虫情。由于烟叶仓库和车间中有较大数量的烟虫诱捕器都需要人工完成烟虫种类的识别、计数并录入信息系统，这样的作业过程不仅需要大量人力资源，而且耗时较长，虫情不能实时反馈，不能及时有效对烟叶虫情进行监测。


技术实现要素：

5.有鉴于此，一方面，一些实施例公开了烟虫自动识别和计数方法，用于识别烟虫诱捕器捕获的烟虫种类并统计烟虫数量，该方法包括步骤：
6.s1：获取历史烟虫诱捕器照片数据；
7.s2：处理所述历史烟虫诱捕器照片数据，形成批量标注数据集信息；
8.s3：利用获得的批量标注数据集信息训练神经网络模型，获得烟虫识别神经网络模型；
9.s4：利用获得的烟虫识别神经网络模型识别待计数的烟虫诱捕器照片，自动获得烟虫诱捕器照片上的烟虫种类和烟虫数量信息。
10.进一步，一些实施例中，烟虫自动识别和计数方法的步骤s2具体包括：
11.s201：标注历史烟虫诱捕器照片数据，框出各个烟虫的位置信息，进一步标注烟虫的种类信息，形成包含历史烟虫诱捕器照片信息、位置信息和种类信息的标注数据集信息；
12.s202：将标注数据集信息的80％划分为训练集、10％划分为验证集、10％划分为测试集。
13.一些实施例中，烟虫自动识别和计数方法的步骤s3中，神经网络模型为yolo
‑
v3神经网络模型，对yolo
‑
v3神经网络模型进行训练的过程具体包括：
14.s301：按设定规则在烟虫诱捕器照片上产生一系列候选区域，根据候选区域与物体真实框之前的位置关系对候选区域进行标注；
15.s302：使用卷积神经网络提取烟虫诱捕器照片特征，并对候选区域的位置和类别
进行预测，得到预测框，将预测框作为样本；
16.s303：根据真实框相对于样本的位置和类别进行标注，获得标签值；
17.s304：通过yolo
‑
v3神经网络模型预测样本的位置和类别，得到预测值，将预测值与标签值进行比较，建立评价指标函数；
18.s305：利用训练集训练yolo
‑
v3神经网络的参数，利用验证集选择yolo
‑
v3神经网络的参数，利用测试集模拟yolo
‑
v3神经网络训练后的真实效果，采用二层循环嵌套方式进行训练过程：
19.内层循环采用分批次方式负责整个数据集的一次遍历，执行数据准备、前向计算、计算评价指标函数、反向传播，然后更新模型参数；
20.外层循环反复遍历数据集执行内层循环；
21.若计算的评价指标函数达到预先设定的误差值，完成外层循环，结束训练过程，生成烟虫识别神经网络模型。
22.进一步，一些实施例公开的烟虫自动识别和计数方法，步骤s301中，与真实框足够接近的候选区域被标注为正样本，同时将真实框的位置作为正样本的位置目标，与真实框偏离较大的候选区域被标注为负样本，负样本不需要预测位置或者类别。
23.一些实施例公开的烟虫自动识别和计数方法，步骤s4具体包括：
24.s401：训练好的烟虫识别神经网络模型加载到模型实例中，传入需要检测识别的照片；
25.s402：烟虫识别神经网络向前计算，得到烟虫预测框位置和类别；
26.s403：统计所有烟虫预测框、位置信息和类别信息，得到输入照片中烟虫的种类和各类烟虫的数量信息。
27.一些实施例公开的烟虫自动识别和计数方法，若两个预测框的烟虫类别一样，而且两个预测框的位置重合度比较大，则认定两个预测框预测同一个烟虫目标，认定方法包括：选择某个类别中得分最高的第一预测框，计算其他预测框与第一预测框的交并比，若交并比大于设定的预测值，则认定该其他预测框与第一预测框预测同一烟虫目标；其中，所述交并比表示为：
[0028][0029]
其中，a表示第一预测框，b表示其他预测框，iou为交并比。
[0030]
一些实施例公开的烟虫自动识别和计数方法，步骤s1中，历史烟虫诱捕器照片包括对烟叶仓库或车间不同位置的烟虫诱捕器拍摄的图片，对历史烟虫诱捕器照片进行切分、翻转、缩放和旋转处理，形成更多包含被诱捕烟虫的图片数据。
[0031]
另一方面，一些实施例公开了包含计算机执行指令的计算机可读介质，其特征在于，所述计算机执行指令经由数据处理设备处理时，该数据处理设备执行以上实施例公开的烟虫自动识别和计数方法。
[0032]
实施例公开的烟虫自动识别和计数方法，通过对烟叶仓库和车间等地方的历史烟虫诱捕器照片数据进行处理，采用深度学习神经网络模型进行训练得到了能够准确识别和预测烟虫诱捕器照片上的烟虫种类和数量的烟虫识别神经网络模型，利用该模型能够对烟虫诱捕器诱捕的烟虫进行自动快速识别、计数，得到烟虫种类和数量信息，对烟虫诱捕器进
行实时照片分析、结果直观展示，快速获得虫情信息能够大大节省烟虫监测人力，提高监测效率。
附图说明
[0033]
图1烟虫自动识别和计数方法流程图
[0034]
图2实施例1烟虫诱捕器照片
具体实施方式
[0035]
在这里专用的词“实施例”，作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。本技术实施例中性能指标测试，除非特别说明，采用本领域常规试验方法。应理解，本技术中所述的术语仅仅是为描述特别的实施方式，并非用于限制本技术公开的内容。
[0036]
除非另有说明，否则本文使用的技术和科学术语具有本技术所属技术领域的普通技术人员通常理解的相同含义；作为本技术中其它未特别注明的试验方法和技术手段均指本领域内普通技术人员通常采用的实验方法和技术手段。
[0037]
本文所用的术语“基本”和“大约”用于描述小的波动。例如，它们可以是指小于或等于
±
5％，如小于或等于
±
2％，如小于或等于
±
1％，如小于或等于
±
0.5％，如小于或等于
±
0.2％，如小于或等于
±
0.1％，如小于或等于
±
0.05％。在本文中以范围格式表示或呈现的数值数据，仅为方便和简要起见使用，因此应灵活解释为不仅包括作为该范围的界限明确列举的数值，还包括该范围内包含的所有独立的数值或子范围。例如，“1～5％”的数值范围应被解释为不仅包括1％至5％的明确列举的值，还包括在所示范围内的独立值和子范围。因此，在这一数值范围中包括独立值，如2％、3.5％和4％，和子范围，如1％～3％、2％～4％和3％～5％等。这一原理同样适用于仅列举一个数值的范围。此外，无论该范围的宽度或所述特征如何，这样的解释都适用。
[0038]
在本文中，包括权利要求书中，所有连接词，如“包含”、“包括”、“带有”、“具有”、“含有”、“涉及”、“容纳”等被理解为是开放性的，即是指“包括但不限于”。只有连接词“由
……
构成”和“由
……
组成”是封闭连接词。
[0039]
为了更好的说明本技术内容，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本技术同样可以实施。
[0040]
在不冲突的前提下，本技术实施例公开的技术特征可以任意组合，得到的技术方案属于本技术实施例公开的内容。
[0041]
在一些实施方式中，如图1所示，烟虫自动识别和计数方法包括步骤：
[0042]
s1：获取历史烟虫诱捕器照片数据；一般地，历史烟虫诱捕器照片包括对烟叶仓库或车间不同位置的烟虫诱捕器拍摄的图片，对历史烟虫诱捕器照片进行切分、翻转、缩放和旋转处理，可以形成更多包含被诱捕烟虫的图片数据；
[0043]
s2：处理所述历史烟虫诱捕器照片数据，形成批量标注数据集信息；一般地，在对历史烟虫诱捕器照片进行标注时，分别框出各个烟虫的位置信息，进一步对每一个标注框标注出烟虫的种类信息，综合所有诱捕烟虫的图片数据以及标注的位置信息、种类信息，形成包含历史烟虫诱捕器照片信息、位置信息和种类信息的标注数据集信息；然后将将标注
数据集信息的80％划分为训练集，训练集用于训练神经网络模型的参数，标注数据集信息的10％划分为验证集，验证集用于对神经网络模型参数进行选择，标注数据集信息的10％划分为测试集，用于模拟神经网络模型在应用后的真实效果；
[0044]
s3：利用获得的批量标注数据集信息训练神经网络模型，获得烟虫识别神经网络模型；通常使用训练集、验证集和测试集三部分数据集信息，对具有目标检测能力的深度学习神经网络模型进行重复、多轮次的训练，以确定表达烟虫检测目标识别神经网络模型的最优参数；通常训练将拟合的误差最小化作为优化目标，当评价指标函数最优，达到预先设定的误差值时，训练结束；作为可选实施例，选择yolo
‑
v3神经网络模型作为烟虫识别和检测的神经网络模型，对其进行训练后可以得到烟虫识别神经网络模型；作为可选实施例，评价指标为损失函数，损失函数最小即为误差最小的优化目标；
[0045]
通常深度学习神经网络模型是多层的输入到输出的映射函数，层次足够深的神经网络理论上可以拟合任何复杂的函数，非常适合学习样本数据的内在规律和表示层次，对图像识别有较好的适用性；深度学习神经网络可以公式化表达如下：
[0046]
y＝f3(f2(f1(w1·
x1 w2·
x2 w3·
x3 b) ...)...)...)
[0047]
式中，w1、w2、w3……
为权重，b为偏置，x1、x2、x3……
为输入的图片像素数据；
[0048]
s4：利用获得的烟虫识别神经网络模型识别待计数的烟虫诱捕器照片，自动获得烟虫诱捕器照片上的烟虫种类和烟虫数量信息。通常，将训练好的烟虫识别神经网络模型加载到模型实例中，传入需要检测识别的照片；通过烟虫识别神经网络的向前计算，计算出所有烟虫预测框位置和所属类别的得分；得分是指所属类别的概率乘以其预测框是否包含目标烟虫的概率，将得分大于0的计算结果保留；统计所有烟虫预测框、位置信息和类别信息，得到输入照片中烟虫的种类和各类烟虫的数量信息。一般地，对于一张需要检测识别的照片，上述计算结果会产生多个预测框，输出预测框中会有很多预测框的重合度比较大，所以需要消除重合度较大的冗余预测框。如果有多个预测框都对应同一个烟虫，则只选出得分最高的那个预测框，剩下的预测框被丢弃掉。
[0049]
作为可选实施方式，烟虫自动识别和计数方法中对yolo
‑
v3神经网络模型进行训练的过程具体包括：
[0050]
s301：按设定规则在烟虫诱捕器照片上产生一系列候选区域，根据候选区域与物体真实框之前的位置关系对候选区域进行标注；一般地，与真实框足够接近的候选区域被标注为正样本，同时将真实框的位置作为正样本的位置目标，与真实框偏离较大的候选区域被标注为负样本，负样本不需要预测位置或者类别；通常利用真实框与候选区域的交并比确定二者的位置关系，通过设定交并比的阈值，确定样本是否为正样本；通常该阈值根据训练经验进行选择，并经过训练后优化确定；
[0051]
s302：使用卷积神经网络提取烟虫诱捕器照片特征，并对候选区域的位置和类别进行预测，得到预测框，将预测框作为样本；
[0052]
s303：根据真实框相对于样本的位置和类别进行标注，获得标签值；
[0053]
s304：通过yolo
‑
v3神经网络模型预测样本的位置和类别，得到预测值，将预测值与标签值进行比较，建立评价指标函数；
[0054]
s305：利用训练集训练yolo
‑
v3神经网络的参数，利用验证集选择yolo
‑
v3神经网络的参数，利用测试集模拟yolo
‑
v3神经网络训练后的真实效果，采用二层循环嵌套方式进
行训练过程：内层循环采用分批次方式负责整个数据集的一次遍历，例如若数据集样本数量为1000，则一个批次有10个样本，遍历一次数据集的批次数量是1000/10＝100，即内层循环执行100次；每次内层循环都执行数据准备、前向计算、计算评价指标函数、反向传播四个步骤，然后更新模型参数；每次内层循环结束都会更新模型参数，外层循环反复遍历数据集执行内层循环，并确定执行内层循环的次数；例如，若计算的评价指标函数达到预先设定的误差值，完成外层循环，结束训练过程，生成烟虫识别神经网络模型，保持神经网络模型参数。
[0055]
作为可选实施方式，烟虫自动识别和计数方法中消除冗余预测框的方法包括，若两个预测框的烟虫类别一样，而且两个预测框的位置重合度比较大，则认定两个预测框预测同一个烟虫目标，认定方法包括：选择某个类别中得分最高的第一预测框，计算其他预测框与第一预测框的交并比，若交并比大于设定的预测值，则认定该其他预测框与第一预测框预测同一烟虫目标，其他预测框为冗余预测框，可以消除不予计数；其中，所述交并比表示为：
[0056][0057]
其中，a表示第一预测框，b表示其他预测框，iou为交并比，表示预测框a和b之间的关系，等于a、b两个预测框的交集里面所包含的像素个数除以他们的并集里面所包含的像素个数。
[0058]
通常预先设定交并比的阈值以判断是否为冗余预测框，预设的阈值通常来自于神经网络模型训练实践经验，并在烟虫识别和计数模拟训练中证明是有效合理的。
[0059]
作为可选实施例，烟虫自动识别和计数方法中，所述评价指标函数为损失函数，损失函数的建立过程具体包括：
[0060]
输入烟虫诱捕器照片，经过特征提取得到三个层级的输出特征图p0层级特征图、p1层级特征图和p2层级特征图，分别使用不同大小的小方块网格生成对应的锚框和预测框，并对所述锚框进行标注；其中，p0层级特征图对应着使用32
×
32大小的小方块网格，在每个区域中心生成大小分别为[116,90],[156,198],[373,326]的三种锚框；p1层级特征图对应着使用16
×
16大小的小方块网格，在每个区域中心生成大小分别为[30,61],[62,45],[59,119]的三种锚框；p2层级特征图对应着使用8
×
8大小的小方块网格，在每个区域中心生成大小分别为[10,13],[16,30],[33,23]的三种锚框；
[0061]
将三个层级的特征图与对应的锚框标签相关联，分别建立三个层级的层级损失函数，三个层级损失函数相加，得到总损失函数，以x,y,w,h表示标注框的坐标宽高，c为置信度，p为分类概率，总损失函数表达如下：
[0062][0063]
式中，x，y，w，h，c，p为预测值；为标注值；表示第i个网格的第j个框是否匹配这个对象，如果是，为1，否，则为0，与其相反；b代表锚框的个数，s表示输出网格尺寸，classes表示类别数目；表示不同大小矩形框对损失函数贡献不一致的协调系数；λ
noobj
表示当预测框没有预测到目标时，其置信度误差在损失函数中所占权重，一般取值0.5。
[0064]
训练时，某一图片中目标的标注框的坐标宽高表示为x，y，w，h，置信度confidence(1或0)，分类概率p(i)([1，0，0，0，0...]、[0，1，0，0，0...])。当第i个网格的第j个预测框与某一标注目标匹配时，对该预测框进行计算，求其中心坐标差、宽高误差、置信度误差和分类误差，与标注目标不匹配的其他预测框，仅求其置信度误差即可。
[0065]
另一方面，一些实施例公开了包含计算机执行指令的计算机可读介质，其特征在于，所述计算机执行指令经由数据处理设备处理时，该数据处理设备执行以上实施例公开的烟虫自动识别和计数方法。一般地，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序指令或代码，上述程序设计语言包括面向对象的程序设计语言
‑
诸如java、smalltalk、c 、python，还包括常规的过程式程序设计语言
‑
诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0066]
以下结合具体实施例对技术细节做进一步示例性说明。
[0067]
实施例1
[0068]
实施例1公开的烟虫自动识别和计数方法包括：
[0069]
收集历史烟虫诱捕器照片，其中，上述照片包括对在烟叶仓库或车间不同位置放置的烟虫诱捕器拍摄的图片数据。对上述烟虫诱捕器照片数据进行处理，包括切分、翻转、缩放、和旋转等，形成更多包含诱捕烟虫的图片数据；由于诱捕器捕捉的烟虫形态数量多，
形态各异，在处理过程中对于每个目标特别是有特点的目标再单独切分出来，形成一个单独图片数据，增加了训练的特色样本数量；
[0070]
对所有的图片数据进行标注，标注时框出各个烟虫的位置和烟虫的种类信息。基于具有上述位置标注信息和上述种类信息的历史图片数据，划分为训练集、验证集和测试集三部分数据集；
[0071]
使用这三部分数据集，对具有目标检测能力的深度学习神经网络模型进行多轮次的训练，生成了一个烟虫识别神经网络模型；
[0072]
将训练好的烟虫识别神经网络模型，加载到用户的烟草虫情监测信息系统中；现场的设置的拍摄装置定时对烟虫诱捕器进行拍照，将最新的烟虫图片信息通过网络传输回烟草虫情监测信息系统，如图2中的左侧原图所示；虫情监测信息系统使用烟虫识别神经网络模型进行实时的数据处理，识别出传输图片中的所有烟虫的位置坐标、类别等关键虫情信息，信息系统可以将这些虫情信息保存提醒相关人员，并结合输入原图片直观展示，如图2中右侧叠加上结果信息的图片所示，根据方法识别出来的每个目标的位置坐标和大小在原图中画出识别框，同时将种类和数量在原图上标注出来，便于监测人员查看和核验。本实施例实现了烟叶仓库或车间的实时虫情数字化在线监测。
[0073]
以上实施例公开的烟虫自动识别和计数方法，通过对烟叶仓库和车间等地方的历史烟虫诱捕器照片数据进行处理，采用深度学习神经网络模型进行训练得到了能够准确识别和预测烟虫诱捕器照片上的烟虫种类和数量的烟虫识别神经网络模型，利用该模型能够对烟虫诱捕器诱捕的烟虫进行自动快速识别、计数，得到烟虫种类和数量信息，对烟虫诱捕器进行实时照片分析、结果直观展示，快速获得虫情信息能够大大节省烟虫监测人力，提高监测效率。
[0074]
本技术公开的技术方案和实施例中公开的技术细节，仅是示例性说明本技术的发明构思，并不构成对本技术技术方案的限定，凡是对本技术公开的技术细节所做的没有创造性的改变、替换或组合等，都与本技术具有相同的发明构思，都在本技术权利要求的保护范围之内。