一种虫害识别检测系统

1.本发明涉及一种蔬菜立体栽培工厂化技术领域，特别是涉及一种虫害识别检测系统。


背景技术：

2.蔬菜从播种、生长至收获，经常受到各种有害生物(植物病原、害虫等)的危害。农作物病虫害是我国的主要农业灾害之一，它具有种类多、影响大、并时常暴发成灾的特点，其发生范围和严重程度对我国国民经济、特别是农业生产常造成重大损失。有害生物种类繁多且形态各异，发生规律各有不同，而且时常爆发。对我国国民经济、特别是农业生产造成重大损失。因此，正确识别植物病虫害，掌握有害生物的习性、特点，对防控有害生物极其重要。专利申请号2020116326389，名称为“蔬菜病虫害防治智能识别系统”，公开了包括用户终端、云端服务器和专家平台，用户终端将蔬菜作物图像上传至云端服务器，云端服务器确定蔬菜作物图像对应的蔬菜类别，并将蔬菜作物图像输入蔬菜类别对应的病虫害智能识别模型中得到相应的识别结果，同时结合专家平台的反馈的识别结果得到病虫害类型识别结果，根据病虫害类型识别结果以及预先存储的病虫害类型识别结果对应的治理措施生成病虫害诊断结果反馈给用户终端；该系统基于人工智能技术提供病虫害识别功能，使得农户可以准确识别存在的病虫害类型并采用合适的治理措施进行治理，识别率较高且较稳定，对防控蔬菜病虫害极其重要。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了蔬菜立体栽培工厂。
4.为了实现本发明的上述目的，本发明提供了一种虫害识别检测系统，包括铺设在蔬菜立体栽培工厂内的导航磁条和地标网格，以及行走在导航磁条和地标网格构成的行进路线上的的agv车，还包括安装在agv巡检车上的巡检机器人，巡检机器人将拍摄的蔬菜图像发送至虫害云端工作平台。
5.在本发明的一种优选实施方式中，还包括虫害云端工作平台判断巡检机器人拍摄的蔬菜图像是否存在虫害：
6.若巡检机器人拍摄的蔬菜图像存在虫害，虫害云端工作平台发送灭虫控制命令至灭虫装置，由灭虫装置对巡检机器人拍摄的蔬菜进行虫害消除；
7.若巡检机器人拍摄的蔬菜图像不存在虫害，虫害云端工作平台不向灭虫装置发送灭虫控制命令。
8.在本发明的一种优选实施方式中，agv巡检车包括用于可拆卸安装巡检机器人的安装固定平台，在安装固定平台底部设置有用于识别导航磁条和地标网格的行走装置，在安装固定平台内设置有用于固定安装pcb印刷电路板的pcb印刷电路板固定安装座，pcb印刷电路板固定安装在pcb印刷电路板固定安装座上，在pcb印刷电路板上设置有agv巡检车
控制器和无线数据连接模块，agv巡检车控制器与行走装置的行走控制端相连，agv巡检车控制器的数据通讯端与无线数据连接模块的通讯端相连；
9.agv巡检车通过无线数据连接模块接收或/和发送虫害云端工作平台发送或/和接收的通讯数据，agv巡检车根据接收的通讯数据向行走装置发送控制命令，使其agv巡检车承载巡检机器人至目标位置。
10.在本发明的一种优选实施方式中，无线数据连接模块包括wifi数据连接模块、2g数据连接模块、3g数据连接模块、4g数据连接模块、5g数据连接模块之一或者任意组合；
11.无线数据连接模块为wifi数据连接模块时，agv巡检车控制器的数据通讯wifi端与wifi数据连接模块的通讯端相连；
12.无线数据连接模块为2g数据连接模块时，agv巡检车控制器的数据通讯2g端与2g数据连接模块的通讯端相连；
13.无线数据连接模块为3g数据连接模块时，agv巡检车控制器的数据通讯3g端与3g数据连接模块的通讯端相连；
14.无线数据连接模块为4g数据连接模块时，agv巡检车控制器的数据通讯4g端与4g数据连接模块的通讯端相连；
15.无线数据连接模块为5g数据连接模块时，agv巡检车控制器的数据通讯5g端与5g数据连接模块的通讯端相连。
16.在本发明的一种优选实施方式中，巡检机器人包括可拆卸安装在agv巡检车上的巡检机器人本体，在巡检机器人本体内设置有用于固定安装pcb印制电路板的pcb印制电路板固定安装座，pcb印制电路板固定安装在pcb印制电路板固定安装座上，在pcb印制电路板上设置有巡检机器人控制器，在巡检机器人手臂末端设置有用于拍摄蔬菜虫害图像的摄像头，摄像头的图像数据端与巡检机器人控制器的图像数据端相连，巡检机器人控制器的数据交互端与agv巡检车控制器的数据交互端相连；
17.巡检机器人控制器接收到agv巡检车控制器发送的拍摄蔬菜虫害图像控制命令后，巡检机器人控制器向巡检机器人手臂发送运动控制命令，使其设置在巡检机器人手臂末端的摄像头拍摄蔬菜图像，将拍摄的蔬菜图像通过agv巡检车上的无线数据连接模传输至虫害云端工作平台。
18.在本发明的一种优选实施方式中，agv巡检车承载巡检机器人至目标位置的方法包括以下步骤：
19.s1，agv巡检车控制器判断在行走过程中是否接收到地标信号：
20.若在行走过程中接收到地标信号，则此时agv巡检车处于导航磁条相交点，在相交点处有k条导航磁条，所述k为大于或者等于3的正整数，分别为第1导航磁条、第2导航磁条、第3导航磁条、
……
、第k导航磁条，第k导航磁条为agv巡检车当前所处导航磁条，第1导航磁条、第2导航磁条、第3导航磁条、
……
、第k-1导航磁条为待选择的导航磁条；执行下一步；
21.若在行走过程中未接收到地标信号，则agv巡检车继续向前行走，返回步骤s1；
22.s2，以待选择的导航磁条向前前进相同距离l后处于预计点：
23.在第1导航磁条上向前前进距离l后，处于第1导航磁条上的第1预计点；
24.在第2导航磁条上向前前进距离l后，处于第2导航磁条上的第2预计点；
25.在第3导航磁条上向前前进距离l后，处于第3导航磁条上的第3预计点；
26.……
；
27.在第k-1导航磁条上向前前进距离l后，处于第k-1导航磁条上的第k-1预计点；
28.s3，计算第k预计点与目标位置两点连线的距离，k＝1、2、3、
……
、k-1，以两点连线距离最小的预计点所在导航磁条为前进的导航磁条。其第k预计点与目标位置两点连线的距离的计算方法为：
29.dk2＝(x0-xk)2 (y0-yk)2，d》0；
30.其中，(x0,y0)表示目标位置的位置坐标值；
31.(xk,yk)表示第k预计点的位置坐标值；
32.dk表示第k预计点与目标位置两点连线的距离。agv巡检车承载巡检机器人可以快速的抵达目标位置实现对蔬菜进行拍照，对虫害情况进行判断。
33.本发明还公开了一种虫害识别检测方法，如图1所示，包括以下步骤：
34.s1，虫害云端工作平台对获取的蔬菜图像进行编号，分别为a1、a2、a3、
……
、ab，ab表示第b蔬菜云端图像，b＝1、2、3、
……
、b，b为摄像头拍摄的图像总张数，a1表示第1蔬菜云端图像，a2表示第2蔬菜云端图像，a3表示第3蔬菜云端图像，ab表示第b蔬菜云端图像；令a＝1；
35.s2，判断aa是否为rgb图像：
36.若aa为rgb图像，则将a
α
转换为gray图像，则执行下一步；
37.若aa为gray图像，则执行下一步；
38.s3，将gray图像aa,gray导入训练好的yolo-v5s模型中进行输出结果：
39.若输出结果为蔬菜图像中存在虫害，则虫害云端工作平台向其灭虫装置发送虫害消除控制命令；由灭虫装置对巡检机器人拍摄的蔬菜所在位置进行虫害消除；
40.若输出结果为蔬菜图像中不存在虫害，则判断下一张图像。
41.在本发明的一种优选实施方式中，在步骤s2中，将aa转换为gray图像的方法为：
42.aa,gray＝aa[x,y]r*βr a
α
[x,y]g*βg a
α
[x,y]b*βb，
[0043]
其中，a
α
,grαy表示aa的gray图像；
[0044]aα
[x,y]r表示a
α
在像素坐标点(x,y)处的红色分量值；x∈{x1,x2,x3,
…
xi}，x表示像素坐标点中的横坐标点，{x1,x2,x3,
…
xi}表示横坐标点集合，i表示横坐标点的总个数；
[0045]aa
[x,y]g表示aa在像素坐标点(x,y)处的绿色分量值；y∈{y1,y2,y3,
…
yj}，y表示像素坐标点中的纵坐标点，{y1,y2,y3,
…
yj}表示纵坐标点集合，j表示纵坐标点的总个数；
[0046]aa
[x,y]b表示a
α
在像素坐标点(x,y)处的蓝色分量值；
[0047]
βr表示红色分量值的比例系数值，βr∈[0,1]；
[0048]
βg表示红色分量值的比例系数值，βg∈[0,1]；
[0049]
βb表示红色分量值的比例系数值，βb∈[0,1]，且βr βg βb＝1；
[0050]
横坐标点集合与纵坐标点集合构成像素图像
[0051]
在本发明的一种优选实施方式中，在步骤s2中，横坐标点的总个数i的计算方法为：
[0052]
i＝ε
imαge
×iwidth
，
[0053]
其中，ε
imαge
表示摄像头拍摄的图像的分辨率；
[0054]iwidth
表示拍摄图像的宽度值；
[0055]
i表示横坐标点的总个数；
[0056]
纵坐标点的总个数j的计算方法为：
[0057]
j＝ε
imαge
×ihigh
，
[0058]
其中，ε
image
表示摄像头拍摄的图像的分辨率；
[0059]ihigh
表示拍摄图像的高度值；
[0060]
j表示纵坐标点的总个数。
[0061]
在本发明的一种优选实施方式中，还包括虫害云端工作平台向其灭虫装置发送灭虫装置由始发点至消除虫害位置的路径。
[0062]
综上所述，由于采用了上述技术方案，本发明能够对蔬菜上的虫害进行识别，做出对应的措施，保证高效工厂化蔬菜立体栽培的产量和质量。
[0063]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0064]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0065]
图1是本发明的流程示意框图。
[0066]
图2是本发明虫害分类识别网络示意图。
[0067]
图3是本发明上位机系统界面示意图。
[0068]
图4是本发明蚜虫虫害图像示意图。
[0069]
图5是本发明粉虱虫害图像示意图。
[0070]
图6是本发明batch为4，mosic增强后的训练图像示意图。
[0071]
图7是本发明模型训练过程中损失率曲线示意图。
[0072]
图8是本发明测试集标注的label图像示意图。
[0073]
图9是本发明模型推理后得到的实际结果示意图。
[0074]
图10是本发明虫害精确率-召回率曲线示意图。
[0075]
图11是本发明蚜虫虫害识别示意图。
[0076]
图12是本发明粉虱虫害识别示意图。
[0077]
图13是本发明模型部署和界面测试示意图。
具体实施方式
[0078]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0079]
本发明提供了一种虫害识别检测系统，包括铺设在蔬菜立体栽培工厂内的导航磁条和地标网格，以及行走在导航磁条和地标网格构成的行进路线上的agv巡检车，还包括安装在agv巡检车上的巡检机器人，巡检机器人将拍摄的蔬菜图像发送至虫害云端工作平台。
[0080]
在本发明的一种优选实施方式中，还包括虫害云端工作平台判断巡检机器人拍摄的蔬菜图像是否存在虫害以及虫害种类：
[0081]
若巡检机器人拍摄的蔬菜图像存在虫害，虫害云端工作平台发送灭虫控制命令至灭虫装置，由灭虫装置对巡检机器人拍摄的蔬菜喷洒针对虫害的对应杀虫剂进行虫害消除；或者由灭虫装置对巡检机器人拍摄的蔬菜定点释放虫害对应的虫害天敌昆虫，实现对蔬菜虫害的无农药防治。
[0082]
若巡检机器人拍摄的蔬菜图像不存在虫害，虫害云端工作平台不向灭虫装置发送灭虫控制命令。
[0083]
在本发明的一种优选实施方式中，agv巡检车包括用于可拆卸安装巡检机器人的安装固定平台，在安装固定平台底部设置有用于识别导航磁条和地标网格的行走装置，在安装固定平台内设置有用于固定安装pcb印刷电路板的pcb印刷电路板固定安装座，pcb印刷电路板固定安装在pcb印刷电路板固定安装座上，在pcb印刷电路板上设置有agv巡检车控制器和无线数据连接模块，agv巡检车控制器与行走装置的行走控制端相连，agv巡检车控制器的数据通讯端与无线数据连接模块的通讯端相连；
[0084]
agv巡检车通过无线数据连接模块接收或/和发送虫害云端工作平台发送或/和接收的通讯数据，agv巡检车根据接收的通讯数据向行走装置发送控制命令，使其agv巡检车承载巡检机器人至目标位置。
[0085]
在本发明的一种优选实施方式中，无线数据连接模块包括wifi数据连接模块、2g数据连接模块、3g数据连接模块、4g数据连接模块、5g数据连接模块之一或者任意组合；
[0086]
无线数据连接模块为wifi数据连接模块时，agv巡检车控制器的数据通讯wifi端与wifi数据连接模块的通讯端相连；
[0087]
无线数据连接模块为2g数据连接模块时，agv巡检车控制器的数据通讯2g端与2g数据连接模块的通讯端相连；
[0088]
无线数据连接模块为3g数据连接模块时，agv巡检车控制器的数据通讯3g端与3g数据连接模块的通讯端相连；
[0089]
无线数据连接模块为4g数据连接模块时，agv巡检车控制器的数据通讯4g端与4g数据连接模块的通讯端相连；
[0090]
无线数据连接模块为5g数据连接模块时，agv巡检车控制器的数据通讯5g端与5g数据连接模块的通讯端相连。
[0091]
在本发明的一种优选实施方式中，巡检机器人包括可拆卸安装在agv巡检车上的巡检机器人本体，在巡检机器人本体内设置有用于固定安装pcb印制电路板的pcb印制电路板固定安装座，pcb印制电路板固定安装在pcb印制电路板固定安装座上，在pcb印制电路板上设置有巡检机器人控制器，在巡检机器人手臂末端设置有用于拍摄蔬菜虫害图像的摄像头，摄像头的图像数据端与巡检机器人控制器的图像数据端相连，巡检机器人控制器的数据交互端与agv巡检车控制器的数据交互端相连；
[0092]
巡检机器人控制器接收到agv巡检车控制器发送的拍摄蔬菜虫害图像控制命令后，巡检机器人控制器向巡检机器人手臂发送运动控制命令，使其设置在巡检机器人手臂末端的摄像头拍摄蔬菜图像，将拍摄的蔬菜图像通过agv巡检车上的无线数据连接模传输至虫害云端工作平台。
[0093]
在本发明的一种优选实施方式中，agv巡检车承载巡检机器人至目标位置的方法包括以下步骤：
[0094]
s1，agv巡检车控制器判断在行走过程中是否接收到地标信号：
[0095]
若在行走过程中接收到地标信号，则此时agv巡检车处于导航磁条相交点，在相交点处有k条导航磁条，所述k为大于或者等于3的正整数，分别为第1导航磁条、第2导航磁条、第3导航磁条、
……
、第k导航磁条，第k导航磁条为agv巡检车当前所处导航磁条，第1导航磁条、第2导航磁条、第3导航磁条、
……
、第k-1导航磁条为待选择的导航磁条；执行下一步；
[0096]
若在行走过程中未接收到地标信号，则agv巡检车继续向前行走，返回步骤s1；
[0097]
s2，以待选择的导航磁条向前前进相同距离l后处于预计点：
[0098]
在第1导航磁条上向前前进距离l后，处于第1导航磁条上的第1预计点；
[0099]
在第2导航磁条上向前前进距离l后，处于第2导航磁条上的第2预计点；
[0100]
在第3导航磁条上向前前进距离l后，处于第3导航磁条上的第3预计点；
[0101]
……
；
[0102]
在第k-1导航磁条上向前前进距离l后，处于第k-1导航磁条上的第k-1预计点；
[0103]
s3，计算第k预计点与目标位置两点连线的距离，k＝1、2、3、
……
、k-1，以两点连线距离最小的预计点所在导航磁条为前进的导航磁条。其第k预计点与目标位置两点连线的距离的计算方法为：
[0104]
dk2＝(x0-xk)2 (y0-yk)2，d》0；
[0105]
其中，(x0,y0)表示目标位置的位置坐标值；
[0106]
(xk,yk)表示第k预计点的位置坐标值；
[0107]
dk表示第k预计点与目标位置两点连线的距离。
[0108]
本发明还公开了一种虫害识别检测方法，包括以下步骤：
[0109]
s1，虫害云端工作平台对获取的蔬菜图像进行编号，分别为a1、a2、a3、
……
、ab，ab表示第b蔬菜云端图像，b＝1、2、3、
……
、b，b为摄像头拍摄的图像总张数，a1表示第1蔬菜云端图像，a2表示第2蔬菜云端图像，a3表示第3蔬菜云端图像，ab表示第b蔬菜云端图像；令a＝1；
[0110]
s2，判断aa是否为rgb图像：
[0111]
若aa为rgb图像，则将aa转换为gray图像，则执行下一步；
[0112]
若aa为gray图像，则执行下一步；
[0113]
s3，将gray图像aa,gray导入训练好的yolo-v5s模型中进行输出结果：
[0114]
若输出结果为蔬菜图像中存在虫害，则虫害云端工作平台向其灭虫装置发送虫害消除控制命令；由灭虫装置对巡检机器人拍摄的蔬菜所在位置进行虫害消除；
[0115]
若输出结果为蔬菜图像中不存在虫害，则判断下一张图像。
[0116]
在本发明的一种优选实施方式中，在步骤s2中，将aa转换为gray图像的方法为：
[0117]aa
,gray＝aa[x,y]r*βr aa[x,y]g*βg aa[x,y]b*βb，
[0118]
其中，a
α
,grαy表示aa的gray图像；
[0119]aa
[x,y]r表示aa在像素坐标点(x,y)处的红色分量值；x∈{x1,x2,x3,
…
xi}，x表示像素坐标点中的横坐标点，{x1,x2,x3,
…
xi}表示横坐标点集合，i表示横坐标点的总个数；
[0120]aa
[x,y]g表示aa在像素坐标点(x,y)处的绿色分量值；y∈{y1,y2,y3,
…
yj}，y表示像素坐标点中的纵坐标点，{y1,y2,y3,
…
yj}表示纵坐标点集合，j表示纵坐标点的总个数；
[0121]aα
[x,y]b表示aa在像素坐标点(x,y)处的蓝色分量值；
[0122]
βr表示红色分量值的比例系数值，βr∈[0,1]；
[0123]
βg表示红色分量值的比例系数值，βg∈[0,1]；
[0124]
βb表示红色分量值的比例系数值，βb∈[0,1]，且βr βg βb＝1；
[0125]
横坐标点集合与纵坐标点集合构成像素图像
[0126]
在本发明的一种优选实施方式中，在步骤s2中，横坐标点的总个数i的计算方法为：
[0127]
i＝ε
image
×iwidth
，
[0128]
其中，ε
image
表示摄像头拍摄的图像的分辨率；
[0129]iwidth
表示拍摄图像的宽度值；
[0130]
i表示横坐标点的总个数；
[0131]
纵坐标点的总个数j的计算方法为：
[0132]
j＝ε
image
×ihigh
，
[0133]
其中，ε
imαge
表示摄像头拍摄的图像的分辨率；
[0134]ihigh
表示拍摄图像的高度值；
[0135]
j表示纵坐标点的总个数。
[0136]
在本发明的一种优选实施方式中，还包括虫害云端工作平台向其灭虫装置发送灭虫装置由始发点至消除虫害位置的路径。其由始发点至消除虫害位置的路径的方法与agv巡检车承载巡检机器人至目标位置的方法相同。
[0137]
结合实际，考虑到虫害实际大小，神经网络需要具备对微小物体的准确识别和分类能力以及多尺度检测的鲁棒性。因此选用目前对小目标识别具有较好能力的yolo-v5神经网络作为本检测网络的核心网络。虫害识别检测输入端是摄像头采集到的实际图像。因此数据集的好坏对模型的检测结果尤为重要。首先需要采集虫害图片和正常无虫害图片，建立数据集并标注虫害类别。对输入图像进行增强和图像处理后，使用yolo-v5模型对训练集进行预训练和模型调参，获得最优的权重。在测试集精度满足一定阈值后，转入实际实验测试，优化模型完成最终的识别效果。对训练好的模型进行优化部署，以达到实际使用需求。
[0138]
系统组成和工作原理
[0139]
3.1系统组成
[0140]
3.1.1虫害识别模型
[0141]
使用yolo-v5模型作为核心网络，完成虫害的检测与识别。输入端为相机采集到的实际图形，输出端为经过网络推理后得到的检测结果。网络结构图如图2所示。
[0142]
3.1.2上位机界面：
[0143]
上位机界面主要完成，摄像头画面实时显示和虫害识别分类信息显示等，基于qt搭建上位机开发环境，基于socket实现与机器人本体的tcp/ip通讯。上位机界面如图3所示。
[0144]
3.2算法原理
[0145]
虫害识别检测算法的核心是模型的训练和推理。通过高精度的相机进行虫害的图像采集，对采集的图像进行标注，建立完整的训练集。网络推理的输入端，使用滑动窗口以及自适应填充等方法，进行数据清洗，提高样本质量，优化输入端。主干网络主要包含focus、fpn pan特征提取网络，focus可以有效进行数据降维，而fpn pan的组合则是实现多尺度检测的关键，通过浅层深层特征的融合，既保留了浅层的纹理信息，又得到的深层鲁棒性更强的特征信息。输出端主要包含边界回归和非极大值抑制，使用diou_nms的方式可以有效增强对遮挡物体的识别率。
[0146]
实验
[0147]
4.1主要设备
[0148]
工业相机(分辨率800mp)，千兆网线，hmi界面，工控机(i7 rtx3060)，win10操作系统，巡检机器人
[0149]
4.2实验地点
[0150]
重庆市九龙坡区重庆市农业科学院内
[0151]
4.3实验材料
[0152]
带有虫害的农作和正常的农作物
[0153]
4.4实验步骤
[0154]
(1)数据集采集
[0155]
由于目前并没有关于虫害类别的深度学习公开数据集，因此首先需要采集虫害图片，制作训练集。使用工业相机采集虫害图像，相机像素800万以上。在试验场地不同菜株和不同时段下进行采集，实验数据集共采集图像800张，其中蚜虫450张，占比56％；粉虱350张，占比43％。使用图像数量扩充方法对图像数量进行扩充扩充后总图像数量1600张，其中蚜虫900张，占比56％；粉虱700张，占比43％，数据分布比例不变。如图4和5所示，数据集图像确保每一张图像中至少含有一只害虫。采用8-1-1(即80％，10％，10％)的分配比例随机分配图片作为训练集，测试集，验证集。在本实施方式中，使用图像数量扩充方法对图像数量进行扩充的方法包括以下步骤：
[0156]
第一步，将aa′
转换为gray图像，aa′
表示待处理图像，将aa′
转换为gray图像的方法为：
[0157]aa
′
,gray＝aa′
[x,y]r*βr a
α
′
[x,y]g*βg a
α
′
[x,y]b*βb，
[0158]
其中，aa′
,grαy表示a
α
′
的gray图像；
[0159]aα
′
[x,y]r表示a
α
′
在像素坐标点(x,y)处的红色分量值；x∈{x1,x2,x3,
…
xi}，x表示像素坐标点中的横坐标点，{x1,x2,x3,
…
xi}表示横坐标点集合，i表示横坐标点的总个数；横坐标点的总个数i的计算方法为：
[0160]
i＝ε
imαge
×iwidth
，
[0161]
其中，ε
image
表示摄像头拍摄的图像的分辨率；
[0162]iwidth
表示拍摄图像的宽度值；
[0163]
i表示横坐标点的总个数；
[0164]aa
′
[x,y]g表示aa′
在像素坐标点(x,y)处的绿色分量值；y∈{y1,y2,y3,
…
yj}，y表示像素坐标点中的纵坐标点，{y1,y2,y3,
…
yj}表示纵坐标点集合，j表示纵坐标点的总个
数；纵坐标点的总个数j的计算方法为：
[0165]
j＝ε
image
×ihigh
，
[0166]
其中，ε
image
表示摄像头拍摄的图像的分辨率；
[0167]ihigh
表示拍摄图像的高度值；
[0168]
j表示纵坐标点的总个数；
[0169]aa
′
[x,y]b表示aa′
在像素坐标点(x,y)处的蓝色分量值；
[0170]
βr表示红色分量值的比例系数值，βr∈[0,1]；
[0171]
βg表示红色分量值的比例系数值，βg∈[0,1]；
[0172]
βb表示红色分量值的比例系数值，βb∈[0,1]，且βr βg βb＝1；
[0173]
横坐标点集合与纵坐标点集合构成像素图像
[0174]
第二步，根据设定的像素调节因子，得到对比图像：
[0175]aa
′
,grαy
′
＝η
×aα
′
,gray
′
，
[0176]
其中，aa′
,grαy表示待处理图像aa′
的gray图像(灰度图像)；
[0177]
η表示设定的像素调节因子，η∈[0.58,1)∪(1,1.35]，∪表示并集；
[0178]
第三步，判断i
width
′
与i
high
′
间大小：
[0179]
若i
width
′
≥i
high
′
，i
high
′
表示待处理图像的高度值；i
width
′
表示待处理图像的宽度值；则以i
width
′
为边长构建一个方形图层；
[0180]
若i
width
′
《i
high
′
，则以i
high
′
为边长构建一个方形图层；
[0181]
第四步，将aa′
,gray中的像素点的灰度值移动至方形图层中的上，其中，(x0,y0)表示旋转点参考点，φ表示旋转角度，φ∈(0,2π)；即得到扩充图像。
[0182]
数据集标注
[0183]
利用图像标记工具labelimg对数据集图像进行虫害的类别和位置信息标记，按照pascal voc 2013的数据集格式保存标记数据。标注后的数据仍然分为训练集，测试集和验证集。
[0184]
模型训练调优
[0185]
模型训练调优主要分为模型预训练、模型迁移训练、参数调优阶段；
[0186]
a.模型预训练
[0187]
模型与训练，yolo-v5分为s,m,l,x四种模型，结合实际需求，选用yolo-v5s作为核心模型，首先在imagenet数据集上进行模型与训练，并得到与训练权重和参数，训练完成后
[0188]
b.迁移训练
[0189]
迁移训练的目的主要是针对数据集较小或者前期无法得到较好的模型训练参数的时候使用，迁移训练同时还具有在新数据集上模型快速收敛的能力。步骤a已经完成模型的与训练，将预训练后的模型进行初始化，并使用采集的虫害数据集进行迁移训练。采用小
batch，多类别的方式进行，同时在输入端引入mosic数据增强，提高模型的抗干扰能力和鲁棒性。训练在win10环境，python3.9.6以及nivida rtx3060ti显卡上进行，如图6所示。
[0190]
c.参数调优
[0191]
对迁移训练后的模型分别在测试集和验证集上进行测试，分析参数回归曲线，进行模型参数的调优，主要涉及到超参数学习率lr0、batch数量、权重衰减率weight_decay、梯度动量系数momentum等。经过多轮训练和调参，最终学习率率lr0为0.01，动量因子momentum为0.937，权重衰减率weight_decay为0.0005，batch数量为4。训练模型在验证集和测试集上都达到了90％以上的准确率和识别精度，满足实验需求，如图7所示。
[0192]
(4)模型部署
[0193]
训练后的模型需要对其进行生产部署，考虑到使用的环境为win10，因此采用主流的onnx模型进行部署，将yolo-v5的pytorch模型转换为onnx模型，在将onnx模型部署到基于qt开发的hmi界面中，完成模型的落地。
[0194]
结果与分析
[0195]
5.1实验数据记录与数据分析
[0196]
模型的评估采用召回率、准确率和平均准确率作为性能评价指标，将iou设定为0.5。
[0197]
图8，图9分别表示测试集中的原始标注图像和经过模型测试后得到的推理结果，从结果可以看出，检测准确率和检测置信度都较高(大于0.9)。
[0198]
图10为虫害识别的精确率-召回率曲线，可以看出召回率接近99％，说明模型训练结果较好，可以有效检测两类虫害。
[0199]
最终通过相机进行试验场地实际虫害图像采集，并进行识别，模型均可以有效监测和框选出虫害类别和位置，模型检测准确率蚜虫》92％，粉虱》90％。满足实际要求，如图11和12所示。
[0200]
将最终的模型转换为onnx部署到qt界面中，实际巡行效果如图13，模型最终单帧检测时间为0.5s，具备较高的实时性。
[0201]
5.2结论
[0202]
通过实验数据和参数分析，最终的模型可以有效的识别检测出蚜虫、粉虱虫害，且实时性较高，具备落地部署的条件。同时后期通过不断迭代测试集数量和模型再训练，具备模型的检测准确率和精度进一步提升的空间。
[0203]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。