一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于轻量型网络的目标识别方法、识别系统及农业机械与流程

2022-02-24 10:58:14 来源:中国专利 TAG:


1.本发明涉及农业图像识别技术领域,具体地涉及一种基于轻量型网络的目标识别方法、识别系统及农业机械。


背景技术:

2.人工智能技术在农业机械领域应用越来越广泛。其中,目标识别和检测技术将电子技术、传感技术、计算机技术、智能化控制技术等相结合,对农业机械实现自动化起着关键性的作用,也在整个农业生产中得到越来越多的推广和应用,如杂草识别、病虫害识别、作物倒伏识别、收获对象识别、打捆对象识别、施肥对象识别等。
3.现有技术中,技术人员开发出了对农业目标的感知方法,通过图像识别和深度学习的方式对农业目标进行识别。然而一方面,现有的农业目标识别方法在特征提取器的设计阶段非常依赖专家经验,泛化能力较差;另一方面,在对农业目标进行识别的过程中,需要对图像进行大量的预处理工作,预处理工作量极大,为处理装置的运算能力提出了极高的要求,且导致处理流程的时间成本较高、效率低下。此外,现有目标识别对农业目标的定位精度也较差。


技术实现要素:

4.为了克服现有技术中对农业目标的识别方法运算复杂度高、识别效率低下、定位精度差的技术问题,本发明实施例提供一种基于轻量型网络的目标识别方法、一种基于轻量型网络的目标识别系统及一种农业机械,通过采用轻量型的网络架构对拍摄的农田图像进行数据处理,并采用基于数据增强方法的深度学习对农业目标进行有效识别,从而降低了识别过程中的运算复杂度,提高了识别效率以及定位精确性。
5.为了实现上述目的,本发明实施例提供一种基于轻量型网络的目标识别方法,所述识别方法包括:建立目标数据库,所述目标数据库中包括目标图像;对所述目标图像执行数据预处理操作,获得对应的预处理数据;建立轻量型网络模型,基于所述轻量型网络模型对所述预处理数据进行处理,获得对应的处理后数据;获取框体信息,基于所述框体信息对所述处理后数据进行分析,获得目标识别信息。
6.优选地,所述建立目标数据库,包括:获取目标图像;对所述目标图像进行有效性筛选,获得筛选后图像;对所述筛选后图像进行标注,获得与所述筛选后图像对应的标注信息,所述标注信息包括第一目标信息和第二目标信息;基于所述筛选后图像和所述标注信息建立目标数据库。
7.优选地,所述对所述目标图像执行数据预处理操作,获得对应的预处理数据,包括:对所述筛选后图像执行第一数据增强操作,获得第一增强数据;对所述第一增强数据执行第二数据增强操作,获得第二增强数据;按照预设要求对所述第二增强数据进行处理,获得所述预处理数据。
8.优选地,所述按照预设要求对所述第二增强数据进行处理,获得所述预处理数据,
包括:获取预设图片格式信息;基于所述预设图片格式信息对所述第二增强数据进行格式处理,获得格式后数据;对所述格式后数据进行归一化处理,获得所述预处理数据。
9.优选地,所述建立轻量型网络模型,基于所述轻量型网络模型对所述预处理数据进行处理,获得对应的处理后数据,包括:获取基础网络架构,所述基础网络架构为基于轻量型设计的网络架构;获取第一通道信息,在所述基础网络架构中基于所述第一通道信息对所述预处理数据进行数据扩张处理,获得扩张后数据;获取第二通道信息,在所述基础网络架构中基于所述第二通道信息对所述扩张后数据进行特征提取处理,获得提取后数据;在所述基础网络架构中基于所述第一通道信息对所述提取后数据执行融合操作,获得融合后数据,将所述融合后数据作为所述处理后数据。
10.优选地,所述标注信息还包括所述筛选后图像的筛选后尺寸信息,所述识别方法还包括:在获取所述框体信息之后,基于所述筛选后尺寸信息生成对应的尺寸统计信息;基于所述基础网络架构和所述尺寸统计信息对所述框体信息进行调整,获得调整后的框体信息。
11.优选地,所述基于所述框体信息对所述处理后数据进行分析,获得目标识别信息,包括:基于所述框体信息对所述处理后数据进行分析,获得多个候选预测框;按照预设筛选规则对所述多个候选预测框进行筛选,获得至少一个筛选后预测框;将所述筛选后预测框作为所述分析结果;提取每个所述筛选后预测框的分类信息和定位信息,并基于所述分类信息和所述定位信息生成与所述筛选后预测框对应的目标识别信息。
12.优选地,所述识别方法还包括:在基于所述框体信息对所述处理后数据进行分析之前,基于所述框体信息、所述第二通道信息和预设损失计算算法生成损失计算信息;基于所述损失计算信息对所述框体信息进行优化,获得优化后的框体信息。
13.优选地,所述基于所述损失计算信息对所述框体信息进行优化,获得优化后的框体信息,包括:判断所述损失计算信息是否大于预设损失阈值;在所述损失计算信息小于等于所述预设损失阈值的情况下:基于所述损失计算信息对所述第二通道信息进行处理,获得处理后第二通道信息;基于所述处理后第二通道信息对所述框体信息进行优化,以获得优化后的框体信息;所述识别方法还包括:在所述损失计算信息大于所述预设损失阈值的情况下:判断与所述损失计算信息对应的筛选后图像是否为合格图像;若与所述损失计算信息对应的筛选后图像为合格图像,则基于所述损失计算信息对所述筛选后图像对应的标注信息进行调整,获得调整后标注信息;否则,删除与所述损失计算信息对应的筛选后图像。
14.优选地,所述按照预设筛选规则对所述多个候选预测框进行筛选,获得至少一个筛选后预测框,包括:基于非极大抑制算法对所述多个候选预测框进行筛选,获得第一处理后预测框;基于得分阈值对所述第一处理后预测框进行筛选,获得第二处理后预测框;基于最小尺寸阈值对所述第二处理后预测框进行筛选,获得第三处理后预测框;判断是否存在重叠区域大于最大重叠阈值的重叠第三处理后预测框,若是,则获取所述重叠第三处理后预测框的目标得分信息,并将所述目标得分信息较小的重叠第三处理后预测框删除,获得至少一个筛选后预测框;否则,将所述第三处理后预测框作为所述筛选后预测框。
15.相应的,本发明还提供一种基于轻量型网络的目标识别系统,所述识别系统包括:库构建单元,用于建立目标数据库,所述目标数据库中包括目标图像;预处理单元,用于对
所述目标图像执行数据预处理操作,获得对应的预处理数据;轻量型网络单元,用于建立轻量型网络模型,基于所述轻量型网络模型对所述预处理数据进行处理,获得对应的处理后数据;识别单元;用于获取框体信息,基于所述框体信息对所述处理后数据进行分析,获得目标识别信息。
16.优选地,所述库构建单元包括:图像获取模块,用于获取目标图像;有效性筛选模块,用于对所述目标图像进行有效性筛选,获得筛选后图像;标注模块,用于对所述筛选后图像进行标注,获得与所述筛选后图像对应的标注信息,所述标注信息包括第一目标信息和第二目标信息;库建立模块,用于基于所述筛选后图像和所述标注信息建立目标数据库。
17.优选地,所述预处理单元包括:第一增强模块,用于对所述筛选后图像执行第一数据增强操作,获得第一增强数据;第二增强模块,用于对所述第一增强数据执行第二数据增强操作,获得第二增强数据;预处理模块,用于按照预设要求对所述第二增强数据进行处理,获得所述预处理数据。
18.优选地,所述按照预设要求对所述第二增强数据进行处理,获得所述预处理数据,包括:获取预设图片格式信息;基于所述预设图片格式信息对所述第二增强数据进行格式处理,获得格式后数据;对所述格式后数据进行归一化处理,获得所述预处理数据。
19.优选地,所述轻量型网络单元包括:基础网络模块,用于获取基础网络架构,所述基础网络架构为基于轻量型设计的网络架构;扩张模块,用于获取第一通道信息,在所述基础网络架构中基于所述第一通道信息对所述预处理数据进行数据扩张处理,获得扩张后数据;提取模块,用于获取第二通道信息,在所述基础网络架构中基于所述第二通道信息对所述扩张后数据进行特征提取处理,获得提取后数据;融合模块,用于在所述基础网络架构中基于所述第一通道信息对所述提取后数据执行融合操作,获得融合后数据,将所述融合后数据作为所述处理后数据。
20.优选地,所述标注信息还包括所述筛选后图像的筛选后尺寸信息,所述识别单元包括:统计模块,用于在获取所述框体信息之后,基于所述筛选后尺寸信息生成对应的尺寸统计信息;调整模块,用于基于所述基础网络架构和所述尺寸统计信息对所述框体信息进行调整,获得调整后的框体信息。
21.优选地,所述识别单元包括:分析模块,用于基于所述框体信息对所述处理后数据进行分析,获得多个候选预测框;筛选模块,用于按照预设筛选规则对所述多个候选预测框进行筛选,获得至少一个筛选后预测框;识别模块,用于提取每个所述筛选后预测框的分类信息和定位信息,并基于所述分类信息和所述定位信息生成与所述筛选后预测框对应的目标识别信息。
22.优选地,所述识别单元还包括:损失计算模块,用于在基于所述框体信息对所述处理后数据进行分析之前,基于所述框体信息、所述第二通道信息和预设损失计算算法生成损失计算信息;框体优化模块,用于基于所述损失计算信息对所述框体信息进行优化,获得优化后的框体信息。
23.优选地,所述基于所述损失计算信息对所述框体信息进行优化,获得优化后的框体信息,包括:判断所述损失计算信息是否大于预设损失阈值;在所述损失计算信息小于等于所述预设损失阈值的情况下:基于所述损失计算信息对所述第二通道信息进行处理,获得处理后第二通道信息;基于所述处理后第二通道信息对所述框体信息进行优化,获得优
化后的框体信息;所述识别装置还包括:在所述损失计算信息大于所述预设损失阈值的情况下:判断与所述损失计算信息对应的筛选后图像是否为合格图像;若与所述损失计算信息对应的筛选后图像为合格图像,则基于所述损失计算信息对所述筛选后图像对应的标注信息进行调整,获得调整后标注信息;否则,删除与所述损失计算信息对应的筛选后图像。
24.优选地,所述按照预设筛选规则对所述多个候选预测框进行筛选,获得至少一个筛选后预测框,包括:基于非极大抑制算法对所述多个候选预测框进行筛选,获得第一处理后预测框;基于得分阈值信息对所述第一处理后预测框进行筛选,获得第二处理后预测框;基于最小尺寸阈值对所述第二处理后预测框进行筛选,获得第三处理后预测框;判断是否存在重叠区域大于最大重叠阈值的重叠第三处理后预测框,若是,则获取所述重叠第三处理后预测框的目标得分信息,并将所述目标得分信息较小的重叠第三处理后预测框删除,获得至少一个筛选后预测框;否则,将所述第三处理后预测框作为所述筛选后预测框。
25.另一方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明提供的方法。
26.另一方面,本发明还提供一种农业机械,所述农业机械包含本发明提供的识别系统和/或本发明提供的计算机可读存储介质。
27.通过本发明提供的技术方案,本发明至少具有如下技术效果:
28.通过上述技术方案,本发明首先通过构建轻量型网络架构对农业目标进行识别、分析和处理,大大降低了运算复杂度,减少了运算量,同时创新性地结合生成式对抗网络对图像数据进行数据增强,从而有效提高了数据的多样性和有效性,进一步地,在具体识别过程中通过标注信息对训练模型进行不断的优化从而大大提高了识别的精确性。
29.本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
30.附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
31.图1是本发明实施例提供的轻量型网络的目标识别方法的具体实现流程图;
32.图2是本发明实施例提供的轻量型网络的目标识别方法中数据预处理的具体实现流程图;
33.图3是本发明实施例提供的轻量型网络的目标识别方法中基于轻量型网络对预处理数据进行处理的具体实现流程图;
34.图4是本发明实施例提供的轻量型网络的目标识别方法中基于框体信息对处理后数据进行分析的具体实现流程图;
35.图5是本发明实施例提供的轻量型网络的目标识别方法中对多个候选预测框进行筛选的具体实现流程图;
36.图6是本发明实施例提供的轻量型网络的目标识别系统的结构示意图。
具体实施方式
37.为了克服现有技术中对农业目标的识别方法运算复杂度高、识别效率低下、定位
精度差的技术问题,本发明实施例提供一种基于轻量型网络的目标识别方法、一种基于轻量型网络的目标识别系统及一种农业机械,通过采用轻量型的网络架构对拍摄的农业目标图像进行数据处理,并采用基于数据增强方法的深度学习对农业目标进行有效识别,从而降低了识别过程中的运算复杂度,提高了识别效率以及定位精确性。
38.本发明的农业目标识别是指农业作业机械的相关对象的识别,包括杂草识别、病虫害识别、作物倒伏识别、收获对象识别、打捆对象识别、施肥对象识别、作物生长态势识别等等。
39.以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
40.本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上,鉴于此,本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。另外,需要理解的是,在本发明实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
41.请参见图1,本发明实施例提供一种基于轻量型网络的目标识别方法,所述识别方法包括:
42.s10)建立目标数据库,所述目标数据库中包括目标图像;
43.s20)对所述目标图像执行数据预处理操作,获得对应的预处理数据;
44.s30)建立轻量型网络模型,基于所述轻量型网络模型对所述预处理数据进行处理,获得对应的处理后数据;
45.s40)获取框体信息,基于所述框体信息对所述处理后数据进行分析,获得目标识别信息。
46.在本发明实施例中,所述建立目标数据库,包括:获取目标图像;对所述目标图像进行有效性筛选,获得筛选后图像;对所述筛选后图像进行标注,获得与所述筛选后图像对应的标注信息,所述标注信息包括第一目标信息和第二目标信息;基于所述筛选后图像和所述标注信息建立目标数据库。
47.在一种可能的实施方式中,在对某个农田或农场区域的杂草进行识别的过程中,需要首先建立农业目标的数据库,例如该目标数据库为作物杂草的数据库,例如在本发明实施例中,技术人员通过驱动植保机自动到待识别的农田区域上方飞行并使用配置于植保机上的摄像机拍摄该农田的农田图像,在获得农田图像后,需要对初步获取的农田图像进行有效性筛选,例如在本发明实施例中,技术人员通过人工识别对获得的每张农田图像进行筛选,以将包括非农田场景、重复程度高、图像过于模糊以及没有目标作物等的农田图像筛选出来并进行删除,从而保留符合识别要求或识别场景的图像,此时技术人员对筛选后的每张图像都进行标注,例如将每张图像的作物、杂草以标注框的形式进行标注,并对每个标注框标注对应的尺寸信息等信息。
48.请参见图2,在本发明实施例中,所述对所述目标图像执行数据预处理操作,获得对应的预处理数据,包括:
49.s201)对所述筛选后图像执行第一数据增强操作,获得第一增强数据;
50.s202)对所述第一增强数据执行第二数据增强操作,获得第二增强数据;
51.s203)按照预设要求对所述第二增强数据进行处理,获得所述预处理数据。
52.在一种可能的实施方式中,在完成对农业目标数据库(例如该农业目标数据库为小麦倒伏的数据库)的创建后,开始对小麦倒伏的数据库中的筛选后图像进行预处理操作。首先获取预设操作概率,然后按照该预设概率判断是否对小麦倒伏的数据库中的某个筛选后图像进行第一数据增强操作。例如该预设操作概率为33%,小麦倒伏的数据库中包括35张筛选后图像,此时依次对上述35张筛选后图像按照上述预设操作概率进行随机第一数据增强操作。
53.例如对第1张筛选后图像,其随机选择后操作选择为不进行第一数据增强操作,因此跳过第1张筛选后图像;对于第2张筛选后图像,其随机选择后操作选择为进行第一数据增强操作,此时进一步随机选取左右翻转、裁剪、亮度变换以及颜色变换等操作对第2张筛选后图像进行数据增强操作,以获得增强后的筛选后图像

直至所有筛选后图像都按照上述预设操作概率完成第一数据增强操作。然后继续对执行完数据增强操作后的第一增强数据执行第二数据增强操作,以获得进一步数据增强的第二增强数据,最后,再按照预设要求对第二增强数据进行处理,例如该预设要求为下述轻量型网络中所要求的输入图像尺寸要求,即此时按照该输入图像尺寸要求对第二增强数据进行尺寸裁剪,以获得最终的预处理数据。
54.在传统的农业目标识别方法中,往往是对获取的图像进行直接的图像识别或深度学习,从而生成对农业目标的识别结果,而这种方式下输入的图像往往具有拍摄方式单一或获取途径相似的情况,因此作为输入数据往往存在多样性不足以及有效性不足的问题,因此在本发明实施例中,通过采用上述多重数据增强的方式对输入图像进行处理,从而大大提高了输入数据的多样性和有效性,减少了农业目标识别过程中对不合格图像的筛选次数,加快了对农业目标识别的效率以及提高了识别的精确性。
55.进一步地,在本发明实施例中,所述按照预设要求对所述第二增强数据进行处理,获得所述预处理数据,包括:获取预设图片格式信息;基于所述预设图片格式信息对所述第二增强数据进行格式处理,获得格式后数据;对所述格式后数据进行归一化处理,获得所述预处理数据。
56.在一种可能的实施方式中,对某个农田或农场区域的作物生长态势进行识别,为了解决现有的农业目标识别方法中识别场景的环境光照对所采集的图像影响较大的技术问题,例如在本发明实施例中,在当前识别场景的不同环境光照下采集的作物图像存在一定变化,进而对后续作物生长态势的识别和分析存在一定影响,因此在步骤s201中,对处理后的第一增强数据进行进一步的数据增强操作。首先创建生成式对抗网络(gan,generative adversarial networks),在该gan中包括第一训练模型和第二训练模型,第一训练模型用于按照预设识别参数对第一增强数据中的色彩和形态分布进行提取识别,并根据提取识别出的色彩和形态分布生成新的图片数据,此时第二训练模型进一步根据新的图片数据判断该图片数据来自上述筛选后图像的概率,并根据该概率对上述第一训练模型的预设识别参数进行优化。通过上述第一训练模型和第二训练模型的相互博弈学习,从而进一步对第一增强数据进行数据增强操作以获得第二增强数据。
57.在本发明实施例中,通过创新性地采用gan对第一增强数据进行进一步的数据增
强,从而大大降低输入数据的色差以及形状对识别过程所带来的影响,有效避免了因外部环境的光照原因或拍摄角度导致农业目标形状差别较大等原因导致的农业目标识别精确性较低、识别偏差较大的问题,大大提升了对农业目标识别的精确性和有效性。
58.请参见图3,在本发明实施例中,所述建立轻量型网络模型,基于所述轻量型网络模型对所述预处理数据进行处理,获得对应的处理后数据,包括:
59.s301)获取基础网络架构,所述基础网络架构为基于轻量型设计的网络架构;
60.s302)获取第一通道信息,在所述基础网络架构中基于所述第一通道信息对所述预处理数据进行数据扩张处理,获得扩张后数据;
61.s303)获取第二通道信息,在所述基础网络架构中基于所述第二通道信息对所述扩张后数据进行特征提取处理,获得提取后数据;
62.s304)在所述基础网络架构中基于所述第一通道信息对所述提取后数据执行融合操作,获得融合后数据,将所述融合后数据作为所述处理后数据。
63.在传统的目标识别方法中,识别方法需要引入多维度的参数对输入数据进行处理,从而使得识别过程中的运算复杂度大大提升,运算难度加大,本发明为了解决上述技术问题,在一种可能的实施方式中,在对输入数据进行识别之前,进一步构建基础网络架构,该基础网络架构是基于轻量型设计的mobilenet作为基础网络架构,具体地,采用基于mobilenetv2的基础网络架构。此时,对于尺寸大小为a*b*c的输入图像,首先通过1*1*c的卷积核对上述基础网络的通道数量进行扩张,此时预处理数据通过扩张后的通道生成对应的扩张后数据,然后使用3*3*c的卷积核对上述扩张后数据进行特征提取以实现对扩张后数据的模式分析并获得提取后数据,进一步地,通过*1*c的卷积核对处于不同通道中的提取后数据进行信息融合,从而获得最终的融合后数据,此时该融合后数据即为上述处理后数据。
64.在本发明实施例中,通过采用基于轻量型的网络架构,首先通过1*1*c的卷积核而不是3*3*c的卷积核对预处理数据进行处理,大大减少了数据处理的参数量,降低了运算复杂度,降低了数据处理难度,同时增加了网络的非线性特征,提高了运算效率以及运算精确性,减少了模型训练损失。
65.在本发明实施例中,所述标注信息还包括所述筛选后图像的筛选后尺寸信息,所述识别方法的步骤s40还包括:在获取所述框体信息之后,基于所述筛选后尺寸信息生成对应的尺寸统计信息;基于所述基础网络架构和所述尺寸统计信息对所述框体信息进行调整,获得调整后的框体信息。
66.在传统的农业目标识别方法中,识别的过程中会生成多个标注框,而每个标注框都是随机生成的,其尺寸为非固定的,因此导致传统的农业目标识别方法需要处理的标注框数量较多,提高了运算复杂度,同时降低了识别网络对农业目标识别的收敛速度,降低了对农业目标的定位精确性。
67.因此为了解决上述技术问题,在一种可能的实施方式中,对收获机的收获对象进行识别,例如该收获对象为苹果,在对输入的处理后数据进行苹果识别之前,本发明进一步根据上述筛选后图像的标注信息进行统计分析,具体地,根据标注信息中的筛选后尺寸信息进行统计分析,对所有的筛选后尺寸信息中的大小和宽高比信息执行统计分析,进一步地,还可以按照k-means算法等方法对上述筛选后尺寸信息进行聚类分析,以进一步提高分
析的精确性,分析出苹果在每层筛选后图像上的感受野大小,并进而生成标注框的最优大小和最优宽高比,即获得调整后框体信息。
68.在本发明实施例中,通过对农业目标识别过程中的框体进行进一步的优化,从而一方面进一步减少识别分析过程中的框体数量,降低运算复杂度,加快识别网络对农业目标识别的收敛速度,同时优化后的框体能够更加符合数据集(第一目标集以及第二目标集,例如该第一目标集为作物集,该第二目标集为杂草集)的实际特征,从而进一步提高对农业目标的识别精确性以及定位精确性。
69.请参见图4,在本发明实施例中,所述基于所述框体信息对所述处理后数据进行分析,获得目标识别信息,包括:
70.s401)基于所述框体信息对所述处理后数据进行分析,获得多个候选预测框;
71.s402)按照预设筛选规则对所述多个候选预测框进行筛选,获得至少一个筛选后预测框;
72.s403)提取每个所述筛选后预测框的分类信息和定位信息,并基于所述分类信息和所述定位信息生成与所述筛选后预测框对应的目标识别信息。
73.在一种可能的实施方式中,对当前农田或农场区域的虫害进行识别,在设计出合适的框体信息后,按照该设计出的框体信息对处理后数据进行分析,例如该处理后数据为多张包含第一目标(例如第一目标为作物)和第二目标(例如第二目标为害虫)的图像,此时根据该图像上的作物以及害虫的分布情况,在每张图像上会标注出至少一个候选预测框,此时,根据预设筛选规则对多个候选预测框进行筛选,从而获得至少一个筛选后预测框,在该筛选后预测框内包含了每张图像上所包含的作物或害虫的相关信息,此时提取出每个筛选后预测框的分类信息以及定位信息,并最终生成对当前农田的作物目标识别信息,例如在本发明实施例中,生成对当前农田的虫害识别信息。
74.在本发明实施例中,所述识别方法还包括:在基于所述框体信息对所述处理后数据进行分析之前,基于所述框体信息、所述第二通道信息和预设损失计算算法生成损失计算信息;基于所述损失计算信息对所述框体信息进行优化,获得优化后的框体信息。
75.进一步地,在本发明实施例中,所述基于所述损失计算信息对所述框体信息进行优化,获得优化后的框体信息,包括:判断所述损失计算信息是否大于预设损失阈值;在所述损失计算信息小于等于所述预设损失阈值的情况下:基于所述损失计算信息对所述第二通道信息进行处理,获得处理后第二通道信息;基于所述处理后第二通道信息对所述框体信息进行优化,以获得优化后的框体信息;所述识别方法还包括:在所述损失计算信息大于所述预设损失阈值的情况下:判断与所述损失计算信息对应的筛选后图像是否为合格图像;若与所述损失计算信息对应的筛选后图像为合格图像,则基于所述损失计算信息对所述筛选后图像对应的标注信息进行调整,获得调整后标注信息;否则,删除与所述损失计算信息对应的筛选后图像。
76.为了进一步对上述框体信息进行进一步的优化,使得每次标注出的预测框都能够尽可能的接近标注框,即使得每次预测结果都尽可能的接近实际展现结果,因此在本发明实施例中,在对处理后数据进行识别之前,还对识别方法进行更深度的学习和训练以进一步增强预测结果的精确性。
77.从在一种可能的实施方式中,首先获取预设损失计算算法,然后结合上述框体信
息以及第二通道信息对训练过程中生成的多个筛选后预测框进行损失计算,以评估预测框与标注的筛选后尺寸信息之间的损失计算信息。此时判断获取到的损失计算信息是否大于预设损失阈值(例如预设损失阈值为20%),当前损失计算信息为18%,即确定当前计算的损失计算信息小于该预设损失阈值,因此根据上述损失计算信息对第二通道信息进行优化调整,并获得优化处理后的第二通道信息,进而根据处理后的第二通道信息对上述框体信息进行优化,以获得优化后的框体信息。在后续对农业目标识别的训练过程中,继续根据生成的预测框与标注框之间的损失计算信息对上述第二通道信息和/或框体信息进行优化,从而使得最终的预测框与实际的标注框更加匹配。
78.在本发明实施例中,通过在对农业目标识别方法的深度学习的训练阶段根据预设损失计算算法进行不断的学习,并对第二通道信息和框体信息进行不断的优化,从而进一步提高在识别过程中生成的预测框与实际的标注框之间的匹配程度,提高了对农业目标的识别精确性。另一方面,在通过上述优化方法对农业目标识别方法进行优化的过程中,还可以对标注信息进行进一步的调整优化,从而使得标注信息也更加精确和合理,或移除不合理的筛选后图像,降低了对农业目标识别方法的训练的复杂度,提高了运算精确性以及运算效率。
79.请参见图5,在本发明实施例中,所述按照预设筛选规则对所述多个候选预测框进行筛选,以获得至少一个筛选后预测框,包括:
80.s4021)基于非极大抑制算法对所述多个候选预测框进行筛选,获得第一处理后预测框;
81.s4022)基于得分阈值对所述第一处理后预测框进行筛选,获得第二处理后预测框;
82.s4023)基于最小尺寸阈值对所述第二处理后预测框进行筛选,获得第三处理后预测框;
83.s4024)判断是否存在重叠区域大于最大重叠阈值的重叠第三处理后预测框;
84.s40241)若是,则获取所述重叠第三处理后预测框的目标得分信息,并将所述目标得分信息较小的重叠第三处理后预测框删除,获得至少一个筛选后预测框;
85.s40242)否则,将所述第三处理后预测框作为所述筛选后预测框。
86.在获取到对筛选后图像进行农业目标识别的多个候选预测框后,进一步对多个候选预测框进行筛选以提高识别结果的精确性。在一种可能的实施方式中,对当前农田或农场区域的施肥对象进行识别,例如该施肥对象为玉米作物。在获得对玉米作物进行识别的多个候选预测框后,首先基于非极大值抑制算法(nms,non-maximum suppression)对多个候选预测框进行筛选,以对多个候选预测框中的冗余预测框进行识别并消除,并获得第一处理后预测框;然后进一步获取得分阈值信息以及对每个第一处理后预测框的目标评分信息,并将目标评分信息低于该得分阈值信息的第一处理后预测框删除,并获得第二处理后预测框,在本发明实施例中,所述得分阈值信息可以基于预测框与真实边框的重叠度计算得出;进一步地,根据获取的最小尺寸阈值信息以及每个第二处理后预测框的尺寸信息,将尺寸信息小于最小尺寸阈值信息的第二处理后预测框删除,以进一步排除掉尺寸过小的预测框并获得第三处理后预测框;最后,再根据获取的最大重叠阈值信息对每个第三处理后预测框进行分析,判断是否存在重叠区域大于最大重叠阈值信息的重叠第三处理后预测
框,若存在,则将重叠第三处理后预测框中的目标评分信息较小的第三处理后预测框删除,以避免重复的运算,从而大大提高了对农业目标识别和定位的精确性,提高了运算效率。
87.在本发明实施例中,通过对进行农业目标识别后生成的预测框进行多层次的筛选,从而进一步提高农业目标识别的精确性,以及降低在后续运算过程中的运算量,降低了运算复杂度,提高了运算效率。
88.下面结合附图对本发明实施例所提供的基于轻量型网络的目标识别系统进行说明。
89.请参见图6,基于同一发明构思,本发明实施例提供一种基于轻量型网络的目标识别系统,所述识别系统包括:库构建单元,用于建立目标数据库,所述目标数据库中包括目标图像;预处理单元,用于对所述目标图像执行数据预处理操作,获得对应的预处理数据;轻量型网络单元,用于建立轻量型网络模型,基于所述轻量型网络模型对所述预处理数据进行处理,获得对应的处理后数据;识别单元;用于获取框体信息,基于所述框体信息对所述处理后数据进行分析,获得目标识别信息。
90.在本发明实施例中,所述库构建单元包括:图像获取模块,用于获取目标图像;有效性筛选模块,用于对所述目标图像进行有效性筛选,获得筛选后图像;标注模块,用于对所述筛选后图像进行标注,获得与所述筛选后图像对应的标注信息,所述标注信息包括第一目标信息和第二目标信息;库建立模块,用于基于所述筛选后图像和所述标注信息建立目标数据库。
91.在本发明实施例中,所述预处理单元包括:第一增强模块,用于对所述筛选后图像执行第一数据增强操作,获得第一增强数据;第二增强模块,用于对所述第一增强数据执行第二数据增强操作,获得第二增强数据;预处理模块,用于按照预设要求对所述第二增强数据进行处理,获得所述预处理数据。
92.在本发明实施例中,所述按照预设要求对所述第二增强数据进行处理,获得所述预处理数据,包括:获取预设图片格式信息;基于所述预设图片格式信息对所述第二增强数据进行格式处理,获得格式后数据;对所述格式后数据进行归一化处理,获得所述预处理数据。
93.在本发明实施例中,所述轻量型网络单元包括:基础网络模块,用于获取基础网络架构,所述基础网络架构为基于轻量型设计的网络架构;扩张模块,用于获取第一通道信息,在所述基础网络架构中基于所述第一通道信息对所述预处理数据进行数据扩张处理,获得扩张后数据;提取模块,用于获取第二通道信息,在所述基础网络架构中基于所述第二通道信息对所述扩张后数据进行特征提取处理以获得提取后数据;融合模块,用于在所述基础网络架构中基于所述第一通道信息对所述提取后数据执行融合操作,获得融合后数据,将所述融合后数据作为所述处理后数据。
94.在本发明实施例中,所述标注信息还包括所述筛选后图像的筛选后尺寸信息,所述识别单元包括:统计模块,用于在获取所述框体信息之后,基于所述筛选后尺寸信息生成对应的尺寸统计信息;调整模块,用于基于所述基础网络架构和所述尺寸统计信息对所述框体信息进行调整,获得调整后的框体信息。
95.在本发明实施例中,所述识别单元包括:分析模块,用于基于所述框体信息对所述处理后数据进行分析,获得多个候选预测框;筛选模块,用于按照预设筛选规则对所述多个
候选预测框进行筛选,获得至少一个筛选后预测框;识别模块,用于提取每个所述筛选后预测框的分类信息和定位信息,并基于所述分类信息和所述定位信息生成与所述筛选后预测框对应的目标识别信息。
96.在本发明实施例中,所述识别单元还包括:损失计算模块,用于在基于所述框体信息对所述处理后数据进行分析之前,基于所述框体信息、所述第二通道信息和预设损失计算算法生成损失计算信息;框体优化模块,用于基于所述损失计算信息对所述框体信息进行优化,获得优化后的框体信息。
97.在本发明实施例中,所述基于所述损失计算信息对所述框体信息进行优化,获得优化后的框体信息,包括:判断所述损失计算信息是否大于预设损失阈值;在所述损失计算信息小于等于所述预设损失阈值的情况下:基于所述损失计算信息对所述第二通道信息进行处理,获得处理后第二通道信息;基于所述处理后第二通道信息对所述框体信息进行优化,获得优化后的框体信息;所述识别装置还包括:在所述损失计算信息大于所述预设损失阈值的情况下:判断与所述损失计算信息对应的筛选后图像是否为合格图像;若与所述损失计算信息对应的筛选后图像为合格图像,则基于所述损失计算信息对所述筛选后图像对应的标注信息进行调整,获得调整后标注信息;否则,删除与所述损失计算信息对应的筛选后图像。
98.在本发明实施例中,所述按照预设筛选规则对所述多个候选预测框进行筛选,获得至少一个筛选后预测框,包括:基于非极大抑制算法对所述多个候选预测框进行筛选,获得第一处理后预测框;基于得分阈值信息对所述第一处理后预测框进行筛选,获得第二处理后预测框;基于最小尺寸阈值对所述第二处理后预测框进行筛选,获得第三处理后预测框;判断是否存在重叠区域大于最大重叠阈值的重叠第三处理后预测框,若是,则获取所述重叠第三处理后预测框的目标得分信息,并将所述目标得分信息较小的重叠第三处理后预测框删除,获得至少一个筛选后预测框;否则,将所述第三处理后预测框作为所述筛选后预测框。
99.进一步地,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明所述的方法。
100.进一步地,本发明实施例还提供一种农业机械,所述农业机械包含本发明实施例提供的识别系统和/或本发明实施例提供的计算机可读存储介质。
101.以上结合附图详细描述了本发明实施例的可选实施方式,但是,本发明实施例并不限于上述实施方式中的具体细节,在本发明实施例的技术构思范围内,可以对本发明实施例的技术方案进行多种简单变型,这些简单变型均属于本发明实施例的保护范围。
102.另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明实施例对各种可能的组合方式不再另行说明。
103.本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
104.此外,本发明实施例的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明实施例的思想,其同样应当视为本发明实施例所公开的内容。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献