基于形态学引导边界精修的果实-果柄识别方法与系统
本发明属于农业自动化与计算机视觉,具体涉及一种目标检测方法及系统,可应用于果蔬采摘机器人对果实及其果柄的识别,尤其适用于芒果等需保留果柄采摘的水果。
背景技术:
1、果蔬采摘是农业生产中劳动强度最大、耗时最多的环节之一。许多水果如芒果、柑橘、苹果、葡萄等在采收时要求保留果柄或果梗,否则易导致果实损伤、病害侵入,影响果实商品价值和贮藏寿命。因此自动化采摘不仅需要识别果实本身,更必须同步精准识别果柄,为采摘执行机构提供精确的切割点。
2、采摘机器人的视觉识别系统需在复杂果园环境中对果实与果柄进行目标检测。然而,果园场景光照多变、果实与背景色相近、果实易重叠遮挡,且果柄作为典型的细小目标,其特征提取难度远大于果实本身,对算法识别精度和鲁棒性提出较高要求;而采摘机器人所搭载的边缘计算设备如jetson nano等,存在算力、功耗、存储资源受限等问题,传统目标检测模型往往“重精度而轻速度”,难以兼顾检测精度与实时性,无法满足边缘端部署的作业需求。
3、现有基于深度学习的果实识别算法仍存在诸多不足:部分模型检测精度低,对果柄等细小目标漏检、错检率高;部分模型结构复杂,参数量和计算量大,难以在低算力边缘设备实时检测;少数轻量化模型虽完成边缘部署,却未做针对性优化和推理加速,帧率难以满足作业需求。此外,现有果实检测数据集缺乏对果园复杂环境的考量,模型泛化能力弱,难以适配实际采摘场景。
4、现有yolov11改进方法主要聚焦于骨干网络替换或损失函数优化,鲜有从形态学特征与边界引导相结合的角度,解决果柄等细长目标因边界模糊、与果实或背景粘连而导致的定位精度偏低问题。因此,研发一款能够有效提升细长目标边界定位精度、兼顾轻量化与高实时性的目标检测方法,成为推动果实采摘智能化发展的关键技术问题。
技术实现思路
1、本发明提供了一种基于形态学引导边界精修的果实-果柄识别方法与系统,旨在解决现有技术中,果园环境下果实与果柄识别存在的细长目标边界定位精度低、小目标漏检错检率高,且难以在低算力边缘设备实现实时检测等问题。
2、本发明的一种基于形态学引导边界精修的果实-果柄识别方法与系统,其特征在于,通过以下步骤来实现:
3、步骤s1:获取果园场景下的待识别图像,所述图像包含至少一个果实目标及与之连接的果柄目标;所述待识别图像由果蔬采摘机器人前端的图像采集设备实时采集。
4、步骤s2:构建基于形态学引导边界精修的轻量化检测网络,以yolov11网络为基础,在颈部网络中嵌入形态学引导边界精修(morphology-guided boundary refinement,mgbr)模块;所述mgbr模块包括形态学特征提取子模块、边界热图生成子模块和特征增强子模块;所述形态学特征提取子模块通过水平条形卷积核(1×k)与垂直条形卷积核(k×1)对输入特征图进行双向卷积操作,提取细长目标的形态学特征;所述边界热图生成子模块将所述形态学特征映射为表征边界概率的单通道热图;所述特征增强子模块通过逐元素相乘融合所述形态学特征与所述边界热图,使网络聚焦于目标边界区域,增强边界特征响应,得到增强后的特征图,并将所述增强后的特征图输入后续检测头进行目标分类与边界框回归。
5、步骤s3:网络模型训练与性能评估,使用构建的数据集对步骤s2构建的网络模型进行训练,训练批次设为16、训练轮次设为170轮、初始学习率设为0.01,采用sgd优化器、mosaic在线数据增强方式,权重衰减系数设为0.0005、学习率动量设为0.937,输入图像尺寸设为640×640×3,通过消融实验与对比实验验证所述mgbr模块的有效性,采用准确率p、召回率r、平均精度均值map衡量模型检测精度,利用模型大小、浮点运算数gflops、模型参数量衡量模型轻量化效果,获得训练完成的轻量化检测模型。
6、步骤s4:边缘部署与实时识别,将训练完成的模型转换为onnx通用格式后,经tensorrt优化器进行剪枝、量化、层融合优化生成序列化引擎文件,反序列化后转换为trt格式引擎文件部署至jetson nano边缘计算平台,在实际果园场景中进行果实与果柄的实时识别。
7、所述步骤s1包括:制作果园场景数据集,获取果园场景下的待识别图像,所述图像包含至少一个果实目标及与之连接的果柄目标。使用nikon d90型相机进行图像采集,图像分辨率为4288×2848像素,保存为jpg格式,采集时间为8:00~18:00,采集图像2000幅;同时采用realsense d435i深度相机采集的图像作为测试样本,成像距离为0.3~0.8m,符合采摘机器人的实际工作情况。样本数据包含一簇单果、一簇多果、遮挡、多果柄以及不同光照条件等多种场景。对采集到的有效图像进行归一化处理,将原始图像分辨率压缩至1280×960,使用开源数据标注软件labelimg 3.16.5进行矩形框标注,设定目标类别标签为果实和果柄,按照txt格式生成数据文件,文件中包含标注目标框的中心坐标及其高度和宽度。针对不同果蔬采摘农艺要求,果柄保留长度不同,参考该要求标注果柄目标。在制作数据集时,剔除物体超出采摘机器人工作范围、未结果的果茎以及遮挡严重的图像。为了模拟果园自然场景、提高模型鲁棒性,对图像进行数据增强,包括随机旋转、剪切、缩放、mosaic增强、mixup增强和copy-paste增强中的一种或多种,将数据集按照8∶1∶1的比例划分为训练集、验证集和测试集。
8、所述步骤s2具体包括:
9、步骤s2a:所述形态学特征提取子模块通过水平条形卷积核(1×k)与垂直条形卷积核(k×1)对输入特征图进行双向卷积操作,提取细长目标的形态学特征,其表达式为:
10、
11、
12、
13、式中x为输入特征图,w1×k和wk×1为条形卷积核权重,fh和fv分别为水平和垂直方向提取的形态学特征,fmorph为融合后的形态学特征。所述双向条形卷积操作中,水平条形卷积核为(1×k)、垂直条形卷积核为(k×1),其中k为大于1的正整数,优选为5、7或9,进一步优选为7。通过不同方向的条形卷积核,该模块可同时捕捉细长目标在水平方向和垂直方向的形态特征,增强模型对果柄等细长目标的感知能力。
14、步骤s2b:所述边界热图生成子模块通过卷积层将所述形态学特征映射为单通道边界热图,所述边界热图的像素值表征对应位置属于目标边界的概率,其表达式为:
15、
16、式中e为边界热图,为sigmoid激活函数,conv为卷积操作,relu为激活函数。该模块通过两层卷积将形态学特征逐步压缩为单通道热图,sigmoid激活函数将输出值归一化至[0,1]区间,表征各位置属于目标边界的概率。
17、步骤s2c:所述特征增强子模块通过逐元素相乘融合所述形态学特征与所述边界热图,使网络聚焦于目标边界区域,增强边界特征响应,得到增强后的特征图,其表达式为:
18、
19、式中表示逐元素相乘,为增强后的特征图。该模块将边界热图作为空间注意力权重,对形态学特征进行加权增强,使网络更加关注目标边界区域,从而提升细长目标的定位精度。
20、步骤s2d:将所述mgbr模块嵌入yolov11网络的颈部p3特征层之后,p3特征层为高分辨率特征图,其空间分辨率为输入图像的1/8,用于保留细长目标的细节信息。所述增强后的特征图输入后续检测头进行目标分类与边界框回归。
21、所述步骤s3具体包括:
22、步骤s3a:训练环境基于深度学习平台,在64位ubuntu操作系统下进行,gpu为nvidia rtx 5060(显存16gb),在cuda 12.8并行计算框架、pytorch深度学习框架下完成模型训练。训练过程中设置单机单卡,训练批次设为16,训练轮次设为170轮,初始学习率设为0.01,输入图像尺寸设为640×640×3。采用sgd优化器,权重衰减系数设为0.0005,学习率动量设为0.937,使用mosaic在线数据增强方式,以yolov11n预训练模型为起点进行训练。在对yolov11n及其他对比模型训练时,参数设置保持一致。
23、步骤s3b:为了全面评估模型对果实和果柄的检测性能,采用准确率(precision,p)、召回率(recall, r)、平均精度均值(mean average precision, map)衡量模型检测精度,利用模型大小(model size)、浮点运算数(giga floating-point operations persecond, gflops)、模型参数量(params)衡量模型轻量化效果,利用帧率(frames persecond, fps)衡量模型检测速度。各评价指标计算公式为:
24、
25、
26、
27、
28、式中,tp为真阳性样本,表示正确识别果实或果柄的数量;fp为假阳性样本,表示错误识别果实或果柄的数量;fn为假阴性样本,表示未识别果实或果柄的数量;n为检测类别数,本发明中为果实和果柄两类目标,故n=2。
29、步骤s3c:为验证mgbr模块的有效性,以yolov11n为基线设计消融实验。实验结果表明,mgbr模块在无数据增强时,将果柄检测的map50-95由基线yolov11n的0.382提升至0.392;将mgbr模块与数据增强策略协同使用时,果柄检测的map50-95进一步提升至0.403,较基线提升5.5%。同时,mgbr模块仅增加约0.03m参数量和0.4gflops计算量,推理速度几乎不变,实现了检测精度与轻量化的协同优化。
30、步骤s3d:为研究条形卷积核长度k对检测性能的影响,测试k=3、5、7时的果柄检测精度。实验结果表明,k=7时mgbr模块与数据增强协同效果最佳,果柄map50-95达到0.403。
31、步骤s3e:为进一步验证本发明算法的优越性,将改进后的yolov11+mgbr模型与yolov8n、yolov11n、yolov12n、yolov13n等模型进行对比实验。结果表明:相比基线yolov11n,改进模型在果柄检测上的map50-95由0.373提升至0.403,准确率由0.847提升至0.887,召回率由0.807提升至0.841,分别提升约8.0%、4.7%和4.2%;map50由0.856提升至0.901,提升约5.3%。同时,模型权重文件仅5.6mb,参数量约2.62m,浮点运算数仅6.7gflops,推理速度由4.3ms提升至1.3ms,实现了检测精度与轻量化的协同优化。与其他模型相比,本发明模型在果柄检测精度与轻量化平衡上表现最佳,map50-95达0.403,验证了改进策略的有效性。
32、所述步骤s4基于改进的模型进行边缘部署与实时识别,将训练完成的模型转换为onnx格式后,利用tensorrt优化器进行剪枝、量化、层融合等优化,生成针对jetson nano平台的序列化引擎文件。部署后模型检测帧率由5.9帧·s-1升至13.2帧·s-1,提升了55.3%,平均精度均值保持89.2%,满足果实采摘机器人的实时检测要求。
33、相应地,本发明还提供了一种基于形态学引导边界精修的果实-果柄识别系统,包括:数据采集模块,配置深度相机,安装于采摘机器人前端,用于获取果园场景下的待识别图像,所述图像包含至少一个果实目标及与之连接的果柄目标;模型训练模块,用于构建如权利要求1所述的形态学引导边界精修的轻量化检测网络,并利用构建的数据集完成模型训练与性能评估;边缘部署模块,采用jetson nano嵌入式平台,用于将训练完成的模型经tensorrt优化后部署至边缘计算平台,并实现果实与果柄的实时识别;所述边缘部署模块与采摘机器人的控制系统通过串行通信连接,用于将识别结果实时传输至执行机构,引导机械臂完成精准采摘。
34、本发明具有以下有益效果:
35、通过设计mgbr模块,利用条形卷积提取细长目标的形态学特征,结合边界热图引导网络聚焦于目标边界区域,有效提升了果柄等细小目标的定位精度;mgbr模块即插即用,可嵌入多种yolo系列网络,具有良好的通用性和扩展性;mgbr模块具有轻量化特性,仅增加约0.03m参数量和0.4 gflops计算量,推理速度几乎不变,实现了检测精度与轻量化的协同优化,适用于资源受限的边缘计算设备;结合tensorrt部署至jetson nano平台,推理帧率达13.2帧/秒,解决了边缘端实时检测难题,实现了高精度、高效率的果实与果柄识别,为采摘机器人智能化作业提供了有力支撑。本发明以芒果为具体实施例进行了验证,但所述方法的核心在于对“果实-果柄/果梗”这类具有细长、粘连特征的组合目标进行精准定位与识别,不限于芒果品种。本领域技术人员可依据本发明的技术思路,将其应用于柑橘、苹果、葡萄、香蕉等需要保留果柄采摘的水果识别场景,均可达到类似的技术效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com