一种抗遮挡和光照变化的草莓成熟度检测方法与流程
本发明属于计算机视觉与农业智能检测,具体涉及一种抗遮挡和光照变化的草莓成熟度检测方法,适用于真实农田场景下不同成熟度草莓果实的区域分割与成熟度识别。
背景技术:
1、草莓的成熟度与果实品质、采摘时机及后续分级处理密切相关。在草莓种植和采摘过程中,通常需要根据果实表面颜色、轮廓及纹理等视觉特征判断草莓的成熟状态;随着计算机视觉技术在农业生产中的应用,利用相机采集田间草莓图像,并通过目标检测模型或图像分割模型识别草莓果实及其成熟度,已逐渐成为草莓智能检测和自动化采摘的重要技术手段。
2、现有草莓成熟度检测方法主要包括目标检测方法和像素级分割方法;目标检测方法通常通过边界框定位草莓果实,并依据果实区域的颜色、形状等特征进行成熟度分类,其处理速度相对较快,但对草莓边缘和局部区域的表达较为有限;像素级分割方法能够对草莓果实区域进行逐像素划分,有利于获得较为完整的果实轮廓,并在此基础上区分未成熟、半成熟和成熟草莓,但该类方法对图像特征质量及不同尺度特征之间的融合能力具有较高要求。
3、在真实农田环境中,草莓果实的成像条件并不稳定;一方面,自然光强弱、顺光、逆光以及温室钠黄光等光照条件会改变草莓果面的亮度和颜色表现,使同一成熟度草莓在不同光照条件下呈现不同的rgb颜色特征,或者使不同成熟度草莓的颜色特征相互接近,容易造成半成熟草莓与成熟草莓之间的误判;另一方面,草莓生长过程中经常受到叶片、果柄或其他果实遮挡,多果重叠还会造成果实边界混淆,当可见果实区域较少时,依赖局部卷积特征的检测模型难以充分利用周围区域的上下文信息,容易出现草莓区域分割不完整、相邻果实粘连及被遮挡果实漏检等情况。
4、现有方法虽然可以通过增加网络深度、扩大感受野或融合不同尺度特征改善检测结果,但部分方法主要关注局部像素特征,对亮度信息与成熟度相关色度信息缺少针对性的分离处理;同时,不同分辨率特征之间多采用直接拼接或一次性融合方式,对各尺度特征中的有效信息缺少自适应筛选,局部细节特征与较大范围上下文语义之间仍容易出现割裂;在光照变化和果实遮挡同时存在时,模型难以兼顾草莓颜色特征、边缘细节及遮挡区域周围的语义关联,影响草莓成熟度检测的准确性和稳定性。
5、为此,提出一种抗遮挡和光照变化的草莓成熟度检测方法。
技术实现思路
1、本发明的技术方案是这样实现的:一种抗遮挡和光照变化的草莓成熟度检测方法,包括如下步骤:
2、s1、采用rgb相机采集真实农田场景下包含不同成熟度草莓果实的rgb图像,对所述rgb图像中的草莓果实区域进行逐像素标注,生成草莓成熟度标注掩膜,并将相互对应的rgb图像和草莓成熟度标注掩膜构建为草莓成熟度检测数据集;
3、s2、构建草莓成熟度检测网络,所述草莓成熟度检测网络包括颜色通道专属增强模块、以hrnet为特征提取骨干的多分辨率特征提取模块、多尺度渐进特征融合模块、双向上下文提取模块和分割预测头;
4、通过所述颜色通道专属增强模块将rgb图像转换至ycbcr颜色空间,对红色色度分量cr进行增强后逆转换至rgb颜色空间,通过所述多分辨率特征提取模块并行提取不同分辨率的特征并进行跨尺度交互,通过所述多尺度渐进特征融合模块对不同分辨率的特征进行渐进式融合,通过所述双向上下文提取模块对融合特征进行正向和反向上下文建模,并通过所述分割预测头输出草莓区域及成熟度预测特征图;
5、s3、采用所述草莓成熟度检测数据集对所述草莓成熟度检测网络进行训练,根据草莓区域及成熟度预测特征图和对应的草莓成熟度标注掩膜计算像素级多类交叉熵损失和平均交并比损失,根据所述像素级多类交叉熵损失和平均交并比损失更新所述草莓成熟度检测网络的参数,并保存训练得到的网络权重;
6、s4、将所述网络权重加载至草莓成熟度检测网络,将待检测草莓rgb图像预处理为张量格式后输入所述草莓成熟度检测网络进行前向推理,对输出的草莓区域及成熟度预测特征图进行尺寸还原和像素类别判定,生成与待检测草莓rgb图像空间尺寸一致的草莓成熟度分割掩膜及成熟度等级标注。
7、进一步优选地,步骤s1中,所述rgb图像的采集场景包括草莓果实完全裸露场景、枝叶遮挡场景和多个草莓果实重叠场景,所述rgb图像的采集光照条件包括自然光和钠黄光,采集方向包括顺光和逆光;采用机械车平台采集和人工辅助采集两种方式进行图像采集,相机视角分别设置为90°×59°和75°×65°;
8、采用人工标注或半自动标注方式勾勒rgb图像中草莓果实区域的边缘轮廓,生成与rgb图像尺寸一致的草莓成熟度标注掩膜,其中,背景区域标注为0,未成熟草莓区域标注为1,半成熟草莓区域标注为2,成熟草莓区域标注为3;将rgb图像与草莓成熟度标注掩膜一一配对,剔除失焦或模糊的无效样本,并按照7∶2∶1的比例将有效样本划分为训练集、验证集和测试集。
9、进一步优选地,对所述rgb图像和草莓成熟度标注掩膜进行预处理包括:采用双线性插值对rgb图像进行尺寸调整,采用最近邻插值对草莓成熟度标注掩膜进行尺寸调整,将尺寸调整后的rgb图像和草莓成熟度标注掩膜转换为tensor格式,并采用参数[0.480,0.456,0.406]和[0.222,0.221,0.225]对rgb图像张量进行归一化处理。
10、进一步优选地,所述颜色通道专属增强模块按照如下关系将rgb图像转换至ycbcr颜色空间:
11、;
12、;
13、;
14、其中,、和分别为rgb图像的红色通道值、绿色通道值和蓝色通道值,为亮度分量,为蓝色色度分量,为红色色度分量;
15、按照对所述红色色度分量进行增强,其中,为增强后的红色色度分量,为红色色度增强系数;
16、按照如下关系将增强后的ycbcr图像逆转换至rgb颜色空间:
17、;
18、;
19、;
20、其中,、和分别为增强后的红色通道值、绿色通道值和蓝色通道值。
21、进一步优选地,所述多分辨率特征提取模块采用hrnet作为特征提取骨干,通过卷积生成基础特征,并建立1/1分辨率特征分支、1/2分辨率特征分支、1/4分辨率特征分支和1/8分辨率特征分支,各分辨率特征分支并行进行卷积特征提取,并通过跨尺度变换在不同分辨率特征分支之间进行特征交互,获得包含草莓果实轮廓特征、纹理特征、颜色特征和上下文特征的多分辨率特征。
22、进一步优选地,所述多尺度渐进特征融合模块按照如下方式对多分辨率特征进行融合:
23、将低分辨率特征通过双线性插值上采样两倍,使其空间分辨率与当前尺度特征的空间分辨率一致;将上采样后的低分辨率特征与当前尺度特征沿通道维度进行拼接,得到拼接特征;
24、对所述拼接特征依次进行卷积处理、全局平均池化处理和sigmoid激活处理,生成自适应权重;根据所述自适应权重对拼接特征进行逐元素加权,并将加权后的特征与未加权的拼接特征进行逐元素相加,得到当前尺度融合特征;将当前尺度融合特征继续与下一尺度特征进行渐进融合,并通过步长为2的转置卷积对融合后的特征进行上采样,得到多尺度融合特征。
25、进一步优选地,所述双向上下文提取模块对所述多尺度融合特征进行局部细节特征提取,所述局部细节特征提取包括:将多尺度融合特征展平为一维特征序列,将所述一维特征序列依次输入一维卷积层、批归一化层、relu激活层和dropout正则化层,并将dropout正则化层输出的特征与展平后的一维特征序列进行残差相加,得到局部细节特征。
26、进一步优选地,所述双向上下文提取模块包括正向状态空间模型和反向状态空间模型;所述正向状态空间模型沿一维特征序列的正向排列顺序进行状态计算,所述反向状态空间模型对一维特征序列进行反转后沿反向排列顺序进行状态计算;所述正向状态空间模型和反向状态空间模型分别利用状态转移矩阵a建模隐状态的历史依赖关系,利用输入投影矩阵b将对应位置的输入特征映射至隐状态空间,并利用输出投影矩阵c将隐状态映射至输出空间,分别获得正向上下文特征和反向上下文特征;对所述局部细节特征进行线性变换和silu激活,生成自适应门控权重,利用所述自适应门控权重对正向上下文特征和反向上下文特征进行门控融合,并对门控融合后的特征进行线性投影和层归一化处理,得到双向上下文增强特征。
27、进一步优选地,步骤s3中,根据草莓区域及成熟度预测特征图和对应的草莓成熟度标注掩膜构建像素级多类交叉熵损失;根据各类别的真正例像素数量、假正例像素数量和假负例像素数量计算各类别的交并比,并根据所有类别交并比的平均值构建平均交并比损失;将所述像素级多类交叉熵损失与平均交并比损失相加,得到模型总损失,根据所述模型总损失对草莓成熟度检测网络的参数进行迭代更新;利用验证集对更新后的草莓成熟度检测网络进行验证并保存网络权重,将所述网络权重加载至草莓成熟度检测网络中,并利用测试集进行测试评估。
28、进一步优选地,将训练后的草莓成熟度检测网络部署于搭载nvidia图形处理器且运行ubuntu 22.04操作系统的个人计算机中,通过以太网接收rgb相机采集的待检测草莓rgb图像;在模型测试和性能验证完成后,对所述草莓成熟度检测网络进行轻量化压缩、模型量化和格式转换,并将处理后的草莓成熟度检测网络部署于边缘计算设备;通过所述边缘计算设备输出成熟草莓的成熟度等级、像素坐标、几何轮廓和空间相对位置,通过相机标定和坐标转换将成熟草莓的二维像素坐标转换为三维物理空间坐标,将所述三维物理空间坐标发送至控制模块,由所述控制模块生成采摘控制指令并控制机械臂对成熟草莓进行采摘。
29、本发明实施例由于采用以上技术方案,其具有以下优点:
30、一、本发明通过将草莓rgb图像转换至ycbcr颜色空间,将亮度分量与色度分量分离,并对红色色度分量进行增强,使与草莓成熟度相关的红色色度特征在不同光照条件下得到突出,从而减小自然光强弱、顺光、逆光及钠黄光等光照变化对草莓颜色特征的干扰,有利于提高半成熟草莓与成熟草莓之间的区分准确性。
31、二、本发明采用hrnet并行提取不同分辨率的草莓图像特征,并通过多尺度渐进特征融合模块对相邻尺度特征进行上采样、拼接、自适应加权和残差增强,使草莓果实的边缘轮廓、果面纹理和颜色细节与整体形态及周围场景信息得到逐级融合,从而改善复杂背景、多果重叠及果实尺度变化条件下的区域分割效果。
32、三、本发明将多尺度融合特征展平为一维特征序列,通过一维卷积提取局部细节,并利用正向状态空间模型和反向状态空间模型分别建模两个方向的长距离上下文依赖,再通过门控机制进行双向特征融合,使受到枝叶、果柄或其他果实遮挡的位置能够结合其前后方向及周围可见区域的语义信息进行特征表达,从而减少遮挡草莓的漏检、分割不完整及相邻果实区域混淆。
33、四、本发明结合像素级多类交叉熵损失和平均交并比损失对草莓成熟度检测网络进行训练,在进行像素类别判定的同时,对各成熟度类别的区域重叠程度进行约束,有利于缓解背景、未成熟草莓、半成熟草莓和成熟草莓之间像素数量不均衡对训练结果的影响,提高草莓成熟度分割结果的稳定性。
34、五、本发明训练得到的草莓成熟度检测网络能够部署于个人计算机或经轻量化处理后部署于边缘计算设备,对田间草莓rgb图像进行本地检测,并输出草莓成熟度等级、像素坐标及几何轮廓,为后续草莓空间定位和机械臂采摘提供检测信息,有利于实现真实农田场景下草莓成熟度的原位、无接触检测。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com