一种基于深度学习的农业作物识别与定位方法及系统与流程
本发明涉及农业智能装备,更具体地说,它涉及一种基于深度学习的农业作物识别与定位方法及系统。
背景技术:
1、农业机器人在田间自主作业过程中,需要对作物目标进行实时识别与精确定位,以支撑除草、施药、采收等末端执行操作。现有方法通常采用单一形态的目标检测模型对田间作物进行识别,并通过坐标变换将图像检测结果转换为空间位置坐标。
2、然而,现有方法在复杂农田环境下存在以下不足。第一,作物在不同生长阶段形态差异显著,单一形态的检测模型难以覆盖全生育期,导致幼苗期或成熟期存在漏检与误检;第二,田间杂草与目标作物在图像特征上具有相似性,容易引发误检,影响定位结果的可靠性;第三,机器人在非平整地面行驶时产生的姿态扰动会引入坐标转换误差,现有方法缺乏针对地形起伏的实时姿态补偿手段;第四,田间实际存在缺苗断垄现象,导致作物位置分布不连续,若不加处理则会引发执行端的误操作。上述因素共同导致现有方法在复杂农田环境下难以同时满足作物识别准确率和空间定位精度的要求。
技术实现思路
1、本发明提供一种基于深度学习的农业作物识别与定位方法及系统,解决相关技术中农业机器人在田间作业时因姿态扰动、遮挡及单帧检测噪声导致作物识别不准确、定位误差大的技术问题。
2、本发明公开了一种基于深度学习的农业作物识别与定位方法,包括:
3、采集田间图像及与图像帧时间对齐的机器人位姿状态数据,所述位姿状态数据包括gps坐标及惯性测量单元输出的姿态角;
4、将所述田间图像输入经训练的深度学习网络,获取各目标的检测结果;
5、基于所述检测结果中各目标的像素坐标,结合相机内参矩阵、安装外参及所述位姿状态数据,经多级坐标系变换生成各目标在田间作业坐标系下的初步位置估算集合,其中所述多级坐标系变换包括利用所述姿态角计算姿态补偿旋转矩阵,对机器人姿态扰动执行动态补偿;
6、基于预设的作物种植行参数对所述初步位置估算集合执行一致性校验,生成有效位置集合;
7、对所述有效位置集合融合历史帧位置数据执行时序优化,生成结构化定位输出结果。
8、进一步地,所述深度学习网络为基于特征金字塔网络增强的单阶段目标检测网络,所述单阶段目标检测网络包含骨干网络、特征金字塔网络和检测头;所述骨干网络以田间图像为输入,输出步幅分别对应三个尺度的特征图;所述特征金字塔网络以所述三个尺度的特征图为输入,通过自顶向下的特征融合通路生成多尺度融合特征图;所述检测头采用解耦形式,分类分支输出类别标签及置信度分数,回归分支输出边界框坐标;所述获取各目标的检测结果包括:对所述检测头输出的候选结果执行置信度阈值筛选,剔除置信度低于置信度阈值的候选结果,对保留的同类别候选框执行非极大值抑制,生成有效检测结果集合。
9、进一步地,所述多级坐标系变换包括:对各目标的像素坐标利用畸变系数向量执行畸变校正,得到归一化图像坐标,在地面平坦假设下将所述归一化图像坐标反投影至地面平面,生成相机坐标系下的三维坐标;由相机相对于机器人本体坐标系的安装外参将所述相机坐标系下的三维坐标转换至机器人本体坐标系;利用所述惯性测量单元输出的横滚角 和俯仰角 计算姿态补偿旋转矩阵 ,其中 为绕 轴旋转的旋转矩阵, 为绕 轴旋转的旋转矩阵,对机器人本体坐标系下的坐标执行姿态补偿;利用偏航角确定的旋转矩阵及由gps数据经大地坐标系至田间作业坐标系转换得到的平移向量,将姿态补偿后的坐标转换至田间作业坐标系。
10、进一步地,所述一致性校验包括:对所述初步位置估算集合中每个初步位置估算值,计算所述初步位置估算值与最近种植行中心线的横向偏差 ;设定横向偏差容差阈值 ,其中 为目标作物的理论株间距, 为无量纲容差系数;当 时,对该检测结果执行置信度降权处理;当 时,赋予一致性置信权重,其中 表示指数函数,。
11、进一步地,所述时序优化包括:对所述有效位置集合与历史跟踪目标集合执行数据关联;对成功关联的跟踪目标,利用扩展卡尔曼滤波执行预测与更新,其中观测噪声协方差 依据当前帧检测置信度 和一致性权重 动态调整为,其中 为基准观测噪声标准差, 为二阶单位矩阵,,;对连续漏检帧数未超过预设帧数阈值的历史跟踪目标,以预测位置作为当前帧的补全位置。
12、进一步地,还包括:基于所述位置最优估计,对每条种植行沿行方向扫描相邻作物之间的沿行间距 ,当 时判定存在缺苗断垄,其中 为缺苗判定阈值系数, 为理论株间距;计算推断缺苗株数 ,将缺苗断垄区段内各推断株的位置沿行方向等间距分布,生成推断补全位置集合并以推断补全标记输出。
13、进一步地,所述深度学习网络为语义分割网络,还获取机载风速风向传感器测量的风速数据及预录入的种植模式图谱数据;所述获取各目标的检测结果包括:基于所述种植模式图谱数据中的理论种植参数和所述位姿状态数据,计算当前帧视场范围内各理论穴位的像素坐标,生成理论穴位像素坐标集合;将所述田间图像输入所述语义分割网络,输出逐像素作物类别概率图,对所述理论穴位像素坐标集合中每个穴位以其像素坐标为中心的局部区域内计算概率均值,作为该穴位的单帧作物存在性概率。
14、进一步地,所述时序优化包括:基于当前帧风速及目标作物的叶片物理参数计算波动幅度上界 ;对每个穴位的单帧作物存在性概率 ,计算其与历史帧概率均值 的偏差绝对值 ;当 时,按公式 将概率值向中性值0.5方向压缩,其中 为压缩系数;当 时,保留原始概率作为似然度;利用调制后的似然度 ,按贝叶斯公式对各穴位的作物存在后验概率逐帧执行累积更新,生成累积作物存在后验概率。
15、进一步地,当穴位离开视场后,将累积作物存在后验概率 与判定阈值比较执行最终识别判定;当 落入不确定区间时,计算后验概率更新轨迹稳定性指标:,其中 为穴位的总有效观测帧数, 为符号函数;当 低于负方向阈值时判定作物不存在,当 高于正方向阈值时判定作物存在;对判定为作物存在的穴位,从其有效观测帧中选取单帧作物存在性概率最高的帧,提取作物实例质心的像素坐标,经所述多级坐标系变换生成空间定位坐标。
16、本发明公开了一种基于深度学习的农业作物识别与定位系统,用于执行上述基于深度学习的农业作物识别与定位方法,包括:
17、图像采集模块,用于以固定帧率获取田间图像,并同步获取gps接收机及惯性测量单元的位姿状态数据,通过硬件时间戳同步方式将每帧图像与唯一确定的位姿状态绑定;
18、目标识别模块,用于将所述田间图像输入经训练的深度学习网络,获取各目标的检测结果;
19、位置计算模块,用于对所述检测结果中各目标执行多级坐标系变换生成初步位置估算集合,基于预设的作物种植行参数对所述初步位置估算集合执行一致性校验生成有效位置集合,融合历史帧位置数据对各目标位置执行时序优化;
20、定位输出模块,用于汇总所述位置计算模块输出的各类位置数据,以结构化格式输出每个作物目标的田间坐标、类别标签及位置来源标记。
21、本发明的有益效果如下:
22、第一,采用涵盖幼苗期、营养生长期和生殖生长期三个典型生长阶段及田间常见杂草的多阶段训练数据集,并结合特征金字塔网络增强的单阶段目标检测网络,使目标检测模型在同一推理流程中同时具备对全生育期目标作物和杂草的识别能力,从数据层面降低了因训练数据与实际形态不匹配导致的漏检与误检。
23、第二,在坐标系变换过程中,利用当前帧imu输出的横滚角和俯仰角计算姿态补偿旋转矩阵,对机器人因地形起伏产生的姿态扰动执行逐帧动态修正,减少了地形起伏引入的系统性坐标转换误差。
24、第三,基于作物种植行分布先验对初步位置估算执行一致性校验,对偏离种植行中心线超过横向偏差容差阈值的检测结果执行置信度降权处理,并将降权权重纳入扩展卡尔曼滤波的观测噪声协方差动态调整,使异常检测结果对位置估计状态更新的贡献受到抑制。
25、第四,扩展卡尔曼滤波将检测置信度和一致性权重共同纳入观测噪声协方差的动态调整,融合历史帧位置数据对作物位置执行时序优化,使位置估计的随机误差随有效观测次数增加趋于收敛,位置估计的逐帧抖动得到抑制。
26、第五,对识别为缺苗断垄的区段依据理论株间距推断补全位置,并以推断补全标记单独输出,使上位控制系统能够区分实测作物位置与理论推断位置,避免末端执行端在缺苗区域产生误操作,同时为后续差异化处理作业提供缺苗区域地图依据。
27、第六,针对大风天气高速作业场景,基于机载风速传感器实测风速及作物叶片物理参数计算风致概率波动幅度上界,对超出该上界的单帧异常概率向中性值方向压缩,结合贝叶斯逐帧累积更新,使单帧风致异常概率对最终后验概率的影响受到限制,在稀疏观测条件下仍能对各穴位的作物存在性作出判定。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com