基于关键作物行保持的分区视觉导航方法及系统与流程

摘要: 本发明属于农业机械视觉导航,具体涉及一种将作物行身份保持、透视约束分区检测和缺苗补偿相结合的视觉导航方法及系统,适用于玉米、水稻等条播作物的跨行作业。背景技术:...
基于关键作物行保持的分区视觉导航方法及系统与流程

本发明属于农业机械视觉导航,具体涉及一种将作物行身份保持、透视约束分区检测和缺苗补偿相结合的视觉导航方法及系统,适用于玉米、水稻等条播作物的跨行作业。

背景技术:

1、农业机械能够利用摄像头获取作物图像,通过目标检测或者图像分割获得作物特征,再拟合作物行以生成导航基准。作物图像中的植株尺度随观察距离变化,图像侧部的非目标作物行、杂草和田埂也可能影响导航判断。选取感兴趣区域并沿图像高度方向划分横向条带,是减少干扰及提取局部作物行特征的一种处理方式。

2、例如,zhou等人在2021年发表的论文autonomous detection of crop rowsbased on adaptive multi-roi in maize fields,international journal ofagricultural and biological engineering,第14卷第4期,第217至225页,doi为10.25165/j.ijabe.20211404.6315,记载了将玉米图像分成横向条带、逐条更新roi以及拟合导航线的方法。akyon等人的slicing aided hyper inference and fine-tuning forsmall object detection,arxiv:2202.06934,2022年,记载了利用图像切片辅助目标检测的方法。

3、在农业机械跨两行或者跨三行作业时,用于导航的目标作物行具有由车辆作业模式确定的数量及相对位置。当前帧中实际检测到的行数则受到缺苗、遮挡、光照和检测误差的影响。若直接按照当前可见行数缩小检测区域,可能将暂时未被检测到的关键作物行排除在后续检测范围之外,造成检测区域持续收缩、跟踪转移至相邻非目标行或者导航基准偏移。

4、此外,分块检测的计算开销与模型实际输入尺寸、填充方式及调度方式有关。仅减少保留图像的像素面积,不能确定实际网络处理量;不同条带经过缩放或填充后,检测坐标还原不完整也会影响作物行拟合。因此,需要将目标行保持、检测区域更新、实际输入控制及导航可靠性判断建立明确关联。

5、公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

1、本发明的目的在于提供一种基于关键作物行保持的分区视觉导航方法及系统,在作物尺度随距离变化且局部缺苗的情况下,避免视觉导航检测区域因观测缺失而错误收缩,并在保持目标作物行身份的基础上控制检测范围和输出可靠导航信息。

2、为实现上述目的,本发明提供了一种基于关键作物行保持的分区视觉导航方法,应用于设有摄像头和处理器的农业机械,其步骤为:

3、s1,获取农业机械的跨行模式、作物行距、株距及株高信息和相机标定信息,根据所述跨行模式确定由两条或者三条关键作物行组成的关键作物行集合,分别为各关键作物行分配行标识,并在所述跨行模式和目标作业行未改变时保持所述关键作物行集合及其行标识;

4、s2,采集田间图像,根据所述作物行距、株距、株高信息和相机标定信息确定有效检测区域及横向条带数量,将所述有效检测区域沿图像高度方向划分为多个高度由远景向近景递增的横向条带;

5、s3,根据历史帧中的关键作物行位置以及由相机标定信息和作物行距获得的各横向条带中的投影行距,预测各关键作物行在当前帧各横向条带中的位置,并以各预测位置的横向包络及安全裕量确定对应横向条带的检测区域,使所述检测区域覆盖所述关键作物行集合的各预测位置;

6、s4,将各检测区域的裁剪图像输入yolo目标检测模型,获得作物目标检测框,将所述作物目标检测框还原至田间图像坐标系,并根据所述预测位置和投影行距将检测框中的代表点关联至相应行标识,基于关联的代表点拟合关键作物行,并根据关联点数量、检测置信度、拟合残差和行距一致性确定关键作物行的可靠性;

7、s5,当存在未满足预设可靠性条件的关键作物行时,保持该关键作物行的行标识,采用以下三类信息中的至少一种:其他可靠关键作物行的位置与所述投影行距的组合、相邻横向条带中该关键作物行的可靠位置、该关键作物行的历史位置,生成该关键作物行的补偿位置;更新后续帧的检测区域时,使更新后的检测区域包含经历史位置预测得到的原检测区域和包括所述补偿位置在内的关键作物行预测位置包络,并保持或增大安全裕量;仅在全部关键作物行连续预设帧数满足恢复条件后,才允许在覆盖各关键作物行预测位置的约束下收缩检测区域;

8、s6,根据所述跨行模式生成导航基准线,其中,跨两行模式下采用左右两条关键作物行的中线,跨三行模式下采用经左右关键作物行校验的中间关键作物行;根据导航基准线生成导航偏差并输出至农业机械控制器;当连续预设帧数无法获得满足可靠性条件的关键作物行时,执行扩大范围的重新检测以重新定位关键作物行。

9、进一步地,步骤s1包括:在首帧初始化、跨行模式切换或者目标作业行切换时,对有效检测区域执行检测,按照作物行的横向顺序及其与预设作业中心的相对位置,选取与所述跨行模式对应的关键作物行;跨两行时分别赋予左行标识和右行标识,跨三行时分别赋予左行标识、中行标识和右行标识;后续帧中检测到的可见作物行数量用于确定所述关键作物行的观测状态,不因所述可见作物行数量减少而删除行标识或者减少关键作物行数量。

10、进一步地,步骤s2包括:依据相机标定信息和株高信息确定代表作物目标可见性与成像尺度满足预设条件的近端和远端边界,将所述边界投影至图像以确定上方裁剪量和下方裁剪量;依据作物行距、株距及预设参数映射关系确定条带数量n与高度增长因子q,先根据计算第i个横向条带的连续基准高度,再对各连续基准高度向下取整,并按照小数部分由大至小分配剩余像素,得到整数像素高度,使各整数像素高度之和等于h′且由远景向近景递增,其中,h′为有效检测区域的高度,q大于1,i按照由远景至近景的顺序取1至n;所述预设参数映射关系通过对候选n和q进行标定,在满足关键作物行覆盖率及导航误差约束的候选组合中选取端到端处理时延较小的组合而建立。

11、条带数量不被限定为随密度无限增加,较窄条带导致作物目标截断或者模型填充开销上升时,相应组合不予采用。

12、进一步地,步骤s3包括:根据历史帧中的关键作物行位置预测各横向条带的关键作物行横向坐标,并利用该横向条带中的投影行距约束相邻行标识对应的横向坐标差;以最小预测横向坐标减去左侧安全裕量作为检测区域左边界,以最大预测横向坐标加上右侧安全裕量作为检测区域右边界;所述安全裕量包括作物目标横向尺寸对应的覆盖裕量和历史预测误差对应的不确定性裕量,检测区域的中心随预测的关键作物行位置移动。

13、对于暂时失去可靠观测的关键作物行,所生成的补偿位置不作为新的真实检测结果写入观测统计。

14、进一步地,步骤s4包括:对不同尺寸的裁剪图像分别记录水平缩放比例、竖直缩放比例及左侧和上方填充量,并将填充后的图像尺寸设置为检测模型步长的整数倍;将尺寸相同的裁剪图像组成批次,或者对尺寸不同的裁剪图像分别推理;按照、还原检测框坐标,其中,u、v为模型输入坐标系中的坐标,、为填充量,、为缩放比例,、为裁剪图像在田间图像中的起始坐标;相邻横向条带设置重叠区域,对还原后的重叠检测框进行去重。

15、进一步地,步骤s4中,按照代表点与对应关键作物行预测位置的横向距离相对于投影行距的比例进行门限关联,对与多个行标识均满足关联条件的代表点仅保留归一化距离最小的关联;利用关联的代表点及检测置信度进行加权拟合,并对拟合残差超过阈值的代表点进行剔除;仅当关联点数量、拟合支持的条带数量、检测置信度、拟合残差以及相邻关键作物行间距分别满足对应阈值条件时,判定该关键作物行为可靠。

16、进一步地,步骤s5和步骤s6包括:将跟踪状态设置为正常跟踪、保持搜索和重新定位;关键作物行不可靠时进入保持搜索状态,以随连续失败帧数增加的安全裕量扩大检测区域;在检测区域扩展至有效检测区域全宽且仍未恢复,或者连续失败帧数达到第一阈值时,进入重新定位状态,对有效检测区域全宽执行检测,并在仍未恢复时对整帧图像执行检测;仅在与原行标识相匹配的全部关键作物行连续k帧满足恢复阈值和行距一致性条件时返回正常跟踪状态,其中k为不小于2的整数,恢复阈值严于进入保持搜索状态所使用的失效判定阈值;在重新定位期间无法获得满足导航可靠性条件的导航基准线时,向农业机械控制器输出导航无效标志。

17、作为补充触发条件,历史预测与检测结果发生较大冲突时也进入重新定位状态,先对有效检测区域全宽重新检测,仍未恢复时执行整帧检测。未经确认的单帧结果不触发目标行删除,也不触发检测区域骤然收缩。

18、进一步地,步骤s6包括:计算左右两条关键作物行在同一图像纵坐标处的横向坐标的算术平均值作为跨两行模式的导航基准位置;跨三行模式下,根据中间关键作物行与左右关键作物行之间的横向距离相对于投影行距的偏差校验中间关键作物行,在中间关键作物行不可靠且左右关键作物行可靠时,将左右关键作物行分别按照对应投影行距向中间行投影,融合所得位置以补偿中间关键作物行;将导航基准位置映射至车辆坐标系,计算预瞄位置的横向偏差和航向偏差,并连同导航可靠性标志输出至农业机械控制器。

19、一种基于关键作物行保持的分区视觉导航系统,包括设置于农业机械上的摄像头、处理器和农业机械控制器,所述摄像头用于采集田间图像,所述处理器分别与所述摄像头和农业机械控制器通信连接;所述处理器被配置为执行上述基于关键作物行保持的分区视觉导航方法,输出导航偏差和导航可靠性标志;所述农业机械控制器被配置为根据导航偏差进行转向控制,并在接收到导航无效标志时执行预设的降速、停车或者备用导航控制。

20、与现有技术相比,本发明具有如下有益效果:

21、将关键作物行集合与实际观测到的作物行分开管理,能够抑制因缺苗引起的错误删行与检测区域收缩。将补偿行位置同时用于导航计算和后续检测区域更新,使缺苗补偿与重新捕获目标行相互配合。利用非均匀条带、受控输入尺寸和可靠恢复后的区域收缩,减少稳定跟踪阶段的无关区域处理。通过跨行模式对应的导航基准、完整坐标还原及无效状态输出,使视觉检测结果与农业机械控制相衔接。