基于机器视觉的除草机杂草智能检测方法与流程

摘要: 本发明涉及机器视觉的杂草检测,具体是基于机器视觉的除草机杂草智能检测方法。背景技术:1、随着现代农业向智能化、精准化方向发展,基于机器视觉的除草机器人已成为替代...
基于机器视觉的除草机杂草智能检测方法与流程

本发明涉及机器视觉的杂草检测,具体是基于机器视觉的除草机杂草智能检测方法。

背景技术:

1、随着现代农业向智能化、精准化方向发展,基于机器视觉的除草机器人已成为替代人工除草、减少化学除草剂使用的重要技术手段。此类除草机通常在车体上搭载图像采集设备,通过对田间图像进行实时采集与分析,识别杂草目标的种类与位置,进而控制除草执行机构对杂草进行机械拔除、切割或精准喷施等处理,以实现田间作业的自动化与智能化,提高除草效率并降低劳动成本。

2、然而,除草机在实际田间作业过程中普遍处于行驶状态,图像采集设备随车体一同运动,不可避免地会因车体平动而产生图像模糊;与此同时,除草机在不平整地面上行驶时,底盘会受到地面颠簸、机械传动及除草执行机构动作等多种因素的激励而产生振动,这种振动会叠加在图像采集设备的安装基座上,进一步加剧图像采集过程中的运动模糊现象。尤其是在除草执行机构执行拔除、切割等动作的瞬间,往往会对底盘产生较为明显的瞬态冲击振动,若此时恰好处于图像曝光阶段,将会导致该帧图像出现严重的局部或整体模糊。由于杂草目标本身尺寸较小、形态特征不明显,且与背景土壤、作物之间的对比度有限,图像模糊会进一步削弱杂草边缘轮廓与纹理细节的可分辨性,使得杂草目标在图像中的特征表达大幅退化,进而出现匹配错误或跟踪丢失的情况,使杂草的位置信息无法被稳定、连续地获取,最终影响除草执行机构对杂草的精准处理,制约了除草机整体作业效率与除草效果的提升。

技术实现思路

1、(1)要解决的技术问题

2、本发明的目的在于提供基于机器视觉的除草机杂草智能检测方法,解决除草机在行驶及除草执行机构动作引起的底盘振动条件下,图像采集设备因产生运动模糊导致杂草目标图像质量下降,跟踪定位不准确的问题。

3、(2)技术方案

4、为实现上述目的,一方面,本发明提供了基于机器视觉的除草机杂草智能检测方法,所述方法包括:

5、s1、获取除草机行驶速度与底盘振动加速度,根据所述行驶速度与振动加速度确定图像采集设备在采集图像过程中的运动模糊等效参数;获取图像采集设备的焦距参数与标定安装高度,根据所述焦距参数与标定安装高度计算图像采集设备的标定地面采样距离。

6、s2、根据杂草目标的最小可识别特征尺寸与图像采集设备的标定地面采样距离,确定单帧图像采集过程中允许的最大模糊像素阈值。

7、s3、根据运动模糊等效参数与最大模糊像素阈值计算图像采集设备在当前采集时刻的安全曝光时长,结合图像采集设备当前帧的曝光起始时刻,确定当前帧的安全曝光时间窗口;根据安全曝光时间窗口对图像采集设备的曝光时刻与曝光时长进行动态调整,并采集连续多帧图像。

8、s4、根据所述行驶速度与所述安全曝光时间窗口计算相邻帧图像之间的理论位移量,根据所述理论位移量对相邻帧图像进行配准,得到杂草目标在连续多帧图像间的跟踪轨迹;根据所述跟踪轨迹识别杂草目标并输出杂草位置信息,用于控制除草执行机构对杂草进行处理。

9、进一步的,所述根据所述行驶速度与振动加速度确定图像采集设备在采集图像过程中的运动模糊等效参数的方法包括:

10、根据所述行驶速度与标定地面采样距离,计算图像采集设备因除草机平动产生的平动模糊速率。

11、获取底盘振动加速度信号,根据所述振动加速度信号确定与当前曝光时刻对应的振动位移幅值,结合标定地面采样距离将所述振动位移幅值换算为振动模糊速率。

12、将所述平动模糊速率与所述振动模糊速率进行矢量合成,得到图像采集设备在采集图像过程中的运动模糊等效参数。

13、进一步的,所述根据所述振动加速度信号确定与当前曝光时刻对应的振动位移幅值的方法包括:

14、对底盘振动加速度信号进行快速傅里叶变换,得到振动频谱中各频率分量的幅值与相位。

15、提取所述振动频谱中幅值大于预设幅值阈值的频率分量作为主振频率分量;将各主振频率分量的加速度幅值在频域内除以对应角频率的平方,得到各主振频率分量对应的振动位移幅值。

16、将各主振频率分量的振动位移幅值按照相位关系进行叠加,得到与图像采集设备当前曝光时刻对应的振动位移幅值。

17、进一步的,所述根据运动模糊等效参数与最大模糊像素阈值计算图像采集设备在当前采集时刻的安全曝光时长,结合图像采集设备当前帧的曝光起始时刻,确定当前帧的安全曝光时间窗口的方法包括:

18、将最大模糊像素阈值与运动模糊等效参数相除,得到当前采集时刻允许的安全曝光时长上限。

19、获取图像采集设备上一帧图像的曝光结束时刻与相邻两帧之间的调度间隔,根据所述曝光结束时刻与调度间隔计算当前帧的曝光起始时刻。

20、以所述曝光起始时刻为起点、以所述安全曝光时长上限为时长,确定当前帧的安全曝光时间窗口。

21、进一步的,所述根据安全曝光时间窗口对图像采集设备的曝光时刻与曝光时长进行动态调整,并采集连续多帧图像的方法包括:

22、获取除草执行机构在当前时刻的动作指令信号,当所述动作指令信号指示除草执行机构即将执行除草动作时,根据除草执行机构的动作类型与动作强度参数预测除草动作将在底盘上引起的瞬态冲击振动幅值,并根据所述瞬态冲击振动幅值的时域特征确定冲击振动到达图像采集设备的预计时刻。

23、将所述瞬态冲击振动幅值叠加至当前的底盘振动加速度上,得到除草动作执行后的修正振动加速度,根据所述修正振动加速度重新计算图像采集设备的运动模糊等效参数,并结合最大模糊像素阈值计算得到下一帧图像的安全曝光时长上限。

24、以所述冲击振动到达图像采集设备的预计时刻为基准,将下一帧图像的曝光起始时刻提前至所述冲击振动到达之前,且确保曝光结束时刻不晚于所述冲击振动到达时刻,确定下一帧图像的修正安全曝光时间窗口;若所述修正安全曝光时间窗口对应的曝光时长小于当前帧安全曝光时间窗口对应的曝光时长,则以所述修正安全曝光时间窗口替换当前帧安全曝光时间窗口,作为更新后的安全曝光时间窗口;在所述更新后的安全曝光时间窗口内触发图像采集设备完成下一帧图像采集,进而采集连续多帧图像。

25、进一步的,所述根据所述瞬态冲击振动幅值的时域特征确定冲击振动到达图像采集设备的预计时刻的方法包括:

26、获取除草执行机构的动作类型与在底盘上的安装位置,根据所述动作类型确定除草动作产生的激励力信号的起始时刻与上升沿持续时间,构建与所述激励力信号对应的冲击激励函数。

27、获取从所述安装位置至图像采集设备安装基座的机械传递路径的频响函数,将所述冲击激励函数与所述频响函数进行卷积运算,得到图像采集设备安装基座处的冲击振动响应信号。

28、提取所述冲击振动响应信号中幅值首次超过预设的瞬态能量阈值的时间点,作为冲击振动初至时刻;将所述冲击振动初至时刻与除草执行机构发出除草动作指令的时刻相叠加,得到冲击振动到达图像采集设备的预计时刻。

29、进一步的,所述获取从所述安装位置至图像采集设备安装基座的机械传递路径的频响函数的方法包括:

30、在除草机处于静止状态下,于除草执行机构的安装位置施加已知幅值的标准脉冲激励,同步采集图像采集设备安装基座处的振动响应加速度信号,对所述标准脉冲激励与振动响应加速度信号进行频域变换后求取比值,得到初始频响函数。

31、在除草机实际行驶作业过程中,实时监测底盘与作业地面的接触刚度变化,利用所述接触刚度变化对所述初始频响函数的幅频特性进行在线补偿,得到与除草机当前行驶工况匹配的频响函数。

32、进一步的,所述根据所述行驶速度与所述安全曝光时间窗口计算相邻帧图像之间的理论位移量,根据所述理论位移量对相邻帧图像进行配准,得到杂草目标在连续多帧图像间的跟踪轨迹的方法包括:

33、根据所述行驶速度与安全曝光时间窗口对应的时间间隔,计算除草机在相邻两帧曝光起始时刻之间的实际位移量,结合标定地面采样距离将所述实际位移量换算为相邻帧图像之间的理论像素位移量。

34、以所述理论像素位移量确定的方向与幅值为中心,在下一帧图像中设定配准搜索窗口,在所述配准搜索窗口内对当前帧图像中的杂草目标特征进行匹配搜索,得到杂草目标在下一帧图像中的实际匹配位置。

35、根据所述实际匹配位置与理论像素位移量之间的偏差对配准结果进行修正,得到修正后的匹配位置;将连续多帧图像中同一杂草目标的修正后匹配位置按照采集时序进行连接,得到杂草目标在连续多帧图像间的跟踪轨迹。

36、进一步的,所述在所述配准搜索窗口内对当前帧图像中的杂草目标特征进行匹配搜索,得到杂草目标在下一帧图像中的实际匹配位置的方法包括:

37、提取当前帧图像中杂草目标区域的形态特征与颜色特征,构建杂草目标的特征描述子。

38、在下一帧图像的配准搜索窗口内,以预设步长遍历候选位置,分别提取各候选位置处图像区域的形态特征与颜色特征,计算各候选位置特征与所述特征描述子之间的归一化互相关相似度;选取相似度最大的候选位置作为杂草目标的实际匹配位置。

39、(3)有益效果

40、与现有技术相比,本发明的有益效果是:

41、1.本发明通过综合考虑除草机行驶速度与底盘振动加速度对图像采集的影响,动态计算图像采集设备的运动模糊等效参数,并结合杂草目标最小可识别特征尺寸确定最大模糊像素阈值,从而实时调整图像采集设备的曝光时刻与曝光时长,针对除草执行机构动作引起的瞬态冲击振动提前预判并修正曝光窗口,有效抑制了因平动与振动叠加造成的图像运动模糊,显著提升了单帧图像中杂草目标的清晰度与特征完整性。

42、2.本发明进一步根据行驶速度与安全曝光时间窗口计算相邻帧图像间的理论位移量,并据此对图像进行精准配准与匹配搜索,实现了杂草目标在连续多帧图像间跟踪轨迹的稳定构建,避免了因图像模糊导致的目标特征差异过大而引发的匹配错误或跟踪丢失问题,保证了杂草位置信息获取的连续性与准确性,为除草执行机构提供了更加可靠的杂草定位依据,提高了除草机智能除草作业的整体精度与效率。