一种联合收获机田头转向系统及方法和联合收获机与流程

1.本发明属于农业机械自动化技术领域，尤其涉及一种联合收获机田头转向系统及方法和联合收获机。


背景技术：

2.联合收获机田间作业环境恶劣，而自主导航作业可以提高作业效率，减轻驾驶员的劳动强度。目前，农业机械的导航研究主要集中在gnss导航和视觉导航两种。基于gnss导航的发展时间较久，在车辆自动驾驶方面已有大量的研究成果，但gnss硬件设备价格昂贵，限制了其在农业机械上的应用，且当卫星信号丢失时，自主作业效率会大大下降。
3.基于视觉的联合收获机田间作业导航，相比于卫星导航成本低，设备简单，且可以实时获取田间局部环境信息。联合收获机作业时主要包含两部分，一是在当前收获路径下，联合收获机沿作物边界前进收割，相关研究较为成熟；二是在当前收获路径的尽头处，即田头位置处，联合收获机转向进入下一收获路径。目前对于田头处自动转向的研究鲜有报道，文献“基于机器视觉的麦田边界检测”和“基于机器视觉的农田地头边界线检测方法”分别提出基于田块颜色和亮度特征的田头检测方法,此方法易受光照和田块类型影响，可靠性不佳，且未对机器转向进行研究。因此，提高田头边界检测精度，实现联合收获机在田头处自动转向，是构建联合收获机全程自主作业系统的重要一环。


技术实现要素：

4.针对上述技术问题，本发明提供一种联合收获机田头转向系统及方法和联合收获机，该系统包括视觉检测模块、机器状态监测模块和液压控制模块，本发明可快速获取作物田头边界信息，实现联合收获机自动田头转向，减轻驾驶员劳动强度，提升联合收获机智能化水平。本发明是一种快速、准确获取田头边界的方法及田头转向系统，利用双目视觉快速获取田头边界距离，imu与测速雷达获取机器航向角与前进速度，为联合收获机田头精准转向提供核心数据支持，同时解决传统田头识别方法易受光照的干扰，导致可靠性差与精度低的问题。
5.本发明的技术方案是：一种联合收获机田头转向系统，包括视觉检测模块、机器状态监测模块和液压控制模块；
6.所述视觉检测模块用于采集田间作物图像、并处理、分析得到田头边界信息和田头边界与车身距离；所述机器状态监测模块用于实时监测联合收获机的前进速度与车身航向角；所述液压控制模块分别与视觉检测模块和机器状态监测模块连接，液压控制模块根据前进速度、车身航向角、田头边界信息和田头边界与车身距离，控制联合收获机完成田头转向动作。
7.上述方案中，所述视觉检测模块包括双目相机与工控机；所述双目相机采集联合收获机前方图像，所述工控机对采集的图像进行处理，通过田头边界检测算法得到田头位置和田头边界与车身距离。
8.进一步的，所述双目相机安装于联合收获机驾驶室顶部，并与水平面有一夹角θ，向下倾斜拍摄联合收获机前方图像。
9.上述方案中，所述机器状态监测模块包括测速雷达与惯性测量单元；所述测速雷达监测联合收获机当前前进速度；所述惯性测量单元监测联合收获机当前航向角。
10.进一步的，所述惯性测量单元水平安装于联合收获机驾驶室内部；所述测速雷达安装于联合收获机底盘与地面呈40～50
°
夹角安装。
11.上述方案中，所述液压控制模块包括主控制单元、比例换向阀和液压缸；所述主控制单元接收田头边界与车身距离、前进速度和车身航向角信息，输出信号驱动比例换向阀动作，驱动液压缸活塞杆伸出，控制联合收获机割台升降与转向。
12.一种如所述基于双目视觉的联合收获机田头转向系统的控制方法，包括以下步骤：
13.所述视觉检测模块采集田间作物图像，并通过田头边界检测算法得到田头边界信息和田头边界与车身距离；所述机器状态监测模块实时监测联合收获机的前进速度与车身航向角；所述液压控制模块根据前进速度、车身航向角、田头边界信息和田头边界与车身距离，控制联合收获机完成田头转向动作。
14.上述方案中，所述通过田头边界检测算法得到田头边界信息和田头边界与车身距离包括以下步骤：
15.步骤(1)、所述视觉检测模块的双目相机采集的左、右图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图像；
16.步骤(2)、双目相机倾斜拍摄的作物边界图像，深度图像先进行逆透视投影变换，去除图像透视效果，将作物边界转换成鸟瞰视角的状态，提取图像的感兴趣区域；
17.步骤(3)、所述深度图像中的像素值即为z
c
，通过相机坐标系到世界坐标系的转换，转换公式为：
[0018][0019]
其中，(x
w
,y
w
,z
w
)为世界坐标系下坐标，(x
c
,y
c
,z
c
)是相机坐标系，θ为相机安装俯仰角，t为相机坐标系到世界坐标系垂直方向的平移距离；当图像像素值设为y
w
，即得到距离图像，当图像像素值设为z
w
，即得到高程图像；
[0020]
步骤(4)、利用作物与田头地面存在的高度差，对所述高程图像进行最大类间方差法分割得到作物区域，以作物区域最远处位置作为田头边界位置；
[0021]
步骤(5)、将所述田头边界位置映射于距离图像，既得到田头边界与联合收获机距离。
[0022]
上述方案中，所述田头转向包括以下步骤：
[0023]
步骤(1)、当首次检测到田头边界，联合收获机进行减速，并保持匀速前行，同时继续检测田头边界距离；
[0024]
步骤(2)、当田头边界与联合收获机距离小于设定值时，由双目相机检测得到的田头边界与联合收获机距离d与转向方向，测速雷达所测前进速度为v，得到联合收获机到达
田头位置所需时间t＝d/v，联合收获机前进时间t后到达田头位置；
[0025]
步骤(3)、到达田头位置后，液压控制模块控制割台抬升至最高位，记录此时机器状态监测模块所测航向角为yaw_0，收获机开始后退并转向，实时读取航向角yaw，当|yaw
‑
yaw_0|≥90
°
时，收获机转向结束，液压控制模块控制割台下降至作业高度，完成田头转向。
[0026]
一种联合收获机，包括所述基于双目视觉的联合收获机田头转向系统。
[0027]
与现有技术相比，本发明的有益效果是：本发明利用双目视觉快速检测识别田间田头边界线位置信息，通过在联合收获机上搭载测速雷达和imu，液压控制系统控制联合收获机在田头位置精确自动转向。本发明方法通过深度信息识别田头边界线，该方法受光照的影响小，且没有激光雷达扫描的数据量大，处理实时性更强，为联合收割机的智能化无人驾驶提供了重要数据。
附图说明
[0028]
图1为本发明一实施方式的田头转向系统结构图；
[0029]
图2为本发明一实施方式的田头边界识别方法流程图；
[0030]
图3为本发明一实施方式的田头转向方法流程图。
具体实施方式
[0031]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0032]
实施例1
[0033]
图1所示为所述联合收获机田头转向系统的一种较佳实施方式，所述联合收获机田头转向系统，包括视觉检测模块、机器状态监测模块和液压控制模块；所述视觉检测模块用于采集田间作物图像、并处理、分析得到田头边界信息和田头边界与车身距离；所述机器状态监测模块用于实时监测联合收获机的前进速度与车身航向角；所述液压控制模块分别与视觉检测模块和机器状态监测模块连接，液压控制模块根据前进速度、车身航向角、田头边界信息和田头边界与车身距离，控制联合收获机完成田头转向动作。
[0034]
所述视觉检测模块包括双目相机与工控机；所述双目相机采集联合收获机前方图像，所述工控机对采集的图像进行处理，通过田头边界检测算法得到田头位置和田头边界与车身距离。所述机器状态监测模块包括测速雷达与惯性测量单元(imu，inertial measurement unit)；所述测速雷达监测联合收获机当前前进速度；所述惯性测量单元监测联合收获机当前航向角。所述惯性测量单元水平安装于联合收获机驾驶室内部，且需避开磁干扰；所述测速雷达安装于联合收获机底盘后方，与地面呈40～50
°
夹角安装，优选为45
°
。所述双目相机安装于联合收获机驾驶室顶部，并与水平面有一夹角，即安装倾斜角θ，向下倾斜拍摄联合收获机前方图像。所述液压控制模块包括主控制单元、比例换向阀和液压缸；所述主控制单元接收田头边界与车身距离、前进速度和车身航向角信息，输出信号驱动比例换向阀动作，驱动液压缸活塞杆伸出，控制联合收获机割台升降与转向。具体的，输出信号驱动割台比例换向阀动作，驱动割台液压缸活塞杆伸出，控制联合收获机割台升降；输出信号驱动转向比例换向阀动作，驱动转向液压缸活塞杆伸出，控制联合收获机转向。
[0035]
根据本实施例，优选的，所述双目相机，选用zed2相机，安装在收割机的驾驶室顶部，安装倾角θ设置为48
°
，可拍摄收割机前端1
‑
7米范围内作物，满足实际视场需求，图像分辨率设置为1280
×
720。图像处理设备工控机，配备cpu为intel core i7
‑
6700，gpu为nvidia gtx 1650，具有cuda加速功能，以实现快速匹配获取双目深度图像。工控机安装在收割机的驾驶室内，与双目相机通过usb连接，为双目相机供电，相机所采集的图像数据通过usb传输到工控机并进行处理；测速雷达实时检测机器前进速度，imu实时检测机器航向角，二者需具有抗振动干扰的性能，以适应田间恶劣的工作环境；液压主控制单元通过can总线接收田头距离、前进速度和航向角等信息。液压控制器控制电磁比例换向阀，以驱动液压缸伸缩，实现自动调整收割机前进速度、转向和割台升降。
[0036]
一种如所述基于双目视觉的联合收获机田头转向系统的控制方法，包括以下步骤：
[0037]
所述视觉检测模块采集田间作物图像，并通过田头边界检测算法得到田头边界信息和田头边界与车身距离；所述机器状态监测模块实时监测联合收获机的前进速度与车身航向角；所述液压控制模块根据前进速度、车身航向角、田头边界信息和田头边界与车身距离，控制联合收获机完成田头转向动作。
[0038]
如图2所示，所述通过田头边界检测算法得到田头边界信息和田头边界与车身距离包括以下步骤：
[0039]
步骤(1)、所述视觉检测模块的双目相机采集的左、右图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图像；
[0040]
步骤(2)、双目相机倾斜拍摄的作物边界图像，图像里越远的物体会显得越小，深度图像先进行逆透视投影变换(ipm，inverse perspective mapping)，去除图像透视效果，将作物边界转换成鸟瞰视角的状态，提取图像的感兴趣区域(roi，region of interest)，减小图像处理量；
[0041]
步骤(3)、相机安装倾角θ＝48
°
，相机安装位置高度t＝2600mm，进行相机标定，得到相机的内外参数，所述深度图像中的像素值即为z
c
，通过相机坐标系到世界坐标系的转换，转换公式为：
[0042][0043]
其中，(x
w
,y
w
,z
w
)为世界坐标系下坐标，(x
c
,y
c
,z
c
)是相机坐标系，θ为相机安装俯仰角，t为相机坐标系到世界坐标系垂直方向的平移距离；当图像像素值设为y
w
，即得到距离图像，图像中每点的像素值代表该点与相机的水平距离；当图像像素值设为z
w
，即得到高程图像，图像中每点的像素值代表该点在世界坐标系下的高程值；
[0044]
步骤(4)、利用作物与田头地面存在的高度差，对所述高程图像进行最大类间方差法分割得到作物区域，以作物区域最远处位置作为田头边界位置；
[0045]
步骤(5)、将所述田头边界位置映射于距离图像，既得到田头边界与联合收获机距离。
[0046]
通过对不同光照条件下的田间田头图像测试表明，平均处理一帧图像耗时38ms，
识别准确率达98％，满足实际应用需求。
[0047]
如图3所示，在实现实时快速获取田头边界信息后，所述田头转向包括以下步骤：
[0048]
步骤(1)、联合收获机正常作业速度约为1.5
‑
2m/s，当首次检测到田头边界，联合收获机进行减速，以约为0.8m/s的速度匀速前行，同时继续检测田头边界距离；
[0049]
步骤(2)、当田头边界与联合收获机距离小于设定值3米时，由双目相机检测得到的田头边界与联合收获机距离d与转向方向，测速雷达所测前进速度为v，得到联合收获机到达田头位置所需时间t＝d/v，联合收获机前进时间t后到达田头位置；
[0050]
步骤(3)、到达田头位置后，为防止转向时割台对田间作物造成破坏，液压控制模块控制割台抬升至最高位，记录此时机器状态监测模块所测航向角为yaw_0，收获机开始后退并转向，实时读取航向角yaw，当|yaw
‑
yaw_0|≥90
°
时，收获机转向结束，液压控制模块控制割台下降至作业高度，完成田头转向。
[0051]
本发明所述系统视觉检测模块用于采集、处理、分析得到田头边界信息；机器状态监测模块实时监测联合收获机的前进速度与车身航向角，为精确转向提供关键数据；液压控制模块用于控制联合收获机自动完成田头转向动作，确保收割机在田头位置准确转向进入下一收获路径；本发明可快速获取作物田头边界信息，实现联合收获机自动田头转向，减轻驾驶员劳动强度，提升联合收获机智能化水平。本发明是一种快速、准确获取田头边界的方法及田头转向系统，利用双目视觉快速获取田头边界距离，imu与测速雷达获取机器航向角与前进速度，为联合收获机田头精准转向提供核心数据支持，同时解决传统田头识别方法易受光照的干扰，导致可靠性差与精度低的问题。
[0052]
实施例2
[0053]
一种联合收获机，包括实施例1所述基于双目视觉的联合收获机田头转向系统，具有实施例1的有益效果，此处不再赘述。
[0054]
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0055]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。