基于深度学习的收获机割台自主控制方法

本发明涉及农业装备自动控制，公开了基于深度学习的收获机割台自主控制方法。

背景技术：

1、收获机割台自主控制属于农业装备作业过程控制技术，控制对象通常包括割台升降执行机构、割台高度反馈信号、整机行驶状态和作业环境信息。现有收获机多采用人工设定割茬高度与闭环高度保持相结合的方式进行割台控制，由驾驶人员根据作物高度、地面平整度和作业经验预先设定割台目标高度，控制器再依据割台实际高度反馈与目标高度之间的偏差输出升降指令。部分设备会结合机身姿态、行驶速度或割台负载信号修正控制量，使割台在坡地、坑洼地面或速度变化时保持相对稳定的作业姿态。该类方案的控制依据主要来自割台当前位置或割台附近的反馈数据，属于事后偏差修正。当地面起伏较缓、作物高度较均匀且行驶速度稳定时，上述方式能够维持基本割茬高度，但在地形突变或作物冠层变化连续出现的场景中，割台往往已进入变化区域后才产生较大的反馈偏差，控制器再发出升降指令时已存在时间滞后。

2、为弥补单纯高度反馈控制的不足，现有技术中也存在利用图像识别或视觉感知辅助割台控制的方案。该类方案通常在收获机前方采集作业图像，通过图像分割、边缘识别或深度学习模型提取作物冠层边界、地面区域、行进方向上的作物分布状态，再依据识别结果计算割台目标高度。部分方案会采用连续帧图像改善单帧图像受尘土、遮挡和光照变化影响的问题，并将识别结果与割台当前高度、行驶速度共同输入控制器，使控制器提前获知前方待收割区域的作物或地面变化。该类方案相较于传统反馈控制增加了前视信息来源，但通常将视觉识别结果直接换算为目标高度，或仅通过固定比例系数叠加到原有高度控制量中。图像坐标中的前方区域与割台实际到达该区域的时间之间存在转换关系，若该转换关系未与行驶速度、机身姿态和割台切割位置统一处理，识别结果难以与执行时刻保持一致。

3、在割台实际控制过程中，执行机构自身还具有上升响应、下降响应、指令死区、最大升降速率和机械惯性等约束。现有控制器通常将执行机构视为能够按照目标高度立即响应的对象，或者仅在控制输出端设置固定限幅与平滑处理，未将执行响应特性与前视识别结果共同建模。对于同一段前方地面起伏，收获机在低速行驶时有较长调整时间，在高速行驶时留给割台执行机构的动作时间明显缩短；对于同一目标高度变化，割台上升与下降的响应时间也可能不同。若只依据图像识别结果生成目标高度，而未根据割台到达时间和执行滞后进行提前补偿，控制指令会在时间轴上偏离真实需求。若只依靠执行端平滑处理，又可能压制必要的提前动作，使割台在连续起伏区域内持续处于追随状态，难以形成与前方地面变化相匹配的高度控制过程。

4、割台前方视觉识别结果、收获机到达前方区域的时间关系以及割台执行机构响应滞后之间未形成统一闭环控制链路，导致前方作物冠层边界、地面边界和留茬趋势即使被识别，也难以转换为与割台实际执行时刻相对应的高度控制指令。该问题的技术原因在于，视觉识别输出通常停留在空间位置或目标高度层面，控制器缺少将前方区域按行驶速度映射为到达时间序列的处理，也缺少基于割台执行响应数据对目标高度序列进行提前量补偿和动作约束的机制。当收获机处于地面连续起伏、机身姿态变化或速度波动的作业条件下，割台控制指令容易滞后于地面变化，造成割台高度修正与实际切割位置错位，使留茬高度波动、局部漏割、低位触地和割台反复升降等现象在同一作业行内连续出现。

技术实现思路

1、本发明的目的在于提供基于深度学习的收获机割台自主控制方法，可以有效解决上述背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、基于深度学习的收获机割台自主控制方法，包括：获取割台前方连续作业图像、割台实际高度、收获机行驶速度、机身姿态和割台执行响应数据；

4、将所述连续作业图像与所述实际高度、所述行驶速度、所述机身姿态进行时序对齐后输入深度学习时空识别模型，得到前方待收割区域的作物冠层边界、地面边界、留茬趋势和识别可信度；

5、依据所述行驶速度将前方待收割区域映射为割台到达时间序列，生成目标高度序列；

6、根据所述割台执行响应数据对所述目标高度序列进行滞后补偿和动作约束，结合所述识别可信度输出割台高度控制指令。

7、优选的，所述时序对齐包括：以连续作业图像的采集时刻为基准，按照割台实际高度、行驶速度和机身姿态在控制周期内的采样时刻建立时间索引；

8、对相邻控制周期内的数据进行插值重采样，形成与每一帧图像对应的状态向量；

9、将相邻多帧图像及其状态向量构成时空输入窗，并根据图像采集位置到割台切割位置之间的纵向距离对所述时空输入窗标注到达时间标签，作为所述深度学习时空识别模型的输入数据。

10、优选的，所述生成目标高度序列包括：将所述作物冠层边界、所述地面边界和所述留茬趋势转换为作业坐标下的分段高度曲线；

11、依据所述机身姿态对图像视角变化造成的边界位移进行姿态校正；

12、按照所述到达时间标签将所述分段高度曲线排列为多个预测窗口；

13、在相邻预测窗口之间引入高度连续性约束和留茬变化约束，并将同一控制周期内的多个候选高度按照识别可信度进行融合，形成与割台控制周期对应的目标高度序列。

14、优选的，所述滞后补偿和动作约束包括：根据割台执行响应数据建立割台上升响应时间、下降响应时间、指令死区和最大升降速率的执行约束表；

15、将所述目标高度序列中的每一目标高度按照对应的割台到达时间向前平移，得到预执行高度序列；

16、对所述预执行高度序列进行死区剔除、速率限制和相邻指令平滑处理；

17、按照所述识别可信度调整预执行高度序列与割台实际高度反馈之间的融合比例，生成割台高度控制指令。

18、优选的，所述时空输入窗的构建还包括：依据行驶速度在连续控制周期内的变化量，将相邻多帧图像划分为近距窗口、中距窗口和远距窗口；

19、对所述近距窗口保留每一采集周期的数据，对所述中距窗口和所述远距窗口保留经作业坐标重采样后的边界特征；

20、将割台执行响应数据中的历史指令、历史实际高度和响应偏差写入对应窗口的状态向量，并将不同距离的前方特征按统一到达时间索引写入深度学习时空识别模型。

21、优选的，所述候选高度的融合包括：在每一预测窗口内分别生成基于地面边界的候选高度、基于留茬趋势的候选高度和基于作物冠层边界反推的候选高度；

22、对所述基于地面边界的候选高度设置最低离地约束，对所述基于留茬趋势的候选高度设置相邻窗口连续约束；

23、当三类候选高度在同一控制周期内存在偏离时，按照识别可信度、姿态校正量和历史响应偏差确定融合权重，并输出单一目标高度。

24、优选的，所述按照识别可信度调整融合比例包括：将识别可信度与图像边界连续性、姿态校正稳定性和目标高度序列变化率共同形成可信度状态；

25、当所述可信度状态满足前视控制条件时，采用预执行高度序列作为主控制输入；

26、当所述可信度状态满足混合控制条件时，将预执行高度序列与割台实际高度反馈按加权方式合成；

27、当所述可信度状态满足反馈保持条件时，锁定前一控制周期的受限指令并接收割台实际高度反馈修正。

28、优选的，所述预执行高度序列的平滑处理包括：根据相邻目标高度的增减方向分别调用上升响应时间和下降响应时间，计算对应控制周期的可执行高度变化量；

29、对小于指令死区的高度变化与连续相反方向的高度变化进行合并；

30、对超过最大升降速率的高度变化按照多个控制周期拆分；

31、在拆分后的控制周期内保留与割台到达时间序列一致的高度递进关系，形成受执行约束限制的连续控制指令。

32、优选的，所述统一的到达时间索引还按照闭环校验结果进行更新，所述闭环校验结果由已通过预测窗口对应的预执行高度、割台实际高度、历史指令和行驶速度变化量生成；

33、当所述割台实际高度相对于预执行高度存在连续同向时间偏移时，调整图像采集位置到割台切割位置之间的纵向距离映射值；

34、当所述连续同向时间偏移伴随机身姿态变化出现时，仅修正姿态校正量对应的时间标签，更新后的到达时间索引用于后续时空输入窗。

35、优选的，所述可信度状态还通过状态保持序列进行更新，所述状态保持序列记录相邻多个控制周期内的识别可信度、边界位移方向、预执行高度变化方向和割台实际高度变化方向；

36、当所述预执行高度变化方向与所述割台实际高度变化方向连续相反时，将前视控制条件转换为混合控制条件；

37、当所述边界位移方向在状态保持序列内交替变化时，冻结新增预测窗口的融合权重，并以受执行约束限制的连续控制指令完成当前控制周期输出。

38、与现有技术相比，本发明的有益效果在于：

39、1.通过采集割台前方连续作业图像、割台实际高度、行驶速度、机身姿态和割台执行响应数据，并将连续作业图像与状态数据进行时序对齐，深度学习时空识别模型能够输出前方待收割区域的作物冠层边界、地面边界、留茬趋势和识别可信度。依据行驶速度将前方待收割区域映射为割台到达时间序列后，目标高度不再仅对应图像中的空间位置，而是对应割台后续控制周期。再结合割台上升响应时间、下降响应时间、指令死区和最大升降速率对目标高度序列进行滞后补偿和动作约束，控制指令能够在割台到达地面起伏区域前完成预执行安排，使前方感知、到达时间和执行机构动作形成同一时间轴上的闭环配合，从而减少因控制滞后造成的高度修正错位。

40、2.通过近距窗口、中距窗口和远距窗口构成时空输入窗，并在不同距离窗口内写入历史指令、历史实际高度和响应偏差，连续作业图像中的前方特征能够与割台历史执行状态保持对应关系。通过基于地面边界、留茬趋势和作物冠层边界反推的候选高度融合，目标高度序列能够避免单一识别来源异常造成的控制跳变。通过识别可信度、图像边界连续性、姿态校正稳定性和目标高度序列变化率形成可信度状态，并在前视控制、混合控制和反馈保持之间切换，前方识别结果受遮挡、尘土或边界波动影响时，割台控制指令能够转入受限输出。通过状态保持序列记录预执行高度变化方向与割台实际高度变化方向，可对连续相反变化和边界交替位移进行冻结或降权处理，使割台升降过程保持连续，减少频繁反向调节。