一种基于视觉的农机驾驶方法、系统、设备及存储介质与流程

1.本发明实施例涉及农业机械驾驶技术领域，尤其涉及一种基于视觉的农机驾驶方法、系统、设备及存储介质。


背景技术：

2.当前农机(农业机械)作业方式以人工驾驶为主，随着各行业自动驾驶的发展，农机作业中也开始引入北斗卫星定位和激光雷达等技术来实现自动驾驶。目前，市场上农机驾驶使用的主要为基于全球卫星定位系统(包括但不限于北斗、gps、glonass等)和地面增强站的自动驾驶，定位准确，实现精准导航作业。但卫星导航作业受限于作业地形环境约束，对地形要求较高，对复杂地块，无法进行有效的全覆盖作业。行业上已经开始尝试通过加载了一些红外、超声波、激光雷达传感器进行辅助来解决问题，这些方法虽然对导航效果有一定的提升，但是在导航精度严重下降甚至无法导航时，没有相应的发现及处理手段，容易导致意外事故。


技术实现要素：

3.本发明实施例提供一种基于视觉的农机驾驶方法、系统、设备及存储介质，以减少自动驾驶导致的事故，并且在自动驾驶无法进行时能够无缝切换至手动驾驶，不影响农机的正常作业，提高了农机作业效率。
4.为达此目的，本发明实施例提供了一种基于视觉的农机驾驶方法，该方法包括：
5.采集地面图像信息；
6.根据所述地面图像信息识别目标作业区域；
7.基于所述目标作业区域确定农机的导航线路；
8.判断所述导航线路是否可靠；
9.若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶；
10.若是，则根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，以根据所述行驶调整参数控制农机行驶。
11.可选的，在一些实施例提供的基于视觉的农机驾驶方法中，所述根据所述地面图像信息识别目标作业区域，包括：
12.通过预设的深度学习模型对所述地面图像信息进行语义分割得到多个地面区域，识别所述多个地面区域中的目标作业区域。
13.可选的，在一些实施例提供的基于视觉的农机驾驶方法中，基于所述目标作业区域确定农机的导航线路之前，还包括：
14.判断所述地面图像信息是否满足识别要求；
15.若否，则获取农机的gps定位信息，基于所述gps定位信息和所述地面图像信息识别目标作业区域。
16.可选的，在一些实施例提供的基于视觉的农机驾驶方法中，所述判断所述地面图
像信息是否满足识别要求包括：
17.判断所述地面图像信息中地面特征信息是否准确且连续，若所述地面图像信息中地面特征信息不准确或不连续，则不满足识别要求。
18.可选的，在一些实施例提供的基于视觉的农机驾驶方法中，所述判断所述导航线路是否可靠，包括：
19.判断所述导航线路是否遍历所述目标作业区域，且能够完成目标作业区域对应的作业任务，若是，则所述导航线路可靠。
20.可选的，在一些实施例提供的基于视觉的农机驾驶方法中，所述根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，包括：
21.检测农机的当前航向；
22.确定所述当前航向和所述导航线路的行驶航向偏差；
23.根据所述行驶航向偏差基于农机的驾驶参数确定农机的行驶转向角和偏移距离。
24.可选的，在一些实施例提供的基于视觉的农机驾驶方法中，还包括：
25.判断所述地面图像信息中是否存在轨迹停止标志，或农机是否到达所述导航路线的终止位置；
26.若是，则农机停止工作。
27.一方面，本发明实施例还提供了一种基于视觉的农机驾驶系统，该系统包括：
28.图像采集模块，用于采集地面图像信息；
29.作业区域识别模块，用于根据所述地面图像信息识别目标作业区域；
30.导航线路确定模块，用于基于所述目标作业区域确定农机的导航线路；
31.可靠性判断模块，用于判断所述导航线路是否可靠；
32.手动驾驶模块，用于若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶；
33.自动驾驶模块，用于若是，则根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，以根据所述行驶调整参数控制农机行驶。
34.另一方面，本发明实施例还提供了一种农机设备，该农机设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例提供的基于视觉的农机驾驶方法。
35.又一方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的基于视觉的农机驾驶方法。
36.本发明实施例在农机作业时采集农机附近的地面图像信息，根据地面图像信息识别需要农机进行作业的目标作业区域，再根据识别出的目标作业区域确定农机的导航线路，根据导航线路是否可靠进行手动驾驶和自动驾驶切换：当确定导航线路可靠，检测用户的手动驾驶信号，以根据手动驾驶信号控制农机行驶；当确定导航线路不可靠，根据导航线路和农机的当前行驶姿态确定行驶调整参数，以根据行驶调整参数自动控制农机行驶。该方法能够在农机作业过程中自行根据采集到的地面图像信息规划导航线路，从而进行自动驾驶作业，并且在自动驾驶过程中引入可靠性判断，在导航线路不可靠时及时发现并切换至手动驾驶，一定程度上减少了自动驾驶导致的事故，并且在自动驾驶无法进行时能够无
缝切换，不影响农机的正常作业，提高了农机作业效率。
附图说明
37.图1是本发明实施例一提供的一种基于视觉的农机驾驶方法流程图；
38.图2是本发明实施例一提供的另一种基于视觉的农机驾驶方法流程图；
39.图3是本发明实施例二提供的又一种基于视觉的农机驾驶方法流程图；
40.图4是本发明实施例二提供的再一种基于视觉的农机驾驶方法流程图；
41.图5是本发明实施例三提供的一种基于视觉的农机驾驶系统的结构示意图；
42.图6为本发明实施例四提供的一种农机设备的结构示意图。
具体实施方式
43.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
44.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
45.此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一模块称为第二模块，且类似地，可将第二模块称为第一模块。第一模块和第二模块两者都是模块，但其不是同一模块。术语“第一”、“第二”等不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明实施例的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
46.实施例一
47.图1为本发明实施例一提供的一种基于视觉的农机驾驶方法流程图，该方法可以应用于各种农机的驾驶系统，以主导或辅助进行农机驾驶，示例性的，本实施例提供的基于视觉的农机驾驶方法，可以应用于谷物收割机、谷物播种机、植保机、拖拉机以及其他农田地面作业设备。如图1所示，该方法包括：
48.s110、采集地面图像信息。
49.地面图像信息由图像采集模块采集，用于确定农机当前所处的作业环境。具体的，图像采集模块通常设置在农机上，基于已知的预设角度进行图像采集。此处所说已知的预设角度是为了保障农机能够确定采集的地面图像信息相对于农机的位置关系，以方便确定农机实际所处的位置，其可以通过图像采集模块的实际位姿(例如在农机上设置图像采集模块，则需要结合农机的位姿和图像采集模块在农机上的位置确定)以及固定的拍摄角度(例如在农机上设置图像采集模块，可以预先设置图像采集模块相对于农机固定有一个或
多个拍摄角度)确定。
50.具体的，在本实施例中，图像采集模块为摄像头(不限制摄像头的具体型号)，农机上设置有一个或多个摄像头，用于在农机作业时采集农机周围的地面图像信息。通常情况下摄像头固定在农机前方或侧方，摄像头的镜头朝向农机的行驶方向，镜头光轴与地面呈固定角度，并且摄像头安装位置的3d空间换算关系已经存储在农机中。更具体的，摄像头在农机上可以基于固定的一个或多个角度(相对于农机)进行地面图像的采集，以覆盖更广的拍摄角度，获取更全面的地面图像信息。
51.s120、根据所述地面图像信息识别目标作业区域。
52.目标作业区域是指需要农机进行作业的区域，例如待收割的农田。地面图像信息中包括待作业的农田区域以及背景区域，以谷物收割机为例，谷物收割机在行驶过程中会不断通过其上的摄像头拍摄地面图像信息，拍摄到的地面图像信息包括农田的种植区、相邻种植区之间的分割区域以及天空等非农田区域，种植区又进一步的可以分为已作业区域和未作业区域，而未作业区域就是本实施例所指的目标作业区域。目标作业区域用于确定农机的剩余作业任务，以方便后续控制农机遍历目标作业区域完成作业。
53.具体的，本实施例中农机中还设置有处理模块，处理模块通常采用车载计算机，处理模块中预先存储有用于对地面图像进行处理的相关算法或模型，以识别图像中的特征，并根据识别到的特征进行图像分割得到不同的区域，进而识别其中的目标作业区域。
54.s130、基于所述目标作业区域确定农机的导航线路。
55.导航线路是对农机行驶轨迹进行规划的预测线路，用于引导农机遍历所有目标作业区域完整作业任务。导航线路需要根据具体的目标作业区域和农机的作业任务确定，示例性的，在某一谷物收割机工作时，基于地面图像信息确定的目标作业区域中包括一个沿农机正向延伸的种植区，种植区为长方形，当谷物收割机只需从种植区的一侧(对应长方形宽边一侧)收割至另一侧(沿长方形长边移动)即可完成种植区的收割时，确定的导航线路为目标区域的中心线。当然上述示例仅为一种较为简单情形下的导航线路确定过程，实际根据目标作业区域的形状复杂度以及作业内容的复杂度的增加，导航线路的确定方式也更为复杂吗，需要根据具体需求自行设置，此处不作限制。
56.本实施例中，农机中的处理模块在识别了目标作业区域后，使用预先设置好的视觉算法，对目标作业区域进行搜索，并根据具体的作业任务预测农机的导航线路，以使农机按照导航线路行驶能够遍历目标作业区域完成作业任务。更具体的，当前农机作业方式包括边缘作业、束状作业和行间作业三种，针对不同的作业方式，确定导航线路的方式也不同，因此在一些实施例中，处理模块预先设置有多种视觉算法，以针对不同的作业类型进行导航线路的制定；并且，为了进一步提高农机的自动化程度，处理模块中还可以设置特殊视觉算法，特殊视觉算法用于根据地面图像信息以及农机的作业任务(如收割、播种等)自行选择最适配的作业方式。
57.s140、判断所述导航线路是否可靠。
58.由于导航线路是由视觉算法确定的，一方面实际农业作业环境复杂，另一方面由于算法本身可能存在一定限制，很容出现目标作业区域杂乱难以制定导航线路的情况，或者即使制定了导航线路也一定程度上存在出错的可能，例如实际按照导航线路运行无法遍历目标作业区域，或者按照导航线路运行农机会与障碍物发生碰撞等意外事故，由此需要
对导航线路进行进一步验证。
59.具体的，处理模块中还设置有可靠性验证算法，用于根据导航线路模拟农机的实际工作情况，如果农机能够按照导航线路遍历目标作业区域且完成对应的作业任务，则视为通过可靠性验证，反之则不通过，当然如果步骤s130中并没有确定出导航线路，那么直接判定导航线路不可靠。也即，判断所述导航线路是否可靠，包括：判断所述导航线路是否遍历所述目标作业区域，且能够完成目标作业区域对应的作业任务，若是，则所述导航线路可靠。
60.s150、若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶。
61.手动驾驶信号由用户的手动驾驶操作产生，手动驾驶操作包括远程驾驶操作(通过远程遥控终端操作)和实际驾驶操作(用户在农机上的驾驶位操作)。当处理模块验证导航线路不可靠之后，需要切换到手动驾驶模式，即由用户手动驾驶，此时农机根据用户的手动驾驶信号行驶和作业。
62.具体的，农机还设置有手动驾驶模块，手动驾驶模块包括驾驶位手动操作件(包括方向盘等)和/或远程遥控组件(包括远程遥控终端等)，以方便用户在导航线路不可靠时，通过方向盘等手动控制组件和/或远程遥控终端进行手动驾驶。
63.s160、若是，则根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，以根据所述行驶调整参数控制农机行驶。
64.行驶调整参数用于控制农机按照导航线路自动驾驶，通常包括行驶转向角和偏移距离，行驶转向角用于控制农机的行驶方向，偏移距离用于确定农机的移动距离。
65.具体的，农机中设置有自动驾驶模块(可以是基于处理模块实现的虚拟模块，也可以是单独设置的硬件模块)，用于在处理模块验证导航线路可靠之后，基于农机的当前行驶姿态调整农机按照导航线路移动。自动驾驶模块根据农机的当前行驶姿态和导航线路确定如何将农机自当前行驶轨迹移动到导航线路上，而形式调整参数就是当前行驶轨迹与导航线路之间需要调整的偏差。
66.更具体的，处理模块在根据地面图像信息识别目标作业区域时，可以采用多种方式，例如阈值分割法、将遗传算法和粒子群算法加入进行辅助分割方法和基于深度卷积神经网络的图像语义分割方法，不同方式有不同的优缺点。在一些实施例中，优选的采用基于深度卷积神经网络的图像语义分割方法，该方法识别快速、准确率高，并且可以随着实际使用不断优化。在这些实施例中，需要在处理模块中配置预设的深度学习模型，预设的深度学习模型通过大量的训练地面图像训练得到，训练地面图像应当包括各种作业环境下的地面图像，且训练地面图像上标记好用于实现图像分割的特征(根据地面图像的不同地面区域进行标注)，基于训练地面图像根据实际需求自行控制深度学习模型的训练此次数，训练完成后得到预设的深度学习模型。相应的，根据所述地面图像信息识别目标作业区域包括：通过预设的深度学习模型对所述地面图像信息进行语义分割得到多个地面区域，识别所述多个地面区域中的目标作业区域。
67.本实施例提供了一种基于视觉的农机驾驶方法，在农机作业时采集农机附近的地面图像信息，根据地面图像信息识别需要农机进行作业的目标作业区域，再根据识别出的目标作业区域确定农机的导航线路，根据导航线路是否可靠进行手动驾驶和自动驾驶切
换：当确定导航线路可靠，检测用户的手动驾驶信号，以根据手动驾驶信号控制农机行驶；当确定导航线路不可靠，根据导航线路和农机的当前行驶姿态确定行驶调整参数，以根据行驶调整参数自动控制农机行驶。该方法能够在农机作业过程中自行根据采集到的地面图像信息规划导航线路，从而进行自动驾驶作业，并且在自动驾驶过程中引入可靠性判断，在导航线路不可靠时及时发现并切换至手动驾驶，一定程度上减少了自动驾驶导致的事故，并且在自动驾驶无法进行时能够无缝切换，不影响农机的正常作业，提高了农机作业效率。
68.实施例二
69.本发明实施例二是在本发明实施例一的基础上，对实施例一中部分内容进行了进一步的补充和/或解释，具体包括：
70.如图2所示，为本发明另一实施例提供的基于视觉的农机驾驶方法流程图，包括：
71.s210、采集地面图像信息。
72.s220、判断所述地面图像信息是否满足识别要求。
73.由于图像采集模块会受天气等因素影响，例如雨雪天气时，地面图像信息的清晰度会收到影响，由此会导致在根据地面图像信息识别目标作业区域时，地面特征不明显或地面特征不连续(例如积雪覆盖了种植区边界，到时难以区分目标作业区域)，因此在特殊情况下，需要引入其他技术手段辅助进行目标区域的识别。具体的，考虑到基于地面图像信息识别目标作业区域时是基于地面特征进行的，在判断所述地面图像信息是否满足识别要求时，需要考虑到地面特征是否支持完成目标作业区域识别，也即判断所述地面图像信息是否满足识别要求包括：
74.判断所述地面图像信息中地面特征信息是否准确且连续，若所述地面图像信息中地面特征信息不准确或不连续，则不满足识别要求。
75.s230、若否，则获取农机的gps定位信息，基于所述gps定位信息和所述地面图像信息识别目标作业区域。
76.本实施例中，当判断地面图像信息不满足识别要求时，引入gps定位信息辅助进行目标作业区域的识别。具体的，本实施例中农机上还设置有卫星定位模块，用于确定农机的gps定位信息，借助gps定位信息对地面图像信息中的地面特征信息进行修正和补充，以使地面图像信息中地面特征信息准确且连续，最终再基于准确且连续的地面特征信息进行地面图像分割、识别从而确定目标作业区域。
77.s240、基于所述目标作业区域确定农机的导航线路。
78.s250、判断所述导航线路是否可靠。
79.s260、若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶。
80.s270、若是，则根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，以根据所述行驶调整参数控制农机行驶。
81.需要说明的是，若步骤s220中判断地面图像信息满足识别要求，则可以直接根据地面图像信息识别目标作业区域，而无需引入gps定位信息，其余步骤与步骤s240-270一致。
82.可选的，本发明一个实施例中提供了又一种基于视觉的农机驾驶方法，如图3所示，该方法包括：
83.s310、采集地面图像信息。
84.s320、根据所述地面图像信息识别目标作业区域。
85.s330、基于所述目标作业区域确定农机的导航线路。
86.s340、判断所述导航线路是否可靠。
87.s350、若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶。
88.s360、若是，则检测农机的当前形式状态。
89.在自动驾驶领域，为了控制车辆沿着预期的路径行进，横向控制的控制目标有两个：车辆的位置和航向，而需要实现对航向的控制，就需要知道期望的航向与实际的航向之间的偏差。在本实施例中，期望的航向可以根据导航线路确定，实际的航向就是农机的当前航向，通常情况下当前航向可以根据农机的头部朝向确定，即农机的头部朝向就是农机的当前航向，当然这只是一种示例，实际还可以以农机的移动方向作为当前航向。
90.s370、确定所述当前航向和所述导航线路的行驶航向偏差。
91.在确定了农机的当前航向之后，需要计算当前航向和导航线路的行驶航向偏差，行驶航向偏差实际就是当前航向和导航线路对应的期望航向之间的差。
92.s380、根据所述行驶航向偏差基于农机的驾驶参数确定农机的行驶转向角和偏移距离，以根据所述行驶调整参数控制农机行驶。
93.行驶航向偏差仅用于描述需要如何实现导航线路期望的航向，但农机往往也不在导航线路上，因此还需要进行位置上的同步。本实施例中在考虑根据行驶航向偏差实现航向同步时，还会根据农机的驾驶参数(包括速度、当前位置等)计算如何移动才能实现与导航线路在位置和航向的双重同步。具体的，行驶转向角用于确定农机的自动驾驶方向，偏移距离用于确定农机按照行驶转向角行驶需要偏移多远能够与导航线路在位置上同步。
94.可选的，本发明一个实施例中提供了再一种基于视觉的农机驾驶方法，如图4所示，该方法包括：
95.s410、采集地面图像信息。
96.s420、根据所述地面图像信息识别目标作业区域。
97.s430、基于所述目标作业区域确定农机的导航线路。
98.s440、判断所述导航线路是否可靠。
99.s450、若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶。
100.s460、若是，则根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，以根据所述行驶调整参数控制农机行驶。
101.s470、判断所述地面图像信息中是否存在轨迹停止标志，或农机是否到达所述导航路线的终止位置。
102.轨迹停止标志用于标记农机禁止行经的区域，例如不需要进行收割的种植区以及农机无法行驶的区域，以免农机作业出错或出现意外故障，轨迹停止标志可以是针对农机自动驾驶特殊设置的标志，也可以是特殊的地形、交通指示牌等。具体的，地面在禁止农机行经的区域设置有轨迹停止标志，农机的处理模块中预置有停止标志识别算法，用于识别地面图像信息中的轨迹停止标志，识别轨迹停止标志同样可以采用深度学习模型，当然这
里使用的深度学习模型与识别目标作业区域的深度模型并非同一模型。
103.为了确保农机能够在作业完成或偏离轨迹或突遇障碍时及时停止行驶，以免造成意外损失，本实施例中通过判断是否检测到轨迹停止标志和是否到达导航路线的终止位置作为停止判断。
104.s480、若是，则农机停止工作。
105.当判断地面图像信息中存在轨迹停止标志或农机已经行驶到导航线路的终止位置时，需要及时停止农机。具体的，当处理模块检测到轨迹停止标志或农机已经行驶到导航线路的终止位置时，及时发出终止信号，用于切断农机的动力输出，并制动。
106.本实施例提供的基于视觉的农机驾驶方法，进一步提供了在地面图像信息不满足识别要求时，根据gps定位信息辅助进行目标作业区域识别的过程，进一步保障了自动驾驶的安全性和稳定性，还提供了根据导航线路进行行驶调整参数确定的过程，能够实现快速与导航线路同轨，并且提供了根据轨迹停止标志或导航路线进行停止的过程，以确保农机不会误闯非作业区域，提高了农机自动驾驶的安全性。
107.实施例三
108.图5为本发明实施例三提供的一种基于视觉的农机驾驶系统500，本发明实施例三所提供的基于视觉的农机驾驶系统500可执行本发明任意实施例所提供的基于视觉的农机驾驶方法，具备执行方法相应的功能模块和有益效果。如图5所示，该基于视觉的农机驾驶系统500包括：
109.图像采集模块510，用于采集地面图像信息；
110.作业区域识别模块520，用于根据所述地面图像信息识别目标作业区域；
111.导航线路确定模块530，用于基于所述目标作业区域确定农机的导航线路；
112.可靠性判断模块540，用于判断所述导航线路是否可靠；
113.手动驾驶模块550，用于若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶；
114.自动驾驶模块560，用于若是，则根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，以根据所述行驶调整参数控制农机行驶。
115.可选的，在一些实施例中，作业区域识别模块520具体用于：
116.通过预设的深度学习模型对所述地面图像信息进行语义分割得到多个地面区域，识别所述多个地面区域中的目标作业区域。
117.可选的，在一些实施例中，作业区域识别模块520具体用于：
118.判断所述地面图像信息是否满足识别要求；
119.若否，则获取农机的gps定位信息，基于所述gps定位信息和所述地面图像信息识别目标作业区域。
120.可选的，在一些实施例中，判断所述地面图像信息是否满足识别要求包括：
121.判断所述地面图像信息中地面特征信息是否准确且连续，若所述地面图像信息中地面特征信息不准确或不连续，则不满足识别要求。
122.可选的，在一些实施例中，可靠性判断模块540具体用于：
123.判断所述导航线路是否遍历所述目标作业区域，且能够完成目标作业区域对应的作业任务，若是，则所述导航线路可靠。
124.可选的，在一些实施例提供中，自动驾驶模块560具体用于：
125.检测农机的当前航向；
126.确定所述当前航向和所述导航线路的行驶航向偏差；
127.根据所述行驶航向偏差基于农机的驾驶参数确定农机的行驶转向角和偏移距离。
128.可选的，在一些实施例中，农机驾驶系统500还包括：
129.终止检测模块，用于判断所述地面图像信息中是否存在轨迹停止标志，或农机是否到达所述导航路线的终止位置；
130.停止模块，用于若是，则农机停止工作。
131.本实施例提供了一种基于视觉的农机驾驶系统，能够在农机作业过程中自行根据采集到的地面图像信息规划导航线路，从而进行自动驾驶作业，并且在自动驾驶过程中引入可靠性判断，在导航线路不可靠时及时发现并切换至手动驾驶，一定程度上减少了自动驾驶导致的事故，并且在自动驾驶无法进行时能够无缝切换，不影响农机的正常作业，提高了农机作业效率。
132.实施例四
133.图6为本发明实施例四提供的一种农机设备12的结构示意图。图6示出了适于用来实现本发明实施方式的示例性农机设备12的框图。图6显示的农机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
134.如图6所示，农机设备12以通用计算设备的形式表现。农机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
135.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
136.农机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被农机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
137.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。农机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
138.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
139.农机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该农机设备12交互的设备通信，和/或与使得该农机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，农机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与农机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合农机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
140.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于视觉的农机驾驶方法：
141.采集地面图像信息；
142.根据所述地面图像信息识别目标作业区域；
143.基于所述目标作业区域确定农机的导航线路；
144.判断所述导航线路是否可靠；
145.若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶；
146.若是，则根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，以根据所述行驶调整参数控制农机行驶。
147.实施例五
148.本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术所有发明实施例提供的基于视觉的农机驾驶方法：
149.采集地面图像信息；
150.根据所述地面图像信息识别目标作业区域；
151.基于所述目标作业区域确定农机的导航线路；
152.判断所述导航线路是否可靠；
153.若否，则检测用户的手动驾驶信号，以根据所述手动驾驶信号控制农机行驶；
154.若是，则根据所述导航线路和农机的当前行驶姿态确定行驶调整参数，以根据所述行驶调整参数控制农机行驶。
155.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
156.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限
于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
157.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
158.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
159.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。