一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

预测性图生成和控制系统的制作方法

2022-04-13 12:55:41 来源:中国专利 TAG:


1.本说明书涉及农业机器、林业机器、建筑机器和草坪管理机器。


背景技术:

2.存在各种各样不同类型的农业机器。一些农业机器包括收割机,诸如联合收割机、甘蔗收割机、棉花收割机、自走式饲料收割机和割晒机。一些收割机还可以装配有不同类型的割台来收割不同类型的作物。
3.田地中的多种不同条件对收割操作具有多种有害影响。因此,当在收割操作期间遇到这种情况时,操作员可能会尝试修改收割机的控制。
4.以上讨论仅被提供为一般背景信息,并不旨在用于帮助确定所要求保护的主题的范围。


技术实现要素:

5.由农业作业机器获得一个或更多个信息图。一个或更多个信息图映射田地的不同地理位置处的一个或更多个农业特性的值。农业作业机器上的现场传感器在农业作业机器移动穿过田地时感测农业特性。预测性图生成器基于一个或更多个信息图中的值和由现场传感器感测的农业特性之间的关系,生成预测田地中的不同位置处的预测性农业特性的预测性图。预测性图可以被输出并用于自动机器控制。
6.提供本概述是为了以简化的形式介绍将在下面的详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中提到的任何或所有缺点的示例。
附图说明
7.图1是联合收割机的一个示例的局部示意图。
8.图2是根据本公开的一些示例更详细地示出农业收割机的一些部分的框图。
9.图3a至图3b(本文统称为图3)示出了图示农业收割机在生成图时的操作的示例的流程图。
10.图4a是示出预测性模型生成器和预测性度量图生成器的一个示例的框图。
11.图4b是示出现场传感器的一些示例的框图。
12.图5是示出农业收割机在接收先验信息图、检测农业特性并生成用于在收割操作期间控制农业收割机的功能预测性图的操作的示例的流程图。
13.图6是示出控制区域生成器的一个示例的框图。
14.图7是图示图6中示出的控制区域生成器的操作的一个示例的流程图。
15.图8图示了示出控制系统在选择目标设置值以控制农业收割机时的操作的示例的流程图。
16.图9是示出操作员界面控制器的一个示例的框图。
17.图10是图示操作员界面控制器的一个示例的流程图。
18.图11是示出操作员界面显示的一个示例的示意图。
19.图12是示出与远程服务器环境通信的农业收割机的一个示例的框图。
20.图13至图15示出了可以用于农业收割机的移动设备的示例。
21.图16是示出可以用于农业收割机的计算环境的一个示例的框图。
具体实施方式
22.为了促进对本公开的原理的理解,现在将参考附图中图示的示例,并且将使用特定的语言来描述这些示例。然而,应当理解的是,并不打算限制本公开的范围。对所描述的设备、系统、方法的任何更改和另外修改,以及本公开的原理的任何进一步应用都是完全可预期的,如本公开所涉及领域的技术人员通常会想到的那样。特别地,完全可以设想,针对一个示例描述的特征、部件、步骤或其组合可以与针对本公开的其他示例描述的特征、部件、步骤或其组合相结合。
23.本描述涉及使用与农业操作同时获得的现场数据,结合来自先前操作的先验数据,以生成可以显示或由自动控制系统使用的预测性图。先前的农业操作可以包括但不限于诸如播种、干化学品、湿化学品、干肥料、湿肥料、粪肥和灌溉的施用操作;诸如先前的收割、堆放和打包的移除操作;诸如耕作和排水瓦管(drain tile)安装的地面接合操作等。如上所述,不同机器的先前操作对收割机的操作都具有影响。在先前的农业操作期间收集的数据可以被地理定位到田地上的不同位置。
24.例如,诸如播种密度的应用与作物植株的密集区域相关。密集的作物植株的区域可能会对收割机的操作产生有害影响,因为子系统需要更多动力来处理大量材料。密集的作物植株的区域也可能与诸如较高产量、较高生物量等的其他农业特性相关。过于密集的作物的区域也可能与较低的产量相关。
25.或者例如,诸如肥料、除草剂、杀虫剂的施用也可能对田地的许多特性产生影响。这些操作可能会减少杂草、减少害虫、增加产量等。例如,杀菌剂的施用可能会影响作物植株湿度或谷物湿度。或者例如,除草剂的施用可能会减少收割机将遇到和处理的生物量。
26.或者例如,地面接合操作会影响土壤性质,这又会影响其他作物或其他农业特性。例如,耕作操作可能会影响动力使用。
27.或者例如,诸如抽汲的移除操作从田地移除材料和潜在的营养物,这随后会影响作物成分或降低产量。
28.因此,本讨论是针对下述示例进行的,在所述示例中,系统在收割操作期间接收在先验操作期间生成的一个或更多个图,并还使用现场传感器来检测指示农业特性的变量。该系统生成一模型,该模型对来自先验操作图的值与来自现场位传感器的现场数据之间的关系进行建模。该模型用于生成功能预测性农业图,该功能预测性农业图预测预期的农业特性。在收割操作期间生成的功能预测性农业特性图可以被呈现给操作员或其他用户或用于在收割操作期间自动控制农业收割机,或者两者。
29.图1是自走式农业收割机100的局部示意图。在示出的示例中,农业收割机100是联合收割机。另外,尽管在整个本公开中提供了联合收割机作为示例,但是应当理解的是,本
描述也适用于其他类型的收割机,诸如棉花收割机、甘蔗收割机、自走式牧草收割机、割晒机或其他农业作业机器。因此,本公开旨在涵括所描述的各种类型的收割机,并且因此不限于联合收割机。而且,本公开涉及其他类型的作业机器,诸如其中可应用预测性图的生成的农业播种机和喷雾机器、建筑装备、林业装备和草坪管理装备。因此,本公开旨在涵括这些各种类型的收割机和其他作业机器,并且因此不限于联合收割机。
30.如图1所示,农业收割机100示意性地包括操作员室101,该操作员室可以具有用于控制农业收割机100的各种不同的操作员界面机构。农业收割机100包括前端装备,诸如割台102以及总体以104指示的切割器。农业收割机100还包括喂料室106、喂料加速器108和通常以110指示的脱粒机。喂料室106和喂料加速器108形成材料处理子系统125的一部分。割台102沿着枢转轴线105枢转地耦接到农业收割机100的框架103上。一个或更多个致动器107驱动割台102围绕轴线105在通常由箭头109指示的方向上移动。因此,割台102在该割台102在其上方行进的地面111上方的竖直位置(割台高度)可通过致动致动器107来控制。尽管在图1中未示出,农业收割机100还可以包括一个或更多个致动器,该一个或更多个致动器操作以向割台102或割台102的多个部分施加倾斜角、侧倾角或两者。倾斜是指切割器104与作物接合的角度。例如,通过控制割台102使切割器104的远侧边缘113指向更加朝向地面来增加倾斜角。通过控制割台102使切割器104的远侧边缘113更背离地面指向来减小倾斜角。侧倾角指的是割台102围绕农业收割机100的前后纵向轴线的取向。
31.脱粒机110示意性地包括脱粒转子112和一组凹部114。另外,农业收割机100还包括分离器116。农业收割机100还包括清选子系统或清选装置(统称为清选子系统118),该清选子系统包括清选风扇120、谷壳筛(chaffer)122和筛网(sieve)124。材料处理子系统125还包括卸料拍打器(discharge beater)126、尾料升运器(tailings elevator)128、干净谷物升运器130以及卸载螺旋输送器134和喷口(spout)136。干净谷物升运器将干净的谷物移动到干净谷物槽132中。农业收割机100还包括残留物(residue)子系统138,该残留物子系统可以包括切碎机140和撒布机(spreader)142。农业收割机100还包括推进子系统,该推进子系统包括驱动地面接合部件144(例如轮子或履带)的引擎。在一些示例中,本公开的范围内的联合收割机可以具有多于一个的以上提及的任何子系统。在一些示例中,农业收割机100可以具有左清选子系统和右清选子系统、分离器等,这些在图1中未示出。
32.在操作中,并且作为概述,农业收割机100示意性地在由箭头147指示的方向上移动穿过田地。在农业收割机100移动时,割台102(和相关联的拨禾轮164)接合待收割的作物,并朝向切割器104搜集作物。农业收割机100的操作员可以是本地人类操作员、远程人类操作员或自动化系统。农业收割机100的操作员可以确定割台102的高度设置、倾斜角设置或侧倾角设置中的一个或更多个。例如,操作员向控制致动器107的控制系统输入一个或更多个设置(下面将更详细地描述)。控制系统还可以接收来自操作员的、用于确立割台102的倾斜角和侧倾角的设置,并且通过控制相关联的致动器(未示出)来实施输入的设置,该相关联的致动器操作用以改变割台102的倾斜角和侧倾角。致动器107基于高度设置将割台102保持处于地面111上方的高度,并且在适用的情况下保持处于期望的倾斜角和侧倾角。高度、侧倾和倾斜设置中的每一个都可以独立于其他设置来实施。控制系统以基于所选择的灵敏度水平确定的响应性来响应割台误差(例如,高度设置和割台104在地面111上方的测量高度之间的差异,以及在一些示例中倾斜角和侧倾角误差)。如果灵敏度水平被设置处
于较高的灵敏度水平,则控制系统响应较小的割台位置误差,并试图比灵敏度处于较低灵敏度水平的情况下更快地减少所检测的误差。
33.回到对农业收割机100的操作的描述,在作物被切割器104切割后,切断的作物材料通过喂料室106中的输送机朝向喂料加速器108移动,该喂料加速器加速作物材料进入脱粒机110。作物材料由转子112脱粒,该转子使作物抵靠凹部114旋转。脱粒后的作物材料由分离器116中的分离器转子移动,在该分离器中,残留物的一部分由卸料拍打器126朝向残留物子系统138移动。传送到残留物子系统138的该部分残留物由残留物切碎机140切碎,并由撒布机142撒布在田地上。在其他配置中,残留物从农业收割机100中释放成料堆。在其他示例中,残留物子系统138可以包括杂草种子排除器(未示出),诸如种子装袋机或其他种子收集器、或者种子破碎机或其他种子破坏器。
34.谷物落到清选子系统118。谷壳筛122从谷物中分离较大的材料片中的一些,并且筛网124从干净的谷物中分离较细的材料片中的一些。干净谷物落到螺旋输送器上,该螺旋输送器将谷物移动到干净谷物升运器130的入口端,并且干净谷物升运器130将干净谷物向上移动,从而将干净谷物存放在干净谷物槽132中。残留物通过由清选风扇120生成的气流从清选子系统118中移除。清选风扇120引导空气沿着气流路径向上穿过筛网和谷壳筛。气流将农业收割机100中的残留物向后朝向残留物处理子系统138运送。
35.尾料升运器128将尾料返回脱粒机110,在该脱粒机中尾料被重新脱粒。替代性地,尾料也可以通过尾料升运器或另一运输装置被传递到分离的再脱粒机构,在该再脱粒机构中尾料也被再脱粒。
36.图1还示出在一个示例中,农业收割机100包括地面速度传感器146、一个或更多个分离器损失传感器148、干净谷物相机150、可以呈立体相机或单目相机的形式的前视图像捕获机构151以及设置在清选子系统118中的一个或更多个损失传感器152。
37.地面速度传感器146感测农业收割机100在地面上的行进速度。地面速度传感器146可以通过感测地面接合部件(诸如轮子或履带)、驱动轴、车轴或其他部件的旋转速度来感测农业收割机100的行进速度。在一些情况下,可以使用定位系统来感测行进速度,诸如全球定位系统(global positioning system,gps)、航位推算系统、远程导航(long range navigation,loran)系统或提供行进速度的指示的各种其他系统或传感器。
38.损失传感器152示意性地提供指示在清选子系统118的右侧和左侧中出现的谷物损失量的输出信号。在一些示例中,传感器152是撞击传感器,这些撞击传感器对每单位时间或每单位行进的距离的谷物撞击进行计数,以提供在清选子系统118处发生的谷物损失的指示。用于清选子系统118的右侧和左侧的撞击传感器可以提供单独的信号或组合的或聚集的信号。在一些示例中,传感器152可以包括单个传感器,而不是为每个清选子系统118提供单独的传感器。
39.分离器损失传感器148提供指示左分离器和右分离器(在图1中未单独示出)中的谷物损失的信号。分离器损失传感器148可以与左分离器和右分离器相关联,并可提供分离的谷物损失信号或组合的或聚集的信号。在某些情况下,感测分离器中的谷物损失也可以使用各种不同类型的传感器进行。
40.农业收割机100还可以包括其他传感器和测量机构。例如,农业收割机100可以包括以下传感器中的一个或更多个:割台高度传感器,其感测割台102在地面111上方的高度;
稳定性传感器,其感测农业收割机100的振动或跳动(和振幅);残留物设置传感器,其被配置成感测农业收割机100是否被配置成切碎残留物、产生料堆等;清选装置风扇速度传感器,用于感测风扇120速度;凹部间隙传感器,其感测转子112和凹部114之间的间隙;脱粒转子速度传感器,其感测转子112的转子速度;谷壳筛间隙传感器,其感测谷壳筛122中的开口的尺寸;筛网间隙传感器,其感测筛网124中的开口的尺寸;除谷物以外的材料(material other than grain,mog)湿度传感器,其感测穿过农业收割机100的mog的湿度水平;一个或更多个机器设置传感器,其被配置为感测农业收割机100的各种可配置设置;机器取向传感器,其感测农业收割机100的取向;以及作物性质传感器,其感测各种不同类型的作物性质(诸如作物类型、作物湿度和其他作物性质)。作物性质传感器也可以被配置成在作物材料被农业收割机100处理时感测切断的作物材料的特性。例如,在一些情况下,作物性质传感器可以感测:谷物质量(诸如破碎谷物、mog水平);谷物成分(诸如淀粉和蛋白质);以及在谷物行进穿过喂料室106、干净谷物升运器130或农业收割机100中的其他地方时的谷物喂料速率。作物性质传感器还可以感测通过喂料室106、分离器116或农业收割机100中的其他地方的生物量的喂料速率。作物性质传感器也可以感测通过升运器130或通过农业收割机100的其他部分的喂料速率作为谷物质量流率,或者提供指示其他感测变量的其他输出信号。
41.用于检测或感测动力特性的传感器的示例包括但不限于电压传感器、电流传感器、扭矩传感器、液压传感器、液压流量传感器、力传感器、轴承负载传感器和旋转传感器。可以以不同的间隔尺寸的水平测量动力特性。例如,可以在机器级别、子系统级别或通过子系统的各个部件来感测动力使用。
42.在描述农业收割机100如何生成功能预测性图并使用该功能预测性图进行控制之前,将首先描述农业收割机100上的一些物项及其操作的简要描述。图2和图3的说明描述:接收一般类型的先验信息图,并将来自先验信息图的信息与由现场传感器生成的地理参考传感器信号相结合,其中传感器信号指示田地中的特性,诸如农业收割机的动力特性。该田地的特性可以包括但不限于田地的诸如坡度、杂草强度、杂草类型、土壤湿度、表面质量的特性;作物性质的特性(诸如作物高度、作物湿度、作物密度、作物状态);谷物性质的特性(诸如谷物湿度、谷物尺寸、谷物测试重量);以及机器性能的特性(诸如损失水平、作业质量、燃料消耗和功率利用)。从现场传感器信号获得的特性值和先验信息图值之间的关系被标识,并且该关系被用于生成新的功能预测性图。功能预测性图预测田地中的不同地理位置处的值,并且这些值中的一个或更多个可以用于控制机器,诸如农业收割机的一个或更多个子系统。在一些情况下,功能预测性图可以呈现给用户,诸如农业作业机器的操作员,该农业作业机器可以是农业收割机。功能预测性图可以以视觉的方式(诸如通过显示器)、以触觉的方式或以听觉的方式呈现给用户。用户可以与功能预测性图交互以执行编辑操作和其他用户界面操作。在一些情况下,功能预测性图可以用于控制农业作业机器(诸如农业收割机)、呈现给操作员或其他用户、以及呈现给操作员或用户以供操作员或用户交互中的一个或更多个。
43.在参照图2和图3描述了一般方法之后,参照图4和图5描述用于生成功能预测性特性图的更具体的方法,该功能预测杂草图可以呈现给操作员或用户、或者用于控制农业收割机100或者这两者。再次,尽管本讨论是针对农业收割机,并且特别是联合收割机进行的,但是本公开的范围涵括其他类型的农业收割机或其他农业作业机器。
44.图2是示出示例农业收割机100的一些部分的框图。图2示出了农业收割机100示意性地包括一个或更多个处理器或服务器201、数据存储装置202、地理位置传感器204、通信系统206以及一个或更多个现场传感器208,该一个或更多个现场传感器在收割操作的同时感测田地的一个或更多个农业特性。农业特性可以包括能够具有对收割操作的影响的任何特性。农业特性的一些示例包括收割机器、田地、田地上的植株和天气的特性。其他类型的农业特性也包括在内。农业特性可以包括能够具有对收割操作的影响的任何特性。农业特性的一些示例包括收割机、田地、田地上的植株和天气的特性。现场传感器208生成对应于所感测的特性的值。农业收割机100还包括预测性模型或关系生成器(以下统称为“预测性模型生成器210”)、预测性图生成器212、控制区域生成器213、控制系统214、一个或更多个可控子系统216以及操作员界面机构218。农业收割机100还可以包括多种其他农业收割机功能220。现场传感器208包括例如机载传感器222、远程传感器224和在农业操作的过程期间感测田地的特性的其他传感器226。预测性模型生成器210示意性地包括先验信息变量到现场变量模型生成器228,并且预测性模型生成器210可以包括其他项230。控制系统214包括通信系统控制器229、操作员界面控制器231、设置控制器232、路径规划控制器234、喂料速率控制器236、割台和拨禾轮控制器238、带式输送器带控制器240、台面板位置控制器242、残留物系统控制器244、机器清选控制器245、区域控制器247,并且系统214可以包括其他项246。可控子系统216包括机器和割台致动器248、推进子系统250、转向子系统252、残留物子系统138、机器清选子系统254,并且子系统216可以包括多种其他子系统256。
45.图2还示出农业收割机100可以接收先验信息图258。如下所述,先验信息图258包括例如植被指数图或来自先验操作的植被图。然而,先验信息图258也可以涵括在收割操作之前获得的其他类型的数据或者来自先验操作的图。图2还示出了操作员260可以操作农业收割机100。操作员260与操作员界面机构218交互。在一些示例中,操作员界面机构218可以包括操纵杆、控制杆、方向盘、连杆、踏板、按钮、转盘、小键盘、在用户界面显示设备上的用户可致动元件(诸如图标、按钮等)、麦克风和扬声器(其中提供语音识别和语音合成)以及各种其他类型的控制设备。在提供触敏显示系统的情况下,操作员260可以使用触摸手势与操作员界面机构218交互。上述这些示例是作为示意性示例提供的,并不旨在限制本公开的范围。因此,可以使用其他类型的操作员界面机构218,并且其他类型的操作员界面机构在本公开的范围内。
46.可以使用通信系统206或以其他方式将先验信息图258下载到农业收割机100上并将其存储在数据存储装置202中。在一些示例中,通信系统206可以是蜂窝通信系统、用于通过广域网或局域网进行通信的系统、用于通过近场通信网络进行通信的系统、或者被配置为通过各种其他网络中的任何一种或网络组合进行通信的通信系统。通信系统206还可以包括有助于将信息下载或传送到安全数字(secure digital,sd)卡或通用串行总线(universal serial bus,usb)卡或两者,并且从其下载或传送信息的系统。
47.地理位置传感器204示意性地感测或检测农业收割机100的地理位置或方位。地理位置传感器204可以包括但不限于从全球导航卫星系统(global navigation satellite system,gnss)卫星发射器接收信号的gnss接收器。地理位置传感器204还可以包括实时动态(real-time kinematic,rtk)部件,该部件被配置为提高从gnss信号导出的位置数据的精度。地理位置传感器204可以包括航位推算系统、蜂窝三角测量系统或各种其他地理位置
传感器中的任何一种。
48.现场传感器208可以是上面参照图1描述的传感器中的任何一个。现场传感器208包括安装在机载农业收割机100上的机载传感器222。这种传感器可以包括例如感知传感器(例如,前视单目或立体相机系统和图像处理系统)、农业收割机100内部的图像传感器(诸如安装成识别通过残留物子系统或从清选子系统离开农业收割机100的杂草种子的一个或更多个清洁谷物相机)。现场传感器208还包括捕获现场信息的远程现场传感器224。现场数据包括从装在收割机上的传感器获取的数据,或者由其中在收割操作期间检测到数据的任何传感器获取的数据。
49.预测性模型生成器210生成指示由现场传感器208感测的值和由先验信息图258映射到田地的度量之间的关系的模型。例如,如果先验信息图258将历史产量值映射到田地中的不同位置,并且现场传感器208感测指示割台动力使用的值,则先验信息变量到现场变量模型生成器228生成对历史产量值和割台动力使用值之间的关系进行建模的预测性模型。预测性模型也可以基于来自先验信息图258的历史产量值和由现场传感器208生成的多个现场数据值来生成。然后,预测性图生成器212基于先验信息图258使用由预测性模型生成器210生成的预测性模型来生成功能预测性动力图,该功能预测性动力图预测由现场传感器208在田地中的不同位置处感测到的诸如子系统的动力使用的动力特性的值。
50.在一些示例中,功能预测性图263中的值的类型可以与由现场传感器208感测的现场数据类型相同。在一些情况下,功能预测性图263中的值的类型可以具有与由现场传感器208感测的数据不同的单位。在一些示例中,功能预测性图263中的值的类型可以与由现场传感器208感测的数据类型不同,但是与由现场传感器208感测的数据类型有关系。例如,在一些示例中,由现场传感器208感测的数据类型可以指示功能预测性图263中的值的类型。在一些示例中,功能预测性图263中的数据的类型可以不同于先验信息图258中的数据类型。在一些情况下,功能预测性图263中的数据的类型可以具有与先验信息图258中的数据不同的单位。在一些示例中,功能预测性图263中的数据的类型可以不同于先验信息图258中的数据类型,但是与先验信息图258中的数据类型有关系。例如,在一些示例中,先验信息图258中的数据类型可以指示功能预测性图263中的数据的类型。在一些示例中,功能预测性图263中的数据的类型不同于由现场传感器208感测的现场数据类型和先验信息图258中的数据类型中的一个或两者。在一些示例中,功能预测性图263中的数据的类型与由现场传感器208感测的现场数据类型和先验信息图258中的数据类型中的一个或两者相同。在一些示例中,功能预测性图263中的数据的类型与由现场传感器208感测的现场数据类型或先验信息图258中的数据类型中的一个相同,而不同于另一种。
51.继续前面的示例,其中先验信息图258是历史产量图,并且现场传感器208感测指示割台动力使用的值,预测性图生成器212可以使用先验信息图258中的历史产量值和由预测性模型生成器210生成的模型,来生成预测田地中的不同位置处的割台动力使用的功能预测性图263。预测性图生成器212因此输出预测性图264。
52.如图2所示,预测性图264基于先验信息图258中的在田地上的各个位置处的先验信息值和预测性模型,来预测这些位置处的所感测的特性(由现场传感器208感测)的值或者与所感测的特性相关的特性。例如,如果预测性模型生成器210已经生成了指示历史产量值和割台动力使用之间的关系的预测性模型,那么,在给定田地上的不同位置处的历史产
量值的情况下,预测性图生成器212生成预测田地上的不同位置处的割台动力使用的值的预测性图264。从历史产量图获得的、这些位置处的历史值以及从预测性模型获得的历史产量值和割台动力使用之间的关系被用于生成预测性图264。
53.现在将描述在先验信息图258中映射的数据类型、由现场传感器208感测的数据类型以及在预测性图264上预测的数据类型方面的一些变化。
54.在一些示例中,先验信息图258中的数据类型不同于由现场传感器208感测的数据类型,但是预测性图264中的数据类型与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是产量。预测性图264然后可以是预测性产量图,该预测性产量图将预测的产量值映射到田地中的不同地理位置。在另一示例中,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是作物高度。预测性图264则可以是将预测的作物高度值映射到田地中的不同地理位置的预测性作物高度图。
55.此外,在一些示例中,先验信息图258中的数据类型不同于由现场传感器208感测的数据类型,并且预测性图264中的数据类型不同于先验信息图258中的数据类型和由现场传感器208感测的数据类型两者。例如,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是作物高度。预测性图264然后可以是预测性生物量图,该预测性生物量图将预测的生物量值映射到田地中的不同地理位置。在另一示例中,先验信息图258可以是植被指数图,并且由现场传感器208感测的变量可以是产量。预测性图264则可以是将预测的收割机速度值映射到田地中的不同地理位置的预测性速度图。
56.在一些示例中,先验信息图258来自在先验操作期间先前通过田地,并且数据类型不同于由现场传感器208感测的数据类型,但是预测性图264中的数据类型与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是在种植期间生成的种子种群图,并且由现场传感器208感测的变量可以是茎秆尺寸。预测性图264然后可以是预测性茎秆尺寸图,该预测性茎秆尺寸图将预测的茎秆尺寸值映射到田地中的不同地理位置。在另一个示例中,先验信息图258可以是播种混合图,并且由现场传感器208感测的变量可以是诸如直立作物或倒伏作物的作物状态。预测性图264则可以是将预测的作物状态值映射到田地中的不同地理位置的预测性作物状态图。
57.在一些示例中,先验信息图258来自在先验操作期间先前通过田地,并且数据类型与由现场传感器208感测的数据类型相同,并且预测性图264中的数据类型也与由现场传感器208感测的数据类型相同。例如,先验信息图258可以是在前一年期间生成的产量图,并且由现场传感器208感测的变量可以是产量。预测性图264然后可以是预测性产量图,该预测性产量图将预测的产量值映射到田地中的不同地理位置。在这样的示例中,可以由预测性模型生成器210使用来自先前一年的地理参考先验信息图258中的相对产量差异来生成对先验信息图258上的相对产量差异和当前收割操作期间由现场传感器208感测的产量值之间的关系进行建模的预测性模型。预测性模型然后被预测性图生成器210用来生成预测性产量图。
58.在另一示例中,先验信息图258可以是在先验操作期间生成的脱粒/分离子系统动力使用图,并且由现场传感器208感测的变量可以是脱粒/分离子系统动力使用。预测性图264然后可以是预测性脱粒/分离子系统动力使用图,该预测性脱粒/分离子系统动力使用
图将预测的脱粒/分离子系统动力使用值映射到田地中的不同地理位置。
59.在一些示例中,预测性图264可以被提供给控制区域生成器213。控制区域生成器213基于预测性图264的与一个区域的多个相邻部分相关联的数据值,将所述多个相邻部分分组为一个或更多个控制区域。控制区域可以包括区域(诸如田地)的两个或更多连续部分,对于该区域,与用于控制可控子系统的控制区域对应的控制参数是恒定的。例如,更改可控子系统216的设置的响应时间可能不足以令人满意地响应于包含在诸如预测性图264的图中的值方面的变化。在这种情况下,控制区域生成器213解析图并标识具有限定的尺寸的控制区域,以适应可控子系统216的响应时间。在另一示例中,控制区域的尺寸可以被确定为减小由连续调节导致的过度致动器运动造成的磨损。在一些示例中,对于每个可控子系统216或可控子系统216群组,可以有不同的控制区域组。控制区域可以被添加到预测性图264以获得预测性控制区域图265。预测性控制区域图265因此可以类似于预测性图264,除了预测性控制区域图265包括限定控制区域的控制区域信息。因此,如本文所述,功能预测性图263可以包括或不包括控制区域。预测性图264和预测性控制区域图265两者是功能预测性图263。在一个示例中,功能预测性图263不包括控制区域,诸如预测性图264。在另一示例中,功能预测性图263确实包括控制区域,诸如预测性控制区域图265。在一些示例中,如果实施间作生产系统,则田地中可能同时存在多种作物。在这种情况下,预测性图生成器212和控制区域生成器213能够标识两种或多种作物的位置和特性,并且然后相应地生成预测性图264和预测性控制区域图265。
60.还应当理解的是,控制区域生成器213可以对值进行聚类以生成控制区域,并且控制区域可以被添加到预测性控制区域图265或单独的图中,从而仅示出所生成的控制区域。在一些示例中,控制区域可以用于控制或校准农业收割机100或两者。在其他示例中,控制区域可以呈现给操作员260并用于控制或校准农业收割机100,并且在其他示例中,控制区域可以呈现给操作员260或另一用户或被存储以供以后使用。
61.预测性图264或预测性控制区域图265或两者被提供给控制系统214,该控制系统基于预测性图264或预测性控制区域图265或两者生成控制信号。在一些示例中,通信系统控制器229控制通信系统206将预测性图264或预测性控制区域图265或基于预测性图264或预测性控制区域图265的控制信号通信传送给正在相同田地中收割的其他农业收割机。在一些示例中,通信系统控制器229控制通信系统206向其他远程系统发送预测性图264、预测性控制区域图265或两者。
62.操作员界面控制器231可操作成生成控制信号来控制操作员界面机构218。操作员界面控制器231还可操作成向操作员260呈现预测性图264或预测性控制区域图265或从预测性图264、预测性控制区域图265或两者导出的或基于预测性图264、预测性控制区域图265的其他信息。操作员260可以是本地操作员或远程操作员。作为示例,控制器231生成控制信号以控制显示机构为操作员260显示预测性图264和预测性控制区域图265中的一个或两个。控制器231可以生成操作员可致动机构,该操作员可致动机构被示出并且可以由操作员致动以与所显示的图交互。操作员可以通过例如基于操作员的观察而校正在图上显示的特性来编辑图。设置控制器232可以基于预测性图264、预测性控制区域图265或两者生成控制信号以控制农业收割机100上的各种设置。例如,设置控制器232可以生成控制信号来控制机器和割台致动器248。响应于所生成的控制信号,机器和割台致动器248操作以控制例
如筛网和谷壳筛设置、凹部间隙、转子设置、清选风扇速度设置、割台高度、割台功能、拨禾轮速度、拨禾轮位置、带式输送器功能(其中农业收割机100耦接到带式输送器割台)、玉米割台功能、内部分配控制和影响农业收割机100的其他功能的其他致动器248中的一个或更多个。路径规划控制器234示意性地生成控制信号以控制转向子系统252根据期望的路径使农业收割机100转向。路径规划控制器234可以控制路径规划系统来为农业收割机100生成路线,并且可以控制推进子系统250和转向子系统252来使农业收割机100沿着该路线转向。喂料速率控制器236可以控制各种子系统(诸如推进子系统250和机器致动器248),以基于预测性图264或预测性控制区域图265或两者来控制喂料速率。例如,在农业收割机100接近预测的产量值高于所选择的阈值的区域时,喂料速率控制器236可以降低农业收割机100的速度,以保持谷物喂料速率。割台和拨禾轮控制器238可以生成控制信号来控制割台或拨禾轮或其他割台功能。带式输送器带控制器240可以基于预测性图264、预测性控制区域图265或两者生成控制信号以控制带式输送器带或其他带式输送器功能。台面板位置控制器242可以基于预测性图264或预测性控制区域图265或两者生成控制信号以控制包括在割台上的台面板的位置,并且残留物系统控制器244可以基于预测性图264或预测性控制区域图265或两者生成控制信号以控制残留物子系统138。机器清选控制器245可以生成控制信号来控制机器清选子系统254。农业收割机100上包括的其他控制器也可以基于预测性图264或预测性控制区域图265或两者来控制其他子系统。
63.图3a和图3b(本文统称为图3)示出了流程图,其图示农业收割机100在基于先验信息图258生成预测性图264和预测性控制区域图265时的操作的一个示例。
64.在280处,农业收割机100接收先验信息图258。关于框281、282、284和286讨论了先验信息图258或接收先验信息图258的示例。如上所讨论那样,如框282所示,先验信息图258将对应于第一特性的变量的值映射到田地中的不同位置。如框281所示,接收先验信息图258可以包括选择可用的多个可能的先验信息图中的一个或更多个。例如,一个先验信息图可以是从航空图像生成的植被指数图。另一先验信息图可以是在先前通过田地期间生成的图,其可以由在田地中执行前一操作的不同机器(诸如喷雾器或其他机器)执行。选择一个或更多个先验信息图的过程可以是手动的、半自动的或自动的。先验信息图258基于在当前收割操作之前收集的数据。这由框284指示。例如,数据可以基于前一年期间或当前生长季节早期或其他时间获取的航空图像来收集。如框285所示,先验信息图可以是基于先验信息图和与现场传感器的关系来预测特性的预测性图。生成预测性图的过程在图5中被呈现。也可以利用其他传感器和其他先验图来执行此过程,以生成例如预测性产量图或预测性生物量图。这些预测性图可以用作其他预测过程中的先验图,如框285所示。数据可以是基于以不同于使用航空图像的方式检测的数据。例如,先验信息图258的数据可以使用通信系统206传输到农业收割机100,并存储在数据存储装置202中。先验信息图258的数据也可以使用通信系统206以其他方式提供给农业收割机100,并且这由图3的流程图中的框286表示。在一些示例中,先验信息图258可以由通信系统206接收。
65.在收割操作开始时,现场传感器208生成指示一个或更多个现场数据值的传感器信号,该一个或更多个现场数据值指示农业特性,如框288所示。关于框222、290和226讨论了现场传感器288的示例。如上所解释那样,现场传感器208包括机载传感器222、远程现场传感器224(诸如每次飞行以搜集现场数据的基于uav的传感器(如框290中示出))、或者由
现场传感器226指定的其他类型的现场传感器。在一些示例中,使用来自地理位置传感器204的位置、航向或速度数据对来自机载传感器的数据进行地理参考。
66.预测性模型生成器210控制先验信息变量到现场变量模型生成器228来生成对包含在先验信息图258中的映射值和由现场传感器208感测的现场值之间的关系进行建模的模型,如框292所示。由先验信息图258中的映射值和由现场传感器208感测的现场值表示的特性或数据类型可以是相同的特性或数据类型或者不同的特性或数据类型。
67.由预测性模型生成器210生成的关系或模型被提供给预测性图生成器212。预测性图生成器212使用预测性模型和先验信息图258来生成预测性图264,其预测由现场传感器208感测的在正在被收割的田地中的不同地理位置处的特性、或者与由现场传感器208感测的特性相关的不同特性的值,如框294所示。
68.应当注意的是,在一些示例中,先验信息图258可以包括两个或更多个不同的图或者单个图的两个或更多个不同的图层。每个图层可以表示与另一图层的数据类型不同的数据类型,或者图层可以具有在不同时间获得的相同数据类型。两个或更多个不同图中的每个图或图的两个或更多个不同图层中的每个层将不同类型的变量映射到田地中的地理位置。在这样的示例中,预测性模型生成器210生成对现场数据和由两个或更多个不同图或两个或更多个不同图层映射的不同变量中的每一个之间的关系进行建模的预测性模型。类似地,现场传感器208可以包括两个或更多个传感器,每个传感器感测不同类型的变量。因此,预测性模型生成器210生成对由先验信息图258映射的每种类型的变量和由现场传感器208感测的每种类型的变量之间的关系进行建模的预测性模型。预测性图生成器212可以使用预测性模型和先验信息图258中的图或图层中的每一个来生成功能预测性图263,该功能预测性图预测由现场传感器208感测到的在正在被收割的田地中的不同位置处的每个感测的特性(或与感测的特性相关的特性)的值。
69.预测性图生成器212配置预测性图264,使得预测性图264可由控制系统214操作(或消耗)。预测性图生成器212可以将预测性图264提供给控制系统214或提供给控制区域生成器213或提供给两者。关于框296、295、299和297描述了可以配置或输出预测性图264的不同方式的一些示例。例如,预测性图生成器212配置预测性图264,使得预测性图264包括可以由控制系统214读取并且用作用于生成农业收割机100的不同可控子系统中的一个或更多个的控制信号的基础的值,如框296所示。
70.控制区域生成器213可以基于预测性图264上的值将预测性图264划分成控制区域。在彼此的阈值内的连续地理定位的值可以被分组到控制区域中。阈值可以是默认阈值,或者阈值可以基于操作员输入、基于来自自动化系统的输入或基于其他标准来设置。区域的尺寸可以基于控制系统214、可控子系统216的响应性、基于磨损考虑、或者基于其他标准,如框295所示。预测性图生成器212配置预测性图264以便呈现给操作员或其他用户。控制区域生成器213可以配置预测性控制区域图265以便呈现给操作员或其他用户。这由框299指示。当呈现给操作员或其他用户时,预测性图264或预测性控制区域图265或两者的呈现可以包含预测性图264上与地理位置相关的预测值、预测性控制区域图265上与地理位置相关的控制区域、以及基于图264上的预测值或预测性控制区域图265上的区域而使用的设置值或控制参数中的一个或更多个。在另一示例中,所述呈现可以包括更抽象的信息或更详细的信息。该呈现还可以包括置信水平,该置信水平指示预测性图264上的预测值或预测
性控制区域图265上的区域符合在农业收割机100移动穿过田地时可以由农业收割机100上的传感器测量的测量值的精度。另外,在信息被呈现给多于一个的位置的情况下,可以提供认证和授权系统来实施认证和授权过程。例如,可能存在被授权查看和改变图和其他呈现信息的个人的层级。作为示例,机载显示设备可以在机器上近实时地在本地显示图,或者图也可以在一个或更多个远程位置处生成,或者两者均可。在一些示例中,每个位置处的每个物理显示设备可以与人或用户许可级别相关联。用户许可级别可以用于确定哪些显示标记在物理显示设备上是可见的,以及相对应的人可以改变哪些值。例如,收割机100的本地操作员可能无法看到与预测性图264相对应的信息或对机器操作进行任何改变。然而,诸如远程位置处的监管者的监管者可能能够在显示器上看到预测性图264,但是被阻止进行任何改变。可能在分离的远程位置处的管理者可能能够看到预测性图264上的所有元素,并且还能够改变预测性图264。在一些情况下,可由位于远程的管理人员访问和改变的预测性图264可以用于机器控制。这是可以实施的授权层级的一个示例。预测性图264或预测性控制区域图265或两者也可以以其他方式配置,如框297所示。
71.在框298处,由控制系统接收来自地理位置传感器204和其他现场传感器208的输入。特别地,在框300处,控制系统214检测来自地理位置传感器204的标识农业收割机100的地理位置的输入。框302表示由控制系统214接收到指示农业收割机100的轨迹或航向的传感器输入,并且框304表示由控制系统214接收到农业收割机100的速度。框306表示由控制系统214从各种现场传感器208接收其他信息。
72.在框308处,控制系统214基于预测性图264或预测性控制区域图265或两者以及来自地理位置传感器204和任何其他现场传感器208的输入来生成控制信号以控制可控子系统216。在框310处,控制系统214将控制信号应用于可控子系统。应当理解的是,被生成的特定控制信号和被控制的特定可控子系统216可以基于一个或更多个不同的因素变化。例如,被生成的控制信号和被控制的可控子系统216可以基于正在使用的预测性图264或预测性控制区域图265或两者的类型。类似地,被生成的控制信号、被控制的可控子系统216以及控制信号的定时可以基于通过农业收割机100的作物流的各种延迟和可控子系统216的响应性。
73.在框312处,确定收割操作是否已经完成。如果收割没有完成,则处理前进到框314,在框314中,继续读取来自地理位置传感器204和现场传感器208(以及可能地其他传感器)的现场传感器数据。
74.在一些示例中,在框316处,农业收割机100还可以检测学习触发标准,以对预测性图264、预测性控制区域图265、由预测性模型生成器210生成的模型、由控制区域生成器213生成的区域、由控制系统214中的控制器实施的一个或更多个控制算法以及其他触发学习中的一个或更多个执行机器学习。
75.学习触发标准可以包括多种不同标准中的任何一种。关于框318、320、321、322和324讨论检测触发标准的一些示例。例如,在一些示例中,触发学习可以包括当从现场传感器208获得阈值量的现场传感器数据时,重新创建用于生成预测性模型的关系。在这样的示例中,从现场传感器208接收到的超过阈值的现场传感器数据量触发或促使预测性模型生成器210生成由预测性图生成器212使用的新的预测性模型。因此,在农业收割机100继续收割操作时,从现场传感器208接收到阈值量的现场传感器数据触发创建由预测性模型生成
器210生成的预测性模型表示的新关系。进一步,可以使用新的预测性模型来重新生成新的预测性图264、预测性控制区域图265或两者。框318表示检测用于触发新预测性模型的创建的阈值量的现场传感器数据。
76.在其他示例中,学习触发标准可以基于来自现场传感器208的现场传感器数据的变化程度,诸如随着时间或与先前值相比的变化程度。例如,如果现场传感器数据内的变化(或者现场传感器数据和先验信息图258中的信息之间的关系)在所选择的范围内、或者小于所定义的量、或者在阈值之下,则新的预测性模型不由预测性模型生成器210生成。结果,预测性图生成器212不生成新的预测性图264、预测性控制区域图265或两者。然而,例如,如果现场传感器数据内的变化在所选择的范围之外、大于所定义的量、或者在阈值之上,则预测性模型生成器210使用预测性图生成器212用以生成新的预测性图264的新接收的现场传感器数据中的全部或部分来生成新的预测性模型。在框320处,现场传感器数据方面的变化(诸如数据超出所选择的范围的量的大小或现场传感器数据和先验信息图258中的信息之间的关系的变化的大小)可以被用作导致生成新的预测性模型和预测性图的触发。继续以上描述的示例,阈值、范围和所定义的量可以被设置为默认值、由操作员或用户通过用户界面的交互来设置、由自动化系统设置、或者以其他方式设置。
77.也可以使用其他学习触发标准。例如,如果预测性模型生成器210切换到不同的先验信息图(不同于最初选择的先验信息图258),则切换到不同的先验信息图可以触发预测性模型生成器210、预测性图生成器212、控制区域生成器213、控制系统214或其他项进行的重新学习。在另一示例中,农业收割机100到不同地形或到不同控制区域的转换也可以用作学习触发标准。
78.在一些情况下,操作员260还可以编辑预测性图264或预测性控制区域图265或两者。编辑可以改变预测性图264上的值、改变预测性控制区域图265上的控制区域的尺寸、形状、位置或存在、或者改变两者。框321示出所编辑的信息可以用作学习触发标准。
79.在某些情况下,操作员260也可能观察到可控子系统的自动控制不是操作员期望的。在这种情况下,操作员260可以向可控子系统提供手动调节,这反映了操作员260期望可控子系统以不同于由控制系统214命令的方式操作。因此,由操作员260对设置的手动更改可能导致以下中的一个或更多个:基于操作员260的调整(如框322所示),预测性模型生成器210重新学习模型、预测性图生成器212重新生成图264、控制区域生成器213重新生成预测性控制区域图265上的一个或更多个控制区域、以及控制系统214重新学习控制算法或对控制系统214中的控制器部件232至246中的一个或更多个执行机器学习。框324表示使用其他触发学习标准。
80.在其他示例中,重新学习可以周期性地或间歇地执行,例如基于所选择的时间间隔,诸如离散时间间隔或可变时间间隔,如框326所示。
81.如果重新学习被触发(无论是基于学习触发标准还是基于时间间隔的流逝,如框326所示),则预测性模型生成器210、预测性图生成器212、控制区域生成器213和控制系统214中的一个或更多个执行机器学习,以基于学习触发标准分别生成新的预测性模型、新的预测性图、新的控制区域和新的控制算法。新的预测性模型、新的预测性图和新的控制算法是使用自上次执行学习操作以来收集的任何附加数据生成的。执行重新学习由框328指示。
82.如果收割操作已经完成,操作从框312移动到框330,在框330中,存储预测性图
264、预测性控制区域图265和由预测性模型生成器210生成的预测性模型中的一个或更多个。预测性图264、预测性控制区域图265和预测性模型可以本地存储在数据存储装置202上,或者使用通信系统206发送到远程系统供以后使用。
83.将注意到的是,虽然本文中的一些示例描述了预测性模型生成器210和预测性图生成器212分别在生成预测性模型和功能预测性图时接收先验信息图,但是在其他示例中,预测性模型生成器210和预测性图生成器212可以分别在生成预测性模型和功能预测性图时接收其他类型的图,包括预测性图,诸如在收割操作期间生成的功能预测性图。
84.图4是图1中示出的农业收割机100的一部分的框图。特别地,图4尤其更详细地示出了预测性模型生成器210和预测性图生成器212的示例。图4还图示了所示出的不同部件之间的信息流。预测性模型生成器210接收一个或更多个先验操作图332作为信息图。先验操作图332包括来自田地上的先前的农业操作的地理参考值。一些示例或先前操作可以包括但不限于诸如播种、干化学品、湿化学品、干肥料、湿肥料、粪肥、灌溉等的施用;诸如先前收割、堆放和打包的移除;地面耕作、排水瓦管应用等。在施用的情况下,图可以包括所施用的材料类型、施用的材料的量和施用材料的区域。
85.预测性图生成器210还从地理位置传感器204接收地理位置334或地理位置的指示。现场传感器208说明性地包括农业传感器336以及处理系统338。传感器336感测一种或多种农业特性。在一些情况下,农业传感器336可以位于农业收割机100上。处理系统338处理从农业传感器336生成的传感器数据以生成处理后的数据,下面描述所述处理后的数据的一些示例。
86.图4b是示出实时(现场)传感器208的一些示例的框图。图4b中示出的传感器中的一些或它们的不同组合可以同时具有传感器236和处理系统338。图4b中示出的可能的现场传感器208中的一些相对于前面的图被示出和描述,并且被类似地编号。图4b示出了现场传感器208可以包括操作员输入传感器980、机器传感器982、收割材料性质传感器984、田地和土壤性质传感器985、环境特性传感器987,并且它们可以包括各种各样的其他传感器226。操作员输入传感器980可以是通过操作员界面机构218感测操作员输入的传感器。因此,操作员输入传感器980可以感测连杆、操纵杆、方向盘、按钮、转盘或踏板的用户移动。操作员输入传感器980还可以感测用户与其他操作员输入机构的交互,诸如与触敏屏幕、与利用语音识别的麦克风或各种其他操作员输入机构中的任何一种的交互。
87.机器传感器982可以感测农业收割机100的不同特性。例如,如上所讨论那样,机器传感器982可以包括机器速度传感器146、分离器损失传感器148、干净谷物相机150、前视图像捕获机构151、损失传感器152或地理位置传感器204,其示例在上文中描述。机器传感器982还可以包括感测机器设置的机器设置传感器991。以上参照图1描述了机器设置的一些示例。前端设备(例如,割台)位置传感器993可以感测割台102、拨禾轮164、切割器104或其他前端装备相对于农业收割机100的框架的位置。例如,传感器993可以感测割台102在地面上方的高度。机器传感器982还可以包括前端装备(例如,割台)取向传感器995。传感器995可以感测割台102相对于农业收割机100或相对于地面的取向。机器传感器982可以包括稳定性传感器997。稳定性传感器997感测农业收割机100的振动或弹跳运动(和幅值)。机器传感器982还可以包括被配置成感测农业收割机100是否被配置成切碎残留物、产生料堆或以另一方式处理残留物的残留物设置传感器999。机器传感器982可以包括感测清选风扇120
的速度的清选装置风扇速度传感器951。机器传感器982可以包括感测农业收割机100上的转子112和凹部114之间的间隙的凹部间隙传感器953。机器传感器982可以包括感测谷壳筛122中的开口的尺寸的谷壳筛间隙传感器955。机器传感器982可以包括感测转子112的转子速度的脱粒转子速度传感器957。机器传感器982可以包括感测用于驱动转子112的压力的转子压力传感器959。机器传感器982可以包括感测筛网124中开口的尺寸的筛网间隙传感器961。机器传感器982可以包括感测穿过农业收割机100的mog的湿度水平的mog湿度传感器963。机器传感器982可以包括感测农业收割机100的取向的机器取向传感器965。机器传感器982可以包括感测材料行进通过喂料室106、干净谷物升运器130或农业收割机100中的其他地方时的材料的喂料速率的材料喂料速率传感器967。机器传感器982可以包括感测行进通过喂料室106、分离器116或农业收割机100中的其他地方的生物量的生物量传感器969。机器传感器982可以包括感测农业收割机100的随时间的燃料消耗速率的燃料消耗传感器971。机器传感器982可以包括感测农业收割机100中的动力利用(诸如哪些子系统正在利用动力)、或者子系统正在利用动力的速率、或者农业收割机100中的子系统之间的动力分配的动力使用传感器973。机器传感器982可以包括感测农业收割机100的轮胎144中的充气压力的轮胎压力传感器977。机器传感器982可以包括各种各样的其他机器性能传感器或机器特性传感器(如框975所示)。机器性能传感器和机器特性传感器975可以感测农业收割机100的机器性能或特性。
88.在作物材料正在被农业收割机100处理时,收割后材料性质传感器984可以感测切断的作物材料的特性。作物性质可能包括诸如作物类型、作物湿度、谷物质量(如碎谷物)、mog水平、谷物成分(诸如淀粉和蛋白质)、mog湿度和其他作物材料性质的东西。其他传感器可以感测秸秆“韧性”、玉米与穗的粘附性以及可以有益地用于控制处理以获得更好的谷物捕获、减少的谷物损坏、降低的功耗、减少的谷物损失等的其他特性。
89.田地和土壤性质传感器985可以感测田地和土壤的特性。田地和土壤性质可能包括土壤湿度、土壤密实度、积水的存在和位置、土壤类型以及其他土壤和田地特性。
90.环境特性传感器987可以感测一个或更多个环境特性。环境特性可以包括诸如风向和风速、降水、雾、灰尘水平或其他模糊物或其他环境特性的东西。
91.本讨论关于一个以下所述的示例继续进行,在该示例中,农业传感器336是以上在图4b中列出的传感器中的一个或更多个。应当理解,这些只是示例,并且农业传感器336的其他示例也在本文中被考虑。如图4a所示,示例性预测性模型生成器210包括先验操作到感测到的特性模型生成器342。在其他示例中,预测性模型生成器210可以包括与图4a的示例中所示的部件相比额外的、更少的或不同的部件。因此,在一些示例中,预测性模型生成器210也可以包括其他项目348,所述其他项目可以包括其他类型的预测性模型生成器以生成其他类型的模型。
92.先验操作到感测到的特性模型生成器342标识在与农业传感器336感测农业特性的位置对应的地理位置处的所述特性与来自先验操作图332的与田地中所述农业特性所对应的同一位置对应的先验操作值之间的关系。基于由模型生成器342建立的这种关系,模型生成器342生成预测性模型350。预测性图生成器212使用预测性模型350,以基于包含在先验操作图332中的在田地中的不同位置处的被地理参考的先验操作值来预测田地中的同一位置处的农业特性。
93.鉴于以上,预测性模型生成器210可操作成生成多个预测性模型,例如由模型生成器342和348生成的预测性模型中的一个或更多个。在另一示例中,上述预测性模型中的两个或更多个可以组合成单个预测性模型,该单个预测性模型基于在一个或更多个先验操作图332中表示的田地中的不同位置处的不同值来预测一个或更多个农业特性。这些预测性模型中的任一个或其组合由图4a中的模型350共同表示。
94.预测性模型350被提供给预测性图生成器212。在图4的示例中,预测性图生成器212包括特性图生成器356。在其他示例中,预测性图生成器212可以包括额外的、更少的或不同的图生成器。因此,在一些示例中,预测性图生成器212可以包括其他项目358,所述其他项目可以包括其他类型的图生成器以生成其他类型的农业特性的预测性图。
95.特性图生成器356接收预测性模型350,该预测性模型基于先验操作图332中的一个或更多个中的值来预测农业特性。例如,特性图生成器356基于预测性模型350生成被估产量的图,所述被估产量的图限定过去一年收割操作的历史产量与本年度的产量之间的关系。
96.预测性图生成器212输出预测一个或更多个农业特性的一个或更多个预测性图360。预测性图360中的每一个都预测田地中的不同位置处的相应的农业特性。所生成的预测性图360中的每一个都可以被提供给控制区域生成器213、控制系统214或两者。控制区域生成器213可以生成控制区域,并将这些控制区域合并到功能预测性图360中。可以向控制系统214提供一个或更多个功能预测性图,所述控制系统214基于一个或更多个功能预测性图生成控制信号以控制可控子系统216中的一个或更多个。
97.图5是预测性模型生成器210和预测性图生成器212在生成预测性模型350和预测性图360中的操作的示例的流程图。在框362处,预测性模型生成器210和预测性图生成器212接收一个或更多个先验操作图。在框364处,处理系统338从传感器336接收一个或更多个传感器信号。
98.在框372处,处理系统338处理一个或更多个接收到的传感器信号,以生成指示一个或更多个农业特性的数据。
99.在框382处,预测性模型生成器210还获得与传感器数据对应的地理位置。例如,预测性模型生成器210可以从地理位置传感器204获得地理位置,并且基于机器延迟、机器速度、传感器校准等确定捕获或导出传感器数据340处的精确地理位置。
100.在框384处,预测性模型生成器210生成一个或更多个预测性模型,诸如预测性模型350,所述预测性模型对从诸如先验信息图258的先验信息图获得的值与由现场传感器208感测到的农业特性或相关特性之间的关系进行建模。例如,预测性模型生成器210可以生成对先前的耕作操作特性(例如,耕作深度)与包括由从现场传感器208获得的传感器数据指示的动力使用的感测特性之间的关系进行建模的预测性模型。或者例如,预测性模型生成器210可以生成对喷洒操作期间感测到的杂草特性与包括由从现场传感器208获得的传感器数据指示的生物量的感测特性之间的关系进行建模的预测性模型。或者例如,预测性模型生成器210可以生成对喷洒操作期间感测到的杀菌剂施用特性与包括由从现场传感器208获得的传感器数据指示的湿度的感测特性之间的关系进行建模的预测性模型。或者例如,预测性模型生成器210可以生成对在喷洒或干化学品施用操作期间感测到的营养物施用特性与包括由从现场传感器208获得的传感器数据指示的产量或作物成分之间的关系
进行建模的预测性模型。或者例如,预测性模型生成器210可以生成对在移除操作期间感测到的打捆特性与包括由从现场传感器208获得的传感器数据指示的产量或作物健康的感测特性之间的关系进行建模的预测性模型。
101.在框386处,将诸如预测性模型350的预测性模型提供给预测性图生成器212,该预测性图生成器212基于先验操作图332和预测性模型350生成预测性图360,该预测性图映射预测性特性。例如,在一些示例中,预测性图360预测各种子系统的动力使用/需求。预测性图360可以在农业操作过程期间生成。因此,当农业收割机在执行农业操作的田地中移动时,在正在进行农业操作时,生成预测性图360。
102.在框394处,预测性图生成器212输出预测性图360。在框391处,预测性图生成器212输出预测性图,以便呈现给操作员260并与由操作员260进行可能的交互。在框393处,预测性图生成器212可以配置图以供控制系统214使用。在框395处,预测性图生成器212还可以将图360提供给控制区域生成器213以生成控制区域。在框397处,预测性图生成器212也以其他方式配置图360。预测性图360(有或没有控制区域)被提供给控制系统214。在框396处,控制系统214基于预测性图360生成控制信号以控制可控子系统216。
103.在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的示例中,路径规划控制器234控制转向子系统252以使农业收割机100转向。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一示例中,残留物系统控制器244控制残留物子系统138。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,设置控制器232控制脱粒机110的脱粒机设置。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,设置控制器232或另一个控制器246控制材料处理子系统125。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,设置控制器232控制作物清选子系统118。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,机器清选控制器245控制农业收割机100上的机器清选子系统254。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,通信系统控制器229控制通信系统206。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,操作员界面控制器231控制农业收割机100上的操作员界面机构218。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,台板位置控制器242控制机器/割台致动器248以控制农业收割机100上的台板。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,输送带控制器240控制机器/割台致动器248以控制农业收割机100上的输送带。在其中控制系统214接收功能预测性图或添加有控制区域的功能预测性图的另一个示例中,其他控制器246控制农业收割机100上的其他可控子系统256。
104.因此可以看出,本系统采用先验信息图,该先验信息图映射来自先前操作的农业特性(例如,耕作操作、喷洒操作、先前收割操作等)。本系统还使用感测指示农业特性的现场传感器数据的一个或更多个现场传感器,并生成对使用现场传感器感测到的特性或相关特性与先验信息图中映射的特性之间的关系进行建模的模型。因此,本系统使用模型、现场数据和先验信息图生成功能预测性图,并且可以配置所生成的功能预测性图以供控制系统使用、被呈现给本地或远程操作员或其他用户,或其某种组合。例如,控制系统可以使用图
来控制联合收割机的一个或更多个系统。
105.图6示出了图示控制区域生成器213的一个示例的框图。控制区域生成器213包括作业机器致动器(work machine actuator,wma)选择器486、控制区域生成系统488和动态(regime)区域生成系统490。控制区域生成器213还可以包括其他项492。控制区域生成系统488包括控制区域标准标识符部件494、控制区域边界定义部件496、目标设置标识符部件498和其他项520。动态区域生成系统490包括动态区域标准标识部件522、动态区域边界定义部件524、设置解析器标识符部件526和其他项528。在更详细地描述控制区域生成器213的整体操作之前,将首先提供控制区域生成器213中的项中的一些及其相应操作的简要描述。
106.农业收割机100或其他作业机器可以具有执行不同功能的多种不同类型的可控致动器。农业收割机100或其他作业机器上的可控致动器统称为作业机器致动器(wma)。每个wma可以基于功能预测性图上的值被独立地控制,或者wma可以基于功能预测性图上的一个或更多个值成组地进行控制。因此,控制区域生成器213可以生成对应于每个单独可控的wma的、或者对应于相互协调控制的wma组的控制区域。
107.wma选择器486选择要为其生成相对应的控制区域的wma或wma组。控制区域生成系统488然后为所选择的wma或wma组生成控制区域。对于每个wma或wma组,在标识控制区域时可以使用不同的标准。例如,对于一个wma,wma响应时间可以用作用于定义控制区域的边界的标准。在另一示例中,磨损特性(例如,特定致动器或机构由于其运动而磨损的程度)可以用作用于标识控制区域的边界的标准。控制区域标准标识符部件494标识将用于为所选择的wma或wma组定义控制区域的特定标准。控制区域边界定义部件496处理分析中的功能预测性图上的值,以基于分析中的功能预测性图上的值并基于所选择的wma或wma组的控制区域标准来定义该功能预测性图上的控制区域的边界。
108.目标设置标识符部件498设置目标设置的值,该值将被用于控制不同控制区域中的wma或wma组。例如,如果所选择的wma是推进系统250,并且分析中的功能预测性图是功能预测性速度图438,则每个控制区域中的目标设置可以是基于在所标识的控制区域内的功能预测性速度图238中包含的速度值的目标速度设置。
109.在一些示例中,在基于农业收割机100的当前或未来位置来控制农业收割机100的情况下,对于给定位置处的wma,多个目标设置是可能的。在这种情况下,目标设置可能具有不同的值,并且可能进行竞争。因此,需要解析目标设置,使得仅使用单个目标设置来控制wma。例如,在wma是在推进系统250中被控制以便控制农业收割机100的速度的致动器的情况下,可能存在多个不同的竞争的标准组,所述多个不同的竞争的标准组由控制区域生成系统488在标识控制区域和控制区域中所选择的wma的目标设置时考虑。例如,用于控制机器速度的不同目标设置可以基于例如所检测的或所预测的喂料速率值、所检测的或预测的燃料效率值、所检测的或预测的谷物损失值或这些值的组合来生成。然而,在任何给定时间,农业收割机100不能同时以多种速度在地面上行进。相反,在任何给定时间,农业收割机100以单个速度行进。因此,选择竞争目标设置中的一个来控制农业收割机100的速度。
110.因此,在一些示例中,动态区域生成系统490生成动态区域以解析多个不同的竞争目标设置。动态区域标准标识部件522标识用于为分析中的功能预测性图上的所选择的wma或wma组确立动态区域的标准。可以用于标识或定义动态区域的一些标准例如包括基于种
植图或者作物类型或作物种类的另一来源的作物类型或作物种类、杂草类型、杂草强度、土壤类型、或作物状态(诸如作物是倒伏的、部分倒伏的还是直立的)。正如每个wma或wma组可能具有相对应的控制区域,不同的wma或wma组可能具有相对应的动态区域。动态区域边界定义部件524基于由动态区域标准标识部件522标识的动态区域标准来标识分析中的功能预测性图上的动态区域的边界。
111.在一些示例中,动态区域可能彼此重叠。例如,作物种类动态区域可能与作物状态动态区域的一部分或全部重叠。在这样的示例中,不同的动态区域可以被分配给优先层级,使得在两个或更多动态区域重叠的情况下,被分配有在优先层级中较高层级位置或重要性的动态区域优先于具有在优先层级中较低层级位置或重要性的动态区域。动态区域的优先层级可以手动设置,或者可以使用基于规则的系统、基于模型的系统或其他系统自动设置。作为一个示例,在倒伏作物动态区域与作物种类动态区域重叠的情况下,倒伏作物动态区域相比于作物种类动态区域可以被分配优先层级中的更大的重要性,使得倒伏作物动态区域优先。
112.此外,对于给定的wma或wma组,每个动态区域可能具有唯一的设置解析器。设置解析器标识符部件526为分析中的功能预测性图上标识的每个动态区域标识特定的设置解析器,并为所选择的wma或wma组标识特定的设置解析器。
113.一旦标识了特定动态区域的设置解析器,该设置解析器可以用于解析竞争目标设置,在该竞争目标设置中基于控制区域标识多于一个的目标设置。不同类型的设置解析器可以具有不同的形式。例如,为每个动态区域标识的设置解析器可以包括人类选择解析器,在人类选择解析器中该竞争目标设置被呈现给操作员或其他用户以便进行解析。在另一示例中,设置解析器可以包括神经网络或其他人工智能或机器学习系统。在这种情况下,设置解析器可以基于对应于不同目标设置中的每一个的预测的质量度量或历史质量度量来解析竞争目标设置。作为示例,增加的车辆速度设置可减少收割田地的时间,并减少相对应的基于时间的劳动力和装备成本,但可能增加谷物损失。降低的车辆速度设置可能增加收割田地的时间,并增加相对应的基于时间的劳动力和装备成本,但可以减少谷物损失。当谷物损失或收割时间被选择作为质量度量时,在给定两个竞争的车辆速度设置值的情况下,所选择的质量度量的预测的值或历史值可以被用于解析速度设置。在某些情况下,设置解析器可以是一组阈值规则,该组阈值规则可以用来替代或补充动态区域。阈值规则的示例可以表达如下:
114.如果农业收割机100的割台20英尺内的预测的生物量值大于x千克(其中x是所选择的值或预定的值),则使用基于喂料速率而不是其他竞争目标设置选择的目标设置值,否则使用基于谷物损失而不是其他竞争目标设置值的目标设置值。
115.设置解析器可以是在标识目标设置时执行逻辑规则的逻辑部件。例如,设置解析器可以解析目标设置,同时尝试最小化收割时间或最小化总收割成本或最大化收割的谷物,或者基于作为不同候选目标设置的函数计算的其他变量。当完成收割的量被减少到所选择的阈值或在所选择的阈值之下时,收割时间可以被最小化。当总收割成本被降低到所选择的阈值或在所选择的阈值之下的情况下,总收割成本可以被最小化。在收割的谷物的量增加到所选择的阈值或在所选择的阈值之上的情况下,收割的谷物可以最大化。
116.图7是示出控制区域生成器213在为控制区域生成器213接收用于区处理的图(例
如,为分析中的图)生成控制区域和动态区域时的操作的一个示例的流程图。
117.在框530处,控制区域生成器213接收分析中的图以便进行处理。在一个示例中,如框532所示,分析中的图是功能预测性图。例如,分析中的图可以是功能预测性图436、437、438或440中的一个。框534指示分析中的图也可以是其他图。
118.在框536处,wma选择器486选择要在分析中的图上为其生成控制区域的wma或wma组。在框538处,控制区域标准标识部件494获得所选择的wma或wma组的控制区域定义标准。框540指示这样的示例,在该示例中控制区域标准是或包括所选择的wma或wma组的磨损特性。框542指示这样的示例,在该示例中控制区域定义标准是或包括输入源数据的幅值和变化,诸如分析中的图上的值的幅值和变化或来自各种现场传感器208的输入的幅值和变化。框544指示这样的示例,在该示例中控制区域定义标准是或包括物理机器特性,诸如机器的物理尺寸、不同子系统操作的速度或其他物理机器特性。框546指示这样的示例,在该示例中控制区域定义标准是或包括所选择的wma或wma组在达到新命令的设定值时的响应性。框548指示这样的示例,在该示例中控制区域定义标准是或包括机器性能度量。框550指示这样的示例,在该示例中控制区域定义标准是或包括操作员偏好。框552指示这样的示例,在该示例中控制区域定义标准也是或包括其他项。框549指示这样的示例,在该示例中控制区域定义标准是基于时间的,这意味着农业收割机100将不会越过控制区域的边界,直到自农业收割机100进入特定控制区域起经过了所选择的时间量。在某些情况下,所选择的时间量可以是最小时间量。因此,在一些情况下,控制区域定义标准可以防止农业收割机100越过控制区域的边界,直到至少已经经过了所选择的时间量。框551指示这样的示例,在该示例中控制区域定义标准基于所选择的尺寸值。例如,基于所选择的尺寸值的控制区域定义标准可以排除小于所选择的尺寸的控制区域的定义。在某些情况下,所选择的尺寸可以是最小尺寸。
119.在框554处,动态区域标准标识部件522获得所选择的wma或wma组的动态区域定义标准。框556指示这样的示例,在该示例中动态区域定义标准基于来自操作员260或另一用户的手动输入。框558示出这样的示例,在该示例中动态区域定义标准基于作物类型或作物种类。框560示出这样的示例,在该示例中,动态区域定义标准基于杂草类型或杂草强度或两者。框562示出这样的示例,在该示例中,动态区域定义标准基于或包括作物状态。框564指示这样的示例,在该示例中,动态区域定义标准也是或包括其他标准。
120.在框566处,控制区域边界定义部件496基于控制区域标准在分析中的图上生成控制区域的边界。动态区域边界定义部件524基于动态区域标准在分析中的图上生成动态区域的边界。框568指示这样的示例,在该示例中为控制区域和动态区域标识区域边界。框570示出目标设置标识符部件498标识控制区域中的每一个的目标设置。控制区域和动态区域也可以以其他方式生成,并且这由框572指示。
121.在框574处,设置解析器标识符部件526标识由动态区域边界定义部件524定义的每个动态区域中的所选择的wma的设置解析器。如上所讨论那样,动态区域解析器可以是人类解析器576、人工智能或机器学习系统解析器578、基于每个竞争目标设置的预测的质量或历史质量的解析器580、基于规则的解析器582、基于性能标准的解析器584或其他解析器586。
122.在框588处,wma选择器486确定是否有更多的wma或wma组要处理。如果有附加的
wma或wma组需要处理,则处理返回到框436,在框436中选择要为其定义控制区域和动态区域的下一wma或wma组。当没有要为其生成控制区域或动态区域的附加wma或wma组剩下时,处理移动到框590,在框590中控制区域生成器213为wma或wma组中的每一个输出具有控制区域、目标设置、动态区域和设置解析器的图。如上所讨论那样,输出的图可以呈现给操作员260或另一用户;输出的图可以被提供给控制系统214;或者输出的图可以以其他方式输出。
123.图8示出了控制系统214的在基于由控制区域生成器213输出的图来控制农业收割机100时的操作的一个示例。因此,在框592处,控制系统214接收作业现场的图。在一些情况下,该图可以是可以包括控制区域和动态区域的功能预测性图(如框594所示)。在一些情况下,接收到的图可以是排除控制区域和动态区域的功能预测性图。框596指示这样的示例,在该示例中,接收的作业现场图可以是具有标识在其上的控制区域和动态区域的先验信息图。框598指示这样的示例,在该示例中接收的图可以包括多个不同的图或多个不同的图层。框610指示这样的示例,在该示例中接收的图也可以采取其他形式。
124.在框612处,控制系统214从地理位置传感器204接收传感器信号。来自地理位置传感器204的传感器信号可以包括指示农业收割机100的地理位置614、农业收割机100的速度616、农业收割机100的航向618或其他信息620的数据。在框622处,区域控制器247选择动态区域,并且在框624处,区域控制器247基于地理位置传感器信号在图上选择控制区域。在框626处,区域控制器247选择待控制的wma或wma组。在框628处,区域控制器247获得所选择的wma或wma组的一个或更多个目标设置。为所选择的wma或wma组获得的目标设置可来自各种不同的源。例如,框630示出了这样的示例,在该示例中所选择的wma或wma组的目标设置中的一个或更多个基于来自作业现场的图上的控制区域的输入。框632示出了这样的示例,在该示例中目标设置中的一个或更多个是从操作员260或另一用户的人工输入中获得的。框634示出了这样的示例,在该示例中从现场传感器208获得目标设置。框636示出了这样的示例,在这样的示例中一个或更多个目标设置是从与农业收割机100同时在相同田地中作业的其他机器上的一个或更多个传感器或者从过去在相同田地中作业的机器上的一个或更多个传感器获得的。框638示出了这样的示例,在该示例中目标设置也是从其他源获得的。
125.在框640处,区域控制器247访问所选择的动态区域的设置解析器,并控制设置解析器将竞争目标设置解析成解析后的目标设置。如上所讨论的那样,在一些情况下,设置解析器可以是人类解析器,在这种情况下,区域控制器247控制操作员界面机构218向操作员260或另一用户呈现竞争目标设置以便进行解析。在一些情况下,设置解析器可以是神经网络或其他人工智能或机器学习系统,并且区域控制器247将竞争目标设置提交给神经网络、人工智能或机器学习系统以便进行选择。在某些情况下,设置解析器可以基于预测的质量度量或历史质量度量、基于阈值规则或基于逻辑部件。在这些后面的示例中的任何一个中,区域控制器247执行设置解析器,以基于预测的质量度量或历史质量度量、基于阈值规则或在使用逻辑部件的情况下获得解析后的目标设置。
126.在框642处,在区域控制器247已经标识解析后的目标设置的情况下,区域控制器247将解析后的目标设置提供给控制系统214中的其他控制器,这些控制器基于解析后的目标设置生成控制信号并将控制信号应用于所选择的wma或wma组。例如,在所选择的wma是机器或割台致动器248的情况下,区域控制器247向设置控制器232或割台/实际控制器238或
两者提供解析后的目标设置,以基于解析后的目标设置生成控制信号,并且那些生成的控制信号被施加到机器或割台致动器248。在框644处,如果要在农业收割机100的当前地理位置(如在框612处检测的)处控制附加的wma或附加的wma组,则处理返回到框626,在框626处选择下一wma或wma组。由框626至644表示的过程继续进行,直到要在农业收割机100的当前地理位置处被控制的所有wma或wma组都已被解决。如果没有要在农业收割机100的当前地理位置处被控制的附加wma或wma组剩下,则处理进行到框646,在框646处,区域控制器247确定要被考虑的附加控制区域是否存在于所选择的动态区域中。如果要考虑的附加控制区域存在,则处理返回到框624,在框624处选择下一控制区域。如果没有附加控制区域需要考虑,则处理进行到框648,在框648处确定关于是否有附加动态区域需要考虑。区域控制器247确定是否有附加动态区域需要考虑。如果有附加动态区域需要考虑,则处理返回到框622,在框622处选择下一动态区域。
127.在框650处,区域控制器247确定农业收割机100正在执行的操作是否完成。如果否,则区域控制器247确定是否已经满足控制区域标准以继续处理,如框652所示。例如,如上所提及那样,控制区域定义标准可以包括定义农业收割机100何时可以越过控制区域边界的标准。例如,农业收割机100是否可以越过控制区域边界可以由所选择的时间段来定义,这意味着农业收割机100被阻止越过区边界直到已经经过所选择的时间量。在这种情况下,在框652处,区域控制器247确定所选择的时间段是否已经过去。附加地,区域控制器247可以连续地执行处理。因此,在继续确定农业收割机100的操作是否完成之前,区域控制器247不等待任何特定的时间段。在框652处,区域控制器247确定是继续处理的时候了,然后处理在框612处继续,在框612处,区域控制器247再次从地理位置传感器204接收输入。还应当理解的是,区域控制器247可以使用多输入多输出控制器来同时控制wma和wma组,而不是顺序控制wma和wma组。
128.图9是示出操作员界面控制器231的一个示例的框图。在所示出的示例中,操作员界面控制器231包括操作员输入命令处理系统654、其他控制器交互系统656、语音处理系统658和动作信号生成器660。操作员输入命令处理系统654包括语音处置系统662、触摸手势处理系统664和其他项666。其他控制器交互系统656包括控制器输入处理系统668和控制器输出生成器670。语音处理系统658包括触发检测器672、识别部件674、合成部件676、自然语言理解系统678、对话管理系统680和其他项682。动作信号生成器660包括视觉控制信号生成器684、音频控制信号生成器686、触觉控制信号生成器688和其他项690。在描述图9中示出的示例操作员界面控制器231在处理各种操作员界面动作时的操作之前,首先提供操作员界面控制器231中的项中的一些及其相关联的操作的简要描述。
129.操作员输入命令处理系统654检测操作员界面机构218上的操作员输入,并处理这些命令输入。语音处置系统662检测语音输入,并处理与语音处理系统658的交互,以处理语音命令输入。触摸手势处理系统664检测操作员界面机构218中的触敏元件上的触摸手势,并处理这些命令输入。
130.其他控制器交互系统656处理与控制系统214中其他控制器的交互。控制器输入处理系统668检测并处理来自控制系统214中其他控制器的输入,并且控制器输出生成器670生成输出并将这些输出提供给控制系统214中的其他控制器。语音处理系统658识别语音输入、确定这些输入的含义、并提供指示口头输入的含义的输出。例如,语音处理系统658可以
将来自操作员260的语音输入识别为设置改变命令,其中操作员260正在命令控制系统214改变可控子系统216的设置。在这样的示例中,语音处理系统658识别口头命令的内容,将该命令的含义标识为设置改变命令,并将该输入的含义提供回语音处置系统662。语音处置系统662又与控制器输出生成器670相互作用,以向控制系统214中适当的控制器提供命令输出,以完成口头设置改变命令。
131.语音处理系统658可以以各种不同的方式被调用。例如,在一个示例中,语音处置系统662将来自麦克风(作为操作员界面机构218中的一个)的输入连续地提供给语音处理系统658。麦克风检测来自操作员260的语音,并且语音处置系统662将所检测的语音提供给语音处理系统658。触发检测器672检测指示语音处理系统658被调用的触发。在一些情况下,当语音处理系统658从语音处置系统662接收连续语音输入时,语音识别部件674对由操作员260讲出的所有语音执行连续语音识别。在一些情况下,语音处理系统658被配置为使用唤醒字进行调用。也就是说,在一些情况下,语音处理系统658的操作可以基于识别到所选择的口头单词(被称为唤醒单词)来启动。在这样的示例中,在识别部件674识别唤醒字的情况下,识别部件674给触发检测器672提供唤醒字已经被识别的指示。触发检测器672检测到语音处理系统658已经被唤醒字调用或触发。在另一示例中,语音处理系统658可以由操作员260致动用户界面机构上的致动器来调用,诸如通过触摸触敏显示屏上的致动器、通过按压按钮或通过提供另一触发输入。在这样的示例中,当检测到经由用户界面机构的触发输入时,触发检测器672可以检测到语音处理系统658已经被调用。触发检测器672也可以检测到语音处理系统658已经以其他方式被调用。
132.一旦语音处理系统658被调用,来自操作员260的语音输入被提供给语音识别部件674。语音识别部件674识别语音输入中的语言元素,诸如单词、短语或其他语言单元。自然语言理解系统678标识所识别的语音的含义。该含义可以是自然语言输出、标识所识别的语音中反映的命令的命令输出、标识所识别的语音中的值的值输出、或者反映对所识别的语音的理解的多种其他输出中的任何一种。例如,更一般地,自然语言理解系统678和语音处理系统568可以理解在农业收割机100的环境中识别的语音的含义。
133.在一些示例中,语音处理系统658还可以基于语音输入生成通过用户体验对操作员260导航的输出。例如,对话管理系统680可以生成并管理与用户的对话,以便标识用户希望做什么。该对话框可以对用户命令进行消歧、标识执行用户命令所需的一个或更多个特定值;或者从用户处获得其他信息或者向用户提供其他信息或者两者均有。合成部件676可以生成语音合成,该语音合成可以通过诸如扬声器的音频操作员界面机构呈现给用户。因此,由对话管理系统680管理的对话可以专门是口头对话或视觉对话和口头对话的组合。
134.动作信号生成器660基于来自操作员输入命令处理系统654、其他控制器交互系统656和语音处理系统658中的一个或更多个的输出,生成动作信号以控制操作员界面机构218。视觉控制信号生成器684生成控制信号来控制操作员界面机构218中的视觉项。视觉项可以是灯、显示屏、警告指示器或其他视觉项。音频控制信号生成器686生成控制操作员界面机构218的音频元件的输出。音频元件包括扬声器、听觉报警机构、喇叭或其他听觉元件。触觉控制信号生成器688生成控制信号,该控制信号被输出以控制操作员界面机构218的触觉元件。触觉元件包括可以用于进行振动的振动元件,例如,操作员的座椅、方向盘、踏板或由操作员使用的操纵杆。触觉元件可以包括通过操作员界面机构向操作员提供触觉反馈或
力反馈的触感反馈或力反馈元件。触觉元件也可以包括各种各样的其他触觉元件。
135.图10是示出操作员界面控制器231在可以包括触敏显示屏的操作员界面机构218上生成操作员界面显示时的操作的一个示例的流程图。图10还示出了操作员界面控制器231如何能够检测和处理操作员与触敏显示屏的交互的一个示例。
136.在框692处,操作员界面控制器231接收图。框694指示其中图是功能预测性图的示例,而框696指示其中图是另一类型的图的示例。在框698处,操作员界面控制器231从地理位置传感器204接收标识农业收割机100的地理位置的输入。如框700所示,来自地理位置传感器204的输入可以包括农业收割机100的航向以及位置。框702指示其中来自地理位置传感器204的输入包括农业收割机100的速度的示例,框704指示其中来自地理位置传感器204的输入包括其他项的示例。
137.在框706处,操作员界面控制器231中的视觉控制信号生成器684控制操作员界面机构218中的触敏显示屏,以生成示出由所接收的图表示的田地的全部或部分的显示。框708指示所显示的田地可以包括示出农业收割机100相对于田地的当前位置的当前位置标记。框710指示这样的示例,在该示例中所显示的田地包括标识农业收割机100将在其中操作的下一作业单元(或田地上的区域)的下一作业单元标记。框712指示其中所显示的田地包括显示尚未由农业收割机100处理的区域的即将到来的区域显示部分的示例,而框714指示其中所显示的田地包括表示农业收割机100已处理后的田地的区域的先前访问过的显示部分的示例。框716指示其中所显示的田地显示具有图上的地理参考位置的田地的各种特性的示例。例如,如果接收到的图是产量图,则显示的田地可以示出在显示的田地内地理参考的田地中存在的不同产量特性。映射的特性可以被示出在先前访问的区域(如框714所示)中、即将到来的区域(如框712所示)中和下一作业单元(如框710所示)中。框718指示其中显示的田地也包括其他项的示例。
138.图11是示出可以在触敏显示屏上生成的用户界面显示720的一个示例的图示。在其他实施方式中,用户界面显示720可以在其他类型的显示器上生成。触敏显示屏可以安装在农业收割机100的操作员室中或移动设备上或其他地方。在继续描述图10中示出的流程图之前,将描述用户界面显示720。
139.在图11中示出的示例中,用户界面显示720示出了触敏显示屏包括用于操作麦克风722和扬声器724的显示特征。因此,触敏显示器可以可通信地耦接到麦克风722和扬声器724。框726指示触敏显示屏可以包括多种用户界面控制致动器,诸如按钮、小键盘、软小键盘、链接、图标、开关等。操作员260可以致动用户界面控制致动器来执行各种功能。
140.在图11中示出的示例中,用户界面显示720包括显示农业收割机100正在其中操作的田地的至少一部分的田地显示部分728。田地显示部分728被示出为具有与农业收割机100在田地的在田地显示部分728中示出的部分中的当前位置对应的当前位置标记708。在一个示例中,操作员可以控制触敏显示器,以便放大田地显示部分728的多个部分,或者平移或滚动田地显示部分728以显示田地的不同部分。下一作业单元730被示出为直接在农业收割机100的当前位置标记708前面的田地区域。当前位置标记708还可以被配置成标识农业收割机100的行进方向、农业收割机100的行进速度或两者。在图13中,当前位置标记708的形状提供了关于农业收割机100在田地内的取向的指示,该指示可以用作农业收割机100的行进方向的指示。
141.在田地显示部分728上标记的下一作业单元730的尺寸可以基于多种不同的标准而变化。例如,下一作业单元730的尺寸可以基于农业收割机100的行进速度而变化。因此,当农业收割机100更快地行进时,下一作业单元730的面积相比于农业收割机100更慢地行进的情况下的下一作业单元730的面积可能更大。在另一个示例中,下一作业单元730的尺寸可以基于农业收割机100的尺寸而变化,该农业收割机包括农业收割机100上的设备(例如,割台102)。例如,下一作业单元730的宽度可以基于割台102的宽度而变化。田地显示部分728也被示出为显示先前访问的区域714和即将到来的区域712。先前访问的区域714表示已经收割的区域,而即将到来的区域712表示仍然需要收割的区域。田地显示部分728也被示出为显示田地的不同特性。在图11中示出的示例中,正在被显示的图是预测性损失图,诸如功能预测性损失图420。因此,多个不同产量标记被显示在田地显示部分728上。在已经访问的区域714中示出一组产量显示标记732。在即将到来的区域712中还示出一组产量显示标记732,并且在下一作业单元730中示出一组产量显示标记732。图11示出了所述产量显示标记732由不同的符号构成,该符号指示类似的产量的区域。在图3中示出的示例中,!符号表示高产量的区域;*符号表示中等产量的区域;以及#符号表示低产量的区域。因此,该田地显示部分728示出了位于田地内不同区域处的不同测量值或预测值(或由所述值表示的特性),并且利用各种显示标记732表示这些测量值或预测值(或由所述值指示的特性)。如图所示,田地显示部分728包括位于与正在被显示的田地上的特定位置相关联的特定位置处的显示标记,特别是图11的说明性示例中的产量显示标记732。在一些情况下,田地的每个位置可以具有与之相关联的显示标记。因此,在某些情况下,在田地显示部分728的每一个位置处都可以设置显示标记,以标识针对田地的每一个特定位置被映射特性的性质。因此,本公开包括在田地显示部分728上的一个或更多个位置处提供显示标记,例如产量显示标记732(如在图11的本示例的上下文中),以标识正在被显示的特性的性质、程度等,从而标识正在被显示的田地中的相应位置处的特性。如先前所述,显示标记732可以由不同的符号构成,并且如下所述,符号可以是任何显示特征,诸如不同的颜色、形状、图案、强度、文本、图标或其他显示特征。在某些情况下,田地的每一个位置都可以具有与该位置相关联的显示标记。因此,在一些情况下,可以在田地显示部分728的每一个位置处提供显示标记,以标识针对田地的每一个特定位置被映射的特性的性质。因此,本公开包括在田地显示部分728上的一个或更多个位置处提供显示标记,例如,损失水平显示标记732(如在图11的本示例的上下文中),以标识正在被显示的特性的性质、程度等,从而标识正在被显示的田地中的相应位置处的特性。
142.在其他示例中,正在被显示的图可以是本文描述的图中的一个或更多个,包括信息图、先验信息图、功能预测性图(例如,预测性图或预测性控制区域图)、或其组合。因此,正在被显示的标记和特性将与由正在被显示的一幅或多幅图提供的信息、数据、特征和值相关。
143.在图11的示例中,用户界面显示720还具有控制显示部分738。控制显示部分738允许操作员查看信息并以各种方式与用户界面显示720交互。
144.部分738中的致动器和显示标记可以被显示为例如单独的项、固定列表、可滚动列表、下拉菜单或下拉列表。在图11示出的示例中,显示部分738示出对应于以上提及的三个符号的三种不同的产量类别的信息。显示部分738还包括一组触敏致动器,操作员260可以
通过触摸与该组触敏致动器交互。例如,操作员260可以用手指触摸触敏致动器,以激活相应的触敏致动器。
145.如图11所示,显示部分738包括整体由附图标记741表示的交互式标志显示部分。交互式标志显示部分741包括标志列739,该标志列示出已经自动或手动设置的标志。标志致动器740允许操作员260选择位置,例如农业收割机的当前位置,或由操作员指定的田地上的其他位置,然后添加指示在所述位置处发现的产量的信息。例如,当操作员260通过触摸标志致动器740来致动标志致动器740时,操作员界面控制器231中的触摸手势处理系统664将所述位置标识农业收割机100遇到高产量的位置。当操作员260触摸按钮742时,触摸手势处理系统664将所述位置标识为农业收割机100遇到中等产量的位置。当操作员260触摸按钮744时,触摸手势处理系统664将所述位置标识为农业收割机100遇到低产量的位置。当致动标志致动器740、742、或744中的一个时,触摸手势处理系统664可以控制视觉控制信号生成器684,以在用户标识的位置处在田地显示部分728上添加与所标识的产量相对应的符号。以此方式,预测值不能准确地代表实际值的田地的区域可以被标记以供以后分析,并且也可以用于机器学习。在其他示例中,操作员可以通过致动标志致动器740、742或744中的一个来指定农业收割机100前面或周围的区域,以使得可以基于由操作员260指定的值来进行农业收割机100的控制。
146.显示部分738还包括整体由附图标记743表示的交互式标记显示部分。交互式标记显示部分743包括符号列746,该符号列显示与在田地显示部分728上被跟踪的每个类别的值或特性(在图11的情况下,产量)对应的符号。显示部分738还包括整体由附图标记745表示的交互器指定符显示部分。交互器指定符显示部分745包括指定符列748,该指定符列显示标识值或特性(在图11的情况下,产量)的类别的指定符(该指定符可以是文本指定符或其他指定符)。非限制性地,符号列746中的符号和指定符列748中的指定符可以包括任何显示特征,诸如不同的颜色、形状、图案、强度、文本、图标或其他显示特征,并且可以通过农业收割机100的操作员的交互进行定制。
147.显示部分738还包括整体由附图标记747表示的交互式值显示部分。交互式值显示部分747包括显示所选值的值显示列750。所选值对应于正在田地显示部分728上被跟踪或显示的特性或值,或两者。所选值可以由农业收割机100的操作员选择。值显示列750中的所选值定义范围值、或其他值(例如,预测值)将通过其被分类的值。因此,在图11的示例中,满足或大于185蒲式耳/英亩的预测的或测量的产量被分类为“高产量”,而满足或小于100蒲式耳/英亩的预测的或测量的产量被分类为“低产量”。在一些示例中,所选值可以包括范围,以使得在所选值的范围内的预测值或测量值将被分类在相应的指定符下。如图11中所示,“中等产量”包括126蒲式耳/英亩至154蒲式耳/英亩的范围,以使得落在140蒲式耳/英亩的10%范围内的预测的或测量的产量被分类为“中等产量”。值显示列750中的所选值可由农业收割机100的操作员调节。在一个示例中,操作员260可以选择田地显示部分728的要为其显示列750中的值的特定部分。因此,列750中的值可以对应于显示部分712、714或730中的值。
148.显示部分738还包括整体由附图标记749表示的交互式阈值显示部分。交互式阈值显示部分749包括阈值显示列752,该阈值显示列显示动作阈值。列752中的动作阈值可以是对应于值显示列750中的所选值的阈值。如果被跟踪或被显示或被跟踪且被显示的特性的
预测值或测量值满足阈值显示列752中的相对应的动作阈值,则控制系统214采取列754中标识的动作。在一些情况下,预测值或测量值可以通过满足或超过相对应的动作阈值来满足相对应的动作阈值。在一个示例中,操作员260可以选择阈值,例如,以便通过触摸阈值显示列752中的阈值来改变阈值。一旦被选择,操作员260可以改变阈值。列752中的阈值可以被配置为使得当特性的测量值或预测值超过阈值、等于阈值或小于阈值时,执行指定的动作。在一些情况下,阈值可以代表值的范围,或与值显示列750中所选值的偏差的范围,以使得满足或落入该范围内的预测的或测量的特性值满足阈值。例如,在图11的示例中,落在1.5蒲式耳/英亩的10%以内的预测值将满足相应的动作阈值(在1.5蒲式耳/英亩的10%以内),并且诸如降低清选风扇速度的动作将由控制系统214进行。在其他示例中,列阈值显示列752中的阈值与值显示列750中的选定值分开,以使得值显示列750中的值定义预测值或测量值的分类和显示,而动作阈值定义何时基于测量值或预测值采取动作。例如,虽然为了分类和显示的目的,140蒲式耳/英亩的预测的或测量的损失值可以被指定为“中等产量”,但动作阈值可以是10%,以使得直到损失值满足阈值才采取动作。在其他示例中,阈值显示列752中的阈值可以包括距离或时间。例如,在距离的示例中,阈值可以是距田地的测量值或预测值被地理参考的一区域的阈值距离,其中农业收割机100在采取行动之前必须位于该区域内。例如,10英尺的阈值距离值将意味着当农业收割机位于田地中的测量值或预测值被地理参考的区域10英尺处或10英尺之内时,将采取行动。在阈值是时间的示例中,阈值可以是农业收割机100到达田地中的测量值或预测值被地理参考的区域的阈值时间。例如,5秒的阈值将意味着当农业收割机100距田地中的测量值或预测值被地理参考的区域5秒时将采取行动。在这样的示例中,可以考虑农业收割机的当前位置和行进速度。
149.显示部分738还包括整体由附图标记751表示的交互式动作显示部分。交互式动作显示部分751包括显示动作标识符的动作显示列754,该动作标识符指示当预测值或测量值满足阈值显示列752中的动作阈值时将要采取的动作。操作员260可以触摸列754中的动作标识符,以改变将要被采取的动作。当满足阈值时,可以采取动作。例如,在列754的底部处,增加清选风扇速度动作和降低清选风扇速度动作被标识为如果测量值或预测值满足列752中的阈值将采取的行动。在一些示例中,当满足阈值时,可以采取多个行动。例如,响应于阈值被满足,可以调节清选风扇速度,可以调节脱粒转子,并且可以调节凹部间隙。
150.可以在列754中设置的动作可以是各种不同类型的动作中的任何一种。例如,这些动作可以包括禁止动作,该禁止动作在被执行时阻止农业收割机100在区域中进一步进行收割。这些动作可以包括速度改变动作,该速度改变动作在被执行时改变农业收割机100穿过田地的行进速度。这些动作可以包括用于改变内部致动器或另一wma或wma组的设置的设置改变动作,或者用于实施改变脱粒转子速度、清选风扇速度、割台的位置(例如,俯仰、高度、侧倾等)的设置以及各种其他设置的设置改变动作。这些仅仅是示例,并且在此考虑了各种各样的其他动作。
151.用户界面显示720上示出的项目可以被以视觉的方式控制。以视觉的方式控制界面显示720可以被执行以捕获操作员260的注意。例如,可以控制显示标记,以修改被显示的显示标记的强度、颜色或图案。附加地,可以控制该显示标记闪烁。作为示例,提供了对显示标记的视觉外观的所描述的更改。因此,显示标记的视觉外观的其他方面可以被更改。因此,可以在各种情况下以期望的方式修改显示标记,以便例如捕获操作员260的注意。此外,
虽然特定数量的项目被示出在用户界面显示720上,但不必是这种情况。在其他示例中,可以在用户界面显示720上包括更多或更少的项目,所述项目包括更多或更少的特定项目。
152.现在回到图10的流程图,继续描述操作员界面控制器231的操作。在框760处,操作员界面控制器231检测设置标志的输入,并控制触敏用户界面显示720在田地显示部分728上显示该标志。所检测的输入可以是操作员输入(如762所示),或者是来自另一控制器的输入(如764所示)。在框766处,操作员界面控制器231检测指示来自现场传感器208中的一个的、田地的测量的特性的现场传感器输入。在框768处,视觉控制信号生成器684生成控制信号,以控制用户界面显示720显示用于修改用户界面显示720和用于修改机器控制的致动器。例如,框770表示可以显示用于设置或修改列739、746和748中的值的致动器中的一个或更多个。因此,用户可以设置标志并修改这些标志的特性。例如,用户可以修改产量和对应于标志的产量指定符。框772表示显示了列752中的动作阈值。框776表示显示了列754中的动作,并且框778表示显示了列750中的选定值。框780指示各种各样的其他信息和致动器也可以被显示在用户界面显示720上。
153.在框782处,操作员输入命令处理系统654检测并处理与由操作员260执行的与用户界面显示720的交互对应的操作员输入。在用户界面显示720被显示在其上的用户界面机构是触敏显示屏的情况下,由操作员260进行的与触敏显示屏的交互输入可以是触摸手势784。在一些情况下,操作员交互输入可以是使用点击设备786或其他操作员交互输入788的输入。
154.在框790处,操作员界面控制器231接收指示警报条件的信号。例如,框792指示信号可以由控制器输入处理系统668接收,该信号指示列750中所检测的值满足列752中存在的阈值条件。如前所解释那样,阈值条件可以包括阈值之下、处于阈值处或阈值之上的值。框794示出了动作信号生成器660可以响应于接收警报条件而通过使用视觉控制信号生成器684生成视觉警报、通过使用音频控制信号生成器686生成音频警报、通过使用触觉控制信号生成器688生成触觉警报、或者通过使用这些的任意组合来警告操作员260。类似地,如框796所示,控制器输出生成器670可以向控制系统214中的其他控制器生成输出,使得这些控制器执行列754中标识的相对应的动作。框798示出操作员界面控制器231也可以以其他方式检测和处理警报条件。
155.框900示出语音处置系统662可以检测和处理调用语音处理系统658的输入。框902示出执行语音处理可以包括使用对话管理系统680来与操作员260进行对话。框904示出语音处理可以包括向控制器输出生成器670提供信号,使得基于语音输入自动执行控制操作。
156.下面的表1示出了操作员界面控制器231和操作员260之间的对话的示例。在表1中,操作员260使用由触发检测器672检测的触发字或唤醒字来调用语音处理系统658。在表1中示出的示例中,唤醒词是“约翰尼(johnny)”。
157.表1
158.操作员:“约翰尼,告诉我关于当前动力使用的情况”159.操作员界面控制器:“机器级别动力使用为90%”。
160.操作员:“约翰尼,在当前动力使用下我该怎么办?”161.操作员界面控制器:“如果机器速度提高1mph,动力使用可以增加到95%”。
162.表2示出了这样的示例,在该示例中语音合成部件676向音频控制信号生成器686
提供输出,以间歇或周期性地提供听觉更新。更新之间的间隔可以是基于时间的(诸如每五分钟),或者是基于覆盖或距离的(诸如每五英亩)、或者是基于异常的(诸如当测量的值大于阈值时)。
163.表2
164.操作员界面控制器:“在过去的10分钟里,动力使用平均为80%”。
165.操作员界面控制器:“接下来的1英亩土地,预测的动力使用平均为82%”。
166.操作员界面控制器:“注意:动力使用正在低于80%。机器速度正在增加”。
167.表3中示出的示例示出了触敏显示720上的一些致动器或用户输入机构可以用语音对话来补充。表3中的示例示出了动作信号生成器660可以生成动作信号,以自动标记正在被收割的田地中的杂草块。
168.表3
169.人类:“约翰尼,标记杂草块”。
170.操作员界面控制器:“高杂草块已标记”。
171.表4中示出的示例示出了动作信号生成器660可以与操作员260进行对话,以开始和结束杂草块的标记。
172.表4
173.人类:“约翰尼,开始标记杂草块”。
174.操作员界面控制器:“正在标记杂草块”。
175.人类:“约翰尼,停止标记杂草块”。
176.操作员界面控制器:“杂草块标记停止”。
177.表5中示出的示例示出了动作信号生成器160可以以不同于表3和表4中示出的方式生成标记杂草块的信号。
178.表5
179.人类:“约翰尼,把下一100英尺标记为杂草块”。
180.操作员界面控制器:“下一100英尺被标记为杂草块”。
181.再次返回图10,框906示出了操作员界面控制器231也可以检测和处理用于以其他方式输出消息或其他信息的情况。例如,其他控制器交互系统656可以检测来自其他控制器的指示警报或输出消息应该呈现给操作员260的输入。框908示出输出可以是音频消息。框910示出输出可以是视觉消息,并且框912示出输出可以是触觉消息。直到操作员界面控制器231确定当前收割操作完成(如框914所示),处理返回到框698,在框698中收割机100的地理位置被更新,并且处理如上所述继续进行以更新用户界面显示720。
182.一旦操作完成,则可以保存在用户界面显示720上显示或已经显示的任何期望值。这些值也可以在机器学习中用于改进预测性模型生成器210、预测性图生成器212、控制区域生成器213、控制算法或其他项的不同部分。由框916指示保存所述期望值。这些值可以本地保存在农业收割机100上,或者这些值可以保存在远程服务器位置处或发送到另一远程系统。
183.控制值是动作可以基于的值。如本文所述,控制值可以包括可以用于控制农业收割机100的任何值(或由该值指示或从该值导出的特性)。控制值可以是指示农业特性的任何值。控制值可以是预测的值、测量的值或检测的值。控制值可以包括由图提供的任何值
(诸如本文描述的图中的任何一个),例如,控制值可以是由信息图提供的值、由先验信息图提供的值或者由预测性图提供的值,诸如功能预测性图。控制值还可以包括由本文描述的传感器中的任何一个检测的值所指示的或从其中导出的特性中的任何一个。在其他示例中,控制值可以由农业机器的操作员提供,诸如由农业机器的操作员输入的命令。
184.目前的讨论已经提到了处理器和服务器。在一些示例中,处理器和服务器包括具有相关联的存储器和时序电路(未单独示出)的计算机处理器。处理器和服务器是处理器和服务器所属的系统或设备的功能部分,并且由这些系统中的其他部件或项激活并促进其功能。
185.而且,已经讨论了许多用户界面显示。显示可以采取各种不同的形式,并且可以具有设置在其上的各种不同的用户可致动的操作员界面结构。例如,用户可致动的操作员界面机构可以是文本框、复选框、图标、链接、下拉菜单、搜索框等。用户可致动的操作员界面机构也可以以各种不同的方式被致动。例如,用户可致动的操作员界面机构可以使用操作员界面机构(诸如点击设备,(诸如轨迹球或鼠标、硬件按钮、开关、操纵杆或键盘、拇指开关或拇指垫等)、虚拟键盘或其他虚拟致动器)来致动。此外,在其上显示用户可致动的操作员界面机构的屏幕是触敏屏幕的情况下,可以使用触摸手势来致动用户可致动的操作员界面机构。而且,可以使用利用了语音识别功能的语音命令来致动用户可致动的操作员界面机构。语音识别可以使用语音检测设备(诸如麦克风)和用于识别所检测的语音并基于所接收的语音执行命令的软件来实施。
186.还讨论了许多数据存储装置。应当注意的是,数据存储可以各自分成多个数据存储装置。在一些示例中,数据存储装置中的一个或更多个对于访问数据存储装置的系统可以是本地的,数据存储装置中的一个或更多个可以全部位于远离利用数据存储装置的系统,或者一个或更多个数据存储装置可以是本地的,而其他的是远程的。本公开考虑了所有这些配置。
187.此外,附图示出了多个框,其中功能归属于每个框。应当注意的是,可以使用更少的框来示出归因于多个不同框的功能由更少的部件来执行。而且,可以使用更多的框,从而示出该功能可以分布在更多的部件当中。在不同的示例中,可以添加一些功能,并且也可以移除一些功能。
188.应当注意的是,上述讨论已经描述了各种不同的系统、部件、逻辑和交互。应当理解的是,这样的系统、部件、逻辑和交互中的任何一个或全部可以由硬件项实施,诸如处理器、存储器或其他处理部件,包括但不限于执行与那些系统、部件、逻辑或交互相关联的功能的人工智能部件(诸如神经网络,其中的一些在下面描述)。此外,系统、部件、逻辑和交互中的任何一个或全部可以由加载到存储器中并随后由处理器或服务器或其他计算部件执行的软件来实施,如下所述。系统、部件、逻辑和交互中的任何一个或全部也可以通过硬件、软件、固件等的不同组合来实施,其一些示例在下面描述。这些是可以用于实施以上描述的系统、部件、逻辑和交互中的任何一个或全部的不同结构的一些示例。也可以使用其他结构。
189.图12是农业收割机600的框图,其可以类似于图2中示出的农业收割机100。农业收割机600与远程服务器架构500中的元件通信。在一些示例中,远程服务器架构500可以提供不需要终端用户了解递送服务的系统的物理位置或配置的计算、软件、数据访问和存储服
务。在各种示例中,远程服务器可以使用适当的协议通过广域网(诸如互联网)递送服务。例如,远程服务器可以通过广域网递送应用,并且可以通过网络浏览器或任何其他计算部件访问。图2中示出的软件或部件以及与之相关联的数据可以存储在远程位置处的服务器上。远程服务器环境中的计算资源可以被合并在远程数据中心位置处,或者计算资源可以被分散到多个远程数据中心。远程服务器基础设施可以通过共享数据中心递送服务,即使服务对于用户来说作为单个访问点出现。因此,本文描述的部件和功能可以使用远程服务器架构从远程位置处的远程服务器提供。替代性地,部件和功能可以从服务器提供,或者部件和功能可以直接或以其他方式安装在客户端设备上。
190.在图12中示出的示例中,一些项类似于图2中示出的项目,并且这些项被相似地进行编号。图12具体示出了预测性模型生成器210或预测性图生成器212或两者可以位于远离农业收割机600的服务器位置502。因此,在图12中示出的示例中,农业收割机600通过远程服务器位置502访问系统。
191.图12还描绘了远程服务器架构的另一示例。图12示出了图2的一些元件可以被布置在远程服务器位置502处,而其他元件可以位于其他地方。作为示例,数据存储装置202可以被放置在与位置502分离的位置处,并且经由位置502处的远程服务器来访问。无论这些元件位于何处,这些元件可以由农业收割机600通过网络(诸如广域网或局域网)直接访问;这些元件可以由服务托管在远程站点、或者这些元件可以作为服务提供、或者由驻留在远程位置的连接服务访问。此外,数据可以存储在任何位置,并且存储的数据可以被操作员、用户或系统访问或转发给操作员、用户或系统。例如,可以载体之外还可以使用物理载体。在一些示例中,在无线电信服务覆盖差或不存在的情况下,另一机器(诸如燃料卡车或其他移动机器或车辆)可以具有自动、半自动或手动信息收集系统。在联合收割机600在加燃料前靠近包含信息收集系统的机器(诸如燃料卡车)时,信息收集系统使用任何类型的临时专用无线连接从联合收割机600收集信息。然后,当包含所接收的信息的机器到达无线电信服务覆盖或其他无线覆盖可用的位置时,所收集的信息可以被转发到另一网络。例如,当燃料卡车行驶到给其他机器加燃料的位置时或在主燃料存储位置时,燃料卡车可以进入具有无线通信覆盖的区域。本文考虑了所有这些架构。此外,信息可以存储在农业收割机600上,直到农业收割机600进入具有无线通信覆盖的区域。农业收割机600本身可以将信息发送到另一网络。
192.还将注意到,图2的元件或其部分可以设置在各种不同的设备上。这些设备中的一个或更多个可以包括机载计算机、电子控制单元、显示单元、服务器、台式计算机、膝上型计算机、平板计算机或其他移动设备,诸如掌上电脑、蜂窝电话、智能电话、多媒体播放器、个人数字助理等。
193.在一些示例中,远程服务器架构500可以包括网络安全措施。非限制性地,这些措施包括存储设备上的数据的加密、网络节点之间发送的数据的加密、访问数据的人员或进程的认证、以及用于记录元数据、数据、数据传送、数据访问和数据转换的分类帐的使用。在一些示例中,分类账可以是分布式的和不可变的(例如,实施为区块链)。
194.图13是可以用作本系统(或其一部分)可以部署在其中的用户的或客户的手持设备16的手持式或移动式计算设备的一个示意性示例的简化框图。例如,移动设备可以部署在农业收割机100的操作员室中,用于在生成、处理或显示以上讨论的图时使用。图14至图
15是手持式或移动式设备的示例。
195.图13提供了客户端设备16的部件的总体框图,该客户端设备可以运行图2中示出的一些部件、与它们交互、或者两者都进行。在设备16中,提供了允许手持设备与其他计算设备通信的通信链路13,并且在一些示例下通信链路13提供了用于自动接收信息(例如通过扫描)的信道。通信链路13的示例包括允许通过一个或更多个通信协议进行通信,诸如用于提供对网络的蜂窝接入的无线服务,以及提供对网络的本地无线连接的协议。
196.在其他示例中,应用可以在连接到接口15的可移除安全数字(secure digital,sd)卡上接收。接口15和通信链路13沿着总线19与处理器17(其也可以实现来自其他附图的处理器或服务器)通信,该总线也连接到存储器21和输入/输出(i/o)部件23、以及时钟25和位置系统27。
197.在一个示例中,提供i/o部件23来促进输入和输出操作。设备16的各种示例的i/o部件23可以包括输入部件(诸如按钮、触摸传感器、光学传感器、麦克风、触摸屏、接近传感器、加速度计、方位传感器)以及输出部件(诸如显示设备、扬声器和/或打印机端口)。也可以使用其他i/o部件23。
198.时钟25示意性地包括输出时间和日期的实时时钟部件。示意性地,它还可以为处理器17提供定时功能。
199.位置系统27示意性地包括输出设备16的当前地理位置的部件。这可以包括例如全球定位系统(gps)接收器、loran系统、航位推算系统、蜂窝三角测量系统或其他定位系统。位置系统27还可以包括,例如,生成所期望的图、导航路线和其他地理功能的绘图软件或导航软件。
200.存储器21存储操作系统29、网络设置31、应用33、应用配置设定35、数据存储装置37、通信驱动器39和通信配置设置41。存储器21可以包括所有类型的有形易失性和非易失性计算机可读存储器设备。存储器21还可以包括计算机存储介质(下文描述)。存储器21存储计算机可读指令,当由处理器17执行时,这些指令使处理器根据指令执行计算机实施的步骤或功能。处理器17也可以由其他部件激活以促进它们的功能。
201.图14示出了其中设备16是平板电脑600的一个示例。在图14中,计算机601被示出为具有用户界面显示屏602。屏幕602可以是从笔或触笔接收输入的触摸屏或支持笔的界面。平板电脑600还可以使用屏幕上虚拟键盘。当然,计算机601也可以例如通过合适的附接结构(诸如无线链接件或usb端口)附接到键盘或其他用户输入设备。计算机601也可以示意性地接收语音输入。
202.图15类似于图14,除了设备是智能电话71之外。智能电话71具有显示图标或小块或其他用户输入机构75的触敏显示器73。可以由用户使用机构75来运行应用、进行呼叫、执行数据传输操作等。一般而言,智能手机71建立在移动操作系统上,并且提供比功能手机更高级的计算能力和连接性。
203.注意,设备16的其他形式是可能的。
204.图16是其中可以部署图2的元件的计算环境的一个示例。参考图16,用于实施一些实施例的示例系统包括呈被编程为如上所讨论那样操作的计算机810形式的计算设备。计算机810的部件可以包括但不限于处理单元820(其可以包括来自先前附图的处理器或服务器)、系统存储器830和将包括系统存储器的各种系统部件耦接到处理单元820的系统总线
821。系统总线821可以是几种类型的总线结构中的任何一种,包括存储器总线或存储器控制器、外围总线以及使用各种总线架构中的任何一种的局部总线。关于图2描述的存储器和程序可以部署在图16的相对应部分中。
205.计算机810通常包括各种计算机可读介质。计算机可读介质可以是可以由计算机810访问的任何可用介质,并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质不同于调制数据信号或载波,并且也不包括调制数据信号或载波。计算机可读介质包括硬件存储介质,包括以任何方法或技术实施用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(digital versatile disk,dvd)或其他光盘存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备,或可以用于存储所期望的信息并可以由计算机810访问的任何其他介质。通信介质可以实现计算机可读指令、数据结构、程序模块或传输机构中的其他数据,并且包括任何信息递送介质。术语“经调制的数据信号”是指具有以在信号中编码信息的方式设置或改变其特征中的一个或更多个的信号。
206.系统存储器830包括易失性和/或非易失性存储器或者两者形式的计算机存储介质,诸如只读存储器(read only memory,rom)831和随机存取存储器(random access memory,ram)832。基本输入/输出系统833(basic input/output system,bios)(其包含诸如在启动期间帮助在计算机810内的元件之间传递信息的基本例程)通常存储在rom831中。ram832通常包含处理单元820可立即访问和/或当前正在被处理单元820操作的数据和/或程序模块或两者。作为示例而非限制,图16示出了操作系统834、应用程序835、其他程序模块836和程序数据837。
207.计算机810还可以包括其他可移动/不可移动的易失性/非易失性计算机存储介质。仅作为示例,图16示出了从不可移动、非易失性磁介质、光盘驱动器855和非易失性光盘856读取或向其写入的硬盘驱动器841。硬盘驱动器841通常通过不可移动存储器接口(诸如接口840)连接到系统总线821,光盘驱动器855通常通过可移动存储器接口(诸如接口850)连接到系统总线821。
208.替代性地或附加地,本文描述的功能可以至少部分地由一个或更多个硬件逻辑部件来执行。例如但不限于,可以使用的示意性类型的硬件逻辑部件包括现场可编程门阵列(field-programmable gate array,fpga)、专用集成电路(application-specific integrated circuit,asic)、专用标准产品(例如assp)、片上系统(system-on-a-chip system,soc)、复杂可编程逻辑器件(complex programmable logic device,cpld)等。
209.上文讨论并在图16中示出的驱动器及其相关联的计算机存储介质为计算机810提供了计算机可读指令、数据结构、程序模块和其他数据的存储。例如,在图16中,硬盘驱动器841被示出为存储操作系统844、应用程序845、其他程序模块846和程序数据847。注意,这些部件可以与操作系统834、应用程序835、其他程序模块836和程序数据837相同或不同。
210.用户可以通过输入设备(诸如键盘862、麦克风863和指向设备861(诸如鼠标、跟踪球或触摸板))向计算机810输入命令和信息。其他输入设备(未示出)可以包括操纵杆、游戏键盘、卫星天碟、扫描仪等。这些和其他输入设备通常通过耦接到系统总线的用户输入接口
860连接到处理单元820,但是也可以通过其他接口和总线结构连接。视觉显示器891或其他类型的显示设备也通过诸如视频接口890的接口连接到系统总线821。除了监视器之外,计算机还可以包括可以通过输出外围接口895连接的其他外围输出设备,诸如扬声器897和打印机896。
211.计算机810使用到一个或更多个远程计算机(诸如远程计算机880)的逻辑连接(诸如控制器局部网(can)、局域网(lan)或广域网(wan))在联网环境中操作。
212.当在lan联网环境中使用时,计算机810通过网络接口或适配器870连接到lan871。当在wan联网环境中使用时,计算机810通常包括调制解调器872或用于通过wan873(诸如因特网)建立通信的其他装置。在联网环境中,程序模块可以被存储在远程存储器存储设备中。例如,图16示出了远程应用程序885可以驻留在远程计算机880上。
213.还应当注意的是,本文描述的不同示例可以以不同的方式组合。也就是说,一个或更多个示例的部分可以与一个或更多个其他示例的部分组合。在本文中考虑了这方面的全部。
214.示例1是一种农业作业机器,包括:
215.通信系统,所述通信系统接收先验信息图,所述先验信息图包括来自先前的农业操作的第一农业特性的与田地中的不同地理位置对应的的值;
216.地理位置传感器,所述地理位置传感器检测农业作业机器的地理位置;
217.现场传感器,所述现场传感器检测第二农业特性的与该地理位置对应的值;
218.预测性模型生成器,所述预测性模型生成器基于先验信息图中的第一农业特性的在所述地理位置处的值与该由现场传感器感测到的第二农业特性的在所述地理位置处的值生成预测性农业模型,所述预测性农业模型对第一农业特性与第二农业特性之间的关系进行建模;和
219.预测性图生成器,所述预测性图生成器生成田地的功能预测性农业图,所述功能预测性农业图基于先验信息图中的第一农业特性的值并基于预测性农业模型,将第二农业特性的预测值映射到田地中的不同地理位置。
220.示例2是任何或所有前述示例的农业作业机器,其中,预测性图生成器配置功能预测性农业图以供控制系统使用,所述控制系统基于功能预测性农业图生成控制信号以控制农业作业机器上的可控子系统。
221.示例3是任何或所有前述示例的农业作业机器,其中,先验信息图包括先验操作图,所述先验操作图将作为第一农业特性的施用操作特性的值映射到田地中的不同地理位置。
222.示例4是任何或所有前述示例的农业作业机器,其中,预测性模型生成器被配置成基于在地理位置处检测到的第二农业特性值和先验信息图中的施用操作特性的在所述地理位置处的值来确定第二农业特性与施用操作特性之间的关系,预测性农业模型被配置为接收输入施用操作特性值作为模型输入,并基于所确定的关系生成预测的第二农业特性值作为模型输出。
223.示例5是任何或所有前述示例的农业工作机械,其中,施用操作特性包括水施用特性、肥料施用特性、除草剂施用特性、杀虫剂施用特性和杀菌剂施用特性中的一个。
224.示例6是任何或所有前述示例的农业作业机器,其中,先验信息图包括先验操作
图,所述先验操作图将作为第一农业特性的移除操作特性的值映射到田地中的不同地理位置。
225.示例7是任何或所有前述示例的农业作业机器,其中,预测性模型生成器被配置成基于在地理位置处检测到的第二农业特性值和先验信息图中的移除操作特性的在所述地理位置处的值确定第二农业特性与移除操作特性之间的关系,预测性农业模型被配置为接收输入移除操作特性值作为模型输入,并基于所确定的关系生成预测的第二农业特性值作为模型输出。
226.示例8是任何或所有前述示例的农业作业机器,其中,移除操作特性包括收割操作特性、堆放操作特性和打包操作特性中的一个。
227.示例9是任何或所有前述示例的农业作业机器,其中,先验信息图包括先验操作图,所述先验操作图将作为第一农业特性的地面接合操作特性的值映射到田地中的不同地理位置。
228.示例10是任何或所有前述示例的农业作业机器,其中,预测性模型生成器被配置成基于在地理位置处检测到的第二农业特性值和先验信息图中的地面接合操作特性的在所述地理位置处的值确定第二农业特性与地面接合操作特性之间的关系,预测性农业模型被配置为接收输入地面接合操作特性值作为模型输入,并基于所确定的关系生成预测的第二农业特性值作为模型输出。
229.示例11是任何或所有前述示例的农业作业机器,还包括操作员界面机构,所述操作员界面机构显示功能预测性农业图的图表示。
230.示例12是一种生成功能预测性农业图的计算机实施的方法,包括:
231.在农业作业机器处接收先验信息图,所述先验信息图指示来自先前的农业操作的第一农业特性的与田地中的不同地理位置对应的值;
232.检测农业作业机器的地理位置;
233.利用现场传感器检测第二农业特性的与所述地理位置对应的值;
234.生成对第一农业特性与第二农业特性之间的关系进行建模的预测性农业模型;和
235.控制预测性图生成器,以基于先验信息图中的第一农业特性的值和预测性农业模型生成田地的功能预测性农业图,所述功能预测性农业图将第二农业特性的预测值映射到田地中的不同位置。
236.示例13是任何或所有前述示例的计算机实施的方法,并且还包括:
237.为控制系统配置功能预测性农业图,所述控制系统基于功能预测性农业图生成控制信号以控制农业作业机器上的可控子系统。
238.示例14是任何或所有前述示例的计算机实施的方法,其中,接收先验信息图包括:
239.接收由在田地中执行的先验地面接合操作生成的先验信息图。
240.示例15是任何或所有前述示例的计算机实施的方法,其中,接收先验信息图包括:
241.接收由在田地中执行的先验施用操作生成的先验信息图。
242.示例16是任何或所有前述示例的计算机实施的方法,其中,接收先验信息图包括:
243.接收由在田地中执行的先验移除操作生成的先验信息图。
244.示例17是任何或所有前述示例的计算机实施的方法,其中,接收先验信息图包括:
245.接收由在田地中执行的先验收割操作生成的先验信息图。
246.示例18是任何或所有前述示例的计算机实施的方法,进一步包括:
247.控制操作员界面机构以呈现预测性农业图。
248.示例19是一种农业作业机器,包括:
249.通信系统,所述通信系统接收先验信息图,所述先验信息图指示来自先前的农业操作的与田地中的不同地理位置对应的农业特性值;
250.地理位置传感器,所述地理位置传感器检测农业作业机器的地理位置;
251.现场传感器,所述现场传感器检测第二农业特性的与所述地理位置对应的值;
252.预测性模型生成器,所述预测性模型生成器基于先验信息图中的第一农业特性的与所述地理位置对应的值与由该现场传感器感测的第二农业特性的的与所述地理位置对应的值生成预测性模型,所述预测性模型对第一农业特性与第二农业特性之间的关系进行建模;和
253.预测性图生成器,所述预测性图生成器生成田地的功能预测性图,所述功能预测性图基于先验信息图中的第一农业特性值并基于预测性模型,将预测性第二农业特性值映射到田地中的不同位置。
254.示例20是任何或所有前述示例的农业作业机器,其中,先验信息图指示来自施用操作、移除操作和地面接合操作中的一个或更多个的农业特性。
255.尽管已经用特定于结构特征或方法动作的语言描述了主题,但是应当理解的是,在所附权利要求中限定的主题不必限于以上描述的特定特征或动作。相反,以上具体特征和动作是作为权利要求的示例形式而公开的。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献