用于作物地面导航的混合视觉系统的制作方法

用于作物地面导航的混合视觉系统
1.版权声明
2.本专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人以专利商标局专利文件或记录中的形式复制专利文档或专利公开内容，但保留所有版权或权利。2018-2020克莱米特公司(the climate corporation)。
技术领域
3.本公开的一个技术领域是机器视觉，其被应用于农业中的植物和杂草的识别。另一技术领域是机器人技术。还有一个领域是农业中的作物和田地处理实践的计算机支持的管理。


背景技术：

4.本节中描述的方法是可以贯彻的方法，但不一定是先前已经被设想或者被贯彻的方法。因此，除非另外指出，否则不应仅由于将本节中所述的任何方法包括在本节中而认为其有资格作为现有技术。
5.农业技术的快速发展提高了作物产量、作物产率和生长效率、产量可预测性、以及基于田地和气候的作物种植方法。然而，基于技术的农业规划和维护的一个缺点是成本高、效率低且对环境不利的方法。例如，在生长季节期间在田地的杂草治理通常需要用手动操作的拖拉机穿越田地，并结合手动地物理清除杂草或喷洒除草剂。即使是使用计算机视觉的使得自主车辆(vehicle)导航和对象识别能够从杂草检测到植物的环保措施也无法区分不同的对象。例如，杂草可能与普通植物几乎无法区分，具体取决于每种植物的生长阶段。
6.农业田地可能很大并且对气候敏感，具有不同的作物类型和作物产量，这两者都可以基于田地位置和气候以及许多其他因素而变化。农业田地可以被划分为具有不同作物植物类型的区域或空间。种植地图标识具有不同植物类型的田地空间位置。例如，田地绘制地图可以通过不同作物植物类型的区域来描述田地。田地检查可以被用于通过解决可能引起导致作物疾病的作物侵扰的事件来提高作物产量。像杂草等不期望的非作物和/或非种植的对象是田地的常客，并且对田地作物的健康和生长产生不利影响。当由受燃料和劳动力成本影响的人工农业设备实施田地检查时，田地检查通常是时间效率低且劳动密集型的。
7.在常见的农业应用中，农业设备可以穿越种植的作物田地以进行作物提取、检查或其他作物相关的功能。例如，准确、可靠和快速地检测绿色植物的位置对于农业设备至关重要。图像识别技术可以使用训练图像集来使得能够识别不同的植物和叶子结构，但是由于植物总是在季节内生长和变化，这种方法可能很难跨从植物出苗到植物成熟的生长连续时间实现。常见的导航和图像识别技术依赖于特定范围的对比度值来进行正确的图像处理检测。然而，在季节的初始阶段期间，诸如在播种期间，这些技术在很大程度上是无效的，因为裸土的数字图像与可能位于田地行中间的植物叶片缺乏足够的对比度，无法支持可靠的检测。随后进入作物季节，当植物在成熟时尺寸大得多且形状更叶茂时，数字图像中的图像
对比度再次成为问题。
8.因此，导航和图像识别两者的常用方法在农业田地的实践中都证明是困难的，产生不准确的检测、效率低下、成本高且不可靠。
9.前述问题引起对改进的作物田地导航和检测系统的需求。


技术实现要素：

10.所附权利要求可以用作本公开的发明内容。
附图说明
11.在附图中：
12.图1图示了被配置为执行本文所述的功能的示例计算机系统，该示例计算机系统与该系统可以与之互操作的其他装置一起在田地环境中被示出。
13.图2a和图2b图示了当示例移动应用被加载以供执行时在主存储器中的指令集的示例逻辑组织的两个视图。
14.图3图示了被编程的过程，农业智能计算机系统通过该过程使用由一个或多个外部数据源提供的农艺数据来生成一个或多个被预配置的农艺模型。
15.图4是图示了可以在其上实现本发明的实施例的计算机系统的框图。
16.图5图示了根据一个实施例的数据融合子系统的功能概览。
17.图6图示了根据一个实施例的框图中的用于融合点数据和面积平均值的示例过程流。
18.图7以框图形式图示了根据实施例的如何使用拟合模型生成给定时间和位置处的环境变量的预测。
19.图8描绘了在一个实施例中的自动化移动田地植物分类系统的框图。
20.图9示出了用于确定田地植物类型分类的示例流过程。
具体实施方式
21.在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，将明显的是，可以在没有这些具体细节的情况下实践实施例。在其他实例中，以框图的形式示出了熟知的结构和设备，以避免不必要地模糊本公开。根据以下大纲提供了描述：
22.1.0一般概述
23.2.0示例农业智能计算机系统
24.2.1.结构概述
25.2.2.应用程序概述
26.2.3.计算机系统的数据摄取
27.2.4过程概述—农艺模型训练
28.2.5实现示例—硬件概述
29.3.0示例自主农业分类系统
30.3.1准确分类检测
31.3.2自动化移动农业产品特征分类
32.3.3自主移动农业设备
33.4.0公开的其他方面
34.*
35.1.0总体概述
36.在一个实施例中，具有全球定位系统(gps)的自主车辆用于田地检查，以降低燃料和劳动力成本并且增加田地作物检查的一致性来提高可靠性。车辆可以被编程为在使用传感器检测对象并且以第一图像捕获模式操作的同时穿越田地，例如捕获田地中的对象的低分辨率图像，通常是作物。在程序控制下，机器视觉技术与低分辨率图像一起被用来识别作物、非作物植物材料或未定义的对象。在程序控制下，位置数据被用来将识别出的对象与被数字地存储的田地地图相关，以解决特定对象是位于预期作物种植的位置还是未预期作物种植的位置。在程序控制下，取决于低分辨率数字图像中的对象是否被识别为作物，以及对象是否处于作物的预期地理位置，车辆可能会暂时停止穿越并且切换到第二图像捕获模式，例如捕获对象的高分辨率图像，以用于疾病分析或分类、杂草分析或分类、警报通知或其他消息、或者其他处理。以这种方式，可以使用要求较低处理资源、存储或存储器的粗略水平的快速技术对田地进行快速穿越和成像，同时仅在必须解决未预期的对象或执行诸如疾病分类之类的受益于高分辨率图像和更密集地使用处理资源、存储或存储器的操作时才自动切换以执行特殊处理。
37.在一个实施例中，自主移动车辆配备有感测和视觉能力并且被编程为基于机器视觉在两种形式的自动混合产品识别之间选择性地切换。在一个实施例中，混合识别的第一模式在自主车辆穿越农业田地的同时使用机器视觉技术来识别植物材料。第一模式基于在扫描对象以进行识别的同时快速行进通过田地并结合用于识别的简化算法来提供粗略图像识别。在一个实施例中，混合识别的第二模式更加计算密集，针对田地作物和杂草之间的准确区分，并且在车辆静止的同时被执行。第一模式具有成本效益、快速且高效，并且在一些情况下可以被视为“暴力”识别以快速排除非植物对象，而第二模式通常较慢但更准确。
38.这两个过程可以被视为环境友好的，因为它们使用可以由电池供电的自主移动车辆。此外，与现有技术相比，使用高质量图像处理设备(诸如一个或多个高分辨率相机和传感器)提供了增强感测和图像捕获能力的益处，从而支持深度产品分类分析。在任何前述实施例中，自主车辆可以被实现为专用机器人，其具有全球定位系统(gps)接收器以生成实时地理位置数据、相机设备和引导传感器以提供快速高效的分类结果或更慢但高质量的结果。
39.可以对实施例进行编程以执行杂草检测以消除杂草，和/或执行疾病检测或害虫检测以施用杀真菌剂、害虫控制产品或其他产品来解决不同的疾病状况。
40.在任何前述实施例中，自主车辆可以将被数字地存储的田地地图或种植地图下载并存储在车辆的存储器中，或经由无线联网在在线存储装置中访问被数字地存储的田地地图或种植地图，该田地地图或种植地图表示田地边界和种子放置或作物放置的位置。感知智能自主车辆或机器人与田地种植或作物地图的组合，为可靠、高效的导航和农业产品分类、检查和检测提供了统一的系统。gps位置、引导数据、机器视觉信息和田地绘制地图数据可以被用来在三维空间中投射车辆的视野，从而提高分类可靠性。因此，增强现实可视化技
术可以被用来使用数据层(诸如田地地图)来通知在田地中所捕获的数字图像中的对象。例如，在一些实施例中，自主车辆被编程为基于种植数据或播种数据来确定已被识别为植物的对象是在田地中预期作物的位置还是未预期作物的位置。基于包括指示已种植区的元数据的田地地图数据，自主车辆对预期的田地植物位置和预期的田地植物位置的被数字地存储的数据进行动作以实现粗略水平的植物分类。自主车辆可以被编程为，响应于在预期的田地地理位置中识别植物的图像，确定该对象是作物的一部分。类似地，自主车辆可以被编程为，响应于在非预期的田地地理位置中识别植物的图像，确定该对象是不期望的产品类型，诸如杂草。
41.通过以上述方式将视觉、感测和其他数据层组合到单个混合系统中，当自主车辆正在作物田地中导航时，对象可以准确、快速和高效地被识别。当对象在非预期的田地位置中被识别时，则自主车辆可以被编程为使用高分辨率、增强的图像来帮助区分作物和非作物对象。例如，可以使用更加计算密集的技术或者通过捕获多个高分辨率图像进行分析来将诸如杂草的不期望的农业产品与作物叶片之间的视觉差异区分开来。
42.在识别和分析操作中可以使用附加数据。例如，可以使用指定田地天气和种植后天数的数据来评估植物生长模式。可以基于已存储的物候数据来预测叶片的预期结构、植物的预期高度或其他属性。在一些实施例中，确定如植物高度的宏观水平信息可以引起植物的快速扫描和标识。
43.在一个实施例中，一种计算机实现的方法包括：使用由具有数字相机的自主移动设备在穿越农业田地的同时执行的农业数据记录处理指令，接收表示在农业田地中的一个或多个植物的图像的数字图像数据，每个植物具有由农业产品类型数据表示的对应的农业产品类型，数字图像数据包括待分类的特定植物的一个或多个图像，该特定植物具有待确定的相关联的特定农业产品类型并且被种植在农业田地的一个或多个田地地理位置处，被种植的田地地理位置由田地空间地理位置数据表示；使用农业数据记录处理指令，接收表示农业田地中的自主移动设备的特定田地空间地理位置的特定田地空间地理位置数据；使用图像处理指令，响应于接收到数字图像数据和特定田地空间地理位置数据，尝试通过将特定农业产品类型与一个或多个预分类的产品类型相匹配来确定植物类型匹配；使用图像处理指令，响应于接收到数字图像数据和特定田地空间地理位置数据，尝试通过将特定田地空间地理位置与一个或多个预分类的植物地理位置相匹配来确定植物位置匹配；使用农业分类指令，响应于未能确定植物类型匹配并且未能确定植物位置匹配，传输特定农业产品的无分类通知；使用农业分类指令，响应于未能确定植物类型匹配并且确定植物位置匹配，跳过对特定农业产品的分类；使用农业分类指令，响应于确定植物类型匹配和植物位置匹配，传输关于特定农业产品的疾病分析通知；使用农业分类指令，响应于确定植物类型匹配并且未能确定植物位置匹配，传输特定农业产品的杂草分析通知；引起在与自主移动设备分离的用户计算机的图形用户接口上显示通知。
44.本公开的其他特征和方面将在附图、说明书和权利要求中变得明显。
45.2.示例农业智能计算机系统
46.2.1结构概述
47.图1被配置为执行本文所述的功能的示例计算机系统，该示例计算机系统与该系统可以与之互操作的其他装置一起在田地环境中被示出。在一个实施例中，用户102拥有、
操作或者支配在田地位置中或与田地位置相关联的田地管理者计算设备104，田地位置诸如是旨在用于农业活动的田地或用于一个或多个农业田地的管理位置。田地管理者计算机设备104被编程或者被配置为经由一个或多个网络109向农业智能计算机系统130提供田地数据106。
48.田地数据106的示例包括(a)标识数据(例如，英亩数、田地名称、田地标识符、地理标识符、边界标识符、作物标识符，以及可以被用来标识农场土地的任何其他合适的数据，诸如公共土地单位(clu)、地段和地块编号、宗地编号、地理坐标和边界、农场序列号(fsn)、农场编号、地带编号、田地编号、地区、乡镇、和/或范围)，(b)收获数据(例如，作物类型、作物品种、作物轮作、是否以有机方式栽种作物、收获日期、实际生产历史(aph)、预期产量、产量、作物价格、作物收入、谷物水分、耕作实践，以及先前的生长季节信息)，(c)土壤数据(例如，类型、组成、ph、有机物(om)、阳离子交换容量(cec))，(d)种植数据(例如，种植日期、(多个)种子类型、(多种)所种植的种子的相对成熟度(rm)、种子种群，(e)肥料数据(例如：养分类型(氮、磷、钾)、施用类型、施用日期、量、来源、方法)，(f)农药数据(例如，农药、除草剂、杀真菌剂，旨在用作植物调节剂的其他物质或物质混合物、脱叶剂、或干燥剂、施用日期、量、来源、方法)，(g)灌溉数据(例如，施用日期、量、来源、方法)，(h)天气数据(例如，降水、降雨率、预测降雨、水径流率区域、温度、风、预报、压力、能见度、云、热指数、露点、湿度、雪深度、空气质量、日出、日落)，(i)图像数据(例如，来自农业装置传感器、相机、计算机、智能电话、平板、无人驾驶飞行器、飞机或卫星的图像和光谱信息；(j)侦察观测(照片、视频、自由形式的注释、语音记录、语音转录、天气条件(温度、降水(当前和长期)、土壤水分、作物生长阶段、风速、相对湿度、露点、黑层))，以及(k)土壤、种子、作物物候、病虫害报告以及预测源和数据库。
49.数据服务器计算机108通信地耦合到农业智能计算机系统130，并且被编程或者被配置为经由(多个)网络109向农业智能计算机系统130发送外部数据110。外部数据服务器计算机108可以由与农业智能计算机系统130的法人或实体相同的法人或实体拥有或操作，或者由诸如政府机关、非政府组织(ngo)和/或私人数据服务提供方的不同的人或实体拥有或操作。外部数据的示例包括天气数据、图像数据、土壤数据、或与作物产量有关的统计数据等。外部数据110可以由与田地数据106相同类型的信息组成。在一些实施例中，外部数据110由拥有和/或操作农业智能计算机系统130的同一实体拥有的外部数据服务器108提供。例如，农业智能计算机系统130可以包括专门专注于可能以其他方式从第三方源所获取的数据类型(诸如天气数据)的数据服务器。在一些实施例中，外部数据服务器108实际上可以被并入系统130内。
50.农业装置111可以具有被固定在其上的一个或多个远程传感器112，这些传感器经由农业装置111直接或间接地通信地耦合到农业智能计算机系统130，并且被编程或者被配置为向农业智能计算机系统130发送传感器数据。农业装置111的示例包括拖拉机、联合收割机、收割机、播种机、卡车、施肥设备、无人驾驶飞行器、以及通常为移动机械并且可以被用于与农业相关联的任务的任何其他项的物理机械或硬件。在一些实施例中，装置111的单个单元可以包括在装置上的网络中本地耦合的多个传感器112；控制器局域网(can)是可以被安装在联合收割机或收割机中的这样的网络的示例。应用控制器114经由(多个)网络109通信地耦合到农业智能计算机系统130，并且被编程或者被配置为从农业智能计算机系统
130接收用以控制农业车辆或器具的操作参数的一个或多个脚本。例如，控制器局域网(can)总线接口可以被用来支持从农业智能计算机系统130到农业装置111的通信，诸如从加利福利亚的旧金山的克莱米特公司可获得的climate fieldview drive如何被使用的那样。传感器数据可以由与田地数据106类型相同的类型的信息组成。在一些实施例中，远程传感器112可以不被固定到农业装置111，而是可以远程位于田地中并且可以与网络109通信。
51.装置111可以包括用被编程为具有驾驶室应用的驾驶室计算机115，驾驶室应用可以包括用于设备104的移动应用的版本或变体，其在本文的其他节中被进一步描述。在一个实施例中，驾驶室计算机115包括紧凑型计算机，通常是平板大小的计算机或智能电话，具有被安装在装置111的操作员驾驶室内的图形屏幕显示器(诸如彩色显示器)。驾驶室计算机115可以实现本文中针对移动计算机设备104所进一步描述的操作和功能中的一些或全部操作或功能。
52.(多个)网络109宽泛地表示包括局域网、广域网、互连网络或互联网的一个或多个数据通信网络的任何组合，该一个或多个数据通信网络使用包括地面链路或卫星链路的有线或无线链路中的任何链路。(多个)网络可以由提供图1的各种元件之间的数据交换的任何介质或机制来实现。图1的各种元件还可以具有直接(有线或无线)通信链路。传感器112、控制器114、外部数据服务器计算机108和系统的其他元件每个都包括与(多个)网络109兼容的接口，并且被编程或者被配置为使用标准化协议(诸如tcp/ip、蓝牙、can协议，以及诸如http、tls的更高层协议等)来跨网络通信。
53.农业智能计算机系统130被编程或者被配置为从田地管理者计算设备104接收田地数据106，从外部数据服务器计算机108接收外部数据110，以及从远程传感器112接收传感器数据。农业智能计算机系统130还可以被配置为托管、使用或者执行一个或多个计算机程序、其他软件元件、数字地被编程的逻辑(诸如fpga或asic)或其任何组合，以使用在本公开其他节中进一步描述的方式执行对数据值的转换和存储、一个或多个田地上的一种或多种作物的数字模型构建、建议和通知的生成、以及脚本的生成和脚本向应用控制器114的发送。
54.在一个实施例中，农业智能计算机系统130被编程为具有或者包括通信层132、表示层134、数据管理层140、硬件/虚拟化层150以及模型和田地数据储存库(repository)160。在该上下文中，“层”是指电子数字接口电路、微控制器、诸如驱动程序之类的固件、和/或计算机程序或其他软件元素的任何组合。
55.通信层132可以被编程或者被配置为执行输入/输出接口功能，包括分别向田地管理者计算设备104、外部数据服务器计算机108和远程传感器112发送针对田地数据、外部数据和传感器数据的请求。通信层132可以被编程或者被配置为向模型和田地数据储存库160发送接收到的数据以存储为田地数据106。
56.表示层134可以被编程或者被配置为生成要在田地管理者计算设备104、驾驶室计算机115或者通过网络109耦合到系统130的其他计算机上被显示的图形用户接口(gui)。gui可以包括控件，该控件用于输入要被发送到农业智能计算机系统130的数据，生成针对模型和/或建议的请求，和/或显示建议、通知、模型、以及其他田地数据。
57.数据管理层140可以被编程或者被配置为管理涉及储存库160和系统的其他功能
元件的读操作和写操作，包括在系统的功能元件和储存库之间被传送的查询和结果集。数据管理层140的示例包括jdbc、sql服务器接口代码和/或hadoop接口代码等。储存库160可以包括数据库。如本文所使用的，术语“数据库”可以是指数据体、关系数据库管理系统(rdbms)或者是指这两者。如本文所使用的，数据库可以包括数据的任何集合，包括分层数据库，关系数据库、平面文件数据库、对象关系数据库、面向对象的数据库、以及被存储在计算机系统中的记录或数据的任何其他结构化集合。rdbms的示例包括但不限于mysql、db2、sql server、和postgresql数据库。然而，可以使用支持本文所描述的系统和方法的任何数据库。
58.当田地数据106没有经由与农业智能计算机系统交互的一个或多个农业机器或农业机器设备直接被提供给农业智能计算机系统时，可以经由(由农业智能计算机系统服务的)用户设备上的一个或多个用户接口提示用户输入这样的信息。在一个示例实施例中，用户可以通过访问(由农业智能计算机系统服务的)用户设备上的地图并且选择已经在该地图上以图形方式示出的特定clu来指定标识数据。在一个备选实施例中，用户102可以通过访问(由农业智能计算机系统130服务的)用户设备上的地图并且在该地图之上绘制田地边界来指定标识数据。这样的clu选择或地图绘制表示地理标识符。在备选实施例中，用户可以通过经由用户设备访问来自美国农业部农场服务局或其他源的(以形状文件或类似格式所提供的)田地标识数据来指定标识数据，并且向农业智能计算机系统提供这样的田地标识数据。
59.在一个示例实施例中，农业智能计算机系统130被编程为生成并且引起显示包括用于数据输入的数据管理器的图形用户接口。在一个或多个田地已经使用上文描述的方法被标识之后，数据管理器可以提供一个或多个图形用户接口小部件，该小部件在被选择时可以标识对田地、土壤、作物、耕作、或养分实践的改变。数据管理器可以包括时间线视图、电子表格视图和/或一个或多个可编辑程序。
60.图5描绘了数据条目的时间线视图的示例实施例。使用图5中所描绘的显示，用户计算机可以输入对特定田地的选择和用于事件添加的特定日期。在时间线顶部所描述的事件可以包括氮、种植、实践和土壤。为了添加氮施用事件，用户计算机可以提供输入来选择氮标签。然后，用户计算机可以在时间线上选择针对特定田地的位置，以便指示在所选择田地上的氮施用。响应于接收到在时间线上针对特定田地的位置的选择，数据管理器可以显示数据条目叠加，从而允许用户计算机输入关于氮施用、种植过程、土壤施用、耕作程序、灌溉实践、或者与特定田地有关的其他信息的数据。例如，如果用户计算机选择时间线的部分并指示氮施用，则数据条目叠加可以包括用于输入所施用的氮的量、施用日期、所使用的肥料类型、以及与氮施用有关的任何其他信息的栏。
61.在一个实施例中，数据管理器提供用于创建一个或多个程序的接口。在此上下文中，“程序”是指关于氮施用、种植过程、土壤施用、耕作过程、灌溉实践、或者可能与一个或多个田地有关的其他信息的数据的集合，这些数据可以被存储在数字数据存储装置中以供在其他操作中作为集合重用。在程序已经被创建之后，其可以在概念上被应用到一个或多个田地，并且该程序的引用可以与标识这些田地的数据相关联地被存储在数字存储装置中。因此，代替于手动录入与针对多个不同田地的相同氮施用有关的完全相同的数据，用户计算机可以创建指示氮的特定施用的程序，并且然后向多个不同田地应用该程序。例如，在
图5的时间线视图中，顶部的两条时间线选择了“春季施用”程序，该程序包括在四月初每英亩施用150磅氮(150lbs n/ac)。数据管理器可以提供接口用于编辑程序。在一个实施例中，当特定程序被编辑时，已经选择该特定程序的每个田地被编辑。例如，在图5中，如果“春季施用”程序被编辑以将氮施用减少到每英亩130磅氮，则基于所编辑的程序，顶部的两个田地可以被更新为具有减少的氮施用。
62.在一个实施例中，响应于接收到对已经选择了程序的田地的编辑，数据管理器移除该田地与所选择的程序的对应。例如，如果氮施用被添加到图5顶部的田地，则该接口可以更新以指示“春季施用”程序不再被应用于该顶部的田地。尽管四月初的氮施用可能保留，但是对“春季施用”程序的更新不会更改四月的氮施用。
63.图6描绘了数据条目的电子表格视图的示例实施例。使用图6中所描绘的显示，用户可以创建和编辑针对一个或多个田地的信息。如图6中所描绘，数据管理器可以包括电子表格，该电子表格用于输入关于氮、种植、实践和土壤的信息。为了编辑特定的条目，用户计算机可以在电子表格中选择特定条目并且更新值。例如，图6描绘了正在进行的针对第二田地的目标产量值的更新。另外，用户计算机可以选择一个或多个田地以便应用一个或多个程序。响应于接收到针对特定田地的程序选择，数据管理器可以基于所选择的程序自动完成针对特定田地的条目。与时间线视图一样，响应于接收到对特定程序的更新，数据管理器可以更新针对与该程序相关联的每个田地的条目。另外，响应于接收到针对田地的条目中的一个条目的编辑，数据管理器可以移除所选择的程序与该田地的对应。
64.在一个实施例中，模型和田地数据被存储在模型和田地数据储存库160中。模型数据包括针对一个或多个田地所创建的数据模型。例如，作物模型可以包括一个或多个田地上的作物发育的数字构建的模型。在此上下文中，“模型”是指彼此相关联的可执行指令和数据值的电子数字存储的集合，它们能够接收程序的或其他数字的调用(call)、调用(invocation)或解析请求并且基于指定输入值来响应该程序的或其他数字的调用、调用或解析请求，以产生一个或多个被存储或被计算的输出值，这些输出值可以充当计算机实现的建议、输出数据显示、或机器控制等的基础。本领域技术人员发现使用数学方程式来表达模型是方便的，但是这种表达形式并不将本文公开的模型局限为抽象概念；而是，本文中的每个模型都以被存储的可执行指令和数据的形式在计算机中具有实践应用，该被存储的可执行指令和数据使用计算机来实现模型。模型可以包括一个或多个田地上的过去事件的模型，一个或多个田地的当前状态的模型和/或一个或多个田地的预测事件的模型。模型和田地数据可以被存储在存储器中的数据结构中，被存储在数据库表中的行中，被存储在平面文件或电子表格中，或者被存储在其他形式的被存储的数字数据中。
65.在一个实施例中，图像检索指令136包括农业智能计算机系统130中主存储器(诸如ram)的一组一个或多个页面，可执行指令已经被加载到该一组页面中，并且该一组页面在被执行时使农业智能计算机系统执行参考那些模块在本文描述的功能或操作。例如，图像检索指令136可以包括ram中的一组页面，该组一组页面包含指令，这些指令在被执行时引起执行从如本文进一步描述的无人飞行器系统(uas)携带的成像系统700获取数据以用于进一步分析。
66.实施例可以在云计算中心中的诸如虚拟机实例的联网分布式计算机系统中使用利用软件而被编程的过程来实现，或者在如本文进一步描述的那样被编程的具有处理器的
自主车辆中被实现，或者在自主车辆软件和在云中执行的其他软件或与自主车辆分离的主机计算机的组合中被实现。在一个实施例中，农业智能计算机系统130包括农业对象识别系统170，该农业对象识别系统170由可执行指令的集合组成，这些可执行指令在被执行时引起执行本文描述的功能或操作。例如，农业对象识别系统170包括农业数据记录处理指令172、图像处理指令174和农业分类指令，这些指令在被执行时使计算机系统130执行本文中参考那些模块描述的功能或操作。在另一实施例中，农业对象识别系统170可以被安装(mounted)、集成、安装(installed)到自主移动设备或机器人中或者连接到自主移动设备或机器人，而不是在计算机系统130内。在任一实施例中，农业对象识别系统170可以包括ram中的一组页面，该一组页面包含指令，这些指令在被执行时引起执行本文描述的目标识别功能。
67.指令可以在cpu的指令集中的机器可执行代码中并且可以基于源代码而被编译，源代码单独或者与javascript中的脚本、其他脚本语言和其他编程源文本结合地以java、c、c 、objective-c或任何其他人类可读编程语言或环境编写。术语“页面”旨在广义地指代主存储器内的任何区域，并且在系统中使用的特定术语可以取决于存储器架构或处理器架构而变化。在另一实施例中，图像检索指令136还可以表示源代码的一个或多个文件或项目，该源代码的一个或多个文件或项目被数字地存储在诸如非易失性ram或磁盘存储装置的大容量存储设备中，存储在农业智能计算机系统130或分离的储存库系统中，当其被编译或者被解释时引起生成可执行指令，该可执行指令在被执行时使农业智能计算机系统执行本文中参考那些模块所描述的功能或操作。换句话说，附图可以表示程序员或软件开发者组织和安排源代码用于稍后将其编译成可执行文件、或者解释成字节码或等效体以供农业智能计算机系统130执行的方式。
68.硬件/虚拟化层150包括一个或多个中央处理单元(cpu)、存储器控制器，以及计算机系统的其他设备、组件或元件，诸如易失性或非易失性存储器、诸如磁盘的非易失性存储装置，以及例如结合图4所图示和描述的i/o设备或接口。层150还可以包括被配置为支持虚拟化、容器化或者其他技术的被编程指令。
69.出于图示清楚的示例的目的，图1示出了某些功能元件的有限数目的实例。然而，在其他一些实施例中，可以有任何数目的这样的元件。例如，实施例可以使用与不同用户相关联的数千或数百万个不同的移动计算设备104。此外，系统130和/或外部数据服务器计算机108可以使用两个或更多个的处理器、核心、集群、或者物理机或虚拟机的实例而被实现，被配置在离散位置或者与其他元件被共置在数据中心、共享计算设施或者云计算设施中。
70.2.2.应用程序概述
71.在一个实施例中，使用被加载到一个或多个通用计算机中、并且使用一个或多个通用计算机而被执行的一个或多个计算机程序或其他软件元件在本文中描述的功能的实现将得通用计算机被配置为特别被适配以执行本文所述功能的特定机器或计算机。此外，本文进一步描述的流程图中的每个流程图可以单独地或者与本文所述的过程和功能的描述结合地充当算法、计划或方向，这些算法、计划或方向可以被用来对计算机或逻辑进行编程以实现所描述的功能。换句话说，本文中的所有散文文本以及所有附图一起旨在，与具有适合这类发明和公开的技能水平的人员的技能和知识相结合来提供算法、计划或方向的公开，该公开足以允许技术人员对计算机进行编程以执行本文中所描述的功能。
72.在一个实施例中，用户102使用配置有操作系统和一个或多个应用程序或app的田地管理者计算设备104与农业智能计算机系统130交互；田地管理者计算设备104还可以在程序控制或逻辑控制下独立并且自动地与农业智能计算机系统互操作，并且并不总是要求直接的用户交互。田地管理者计算设备104宽泛地表示智能电话、pda、平板计算设备、膝上型计算机、台式计算机、工作站、或者能够传输和接收信息并且执行本文所描述的功能的任何其他计算设备中的一个或多个。田地管理者计算设备104可以使用被存储在田地管理者计算设备104上的移动应用经由网络通信，并且在一些实施例中，该设备可以使用电缆113或连接器耦合到传感器112和/或控制器114。用户102可以结合系统130一次拥有、操作或者支配和使用多于一个的田地管理者计算设备104。
73.移动应用可以经由网络向一个或多个移动计算设备提供客户端侧功能性。在一个示例实施例中，田地管理者计算设备104可以经由web浏览器或者本地客户端应用或app来访问移动应用。田地管理者计算设备104可以使用基于网络的协议或格式(诸如http、xml和/或json)或者app特定的协议来向一个或多个前端服务器传输数据并且从一个或多个前端服务器接收数据。在一个示例实施例中，数据可以采取到移动计算设备中的请求和用户信息输入(诸如田地数据)的形式。在一些实施例中，移动应用与田地管理者计算设备104上的位置跟踪硬件和软件进行交互，该位置跟踪硬件合软件使用诸如无线电信号的多边定位、全球定位系统(gps)、wifi定位系统或者其他移动定位方法的标准跟踪技术来确定田地管理者计算设备104的位置。在一些情况下，通过查询设备的操作系统、或者请求设备上的app从操作系统获取数据，可以获取与设备104、用户102和/或(多个)用户账户相关联的位置数据或者其他数据。
74.在一个实施例中，田地管理者计算设备104向农业智能计算机系统130发送田地数据106，田地数据106包括或包含但不限于表示下列一项或多项的数据值：一个或多个田地的地理位置、一个或多个田地的耕作信息、一个或多个田地中所种植的作物，以及从一个或多个田地所提取的土壤数据。田地管理者计算设备104可以响应于来自用户102的用户输入来发送田地数据106，用户输入102指定针对一个或多个田地的数据值。另外，当数据值中的一个或多个数据值变得对田地管理者计算设备104可用时，田地管理者计算设备104可以自动发送田地数据106。例如，田地管理者计算设备104可以通信地耦合到远程传感器112和/或应用控制器114。响应于接收到指示应用控制器114放水到一个或多个田地上的数据，田地管理者计算设备104可以向农业智能计算机系统130发送田地数据106，田地数据106指示已经在一个或多个田地上放水。可以使用电子数字数据来输入和传送在本公开中所标识的田地数据106，该电子数字数据使用http之上的参数化url或另一种合适的通信或消息收发协议而在计算设备之间被传送。
75.移动应用的商业示例是climate fieldview，从加利福尼亚州旧金山的克莱米特公司可商购。climate fieldview应用或者其他应用可以被修改、被扩展或者被适配，以包括尚未在本公开的申请日之前被公开的特征、功能和编程。在一个实施例中，移动应用包括集成的软件平台，该集成的软件平台允许种植者对其操作做出基于事实的决策，因为该平台组合了有关种植者田地的历史数据与种植者希望比较的任何其他数据。组合和比较可以实时并且基于科学模型被执行，该科学模型提供潜在场景以允许种植者做出更好、更明智的决策。
76.图2a和图2b图示出了当示例移动应用被加载以供执行时主存储器中指令集的示例逻辑组织的两个视图。在图2a和图2b中，每个命名的元素表示ram或其他主存储器的一个或多个页面的区域或者磁盘存储装置或其他非易失性存储装置的一个或多个块的区域，以及这些区域内的被编程指令。在一个实施例中，在图2a的视图中，移动计算机应用200包括账户田地数据摄取共享指令202、概述和警报指令204、数字地图簿指令206、种子和种植指令208、氮指令210、天气指令212、田地健康指令214和性能指令216。
77.在一个实施例中，移动计算机应用200包括账户、田地、数据摄取、共享指令202，它们被编程为经由手动上传或api从第三方系统接收、转换和摄取田地数据。数据类型可以包括田地边界、产量地图、种植地图、土壤测试结果、施用地图和/或管理区等。数据格式可以包括形状文件、第三方的本机数据格式、和/或农场管理信息系统(fmis)导出等等。接收数据可以经由手动上传、具有附件的电子邮件、向移动应用推送数据的外部api、或者调用外部系统的api来将数据拉取到移动应用中的指令而发生。在一个实施例中，移动计算机应用200包括数据收件箱。响应于接收到对数据收件箱的选择，移动计算机应用200可以显示图形用户接口用于手动上传数据文件并且将上传的文件导入数据管理器。
78.在一个实施例中，数字地图簿指令206包括被存储在设备存储器中的田地地图数据层并且被编程为具有数据可视化工具和地理空间田地注释。这为种植者提供了触手可得的方便信息用于对田地性能进行参考、日志记录和视觉洞察。在一个实施例中，概述和警报指令204被编程为提供对种植者重要的内容的操作范围视图，并且提供采取行动或集中于特定问题的及时建议。这允许种植者将时间集中在需要注意的地方，以节省时间并在整个季节保持产量。在一个实施例中，种子和种植指令208被编程为提供用于基于科学模型和经验数据来进行种子选择、杂种布置和脚本创建(包括可变率(vr)脚本创建)的工具。这使种植者能够通过优化的种子购买、布置和种群来最大化产量或投资回报。
79.在一个实施例中，脚本生成指令205被编程为提供用于生成包括可变率(vr)肥力脚本的脚本的接口。该接口使种植者能够创建用于田间器具(诸如养分施用、种植和灌溉)的脚本。例如，种植脚本接口可以包括用于标识用于种植的种子类型的工具。响应于接收到对种子类型的选择，移动计算机应用200可以显示被划分成管理区的一个或多个田地，诸如作为数字地图簿指令206的部分而被创建的田地地图数据层。在一个实施例中，管理区包括土壤区以及标识每个土壤区的面板以及针对每个区的土壤名称、质地、排水或者其他田地数据。移动计算机应用200还可以在一个或多个田地的地图之上显示用于编辑或创建这样的工具，诸如用于绘制管理区(诸如土壤区)的图形工具。种植过程可以被应用到所有管理区，或者不同的种植过程可以被应用到管理区的不同子集。当脚本被创建时，移动计算机应用200可以使该脚本可用于以由应用控制器可读的格式(诸如存档或压缩格式)。附加地和/或备选地，脚本可以从移动计算机应用200直接被发送到驾驶室计算机115和/或被上传到一个或多个数据服务器并且被存储以供进一步使用。在一个实施例中，氮指令210被编程为提供通过可视化氮对作物的可用性来通知氮决策的工具。这使种植者能够通过季节期间优化的氮施用来最大化产量或投资回报。示例的被编程功能包括显示图像(诸如ssurgo图像)，以使得能够以高空间分辨率(由于它们的接近度，精细到10米或更小)，来绘制施用区和/或从子田地土壤数据(诸如从传感器获取的数据)生成的图像；上传现有的种植者定义的区；提供施用图和/或使得能够调节跨多个区的(多个)氮施用的地图；输出脚本以驱动机
械；用于海量数据录入和调整的工具；和/或用于数据可视化的地图等。在此上下文中，“海量数据录入”可以意味着录入数据一次，然后将相同的数据应用到系统中已定义的多个田地；示例数据可以包括对于相同种植者的许多田地都相同的氮施用数据，但是这样的海量数据录入适用于将任何类型的田地数据录入到移动计算机应用200中。例如，氮指令210可以被编程为接受氮种植程序和氮实践程序的定义，并且接受指定跨多个田地应用那些程序的用户输入。在此上下文中，“氮种植程序”是指关联以下项的被存储的数据的命名集合：名称、颜色代码或其他标识符、一个或多个施用日期、用于日期和量中的每个日期和量的材料或产品的类型、施用或掺入方法(诸如注入或刺入)、和/或针对日期中的每个日期的施用量或施用率、作为施用对象的作物或杂种等。在此上下文中，“氮实践程序”是指关联以下项的被存储的数据的命名集合：实践名称；先前的作物；耕作系统；主要耕作日期；被使用过的一个或多个先前的耕作系统；被使用过的施用类型(诸如有机肥)的一个或多个指示符。氮指令210还可以被编程为生成并且引起显示氮图，氮图指示植物对指定氮的使用的规划以及是否预测了盈余或短缺；例如，在一些实施例中，不同的颜色指示符可以标志盈余的量级或短缺的量级。在一个实施例中，氮图包括计算机显示设备中的图形显示，包括：多个行，每个行与田地相关联并且标识该田地；数据，其指定什么作物在田地中被种植、田地大小、田地位置和田地周界的图形表示；在每个行中，具有图形指示符的按月时间线，其指定在与月份名称相关的点处的每个氮施用和量；以及数字和/或彩色的盈余或短缺指示符，其中颜色指示量级。
80.在一个实施例中，氮图可以包括一个或多个用户输入特征(诸如刻度盘或滑动条)，以动态地改变氮种植和实践程序，使得用户可以优化其氮图。然后，用户可以使用其优化的氮图以及有关的氮种植和实践程序来实现一个或多个脚本，包括可变率(vr)肥力脚本。氮指令210也可以被编程为生成并且引起显示氮地图，该氮地图指示植物对指定氮的使用规划以及是否预测了盈余或短缺；在一些实施例中，不同颜色的指示符可以标志盈余的量级或短缺的量级。使用数字和/或彩色的盈余或短缺指示符，氮图可以显示植物对指定氮的使用的预测，以及针对过去和未来的不同时间(诸如每天、每周、每月或每年)是否预测了盈余或短缺，其中颜色指示量级。在一个实施例中，氮地图可以包括一个或多个用户输入特征(诸如刻度盘或滑动条)，以动态地改变氮种植和实践程序，使得用户可以优化其氮地图，诸如以获取优选量的盈余到短缺。然后，用户可以使用其优化的氮地图以及有关的氮种植和实践程序来实现一个或多个脚本，包括可变率(vr)肥力脚本。在其他一些实施例中，与氮指令210类似的指令可以被用于其他养分(诸如磷和钾)的施用、农药的施用以及灌溉程序。
81.在一个实施例中，天气指令212被编程为提供田地特定的最近天气数据和预报得天气信息。这使种植者能够节省时间，并且具有关于日常操作性决策得有效率的集成显示。
82.在一个实施例中，田地健康指令214被编程为提供及时的遥感图像，以突出显示应季的作物变化和潜在问题。示例被编程功能包括：云检查，以标识可能的云或云阴影；基于田地图像确定氮指数；侦察层的图形可视化以及查看和/或共享侦察笔记，侦察层包括例如与田地健康有关的层；和/或从多个源下载卫星图像，并且为种植者确定图像的优先级等。
83.在一个实施例中，性能指令216被编程为提供使用农场数据进行评估、洞察和决策的报告、分析和洞察工具。这使种植者能够通过关于为何对投资的回报处于先前水平的基于事实的结论以及对产量限制因素的洞察来寻求来年的改进结果。性能指令216可以被编
程为经由(多个)网络109向后端分析程序通信，该后端分析程序在农业智能计算机系统130和/或外部数据服务器计算机108处被执行并且被配置为分析诸如产量、杂种、种群、ssurgo、土壤测试或海拔等的度量。被编程的报告和分析可以包括产量可变性分析、基于从许多种植者所收集的匿名数据进行针对其他种植者的产量和其他度量的标杆分析、或者针对种子和种植的数据等。
84.具有以这种方式配置的指令的应用可以针对不同的计算设备平台而被实现，同时保持相同的通用用户接口外观。例如，移动应用可以被编程，以供在平板、智能电话、或者使用客户端计算机处的浏览器所访问的服务器计算机上执行。此外，被配置为用于平板计算机或智能电话的移动应用可以提供适合用于驾驶室计算机115的显示和处理能力的完整的app体验或驾驶室app体验。例如，现在参考图2b的视图，在一个实施例中，驾驶室计算机应用220可以包括地图驾驶室指令222、远程查看指令224、数据收集和传送指令226、机器警报指令228、脚本传送指令230和侦察驾驶室指令232。用于图2b的视图的指令的代码库可以与用于图2a的视图的相同，并且实现代码的可执行文件可以被编程为检测这些可执行文件正在之上执行的平台的类型，并且以通过图形用户接口仅暴露那些适合驾驶室平台或全平台的功能。这种方法使系统能够识别出适合于驾驶室内环境和驾驶室的不同技术环境的截然不同的用户体验。地图驾驶室指令222可以被编程为提供在指导机器操作中有用的田地、农场或区域的地图视图。远程查看指令224可以被编程为开启、管理机器活动的视图，并且实时地或近实时地经由无线网络、有线连接器或适配器等连接到系统130的其他计算设备提供这些机器活动的视图。数据收集和传送指令226可以被编程为开启、管理在机器传感器和控制器处所收集的数据，并且提供经由无线网络、有线连接器或适配器等向系统130传送这些数据。机器警报指令228可以被编程为检测与驾驶室相关联的机器或工具的操作问题并且生成操作员警报。脚本传送指令230可以被配置为以指令脚本的方式传送，这些指令脚本被配置为指导机器操作或数据收集。侦查驾驶室指令230可以被编程为：基于农业装置111或传感器112在田地中的位置来显示从系统130被接收的基于位置的警报和信息，以及基于农业装置111或传感器112在田地中的位置来摄取、管理基于位置的侦察观测结果并且提供向系统130传送这些基于位置的侦察观测结果。
85.2.3.计算机系统的数据摄取
86.在一个实施例中，外部数据服务器计算机108存储外部数据110，包括表示针对一个或多个田地的土壤组成的土壤数据和表示一个或多个田地上的温度和降水的天气数据。天气数据可以包括过去和当前的天气数据以及对未来天气数据的预报。在一个实施例中，外部数据服务器计算机108包括由不同实体托管的多个服务器。例如，第一服务器可以包含土壤组成数据，而第二服务器可以包括天气数据。另外，土壤组成数据可以被存储在多个服务器中。例如，一个服务器可以存储表示土壤中的沙子、淤泥和粘土的百分比的数据，而第二个服务器可以存储表示土壤中的有机物(om)的百分比的数据。
87.在一个实施例中，远程传感器112包括被编程或者被配置为产生一个或多个观测结果的一个或多个传感器。远程传感器112可以是诸如卫星的空中传感器、车辆传感器、种植设备传感器、耕作传感器、肥料或杀虫剂施用传感器、收割机传感器，以及能够从一个或多个田地接收数据的任何其他器具。在一个实施例中，应用控制器114被编程或者被配置为从农业智能计算机系统130接收指令。应用控制器114还可以被编程或者被配置为控制农业
车辆或器具的操作参数。例如，应用控制器可以被编程或者被配置为控制车辆(诸如拖拉机)、种植设备、耕作设备、肥料或杀虫剂设备、收割机设备或者其他农场器具(诸如水阀)的操作参数。其他一些实施例可以使用传感器和控制器的任何组合，以下仅仅是其被选择的示例。
88.系统130可以在用户102的控制下海量地从已经将数据贡献给共享数据库系统的大量种植者那里或者摄取数据。当一个或多个用户控制的计算机操作被请求或者被触发以获得供系统130使用的数据时，这种获取数据的形式可以被称为“手动数据摄取”。例如，从加利福尼亚州旧金山的克莱米特公司可商购的climate fieldview应用可以被操作将数据导出到系统130，以供存储在储存库160中。
89.例如，种子监视器系统既可以控制播种机装置组件也可以获取种植数据，包括经由信号线束来自种子传感器的信号，该信号线束包括can主干网和用于注册和/或诊断的点对点连接。种子监视器系统可以被编程或者被配置为经由驾驶室计算机115或者系统130内的其他设备向用户显示种子间距、种群和其他信息。在美国专利号8,738,243和美国专利公开20150094916中公开了示例，并且本公开假定了解那些其他专利公开。
90.同样，产量监视器系统可以包含用于收割机装置的产量传感器，该产量监视器系统向驾驶室计算机115或系统130内的其他设备发送产量测量数据。产量监视器系统可以利用一个或多个远程传感器112来获取联合收割机或其他收割机中的谷物水分测量结果，并且经由驾驶室计算机115或系统130内的其他设备向用户传输这些测量结果。
91.在一个实施例中，可以与在本文其他地方描述的类型的任何移动车辆或装置一起使用的传感器112的示例包括运动学传感器和定位传感器。运动学传感器可以包括任何速度传感器，诸如雷达或车轮速度传感器、加速度计、或陀螺仪。定位传感器可以包括gps接收器或收发器、或者被编程为基于附近的wifi热点来确定位置的基于wifi的定位或地图制作app等等。
92.在一个实施例中，可以与拖拉机或其他移动车辆一起使用的传感器112的示例包括引擎速度传感器、燃料消耗传感器、与gps或雷达信号交互的面积计数器或距离计数器、pto(动力输出装置)速度传感器，被配置为检测液压参数(诸如压力或流量)和/或液压泵速度的拖拉机液压传感器、轮速传感器或轮滑传感器。在一个实施例中，可以与拖拉机一起使用的控制器114的示例包括：液压方向控制器、压力控制器、和/或流量控制器；液压泵速度控制器；速度控制器或调速器；挂钩定位控制器；或提供自动转向的车轮定位控制器。
93.在一个实施例中，可以与诸如播种机、条播机或空气播种机的种子种植设备一起使用的传感器112的示例包括：种子传感器，其可以是光学、电磁或冲击传感器；下压力传感器，诸如负载销、负载传感器、压力传感器；土壤属性传感器，诸如反射率传感器、水分传感器、电导率传感器、光学残留传感器或者温度传感器；组件操作标准传感器，诸如种植深度传感器、下压力缸压力传感器、种子盘速度传感器、种子驱动电机编码器、种子输送机系统速度传感器或者真空度传感器；或者农药施用传感器，诸如光学或其他电磁传感器、或者冲击传感器。在一个实施例中，可以与这样的种子种植设备一起使用的控制器114的示例包括：工具栏折叠控制器，诸如用于与液压缸相关联的阀的控制器；下压力控制器，诸如与气压缸、安全气囊或者液压缸相关联的阀的控制器，该控制器被编程用于将下压力施用到个体的行单元或整个播种机框架上；种植深度控制器，诸如线性致动器；计量控制器，诸如电
动排种器驱动马达、液压排种器驱动马达或者刈幅控制离合器；杂种选择控制器，诸如排种器驱动马达，或者被编程用于选择性地允许或阻止种子或空气种子混合物向排种器或中央散装料斗运送种子或者从排种器或中央散装料斗运送种子；计量控制器，诸如电动排种器驱动马达或者液压排种器驱动马达；种子输送机系统控制器，诸如用于带式种子运送输送机马达的控制器；标记控制器，诸如用于气动或液压致动器的控制器；或者农药施用率控制器，诸如计量驱动控制器、孔口尺寸或定位控制器。
94.在一个实施例中，可以与耕作设备一起使用的传感器112的示例包括：用于诸如柄或盘的工具的定位传感器；用于这种工具的工具定位传感器，该定位传感器被配置为检测深度、耙组角或者横向间距；下压力传感器；或者牵引力传感器。在一个实施例中，可以与耕作设备一起使用的控制器114的示例包括下压力控制器或工具定位控制器，诸如被配置为控制工具深度、耙组角或者横向间距的控制器。
95.在一个实施例中，可以与用于施用肥料、杀虫剂、杀真菌剂等的装置(诸如播种机上启动肥系统、底土肥料施用器、或肥料喷雾机)相关联使用的传感器112的示例包括：流体系统标准传感器，诸如流量传感器或压力传感器；指示哪个喷头阀或流体管线阀为打开的传感器；与罐相关联的传感器，诸如液位传感器；分段或系统范围的供应线传感器，或行专用的供应线传感器；或运动学传感器，诸如被安置在喷雾机喷杆上的加速度计。在一个实施例中，可以与这种装置一起使用的控制器114的示例包括：泵速度控制器；被编程以控制压力、流量、方向、pwm等的阀控制器；或定位致动器，诸如针对喷杆高度、底土层深度或动臂定位。
96.在一个实施例中，可以与收割机一起使用的传感器112的示例包括：产量监视器，诸如冲击板应变仪或定位传感器、电容式流量传感器、负载传感器、重量传感器、或者与升降机或螺旋钻相关联的扭矩传感器、或光学或其他电磁谷物高度传感器；谷物水分传感器，诸如电容式传感器；谷物损失传感器，包括冲击、光学或电容式传感器；割台操作标准传感器，诸如割台高度传感器、割台类型传感器、台面板间隙传感器、进料器速度和拨禾轮速度传感器；分离器操作标准传感器，诸如凹板间隙、转子速度、闸瓦间隙或颖壳筛间隙传感器；针对定位、操作或速度的螺旋钻传感器；或者引擎转速传感器。在一个实施例中，可以与收割机一起使用的控制器114的示例包括：针对诸如割台高度、割台类型、台面板间隙、进料器速度或拨禾轮速度等元素的割台操作标准控制器；以及针对诸如凹板间隙、转子速度、闸瓦间隙或颖壳筛间隙的特征的分离器操作标准控制器；或者针对定位、操作或速度的螺旋钻控制器。
97.在一个实施例中，可以与谷物推车一起使用的传感器112的示例包括重量传感器、或者针对螺旋钻定位、操作或速度的传感器。在一个实施例中，可以与谷物推车一起使用的控制器114的示例包括针对螺旋钻定位、操作或速度的控制器。
98.在一个实施例中，传感器112和控制器114的示例可以被安装在无人驾驶飞行器(uav)装置或“无人机”中。这样的传感器可以包括具有检测器的相机，该检测器对包括可见光、红外、紫外线、近红外(nir)等在内的电磁频谱的任何范围都有效；加速度计；高度计；温度传感器；湿度传感器；皮托管传感器或者其他空速或风速传感器；电池寿命传感器；或者雷达发射器和反射雷达能量检测装置。这样的控制器可以包括引导或马达控制装置、控制表面控制器、相机控制器，或者被编程为打开任何前述传感器、操作任何前述传感器、从任
何前述传感器获取数据、管理和配置任何前述传感器的控制器。在美国专利申请号14/831,165中公开了示例，并且本公开假定了解其他专利公开。
99.在一个实施例中，传感器112和控制器114可以被贴附到土壤采样和测量装置，该装置被配置或者被编程为对土壤采样并且执行土壤化学测试、土壤水分测试，以及其他与土壤有关的测试。例如，可以使用在美国专利号美国专利号8,767,194和美国专利号no.8,712,148中公开的装置，并且本公开假定了解那些专利公开。
100.在另一实施例中，传感器112和控制器114可以包括用于监视田地的天气条件的天气设备。例如，在国际专利申请号pct/us2016/029609中公开的装置可以被使用，并且本公开假定了解那些专利公开。
101.2.4.过程概述-农艺模型训练
102.在一个实施例中，农业智能计算机系统130被编程或者被配置为创建农艺模型。在此上下文中，农艺模型是农业智能计算机系统130的存储器中包括田地数据106的数据结构，诸如针对一个或多个田地的标识数据和收获数据。农艺模型还可以包括计算出的农艺属性，农艺属性描述可能影响田间一种或多种作物生长的条件或一种或多种作物的特性，或其描述两者。另外，农艺模型可以包括基于农艺因素的建议，诸如作物建议、灌溉建议、种植建议、以及收获建议。农艺因素还可以被用来估计与一种或多种作物有关的结果，诸如农艺产量。作物的农艺产量是对所生产作物的数量的估计，或者在某些示例中是从所生产作物获取的收入或利润。
103.在一个实施例中，农业智能计算机系统130可以使用预配置的农艺模型来计算与当前接收到的一个或多个田地的位置和作物信息有关的农艺属性。预配置的农艺模型基于先前所处理的田地数据，包括但不限于标识数据、收获数据、肥料数据和天气数据。预配置的农艺模型可能已经被交叉验证，以确保模型的准确度。交叉验证可以包括与地面实况的比较，该比较将预测结果与田地上的实际结果相比较，诸如将降雨估计与提供相同或附近位置的天气数据的雨量计或传感器相比较，或者将氮含量的估计与土壤样本测量相比较。
104.图3图示出了被编程的过程，农业智能计算机系统通过该过程使用由一个或多个数据源提供的田地数据来生成一个或多个预配置的农艺模型。图3可以充当用于将农业智能计算机系统130的功能元件编程为执行现在所描述的操作的算法或指令。
105.在框305处，农业智能计算机系统130被配置或者被编程为实现对从一个或多个数据源被接收的田地数据的农艺数据预处理。出于去除噪声以及失真效应(包括可能偏置接收到的田地数据值的测量离群值)的目的，可以对从一个或多个数据源接收的田地数据进行预处理。农艺数据预处理的实施例可以包括但不限于：去除通常与离群值数据值相关联的数据值、已知不必要地使其他数据值倾斜的特定测量数据点，被用来去除或降低来自噪声的加性或乘性效应的数据平滑技术，以及被用来提供正数据输入和负数据输入之间的清楚区别的其他滤波或数据推导技术。
106.在框310处，农业智能计算机系统130被配置或者被编程为使用经预处理的田地数据来执行数据子集选择，以便标识对初始的农艺模型生成有用的数据集。农业智能计算机系统130可以实现数据子集选择技术，包括但不限于遗传算法方法、所有子集模型方法、顺序搜索方法、逐步回归方法、粒子群优化方法，以及蚁群优化方法。例如，基于自然选择和遗传学的进化原理，遗传算法选择技术使用自适应启发式搜索算法来确定和评估经预处理的
农艺数据内的数据集。
107.在框315处，农业智能计算机系统130被配置或者被编程为实现田地数据集评估。在一个实施例中，通过创建农艺模型并且使用针对所创建的农艺模型的特定质量阈值来评估特定的田地数据集。可以使用交叉验证技术来比较农艺模型，包括但不限于留一交叉验证均方根误差(rmsecv)、均值绝对误差和均值百分比误差。例如，rmsecv可以通过比较由农艺模型创建的预测农艺属性值与被收集并且被分析的历史农艺属性值来对农艺模型进行交叉验证。在一个实施例中，农艺数据集评估逻辑被用作反馈回路，其中不满足所配置的质量阈值的农艺数据集在未来的数据子集选择步骤期间被使用(框310)。
108.在框320处，农业智能计算机系统130被配置或者被编程为基于经交叉验证的农艺数据集来实现农艺模型创建。在一个实施例中，农艺模型创建可以实现多变量回归技术以创建预配置的农艺数据模型。
109.在框325处，农业智能计算机系统130被配置或者被编程为存储预配置的农艺数据模型，以用于未来的田地数据评估。
110.2.5实现示例-硬件概述
111.根据一个实施例，本文描述的技术由一个或多个专用计算设备实现。专用计算设备可以被硬连线以执行这些技术，或者可以包括数字电子设备，诸如一个或多个经过永久编程以执行这些技术的专用集成电路(asic)或现场可编程门阵列(fpga)，或者可以包括一个或多个通用硬件处理器，该一个或多个硬件处理器被编程为以固件、存储器、其他存储装置或者组合来根据程序指令执行这些技术。这样的专用计算设备还可以将定制的硬连线逻辑、asic或者fpga与定制的编程相结合来达成这些该技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备，或者是并入硬连线和/或程序逻辑以实现这些技术的任何其他设备。
112.例如，图4是图示出可以在其上实现本发明的实施例的计算机系统400的框图。计算机系统400包括总线402或者用于传送信息的其他通信机制，以及与总线402耦合用于处理信息的硬件处理器404。硬件处理器404可以是例如通用微处理器。
113.计算机系统400还包括耦合到总线402的主存储器406(诸如随机存取存储器(ram)或其他动态存储设备)，用于存储信息和要由处理器404执行的指令。主存储器406还可以被用于在执行要由处理器404执行的指令期间存储临时变量或其他中间信息。当这样的指令被存储在处理器404可访问的非瞬态存储介质中时，将计算机系统400渲染成被定制为执行指令中所指定的操作的专用机器。
114.计算机系统400还包括耦合到总线402的只读存储器(rom)408或其他静态存储设备，用于存储静态信息和用于处理器404的指令。诸如磁盘、光盘、固态驱动器的存储设备410被提供并耦合到总线402以存储信息和指令。
115.计算机系统400可以经由总线402耦合到诸如阴极射线管(crt)之的显示器412，用于向计算机用户显示信息。包括字母数字键和其他键的输入设备414耦合到总线402，用于向处理器404传送信息和命令选择。另一类型的用户输入设备是光标控件416，诸如鼠标、轨迹球或光标方向键，用于向处理器404传送方向信息和命令选择以及用于控制显示器412上的光标移动。该输入设备通常在两个轴线(第一轴线(例如x)和第二轴线(例如y))上具有两个自由度，这允许设备指定平面中的定位。
116.计算机系统400可以使用定制的硬连线逻辑、一个或多个asic或fpga、固件和/或程序逻辑来实现本文所述的技术，它们与计算机系统结合使计算机系统400成为专用机器或者将计算机系统400编程为专用机器。根据一个实施例，本文的技术由计算机系统400响应于处理器404执行主存储器406中所包含的一个或多个指令的一个或多个序列来执行。这样的指令可以从另一存储介质(诸如存储设备410)被读取到主存储器406中。执行主存储器406中所包含的指令的序列使处理器404执行本文所描述的处理步骤。在备选实施例中，可以使用硬连线电路装置来代替软件指令或者与软件指令结合使用硬连线电路。
117.本文所使用的术语“存储介质”是指存储使得机器以特定方式操作的数据和/或指令任何非瞬态介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘、磁盘或固态驱动器，诸如存储设备410。易失性介质包括动态存储器，诸如主存储器406。存储介质的常见形式包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、cd-rom、任何其他光学数据存储介质、具有有孔图案的任何物理介质、ram、prom和eprom、flash-eprom、nvram、任何其他存储器芯片或盒式磁带。
118.存储介质不同于传输介质，但是可以与传输介质结合使用。传输介质参与存储介质之间的信息传送。例如，传输介质包括同轴电缆、铜线和光纤，包括构成总线402的导线。传输介质还可以采取声波或光波的形式，诸如在无线电波和红外数据通信期间所生成的那些声波或光波。
119.各种形式的介质可以参与将一个或多个指令的一个或多个序列携带到处理器404以供执行。例如，指令最初可以被承载在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并且使用调制解调器通过电话线来发送指令。在计算机系统400本地的调制解调器可以在电话线上接收数据，并且使用红外发射器将数据转换为红外信号。红外检测器可以接收红外信号中承载的数据，并且适当的电路装置可以将数据置于总线402上。总线402将数据承载到主存储器406，处理器404从主存储器406取回并且执行指令。由主存储器406接收的指令可以可选地在处理器404执行之前或之后被存储在存储设备410上。
120.计算机系统400还包括耦合到总线402的通信接口418。通信接口418提供耦合到网络链路420的双向数据通信，网络链路420连接到局域网422。例如，通信接口418可以是集成服务数字网络(isdn)卡、电缆调制解调器、卫星调制解调器，或者提供到对应类型的电话线的数据通信连接的调制解调器。作为另一示例，通信接口418可以是提供到兼容的lan的数据通信连接的局域网(lan)卡。无线链路也可以被实现。在任何这样的实现中，通信接口418发送和接收电信号、电磁信号或者光信号，这些信号承载表示各类信息的数字数据流。
121.网络链路420通常向其他数据设备提供通过一个或多个网络的数据通信。例如，网络链路420可以向主机计算机424或者向由互联网服务提供商(isp)426操作的数据设备提供通过本地网络422的连接。isp426转而通过现在通常称为“互联网”428的全球分组数据通信网络来提供数据通信服务。局域网422和互联网428两者都使用承载数字数据流的电信号、电磁信号或者光信号。通过各种网络的信号和在网络链路420上并且通过通信接口418的信号是传输介质的示例形式，这些信号承载去往和来自计算机系统400的数字数据。
122.计算机系统400可以通过(多个)网络、网络链路420和通信接口418来发送消息并且接收包括程序代码的数据。在互联网示例中，服务器430可以通过互联网428、isp 426、本
地网络422和通信接口418来传输所请求的针对应用程序的代码。
123.所接收的代码可以在其被接收时由处理器404执行，和/或被存储在存储设备410或者其他非易失性存储器中以供稍后执行。
124.3.0示例自主农业分类系统
125.3.1概述
126.农场维护措施可以涉及对植物健康的常规季节性田地检查，以检测不期望的和非种植的对象。通过基于实时植物类型分类预测数据的比较、基于田地植物和田地地理位置测量的数字图像以及预先分类的植物类型来检测植物类型，田地检查可以被执行。田地图像数据和田地地理位置测量的准确度影响可靠植物分类。尽管本公开的一些部分讨论了对单个种植田地的分类和检测，但是实施例可以与任何数目的田地一起使用。
127.在一个实施例中，处理田地中的作物的图像数据、接收准确的田地地理位置数据、以及访问数字田地种植地图可以被用来在三维空间中投影田地中的植物的精确位置，从而提高农业产品检测和分类的准确度和可靠性。在一个实施例中，移动自主农业设备或机器人包括机载gps接收器、通过接近度来检测对象的一个或多个引导传感器、以及一个或多个高分辨率图像捕获设备。此外，在一个实施例中，设备或机器人在数字存储器中存储具有元数据的田地地图，或者经由无线联网接口从单独的数字数据存储中获取具有元数据的田地地图，该元数据指定田地的行、作物或其他特征。该装置被编程为在在作物田地行进的同时执行植物分类。
128.在一个实施例中，在田地中检测到的植物的特征和位置针对所存储的田地地图中的已知位置和特征进行匹配。分类是基于移动自主设备在作物田地行进的同时的匹配结果而实时被确定的。
129.在一个实施例中，一个或多个高分辨率图像捕获设备可以包括一个或多个数字相机，例如分别用于选择性地捕获高分辨率和低分辨率数字图像的高分辨率相机和低分辨率相机。当自主农业设备穿越田地时，低分辨率相机可以被用来以粗略水平的准确度检测非作物或非种植的田地对象。响应于对象的检测，自主农业设备被编程以确定对象类型；如果由于检测数据质量差而无法做出确定，则自主农业设备可以被编程为使用高分辨率相机来捕获检测到的对象的附加数字图像。然后，自主农业设备被编程为对检测数据执行图像处理以确定对象的一个或多个候选分类。
130.在一个实施例中，本文的方法提供快速、环境友好和高效的植物类型检测，同时减少燃料或劳动力的使用。准确的检测数据产生可靠和精确的植物类型检测。准确的植物类型检测可以帮助种植者改进田地管理。例如，可以基于与田地天气和地形的匹配植物类型来高效地播种。一种植物类型可能在较高海拔的田地处生长得更好，因此，该植物类型的种子最好被种植在较高的田地空间地理位置处。为了效率，种植者可以使用植物类型信息来管理可能对种植对象产生不利影响的不期望的田地对象的移除。
131.3.2自动化移动农业产品特征分类
132.图7示出了用于自动化移动农业植物类型分类的过程。在一个实施例中，使用由自主移动车辆或机器人中的计算机执行的编程指令来执行分类过程700。在一个实施例中，执行图7的过程以确定植物类型的分类或者其他农业产品类型的分类。在一个实施例中，可以执行图7的过程以确定或分类其他植物特征，诸如植物颜色、植物高度、植物大小、植物生长
或其组合。在一个实施例中，可以执行其他分类过程；例如，植物类型的分类可以产生植物类型的特征的分类。在一个实施例中，可以执行除植物分类之外的植物分析；例如，植物分析可以确定特定植物类型在不同田地气候条件下的可持续性。
133.在一个实施例中，在步骤710处，该过程被编程用于接收要被分类或被分析的特定田地农业产品的数字图像。在一个实施例中，步骤710由图1的农业数据记录处理指令172执行，该指令由具有一个或多个机载数字相机的自主移动设备在穿越农业田地的同时执行。在一个实施例中，在过程700的各个阶段采用一个或多个低分辨率和一个或多个高分辨率相机。在一个实施例中，在步骤710中采用一个或多个低分辨率相机以支持粗略水平图像识别。在一个实施例中，农业产品是植物，但是其他一些实施例可以结合其他物品或产品来操作。在一个实施例中，基于被数字地存储的田地地图或指定一种或多种种子或杂种在一个或多个田地地理位置处的种植或播种位置的其他田地空间地理位置数据，特定田地植物被分类。田地地图或其他田地空间地理位置数据可以被用来确定田地的特定田地空间或区域是否预期包含植物。
134.在步骤720处，农业田地中自主移动车辆的特定田地空间地理位置的特定田地空间地理位置由自主移动设备接收。
135.接下来，在步骤730处，响应于接收到数字图像数据和特定田地空间地理位置数据，通过将特定农业产品类型与一个或多个预分类的(农业)产品类型相匹配来计算植物类型确定。在步骤730处，使用图像处理指令(图1)，响应于接收到数字图像数据和特定田地空间地理位置数据，自主移动设备通过将特定田地空间地理位置与一个或多个预分类的(田地)植物地理位置相匹配来尝试植物位置确定。在一个实施例中，步骤730由农业数据记录处理指令172(图1)执行，该指令由具有一个或多个机载数字相机的自主移动设备在穿越农业田地的同时执行。在一个实施例中，步骤730由图像处理指令174(图1)执行，该指令由具有一个或多个机载数字相机的自主移动设备在穿越农业田地的同时执行。
136.在步骤740处，响应于在步骤730处确定植物类型匹配并且在步骤720处未能确定植物位置匹配，该过程被编程为传输没有特定农业产品的分类被产生的通知。在一个实施例中，在传输没有分类通知之后，过程700被编程为返回到步骤702。在另一实施例中，不传输通知，并且该过程返回到步骤702并且从步骤702重新开始。
137.在步骤750处，响应于在步骤740处未能确定植物类型匹配并且在步骤730处确定植物位置匹配，过程700被编程为获取高分辨率图像以及传输指示没有特定农业产品的分类的通知。在一个实施例中，该过程被编程为传输指定分类被跳过或未被执行的通知，并且该过程返回到步骤702。在另一实施例中，不传输通知。传输车辆遇到的对象的高分辨率数字图像可以支持由该通知的接收方对对象进行进一步分析或者使用远程主机计算机或云计算实例对对象进行进一步分析。
138.在步骤760处，响应于在步骤740处确定植物类型匹配和在步骤730处确定植物位置匹配，关于特定农业产品的疾病分析通知被传输。因此，响应于标识作物和确定作物在田地中的预期位置，步骤760被执行；利用这种组合，一个实施例可以被编程为执行更详细的分析以确定植物叶片是否与疾病或其他状况一致。在另一实施例中，不传输疾病分析通知，并且过程700返回并从步骤702重新开始。疾病是产品类型候选的示例。在一个实施例中，可以实现被分类产品的其他产品相关的产品类型特性。
139.在步骤770处，响应于在步骤740处确定植物类型匹配和在步骤730处未能确定植物位置匹配，特定农业产品的杂草分析通知被传输，在此之后该过程返回到步骤702。因此，当该过程已经确定植物被识别、但是该植物位于未预期作物的地方时，步骤770被执行。示例位置可以包括行间区、行末端或设备转向点、道路等。在另一实施例中，不传输杂草分析通知，并且过程700返回到步骤702并从步骤702重新开始。
140.接下来，在步骤780处，响应于确定植物类型匹配和植物位置匹配，该过程被编程为获取对象的高分辨率图像并传输具有可选警报的特定农业产品的杂草分析通知。传输车辆遇到的对象的高分辨率数字图像可以支持由该通知的接收方对对象进行进一步分析或使用远程主机计算机或云计算实例对对象进行进一步分析。例如，可以使用高分辨率图像来执行更资源密集的杂草分析，以确定杂草是否存在于未预期的位置以及存在何种杂草。
141.分别基于步骤730和步骤740的植物类型和田地地理位置匹配的结果，过程700可以被编程为引起在与自主移动设备分离的用户计算机的图形用户接口上显示通知。在一个实施例中，过程700被编程为引起在田地管理器计算机设备104(图1)的图形用户接口上显示通知。
142.再次参考步骤740，在一个实施例中，通过使用图像处理指令174(图1)来执行步骤740，该指令由具有一个或多个机载数字相机的自主移动设备在穿越农业田地的同时执行。在一个实施例中，步骤750到780由农业分类指令176(图1)执行，该指令由具有一个或多个机载数字相机的自主移动设备在穿越农业田地的同时执行。
143.在一个实施例中，要基于类型被分类的农业田地的对象可以针对一个或多个被数字地存储的预分类的农业产品而被匹配。类似地，要按田地位置来分类的农业田地的对象可以基于被数字地存储的田地气候、对象生长、田地土壤和其他田地特性来针对一个或多个预分类的农业田地位置而被匹配。例如，要按田地位置来分类的植物产品可以针对在整个或部分的对应农业田地中生长良好的一个或多个预分类的农业产品进行匹配。在一个实施例中，植物类型匹配可以至少部分地基于被数字地存储的指定农业田地的历史或当前田地气候的田地气候数据。
144.在一个实施例中，特定田地空间地理位置与一个或多个预分类的农业产品地理位置之间的植物位置匹配确定可以基于各种条件。在一个示例中，如之先所指示的，田地绘制地图形成了确定的基础。绘制地图具有对应的一个或多个特定农业产品的地理位置。在一个示例中，特定田地空间地理位置与一个或多个预分类的农业产品地理位置之间的植物位置匹配确定可以基于对应农业田地的被数字地存储的绘制地图。
145.3.3自主移动农业设备
146.图8描绘了在一个实施例中的自动化移动田地植物分类系统的框图。
147.在一个实施例中，自动化移动田地植物分类系统800包括通过网络840通信耦合的农业种子播种机804和自主移动车辆810。在一个实施例中，农业种子播种机810生成由数字种植地图数据表示的数字种植地图808或田地地图，并且将数字种植地图数据传输给自主移动车辆810。自主移动车辆810接收被传输的数字种植地图数据，并基于接收到的数字种植地图，尝试分别将田地植物类型和田地地理位置与预分类的植物类型和预分类的田地地理位置相匹配，以尝试确定由移动自主移动车辆810在其在田地行进时检测到的对象的植物类型的分类。在一个实施例中，分类可以是非种植和/或非作物对象。非种植对象的示例
是杂草812，以及非作物对象的示例是轮胎、工具或碎片。
148.在一个实施例中，自主移动车辆810可以包括在功能上能够执行本文针对自主移动车辆所描述的过程的任何自主移动设备。在一个实施例中，数字种植地图是gps编码的种植地图，其以高分辨率标识田地和种植位置的位置、空间或区域。
149.在一个实施例中，网络840广义地表示一个或多个无线网络、诸如路由器或交换机、网关和集线器的互联网络元件，和/或使用wifi、近场无线电、wilan、卫星或其他通信技术的互联网络。
150.在一个实施例中，全球定位系统(gps)卫星802生成gps信号，这些gps信号由农业种子播种机804的gps接收器接收，并且经由gps三角测量或其他变换算法而被变换成gps位置数据，该gps位置数据表示种子播种机在一个或多个种植田地内的地理位置。术语特定田地gps位置数据可以表示特定田地的地理位置。
151.在一个实施例中，田地地理位置数据包括纬度和经度值、起止点值、田地标识值、种子/杂种类型数据、以及其他田地位置相关数据。起止点值表示田地中的播种机开始播种和停止播种的地理位置。在一个实施例中，可以处理田地地理位置数据以生成描述一个或多个田地的属性和地理位置的数字种植地图，例如田地标识、田地地理位置坐标、田地种植区域、空间或行、以及田地种植类型和其他田地相关信息。例如，田地标识数据可以是标识田地的数字或字符值，田地种植类型可以将种子与种植在对应田地上的杂种植物区分开来。在其他一些实施例中，可以预先创建和存储种植地图，而不是从播种机的移动中生成。
152.在一个实施例中，自主车辆810经由无线传输或作为配置数据的一部分而接收数字种植地图808，以用于在植物分类操作中使用。获取数字种植图808的具体方式并不重要，并且在接收之后，副本作为数字种植地图830被存储在车辆810中。
153.在一个实施例中，自主车辆810包括一个或多个引导传感器设备818、一个或多个数字图像相机814、经训练的分类器822、gps接收器850和决策逻辑826。
154.在一个实施例中，引导传感器设备818包括一个或多个硬件传感器，其能够感测用于在生成引导数据时使用的环境输入。例如，短程sonar、radar或lidar设备可以被采用来检测自主车辆810附近或周围的对象或障碍物。引导传感器设备818生成指示对象是否在自主车辆810附近或周围的信号，并且作为响应，自主车辆可以被编程为捕获来自数字图像相机814的一个或多个图像，以及使用经训练的分类器822处理所捕获的图像以标识候选农业产品类型和置信度值。例如，自主移动车辆810可以通过感测表示车辆附近的农业产品的植物生长特性的生长特性数据来确定对应的农业产品的农业产品类型。
155.在一个实施例中，田地空间地理位置数据基于来自gps卫星802和gps接收器850的信号而被确定并且标识车辆810在田地的空间或区域之处或之内的当前位置。在一个实施例中，在给定时间，车辆820位于种植有普通植物类型的种子或杂种的田地。待检查和待分析的田地可以被划分为多于一个区域，每个区域具有特定植物特征的植物。在一个实施例中，植物类型可以是用于划分田地的区域或空间的植物特征。粗略水平的植物类型的示例是玉米(包谷)或大豆。
156.基于使用上述设备收集的数据，自主移动车辆被编程为在三维空间中计算地投射特定植物类型应位于视框内的田地内的精度。此外，自主移动车辆被编程为确定特定作物的预期位置以及特定作物的非预期位置。如果在预期的gps位置处检测到植物，作为响应，
自主移动车辆被编程为确定检测到的植物很可能是作物的一部分。如果在非预期的gps位置处检测到植物，则自主移动车辆被编程为确定检测到的植物可能是杂草或其他非预期物品。因此，由于田地gps数据和田地地图的可用性使得能够快速标识预期植物所在的区域，因此可以跳过对这些区域的杂草识别，所以可以更快、更高效地执行植物识别。
157.在一个实施例中，数字图像相机814包括具有低分辨率能力的一个或多个数字图像相机和具有高分辨率能力的一个或多个数字图像相机。或者，相机814可以包括能够响应于来自已存储的控制程序的信号或指令而以高分辨率或低分辨率捕获图像的单个数字相机。数字图像相机814捕获对象的数字图像，从而在车辆810在田地中行进时对对象进行定位以供查看时引起创建和存储对象的被捕获的田地数字图像数据。在一个实施例中，车辆810被编程为在相机814捕获图像时检索针对车辆当时地理位置的gps数据，并且被编程为生成田地的特定空间的gps编码的数字图像816。在一个实施例中，数字图像相机814捕获植物对象812的低分辨率数字图像或者低和高分辨率数字图像的组合。
158.在一个实施例中，数字图像相机814可以被安装到、集成并耦合到、或连接到自主移动车辆810的外部主体。在一个实施例中，多个不同的相机可以位于车辆的各个外部部分810以获得更精确的gps编码的图像数据。例如，相机可以在若干不同的角度捕获图像，并使用编程来进行组合，以调整任何特定单个相机的偏差和不准确度。视角可以包括田地的前视图、侧视图和俯视图。
159.引导传感器设备818被编程为感测车辆810的行进路径中的对象的位置。针对被感测对象的数据被传输给控制逻辑820。在一个实施例中，传感器设备818包括一个或多个传感器，每个传感器生成田地地理位置数据，该田地地理位置数据表示当车辆穿越田地时的车辆810当时地理位置。在一个实施例中，传感器设备818可以被安装到、集成并耦合到、或连接到自主移动车辆810的外部主体。在一个实施例中，传感器设备818可以位于车辆810的各个外部部分以用于准确感测。例如，当遇到植物或其他对象时，散布在车辆810的外前部的若干传感器可以能够从不同角度接收感测信号。来自各种角度的数据可以帮助提供针对被感测对象的更高质量数据。
160.控制逻辑820被编程为接收被感测的位置数据810并且从相机814接收数字图像以生成gps编码的数字图像816，其耦合到经训练的植物分类器822。经训练的植物分类器822包括人工智能/机器学习指令，该指令被编程为基于对表示植物和杂草的图像的训练集的先前训练来对数字图像进行分类。在一个实施例中，植物分类器822被编程为在大多数情况下在遇到植物对象之后使用粗略图像分类的第一模式，以及仅在特定情况下使用较慢的高准确度植物识别的第二模式，因为该第二模式是计算密集的。经训练的植物分类器822接收数字空间田地特定图像816，将训练模型应用于数字图像，以生成由产品类型数据表示的分类输出824。分类器822应用训练模型来检测从田地获取的实时产品类型数据与基于已存储的田地地图830的预期的产品类型数据之间的差异。
161.在一个实施例中，分类器822结合置信度值来生成将数字图像数据指定为产品类型的分类输出824。产品类型的示例是玉米、大豆或特定杂草。在一个实施例中，置信度值被输出以表示产品类型正确的置信度水平。
162.在一个实施例中，自主移动车辆810被编程为使用经由网络840的无线联网来将分类输出824传输给位于远程的主机计算机，以进行远程分析。附加地或备选地，自主移动车
辆810被编程为将分类输出824传输给决策逻辑826，决策逻辑826被编程为执行框832中所示的条件和动作。在一个实施例中，决策逻辑826接收田地空间特定产品类型数据828、数字种植地图830和分类输出824作为输入以用于执行编程逻辑来测试框832中所示的条件。在一些实施例中，决策逻辑826可以被编程为通过转换地图数据中所表示的地理位置值来修改数字种植地图830以考虑到最初生成种植地图数据的播种机的不准确度。例如，生成数字种植地图830的播种机可能不如自主移动车辆810准确，因此车辆可以被编程为执行数据校正操作。此外，车辆810可以被编程为使用增强现实技术将数字种植地图830与其他数据重叠以将图像投射到3d空间中。
163.在一个实施例中，框832包括用于测试输入是否指示植物类型匹配和植物位置匹配因而植物处于预期的位置的指令；如果是，则“疾病分析”信号被输出。在一个实施例中，框832包括用于测试输入是否指示植物类型匹配并且未能确定植物位置匹配因而植物处于非预期的位置的指令；如果是，则“杂草分析”信号被输出。在一个实施例中，框832包括用于测试输入是否指示植物位置匹配并且没有植物类型匹配的指令；如果是，则“跳过分类”信号被输出。最后，在一个实施例中，框832包括用于测试输入是否指示没有植物类型匹配并且没有植物位置匹配的指令；如果是，则“无分类”信号被输出和/或警报或通知被生成。
164.在一个实施例中，决策逻辑826可以使用与分类输出824一起接收到的置信度水平值来通知框832的逻辑中的决策做出。例如，超过被存储的或被编程的阈值的高置信度水平值可以引起框832中的测试中的一个或多个测试的正输出，并且低置信度水平值可以引起那些测试具有负输出。
165.在一个实施例中，基于经由框832的逻辑所确定的信号，自主移动车辆810被编程为经由网络840无线地或通过物理连接向另一主机计算机传输将所捕获的数字图像数据。在该方法中，主机计算机可以被编程为对已经被识别的数字图像执行疾病分析或杂草分析，并且将结果提供给种植者的计算机或以其他方式提供输出。附加地或备选地，经由框832的逻辑所确定的信号可以使自主移动车辆810使用其他编程逻辑来内部地执行疾病分析或杂草分析。
166.在一个实施例中，自主车辆810引起在与自主移动设备分离的用户计算机的图形用户接口上显示由决策逻辑826和框832产生的通知、结果或其组合。在一个示例中，决策逻辑826引起在田地管理器计算机设备104或驾驶室计算机的图形用户接口上显示通知和结果信息。
167.3.4自动化田地植物类型分类
168.图9示出了用于确定田地植物类型分类的示例过程。处于描述一个实施例的清晰示例的目的，结合图8描述了该过程，但是其他实施例可以在其他环境中被执行。在一个实施例中，自动化田地植物类型分类过程900由图8的自主移动车辆810执行；例如，过程900可以被编程为控制逻辑820、决策逻辑826或组合的一部分。
169.在步骤902处，自主移动车辆810通常在种植的田地中或通过种植的田地的编程路径上穿越田地。车辆810穿越直到一个或多个传感器指示车辆已遇到对象。在车辆810中执行的传感器和编程代码可以基于大小、密度或其他特性而粗略地区分对象。
170.在步骤901处，对象被检测，诸如对象812被检测到。在步骤904处，对象的低分辨率数字图像被捕获。在步骤906处，该过程被编程为测试数字图像中的对象是否被识别，例如
对象是否看起来是植物而不是障碍物、障碍或其他非植物对象。因此，步骤901、904、906共同涉及在例如基于低分辨率数字图像的第一图像捕获模式下的粗略水平的快速图像处理。与更密集的、更准确的分类操作相比，这些步骤通常要求更少的处理资源、存储器和存储，但是对于做出快速识别决策很有用。例如，产品类型检测可以包括逻辑，该逻辑被编程为确定对象是种子还是杂种、是杂草还是非杂草、分类或无分类、是否患病，以粗略水平来执行这些决策。
171.如果没有识别出这样的对象，则控制返回到步骤902。如果识别出对象，那么控制转移到框908。在步骤908处或之前，自主移动车辆可以降低其行进速度或停止。可选地，在步骤908处或之前，车辆可以被编程为例如使用图8的相机814捕获对象的高分辨率数字图像。
172.在一个实施例中，可以从处理消除数字图像的不可检测部分以进行优化。例如，在步骤908处由自主移动车辆捕获的场景的高分辨率数字图像可能具有有限的清晰度，只有60％的活动数字图像像素。为了更快地行进通过田地，车辆可以被编程为快速消除导致从处理不可检测的图像部分的40％的图像像素。
173.在步骤908处，自主车辆尝试使用用于先前参考图8讨论的针对产品类型匹配确定过程的编程逻辑来确定检测到的对象的植物类型分类。如果步骤908中的分类引起确定植物类型，则控制转移到框912。如果步骤908中的分类没有引起确定植物类型，则控制转移到框910。
174.在步骤912处，肯定的植物位置确定引起自主移动车辆跳过或继续进行到步骤903。否定的植物位置确定引起控制转移到步骤921。在步骤921处，移动车辆可以自动切换到第二图像捕获模式，以通过利用其高分辨率相机来捕获被调查对象的高分辨率数字图像以进行深入分析。在步骤923处，自主移动车辆可以传输警报或“无分类”通知，并且过程在步骤903处重新开始。在一个实施例中，自主移动车辆可以将所捕获的高分辨率数字图像传输给位于远程的主机或服务器以进行进一步的识别分析。因此，步骤921表示当预期植物类型未被识别或被确定并且不在种植被预期的位置时进行切换以捕获高分辨率图像。
175.在912处的肯定的植物位置匹配导致将引起控制转移到步骤914，并且移动车辆发起或执行“疾病分析”，或者继续到步骤903而不发起疾病分析或执行疾病分析。如果采取了疾病建议或动作，则自主车辆可以传输“疾病分析”通知，并且如果改为继续进行到步骤903，则自主车辆可以不发送通知。
176.在一个实施例中，在步骤912的否定的植物位置确定引起过程900自动切换到第二图像捕获模式，以进行在步骤920处开始的进一步的植物识别分析，例如通过捕获高分辨率植物图像然后使用步骤920的高分辨率图像在步骤922处进行植物特征类型确定。
177.在一个实施例中，可以评估和识别除植物类型之外的植物特征或者除了植物类型之外还可以评估和识别其他植物特征。待检查和分析的植物产品的植物产品特性可能会有所不同。例如，植物产品特性可以是植物大小、植物高度、植物生长阶段、种植持续时间、组合。在一个实施例中，可以在步骤922处测试非植物相关特征。例如，基于种植地图、植物生长模式、种植后的田地天气的种植的植物或种子类型可以帮助预测作物生长阶段并且除了更受期望的植物的高度之外还预测预期的叶片结构。例如，基于前述植物特征的宏观植物识别过程享受非常快速的植物图像扫描和植物特征识别，但是要注意的是，比预期的植物
更短或高得多可能需要进一步彻查，例如高分辨率图像扫描。
178.在一个示例中，参考图9，自主移动车辆可以使用步骤920的捕获的高分辨率图像来确定预期的植物大小与测量的植物大小之间的植物大小匹配。在步骤922处，肯定的植物大小匹配确定例如将过程900带到步骤914并且该过程从那里继续。否定的植物大小匹配确定将过程900带到步骤924。在步骤924处，基于高分辨率图像捕获，对象被确定为可能是杂草或另一种类型的非种植作物植物。自主车辆可以发起、执行“杂草分析”或传输“杂草分析”的通知。例如，杂草分析还可以包括杂草类型分类。
179.在步骤926之后，过程900可以存储步骤924杂草分析的结果并返回以从步骤903继续。
180.4.公开的其他方面
181.在前述说明书中，本发明的实施例已经参考许多具体细节进行了描述，这些具体细节可能因实现而异。因此，说明什么是发明以及申请人意图什么是发明的唯一且排他的指标是以一种具体形式从本技术中提出的一组权利要求(包括任何后续更正)，这些权利要求是以这样的权利要求发布的特定形式而被提出的。本文针对包含在此类权利要求中的术语所明确阐述的任何定义均应管辖权利要求中使用的此类术语的含义。因此，权利要求中未明确记载的限制、元素、性质、特征、优点或属性不应以任何方式限制该权利要求的范围。因此，说明书和附图被认为是说明性的而不是限制性的。
182.如本文中所使用的，术语“包括(include)”和“包括(comprise)”(以及这些术语的变体)旨在是包括性的，并不旨在排除进一步的特征、组件、整数或步骤。
183.已经使用流程图描述了各种操作。在某些情况下，给定流程图步骤的功能性/处理可以以与所描述的方式不同的方式和/或由不同的系统或系统模块来执行。此外，在一些情况下，由流程图描绘的给定操作可以被划分成多个操作和/或多个流程图操作可以被组合成单个操作。此外，在某些情况下，在不脱离本公开的范围的情况下，可以能够改变如流程图中描绘和描述的操作顺序。
184.应当理解，在本说明书中公开和定义的实施例延伸到从文本或附图中是明显的或被提及的两个或更多个体特征的所有备选组合。所有这些不同的组合构成实施例的各种备选方面。
185.实施例已被描述为提供实时的田间季节性移动植物特征识别，该识别通过利用快速行进通过田地、以及在扫描对象时的粗略识别过程以进行植物特征类型识别和在某些情况下的更详细对象识别的组合而利用了高效的植物类型分类过程。田地植物类型分类过程利用具有成本效益的粗略识别技术进行快速产品识别，并且切换到精确且更深度的识别技术以利用高质量图像捕获和感测工具来改进植物分类分析。此外，通过使用自主车辆或机器人，以环境友好的措施来实现植物检查。
186.实施例可以涉及除草、喷洒杀真菌剂或害虫治理。实施例可以使用增强现实可视化技术来用以前不可用的数据层来补充田地作物的数字图像。可以利用基于已存储的种植坐标和指定预期生长阶段的值的数据来对图像分类进行补充。本文描述的分类过程可以适用于在速度或处理能力方面具有不同能力的车辆。
187.在一些实施例中，图像识别和分类可以生成用于评估植物生长阶段、植物健康、真菌感染以及疾病或害虫的存在的输出。其他一些实施例可以使用专注于除草的处理，使用
机电致动器来物理地破坏杂草或者化学地处理田地。
188.实施例优化了图像捕获和分析方法并且比现有方法明显更快并且成本更低。
189.实施例可以为自主移动车辆810提供与云计算资源的持续或实时无线联网连接，使得车辆能够实时检索基于云的数据，或者将数据传输给远程主机计算机以用于其他处理。无线连接可以被用来在车辆穿越田地时实时检索不同的数据层，支持生成3d地图或田地图像的模拟。例如，在田地穿越开始时检索到的卫星图像可以指示积水在车辆当时位置附近，并且作为响应，车辆可以被编程为通过执行实时改变它的常规导航路径来避开积水。