用于联合收割机的谷粒级谷物监控系统的制作方法

用于联合收割机的谷粒级谷物监控系统
1.相关申请的交叉引用
2.不适用。
3.联邦资助的研究或开发声明
4.不适用。
技术领域
5.本公开涉及谷粒级谷物监控系统，这些谷粒级谷物监控系统利用堆积谷物样品图像和其它数据来监控与由联合收割机收割和处理的谷物相关的平均谷粒参数。


背景技术：

6.联合收割机(也称为“农业联合收割机”)大大提高了收割、脱粒、清洁和收集玉米、油菜、大豆、小麦、燕麦、向日葵和其它作物以便分发给消费者的效率。一般而言，联合收割机是在收割机在作物田地上行驶时能够收割大片作物植株的同时将未破碎的谷物与破碎的谷物和除了谷物以外的材料(material other than grain，mog)分离的相对复杂的自推进式机器。在清洁之后，当前收割的堆积谷物作为“谷物流”被递送到粮箱中(通常通过输送通过清洁谷物升降机)。现代联合收割机通常包括能够提供谷物质量、水分含量、测试重量以及与由给定联合收割机收割和处理的谷物相关的其它谷物质量参数的实时估计值的相对复杂的传感器系统。附加地，可以利用至少一个谷物相机来监控谷物质量，该至少一个谷物相机被定位成捕获通过清洁谷物升降机运输的堆积谷物的图像(本文中称为“堆积谷物样品图像”)。某些联合收割机系统还提供可视化工具，以帮助操作员在显示屏上查看谷物质量图像采样时评估谷物质量，例如通过颜色编码或以其它方式可视地区分谷物质量图像采样内的mog和破碎谷物与清洁的未破碎谷物。


技术实现要素：

7.公开了用于在联合收割机上使用的谷粒级谷物监控系统。在实施例中，谷粒级谷物监控系统包括：谷物相机，该谷物相机被定位成捕获被获取到联合收割机中并且由联合收割机处理的当前收割的谷物的堆积谷物样品图像；水分传感器，该水分传感器被配置成生成指示当前收割的谷物的水分水平的水分传感器数据；以及显示设备，该显示设备具有显示屏，在该显示屏上选择性地呈现与当前收割的谷物相关的参数。控制器架构耦接到谷物相机、耦接到水分传感器和耦接到显示设备。控制器架构被配置成：(i)分析从谷物相机接收的堆积谷物样品图像，以确定代表当前收割的谷物的单个平均谷粒的估计的体积的每谷粒平均(apk)体积；(ii)至少部分地基于所确定的apk体积和水分传感器数据，重复计算一个或多个顶线收割参数；以及(iii)在显示设备上选择性地呈现顶线收割参数，以供联合收割机的操作员查看。
8.在另外的实施例中，谷粒级谷物监控系统包括：谷物相机，该谷物相机被定位成捕获被获取到联合收割机中并且由联合收割机处理的当前收割的谷物的堆积谷物样品图像；
水分传感器，该水分传感器被配置成生成指示当前收割的谷物的水分水平的水分传感器数据；显示设备，该显示设备具有显示屏，在该显示屏上选择性地呈现与当前收割的谷物相关的参数。控制器架构耦接到谷物相机、耦接到水分传感器和耦接到显示设备。控制器架构被配置为分析从谷物相机接收的堆积谷物样品图像，以确定每谷粒平均(apk)参数；并且至少部分地基于apk参数来确定对联合收割机的被致动的收割部件的目标设置调节。附加地，控制器架构执行以下动作中的至少一个：(i)生成提示操作员实施目标设置调节的通知，诸如视觉和/或听觉通知，以及(ii)控制被致动的收割部件自动实施目标设置调节。
9.一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，其它特征和优点将变得显而易见。
附图说明
10.下文将结合以下附图描述本公开的至少一个示例：
11.图1是根据示例实施例示出的配备有谷粒级谷物监控系统的联合收割机的示意图，该谷粒级谷物监控系统被配置为监控由联合收割机处理的谷物流的特定每谷粒平均(apk)参数；
12.图2示意性地示出了适当地包括在示例谷粒级谷物监控系统的实施例中的附加部件；
13.图3是由谷粒级谷物监控系统(图1和图2)的控制器架构适当实施以监控与由联合收割机处理的堆积谷物相关的apk参数并执行其它相关联的动作的示例过程的流程图；
14.图4示意性地示出了由谷粒级谷物监控系统的控制器架构潜在地进行以通过堆积谷物样品图像的维度图像分析来评估apk体积和/或apk形态的示例子过程；以及
15.图5是由谷粒级谷物监控系统适当地在联合收割机的显示设备上生成的并且可视地输送apk参数的瞬时值、消耗作为输入的apk参数的顶线收割度量以及利用apk参数而确定的所建议的联合收割机设置调节的任意组合的示例图形用户界面(graphical user interface，gui)屏幕的截屏。
16.不同附图中相同的参考符号指示相同的元件。为了说明的简单和清楚，可以省略众所周知的特征和技术的描述和细节，以避免不必要地模糊在随后的具体实施方式中描述的本发明的示例和非限制性实施例。还应当理解的是，除非另有说明，否则出现在附图中的特征或元件不一定按比例绘制。
具体实施方式
17.本公开的实施例在上面简要描述的附图中示出。如所附权利要求中所阐述那样，在不脱离本发明的范围的情况下，本领域技术人员可以设想对示例实施例的各种修改。
18.如在整个本文件中出现的那样，术语“谷粒”在广泛或全面的意义上用作涵括利用联合收割机收割和加工的所有种子以及其它粮食作物的可食用部分。如此定义，术语“谷粒”涵括草食作物的种子(仅如，玉米、燕麦和小麦)；大豆和其它豆类植株种子；以及其它植株类型的种子，包括荞麦、小米、藜麦、油菜籽、大米和葵花籽。相比之下，术语“谷物”和“堆积谷物”可互换使用以指代大量的谷粒，特别是由联合收割机或其它收割机械加工并临时储存的大量的谷粒。最后，术语“谷物流”是指在堆积谷物在联合收割机内从一个位置运输
到另一位置时处于运动中的堆积谷物体(通常包含不同量的其它作物材料)。
19.概述
20.如上所述，联合收割机通常配备有在给定的联合收割机进行主动收割时能够进行实时谷物质量监控的相对复杂的传感器系统；也就是说，在联合收割机行驶穿过大片田地时，摄入所收割的作物植株、处理(脱粒和清洁)作物植株以生成堆积谷物流、并最终将堆积谷物流引导到粮箱中以便进行临时储存。为了有助于谷物质量评估，联合收割机可以包括至少一个谷物相机，该至少一个谷物相机被定位成邻近清洁谷物升降机，并且捕获由清洁谷物升降机运送到谷物储存箱的谷物流的实时图像。进一步，已经开发了某些可视化工具，使得联合收割机操作员不仅能够查看由这种谷物相机捕获的实时相机图像，而且还利用颜色编码(或类似的视觉增强)来进一步增强实时相机图像，以帮助操作员可视地区分清洁的、未破碎的谷物和堆积谷物流中夹带的不期望的材料(例如，异物和破碎谷物)。类似的方法也可以与杂穗相机结合使用，该杂穗相机被定位成捕获从联合收割机的后部排出的杂穗的图像，并且当评估谷物损失时由操作员有效地查看。
21.通过提供这种可视化工具，在联合收割机在田地的不同区域上行驶并根据当前设置值操作时，联合收割机操作员可以在给定的时间点获得对谷物质量的增加的感知。这进而可以使操作员能够通过例如调节联合收割机设置来更好地驾驶给定的联合收割机，以最小化谷物损失、提高谷物质量或以其它方式增强联合收割机操作的整体性能方面。除了提供这种可视化工具之外，联合收割机系统还监控与联合收割机效率和收割生产率水平相关的某些基本或关键收割参数。这些参数在本文中被称为“顶线收割度量”，并且包括谷物产量、谷物损失、测试重量、谷物质量流率估计值、谷物成分信息和其它参数。一般而言，利用由集成到给定联合收割机中的多个传感器提供的数据输入和从其它来源接收的数据(诸如操作员输入的数据)、或者可能地通过无线数据链路从后端服务(诸如远程信息处理网关模块)接收的数据来计算这种顶线收割度量。用于计算顶线收割度量的相关传感器数据可以包括从联合收割机上的一个或多个水分传感器、谷物损失传感器(例如，被定位在清粮室的后端和/或联合收割机的清洁谷物升降机的出口端处的撞击板传感器)、质量流率传感器、粮箱称重传感器和谷物升降机速度传感器(仅举几个例子)搜集的数据。这种顶线收割度量可以实时或接近实时地重复计算或评估，并且顶线收割度量的瞬时值可以被显示以供联合收割机操作员考虑。附加地，这种顶线收割度量可以与其它数据(例如，时间和全球定位系统(global positioning system，gps)数据)一起编译，并作为历史数据集进行存储，以例如产生产量图和类似的数据驱动资源，从而有助于优化播种和种植操作。最后，在某些情况下，联合收割机系统可以利用这样的数据输入来确定并自动实施对给定联合收割机上的被致动的收割部件(诸如清粮室、筛网、风扇和谷壳筛部件)的目标调节。
22.以上述方式，当在动态环境内驾驶联合收割机时，集成到现代联合收割机中的谷物监控系统向联合收割机操作员供应基本的实时信息，从而有助于操作员进行决策。附加地，某些现有联合收割机自动化系统通过自动、即时微调联合收割机设置，进一步增强了联合收割机的性能。尽管如此，由当前联合收割机显示和自动化系统计算的顶线收割度量和其它数据集可能产生相对高程度的不准确度。这可能部分地由于使用用于计算顶线收割度量的某些关键输入参数或作物属性的某些标准化(假定)值。例如，现有联合收割机显示和自动化系统可以在计算关键作物属性时利用预定义的谷粒重量和大小假设，诸如预定义的
(假设的)1000个谷粒测试重量；也就是说，1000个谷粒在被填充入1容积蒲式耳(等于1.244立方英尺或0.035立方米)中时的重量。然而，谷粒重量和大小可能与变化的作物状况一起显著变化。因此，对这种假设的或广义的数据输入的依赖可能在计算顶线收割度量和其它数据参数时引入不期望的不准确度。总的来说，这种不准确度可能降低呈现给联合收割机操作员的信息的整体质量，同时当基于这个信息自动实施对联合收割机设置的即时调节时降低联合收割机性能。
23.因此，对于能够提高联合收割机操作期间计算的相关数据参数(尤其是顶线收割度量)的准确性和一致性的联合收割机系统存在持续的行业需求。理想情况下，这种联合收割机系统将提高数据计算的质量和一致性，同时利用联合收割机上现有的传感器阵列来最小化实施成本并简化客户采用。本文提供了这种联合收割机系统的实施例，并将其称为“谷粒级谷物监控系统”。如描述符“谷粒级”所示，谷粒级谷物监控系统能够监控在单个平均谷粒基础上考虑的某些唯一数据参数；也就是说，使得给定的数据参数一般地(平均地或中等地)描述由当前利用联合收割机收割的堆积谷物构成的谷物流内的单个谷粒。这种每谷粒参数被称为每谷粒平均参数或“apk参数”，表示apk参数代表在联合收割机在主动收割期间处理作物植株时生成的给定堆积谷物流中包含的谷粒的平均值或估计值。在实施例中，可以外推或以其它方式利用apk参数来更好地获知顶线收割度量，诸如在联合收割机操作期间计算的谷物损失、谷物产量、测试重量、谷物成分和质量流率估计值。这反过来可以提高向联合收割机操作员显示(或被存储以便进行后续分析)的信息的质量；以及在适用时，提高由联合收割机系统确定并可能自动实施的对联合收割机的被致动部件的目标调节设置的精确度。
24.一般而言，谷粒级谷物监控系统的实施例利用从至少一个谷物相机捕获的图像以及其它相关数据输入来跟踪以下apk参数中的一个或多个：(i)apk体积、(ii)apk密度、(iii)apk重量或质量、以及(iv)apk形态。如本文出现的那样，术语“apk体积”、“apk密度”和“apk重量(或质量)”代表在联合收割机操作期间生成的谷物流中包含的谷粒的体积、密度和重量(或质量)的估计的每谷粒平均值。相比之下，术语“apk形态”指的是进行分析的堆积谷物流内的平均谷粒形状(包括棱角)和谷粒的大小。例如，在实施例中，apk形态可以基于包含在谷物流中的谷粒的广义三维形状(和可能的大小)在分类或归类(诸如大的球形分类或小的长方形分类)方面进行表达。这方面的附加描述在下面结合图3提供。
25.关于apk体积，谷粒级谷物监控系统可以通过对由谷物相机捕获的堆积谷物样品图像的三维图像分析来监控这个apk参数；并且具体而言，通过估计和平均化在堆积谷物样品图像中可视化检测到的谷粒的某些尺寸参数(例如，平均长度和直径)。在实施例中，在计算估计的apk体积时也可以考虑附加数据，诸如图像深度数据(如果可用的话)和与当前收割的谷物相关的任何可用形态信息。在后一方面，联合收割机操作员可以将指定当前收割的谷物的谷物类型的数据输入到谷粒级谷物监控系统中，这又可以用于建立谷粒形状类别或分类；例如线性、长方形、椭圆形、卵形、球形或其它三维谷粒形状类别。然后，在评估堆积谷物样品图像中描绘的谷粒的apk体积时，这个信息可以被谷粒级谷物监控系统考虑。附加地或替代性地，无论是在联合收割机上执行还是由通过网络与谷粒级谷物监控系统进行无线通信的远程数据源(例如，后端服务)在联合收割机外执行，谷粒级谷物监控系统可以通过对堆积谷物样品图像本身的视觉分析来建立堆积谷物的apk形态。
26.谷粒级谷物监控系统的实施例还利用apk体积作为输入来有用地(尽管不是本质上)监控堆积谷物流内的谷粒的apk密度和/或apk重量(或质量)。在apk密度的情况下，谷粒级谷物监控系统可以根据apk体积和与堆积谷物流相关的合适的堆积密度参数确定这个参数。在实施例中，堆积密度参数可以基于历史(例如地理参考)数据或基于其它输入数据由操作员输入或从存储器中调用作为与特定作物类型相关联的标准化值。然而，更有用的是，可以利用由通常集成到现代联合收割机中的类型的机载传感器(诸如谷物水分传感器)提供的数据来获得堆积密度测量值。在后一方面，现有水分传感器监控根据其可以获得采样的谷物体积的堆积密度的数据或者从基于电容的水分水平读数中确定的数据。例如，在电容型水分传感器的情况下，堆积谷物流的一部分可以被引导入或通过由电极界定的已知体积的空间。谷物流的该采样的体积上的电容被测量，并被转换为谷物流的堆积重量密度(其通常以每体积重量(磅/蒲式耳)的形式表达。传统上，这种堆积重量密度测量值被用于除本文所述之外的目的；例如，在生成谷物产量图时，将质量或重量产量估计值(通常以每单位面积的质量或重量表达)转换成体积产量估计值(通常以每英亩的体积蒲式耳(即bu/ac)表达)。除了上述apk体积参数之外，谷粒级谷物监控系统的实施例可以利用这个传感器数据(或指示当前收割的谷物的堆积密度测量值的其它传感器数据)的可用性来实时计算和跟踪当前收割的谷物的apk密度。在类似的方面，apk重量(或质量)可以容易地根据从联合收割机上的传感器数据(诸如被定位在清洁谷物升降机的出口端处的撞击板传感器、位于粮箱内的称重传感器、或者可以从其导出与当前收割的谷物相关的堆积重量(或质量)测量值的其它传感器)获得的apk体积和堆积重量(或质量)参数来计算。
27.谷粒级谷物监控系统的实施例可以利用上述apk参数中的任何一个或全部来更好地获知顶线收割度量(提高其准确性)。当例如利用放置在联合收割机中的特定位置处(通常在联合收割机的清粮室和分离器区段处)的撞击板传感器计算谷物损失时，可以通过考虑apk质量或重量参数来改进谷物损失估计值。具体而言，在至少一些实施例中，apk重量可以向上缩放到1000个谷粒重量值，其可以用来代替由现有自动化系统使用的并且已知会导致谷物损失估计计算中的接近或超过35％的误差的标准化的1000个谷粒重量值。通过使用更符合“地面实况”状况的1000个谷粒重量值(或其它基于apk参数的重量或质量参数)，可以以更高的准确性和更大的一致性计算谷物损失参数。这反过来又可以通过减少田地与田地之间的差异来实现谷物损失映射和谷物损失性能目标校准过程方面的改善。
28.因此，与利用标准(假定)值或操作员输入在有限数量的大小分类中进行选择的传统实践相反，以上提及的apk形态，特别是谷粒大小，也可以被认为提高了对谷物大小进行分类的准确性。类似地，根据相关因素(例如，是通过测量对被定位在清洁谷物升降机的出口端处的撞击板的碰撞(除了其它因素，诸如升降机带速度)来测量质量流率、利用谷物相机来估计谷物运输通过清洁谷物升降机的速率来测量质量流率还是以其它方式来测量质量流率)，可以利用由谷粒级谷物监控系统计算的apk重量和/或apk密度值来改善质量流率测量。在某些情况下，利用apk形态也可以更好地获知休止角(指示谷物堆高度)，以例如利用由粮箱称重传感器提供的数据来改善质量流率传感器的校准，如下面结合图3所讨论的那样。通常利用质量流率和其它因素(例如，割台宽度、联合收割机地面速度或速率以及水分数据)计算的干产量估计值同样地可以通过质量流率估计值方面的改进来改进。附加地，apk形态(特别是大小)和apk重量可以允许种子生产者和种植者从农学角度改善他们的产
品和服务。最后，当apk参数被推算或放大以达到特定的、通常使用的堆积谷物参数(诸如测试重量)时，可以确定并考虑谷粒填充指示符或转换因子来补偿填充有由联合收割机当前收割的堆积谷物的给定体积的空间中的空气空隙体积。
29.以上提及的apk参数和顶线收割度量的任何组合(例如取决于显示这种信息的不同图形用户界面(graphical user interface，gui)屏幕或页面之间的操作员导航)可以呈现在联合收割机驾驶室内的显示屏上以供操作员查看。这种信息也可以被存储并在以后的某个日期重新调用来用于收割后分析，以例如使操作员和种植者能够查看产量图、谷物损失图和可用于改进与种植操作的田间准备、播种、维护(处理)和收割阶段相关的程序和实践的类似的农学分析工具。附加地，这种信息可以用于确定对联合收割机设置的目标调节，并且：(i)提示操作员实施所确定的目标调节(例如，通过联合收割机的驾驶室内的显示设备上生成的视觉提示、通过听觉提示或其组合)，或(ii)以自动的即时方式自动实施对联合收割机上的被致动的收割部件或设备的目标调节。在后一方面而言，在至少一些实施方式中，谷粒级谷物监控系统可以确定并自动实施对清粮室定位、筛网定位、谷壳筛定位和风扇速度和/或类似联合收割机没置的调节。作为具体但非限制性的示例，考虑到较重谷粒被气流运走并从联合收割机排出的降低的趋势，可以对风扇速度实施相对精细的调节，以例如与增加apk重量一起增加风扇速度。进一步，在某些情况下，还可以对清粮室、筛网和/或谷壳筛定位进行相对应的调节，以便与增加风扇速度一起促进气流。
30.现在将在示例联合收割机的上下文中描述谷粒级谷物监控系统的示例，如下文结合图1和图2所示和所讨论那样。附加地，以下结合图3和图4描述了由谷粒级谷物监控系统的控制器架构适当实行以监控多个apk参数、显示利用apk参数所计算的一个或多个顶线收割度量以及执行其它动作的示例方法或过程。最后，下面结合图5讨论了可以向联合收割机的操作员显示apk参数、利用apk参数计算顶线收割度量以及利用apk参数确定所建议的联合收割机设置调节的方式的示例。以下描述仅通过非限制性图示的方式提供，并且不应被解释为以任何方式不适当地限制所附权利要求的范围。
31.配备有示例谷粒级谷物监控系统的联合收割机
32.参考图1，根据本公开的示例实施例，示意性地描绘了配备有谷粒级谷物监控系统12的联合收割机10。联合收割机10通过图示的方式呈现，以建立其中可以更好地理解谷粒级谷物监控系统12的实施例的非限制性示例场景。在另外的实施例中，联合收割机10可以采取其它形式，并且可以包括适合于在进行主动收割的同时在田地14上行驶时处理摄入到收割机10中的作物植株的部件的不同组合。进一步，为了说明清楚，图1中仅示出了谷粒级谷物监控系统12的所选择的部件，诸如控制器架构16。下面结合图2至图5提供了示例谷粒级谷物监控系统12的另外的说明和讨论。
33.示例联合收割机10包括由多个地面接合车轮20支撑的底盘主体或主机架18。地面接合车轮20由未示出的发动机和传动系(包括例如电控液压传动装置)供应动力。在主机架18的前向部分顶上，驾驶室22将操作员站围封，该操作员站包括操作员座椅(未示出)、至少一个显示设备24和操作员接口26。喂料室28以通常低于驾驶室22的高度安装到联合收割机10的主机架18的前向部分。各种收割台或更简单地说“割台”以可互换的方式附接到喂料室28，以例如允许定制用于收割特定的作物类型的联合收割机10。图1中示出了一个这样的割台的示例，在此是收割平台30。
34.在联合收割机10在田地14上沿前向方向行驶时，收割平台30将切断的作物植株搜集到喂料室28中，然后该喂料室将切断的作物植株合并以便输送(例如，通过包含在喂料室28中的未示出的传送带)到联合收割机10的内部中。在联合收割机10内，作物植株被旋转的滚筒输送器或“脱粒滚筒”32接合，该滚筒输送器或“脱粒滚筒”将作物植株在大致向上的方向上引导到旋转脱粒和分离区段34中。旋转脱粒和分离区段34可以包括用于执行从其它植株材料中分离谷物和谷壳的期望功能的各种部件。所示的旋转脱粒和分离区段34例如包括具有脱粒特征并可旋转地安装在壳体或转子外壳38中的转子或滚筒36。脱粒滚筒36在转子外壳38内的旋转使谷物和谷壳两者通过凹板40的分离格栅落下并进入下部谷物清洁区段42的入口。同时，秸秆和类似的mog被朝向旋转脱粒和分离区段34的出口端44引导，并最终被递送到另一旋转滚筒或“卸料脱粒滚筒”46以便从联合收割机10的后端排出。
35.现在更详细地讨论谷物清洁区段42，联合收割机10的这个区段包括适于清洁新收割的谷物同时从其中分离谷壳的各种部件。这些部件可以包括谷壳筛48、筛网50和任意数量的风扇，诸如图2中示出的离心鼓风机风扇或叶轮78。通过谷物清洁区段42的动作，新清洁的谷物被引导到清洁谷物升降机52中，以便向上输送到联合收割机10的储存容器或粮箱54中。清洁谷物从谷物清洁区段42行进到粮箱54的路径在本文中被称为“清洁谷物流动路径”，而沿着这个流动路径行进的谷物通常被称为“清洁谷物流”。一般而言，行进穿过联合收割机10的谷物和mog在本文中被更广泛地称为“谷物流”。因此，“清洁谷物流”是脱粒、分离和清洁之后的较大谷物流的一段。至少一个相机56被定位成捕获沿着谷物流并且具体而言在实施例中是清洁谷物流运输的谷物的图像(本文中是“堆积谷物样品图像”)。在这方面，并且如图1所示，谷物相机56可以被定位成靠近清洁谷物升降机52，以捕获通过升降机52运输到粮箱54中的堆积谷物流的图像。在其它实施例中，一个或多个附加的相机可以被定位在沿着清洁谷物流的不同位置处(例如，在两个或多个位置处以捕获经由升降机52运输的清洁堆积谷物的图像)，同时图像数据被处理和平均化或以其它方式混合以产生下面描述的apk参数。在实施例中，谷物相机56或相关联的传感器系统还可以提供可用于在尺寸方面评估堆积谷物样品图像内的谷粒的深度数据。当适用时，这种深度数据可以采取(例如，由声学传感器、基于雷达的传感器或检测反射的能量或声纳脉冲的类似传感器捕获的)直接的基于换能器的深度测量值的形式、以及可以从中推断深度的(例如，由立体相机组件捕获的)其它图像数据的形式。
36.随着清洁谷物升降机52将新收割的谷物运输到粮箱54中，杂穗掉落在延伸穿过清洁谷物升降机52的下部部分的返回升降机58上。返回升降机58然后将杂穗再循环回到脱粒滚筒36的入口，用于进一步脱粒，以允许以上描述的谷物加工步骤重复，并使联合收割机10的谷物产量最大化。以这样的方式，联合收割机10有效地从田地14中摄取切断的作物植株、从作物植株中提取谷物、清洁新提取的谷物，并且然后将谷物储存在粮箱54中用于利用例如卸载螺旋输送器60进行随后的卸载。而且，在联合收割机10的使用期间，联合收割机10内的某些部件可以在位置方面进行调节，或者可以利用任意数量的致动器62(诸如液压致动器或电控线性致动器或旋转致动器，这些致动器中的一个在图1中一般由符号62表示)来修改这些部件的操作参数。在这方面，任何数量的风扇或传送带的操作速度可以发生变化，任何数量的未示出的偏转器、谷壳筛部件、筛网部件、清粮室部件等的位置也可以发生变化。这种致动器62可以响应于经由位于驾驶室22内的操作员接口26接收的操作员输入而被控
制、经由包括在谷粒级谷物监控系统12中的控制器架构16发出的命令信号而被控制、或者由联合收割机10上的另一控制器或控制单元以其它方式命令。
37.联合收割机10包含除了以上提及的那些传感器之外的各种其它传感器，这些传感器可以在谷粒级谷物监控系统12的操作期间向控制器架构16供应数据。这种附加机载传感器的非穷举列表包括：至少一个谷物水分传感器64，该谷物水分传感器用于提供指示当前收割的谷物内的水分水平的数据，并且在某些情况下提供指示谷物的堆积密度(例如以每蒲式耳磅(1bs)表达)的电容测量值；一个或多个质量流量传感器，该质量流量传感器可以采取被安装为靠近清洁谷物升降机52的出口端并且被定位成被从升降机52喷射到粮箱54中的谷粒碰撞的一个或多个撞击板66的形式。在其它实施例中，联合收割机10上的(一个或多个)质量流量传感器可以利用另一技术或方法来实施，包括例如通过对由谷物相机56提供的相机馈送的图像分析。附加地，联合收割机10可以包括位于粮箱54中并且利用储存的谷物称重来例如校准质量流量传感器66的多个(例如，三个或更多个)称重传感器68。在至少一些实施例中，联合收割机10还可以包括用于测量谷物损失的各种传感器，诸如一个或多个清粮室损失传感器70(例如，撞击板传感器)和/或定位在分离器处的未示出的(例如，撞击板)传感器。各种其它未示出的传感器也可以部署在联合收割机10上，如常规那样，诸如用于监控清洁谷物升降机52的速度和/或被放置在清洁谷物升降机52上的负载的传感器。附加地，在实施例中，诸如杂穗升降机相机72的相机也可以被集成到联合收割机10中，其中由这些相机供应的视频馈送选择性地呈现在显示设备24的显示屏幕上，如下面结合图2更全面地描述的那样。
38.现在参考图2，更详细地示出了谷粒级谷物监控系统12以及联合收割机10的某些内部收割机械。在适当的情况下，附图标记从图1中延续，注意控制器架构16、显示设备24和操作员接口26的示意性表示在这个附图中呈现。附加地，谷粒级谷物监控系统12被描绘为包括“被致动的收割部件76”，其一般涵括在联合收割机操作期间摄入和处理作物植株以产生谷物堆积流所涉及的那些部件，如前所述。因此，在图示的示意图中，被致动的收割部件76可以包括利用图1中一般示出的致动器62以及图2的右下部示出的离心风扇或鼓风机叶轮78进行调节的被致动的筛网、清粮室、偏转器或谷壳筛部件的任意组合。类似地，一般描述的机载传感器80涵括除谷物相机56之外的被集成到联合收割机10中的那些传感器，包括上述谷物水分传感器64、质量流量传感器(例如，撞击板传感器66)、粮箱称重传感器68和清粮室损失传感器70。除了前述部件之外，谷粒级谷物监控系统12还包括存储数据库84的计算机可读存储器82，该数据库可以包含填充密度因子、形态分类数据和控制器架构16在实行下面描述的过程中利用的其它存储的数据。这些部件之间的各种数据连接在图2中由以箭头终止的许多信号线表示，其中这些信号线通常代表有线或无线数据连接的任何组合。
39.谷粒级谷物监控系统12的控制器架构16可以采取适合于执行贯穿本文件描述的功能的任何形式。本文出现的术语“控制器架构”在非限制性意义上用来泛指谷粒级谷物监控系统12的处理架构。控制器架构16可以涵括任何实际数量的处理器、控制计算机、计算机可读存储器、电源、存储设备、接口卡和其它标准化部件或可以与任何实际数量的处理器、控制计算机、计算机可读存储器、电源、存储设备、接口卡和其它标准化部件相关联。控制器架构16还可以包括被设计成实行本文所描述的各种过程任务、计算和控制/显示功能的任何数量的固件和软件程序或计算机可读指令或与被设计成实行本文所描述的各种过程任
务、计算和控制/显示功能的任何数量的固件和软件程序或计算机可读指令协作。这种计算机可读指令可以与下面描述的一个或多个数据库84一起存储在存储器82的非易失性扇区中。虽然在图2中一般示出为单个框，但是存储器82可以涵括适合于存储计算机可读代码或指令以及用于支持谷粒级谷物监控系统12的操作的其它数据的任何数量和类型的存储介质。在实施例中，存储器82可以集成到控制器架构16中，例如作为系统封装、片上系统或另一种类型的微电子封装或模块。
40.位于联合收割机10的驾驶室22内的操作员接口26可以是由操作员用来向谷粒级谷物监控系统12输入命令或以其它方式控制谷粒级谷物监控系统12的任何设备或设备组。在各种实施方式中，操作员接口26可以集成到显示设备24中或者以其它方式与显示设备24相关联。在这方面，操作员接口26可以包括位于显示设备24上或附近的物理输入(例如，按钮、开关、拨号盘等)、集成到显示设备24中的触摸屏模块、或用于定位用于与显示设备24上生成的gui元素交互的光标的光标输入设备(例如，操纵杆、轨迹球或鼠标)。相比之下，显示设备24可以是被配置为用于在联合收割机10的驾驶室22内操作的任何图像生成设备。在实施例中，显示设备24可以附着到联合收割机驾驶室22的静态结构，并且以平视显示器(head-down display，hdd)配置来实现。在图2中示出了呈现由谷物相机56捕获的谷物流的实时图像的gui屏幕74的示例。如可以看出的那样，在gui屏幕74上还可以产生各种操作员可选择的选项，以例如使操作员能够在从谷物相机56和杂穗相机72获得的相机馈送的呈现之间切换、应用视觉增强的谷物质量分析工具(对在实时相机图像中检测到的破碎谷物和mog应用颜色编码)、以及执行其它功能，诸如提供关于过多镜头碎片的视觉咨询警报。
41.在谷粒级谷物监控系统12的操作期间，控制器架构16执行某些过程来监控(重复计算的)一个或多个apk参数，并进一步结合apk参数的监控来执行某些动作。这种动作可以包括根据例如对特定gui屏幕的操作员导航，生成呈现在显示设备24的显示屏上的各种图形、数字读数、符号元素或gui屏幕。在显示设备24上生成的所选择的gui屏幕可以呈现(一个或多个)所计算的apk参数、利用该(一个或多个)所计算的apk参数计算的顶线收割度量(例如，谷物损失估计值、谷物质量流率估计值或谷物产量估计值)和/或直接或间接与apk参数相关的其它此类信息。相对应的听觉警报或建议通知也可以结合或代替在显示屏24上呈现的这种视觉通知来生成。附加地或替代性地，谷粒级谷物监控系统12的实施例可以利用(即，至少部分地基于)apk参数的瞬时值或趋势、顶线收割度量的瞬时值或趋势、或者它们的任何混合组合来确定对联合收割机10的被致动的收割部件的目标设置调节。当确定了这种目标设置调节时，控制器架构16可以提示联合收割机10的操作员通过在显示设备24上生成合适的图形、通过生成听觉通知(例如，听觉通知、钟声或其它听觉提示)、和/或通过生成任何其它操作员感知的提示(例如，触觉通知)来实施目标设置调节。在其它情况下，控制器架构16可以以即时或自动的方式自动地实施目标设置调节，同时在给定的gui显示屏上生成图形(和/或生成伴随的听觉通知或咨询警报)，从而在执行这种自动调节时通知联合收割机操作员。还可以由控制器架构16结合确定和应用apk参数来执行其它动作，如下面结合图3中阐述的示例谷粒级谷物监控过程进一步描述的。
42.现在参考图3，根据本公开的非限制性示例实施例呈现了谷粒级谷物监控过程86。在本公开的实施例中，谷粒级谷物监控过程86可以由谷粒级谷物监控系统12的控制器架构16来实行，并且主要如下所述；然而，在替代性实施方式中，谷粒级谷物监控过程86的至少
一些过程步骤可以由经由联合收割机10上的合适的无线收发器或数据链路(例如，远程信息处理网关模块)与谷粒级谷物监控系统12通信的远程网络连接源(例如，后端服务，诸如基于云的支持服务)实行。谷粒级谷物监控过程86包括多个过程步骤88、90、92、94、96、98、100，下面依次描述这些过程步骤中的每一个。取决于实施谷粒级谷物监控过程86的特定方式，图3中一般示出的每个步骤可能需要单个过程或多个子过程。进一步，图3中示出的和下面描述的步骤仅作为非限制性示例提供。在谷粒级谷物监控过程86的替代性实施例中，可以执行附加过程步骤，可以省略某些步骤，和/或可以以替代性顺序执行所示的过程步骤。
43.响应于预定触发事件的发生，谷粒级谷物监控过程86在步骤88开始。在某些情况下，触发事件可以是检测到切断的作物植株进入到联合收割机10中。在其它情况下，谷粒级谷物监控过程86可以响应于不同的触发事件而开始，诸如响应于经由操作员接口26接收的指示谷粒级谷物监控过程86被期望执行的操作员输入。在开始(步骤88)之后，谷粒级谷物监控过程86的控制器架构16前进到步骤90，在步骤90期间，控制器架构16搜集在执行过程86的后续步骤中使用的当前数据输入。这种数据输入可以从存储器82中调用(包括存储在数据库84中的信息的重新收集)；由操作员利用操作员接口26输入；从联合收割机10上的任意数量的传感器接收；并且可能通过未示出的数据链路从基于云的后端服务或其它远程数据源(诸如联合收割机10上的模块化远程信息处理网关)接收。这种数据输入的示例被标识在图3的左侧上，并且包括在当前的谷粒级谷物监控过程86的迭代期间或紧接在当前的谷粒级谷物监控过程86的迭代之前由谷物相机56捕获的一个或多个堆积谷物样品图像102、与当前收割的谷物相关的堆积谷物密度数据104、指示谷物填充的数据106(本文中也称为“谷物填充因子”)、以及任何数量的附加数据输入108，诸如从联合收割机10的操作员接收的手动输入的数据。
44.如上所述，堆积谷物样品图像102可以采取在联合收割机10操作期间由谷物相机56捕获的当前收割的谷物的任何图像数据的形式。在图示的示例中，这包括在堆积谷物流向上运输通过清洁谷物升降机52并进入联合收割机10的粮箱54时，由谷物相机56捕获的堆积谷物样品图像102。在其它情况下，堆积谷物样品图像可以由部署在联合收割机10上的任意数量个位置处的多个相机捕获。在至少一些实施例中，还可以利用由杂穗相机72捕获的图像的图像分析来补充利用由谷物相机56捕获的图像执行的下述图像分析；然而，在其它实施例中，可以仅考虑来自谷物相机56的图像，因为这个图像描绘了处于清洁状态的基本上没有破碎的谷物和mog的谷物流，以便于在将未破碎的谷物谷粒与所捕获的图像内的其它材料(例如，破碎的谷粒和mog)区分时进行图像分析。最后，如前所述，在本公开的至少一些实施例中，谷物相机56可以潜在地捕获电磁频谱的可见部分之外的图像数据和/或可以搜集深度数据(例如，当两个相机处于立体关系时)。
45.如图3中一般示出的那样，堆积密度数据104可以采取指示当被填充到给定体积的空间中时当前收割的谷物的体积密度的任何数据的形式。在实施例中，堆积密度数据104可以是基于由联合收割机10当前收割的谷物的类型(其可以由操作员输入来确定或者可能地由控制器架构16经由谷物相机图像的图像分析或利用其它机载传感器输入来确定)从存储器中调用的默认值。在这种情况下，控制器架构16可以基于当前收割的谷物类型从存储在计算机可读存储器82中的数据库84中调用特定值；并且然后以下面描述的方式将这个值用于计算apk密度值。在其它情况下，可以由操作员经由操作员接口26将堆积密度数据104直
接输入到谷粒级谷物监控系统12中。尽管存在这种可能性，但在可能的情况下，直接从联合收割机10上的一个或多个传感器直接获得堆积密度数据104是有用的。为此，在联合收割机配备有合适的水分传感器的实施例中，来自水分传感器(例如，图1中一般示出的水分传感器64)的数据可以用于确定当前收割的谷物流的堆积密度。除了提供指示当前收割的谷物的水分含量的数据之外，一般而言，水分传感器64能够测量堆积谷物流的样品电容，然后该样品电容可以被转换成用于执行下述过程或计算的堆积密度测量值。
46.也可以在谷粒级谷物监控过程86的步骤90期间搜集指示谷粒填充106的数据。当被收集时，这种谷粒填充数据106可以采取可用于评估当被填充到给定体积的空间中时与空间体积的累积空隙空间相比，固体质量(当前收割的谷物流的谷粒)所占据的空间的分数的任何信息的形式。当使用时，可以通过经验测试来确定谷粒填充指示符，在这种情况下，可以存储对应于一系列apk形态的一系列填充指示符值。具体而言，在实施例中，可以基于当前收割的谷物的形态分类(例如，大小和形状)来确定谷粒填充数据106，无论是基于当前收割的谷物类型、基于操作员数据输入通过从存储在存储器82中的二维查找表或其它数据结构的重新收集来确定、还是以另一方式确定。在其它情况下，控制器架构16可以对堆积谷物样品图像执行进一步的图像分析，以当利用来自采样的谷物流的谷粒进行填充时测量或估计图像中的累积空气空隙(例如，在由清洁谷物升降机52的桨叶携载的谷物堆的可见区域中辨别的空气空隙)，并且将空隙外推至由空气空隙而不是固体物质(谷粒)占据的空间的三维体积的百分比或分数。在其它实施例中，可以以另一方式确定谷粒填充指示符。
47.最后，在谷粒级谷物监控过程86的步骤90期间可以收集各种其它数据输入108。这种数据输入108可以包括其它类型的操作员输入数据、历史数据和可用于计算apk参数和下面结合步骤94描述的顶线收割度量的其它传感器数据。例如，指示质量流率的数据可以从任何合适类型的质量流率传感器(例如，图1中示出的撞击板传感器66)收集，指示谷物损失的数据可以从清粮室损失传感器70(或另一类型的谷物损失传感器)收集，可以收集用于计算谷物产量的数据(例如，描述联合收割机10的割台宽度、当前地面速度或速率的数据、以及谷物水分数据)，可以确定联合收割机10的当前gps位置(例如，以用于构建产量图，诸如图5中示出的产量图152)等等。最后，如上所述，附加数据输入108可以包括通过操作员接口26输入的描述各种作物属性的操作员输入数据，诸如标识当前收割的谷物类型的操作员输入数据或直接指定当前收割的谷物的谷粒形态分类的操作员输入数据。
48.前进到谷粒级谷物监控过程86的步骤92，控制器架构16接下来利用在步骤90期间收集的数据计算至少一个apk参数。如贯穿本文件所描述的，这种apk参数可以包括以下的任意组合：(i)apk体积、(ii)apk密度、(iii)apk重量或质量、以及(iv)apk形态(大小、形状和棱角)。在最初讨论apk体积的情况下，这个参数可以由谷粒级谷物监控系统12的控制器架构16通过堆积谷物样品图像的三维图像分析来跟踪。具体而言，控制器架构16可以可视地分析堆积谷物样品图像，以标识堆积谷物样品图像内的谷粒的轮廓；并且然后估计并平均化所检测到的谷粒的某些尺寸(平均长度和直径)。这样的平均尺寸然后可以被利用，潜在地与谷粒的已知形态或三维形状相结合，以计算堆积谷物流内单个平均谷粒的每谷粒平均体积。下面结合图4描述用于利用堆积谷物样品图像监控apk体积的合适图像分析技术的附加描述。
49.谷粒级谷物监控系统12可以进一步监控或跟踪当前收割的谷物流的apk密度。在
这种情况下，控制器架构16可以：(i)确定当前生成的谷物流的样品堆积密度；和(ii)至少部分地基于谷物流的样品堆积密度和apk体积计算apk密度。控制器架构16可以至少部分地基于由谷物水分传感器64提供的例如如前所述指示1000个谷粒重量或另一重量参数的数据来建立谷物流的样品堆积密度。进一步，在实施例中，当利用谷粒填充数据106将堆积密度测量值转换成每谷粒密度参数时，控制器架构16可以进一步校正或补偿空气空隙。具体而言，虽然apk体积可以用来估计能够装入给定体积的空间或封套中的谷粒的数量，但严格来说，apk体积并未传达这种谷粒将填充的方式(通俗地说，即谷粒填充的“紧密度”)；并且因此，并不直接表示当被来自谷物流的谷粒填充时，被空气空隙占据的这种空间体积的分数。相比之下，堆积密度测量值(以及本文描述的其它“堆积”测量值)固有地考虑或考量了谷物填充的空间体积内未被占据的(空气空隙)空间。因此，为了补偿apk参数和堆积测量值之间的这种差异，谷粒级谷物监控系统12的控制器架构16可以建立和利用上述谷粒填充数据106。如上所述，谷粒填充数据106可以被量化为被谷物质量占据或被空气空隙占据的空间体积的百分比或分数；例如，在一个实施方式中，谷粒填充数据106可以是当当前收割的谷物的谷粒被填充到给定的空间体积或封套中时估计空气空隙的累积体积的百分比(范围从例如0.1％到10％)。
50.当被使用时，谷粒填充数据106可以由控制器架构16基于堆积谷物样品图像的图像分析来确定，如下面结合图4所讨论的那样。附加地或替代性地，可以至少部分地基于从存储在存储器82中的数据库84中调用的并且对应于当前利用联合收割机10收割的谷粒类型的所存储的谷粒填充指示符来确定谷粒填充数据106。因此，在谷粒级谷物监控过程86的步骤92期间，控制器架构16可以利用谷物流的样品堆积密度、apk体积和谷粒填充数据106来计算apk密度。例如，在一种方法中，控制器架构16可以确定当前收割的谷物在被填充到给定空间体积中时的堆积密度测量值、从堆积密度测量值的总空间体积中减去估计的空气空隙体积、并且然后通过估计能够装到对应于堆积密度测量值的经校正的空间体积的谷粒的数量(例如，在1000个谷粒重量的情况下，为能够装入1容积蒲式耳(1.244立方英尺或0.035立方米)减去利用谷粒填充数据106建立的估计的空气空隙体积的体积的谷粒的数量)来计算apk密度值。而且，虽然本文讨论的1000个谷粒重量是常见的示例，但是除了1000个谷粒重量之外或者代替1000个谷粒重量，在替代性实施例中也可以采用其它谷物密度测量值。
51.转到apk重量(或质量)，控制器架构16可以根据先前建立的apk体积和堆积谷物重量(或质量)参数来计算这个apk参数。如容易理解的那样，因为这些参数是成正比的，注意重量是质量乘以重力加速度的标准值的乘积，apk质量可以容易地利用apk重量来计算(并且相反，apk重量可以容易地利用apk质量来计算)。以类似于apk密度的方式，apk重量(或质量)可以容易地利用堆积重量(或质量)测量值结合如上所述的由控制器架构16确定的apk体积来确定。谷粒填充数据106也是有益的，尽管控制器架构16在确定apk重量或apk质量的当前值时并未实质上考虑该谷粒填充数据106。一般而言，控制器架构16可以基于apk体积并且可能还考虑谷粒填充数据106来最初估计能够填充到给定体积的空间中的谷粒的数量。在确定给定体积的空间内的谷粒计数之后，控制器架构16可以通过将堆积重量或质量测量值除以包含在对应于堆积重量或质量测量值的空间体积内的谷粒的数量来估计apk重量或质量。而且，这种堆积重量或质量测量值目前可以由常规联合收割机利用例如被定位
为靠近清洁谷物升降机52的出口端的撞击板传感器66、粮箱称重传感器68或其它传感器80来计算。
52.最后解决apk形态，控制器架构16可以通过堆积谷物样品图像的视觉分析来建立堆积谷物的apk形态分类，无论是在联合收割机上执行还是由与谷粒级谷物监控系统无线通信的远程数据源(例如，后端服务)在联合收割机外执行。具体而言，控制器架构16可以分配表示当前收割的谷物流中包含的谷粒的平均谷粒形状的apk形态分类。这种形态分类或类型的几个示例如图3所示，并且包括线形、长方形、椭圆形、卵形、球形和肾形形状分类。除了图3中呈现的那些形状类别之外，或者代替图3中呈现的那些形状类别，也可以使用各种其它三维谷粒形状类别或者三维种子形状类别。附加地，在实施例中，控制器架构16还可以至少部分地基于样品谷物流图像的三维分析来为形态分类分配大小或比例。作为任意示例，特定收割的谷物可以被分配大的长方形或小的球形的apk形态分类，同时控制器架构16潜在地从任何实际数量的大小梯度中进行选择。因此，apk形态确定是相似的，尽管不同于上述apk计算。现在将结合图4描述由控制器架构16潜在地用来分析堆积谷物样品图像并确定apk形态分类、apk体积或apk形态分类和apk体积两者的示例过程的进一步描述。
53.图4示意性地示出了示例图像分析子过程118，其潜在地由控制器架构16实行，以通过从联合收割机10上的一个或多个相机(例如图1和图2中示出的谷物相机56)接收的堆积谷物样品图像的三维图像分析来评估apk体积、apk形态或这两个apk参数中的两者。图像分析子过程118包括四个步骤(步骤120、122、124、126)，这些步骤在所示示例中连续执行。在步骤120，控制器架构16从谷物相机56接收谷物流的原始相机图像128。接下来，在步骤122，控制器架构16然后可以处理图像(例如，通过增加对比度和标识鲜明对比的区域或其它这样的视觉“地标”来区分谷粒轮廓或周长)，并且从而产生经处理的图像132，在图4中示出了原始相机图像132的放大区域130的经处理的图像132的一部分。通过标识图像内的谷粒的轮廓或周长，控制器架构16然后可以标识谷粒的相关尺寸。在步骤122期间由控制器架构16标识的特定尺寸以及应用这些尺寸来确定apk体积的方式可以根据要进行分析的谷粒的三维形状而发生变化。例如，当谷粒被确定为平均拥有大致球形形状时(无论是根据操作员输入数据、利用将当前作物类型与平均谷粒形状相关的查找表来确定，还是基于上述apk形态来确定)，控制器架构16可以仅确定可见谷粒的边界和轮廓、评估单个尺寸，诸如可视采样的谷粒的直径(或周长)、并且然后利用众所周知的公式从已知的直径或周长值计算球形体积来利用平均直径计算球形谷粒的体积作为apk体积。
54.在其它情况下，例如当谷粒具有长方形或不规则形状时，控制器架构16可以利用在堆积谷物样品图像中描绘的谷粒的多个估计的尺寸来确定apk体积。在后一方面，控制器架构16可以可视地测量每个可视分析谷粒的长度和最大宽度，如图4中由箭头134、136所指示那样。进一步，如图4中步骤124所示，这个信息然后可以与适当的形状类别或分类(在此是椭圆形分类)相结合，以计算apk体积。值得注意的是，在这种情况下，堆积样品谷物图像中描绘的谷粒的整体性方向可能变得越来越相关。考虑到这方面，控制器架构16可以应用筛选程序或执行类似的动作，以将尺寸分析限制到在被分析的图像中具有长度方向的取向(即，主要在水平方向上延伸)的那些谷粒，而不是当前具有越来越直立取向的谷粒。例如，在实施例中，图像分析可以被控制器架构16局限或限制到那些被标识为具有向谷物相机56显露的更大表面积和/或充分匹配所建立的谷粒形态形状的谷粒，如从谷粒的一个或多个
所选择的侧面所看到的那样。这又可以减少例如当某些数量的具有卵形形状的谷粒被定位在直立取向上以向谷粒相机56显露大致圆形的表面区域(基本上，如当查看给定谷粒的顶侧或底侧时看到的那样)时导致的尺寸不足的误差的程度。因此，通过将三维分析限制于其中显露了谷粒的卵形侧面的那些谷粒，具有精确性的apk体积和/或apk形态被确定。类似的方法也可以用于各种其它谷粒形态类型，诸如图3中阐述的示例谷粒级谷物监控过程86的步骤92中的方框区域116中示出的那些。
55.如图4中步骤124、126进一步所示，当联合收割机10配备有能够搜集与当前收割的谷物样品相关的深度数据的传感器时，堆积谷物样品图像的上述视觉分析也可以考虑这样的深度数据。在这种情况下，深度数据可以用于建立在堆积谷物样品图像中描绘的谷粒的三维几何形状或拓扑结构，以进一步提高上述每谷粒平均(apk)体积计算和/或谷粒形态评估的准确性。历史数据也可以从存储器82中调用，并在可用和如此期望时与这种二维和三维图像数据混合。例如，当被利用时，这样的历史数据可以被存储在存储器82中保存的数据库84中，并且可以将先前在类似于谷物产量或谷物损失图的所存储的地理参考的图的各个田地区域中收割的谷物的形态数据(大小和形状)相关联。最后，还可以利用与以上描述的那些技术类似的技术来评估堆积谷物样品图像中描绘的谷粒的apk形态。例如，可以确定谷粒的轮廓，并且可以将谷粒轮廓的整体性形状与保存在数据库84中的、各自与特定的形态分类相关联的预存形状或模板进行比较。如果深度数据可用，则可以生成三维网格，并类似地将其与数据库84内的三维网格模板匹配。在任一情况下，控制器架构16可以通过对堆积谷物样品图像的图像分析来容易地确定当前收割的谷物的apk形态分类。如果这种apk形态分类拥有大小分量，如在大线性apk形态分类或小的肾形apk形态分类的情况下那样，控制器架构16可以通过利用类似于刚刚描述的那些过程或技术的过程或技术对所捕获的图像进行尺寸分析来确定这个大小分量。
56.回到图3中示出的谷粒级谷物监控过程86，控制器架构16接下来前进到步骤94，并利用上述apk参数中的任何一个或全部来更好地获知顶线收割度量(提高其准确性)。例如，当利用放置在联合收割机10中的特定位置处的撞击板传感器70计算谷物损失时，可以通过考虑apk质量参数来改进谷物损失估计；例如，通过更好地估计损失的谷物的质量、或者通过改进在更准确地将谷粒碰撞与其它非谷粒(例如，mog)或破碎谷粒碰撞区分开时的冲击计数。在这方面，在步骤94期间，控制器架构16可以重复估计或跟踪当前收割的谷物的apk质量；并且至少部分地基于估计的apk质量、由撞击板传感器70提供的碰撞数据以及任何其它相关数据输入来监控当前收割的谷物的谷物损失参数。进一步，在至少一些实施方式中，可以由控制器架构16将所确定的apk重量向上缩放到1000个谷粒重量值(或另一多谷粒重量参数)，其中利用这种基于apk的1000个谷粒重量来代替常规地由现有联合收割机系统在自动联合收割机设置调节中依赖的标准化的1000个谷粒重量值。因此，可以提高计算和映射的谷物损失的准确性和一致性。
57.当在示例谷粒级谷物监控过程86期间被监控时，也可以由控制器架构16考虑apk形态分类，从而以更高的准确度确定谷物损失估计值。还可以利用由谷粒级谷物监控系统10计算的apk参数来改进质量流率测量，这取决于例如是通过测量对被定位在清洁谷物升降机52的出口端处的撞击板66的撞击、利用谷物相机56(或另一相机)来估计谷物运输通过清洁谷物升降机52的速率、利用指示清洁谷物升降机负载和速度的传感器来估计质量流率
来跟踪质量流率还是利用另一合适的技术来跟踪质量流率。也可以利用apk参数的当前值或瞬时值，适当地改进谷物产量估计值。例如，在后一方面，计算谷物产量的准确性方面的提高可以来自更精确的质量流率估计值，除了联合收割机割台宽度、联合收割机地面速度或速率以及来自水分传感器64的水分数据之外，如前所讨论的，质量流率估计值通常用于计算谷物产量。类似地，可以以以上所讨论的方式利用apk参数以及可能的谷粒填充数据确定测试重量(当前收割的谷物在紧密填充在1容积蒲式耳中时的重量)。一般而言，然后，谷粒级谷物监控系统12的实施例利用来自谷物相机56和其它机载传感器(例如，水分传感器64)的不同数据输入来提高在联合收割机10上计算的关键作物信息的精度。
58.如前所讨论那样，谷粒级谷物监控系统12的实施例可以但不是必须执行用于将当前收割的谷物分配给存储在数据库84中的多个预定apk形态分类或类别中的特定一个的堆积谷物样品图像的进一步图像分析。当由控制器架构16如此确定时，分配给当前收割的谷物流中包含的谷粒的apk形态(大小和形状)类别或分类也可以有用地用作为计算或算法中的输入，以进一步增强联合收割机的性能并提供其它增值功能，诸如创建地理参考数据工具以便由相关方进行随后分析。在后一方面，由控制器架构16跟踪的apk形态(大小和形状)以及可能的apk重量参数(其可以被放大到一千个谷粒重量或另一多谷粒重量参数)可以与gps位置一起被记录，这可以使种子生产者和种植者能够从农学的角度改进产品和服务。进一步，如图3中由图形95所示，apk形态(大小和形状)可以用于更精确地推断或评估当前收割的谷物的休止角，这在实行联合收割机10的某些机载计算中也已知是有用的。一般而言，随着平均谷粒形状变得越来越圆，堆积谷物的流动性增加，并且堆积谷物堆倾向于变平，从而减小休止角。相反，具有越来越接近长方形或不规则的形状的谷粒倾向于增加堆高度，并且因此具有更大的休止角(在图形95中被标识为角α)。一旦被确定或估计出，休止角就可以用于微调各种计算；例如休止角可以用来更准确地评估被堆到粮箱称重传感器68上的谷物的量或体积，这又可以改进利用称重传感器数据执行的质量流量传感器校准技术。换句话说，控制器架构16可以至少部分地基于apk形态分类来估计当前收割的谷物的休止角；并且然后利用由称重传感器生成的数据和所估计的休止角来选择性地校准水分传感器。
59.在步骤94之后，控制器架构16前进到谷粒级谷物监控过程86的步骤96，并利用在步骤92确定的(一个或多个)apk参数、在步骤94计算的(一个或多个)顶线参数或其组合来执行一个或多个动作。这样的动作可以包括在显示设备24上生成gui屏幕，从而使得操作员能够根据期望选择性地查看apk参数的当前或历史值。这种可能性总体上在图5中描述，图5(以概括的形式)呈现了在位于联合收割机10的驾驶室22中的显示设备24的显示屏140上生成的gui屏幕或页面138。如上部边界框142所示，控制器架构16可以生成输送由谷粒级谷物监控系统12跟踪的apk参数的当前值或瞬时值的任何数量和类型的数字读数或其它视觉指示。类似地，在谷粒级谷物监控过程86的步骤96，控制器架构16可以可视地表达由控制器架构16利用(一个或多个)apk参数计算的任何顶线收割度量，如图5中在方框区域144内总体指示的那样。如方框148所示，顶线收割度量可以被表达为数值读数；例如测试重量的数值读数、谷物产量估计值、谷物损失估计值、谷物成分或组成估计值和/或质量流率估计值，仅举这几个示例。替代性地，如在方框区域150内所指示的，顶线收割参数可以以其它图形或符号形式表达，诸如产量图、谷物损失图和其它农学信息。这种产量图152的示例在图5中示出，其中不同的交叉影线代表图152的指示不同的产量的不同颜色编码区域。
60.在实施例中，控制器架构16可以基于所跟踪的apk参数、利用所跟踪的apk参数而计算的顶线收割度量或其组合来确定对被致动的收割部件的目标设置调节。这种信息可以用于确定对联合收割机设置的目标调节，这些联合收割机设置控制上文结合图2描述的被致动的收割部件76的操作或定位。进一步，控制器架构16可以在显示设备24上生成图像(例如，文本或符号视觉通知)，通过适当的视觉提示来提醒操作员实施所确定的目标调节。附加地或替代性地，控制器架构16可以利用听觉提示(诸如通过生成通告消息或其它听觉通知)来传达对联合收割机设置的所提议的调节。作为另一可能性，控制器架构16可以在适当的时候自动地实施对联合收割机10上的被致动的收割部件76中的所选择的部件的目标设置调节。在后一方面，作为示例，至少在一些情况下，可以由谷粒级谷物监控系统12的控制器架构16确定并自动实施(即，无需操作员输入而实施)谷壳筛调节、清粮室调节、筛网调节、风扇速度调节等。这在图5中由下部方框区域146表示。作为示例，可以对风扇速度实施相对精细的调节，以例如与增加apk重量或大小一起增加风扇速度。在实施例中，也可以结合风扇速度调节来自动实施对清粮室、筛网和/或谷壳筛部件定位的相对应的调节。当由控制器架构16执行这种自动调节时，可以在显示设备24的显示屏140上呈现补充图形和/或可以生成听觉通知，以使操作员意识到正在执行此类自动调节。
61.在步骤96之后，例如由于操作员停止或者中断由联合收割机10进行的作物收割，控制器架构16确定谷粒级谷物监控过程86是否应该终止(步骤98)。如果确定谷粒级谷物监控过程86应该终止，则控制器架构16前进到步骤100，并相应地终止过程86。否则，控制器架构16返回到步骤88，并执行谷粒级谷物监控过程86的进一步的如前所述的迭代。这些步骤可以在相对快速的基础上执行，以允许谷粒级谷物监控系统12以高度响应的实时方式跟踪以上描述的apk参数并执行以上描述的其它动作(例如，显示所选择的apk参数、显示利用apk参数所计算的顶线收割度量、和/或显示或自动实施利用apk参数所确定的目标设置调节)。这又可以增强谷粒级谷物监控系统12提供给联合收割机操作员的信息的质量，并且可以以其它方式支持联合收割机操作的优化。
62.谷粒级谷物监控系统的列举的示例
63.为了便于参考，进一步提供了谷粒级谷物监控系统的以下示例并对其进行了编号。
64.1.在第一示例性实施例中，谷粒级谷物监控系统包括：谷物相机，该谷物相机被定位成捕获被获取到联合收割机中并且由联合收割机处理的当前收割的谷物的堆积谷物样品图像；水分传感器，该水分传感器被配置成生成指示当前收割的谷物的水分水平的水分传感器数据；以及显示设备，该显示设备具有显示屏，在该显示屏上选择性地呈现与当前收割的谷物相关的参数。控制器架构耦接到谷物相机、耦接到水分传感器和耦接到显示设备。控制器架构被配置成：(i)分析从谷物相机接收的堆积谷物样品图像，以确定代表当前收割的谷物的单个平均谷粒的估计的体积的每谷粒平均(apk)体积；(ii)至少部分地基于所确定的apk体积和水分传感器数据，重复计算一个或多个顶线收割参数；以及(iii)在显示设备上选择性地呈现顶线收割参数，以供联合收割机的操作员查看。
65.2.根据示例1的谷粒级谷物监控系统，其中顶线收割参数包括谷粒重量参数。
66.3.根据示例2的谷粒级谷物监控系统，其中谷粒重量参数包括测试重量，所述测试重量指定在被填充到预定体积的空间中时当前收割的谷物的重量。
67.4.根据示例3的谷粒级谷物监控系统，其中控制器架构还被配置为利用指示预定体积的空间内的累积空隙空间的谷粒填充数据计算测试重量。
68.5.根据示例4的谷粒级谷物监控系统，其中控制器架构被配置为至少部分地基于对堆积谷物样品图像内的累积空隙空间的图像分析评估来确定谷粒填充数据。
69.6.根据示例4的谷粒级谷物监控系统，还包括耦接到控制器架构的操作员接口。控制器架构被配置成至少部分地基于经由操作员接口接收的操作员输入数据来确定谷粒填充数据。
70.7.根据示例4的谷粒级谷物监控系统，还包括存储与不同谷物属性相关联的多个谷粒填充数据的数据库。控制器架构被配置成通过调用多个谷粒填充数据中的对应于当前收割的谷物的所选择的一个来确定谷粒填充数据。
71.8.根据示例1的谷粒级谷物监控系统，还包括至少一个撞击板传感器，该至少一个撞击板传感器耦接到控制器架构并且当当前收割的谷物的谷粒被运输到联合收割机的粮箱中时被当前收割的谷物的谷粒碰撞。控制器架构耦接到撞击板传感器并被配置成：(i)利用当前收割的谷物的apk体积和堆积密度参数来估计当前收割的谷物的apk质量；以及(ii)至少部分地基于估计的apk质量和由撞击板传感器提供的碰撞数据来监控当前收割的谷物的质量流率。
72.9.根据示例8的谷粒级谷物监控系统，其中顶线收割参数包括利用质量流率作为输入而计算的谷物产量参数。
73.10.根据示例1的谷粒级谷物监控系统，其中控制器架构被配置成进一步分析从谷物相机接收的堆积谷物样品图像，以确定指示当前收割的谷物的谷粒尺寸和形状类别的apk形态分类。
74.11.根据示例10的谷粒级谷物监控系统，还包括位于联合收割机的粮箱中的称重传感器。控制器架构还被配置成：(i)至少部分地基于apk形态分类来估计当前收割的谷物的休止角；以及(ii)利用由称重传感器生成的数据和所估计的休止角选择性地校准水分传感器。
75.12.根据示例1的谷粒级谷物监控系统，还包括撞击板传感器，该撞击板传感器耦接到控制器架构并且当当前收割的谷物的谷粒从联合收割机喷射时被当前收割的谷物的谷粒碰撞。控制器架构耦接到撞击板传感器，并被配置成：(i)利用当前收割的谷物的apk体积和堆积密度参数来估计当前收割的谷物的apk质量；以及(ii)至少部分地基于所估计的apk质量和由撞击板传感器提供的碰撞数据来监控当前收割的谷物的谷物损失参数。
76.13.根据示例1的谷粒级谷物监控系统，还包括在联合收割机上并且耦接到控制器架构的被致动的收割部件。控制器架构还被配置成至少部分地基于利用apk体积而计算的参数来确定对被致动的收割部件的目标设置调节。附加地，控制器架构执行以下动作中的至少一个：(i)在显示设备上生成可视地提示操作员实施对被致动的收割部件的目标设置调节的图形，或者(ii)自动实施对被致动的收割部件的目标设置调节。
77.14.根据示例13的谷粒级谷物监控系统，其中利用apk体积而计算的参数包括apk重量、apk质量和apk密度中的至少一个，其中目标设置调节包含风扇速度调节。
78.15.在另外的实施例中，谷粒级谷物监控系统包括：谷物相机，该谷物相机被定位成捕获被获取到联合收割机中并且由联合收割机处理的当前收割的谷物的堆积谷物样品
图像；水分传感器，该水分传感器被配置成生成指示当前收割的谷物的水分水平的水分传感器数据；显示设备，该显示设备具有显示屏，在该显示屏上选择性地呈现与当前收割的谷物相关的参数。控制器架构耦接到谷物相机、耦接到水分传感器和耦接到显示设备。控制器架构被配置为分析从谷物相机接收的堆积谷物样品图像，以确定每谷粒平均(apk)参数；并且至少部分地基于apk参数来确定对联合收割机的被致动的收割部件的目标设置调节。附加地，控制器架构执行以下动作中的至少一个：(i)生成提示操作员实施目标设置调节的通知，诸如视觉和/或听觉通知；以及(ii)控制被致动的收割部件自动实施目标设置调节。
79.结论
80.因此，已经提供了用于在联合收割机上使用的谷粒级谷物监控系统的实施例。谷粒级谷物监控系统的实施例利用从至少一个谷物相机获得的堆积谷物样品图像来计算与由联合收割机生成的堆积谷物流相关的一个或多个apk参数。在实施例中，apk参数(诸如apk体积(大小)、apk重量或质量、apk密度和/或apk形态)中的一个或多个的瞬时值可以被直接显示给联合收割机的操作员。附加地或替代性地，apk参数可以用于以更高的准确度和一致性计算顶线收割度量，包括质量流率、谷物产量、测试重量、谷物损失和其它参数的任意组合。然后，顶线收割度量可以被显示给操作员以便在确定在给定的一组环境下驾驶联合收割机的最佳方式时考虑、用于校准联合收割机上的传感器(例如，质量流率传感器)、或者被存储在存储器中用于随后的参考或在编译农业数据工具(诸如产量图和谷物损失图)时使用。在某些实施例中，可以利用apk参数和/或使用apk参数计算的顶线收割度量来确定对联合收割机设置的目标调节，其中目标设置调节然后被输送(例如，可视地呈现或可听地通信传送)给联合收割机操作员或由谷粒级谷物监控系统自动实施。有利地，可以通过组合由通常部署在现有联合收割机上的传感器(包括谷物相机和水分传感器)提供的不同传感器输入来计算这种apk参数。因此，在许多情况下，谷粒级谷物监控系统可以主要通过软件来实施，以简化用户采纳并降低实施成本。因此，一般而言，谷粒级谷物监控系统的实施例为操作员和自动化系统提供了新颖且更高质量的信息，以增强联合收割机操作的各个方面。
81.如本文所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文清楚地另外指出。还应当理解的是，当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们的组的存在或添加。
82.本公开的描述已经出于说明和描述的目的进行了呈现，但是并不旨在穷举或限于呈所公开形式的公开内容。在不脱离本公开的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择和描述本文明确引用的实施例是为了最好地解释本公开的原理及其实际应用，并使得本领域的其它普通技术人员能够理解本公开内容并认识到所描述的(一个或多个)示例的许多替代性方案、修改和变化。因此，除了那些明确描述的实施例和实施方式之外的各种实施例和实施方式都在所附权利要求的范围内。