现场作业辅助系统的制作方法

1.本发明涉及信息处理系统等的技术，特别是涉及用于辅助包含农业的现场作业的技术。


背景技术：

2.在农业现场、例如栽培农作物(有时记载为对象物、作业对象物等)的田地(例如塑料大棚)等现场，由作业者进行例如收获西红柿等农作物的作业、以及将收获后的农作物出货的作业等。作为社会性问题，有农业等现场中的作业者的不足、作业者的技能或经验等的不足、作业的负担或效率等。因此，正在研究用于使用包含ai(人工智能)等的it技术来辅助农业等的现场作业的机制。
3.另外，近年来，除智能手机或智能手表等以外，包含智能眼镜的头戴式显示器(hmd)等的技术不断发展。因此，也正在研究用于使用hmd等装置(智能设备)来辅助现场作业的机制。
4.作为上述所涉及的现有技术例，可列举专利第6267841号公报(专利文献1)。在专利文献1中，作为可穿戴终端显示系统等记载了在可穿戴终端的显示板中显示农作物的收获时期的内容。
5.专利文献1：日本专利第6267841号公报


技术实现要素：

6.在农业等现场中，在进行收获或出货的作业的作业者不是有经验的人而是没有经验的人或经验不足的人的情况下，有时关于应收获或出货哪种农作物等不易判断，作业有时有难度。作业者的作业负担大，作业效率不佳。还有工人的人手不足、有经验的人的不足、向没有经验的人的培训成本等问题。本发明提供能使用包含ai和智能设备等的it技术适当地辅助农业等的现场作业的机制。
7.本发明中的代表性实施方式具有以下所示的构成。一实施方式的现场作业辅助系统是用于辅助包含农业的现场作业的现场作业辅助系统，具备作业者所佩戴或携带的作业者终端，所述作业者终端获取第一数据，所述第一数据包含使用摄像头对所述作业者的视野中的包含农作物的作业对象物进行了拍摄的第一图像，所述作业者终端或与所述作业者终端连接的计算机系统将所述第一数据作为输入，基于反映了所述作业对象物的第二图像的学习的第二数据来识别所述作业对象物的状态，获取用于基于识别结果来辅助所述作业的第三数据，所述作业者终端作为用于基于所述第三数据对所述作业者辅助所述作业的输出进行包含传递如下内容的输出：在与所述视野相对应的所述第一图像内有所述作业对象物。
8.根据本发明中的代表性的实施方式，能使用包含ai和智能设备等的it技术来适当地辅助农业等的现场作业，例如能减少农业经营的成本，提高效率，即使是没有经验的人，也能容易进行收获或出货的作业。
附图说明
9.图1是示出本发明的实施方式1的现场作业辅助系统的构成的图。
10.图2是示出实施方式1中的作业者终端的功能模块构成的图。
11.图3是示出实施方式1中的包含与上级系统的合作的系统构成例等的图。
12.图4是示出实施方式1中的作业辅助功能的处理概要等的图。
13.图5是示出实施方式1中的预测辅助功能的处理概要等的图。
14.图6是示出实施方式1中的病虫害判别辅助功能的处理概要等的图。
15.图7是示出实施方式1的变形例中的作业辅助功能的处理概要等的图。
16.图8是示出实施方式1中的成熟度的规定例的图。
17.图9是示出实施方式1中的西红柿的颜色样本的例子的图。
18.图10是示出实施方式1中的黄瓜的模型样本的例子的图。
19.图11是示出实施方式1中的与ai功能相关的构成的图。
20.图12是示出实施方式1中的识别结果的例子的图。
21.图13是示出实施方式1中的收获作业辅助显示的第一例的图。
22.图14是示出实施方式1中的收获作业辅助显示的第二例的图。
23.图15是示出实施方式1中的收获作业辅助显示的第三例的图。
24.图16是示出实施方式1中的收获作业辅助显示的第四例的图。
25.图17是示出实施方式1中的收获作业辅助显示的第五例的图。
26.图18是示出实施方式1中的收获作业辅助显示的第六例的图。
27.图19是示出实施方式1中的出货作业辅助时的图像例的图。
28.图20是示出实施方式1中的出货作业辅助显示的第一例的图。
29.图21是示出实施方式1中的出货作业辅助显示的第二例的图。
30.图22是示出实施方式1中的田地的俯视时的构成例的图。
31.图23是示出实施方式1的变形例中的田地的俯视时的构成例的图。
32.图24是示出本发明的实施方式2的现场作业辅助系统中的实绩检测部的构成的图。
33.图25是示出实施方式2中的图像例之一的图。
34.图26是示出实施方式2中的图像例之二的图。
35.图27是示出实施方式2中的图像例之三的图。
36.图28是示出实施方式2中的图像例之四的图。
37.图29是示出实施方式2中的图像例之五的图。
38.图30是示出实施方式2的变形例中的被收获判定部的构成的图。
39.图31是实施方式2的变形例中的相对位置关系的示意图。
具体实施方式
40.以下，基于附图详细说明本发明的实施方式。
41.(实施方式1)
42.使用图1～图23对本发明的实施方式1的现场作业辅助系统进行说明。
43.[现场作业辅助系统]
[0044]
实施方式的现场作业辅助系统主要具有作业者终端1和服务器2(包含服务器2的计算机系统)。作为利用本系统的人，有作业者w1、指示者w2。作业者w1使用作为智能设备(换言之可移动型信息设备)的作业者终端1。作业者终端1是在现场作业者w1所使用的便携终端1a、可穿戴终端1b。作业者w1携带便携终端1a或者佩戴可穿戴终端1b。作业者w1使用便携终端1a和可穿戴终端1b中的一方或双方。便携终端1a例如是智能手机、平板终端。可穿戴终端1b例如是包含智能手表、智能眼镜的hmd。作业者终端1具备作业辅助功能41。作业辅助功能41是通过与服务器2的功能的合作对作业者w1输出作业辅助信息的功能。
[0045]
作业者w1是在农业等现场、例如田地(塑料大棚等)中进行农作物的收获作业或出货作业作为农业作业的工人。作业者w1也可以是外国人工人或学生。作业者w1也可以是有经验的人。指示者w2是对作业者w1进行农业作业所涉及的指示的人，例如农业经营者的雇用者、或ja(农业合作社)等的人。作业对象物3是农作物，是作业辅助的对象物，具体例子是西红柿或黄瓜。
[0046]
需要说明的是，ja进行农业经营的指导、管理、支持、购买等事业。ja希望尽可能高精度地掌握各农户的各农产品的收获或出货的状态(实绩或预测等)。然而，以往，ja较大地负担着为此的时间精力或成本。
[0047]
本系统使用作业者w1的智能设备(作业者终端1)来辅助由作业者w1进行的作业。作业者w1经由作业者终端1来观看作业对象物3。作业者终端1对包含作业对象物3的图像进行拍摄。本系统获取作业者终端1的图像后将其用于作业辅助。本系统通过作业者终端1的图像实时地判断作业对象物3的状态，提供作业引导等作业辅助。本系统通过作业者终端1对作业者w1输出作业辅助信息。输出不限于图像显示，包含基于声音输出、振动或基于光的输出。
[0048]
本系统至少能在包含农作物(特别是蔬菜水果)的筛选的收获作业或出货作业时使用。筛选例如是指关于农作物的成熟度、等级、实际尺寸、形状、病虫害的状态等的判断或筛选。输出的作业辅助信息至少包含关于作业者w1的视野中可见的农作物能否收获的区分、或者是否应收获的区分等收获辅助信息(换言之收获对象指示信息、收获对象判别辅助信息等)。
[0049]
本系统仅通过作业者w1携带或佩戴作业者终端1就能容易使用。在作业者w1不是有经验的人而是作业的技能或经验低的没有经验的人(初学者、低熟练度的人等)的情况下，也能根据作业辅助容易进行收获或出货的作业。本系统能通过上述作业辅助将有经验的人的技能/经验/知识等对没有经验的人高效地提供，能实现培训。没有经验的人能提高作业所涉及的技能等。
[0050]
本系统设为通过ai功能20学习作业所涉及的有经验的人的技能/经验等并进行安装和反映，作为作业辅助提供给作业者w1。本系统在与作业者终端1合作的服务器2等计算机系统中具有ai功能20等。ai功能20是包含图像解析或机器学习等的功能。作为ai功能20的例子，使用深层学习等机器学习。ai功能20将作业对象物3的图像数据作为输入来进行机器学习。图像既可以是用作业者终端1的摄像头实际拍摄了农作物的图像，也可以是后述的颜色样本等图像。ai功能20通过学习输入图像来更新识别所涉及的学习模型。
[0051]
ai功能20根据输入图像来识别图像内所映出的农作物的成熟度等的状态，输出识别结果。作业者终端1使用ai功能的识别结果对作业者w1输出作业辅助信息、例如收获作业
辅助信息。作业者终端1例如将表示收获对象物的图像显示于显示面5。作业者w1能根据该作业辅助信息容易进行收获等作业。
[0052]
智能手机等便携终端1a具备触摸面板等显示面5和摄像头6等。摄像头6有内置摄像头61或外置摄像头62。作业者w1使用摄像头6对作业对象物3进行拍摄。在便携终端1a的显示面5中显示作业辅助信息等。另外，便携终端1a将与作业辅助信息对应的声音从扬声器输出，控制与作业辅助信息对应的振动或光。
[0053]
hmd等可穿戴终端1b具备显示面5和摄像头6等。摄像头6包含视线检测用的摄像头或测距传感器用的摄像头等。可穿戴终端1b在hmd等的情况下还附属与主体进行通信的操作器9。作业者w1还能将操作器9拿在手中进行操作。显示面5既可以是透射型，也可以是非透射型(vr类型)。hmd的显示面5与用户的视野的范围对应，在现实空间的作业对象物3的实际影像上重叠显示基于与作业辅助信息对应的ar等的图像(有时记载为虚拟图像等)。
[0054]
服务提供商的包含服务器2、db以及pc等的计算机系统具备管理功能40、ai功能20。管理功能40是关于作为用户的多个作业者w1或指示者w2、以及多个田地等现场登记并管理信息的功能。例如，在某农业经营者具有多个作业者w1、多个田地的情况下，管理功能40将这些信息汇总后管理。本系统例如能安装于通信网上的数据中心或云计算系统等服务器2等。作业者终端1经由通信网与服务器2等进行通信并合作。服务器2等对各用户的数据进行管理、集成、共享等，进行针对各现场和各作业者w1的辅助。本系统通过作业者终端1和包含服务器2等的计算机系统来分担处理。分担的方式可以是各种方式，在实施方式1中示出一个例子。在实施方式1中，特别是计算机系统负责计算处理负荷比较大的ai功能20的处理。
[0055]
本系统通过作业者终端1并基于图像不仅进行收获或出货的作业辅助，还进行后述的其它辅助。本系统作为其它辅助进行农作物的病虫害的状态的探测或应对辅助。本系统作为辅助信息提供病虫害判别辅助信息、农药喷洒判断信息等。另外，本系统作为其它辅助而辅助农作物的收获量(或出货量)的预测。本系统作为辅助信息提供收获预计量等预测信息。
[0056]
[作业者终端1]
[0057]
图2示出作业者终端1的功能模块构成。在本例中，示出作业者终端1是包含智能眼镜的hmd的情况。作业者终端1具备处理器101、存储器102、显示设备50、摄像头6、传感器7、通信设备80、麦克风81、扬声器82、操作按钮83、电池84，它们经由总线等被相互连接。作业者终端1包含操作器9，通过通信设备80和操作器9进行通信。
[0058]
处理器101控制作业者终端1的整体和各部。作业者终端1作为使用包含处理器101的硬件和软件构成的处理部而具有拍摄部11、对象物识别部12、对象选择部13、显示控制部14、声音通知部15、振动通知部16、光通知部17等。
[0059]
存储器102存储有处理器101所处理的数据或信息。存储器102保存有控制程序110、应用程序120、设定信息130、拍摄图像数据140、虚拟图像数据(换言之作业辅助数据)150等。控制程序110是实现作业辅助功能41等的程序。应用程序120是hmd本来就具备的各种程序。设定信息130是系统设定信息或用户设定信息。拍摄图像数据140是用摄像头6拍摄到的图像的数据。虚拟图像数据150是用于在显示面5中显示作业辅助信息的图像的数据。
[0060]
显示设备50例如是投射型显示设备，对构成显示面5的透镜面投射显示图像。需要
说明的是，能应用不限于投射型显示设备的设备。显示设备50在便携终端1a的情况下是触摸面板等。摄像头6包含对作为用户的作业者w1的视野的正面方向进行拍摄的一个以上的摄像头。摄像头6包含构成视线检测传感器的摄像头、构成测距传感器的摄像头。传感器7可列举公知的gps接收机、地磁传感器、加速度传感器、陀螺仪传感器等。作业者终端1使用传感器7的检测信息来检测作业者终端1或作业者w1的位置、方向、加速度等，将其用于控制。
[0061]
通信设备80是与各种通信接口对应并进行与服务器2的无线通信、与操作器9的近距离通信等的部分。麦克风81可以包含多个麦克风，是输入并录制声音的声音输入装置。扬声器82可以包含多个扬声器，是输出声音的声音输出装置。操作按钮83受理作业者w1的输入操作。电池84基于充电对各部供应电力。
[0062]
[系统构成例和各功能]
[0063]
图3示出包含图1的实施方式1的现场作业视线系统与上级系统的合作的系统构成例、以及上级系统的各功能的构成概要。图3的系统构成例除了作业者终端1和服务器2以外还具有指示系统201、预测系统202以及生长管理系统203。关于指示系统201、预测系统202、以及生长管理系统203的构成内容没有特别限定。图3的构成例示出在服务提供商的包含服务器2的计算机系统中安装有指示系统201、预测系统202以及生长管理系统203的情况。换言之，在计算机系统内置有指示系统201等。不限于此，也可以针对包含服务器2的计算机系统在外部通过通信连接有指示系统201等上级系统。
[0064]
指示系统201包含收获指示系统或出货指示系统。指示系统201受理来自指示者w2的作业指示的输入。该作业指示例如是与作为收获作业指示的成熟度的指定或等级的指定等相伴的指示。指示系统201基于来自指示者w2的作业指示，构成并提供针对作业辅助功能41的作业指示。该作业指示包含用于作业辅助信息的显示对象信息。例如，在有成熟度的指定的情况下，显示对象信息是表示符合被指定的成熟度的收获对象物的信息。
[0065]
在本系统中，能将现场的作业者w1以外的人设为指示者w2，能对本系统(例如服务器2或作业者终端1)进行作业指示，能生成并输出与该作业指示匹配的作业辅助信息(或作业指示信息)。该作业辅助信息(或作业指示信息)例如是直接指定收获对象物的信息。来自上级的指示者w2的作业指示例如是间接地表现收获对象物的信息，例如是指定成熟度等的信息。在被指定了某成熟度的情况下，符合该成熟度的状态的所有农作物称为收获对象。这种作业指示在出货作业时指定等级或实际尺寸等的情况下也能同样地应用。本系统能通过指示系统201进行与来自指示者w2的作业指示匹配的收获对象指示等作为作业辅助，由此，能使作业者w1在现场不会对收获等产生困惑，或者不容易产生困惑。
[0066]
更详细地，作业辅助功能41包含收获作业辅助功能41a和出货作业辅助功能41b。收获作业辅助功能41a是收获作业时输出辅助的功能。出货作业辅助功能41b是出货作业时输出辅助的功能。作业辅助功能41根据来自指示系统201的作业指示信息，输出作业辅助信息。例如，作业辅助功能41将作业辅助的图像显示于显示面5。该图像是表示作业对象的图像、用于筛选辅助的图像。作业辅助功能41能掌握作业者终端1的位置等。
[0067]
预测系统202是预测收获预计量或出货预计量等的系统。预测系统202包含收获预测系统和出货预测系统。作业者终端1具备预测辅助功能42。预测辅助功能42与预测系统202进行合作。预测辅助功能42利用通过作业辅助功能41处理后的识别结果等信息，将当前时点的对象物的数量(例如每一成熟度的数量)等信息发送到预测系统202。预测系统202使
用该信息来预测收获预计量等，并输出作为预测结果的预测信息。预测系统202将预测信息对例如指示者w2或ja等系统输出。另外，预测系统202也可以将预测信息响应于作业者终端1。预测辅助功能42也可以将该预测信息作为收获预测输出到显示面5。
[0068]
预测辅助系统42也可以通过使用识别结果中的当前时点的对象物的数量(识别量)等信息来进行规定的处理，从而掌握收获实绩等。本系统随着与作业辅助相伴的农作物的收获或出货的作业而知道对象物的数量，因此能将收获或出货的实绩作为信息进行计测。本系统也可以记录该实绩信息，将其输出到上级系统或指示者w2等。
[0069]
生长管理系统203是进行田地的农作物的生长管理的系统。生长管理系统203包含病虫害判断系统和农药喷洒判断系统。作业者终端1具备病虫害判别辅助功能43。病虫害判别辅助功能43与生长管理系统203进行合作。病虫害判别辅助功能43利用通过作业辅助功能41处理后的识别结果等信息，将与对象物的病虫害的状态相关的信息发送到生长管理系统203。生长管理系统203使用该信息判断农药喷洒、施肥、去除等应对，输出应对信息。应对信息例如包含农药喷洒指示信息。生长管理系统203将应对信息例如对指示者w2或ja等系统输出。生长管理系统203也可以将应对信息响应于作业者终端1。作业者终端1将表示病虫害的状态的作业辅助信息对显示面5输出。另外，作业者终端1基于来自生长管理系统203的应对信息，将农药喷洒指示等作业辅助信息对显示面5输出。需要说明的是，ai功能20的机器学习的学习模型能将对象物的位置、成熟度、等级以及病虫害的状态等汇总后进行识别(推定等)。在其它方式中，ai功能20也可以按每一成熟度或病虫害的状态来使用别的机器学习的学习模型。
[0070]
[作业辅助功能]
[0071]
图4示出作业者终端1与服务器2的合作的构成中的作业辅助功能41的处理概要。与作业者w1的作业相伴地，作业者终端1的拍摄部11使用摄像头6来拍摄作业对象物3，得到图像(对应的图像数据)。图像包含静止图像、动态图像。拍摄部11将图像保存为拍摄图像数据140。拍摄是基于可见光的照片拍摄。另外，作业者终端1当拍摄时不仅使用图像还使用传感器7等来得到日期时间、位置、方向等信息。位置例如是能通过gps接收器在测位中获取的位置信息(例如纬度和经度)，但不限于此，也可以设为用其它测位单元获取的位置。方向与作业者w1的正面方向、作业者终端1的正面方向以及摄像头6的拍摄方向等对应，例如能通过地磁传感器或视线检测传感器来计测。
[0072]
对象物识别部12接受来自拍摄部11的图像，使用ai功能20进行与作业对象物3的状态相关的识别处理，得到识别结果。输入到对象物识别部12的图像数据(输入图像)伴随着图像的id、日期时间、位置、方向等信息。对象物识别部12将输入图像与请求一起发送到ai功能20。ai功能20包含在计算机系统中构成的图像解析、机器学习的模块。机器学习包含学习模型，例如使用深层学习。ai功能20根据输入图像进行识别处理，输出识别结果。识别结果包含图像内的各对象物的位置、成熟度等的状态的信息。ai功能20将包含识别结果的响应向作业者终端1的对象物识别部12发送。对象物识别部12存储识别结果，将其向对象选择部13传送。
[0073]
对象选择部13根据对象物识别部12的识别结果将一部分信息选择为显示对象。换言之，对象选择部13根据识别结果对一部分信息进行提取、限定、细化、或过滤等。对象选择部13对是否使用全部识别结果的信息、或者是否使用一部分信息等进行选择。对象选择部
13例如能使用成熟度、等级来进行选择。对象选择部13例如能根据用户设定或用户指示来进行选择。被选择的一部分信息例如是仅收获对象物的收获指示信息，该收获指示信息例如包含表示收获对象物的图像，不包含表示非收获对象物的图像。
[0074]
对象选择部13在有来自指示系统201的作业指示的情况下，根据该作业指示进行选择。对象选择部13基于来自指示系统201的作业指示，以例如仅通知符合收获对象的成熟度的对象物的方式，进行根据识别结果的选择。指示系统201例如将与来自指示者w2的作业指示对应的收获对象信息向对象选择部13提供。该作业指示(收获对象信息)例如是包含收获对象的成熟度的指定的收获指示信息，例如是“收获对象是成熟度为3以上的西红柿”等信息。另一例是“请收获成熟度为1的西红柿”等。需要说明的是，被指示者w2或指示系统201指定的成熟度等可以用任意的机制来决定。在一个例子中，可以基于出货计划或订单信息等并考虑输送距离等来决定成熟度等。
[0075]
显示控制部14在便携终端1a的情况下，在通过拍摄部11得到的图像内描绘表示来自对象选择部13的选择结果的位置和成熟度等的图像(虚拟图像)。显示控制部14在可穿戴终端1b的情况下，将表示选择结果的位置和成熟度等的图像(虚拟图像)重叠显示于显示面5中。
[0076]
另外，作为与显示控制部14进行合作的处理部，具有声音通知部15、振动通知部16、光通知部17。声音通知部15从扬声器82输出用于作业辅助的声音。振动通知部16输出用于作业辅助的的振动。光通知部17控制用于作业辅助的发光。
[0077]
[预测辅助功能]
[0078]
图5示出作业者终端1与服务器2的合作的构成中的预测辅助功能42的处理概要。特别是，说明进行收获预计量预测辅助的情况。作业者终端1除前述的拍摄部11等以外，还具有对象田地选择部21、识别结果统计部22以及识别结果发送部23。对象田地选择部21在作业前选择成为进行用于收获预计量预测的数据收集的对象的田地(对应的区域)。对象田地选择部21通过从服务器2的db250参照田地信息，来选择对象田地。需要说明的是，也可以在服务器2具备对象田地选择部21。db250是用于以多个农业经营者和多个田地等为对象进行数据收集的db，保存有包含田地一览的田地信息等。
[0079]
拍摄部11、对象物识别部12是与前述同样的构成。对象物识别部12基于输入图像等与ai功能20进行合作，接受来自ai功能20的输出亦即识别结果。该识别结果包含有图像内的对象物的位置、数量、成熟度等信息。识别结果统计部22接受来自对象物识别部12的识别结果，将识别结果中的对象物的数量统计为按成熟度区分的数量。识别结果发送部23接受来自识别结果统计部22的统计结果信息和来自对象田地选择部21的对象田地信息，创建将这些信息合并后的发送信息，将其向服务器2的预测系统202发送。
[0080]
该发送信息是预测用的信息，例如如“2019年1月5日、田地a、成熟度1：10个、成熟度2：100个”等那样包含当前日期时间、对象田地、识别以及计测到的按成熟度区分的对象物的数量(识别量)的信息。预测系统202接受该发送信息，将其集成到db，预测对象田地中的未来日期时间的收获预计量。关于预测时间单位，例如能应用1天、1周、1月等。预测结果信息例如如“2019年1月12日、田地a、成熟度1：15个、成熟度2：150个”等那样包含未来日期时间、对象田地以及按成熟度区分的收获预计量等信息。预测系统202例如使用时间序列的履历中的发送信息的数量、当前时点的天气以及天气预报等来预测未来日期时间的收获预
计量。该预测处理的机制、逻辑没有特别限定。
[0081]
预测系统202将预测结果的信息提供给上级系统或指示者w2、或作业者w1等。例如，ja等的人或上级系统能容易得到收获预计量等预测信息。由此，ja等能减少以往的田地调查工时，能提高预测精度。ja等能以尽可能高的精度掌握各农业经营者的各农产品的收获或出货的状态(实绩、预测等)。
[0082]
[病虫害判别辅助功能]
[0083]
图6示出作业者终端1与服务器2的合作的构成中的病虫害判别辅助功能43的处理概要。作业者终端1除了前述的拍摄部11等以外，还具有对象田地选择部21和识别结果发送部23。在该构成中，对象物识别部12和ai功能20除了前述的功能以外，还具备与病虫害的状态相关的识别功能。对象物识别部12接受来自拍摄部11的图像、日期时间、位置以及方向等信息。对象物识别部12将这些信息输入到ai功能20。ai功能20除了对象物的位置等以外，还识别对象物的病虫害的有无、种类等的状态，将识别结果响应于对象物识别部12。识别结果包含日期时间、对象田地、位置(作业者w1和作业者终端1的位置)、病虫害的有无或种类、图像内的与对象物的位置相对应的病虫害的位置等信息。需要说明的是，病虫害不限于仅产生于蔬菜水果的部分，还可能产生于茎或叶等部分。识别结果也包含该情况下的信息。需要说明的是，在农作物过于成熟而腐败了的情况下，成为去除的对象。通过ai功能20也能识别这种状态。
[0084]
识别结果发送部23接受来自对象物识别部12的识别结果，创建包含与对象田地、位置(作业者w1和作业者终端1的位置)以及病虫害的状态相关的识别结果信息等的规定的发送信息，将其向服务器2的生长管理系统203发送。服务器2的生长管理系统203基于发送信息来创建用于应对病虫害的状态的应对辅助信息，将其向指示者w2或上级系统发送。服务器2的生长管理系统203也可以将该应对辅助信息向作业者终端1响应。应对不限于农药喷洒，也可以是施肥、去除等。应对辅助信息包含农药喷洒指示信息。农药喷洒指示信息包含指定对象田地内的应喷洒农药的位置或区域等农药喷洒部位的信息、以及指定农药的种类和喷洒量的信息。
[0085]
本系统是，指示者w2或ja等的人或作业者w1能掌握田地中的需要农药喷洒等应对的部位，能防止应对遗漏。指示者w2等能抑制农药喷洒部位、喷洒量，能进行高效且低成本的应对，能提高农作物的质量等。应对信息可以包含农作物的间苗的指示。例如，对某茎设为结出了多个对象物，但在一部分产生了病虫害。生长管理系统203考虑这种状态，判断应进行间苗(对应的去除)的农作物，将其提供为应对信息。
[0086]
[作业辅助功能
‑
变形例]
[0087]
图7示出与图4的作业辅助功能41相关的变形例的构成。在该变形例中，对象选择部13设置于服务器2。服务器2的ai功能20是，输入来自对象物识别部21的图像等，进行识别处理，将识别结果提供给对象选择部13。对象选择部13对来自ai功能20的识别结果，根据来自指示系统201的作业指示信息等，进行全部或一部分的选择，将选择结果向对象物识别部12发送。通过这种构成，也能得到类似的效果。需要说明的是，也可能是关于对象选择部13的选择进行用户设定的方式。
[0088]
[作业辅助信息输出方式]
[0089]
在实施方式1的现场作业辅助系统中，作为作业者终端1的智能设备能基于前述的
ai功能20的识别结果，在显示面5显示作业辅助信息并将其传递到作业者w1。本系统为了在这种情况下易于被作业者w1理解、以及为了作业者w1易于进行收获等判断，而研究作业辅助的显示。作业者终端1的显示控制部14当在显示面5中显示表示收获对象物等的图像时控制显示方式。作业者终端1例如在与作业者w1的视野对应的显示面5的范围中，使用对象选择部13来进行选择，从而能仅强调显示收获对象物。作业者终端1或服务器2使用对象选择部13从成为输出候选的作业辅助信息仅将一部分信息选择(过滤等)。另外，作业者终端1在作业者w1和作业者终端1的附近存在收获对象物的情况下(例如在规定的距离范围内的情况下)，能通过图像显示、声音输出、振动或光的输出等进行通知或作业引导等。
[0090]
作业者w1在塑料大棚等田地中进行针对农作物、栽培土壤、器具等的作业。作业的动作例如可列举用双手拿着农作物进行收获的动作等。因此，作业者w1基本上使用双手的时间多，希望尽可能不为了其以外的作业(例如操作it设备的作业)而松开手。本系统例如向便携终端1a的显示面5显示作业辅助的图像。不过，在这种情况下，需要作业者w1手中拿着便携终端1a来观看显示面5。因此，本系统中的输出方式不限于向物理显示面5显示图像，也提供其它手段。本系统能使用可穿戴终端1b的ar等机制对作业者w1的视野重叠显示作业辅助信息。在这种情况下，易于使作业者w1的手变得自由，作业者w1易于进行作业。另外，本系统不限于这种显示手段，在作业者w1的手不是空的情况下，也能使用声音、振动、光等传递作业辅助信息。
[0091]
[成熟度]
[0092]
成为作业对象物3的农作物有时按每一类别规定有成熟度、等级、尺寸(实际尺寸)等。换句话说，等级是与质量相关的分类。图8示出在农作物是西红柿的情况下的与成熟度相关的规定的例子。在本例中，作为成熟度有1～6。该成熟度是1最高且6最低。另外，作为与作业指示相应的成熟度阈值的例子，示出成熟度设为3以上的情况。在这种情况下，成熟度1～3是阈值以上，因此，例如成为收获对象物，成熟度4～6是不到阈值，因此成为非收获对象物。这种成熟度(和后述的等级等)的规定能根据农作物的类别或地域(例如县)设为不同的设定。需要说明的是，作为成为收获对象的成熟度，有时1～6中任意的成熟度都成为收获对象。成为收获对象的成熟度例如鉴于输送距离、用途、需求等来决定。成熟度为5或6的物品有时也成为收获对象。
[0093]
[颜色样本]
[0094]
图9示出农作物是西红柿的情况下的颜色样本(换言之成熟度的基准)的图像例。该颜色样本的图像例是在纸张中以能比较的方式并列记载有成熟度＝1～6的6种西红柿的实际图像例。ai功能20预先将这种颜色样本的图像作为输入(换言之示教数据)来进行用于识别的机器学习。由此，ai功能20的学习模型能进行与西红柿的成熟度相关的识别。在对象的领域中预先准备农作物等对象物的颜色样本、模型样本(形状等的基准)，能将它们用于机器学习。
[0095]
[等级]
[0096]
图10示出与农作物为黄瓜的情况下的等级相关的规定的例子。关于尺寸(实际尺寸)也同样地有规定。在本例中，作为在模型样本中规定的等级有a、b、c。形状近似于直线的个体符合等级a。形状有某种程度的弯曲的情况(等级b1)或有顶端部的下垂的情况(等级b2)下的个体符合等级b。形状有比等级b进一步的变形的情况等符合等级c。
[0097]
ai功能20预先输入每一等级的个体的样本的图像，关于等级进行机器学习。由此，ai功能20的学习模型能进行与黄瓜的等级相关的识别。同样地，关于农作物的实际尺寸，ai功能20能基于机器学习来识别。另外，ai功能20也可以使用图像内的对象物的尺寸和使用测距传感器检测出的距离来计算对象物的实际尺寸。
[0098]
[ai功能]
[0099]
使用图11等对ai功能20进行补充。图11示出关于ai功能20的说明图。作业者终端1通过拍摄部11获取包含作业对象物3的农作物的图像作为被摄体。图像111示出输入图像例，例如映出3个西红柿等。该图像111伴有id、日期时间、位置、方向等信息。作业者终端1将输入图像111输入到对象物识别部22。对象物识别部22将输入图像111等数据发送到ai功能20。需要说明的是，也可以是在对象物识别部22内包含ai功能20的构成。对象物识别部21或ai功能20输入包含图像的数据，进行与对象物相关的识别处理，输出包含识别结果的数据。
[0100]
输出的数据中的识别结果112包含图像111内的对象物的id、类别、成熟度、位置或区域的信息。类别例如是西红柿、黄瓜等农产品的分类的推定值。图11的识别结果112示出例如与个体111a相关的信息的例子。与个体111a对应的对象物的id是001，类别是a(西红柿)，成熟度是3。对象物的位置是l1。对象物的位置l1用位置坐标等表示。与对象物的位置对应的区域也可以用矩形或圆形区域表示。在区域是圆形区域的情况下，可以用中心点坐标(cx，cy)和半径(r)等表示，在是椭圆区域的情况下，可以用椭圆率等表示。在区域是矩形区域的情况下，例如既可以用左上方和右下方的2点坐标{(x1，y1)、(x2，y2)}来表示，也可以用中心点坐标、宽度以及高度等来表示。
[0101]
需要说明的是，在病虫害判别辅助的情况下，输出的识别结果包含病虫害的位置、种类等信息。输出的数据不限于成熟度，也可以包含农作物的等级、实际尺寸等信息。成熟度或等级是作为基于前述的样本的识别结果而得到的。
[0102]
对象物识别部12和ai功能20的识别处理的详细例如以下所示。ai功能20输入图像(静止图像、动态图像、或摄像头的流视频等)。ai功能20在输入图像数据的格式是动态图像的情况下，从该动态图像按每1图像帧依次切出，作为成为识别处理对象的图像帧(即静止图像)进行输入。ai功能20关于输入图像帧识别该图像内的对象物的类别、位置、成熟度等，输出识别处理结果。
[0103]
图12示出ai功能20的识别结果的输出的具体构成例。与图11的图像111对应的输入图像帧例如横向(x)具有1280个像素，纵向(y)具有个720像素。以图像帧的左上方的像素为原点设为位置坐标(x，y)＝(0，0)。在该图像111的例子中，作为对象物映出例如3个西红柿(蔬菜水果)的个体(用对象物ob1、ob2、ob3示出)。在图12中，例如示出与对象物ob1相关的位置的识别结果。该对象物ob1的位置用对应的矩形区域表示。该矩形区域用左上方的顶点的像素p1的位置坐标(x1，y1)和右下方的顶点的像素p2的位置坐标(x2，y2)这2点表示。例如，是点p1(x1，y1)＝(274，70)、点p2(x2，y2)＝(690，448)。另外，该对象物ob1的类别的识别结果是“a(西红柿)”，成熟度的识别结果是“3”。需要说明的是，在用中心点、宽度、高度来规定矩形区域的情况下，例如关于对象物ob1，成为中心点的位置坐标＝(482，259)、宽度＝416、高度＝378。
[0104]
对象物识别部12能同样地识别图像内的多个对象物，能将多个对象物的识别结果信息汇总后输出。识别结果的输出的格式例如能如表格113那样设置。该表格113按每一行
保存有对象物的识别结果信息，作为列子，具有对象物id、类别、成熟度、位置坐标{x1，y1，x2，y2}等。
[0105]
在收获作业辅助的情况下，本系统从指示系统201接受包含收获对象的成熟度的指定的作业指示。在这种情况下，对象选择部13根据该成熟度的指定从识别结果将一部分信息选择为收获对象物的信息。由此，应显示的数据被细化。例如，在作业指示中被指定为“成熟度为3以上”的情况下，当通过对象选择部13针对上述表格113的识别结果数据选择一部分时，选择结果成为表格114那样。表格114的选择结果是仅表格113的第一行的西红柿(对象物id＝001)的数据被提取。
[0106]
[作业辅助显示(1)]
[0107]
关于作业辅助信息的输出方式为显示的情况下的输出例在下面进行说明。图13示出作业者终端1的显示面5中的收获作业辅助信息的显示例。本例与图11的图像111的例子对应。图像131是在田地的一个部位被拍摄后的图像，作为农作物(不仅包含蔬菜水果还包含茎或叶)的例子映出多个西红柿。作业者终端1针对图像131内的对象物显示表示收获对象物的图像132。该图像132的例子是包围对象物ob1的区域的红色框图像。作业者终端1的显示控制部14进行控制，使得框图像(例如图像132)的颜色、形状、大小、框线的粗细等根据对象物(例如对象物ob1)的成熟度(例如成熟度为3)而不同。另外，作业者终端1进行控制，使得框图像根据对象物的形状以矩形、圆形(包含椭圆)、三角形等框图像的形状而不同。框图像的形状优选尽可能与对象物的轮廓匹配，但不限于此，也可以是包含对象物的区域的矩形或圆形等。在本例中，与对象物的类别是西红柿相应地，将框图像的形状设为圆形。在图像132内，在非收获对象物的西红柿上并未显示有框图像。作业者w1能关注于表示收获对象物的图像132并容易收获与其对应的个体。
[0108]
[作业辅助显示(2)]
[0109]
图14示出在显示面5显示收获作业辅助信息的图像的情况下的另一显示例。在本例中，图像141映出了多个西红柿的个体。作业者终端1基于识别结果(对应的选择结果)的对象物的信息，在显示面5内重叠显示框图像作为表示各个体的对象物的图像。作为框图像，实线圆形框图像(例如图像g1，g2)表示成熟度为1以及收获对象物，例如用红色粗框线显示。虚线圆形框图像(例如图像g3)表示成熟度为2以及非收获对象物。虚线圆形框图像(例如图像g4、g5)表示成熟度为3以及非收获对象物，例如用黄色细框线显示。另外，本例示出按每一对象物一起显示成熟度的数字的情况，但也可以省略该显示。
[0110]
能根据用户(作业者w2等)的指示或设定来变更收获作业辅助信息的显示内容。在本例中，是针对成熟度为3以上的对象物(西红柿)进行辅助显示的设定的情况，针对成熟度为4以下的对象物并未显示框图像等。另外，在本例中，是区分成熟度1、2、3来进行显示的设定的情况，根据成熟度显示有不同的框图像。另外，在本例中，在作为来自作业者w2的收获作业指示而收到“成熟度为1的收获”的情况下，针对成熟度为1的对象物显示有表示为收获对象物的框图像(图像g1、g2)。另外，在本例中，在显示面5内也进行表示该框图像(图像g1等)为成熟度1的收获对象物的内容的说明图像的显示。
[0111]
作业者w1能通过观看这种收获作业辅助的显示而容易识别应收获哪一对象物。在作业者w1关注于视野中实线框图像的情况下，该框图像表示收获对象物(或收获指示)，因此，能容易进行收获该对象物的作业。
[0112]
[作业辅助显示(3)]
[0113]
图15示出显示面5中的收获作业辅助信息的另一显示例。图15的图像151示出显示识别结果(对应的选择结果)的全部对象物的信息的例子。在该图像151内映出多个西红柿的个体(例如个体t1、t2、t3等)。在该图像151的例子中，除农作物以外，还映出栽培土壤(垄)、通道、支撑杆、电线、胶带、盖子等。本例示出从列状的通道上的作业者w1和作业者终端1的位置对斜左方向进行了拍摄的情况。该图像在近前侧映出西红柿的果实或茎，在其里面的下侧映出垄或盖子，在其里面映出相邻的通道，在更里面映出相邻的垄或盖子等。
[0114]
实线圆形框图像(例如框图像g1、g2)是表示收获对象物的图像，在本例中表示符合成熟度为3以上(成熟度1、2、3)的对象物。虚线圆形框图像(例如框图像g3)是表示非收获对象物的图像，在本例中表示符合成熟度不到3(成熟度4、5、6)的对象物。另外，本例示出根据作业者w1与对象物的距离来改变框图像的框线的粗细并显示的情况。作业者终端1越是距离小且近的对象物，越使框线的粗细变粗来显示。作业者w1能通过观看这种收获作业辅助的图像而易于了解并识别在视野的空间中对象物存在哪种程度或成熟度的分布状况等。
[0115]
在本例中，显示全部信息，因此，在图像151内不仅在收获对象物而且在非收获对象物两者都显示有框图像。该框图像根据是否是收获对象而用例如不同的颜色显示。例如，收获对象设为红色实线框图像，非收获对象设为黄色虚线框图像。框图像也可以设为根据对象物的成熟度而不同的颜色。例如，在作为成熟度有1～6的6阶段的情况下，既可以与各成熟度相对应地设定框图像的颜色，也可以根据规定的成熟度的范围的规定来设定框图像的颜色。例如，在设置6种颜色的情况下，可以设为红、橙、黄、绿、蓝、灰。例如，在设置与3种范围相应的3种颜色的情况下，可以设为红、黄、绿。例如，使用成熟度阈值在成熟度为1、2的情况下将红色设为第一范围，在成熟度为3、4的情况下将黄色设为第二范围，在成熟度为5、6的情况下将绿色设为第三范围。作业者w1收获附带有红色框图像的个体。作业者w1关于附有黄色框图像的个体，由于成熟不足，因此，识别为不应收获。
[0116]
框图像的框的大小与图像内的对象物(蔬菜水果)的大小匹配地显示。关于在图像内尺寸小的框图像，是生长尺寸小的果实，或是位于从作业者w1的位置向里面分开的位置的果实。作业者w1能从用尺寸大的框图像表示的对象物起按顺序关注来进行收获作业。作业者终端1可以进行选择，使得不显示图像内的尺寸不到阈值的对象物或框图像。例如，在图像151中，在里面映出的多个果实是面对相邻的通道的果实，作业者无法从当前所在的通道马上将其收获。在这种情况下可以设为，关于该果实(对应的对象物)，即使将其设为收获对象，也不显示框图像。由此，能减少显示的信息量并降低作业者w1的认知的负荷。
[0117]
作为另一显示控制例，也可以设为使框图像的颜色与基于颜色样本的每一成熟度的颜色匹配。
[0118]
[作业辅助显示(4)]
[0119]
图16示出显示面5中的收获作业辅助信息的另一显示例。该图像161示出显示识别结果中的由对象选择部12选择后的一部分对象物的信息的例子。在该图像161中，仅在收获对象物显示有实线圆形红色框图像(例如框图像g1、g2)。作业者w1能关注于该框图像所示的收获对象物而容易进行收获作业。
[0120]
需要说明的是，如后所述，在对象物有病虫害的情况下，也显示表示病虫害的状态的规定的框图像。例如，在个体tx1有病虫害的情况下，显示表示病虫害的状态的框图像
gx1。框图像gx1例如用紫色设为单点划线的框线。
[0121]
另外，作业者终端1也可以针对图像内的对象物，根据从作业者w1和作业者终端1的位置到其对象物的位置为止的距离使框图像的形态不同。作业者终端1例如能通过使用图像解析处理或测距传感器来检测从作业者w1的视点和作业者终端1的位置到对象物的位置为止的距离。作业者终端1使用该距离信息来控制对象物的框图像的颜色、形状、大小等。
[0122]
在图像151或图像161的例子中，根据距离而使框图像的框线的粗细不同。例如，作业者终端1设为距离越小，即离作业者w1越近的对象物，使框线的粗细变得越粗且越醒目。由此，作业者w1能从离自己近的对象物起按顺序着眼并进行收获或判断。
[0123]
[作业辅助显示(5)]
[0124]
图17示出显示面5中的收获作业辅助信息的另一显示例。在该图像171中，作为表示收获对象物的图像，不是框图像而设为将箭头线与编号连接而成的图像。在图像171内，在相对于对象物的位置离开某程度的位置，在与其它对象物不重叠的位置显示有编号的图像。显示编号的图像的位置可以设为显示面5的端部。编号的图像例如示出设为圆形框图像的情况，关于圆形框线的颜色或线的粗细，例如可以根据成熟度而变化。另外，该编号不限于成熟度，也可以设为表示收获的顺序的编号。例如，可以按照离作业者w1的距离近的对象物的顺序赋予1、2、
……
这一顺序的编号。
[0125]
[作业辅助显示(6)]
[0126]
图18示出显示面5中的收获作业辅助信息的另一显示例。作业者终端1使用视线检测传感器的视线检测结果的视线信息，仅在以视线方向的目的地的点(例如点e1)为中心的一部分范围(例如范围182)内显示对象物的信息。在本例中，在范围182内显示有表示收获对象和非收获对象的各框图像。需要说明的是，既可以显示表示范围182的图像，也可以不显示。范围182不限于矩形，也可以是椭圆等。
[0127]
进行该显示控制的情况下的第一例如下所示。作业者终端1使用视线检测传感器来检测作业者w1的视线方向。作业者终端1计算检测出的视线方向的目的地的图像内的点的位置。作业者终端1以该点的位置为中心设定规定大小的范围。作业者终端1将该范围(例如范围182)设定为识别处理所涉及的检测区域。对象物识别部12和ai功能20以图像数据中的该检测区域为对象进行识别处理。在这种情况下，能削减处理对象数据，因此，能削减识别处理的计算量。
[0128]
第二例如下所示。作业者终端1以检测出的视线方向的目的地的图像内的点的位置为中心来设定规定的大小的范围(例如范围182)。对象物识别部12和ai功能20以图像数据的整个区域为对象进行识别处理。作业者终端1的对象选择部13根据识别结果的信息仅显示符合该范围182的一部分信息。
[0129]
[出货作业的情况]
[0130]
图19示出与出货作业辅助相关的说明图。图19的图像191示出出货作业时被作业者w1收获的多个黄瓜的个体在表格面上排列的情况下的图像例。在本例中，在该图像191内具有黄瓜的个体k1～k5。作业者w1当出货作业时将这些个体以等级或实际尺寸等观点进行筛选，按筛选后的每一个体组进行装箱或包装等后出货。作业者w1当进行包含该筛选的出货作业时，特别使用出货作业辅助功能。作业者终端1输入这种图像191，通过对象物识别部12和ai功能20进行识别。ai功能20将该图像191作为输入，作为识别结果输出每一对象物的
等级或实际尺寸的信息。作业者终端1的显示控制部14基于对象物识别部12的识别结果(对应的选择结果)，在图像内显示每一对象物的等级或实际尺寸的信息作为出货作业辅助信息。
[0131]
图20示出在显示面5中在图19的图像191上重叠显示出货作业辅助信息的例子。在本例中，作为出货作业辅助信息，表示等级和实际尺寸的图像192显示于图像191内的对象物的附近的位置、例如下侧的位置。该图像192例如是文字图像。在本例中，关于5个个体k1～k5，文字图像从左起按顺序成为“s”、“m”、“l”、“b”、“c”。在本例中，关于等级a的产品，分别显示有表示实际尺寸的文字图像。例如s表示小，m表示中，l表示大。能将这些显示选择为仅等级、仅实际尺寸、或其两者。作业者w1通过观看这种出货作业辅助信息，能易于了解并识别各个体的等级和实际尺寸，能容易进行包含每一等级和每一实际尺寸的个体的筛选的出货作业。
[0132]
图21示出与出货作业辅助相关的另一显示例。在本例中，出货作业辅助信息的图像示出按每一个体设为框图像的情况。例如，在个体k1～k3按每一个体显示有矩形红色框图像。该框图像表示等级a。与前述的收获作业辅助时的作业指示的说明同样地，当出货作业辅助时，也能进行依照来自指示者w2的出货作业指示的作业辅助输出。例如，指示者w2指示等级a的出货(或筛选)作为出货作业指示。作业者终端1的对象选择部13根据该作业指示从识别结果选择符合等级a的一部分信息，将与该信息对应的出货作业辅助信息显示于显示面5。在本例中，针对符合等级a的个体k1～k3，显示有表示出货对象(或出货指示)的框图像。在显示面5也显示有表示框图像是出货对象(等级a)的说明图像。
[0133]
作为另一显示控制例，在图像内成为收获对象或出货对象的多个对象物的个体相邻的情况下，也可以针对这些多个对象物显示将它们汇总为1组的框图像等。
[0134]
当出货作业时，能基于将图19那样的图像作为输入的识别结果来计数收获实绩或出货实绩。所掌握的实绩信息也能应用于上级系统等。
[0135]
[作业辅助
‑
声音]
[0136]
在下面列举作业辅助信息的输出方式是声音的情况下的输出例。作业者终端1在基于选择结果的信息至少在图像内有收获对象物的情况下，输出表示该情况的规定的声音(例如“乒乓”等)。另外，作业者终端1也可以使用声音合成功能直接输出“这是收获对象”、“有收获对象物”等声音。另外，作业者终端1也可以进行控制，使得输出声根据图像内的收获对象物的位置或距离作业者w1的方向或距离而不同。例如，在图像的中心附近和相对于该中心附近的左侧、右侧、上侧以及下侧等，概略地区分为几个区域。作业者终端1根据图像内的哪一区域映出了对象物(其对应于作业者w1和作业者终端1与对象物的位置或方向的关系)来改变声音。另外，例如也可以在图像内的对象物的位置靠近中心的情况下输出“乒乓”等，在远离中心的情况下输出“卟”等。或者，也可以使用在靠近对象物的情况下提高音量等改变音量的控制。另外，作业者终端1也可以根据作业者w1与对象物的位置关系来通知收获对象物的位置等。例如可以设为“在右侧有收获对象物”等声音。
[0137]
另外，作业者终端1也可以进行控制，使得来自扬声器82(特别是包含多个扬声器的多扬声器或立体声扬声器)的声音输出根据从作业者w1观看时的对象物的方向而不同。例如，在从作业者w1观看时在右侧有对象物的情况下，设为从多扬声器的右侧扬声器听到声音，在左侧有对象物的情况下，设为从左侧扬声器听到声音。
[0138]
在将输出仅设为声音且设为没有显示的方式的情况下，作为控制例，也可以以位于作业者终端1的摄像头6的方向(概略地与作业者w1的头所朝向的方向对应)的农作物为对象，输出表示是否是收获对象的声音。或者，作业者终端1也可以根据摄像头6的图像，来判断作业者w1向对象物伸出了手的状态、或者将对象物拿在手中的状态、或者作业者w1靠近了对象物的状态等，此时输出表示收获对象的声音。
[0139]
[作业辅助
‑
振动、光]
[0140]
下面列举作业辅助信息的输出方式是振动或光的情况下的输出例。作业者终端1基于选择结果的信息至少在图像内有收获对象物的情况下，输出表示该情况的规定的振动或规定的光。作业者终端1可以进行控制，使得振动的种类或强度、发光的种类或强度等根据收获对象物的位置或朝向或距离作业者的距离而不同。作业者终端1例如也可以根据作业者w1是靠近还是远离对象物来改变振动的状态或发光的状态。振动或发光的种类可以用例如开启/关闭的图案来规定。在发光的情况下，例如能用发光持续时间、闪烁、光量等进行区分。在田地暗的情况下，通过光来传递也是有效的。
[0141]
需要说明的是，上述显示、声音、振动以及光等的输出方式也可以通过组合来使用。另外，在田地内具备扬声器装置或发光装置的情况下，也可以通过从作业者终端1向该装置合作而不是从作业者终端1而是从该装置输出声音、振动、光等。作为发光装置，可以使用激光指示器装置等。也可以在田地内设置有激光指示器装置。发光装置可以将激光等光例如以朝向收获对象物来指示该对象物的方式进行出射。作业者w1能根据该光来识别收获对象物等。
[0142]
[田地]
[0143]
图22示出某田地(田地a)的从顶部观看的映射的构成。作业者终端1关于前述的病虫害判别辅助功能43可以在显示面5显示表示有病虫害的区域的图像，也可以显示表示应喷洒农药的区域的图像。特别是，作业者终端1可以在显示面5显示如图22那样的田地的简单的映射，在该映射上显示表示有病虫害的区域、表示应喷洒农药的区域的图像。区域221示出与检测出病虫害的对象物的区域对应的、农药喷洒部位的区域例。该区域221的信息包含于前述的图6的应对辅助信息。
[0144]
另外，位置w1、w2、w3示出作业者w1所在的位置的例子。方向d1、d2、d3示出摄像头6的拍摄方向的例子。在任意的位置或方向上都能进行作业辅助。
[0145]
另外，作为本系统的另一利用方法，首先，作业者w1沿着田地的各通道对各垄的农作物用摄像头6进行一遍拍摄。由此，作业者终端1和服务器2可以将获取的数据汇总后进行识别处理，并根据其结果创建表示田地中的农作物的状态的映射。在该映射记载收获对象物的位置或成熟度、病虫害的状态等。
[0146]
[效果等]
[0147]
如上述那样，根据实施方式1的现场作业辅助系统，能得到以下这样的效果。首先，关于收获或出货的作业辅助功能41，能对作业者w1提供具体且易于理解的收获指示或出货指示。因此，在作业者w1是没有经验的人的情况下，也能通过接近有经验的人的技能或经验的水平来容易进行收获或出货时的筛选等的判断。作业者w1能根据作业辅助的输出容易进行作业，能降低作业的负荷，能高效地进行作业。另外，作业辅助输出也能有助于没有经验的人的技能等的提高。即使作业者w1是没有经验的人，农业经营者也能使其进行收获等作
业，能实现农业经营的成本降低或效率提高等。
[0148]
关于预测辅助功能42，能实现成本降低、预测精度提高等。在现有的ja等中，关于收获量等的预测，花费了需要走访各农户进行聆听等大量时间精力或成本。根据预测辅助功能42，能基于通过通信或处理的数据收集来提供收获预计量等预测信息。因而，能降低以往花费的时间精力或成本。根据预测辅助功能42，能在短时间内进行数据收集，能基于实际的田地中的对象物的生长状况的掌握来预测，因此能提高预测精度。
[0149]
关于病虫害判别辅助功能43，能实现成本降低、作业遗漏防止等。根据病虫害判别辅助功能43，通过将与病虫害的状态相关的识别结果和位置信息等合并，能高效地提供农药喷洒等应对辅助。农业经营者只要根据辅助对田地中的被限定的指定部位以指定的喷洒量实施农药喷洒作业即可。农业经营者能防止农药喷洒遗漏，能降低农药费用或农药喷洒工时，能实现成本降低或效率提高。
[0150]
农作物的收获或出货根据输送距离或出货天数等在以哪种成熟度或等级进行是优选的方面有所不同。根据本系统，能根据指示者w2的作业指示来进行与成熟度等相应的作业辅助输出。在农业的情况下，在现场的田地中，状态按照农作物的类别或每一个体而每天都发生变化。本系统能进行考虑了这种农作物的特性的作业辅助。
[0151]
需要说明的是，在如专利文献1那样的现有技术例的系统的情况下，现场的作业者需要判断是否应进行农作物的收获。因此，在是没有经验的人的情况下，有时难以进行收获等的判断。根据实施方式1的系统，即使作业者w1是没有经验的人，也能容易判断应收获哪一农作物。
[0152]
[变形例]
[0153]
作为实施方式1的系统的变形例，还能是以下内容。作业者终端1可以使用ai功能20来判断面对作业者w1当前所在的通道的对象物，选择在显示面5中显示的作业辅助信息。由此，在显示面5中显示关于作业者w1在当前所在的通道能收获的对象物的框图像等。在显示面5中不显示例如关于在相邻的通道应收获的对象物的框图像。因而，作业者w1能高效地进行收获作业。
[0154]
图23示出变形例中的某田地的从顶部观看的映射的构成。在某田地中，在规定的固定位置设置有摄像头装置500(例如4台)。另外，未图示的扬声器装置等也并列设置于各摄像头装置500。作业者w1的作业者终端1与各摄像头装置500或各扬声器装置进行合作。各摄像头装置500沿着规定的方向拍摄来获取图像，将其向作业者终端1或服务器2发送。作业者终端1或服务器2使用该图像与前述同样地进行对象物的识别，基于识别结果输出作业辅助信息。例如，在位于位置w1的作业者w1的作业者终端1的显示面5显示收获作业辅助信息。
[0155]
在这种情况下的收获作业辅助信息可以设为如对作业者w1所在的位置w1通知或引导收获对象物所在的位置那样的信息。用星号所示的位置示出收获对象物所在的位置。作业者终端1也可以在这种田地的映射上显示表示各收获对象物的位置的图像。如前所述，此时的收获对象物的位置的通知等的输出能使用显示、声音、振动、光等各手段。在田地内设置有多个装置(例如多个扬声器装置500)的情况下，通过区分这些多个装置的位置地控制输出的装置，能将对象物的位置等传递到作业者w1。如上述那样，也可以是拍摄单元(摄像头6或摄像头装置500)与识别单元(ai功能20)分开的方式。
[0156]
摄像头装置500也可以包含作业者w1作为被摄体进行拍摄。作业者终端1可以通过
使用摄像头6或摄像头装置500来检测图像内的农作物和作业者w1的手等，从而判断收获等的动作，将其作为实绩进行计测。例如，作业者w1对在图像内识别到的对象物伸出手将其收获。在这种情况下，成为在图像中未映出对象物的状态，从而能推定为已被收获。
[0157]
实施方式1的系统设为包含服务器2的构成，但不限于此，也可以仅通过作业者终端1来实现。作业者w1的位置的检测单元不限于gps接收器，也可以应用信标、rfid标签、屋内测位系统等。关于用于获取图像的摄像头，也可以设为使用作业者w1所穿戴的头盔或工作服等所具备的摄像头的构成。作业者终端1也可以具备用于农业作业的防尘、防水、耐热、散热等功能。图像显示或声音输出优选设为不依赖于各国的语言的通用设计。ai功能20可以考虑现场的光的状态(例如天气、早中晚等)来进行识别处理。也可以是仅具备实施方式1的系统中的、作业辅助功能41、预测辅助功能42、或病虫害判别辅助功能43中的一部分功能的系统。可以是根据用户设定仅能使用一部分功能的方式。
[0158]
(实施方式2)
[0159]
使用图24～图31说明本发明的实施方式2的现场作业辅助系统。实施方式2的基本构成与实施方式1同样，以下说明实施方式2中的与实施方式1不同的构成部分。在实施方式2中，对实施方式1追加有功能(有时记载为实绩检测功能)。该实绩检测功能是基于图像的识别来推定、计数对象物的收获或出货时的个数，将其掌握为实绩的功能。在实施方式2中，关于进行作业辅助输出的部分，与实施方式1同样。需要说明的是，以下关于该功能在收获的情况下进行说明，但在出货的情况下也能同样地应用。
[0160]
前述的图3的预测辅助功能42和预测系统202进行收获预计量等的预测，但为了提高该预测的精度，对收获等的实绩量、例如收获个数等进行掌握、使用是有效的。因此，在实施方式2中，如图24所示，对实施方式1的系统追加有与实绩检测功能对应的实绩检测部30(特别是收获检测部)。实绩检测部30基于来自对象物识别部12(图4或图5)的图像的识别结果301、以及来自拍摄部11的图像302，来推定并计数由作业者w1(图1)进行的收获等作业时的被收获等的对象物的个数(例如收获个数)。实绩检测部30将该计数的结果亦即包含收获个数的信息作为收获实绩306进行存储并输出。前述的预测辅助功能42和预测辅助系统202能使用实绩检测部30的检测结果的收获实绩305来进行收获预计量等的预测处理。另外，该系统也可以将使用该功能而掌握的收获实绩306等信息输出到图3的指示者w2、上级系统，也可以通过作业者终端1输出(例如在显示面5中显示收获个数)。
[0161]
由此，实施方式2的现场作业辅助系统能随着与前述的作业辅助输出(例如图13)相伴的农作物的收获或出货的作业来高效地计测对象物的数量，能将其掌握为实绩。在使用该系统的功能的情况下，与以往现场的收获等的数量的计测方法相比，作业负荷少，并能高精度地计测、掌握。在以往的现场，例如在掌握收获实绩的情况下，也考虑作业负荷或成本且多是停止于计测到收获物的概略数量为止的情况。计测方法可列举例如以将多个收获物汇总后收容的箱等为单位的概略重量的计测、以箱等为单位的个数的计测。相对于此，根据本系统的功能，能随着按照作业辅助输出的收获等动作而自动地计测收获个数等。需要说明的是，在没有预测辅助功能42和预测辅助系统202的方式的情况下，通过该实绩检测功能来掌握实绩也是有用的。
[0162]
[实绩检测功能]
[0163]
图24作为实施方式2的现场作业辅助系统中的特征部分而示出实绩检测部30的构
成。实绩检测部30安装于图1的作业者终端1或服务器2中的至少一方。实绩检测部30例如既可以安装为图3和图5的预测辅助功能42和预测系统202的一部分，也可以安装为与图3和图5的预测辅助功能42和预测系统202独立地进行合作的实绩检测功能和实绩检测系统。在本例中，实绩检测部30设为通过服务器2中的程序处理等来实现。需要说明的是，实绩检测部30包含收获时的收获检测部和出货时的出货检测部，但在图24中示出收获检测部的情况。
[0164]
实绩检测部30输入从图4或图5的对象物识别部12输出的识别结果301(识别结果信息)和从拍摄部11输出的图像302。图像302和识别结果301是时点所对应的信息。实绩检测部30还可以输入从图4的指示系统201或对象选择部13等被输出的包含收获对象信息的作业指示310(作业指示信息)并利用。如前述的图12所示，识别结果301包含有图像内的各个对象物的信息。如前所述，作业指示信息310包含有例如“收获对象是成熟度为3以上的西红柿”等收获对象信息，换言之包含有用于选择/限定对象物的信息。另外，也可以使用从对象物选择部13(图4或图7)被输出的选择结果信息。在这种情况下，如前述的图12等所示，该选择结果信息根据收获作业指示等是对象物选择完毕。
[0165]
图24的实绩检测部30作为通过程序处理等实现的更详细的处理部，包含收获对象检测部31、作业者检测部32、距离算出部33、被收获判定部34以及条件设定部35。实绩检测部30按时间序列上的各时点的每一图像(图4的拍摄部11所输出的图像)同样地反复进行处理。
[0166]
由实绩检测部30进行的处理流程的概略如下所示。首先，在第一步骤中，收获对象检测部31使用识别结果301和作业指示310的信息来检测在图像中收获对象物是否已被识别、以及在已被识别的情况下检测该收获对象物。在此的收获对象物是指符合作业指示和作业辅助输出的、作业者w1应收获的作业对象物3。收获个数按收获对象物的每一种类(例如西红柿)被计数。收获对象检测部31在图像内有多个收获对象物的情况下，检测各收获对象物。收获对象检测部31输出作为检测结果信息的收获对象物信息303。收获对象物信息303包含各收获对象物的id、图像内的位置信息。
[0167]
进而，收获对象检测部31可以除了识别结果301以外，还使用作业指示310的收获对象信息(或来自对象选择部13的选择结果信息)来细化所检测出的收获对象物。例如，在作为收获对象信息如“成熟度为3以上的西红柿”那样被指定了的情况下，收获对象检测部31检测图像内的对象物中的符合该指定的收获对象物。在使用作业指示信息310等来细化的情况下，能期待进一步提高实绩检测的精度或效率的效果。
[0168]
另一方面，在第二步骤中，作业者检测部32使用输入的图像302来检测在与第一步骤的识别结果301对应的相同时点的图像302内是否包含有作业者w1的手等身体部位(记载为作业者物体)，并且在包含有的情况下检测该作业者物体。作业者检测部32与ai功能20(图4)同样地基于图像解析或机器学习来检测作业者物体。作为检测对象的作业者物体不限于手或手臂，也可以设为收获等作业时所使用的作业手套、剪刀等道具、或机器。该作业者物体能预先用构成实绩检测部30的程序等规定。作业者检测部32输出作为检测结果的作业者物体信息304。作业者物体信息304包含作业者物体的id或图像内的位置信息。需要说明的是，作为变形例，也可以使ai功能20(图4)具备根据图像检测作业者物体的功能，使来自对象物识别部12的识别结果301包含作业者物体的识别结果信息。在这种情况下，作业者检测部32只要基于输入的识别结果301来检测作业者物体即可。
[0169]
在上述第一步骤中检测出收获对象物并在第二步骤中检测出作业者物体的情况下，在第三步骤中，距离算出部33使用输入的收获对象物信息303和作业者物体信息304来算出图像内的收获对象物与作业者物体的距离dst(后述的图25等)。该距离dst是用于判定收获动作和被收获的、与收获对象物与作业者物体的远近或重叠的状态相关的参数。距离算出部33输出包含算出结果的距离dst的距离信息305。
[0170]
在第四步骤中，被收获判定部34基于输入的距离信息305和规定的条件，判定收获对象物是否被手等作业者物体收获到(记载为“被收获”)，根据判定结果计数收获个数。被收获判定部34当进行该判定处理时，使用被条件设定部35预先设定了的阈值等条件。在本例中，作为阈值，有距离阈值td、时间阈值tt1(第一时间阈值)、时间阈值tt2(第二时间阈值)。需要说明的是，该条件的阈值等既可以根据判定处理方式而变化，也可以设为能进行用户设定。
[0171]
第四步骤更详细地包含以下的步骤a、b、c、d。被收获判定部34首先在步骤a中判断收获对象物与作业者物体的距离dst是否是规定的距离阈值td以下(dst≤td)。换言之，该判断是手等作业者物体离收获对象物是否足够近的判断。
[0172]
在步骤a中距离dst为规定的距离阈值td以下的情况下，被收获判定部34进一步在步骤b中判断该距离dst小的状态(例如与图像帧数对应的时间t1)是否持续规定的时间阈值tt1以上(t1≥tt1)。该判断与收获对象物是否被手等作业者物体把持等的判断对应。在该判断中，为了排除暂时重叠的情况，而使用某程度的时间(tt1)。
[0173]
在步骤b中阈值tt1以上持续规定的时间的情况下，被收获判定部34进一步在步骤c中判断在时间序列上，在图像内收获对象物是否未被识别、以及在未被识别的情况下判断该未被识别的时间(例如与图像帧数对应的时间t2)是否持续规定的时间(第二时间阈值tt2)以上(t2≥tt2)。在该判断中，利用在已被进行收获动作的情况下由于收获对象物与手等作业者物体一起出现在图像之外等所以未被识别。
[0174]
在步骤c中收获对象物未被识别的时间持续了规定的时间以上的情况下，被收获判定部34判定为收获对象物已被收获(“被收获”)。并且，在步骤d中，被收获判定部34以将收获个数参数值增加1的方式进行计数。被收获判定部34将判断结果亦即包含到目前为止的收获个数的实绩信息306存储并输出。之后，回到第一步骤同样地反复。
[0175]
需要说明的是，成为被实绩检测部30计数收获个数的对象的期间能应用例如进行被用户指定开始时和结束时、或者功能的开启和关闭的操作的方式等。
[0176]
如上述那样，实绩检测部30通过判断图像内的收获对象物与手等作业者物体的远近或重叠等的状态，来判断收获动作并计数收获个数。总之，在上述判定处理方式的第四步骤中，被收获判定部34在收获对象物与作业者物体的距离dst为规定值以下、并且该状态持续规定时间以上、并且之后收获对象物未被识别的状态持续规定时间以上的情况下，判定被收获。
[0177]
如上述那样，根据实施方式2的实绩检测功能，随着与作业辅助输出相伴的农作物的收获或出货的作业，能高效地计测对象物的数量，能将其掌握为实绩。另外，根据该实绩检测功能，还能在收获指示等作业指示或作业辅助输出的信息、以及收获个数等实绩信息中进行核对或差值判断。还能基于该对照，例如针对被指定为作业辅助输出的收获对象物掌握作业者w1实际上是否进行了收获动作等。
[0178]
[图像例]
[0179]
以下，使用如图25～图29那样的图像例来示出收获判定所涉及的具体处理例。图25关于某时点的图像示出收获对象物和作业者物体的检测结果的具体例。在图像内，收获对象物251和作业者物体252已被检测出。在此，收获对象物的位置设为二维图像(以横轴为x，以纵轴为y)内的位置，被规定为物体区域的中心位置。收获对象物251的位置pt是(tx，ty)。在此，用矩形框示出基于识别结果301的收获对象物251的区域。作业者物体252是作业者w1的右手的情况，为了说明，示意性地图示为透射性区域。作业者物体的位置同样地作为二维图像内的位置而被规定为物体区域的中心位置。作业者物体252的位置pw是(wx，wy)。在此，用虚线框示出基于图像302的作业者物体252的区域。在图像内，既有不包含收获对象物的情况，也有包含多个收获对象物的情况。在本例中，在图像内，包含并检测出符合“成熟度为3以上的西红柿”的一个收获对象物251。
[0180]
作业者w1作为与作业辅助输出(例如图13)相应的收获动作设为要将右手伸出并摘取该收获对象物251。作为成为检测对象的作业者物体的例子，可以设为这种手。作业者检测部32也可以检测手的形状、颜色等。不限于此，在作业者w1在手上佩戴有作业手套的情况下，也可以将该作业手套设为检测对象。另外，在作业者w1手持作业用剪刀等道具并使用的情况、或者正在使用作业用机器的情况下，也可以将该道具或机器等设为检测对象。另外，例如也可以预先对作业手套等赋予规定的标记，将该标记设为检测对象。作业者检测部32只要将该标记视为作业者物体进行检测即可。另外，该标记也可以设为条形码等代码。通过使用这些手段，能期待更易于从图像内检测出作业者物体等效果。
[0181]
另外，有时还能在一个图像内能检测作业者w1的左手和右手等多个作业者物体。在这种情况下，也是实施方式2的系统只要检测各个作业者物体并按每一作业者物体应用同样的处理即可。例如，实绩检测部30在图像内包含有双手的情况下，可以使用与收获对象物的距离dst较近的手来进行判定。
[0182]
图25中的距离dst(特别是dst1)是图像内的收获对象物251的位置pt(tx，ty)与作业者物体252的位置pw(wx，wy)的距离。距离dst例如能用以下的式子算出。
[0183]
图26是比图25的图像的时点靠后的时点的图像的例子，特别是，示出作业者w1的头或视野几乎不动的情况。在该图像中，虽然收获对象物251的位置pt并未变化，但是作业者物体252的位置pw靠近位置pt。距离dst变小，特别是成为dst2(dst2＜dst1)。另外，该距离dst2成为距离阈值td以内。为了进行比较，还图示出距离阈值td的例子。距离阈值td能考虑例如收获对象物或手的标准尺寸来设定。在本例中，在图像的进深方向(设为z)上，在收获对象物251之上、即离作业者w1近的一侧重叠有作业者物体252的一部分。
[0184]
图27还是比图26靠后的时点的图像的例子，特别是，示出作为手的作业者物体252几乎重叠于收获对象物251之上、距离dst(特别是dst3)接近0的状态。该状态与作业者w1用手摘取了收获对象物251的状态等对应。需要说明的是，在这种状态的情况下，收获对象物251由于被手等作业者物体252遮挡，所以有时也可能不被识别。收获对象物251在位于比手靠前侧的位置的情况下，被识别的可能性高。手等作业者物体252在位于比收获对象物251靠里侧的位置的情况下，有时也可能不被识别。
[0185]
图28进一步示出通过作业者w1的收获动作在图像内收获对象物251和手等作业者
物体252从图27的状态移动后的状态时的图像例。作业者w1使持有收获对象物251的手向前侧(图像中的右下方向)移动。
[0186]
图29进一步示出收获对象物251和作业者物体252由于作业者w1的收获动作而未被从图像内检测出的状态时的图像例。在如图28或图29那样收获对象物251未被从图像内检测出的状态持续了规定时间以上的情况下，如前所述判定为被收获。
[0187]
[变形例
‑
收获动作判定]
[0188]
图30示出变形例中的被收获判定时的图像例。图24的特别是由被收获判定部34进行的被收获判定能够不限于如上述那样以距离dst为基础进行的方式。在变形例中，被收获判定部34基于作业者物体的特定的动作亦即收获动作的判定来判定被收获。该特定的动作在作业者检测部32或ai功能20中被预先规定为检测对象。例如，在收获对象物是西红柿的情况下，作业者w1当进行收获动作时以用手或作业手套包入该西红柿的方式拿着。在图30的图像例中，作为收获对象物251的西红柿以被作业手套等作业者物体252包入的方式被拿着，收获对象物251本身未被识别。在该变形例中，为了能从图像识别、判别与这种特定的动作对应的图像部分，而通过将图像作为输入的机器学习、图像解析等来预先创建判别器34a。例如，预先以对收获动作进行了拍摄的多个图像320为示教信息输入到判别器34a来进行机器学习。
[0189]
图30中的实绩检测部30不需要如图24那样的距离算出部33。图30的被收获判定部34具备能判别收获动作的判别器34a。被收获判定部34输入如图示的例子那样的图像302，从图像302通过判别器34a判别并检测作业者物体252的特定的动作亦即收获动作。被收获判定部34在从图像302内检测出收获动作的情况下、或者在进一步满足了与收获动作相伴地无法识别收获对象物251的状态持续了规定时间以上等条件的情况下，判定为被收获。需要说明的是，在使用该方式的情况下，作为收获动作进行学习或判别的对象既可以设为基于右手或左手的单手，也可以设为双手，还可以设为作业用道具等。这些能根据作为示教输入的图像来学习、判别。
[0190]
[变形例
‑
相对位置关系]
[0191]
图31作为变形例示出与由图24的被收获判定部34进行的收获判定相关的另一处理例。在该变形例中，利用图像内的多个物体之间的相对位置关系。在图31的(a)的图像内，作为例子，识别了作为收获对象物a、非收获对象物b及非收获对象物c、以及作业者物体d的左手。需要说明的是，不限于这些物体，也可以基于图像解析等从图像内识别其它任意的物体。将4个物体的位置用点{a、b、c、d}示出。在此，在关注于收获对象物a的情况下，用虚线示出与其它各物体(b、c、d)的相对的位置关系。例如，收获对象物a(点a)在与非收获对象物b(点b)之间具有包含距离dab的相对位置关系。
[0192]
图31的(b)示出作业者w1从(a)的状态通过手(作业者物体d)抓着收获对象物a并使其移动的状态。需要说明的是，在此，设为在(a)与(b)的图像之间作业者w1的头的位置或视野大致处于静止。收获对象物a在图像内的位置进行了移动，用虚线箭头示出移动。随着该移动，收获对象物a与其它物体、例如与非收获对象物b的距离dab等相对位置关系发生变化。被收获判定部34为了收获对象物a的被收获的判定，判断收获对象物a是否与原来的位置(例如点a)充分地分开。为此，被收获判定部34例如在收获对象物a(点a)与非收获对象物b(点b)的距离dab的变化、例如移动前后的差值变大为规定的阈值以上的情况下，判定为被
收获。另外，在仅如距离dab那样一个相对位置关系的判断的情况下，有时也可能非收获对象物b已被移动。因而，能通过判断如距离dac那样另一个相对位置关系来更可靠地判定。
[0193]
如上述那样，被收获判定部34通过判断图像内的物体间的相对位置关系的变化，也能判定收获对象物a的被收获(对应的收获动作)，能计数收获个数。另外，当在图像内无法识别收获对象物a时，取而代之，也可以使用抓着收获对象物a的手(作业者物体d)的位置来判定被收获。需要说明的是，在时间序列上作业者w1的头的位置移动等情况下，各时点的图像的内容也发生变动，图像内的各物体的位置发生变动。在这种情况下，由于使用物体彼此的相对位置关系，因此，也能与上述同样地判定被收获。
[0194]
[变形例
‑
作业辅助信息]
[0195]
作为实施方式2的变形例，实绩检测部30也可以使用包含图4的显示控制部14等的输出控制部所输出的作业辅助信息4同样地进行收获等的判定。例如，实绩检测部30根据图像内的作业辅助信息4(例如图13的表示如包围收获对象物那样的收获对象物的图像132)与作业者物体的距离等的状态，判定被收获。
[0196]
以上，基于实施方式具体地说明了本发明，但本发明不限于所述实施方式，能在不脱离其主旨的范围内进行各种变更。
[0197]
附图标记说明
[0198]1…
作业者终端(智能设备)，1a
…
便携终端，1b
…
可穿戴终端，2
…
服务器，3
…
作业对象物(对象物、农作物)，4
…
作业辅助信息，5
…
显示面，6
…
摄像头，61
…
内置摄像头，62
…
外置摄像头，40
…
管理功能，41
…
作业辅助功能，42
…
ai功能，w1
…
作业者，w2
…
指示者。