信息处理设备、信息处理方法和程序与流程

1.本技术涉及信息处理设备、信息处理方法和程序，特别涉及呈现适合于农田的管理的信息的技术。


背景技术：

2.近年来，由于农场的扩大，实现了农作物的自动种植。在自动种植中，非常重要的是检查农作物的种植是否正确，或者农作物的生长是否符合预期。在存在农作物的种植或生长不符合预期的位置，农场的工作人员还必须判定是否要重新种植农作物。重新种植意味着在进行过种植的位置进行重新种植(再次播种等)。
3.另一方面，随着通过搭载在诸如无人机之类的飞行物上的相机等从空中的图像捕捉技术的发展，在大型农场中，进行了通过消除人工巡视田地的作业来实现作业的简化和自动化的尝试。上面所述的种植缺陷的检测也通过这种航拍图像捕捉技术实现了自动化。
4.专利文献1公开一种捕捉农田的图像并进行植被状态的遥感的技术。
5.引文列表
6.专利文献
7.专利文献1：日本专利no.5162890


技术实现要素：

8.本发明要解决的问题
9.顺便提及，尽管可以从捕捉的图像检查种植的缺陷，不过实际上，即使被认为是缺陷，在各个位置也存在程度的差异，从而并非所有位置都需要重新种植农作物。此外，不用说，重新种植需要成本，并且例如，即使发芽的种子数略少于计划数，也有可能更好的是照原样培育种子而不进行重新种植。当然，可能更好的是即使成本增加也要进行重新种植。
10.此外，需要重新种植的及早判定。这是因为考虑到收割时的便利，希望在不会在已经发芽的部分和进行重新种植的部分之间造成农作物生长的显著差异的情况下同时收割农作物。
11.鉴于上面所述，本公开提出一种用于呈现适当的信息以便迅速进行重新种植判定的技术。
12.问题的解决方案
13.按照本技术的信息处理设备包括计算单元，所述计算单元根据感测数据计算与植物的生长相关的比率，和用户界面控制单元，所述用户界面控制单元进行控制，从而以按照根据各个感测数据计算的比率确定的图像模式，在用户界面屏幕的地图区中显示按照各个感测数据的感测位置布置的样本位置图像。
14.感测数据例如是相对于农田感测的各种数据。其例子包括通过捕捉农田的图像而获得的图像数据，以及来自诸如热传感器和超声波传感器之类传感器的数据等。农田广泛包括进行农作物的栽培的田地，比如栽培地、耕作地、水培田、大棚栽培地等。
15.与植物的生长相关的比率是广泛地与植物的生长有关的比率信息，例如是诸如种植之后发芽的农作物的比例之类的正常生长的农作物的比例。术语“农作物”指的是人为地以收获为目的的农作物，而本文中使用的术语“植物”例如除了农作物之外，还包括果树、杂草等。
16.样本位置图像是用于显示用户界面的图像，该用户界面指示在地图图像上捕捉样本图像数据的图像的位置或在农田中捕捉图像的位置。样本位置图像以与比率相应的图像方式显示。图像模式指的是构成样本位置图像的要素，比如颜色、亮度、形状和轮廓线。此外，作为显示在用户界面中的图像的样本位置图像可以是文本或数值的图像、只有颜色的图像或者任何其他形式的图像。
17.在上述按照本技术的信息处理设备中，可以想到的是感测数据是通过捕捉农田的图像而获得的图像数据，并且比率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的种植指令数之比。
18.在农田中进行种植的情况下，对于进行种植的农田中的每个地方，例如，给出关于诸如每英亩的农作物的种子、株、苗之类的种植数的指令的信息(种植指令数)被提供给拖拉机，以便进行种植。在实际发芽或生长之后，基于图像数据计算的每单位面积的农作物数与这样的种植指令数之比被设定为与农作物的生长相关的比率。
19.在上述按照本技术的信息处理设备中，可以想到的是感测数据是通过捕捉农田的图像而获得的图像数据，并且比率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的实际结果种植数之比。
20.基于图像数据计算的每单位面积的农作物数与通过拖拉机进行的实际种植数之比被设定为与农作物的生长相关的比率。
21.在上述按照本技术的信息处理设备中，可以想到的是感测数据是通过捕捉农田的图像而获得的图像数据，并且可以选择比率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的种植指令数之比，还是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的实际结果种植数之比。
22.即，使得可以选择作为发芽率的比率的基准值是对于拖拉机的种植指令数还是拖拉机的实际结果种植数。
23.在上述按照本技术的信息处理设备中，可以想到的是用户界面控制单元进行控制，以在地图区中，与样本位置图像一起显示呈现用于计算农田中的比率的值的差异的比率地图图像。
24.例如，对于农田的各个地方，作为比率的基准值的对于拖拉机的种植指令数或者实际结果种植数可能不同。作为要显示在用户界面上的图像的比率地图图像连同样本位置图像一起显示。比率地图图像也是作为用户界面显示的图像，并且可以是文本或数值的图像、只有颜色的图像或者任何其他形式的图像。
25.在上述按照本技术的信息处理设备中，可以想到的是用户界面控制单元进行控制，以在地图区中显示定义通过分割农田而获得的各个区域的区域定义图像。
26.作为区域定义图像，例如，在地图区中显示诸如格子状的网格图案之类的图像，使得用户可以识别通过分割农田而获得的各个区域的定义。
27.在上述按照本技术的信息处理设备中，可以想到的是用户界面控制单元进行控制，从而以按照对于各个区域计算的比率确定的图像模式，显示由区域定义图像指示的各个区域。
28.由区域定义图像定义的各个区域以与比率相应的图像模式显示。在这种情况下，图像模式指的是构成诸如网格图案之类的区域定义图像的要素，比如颜色、亮度和轮廓线。
29.在上述按照本技术的信息处理设备中，可以想到的是计算单元通过插值计算，计算由区域定义图像指示的各个区域的比率，所述插值计算使用关于与该区域相关的感测数据的与农作物的生长相关的比率。
30.由区域定义图像定义的各个区域的比率例如是使用关于诸如相关图像数据之类的感测数据的比率计算的，所述相关图像数据比如是通过捕捉该区域的中心点附近的图像而获得的图像数据。
31.在上述按照本技术的信息处理设备中，可以想到的是在插值计算中参考与农作物的生长相关的比率的与一个区域相关的感测数据是通过从所述一个区域的中心点起在预定距离以内进行感测而获得的感测数据。
32.例如，通过使用关于通过捕捉从区域的中心点起的预定距离内的区域的图像而获得的图像数据的比率的插值计算，计算该区域的比率。
33.在上述按照本技术的信息处理设备中，可以想到的是在插值计算中参考与农作物的生长相关的比率的与一个区域相关的感测数据是按图像捕捉区更靠近所述一个区域的中心点的顺序的预定数量的感测数据。
34.通过使用关于按图像捕捉区更靠近区域的中心点的顺序的预定数量的感测数据的比率的插值计算，计算该区域的比率。
35.在上述按照本技术的信息处理设备中，可以想到的是计算单元通过在与一个区域相关的感测数据中对关于通过感测具有与所述一个区域相同的种植指令数或实际结果种植数的地区(region)而获得的感测数据的比率进行加权，来进行插值计算。
36.如果存在相关的感测数据，例如，通过捕捉具有与所述区域相同的种植指令数或实际结果种植数的地区的图像而获得的图像数据，则通过对关于该图像数据的比率加权来进行插值计算，从而计算该区域的比率。
37.在上述按照本技术的信息处理设备中，可以想到的是用户界面控制单元进行用于进行区域定义图像的设定操作的界面控制。
38.例如，用户可指定由区域定义图像定义的区域的尺寸。
39.在上述按照本技术的信息处理设备中，可以想到的是用户界面控制单元进行界面控制，以进行对于由区域定义图像定义的各个区域指定重新种植候选区域的操作。
40.例如，用户可以在区域定义图像上将任意区域设定为重新种植候选区域。
41.在上述按照本技术的信息处理设备中，可以想到的是用户界面控制单元进行界面控制，以进行对于由区域定义图像定义的各个区域指定重新种植候选区域的操作，并响应于指定重新种植候选区域的操作，进行控制以呈现关于重新种植的成本信息。
42.例如，当用户在区域定义图像上将任意区域设定为重新种植候选区域时，进行与之对应的成本呈现。
43.在上述按照本技术的信息处理设备中，可以想到的是用户界面控制单元进行界面
控制，以使得能够将由区域定义图像定义的各个区域单独指定为重新种植候选区域。
44.例如，用户可以通过在区域定义图像上点击任意区域来指定该任意区域。
45.在上述按照本技术的信息处理设备中，可以想到的是用户界面控制单元进行界面控制，以使得能够在区域定义图像上通过范围指定操作，将多个区域指定为重新种植候选区域。
46.例如，当用户在区域定义图像上指定范围时，可以指定包含在该范围中的多个区域。
47.在上述按照本技术的信息处理设备中，可以想到还包括文件生成单元，所述文件生成单元响应于区域定义图像中的重新种植执行区域的确定，生成重新种植指令文件。
48.例如，在用户在区域定义图像上将任意区域设定为重新种植候选区域之后，响应于通过预定操作确定进行重新种植的区域，生成用于执行重新种植的指令文件。
49.可以想到的是用户界面控制单元进行控制，以对于区域定义图像所指示的各个区域，呈现是否要进行重新种植的判定结果。
50.判定对于由区域定义图像定义的各个区域是否进行重新种植，并指示判定结果。例如，以与判定结果相应的图像模式显示各个区域。在这种情况下，图像模式指的是构成网格图像的要素，比如颜色、亮度和轮廓线。
51.按照本技术的信息处理方法包括根据感测数据计算与植物的生长相关的比率，并进行控制，从而以按照根据各个感测数据计算的比率确定的图像模式，在用户界面屏幕的地图区中显示按照各个感测数据的感测位置布置的样本位置图像。
52.从而，在信息处理设备中呈现适合于重新种植判定的信息。
53.按照本技术的程序是使信息处理设备执行上述方法的处理的程序。从而，易于实现进行适合于重新种植判定的信息呈现的信息处理设备。
附图说明
54.图1是按照本技术的实施例的感测系统的说明图。
55.图2是农田中的行及图像捕捉范围的说明图。
56.图3是按照实施例的信息处理设备的硬件构成的方框图。
57.图4是按照实施例的信息处理设备的功能构成的说明图。
58.图5是图解说明按照实施例的农田管理的作业过程的流程图。
59.图6是按照实施例的用户界面屏幕的说明图。
60.图7是按照实施例的指令比率地图的显示状态的说明图。
61.图8是按照实施例的实际结果比率地图的显示状态的说明图。
62.图9是按照实施例的林分(stand)计数的显示状态的说明图。
63.图10是按照实施例的林分率的显示状态的说明图。
64.图11是按照实施例的比率地图的选择对话框的说明图。
65.图12是按照实施例的林分计数和比率地图图像的显示状态的说明图。
66.图13是按照实施例的林分率和比率地图图像的显示状态的说明图。
67.图14是按照实施例的林分率和比率地图图像的其他显示状态的说明图。
68.图15是按照实施例的当在林分计数上指定样本时的显示状态的说明图。
69.图16是按照实施例的图像显示状态的说明图。
70.图17是按照实施例的当在林分率上指定样本时的显示状态的说明图。
71.图18是按照实施例的网格的显示状态的说明图。
72.图19是按照实施例的网格的设定对话框的说明图。
73.图20是按照实施例的网格和林分率的显示状态的说明图。
74.图21是按照实施例的网格和比率地图的显示状态的说明图。
75.图22是按照实施例的网格、林分率和比率地图的显示状态的说明图。
76.图23是按照实施例的网格上的通过框选择的区域指定的说明图。
77.图24是按照实施例的网格上的通过框选择的区域指定的说明图。
78.图25是按照实施例的网格上的区域指定状态的说明图。
79.图26是按照实施例的网格上的通过范围指定的区域指定的说明图。
80.图27是按照实施例的准备处理的流程图。
81.图28是按照第一实施例的用户界面处理的流程图。
82.图29是按照第一实施例的用户界面处理的流程图。
83.图30是按照第一实施例的用户界面处理的流程图。
84.图31是按照第一实施例的用户界面处理的流程图。
85.图32是按照第一实施例的用户界面处理的流程图。
86.图33是按照实施例的比率计算处理的流程图。
87.图34是按照实施例的网格设定处理的流程图。
88.图35是按照实施例的数据插值方法的说明图。
89.图36是按照第二实施例的网格上的重新种植候选区域的呈现的说明图。
90.图37是按照第二实施例的用户界面处理的流程图。
具体实施方式
91.下文中，将按照以下顺序描述实施例。
92.《1.感测系统的构成》
93.《2.信息处理设备的构成》
94.《3.作业过程》
95.《4.用户界面屏幕》
96.《5.实施例的准备处理》
97.《6.第一实施例的用户界面处理》
98.《7.第二实施例的用户界面处理》
99.《8.总结和变形例》
100.下面，描述在在实施例中使用的一些术语。
[0101]“林分”指的是在农田中种植和发芽的每一个农作物(植物)。
[0102]“林分数”或“林分计数”是从图像数据测量的林分数。
[0103]“种群”指的是通过将从图像数据测量的林分数转换成每单位面积(例如，1英亩)的数量而获得的林分数。该种群也可以被视为在以单位面积考虑的情况下的发芽率。
[0104]“林分率”指示诸如每单位面积的发芽率之类的生长的农作物的比例，在本实施例
中，是每单位面积的林分数(种群)与在后面描述的比率地图(指令比率地图或实际结果比率地图)中指示的每单位面积的种植指令数或者实际结果种植数之比。林分率也可以说是发芽完成率。
[0105]
《1.感测系统的构成》
[0106]
首先，描述按照实施例的感测系统。
[0107]
图1图解说明构成感测系统的信息处理设备1和例如搭载在诸如无人机之类的小型飞行物200上的成像设备220。此外，还图解说明了用于种植的拖拉机270。
[0108]
飞行物200可以通过操作者的无线控制或者自动控制等，在农田300的上空移动。
[0109]
成像设备220设置在飞行物200中，以便例如捕捉下方的图像。当飞行物200在预定路线上，在农田300的上空移动时，成像设备220例如定期地捕捉静止图像。
[0110]
注意，飞行物200在相对较低的高度(例如，在约10m～20m的高度)飞行，使得一张捕捉图像显示农田300的一部分。
[0111]
通过时间间隔较短地捕捉静止图像，可以进行各个拍摄图像的拼接处理，以获得显示整个农田的合成图像。然而，在按照本实施例的感测的情况下，不一定需要这样的处理，例如，只需要在农田300中捕捉离散区域的图像作为感测样本，从而获得多个图像数据。
[0112]
下文中，作为捕捉的静止图像的每个图像的图像数据被称为“样本”。
[0113]
作为搭载在飞行物200上的成像设备220，设想是可见光图像传感器(用于捕捉红色(r)、绿色(g)和蓝色(b)可见光图像的图像传感器)、用于捕捉近红外(nir)图像的相机、捕捉多个波段的图像的多光谱相机、高光谱相机、傅里叶变换红外光谱仪(ftir)、红外传感器等。当然，在飞行物200上可以搭载多种相机(传感器)。
[0114]
作为多光谱相机，例如，还设想使用捕捉nir图像和红色(r)图像，并且可以从获得的图像计算归一化差值植被指数(ndvi)的相机。ndvi是指示植物相似性的植被指数，可以用作指示植被的分布状态和活性度的指标。
[0115]
ndvi可以从r图像和nir图像获得。即，如下获得ndvi的值：
[0116]
ndvi＝(nir-r)/(nir r)
[0117]
向通过成像设备220进行的图像捕捉获得的图像添加标签信息。标签信息包括图像捕捉日期和时间信息、作为全球定位系统(gps)数据的位置信息(纬度和经度信息)、关于图像捕捉时的飞行物200的飞行高度的信息、成像设备信息(相机的个体标识信息、型号信息等)、关于各个图像数据的信息(诸如图像尺寸、波长和图像捕捉参数之类的信息)等。
[0118]
信息处理设备1获取由附着在这样的飞行物200上的成像设备220捕捉的图像数据以及标签信息。
[0119]
例如，图像数据和标签信息通过成像设备220和信息处理设备1之间的无线通信、网络通信等传送。作为网络，例如，设想是因特网、家庭网络、局域网(lan)等、卫星通信网络和其他各种网络。
[0120]
或者，图像数据和标签信息以使得安装在成像设备220上的记录介质(例如，存储卡等)被信息处理设备1侧读取的方式被传递给信息处理设备1。
[0121]
信息处理设备1使用图像数据和标签信息生成作为测量对象的农田300的分析信息。此外，进行将分析结果作为图像呈现给用户的处理。
[0122]
具体地，可以进行在图像数据中捕捉的农作物的计数等，基于计数等生成例如可
以用于农田300的管理的信息，比如农作物数、每单位面积的农作物数、发芽率、预测收获量和农作物比例，并将信息呈现给用户。
[0123]
此外，信息处理设备1还进行在包括农田300的地图图像上，呈现各个样本(图像数据)的位置的显示和关于重新种植的信息的显示的执行控制。
[0124]
信息处理设备1例如是作为个人计算机(pc)、现场可编程门阵列(fpga)或诸如智能电话机或平板电脑之类的终端设备实现的。
[0125]
注意，在图1中，信息处理设备1与成像设备220是分开的，不过例如，作为信息处理设备1的算术设备(微计算机等)可以设置在包括成像设备220的单元中。
[0126]
在按照本实施例的感测系统的情况下，例如，在图像数据上自动确定农田300中的被视为“行”的位置，并计数基于该确定种植的农作物。
[0127]
行是种植农作物的线，例如，在农田300中为了种植种子而形成的田垄也是一种行。此外，行并不特别局限于像垄那样将土壤堆高的行，在平地上播种种子时形成的线也是行。例如，当用拖拉机(播种机)进行播种时形成的种植线被称为行。
[0128]
图2示意图解说明在农田300中形成的行301。例如，其中从播种开始，种子随着日期的流逝而发芽，并且如图中图解所示排列农作物的叶子的线成为行301。
[0129]
在本实施例的情况下，在飞行物200移动的同时，通过成像设备220对农场300进行成像，但是各个地方是在适当的定时成像的，例如如图中的图像捕捉范围sp1和sp2那样。例如，图像捕捉范围sp1中的图像数据和图像捕捉范围sp2中的图像数据作为一帧捕捉的静止图像，由成像设备220获得，并分别作为样本获取到信息处理设备1中。
[0130]
注意，尽管图2中例示了直线状的行301，不过，行301未必总是直线。直线状的行301可以在农田300的边缘等处弯曲。此外，取决于农田300的形状、播种时的路径、障碍物等，行301可以部分弯曲，或者行301可以形成为例如螺旋状或同心圆状。
[0131]
拖拉机270在农田300中种植种子等(种子、秧苗、根株等)。拖拉机270例如基于从信息处理设备1提供的种植指令数据，自动行进并种植种子等。从而，在农田300中形成上面所述的行301。
[0132]
计算机设备搭载在拖拉机270上，并且计算机设备基于指令数据，控制行进和种植操作。例如，当导入包含如后面描述的指令比率地图所示的种植指令数据(包括每个位置每单位面积的种植指令数的比率地图数据)的数据文件时，计算机设备基于指令数据，控制拖拉机270的行进和种植操作。
[0133]
此外，拖拉机270进行的种植操作的实际结果(每个位置每单位面积的实际结果种植数)作为实际数据被提供给信息处理设备1。
[0134]
《2.信息处理设备的构成》
[0135]
下面描述在上述感测系统中，获取来自成像设备220的图像数据并进行处理的信息处理设备1。
[0136]
图3图解说明信息处理设备1的硬件构成。信息处理设备1包括中央处理器(cpu)51、只读存储器(rom)52和随机存取存储器(ram)53。
[0137]
cpu 51按照存储在rom 52中的程序或者从存储单元59加载到ram 53中的程序执行各种处理。ram 53还适当地存储为cpu 51执行各种处理所需的数据等。
[0138]
cpu 51、rom 52和ram 53经由总线54相互连接。输入-输出接口55也连接到总线
54。
[0139]
包括液晶面板、有机电致发光(el)面板等的显示单元56、包括键盘、鼠标等的输入单元57、扬声器58、存储单元59、通信单元60等可以连接到输入-输出接口55。
[0140]
显示单元56可以与信息处理设备1集成，或者可以是单独的设备。
[0141]
在显示单元56中，基于来自cpu 51的指令，在显示屏幕上显示捕捉的图像、各种计算结果等。此外，显示单元56基于来自cpu 51的指令，显示各种操作菜单、图标、消息等，即，显示为图形用户界面(gui)。
[0142]
输入单元57意味着由使用信息处理设备1的用户使用的输入设备。
[0143]
例如，作为输入单元57，设想是诸如键盘、鼠标、按键、旋钮、触摸面板、触控板、遥控器之类的各种操作器和操作设备。
[0144]
输入单元57检测用户的操作，并且cpu 51解释与输入的操作对应的信号。
[0145]
存储单元59例如包括诸如硬盘驱动器(hdd)或固态存储器之类的存储介质。存储单元59例如存储由成像设备220捕捉的图像数据、标签信息、以及其他各种信息。此外，存储单元59还用于存储用于各种处理的程序数据。
[0146]
通信单元60进行经由包括因特网在内的网络的通信处理，以及与周边各个单元的设备的通信。
[0147]
例如，通信单元60可以是与成像设备220或拖拉机270通信的通信设备。
[0148]
此外，驱动器61根据需要连接到输入-输出接口55，诸如存储卡之类的存储设备62附接到驱动器61，从而进行数据的写入和读取。
[0149]
例如，从存储设备62读取的计算机程序根据需要安装在存储单元59中，或者存储由cpu 51处理的数据。当然，驱动器61可以是用于诸如磁盘、光盘或磁光盘之类的可拆卸存储介质的记录-再现驱动器。这些磁盘、光盘、磁光盘等是存储设备62的一个方面。
[0150]
注意，按照实施例的信息处理设备1不限于具有如图3中图解所示的硬件构成的单一信息处理设备(计算机设备)1，可以通过使多个计算机设备系统化来构成。多个计算机设备可以通过lan等进行系统化，或者可以通过使用因特网等的虚拟专用网络(vpn)等远程布置。多个计算机设备可以包括通过云计算服务可用的计算机设备。
[0151]
此外，可以作为诸如固定式或笔记本式之类的个人计算机，或者诸如平板终端或智能电话机之类的便携式终端来实现图3中的信息处理设备1。此外，按照本实施例的信息处理设备1也可以搭载在诸如具有作为信息处理设备1的功能的测量设备、电视设备、监视器设备、成像设备、或设备管理设备之类的电子设备中。
[0152]
例如，具有这样的硬件构成的信息处理设备1具有cpu 51的计算功能，rom 52、ram 53和存储单元59的存储功能，通信单元60和驱动器61的数据获取功能，以及显示单元56等的输出功能，并且安装的软件发挥作用，从而具有如图4中图解所示的功能构成。
[0153]
即，信息处理设备1包括图4中图解所示的图像获取单元2、计算单元5、用户界面控制单元6(下文中，“用户界面”将被称为“ui”)、记录控制单元7、通信控制单元8和文件生成单元9。
[0154]
这些处理功能由cpu 51启动的软件来实现。
[0155]
构成所述软件的程序下载自网络或者读取自存储设备62(例如，可拆卸存储介质)，并且安装在图3的信息处理设备1中。或者，所述程序可以预先存储在存储单元59等中。
然后，当所述程序在cpu 51中被启动时，表现出上述各个单元的功能。
[0156]
此外，通过使用例如ram 53的存储区域或者存储单元59的存储区域，存储各个功能的计算经过和结果
[0157]
图像获取单元2是获取作为处理对象的图像数据和附随图像数据的标签信息的功能。例如，成像设备220捕捉的图像数据存储在存储单元59等中，并且cpu 51读取要经过计算处理的特定图像数据。
[0158]
计算单元5基于图像数据进行各种计算。例如，计算单元5在通过捕捉农田300的图像而获得的图像数据，即，作为图像获取单元2的处理对象的图像数据中进行农作物检测，并基于农作物检测的结果，在图像数据中确定行301(图像中包括行301的部分)。然后，通过计数行上的农作物部分计算林分数。通过在检测行301之后计数林分数，可以从计数中排除行外的杂草等，从而可以进行高精度的计数。
[0159]
此外，计算单元5基于包括在图像数据中的农作物的计数，计算每单位面积(例如，1英亩)的农作物数(种群)、发芽率(林分率)、预测收获量、重新种植成本等。
[0160]
ui控制单元6是例如进行显示单元56的显示控制、通过输入单元57输入的操作信息的获取处理等的功能。即，ui控制单元6进行呈现由计算单元5计算的信息和图像，识别用户操作等。特别地，ui控制单元6进行控制，以使得在地图图像上执行用于设定林分数、林分率和重新种植的区域的显示。具体地，ui控制单元6进行控制，从而以按照从各个图像数据计算的比率确定的图像模式，在ui屏幕的地图区中显示按照各个图像数据的图像捕捉位置布置的样本位置图像。
[0161]
文件生成单元9是在通过使用ui屏幕的用户操作确定了进行重新种植的区域的情况下，生成包括用于该重新种植的指令数据的指令文件的功能。该指令文件被提供给拖拉机270。
[0162]
记录控制单元7是进行控制，以将诸如计算单元5计算的林分数、种群、林分率、预测收获量、成本信息和ui屏幕的设定信息之类的各种信息、文件生成单元9生成的指令文件等存储在存储单元59中的功能。
[0163]
通信控制单元8是进行控制，以通过通信单元60将如上所述的计算单元5或文件生成单元9的信息发送到外部设备的功能。
[0164]
《3.作业过程》
[0165]
图5图解说明用于管理农场的作业过程的例子。
[0166]
在步骤s1，飞行物200在农田300上空飞行，通过成像设备220捕捉图像。从而，获得作为大量样本的图像数据。
[0167]
在步骤s2，信息处理设备1获取图像数据。例如，通过来自成像设备220的有线或无线通信，或者诸如存储卡之类的存储设备62的传递，信息处理设备1捕捉通过在飞行时进行图像捕捉而获得的图像数据。信息处理设备1使图像数据例如存储在存储单元59中。
[0168]
在步骤s3，信息处理设备1进行基于图像数据的分析处理。例如，进行使用各个图像数据的林分计数等。具体的处理例子将作为准备处理在后面描述。
[0169]
在步骤s4，信息处理设备1在ui屏幕上向用户(例如，农场的工作人员)呈现农田300的状况和各种信息，以便进行重新种植判定，并且响应用户的操作。具体地，进行用于考虑用户是否进行重新种植，或者对哪个区域进行重新种植的信息呈现，并且进行接收设想
重新种植的区域的指定的处理。
[0170]
在作为ui屏幕上的输入和输出的结果，进行重新种植的情况下，处理从步骤s5前进到步骤s6，信息处理设备1进行生成包括用于重新种植的感兴趣区(roi)的指令文件的处理。该指令文件被提供给拖拉机270，roi是指示对其进行重新种植的区域的信息。
[0171]
然后，在步骤s7，信息处理设备1导出指令文件。
[0172]
当拖拉机270收到指令文件时，然后进行实际的重新种植。
[0173]
在上述过程中，按照本实施例的信息处理设备1特别在步骤s4中的ui屏幕上的输入和输出中，进行适合于由用户进行重新种植判定的信息呈现。
[0174]
下文中，将描述ui屏幕的具体例子。
[0175]
《4.用户界面屏幕》
[0176]
图6图解说明例如显示在显示单元56等上的ui屏幕的例子。图6中，在ui屏幕上显示地图图像，但是信息不是专门为重新种植呈现的。
[0177]
在ui屏幕上准备地图区21。在地图区21中显示包括农田300的地图图像。图6只图解说明了仅仅显示农田300的周边地图的状态。
[0178]
地图区21中的地图图像的比例尺可以由用户通过放大和缩小按钮28任意设定。
[0179]
此外，地图区21中显示在地图上的范围可以由用户通过光标90的拖动操作等来移动。
[0180]
ui屏幕设置有地图选择部22，用户例如通过下拉菜单可以进行选择比率地图的操作。比率地图是后面描述的指令比率地图、实际结果比率地图等。
[0181]
在ui屏幕上准备地图显示复选框23、计数显示复选框24、比率显示复选框25和网格显示复选框26，用户通过进行勾选操作，可以选择比率地图显示、林分计数显示、林分率显示和网格显示的有无。
[0182]
在ui屏幕上设置日期和时间选择部27，用户例如通过下拉菜单，可以选择处理对象样本的日期和时间(飞行/图像捕捉的日期和时间)。
[0183]
ui屏幕设置有可以由用户操作的网格生成按钮30、比率计算按钮31和roi生成按钮32。
[0184]
网格生成按钮30是用于进行设定后面描述的网格的操作的按钮。
[0185]
比率计算按钮31是用于给出计算林分率的指令的按钮。
[0186]
roi生成按钮32是用于进行生成指令文件的操作的按钮。
[0187]
与各个按钮的操作相应的显示状态和处理的例子将在后面描述。
[0188]
ui屏幕设置有种群显示部35、林分率显示部36和样本图像显示部37。
[0189]
当样本被指定时，种群显示部35显示关于该样本的种群。
[0190]
当样本被指定时，林分率显示部36显示关于该样本的林分数。
[0191]
样本的图像显示在样本图像显示部37上。相应的具体例子将在后面描述。
[0192]
图7图解说明在地图区21中显示指令比率地图351的状态。
[0193]
当用户勾选地图显示复选框23时，显示此时由地图选择部22选择的比率地图。图7图解说明其中由于通过地图选择部22选择了指示指令比率地图351的“variable rate map 2019”，因此通过勾选地图显示复选框23，显示与variable rate map 2019”对应的指令比率地图351的状态。
[0194]
在通过地图选择部22选择另一个比率地图的情况下，通过勾选地图显示复选框23显示另一个比率地图。图8图解说明其中通过在地图选择部22中选择指示实际结果比率地图的“as applied map 2019”，在地图区域21中显示与“as applied map 2019”对应的实际结果比率地图352的例子。
[0195]
图7中图解所示的指令比率地图351指示农田300中的每个地区(district)的种植指令数，而图8的实际结果比率地图352指示农田300中的每个地区的实际结果种植数。
[0196]
种植指令数被设定为每单位面积(例如，1英亩)的林分数。
[0197]
在农田300中，例如，对于诸如10英亩或100英亩之类的每个地区，种植指令数可能不同。
[0198]
指令比率地图351是指示通过种植计划创建的种植指令数的地图，使得在某个地区中，每单位面积的林分数(即，种群)被设定为“35000”，而在某个地区中，每单位面积的林分数(种群)被设定为“30000”。即，它是对于农田300中的每个地区，表示在种植时向拖拉机270指示的种群值的地图。
[0199]
另一方面，实际结果比率地图352指示拖拉机270按照指令比率地图351所指示的指令实际进行的种植的实际结果。拖拉机270在各个地区中，按照指令文件所指示的每单位面积的种植指令数进行种植，不过由于拖拉机270的性能、位置检测精度等会出现轻微偏差。实际结果比率地图352指示作为从而种植的实际结果的每单位面积的数量(实际结果种植数)。于是，在指令比率地图351和实际结果比率地图352中，地区的边界可能稍有偏移。
[0200]
在图7的指令比率地图351和图8的实际结果比率地图352中，按照每单位面积的林分数，利用颜色编码显示各个地区。尽管未图示，不过例如，进行利用诸如绿色、黄色和红色之类的颜色编码的显示。
[0201]
从而，用户可以容易地识别各个地区中的种植指令数或实际结果种植数。
[0202]
注意，改变各个地区每单位面积的种植指令数有各种原因，比如各个地区中的土壤和地质的适宜性、种植期的差异或收获作业的便利性。当然，可以在整个农田300中以相同的种植指令数进行种植。
[0203]
接下来，图9是其中在地图区域21中作为例子图解说明圆形样本位置标记350，并且样本位置标记350采用与种群相应的显示模式的例子。当用户勾选计数显示复选框24时，显示这样的样本位置标记350。
[0204]
注意在图9中，为了避免图的复杂化，样本位置标记用附图标记“350”部分地表示。这同样适用于其他附图。
[0205]
地图区域21中例示为圆形图像的各个样本位置标记350指示一个样本(图像数据)的图像捕捉位置，即，图像捕捉时的成像设备220的位置。或者，样本位置标记350可以指示被成像的位置，即，在农田300侧被设定为图像捕捉范围sp1和sp2的部分的位置。
[0206]
由于如上所述，在飞行物200的飞行期间例如定期地进行图像捕捉，因此各个样本位置标记350显示在各个位置，以便指示飞行轨迹。
[0207]
在这种情况下，按照种群利用颜色编码显示各个样本位置标记350。例如，进行利用绿色(图中的白色部分)、黄色(图中的阴影部分)和红色(图中的黑色部分)的颜色编码的显示。
[0208]
各个样本位置标记350中的种群是通过将从该样本位置标记350的图像数据计算
的林分数转换成例如诸如1英亩之类的每单位面积的林分数而获得的值。
[0209]
如图2中作为图像捕捉范围sp1和sp2图解所示，一个图像数据的图像捕捉范围当从整个农田300来看时是很小一部分的范围。例如，林分数是从图像捕捉范围sp1的图像数据计算的，但是林分数随图像捕捉范围sp1的尺寸而变化。即，它随诸如飞行物200的高度和成像设备200的视角之类的条件而变化。于是，不使用从图像数据计算的林分数本身，而是使用通过转换成每单位面积的林分数而获得的种群值。通过获得图像捕捉范围sp1的面积与单位面积之比，并将该比例乘以从图像计算的林分数，可以获得图像捕捉范围sp1的种群。
[0210]
注意，面积可以根据图像上的特定长度与实际长度之比来计算。例如，输入某一行和某一行之间的长度(10m)，并通过图像识别计算行的每一定长度的林分数(30林分/10m)。然后，可获得种群为30个/(10m
×
10m)＝0.3(林分/m2)。
[0211]
按照这样的种群，利用颜色编码显示样本位置标记350。当然，取决于农作物的种类等，例如，进行利用颜色编码的显示，比如如果种群等于或大于35000，则用绿色显示，如果种群小于35000并且等于或大于33000，则用黄色显示，而如果种群小于33000，则用红色显示。注意，3个阶段的颜色编码仅仅是例子。
[0212]
通过这样的利用颜色编码的显示，用户可以检查在各个样本位置的种群，即，诸如发芽之类的生长状态。
[0213]
图10图解说明其中在地图区域21中图解说明圆形样本位置标记350，并且样本位置标记350采用与林分率相应的显示模式的例子。当用户勾选比率显示复选框25时，显示这样的样本位置标记350。
[0214]
和图9的情况一样，地图区域21中例示为圆形图像的各个样本位置标记350指示一个样本(图像数据)的图像捕捉位置，不过在图10的情况下，按照林分率利用颜色编码显示各个样本位置标记350。例如，进行利用绿色(图中的白色圆圈)、黄色(图中的阴影圆圈)和红色(图中的黑色圆圈)的颜色编码的显示。
[0215]
各个样本位置标记350中的林分率可被视为从该样本位置标记350的图像数据计算的种群与在该位置预定的种群之比。
[0216]
预定的种群是由指令比率地图351指示的种植指令数和由实际结果比率地图352指示的实际结果种植数。它是预定要培育的农作物的数量。
[0217]
例如，如果在给出指令以使得每单位面积的林分数为35000的位置，从图像数据计算的种群为35000，则林分率为100％。如果在给出指令以使得每单位面积的林分数为35000的位置，从图像数据计算的种群为34000，则林分率为97％。
[0218]
按照这样的林分率，利用颜色编码显示样本位置标记350。例如，进行利用颜色编码的显示，比如如果林分率为98％以上，则用绿色显示(图中的白色圆圈)，如果林分率为90％以上并且小于98％，则用黄色显示(图中的阴影圆圈)，而如果林分率小于90％，则用红色显示(图中的黑色圆圈)。注意，3个阶段的颜色编码仅仅是例子。
[0219]
通过这样的利用颜色编码的显示，用户可以检查在各个样本位置的林分率，例如，发芽率。
[0220]
林分率是以在各个样本位置的预定种群为基准计算的。该基准是由指令比率地图351指定的在该样本位置的预定种群(每单位面积的种植指令数)或由实际结果比率地图
352指示的在该样本位置的预定种群(每单位面积的实际结果种植数)。用户可以选择使用哪个作为基准。
[0221]
作为处理例子，可以想到的是当用户操作比率计算按钮31时，进行与各个这样的样本位置标记350对应的林分率的计算。
[0222]
当用户操作比率计算按钮31时，如图11中图解所示显示选择对话框34，用户可以例如通过下拉菜单选择基准比率地图。
[0223]
例如，从下拉菜单显示命名为“variable rate map 2019”的指令比率地图351、命名为“as applied map 2019”的实际结果比率地图352等，用户可以选择任何比率地图。
[0224]
响应于选择，cpu 51计算对应于各个样本位置标记350的林分率，并使得如图10中图解所示，利用颜色编码显示林分率。
[0225]
注意，在指令值恒定或者没有指令数据的情况下，可以设想整个农田300是统一的值地进行计算。
[0226]
此外，用户可以以其他方式选择比率地图，比如不但设置下拉菜单，而且设置数值数据的输入表格，使得用户可以选择比率地图。
[0227]
接下来，图12图解说明用户勾选地图显示复选框23和计数显示复选框24二者的情况。
[0228]
在这种情况下，在地图区域21中显示选择的比率地图(例如，指令比率地图351)，并且还重叠地显示按种群进行颜色编码的样本位置标记350。
[0229]
这结果产生使用户可以容易地比较对于各个地区预定的种群和从图像数据计算的种群(实际种群)的图像。
[0230]
图13图解说明用户勾选地图显示复选框23和比率显示复选框254二者的情况。
[0231]
在这种情况下，在地图区域21中显示选择的比率地图(例如，指令比率地图351)，并且还重叠地显示按林分率进行颜色编码的样本位置标记350。
[0232]
这结果产生使用户可以容易地比较对于各个地区预定的种群和在各个图像数据的位置的林分率的图像。
[0233]
图12中的通过样本位置标记350的种群显示是以林分数为基准的利用颜色编码的显示，而图13中的通过样本位置标记350的林分率显示是以比率为基准的利用颜色编码的显示，从而是具有不同含义的信息。通过任意地显示它们，用户可以容易地掌握农田300的状况。
[0234]
注意，尽管图12和13图解说明其中在比率地图上叠加地显示样本位置标记350的例子，不过如图14中图解所示，可以分开地显示样本位置标记350和比率地图(例如，指令比率地图351)。
[0235]
或者，可以允许用户选择如图14中图解所示分开地进行显示，以及如图12和13中图解所示重叠地进行显示。
[0236]
图15图解说明在通过样本位置标记350显示种群的状态下，用户指定一个样本位置标记350的情况。
[0237]
例如，设想用户进行通过点击接触一个样本位置标记350的光标90等指定一个样本位置标记350的操作。
[0238]
在这种情况下，种群显示部35显示关于所指定的样本位置标记350的种群值。该图
图解说明其中种群值“31000”被显示成“31k”的例子。
[0239]
此外，在样本图像显示部37上显示对应于样本位置标记350的图像，即，与在样本位置标记350的位置的图像捕捉相关的图像。这里，图解说明其中显示rgb图像41、林分计数图像42和ndvi图像43的例子。rgb图像41例如是在成像设备220是rgb相机的情况下捕捉的图像。ndvi图像43是从r和nir获得的ndvi图像。林分计数图像42例如是为了林分计算而处理的图像。
[0240]
用户还可以放大显示这些图像。例如，通过进行诸如点击rgb图像41的一部分之类的操作，如图16中图解所示，放大显示rgb图像41。
[0241]
用户可以通过操作结束按钮45来结束放大显示，从而返回到图15的状态。
[0242]
通过如图15和16中图解所示的显示，用户可以在任意位置(样本位置标记350的位置)检查种群值或检查图像。即，可以检查与通过样本位置标记350的颜色编码的粗略种群相比更详细的信息。
[0243]
图17图解说明在通过样本位置标记350显示林分率的状态下，用户指定一个样本位置标记350的情况。
[0244]
例如，在用户利用光标90进行指定一个样本位置标记350的操作的情况下，在种群显示部35上显示关于指定的样本位置标记350的种群，并在林分率显示部36上显示林分率。该图图解说明其中将种群值“32000”显示为“32k”，并且显示林分率“88.9％”的例子。
[0245]
另外注意，在这种情况下，样本图像显示部37显示对应于样本位置标记350的图像，例如，rgb图像41、林分计数图像42、ndvi图像43等。此外，当指定这些图像时，类似于上面描述的图15和16的情况，进行图像的放大显示。
[0246]
在图17的情况下，除了通过样本位置标记350的颜色编码的粗略林分率之外，用户还可以检查林分率的值。
[0247]
图18图解说明在地图区21中显示格子图案的网格355的状态。
[0248]
当用户勾选网格显示复选框26时，进行这样的网格355的显示。
[0249]
网格355是区域定义图像，是通过网格线定义农田300的区域的显示。即，作为由网格分隔的范围(网格方块)，向用户呈现通过分割农田300而获得的各个区域。
[0250]
网格355主要用于指定进行重新种植的区域。
[0251]
由网格355的方块指示的各个区域以按照对于该区域计算的林分率确定的图像模式，这里，以颜色编码方式来显示。
[0252]
注意，网格355的各个区域不一定以1:1的比例对应于各个样本(由样本位置标记350指示的图像数据)。于是，网格355的各个区域的林分率是通过使用邻近样本位置标记350等的插值等来计算的。具体的例子将在后面描述。
[0253]
网格355的各个区域是通过例如颜色编码显示的，比如如果林分率为98％以上，则用绿色显示(图中的白色方块)，如果林分率为90％以上并且小于98％，则用黄色显示(图中的阴影方块)，而如果林分率小于90％，则用红色显示(图中的黑色方块)。注意，3个阶段的颜色编码只是例子。
[0254]
通过这样的利用颜色编码的显示，用户可以检查由网格355定义的各个区域中的林分率。
[0255]
用户可以设定网格355的框的尺寸。
[0256]
当用户操作网格生成按钮30时，如图19中图解所示，显示用于设定网格的尺寸的设定对话框33。设定对话框33使用户可以任意设定网格的一边的尺寸。
[0257]
如图18中图解所示的网格355是形成以这此方式设定的尺寸的方块的网格图案的图像。
[0258]
当显示网格355时，如图所示，出现计算按钮71、计划成本显示部72、选择面积显示部73、平均种群显示部74、平均林分率显示部75和重新种植成本显示部76。
[0259]
然而，特别地，当网格355上的区域未被选择时，在这些网格中不显示具体的数值，如图18中图解所示。
[0260]
图20图解说明用户勾选网格显示复选框26和比率显示复选框25二者的情况。
[0261]
在这种情况下，在地图区21中，重叠地显示按照林分率进行颜色编码的样本位置标记350和网格355。
[0262]
这结果产生使用户可以容易地理解由网格355定义的各个区域与样本位置之间的关系的图像。
[0263]
图21图解说明用户勾选网格显示复选框26和地图显示复选框23二者的情况。
[0264]
在这种情况下，在地图区21中显示选择的比率地图(例如，指令比率地图351)，并且还叠加地显示网格355。
[0265]
这结果产生使用户可以同时检查对于各个地区预定的种群和由网格355定义的区域的图像。
[0266]
图22图解说明用户同时勾选了网格显示复选框26、地图显示复选框23和比率显示复选框25的情况。
[0267]
在这种情况下，在地图区21中，显示选择的比率地图(例如，指令比率地图351)，重叠地显示网格355，并且重叠地显示按照林分率进行颜色编码的样本位置标记350。
[0268]
这结果产生使用户可以同时检查对于各个地区预定的种群，由网格355定义的区域，以及样本位置的图像。
[0269]
注意，尽管未图示，不过在用户同时勾选网格显示复选框26、地图显示复选框23和计数显示复选框24全部的情况下，重叠地显示比率地图、网格355和按种群进行颜色编码的样本位置标记350。
[0270]
此外，在用户同时勾选网格显示复选框26和计数显示复选框24的情况下，重叠地显示网格355和按种群进行颜色编码的样本位置标记350。
[0271]
此外，在各种情况下，可以勾选计数显示复选框24和比率显示复选框25两者，并且在这种情况下，样本位置标记350具有与林分率或种群对应的颜色。
[0272]
或者，可以禁止同时勾选计数显示复选框24和比率显示复选框25。
[0273]
如上所述，网格355用于指定进行重新种植的区域的操作。
[0274]
图23图解说明使用网格355来指定重新种植候选区域的操作。例如，通过用户用光标90点击一个区域等，选择一个重新种植候选区域。在这种情况下，如图中所示，例如，通过变成粗线等，指示该区域的方块变成选定状态。当然，可以通过改变颜色或突出显示来指示选定状态。
[0275]
图24图解说明通过点击等，依次使邻近区域变成选定状态的例子。
[0276]
这样，用户可以任意选择区域，并且将所选区域设定为重新种植候选区域。
[0277]
图25图解说明用户选择其他8个区域作为重新种植候选区域的状态。
[0278]
在选择一个或多个区域的状态下，按照区域选择，在选择面积显示部73、平均种群显示部74、平均林分率显示部75和重新种植成本显示部76上显示具体的数值。
[0279]
例如，如图23中图解所示，在选择一个区域的状态下，按照选定状态，分别在选择面积显示部73、平均种群显示部74和平均林分率显示部75上显示数值。即，在选择面积显示部73上显示处于选定状态的面积，在平均种群显示部74上显示处于选定状态的区域的平均种群值，在平均林分率显示部75上显示处于选定状态的区域的平均林分率。
[0280]
当如图24中图解所示选择了多个区域时，这些数值是对应于多个区域的值。
[0281]
此外，计划成本显示部72使用户可以输入每单位面积，例如1英亩的重新种植成本。
[0282]
在重新种植成本显示部76中，例如，如图25中图解所示，以每英亩的重新种植成本为基准，显示与处于选定状态的区域的面积相应的重新种植成本。
[0283]
如图23、24和25的显示例子一样，按照用户进行的区域选择，显示重新种植候选区域的总面积、平均种群和平均林分率，并显示成本，从而使用户能够在检查成本等的同时选择区域。
[0284]
此外，在操作计算按钮71的情况下，显示预先确定的计算窗口(未图示)，并且可以输入诸如地区、日期和时间、当前种群和目标种群之类的各种条件，以发出执行计算的指令。从而，计算是否要进行重新种植，并显示判定结果。
[0285]
用户可以参考这样的显示来判定重新种植的执行。
[0286]
roi生成按钮32是用户在将重新种植候选区域判定为进行重新种植的区域时操作的按钮。
[0287]
例如，当在如图25中图解所示选择了重新种植候选区域的状态，用户希望进行重新种植的情况下，用户操作roi生成按钮32。从而，确定为重新种植候选区域的一个或多个区域被确定为进行重新种植的区域，并为此生成指令文件。
[0288]
之后，信息处理设备1生成的指令文件被导出并传递给拖拉机270，使得拖拉机270能够进行重新种植操作。
[0289]
注意，在图23、24和25的例子中，用户进行逐一地选择由网格355指示的区域(方块)的操作，不过如图26中图解所示，可以通过范围指定来集体地选择区域。
[0290]
例如，通过从虚线的位置(光标90p)起的光标90的拖动操作，可以指定多个区域。这样，可以便利选择重新种植候选区域的操作。
[0291]
此外，还可以想到在ui屏幕上呈现滑块、输入框等，并且用户输入将作为阈值的林分率，便利林分率等于或低于阈值的区域被选为重新种植候选区域的操作方法。
[0292]
《5.实施例的准备处理》
[0293]
下面描述用于实现如上所述的ui屏幕的信息处理设备1的处理例子。
[0294]
首先，参考图27描述在图5的步骤s3中进行的准备处理。
[0295]
图27图解说明在捕捉作为样本的图像数据之后，信息处理设备1的cpu 51对于各个样本执行的处理。该处理由具有图4中图解所示的功能，主要是作为计算单元5的功能的cpu 51实现。
[0296]
在步骤s101，cpu 51指定作为处理对象的图像数据。即，由搭载在飞行物200上的
成像设备220在空中捕捉的图像之一被指定为处理对象。这种情况下的图像数据可以是通过rgb(红色、绿色、蓝色)相机获得的彩色图像数据，或者作为ir(近红外)数据和r(红色)数据的图像数据。图像数据可以是从ir(近红外)数据和r(红色)数据获得的上述ndvi图像数据。
[0297]
在步骤s102，cpu 51对于作为处理对象的图像数据，进行计算林分数的处理。即，从图像中检测农作物部分，并计数该农作物的数量。
[0298]
尽管可以考虑用于计算林分数的各种方法，不过例如可取的是在图像中检测行301，并检测生长在行301上的植物。此外，农作物在行301上每隔一定程度上确定的间隔排列，从而理想的是考虑到所述间隔进行计数。通过进行这样的计数，能够不理会杂草等，以相对高的精度计数林分数。
[0299]
注意，在林分数的计数处理中，从图像中检测判定为农作物的部分，并对该部分进行计数。例如，作为在使用通过rgb相机捕捉的图像的情况下的检测方法，设想g像素检测。
[0300]
由于农作物主要包括叶子，并且叶子通常为绿色，因此从rgb彩色图像中检测绿色区。对于绿色区的检测，例如，只需要比较图像中的某个像素的rgb分量中的每一个，并且只检测g(绿色)最高的像素。
[0301]
或者，将rgb转换到诸如hsv之类的明度、饱和度和色调的空间中。然后，通过设置在色调值的绿色中具有一定宽度的区域，可以检测该区域中具有色调的像素。
[0302]
此外，作为当使用通过捕捉近红外光和红光的图像而获得的图像情况下的检测方法，存在对于ndvi图像的阈值检测方法。
[0303]
作为指示农作物(植物)的分布的指数的ndvi是根据近红外图像和红色图像计算的，并且取值范围为
±
1，农作物具有较高的ndvi值，而土壤等具有较低的ndvi。从而，可以根据ir数据和r数据创建ndvi图像，并且只需要通过阈值处理检测和计数农作物部分的像素。
[0304]
注意，在ndvi图像已存在的情况下，只需要通过阈值处理检测农作物部分的像素。
[0305]
通过这些g像素检测和ndvi阈值检测可以检测植物，随后通过如上所述考虑行301的检测和农作物的种植间隔，排除杂草的计数成为可能。
[0306]
在计数林分数之后，在步骤s103，cpu 51计算种群。在这种情况下，cpu 51获得作为处理对象的图像的图像捕捉范围的面积。面积可以根据图像捕捉时的飞行物200的高度信息和成像设备220的视角信息来计算。在获得图像捕捉范围的面积之后，获得与单位面积之比，并通过将林分数乘以该比例来计算种群。当然，单位面积可以通过使用图像识别，根据图像上的特定长度与实际长度之比来计算。
[0307]
如上所述
[0308]
在步骤s104，cpu 51进行与种群值相应的显示模式设定。这是设定在关于作为处理对象的图像数据的如图9中图解所示的种群显示时的样本位置标记350的颜色的处理。
[0309]
在步骤s105，cpu 51进行映射设定。即，从附加到图像数据的标签信息中读取纬度和经度信息，并设定为在地图区21中显示样本位置标记350的位置。
[0310]
在步骤s106，cpu 51进行存储处理。即，对于作为一个样本的处理对象的图像数据，存储林分数、种群值、样本位置标记350的颜色、显示位置的设定等。
[0311]
从而，当在上述ui屏幕上请求显示时，可以按照种群显示样本位置标记350。
[0312]
在步骤s107，cpu 51判定是否对于所有样本完成了上述处理，如果存在未处理的样本，则cpu 51返回步骤s101，并对未处理的样本进行类似的处理。
[0313]
当对于所有样本完成了处理时，终止图27的准备处理。
[0314]
注意，这里提及的“所有样本”可以是在一次飞行中通过图像捕捉所获得的所有图像数据，或者可以是预先选择的所有必需样本。例如，在飞行的开始或结束时可能捕捉到无用的图像数据，或者用户可能在飞行过程中离开农田300。对于这种情况下的图像数据，甚至不需要进行图27的处理。
[0315]
通过进行图27的准备处理，可以在地图区域21中用与种群对应的颜色显示关于各个样本的样本位置标记350。
[0316]
《6.第一实施例的用户界面处理》
[0317]
接下来，参考图28～35描述由信息处理设备1进行的ui处理。
[0318]
图28、29、30、31和32分割地图解说明cpu 51通过ui控制单元6的功能进行的ui处理，以及该过程中的通过计算单元5、文件生成单元9、记录控制单元7和通信控制单元8的功能进行的处理。在各个图中，流程图的连接用符号“c1”～“c5”指示。
[0319]
另外，在图28～32中图解说明的ui处理是在图5的步骤s4～s6中进行的处理，并且是用于实现如参考图6～27所述的ui屏幕的显示和对用户操作的响应的处理。
[0320]
在图28的步骤s200，信息处理设备1开始ui图像的显示。例如，cpu 51使显示单元56等执行图6中图解所示的显示。
[0321]
注意，在开始ui图像的显示时，可以按照前次ui图像显示时的复选框的开启-关闭状态等进行显示。
[0322]
在ui图像的显示控制期间，cpu 51重复执行从步骤s201到图32中的步骤s219的监视处理。下文中，从图28中的步骤s201到图32中的步骤s219的各个监视处理将被统称为“监视循环”。
[0323]
在图28的步骤s201，cpu 51判定ui显示的结束。例如，cpu 51响应用户的结束操作或者某个结束触发的发生，判定ui显示结束，在步骤s230进行ui图像的显示结束处理，从而结束一系列的ui控制处理。
[0324]
在步骤s202，cpu 51监视比率地图选择操作。当检测到用户操作了地图选择部22时，cpu 51从步骤s202前进到步骤s231，并进行响应选择操作的处理。例如，进行地图选择部22中的下拉菜单显示和选择操作的检测。然后，在检测到用户的从当前状态变更比率地图的操作的情况下，cpu 51从步骤s232前进到步骤s233，并进行变更处于选定状态的比率地图的处理。例如，将已处于选定状态的指令比率地图351切换成实际结果比率地图352的选定状态。
[0325]
即使用户进行下拉菜单显示的操作等，在最后没有进行比率地图变更指令的情况下，cpu 51从步骤s232返回监视循环。
[0326]
在步骤s203，cpu 51监视比率计算按钮31的操作。当检测到用户操作了比率计算按钮31时，cpu 51从步骤s203前进到步骤s240，并如图11中图解所示进行选择对话框34的显示控制。
[0327]
在检测到用户对选择对话框34进行了取消操作的情况下，cpu 51从步骤s241前进到步骤s244，终止选择对话框34，并返回监视循环。
[0328]
当检测到用户选择了作为基准的比率地图，并且随后对选择对话框34进行了ok操作时，cpu 51从步骤s242前进到步骤s243，进行比率计算处理。
[0329]
该比率计算处理是获得关于各个样本的林分率的处理。比率计算处理的例子在图33中图解说明。
[0330]
在步骤s301，cpu 51指定作为计算对象的样本(图像数据)。这是将显示在样本位置标记350的样本之一指定为计算处理的对象的处理。
[0331]
在步骤s302，cpu 51从当前选择的比率地图(例如，指令比率地图351或实际结果比率地图352)获取与作为计算对象的样本的位置对应的种群的值，并将该值设定为目标种群。即，它是在该样本的地方预定的种群。
[0332]
在步骤s303，cpu 51根据对于作为计算对象的样本在准备处理中获得的种群和目标种群的值，获得林分率。
[0333]
在步骤s304，cpu 51进行与林分率的值相应的显示模式设定。这是设定在关于作为处理对象的图像数据的比率显示时的样本位置标记350的颜色的处理。
[0334]
在步骤s305，cpu 51进行存储处理。即，对于作为一个样本的计算对象的图像数据，存储林分率的值、在比率显示时的样本位置标记350的颜色的设定等。
[0335]
在步骤s306，cpu 51判定是否对于要计算的所有样本都完成了上述处理，如果存在未处理的样本，则cpu 51返回步骤s301，并对未处理的样本进行类似的处理。
[0336]
当对于所有必需的样本都完成了处理时，图33的比率计算处理结束。
[0337]
此时，对于各个样本，可以用与林分率对应的颜色显示样本位置标记350。即，当在上述ui屏幕上要求如图10中图解所示的比率显示时，能够显示与林分率相应的样本位置标记350。
[0338]
在图28的步骤s243进行上述比率计算处理之后，cpu 51进入步骤s244，终止选择对话框34，然后返回监视循环。
[0339]
在图29的步骤s204，cpu 51监视网格生成按钮30的操作。当检测到用户操作了网格生成按钮30时，cpu 51从步骤s204前进到步骤s250，如图19中所示进行设定对话框33的显示控制。
[0340]
在检测到用户对设定对话框33进行了取消操作的情况下，cpu 51从步骤s251前进到步骤s254，终止设定对话框33，然后返回监视循环。
[0341]
当检测到用户在设定对话框33中选择或输入了网格的尺寸的值，并且随后进行ok操作时，cpu 51从步骤s252前进到步骤s253，进行网格设定处理。
[0342]
该网格设定处理是设定网格355的方块的尺寸，设定通过分割农田300而获得的各个区域，并获得各个区域的林分率的处理。网格设定处理的例子在图34中图解说明。
[0343]
在步骤s401，cpu 51设定网格尺寸。即，按照设定对话框33上的用户输入设定网格的尺寸。
[0344]
在步骤s402，cpu 51指定作为计算对象的区域。区域由网格355的一个方块指示。作为网格355的网格设定多个方块，方块之一被指定为计算对象。
[0345]
在步骤s403，cpu 51通过插值处理计算作为计算对象的区域(网格355的方块)的林分率。
[0346]
对于该计算，例如，可使用利用与区域相关的样本的反距离加权法。
[0347]
即，使用关于与区域相关的图像数据的林分率，通过反距离加权法计算作为计算对象的区域的比率。
[0348]
对于在反距离加权法中使用的样本收集和计算，可以想到几个例子。
[0349]
作为第一个例子，可以想到使用通过在从一个区域的中心点起预定距离以内捕捉图像而获得的图像数据，作为与作为计算对象的该区域相关的样本(图像数据)。
[0350]
图35a图解说明了3个区域ar1、ar2和ar3，作为通过网格355定义的区域。现在设想区域ar1是林分率的计算对象。
[0351]
与区域ar1的中心点相隔距离d1的范围用圆cc指示。周边的各个样本用样本位置标记350x、350y和350z指示。
[0352]
样本位置标记350x、350y和350z所指示的圆cc中的样本是与作为计算对象的区域ar1相关的样本。使用这些样本的林分率来计算区域ar1的林分率。
[0353]
作为第二个例子，可以想到使用按照从最靠近一个区域的中心点的图像数据开始的顺序的预定数量(例如，3个)的图像数据，作为与作为计算对象的该区域相关的样本(图像数据)。
[0354]
图35b图解说明了按照与作为计算对象的区域ar1的中心点的距离递减的顺序的3个样本(样本位置标记350x、350y和350z)。使用这些样本的林分率来计算区域ar1的林分率。
[0355]
第三个例子使用按照第一个和第二个例子的样本，不过是对特定样本加权的例子。
[0356]
即，通过在与作为计算对象的一个区域相关的图像数据中，对关于通过捕捉具有与所述一个区域相同的种植指令数或实际结果种植数的地区的图像而获得的图像数据的比率加权，进行插值计算。
[0357]
在图35c中，例如，在图35b的图像上叠加指令比率地图351。这里，区域ar1和样本位置标记350x所指示的样本具有由指令比率地图351指示的相同的种植指令数。
[0358]
于是，使用由样本位置标记350x、350y和350z指示的各个样本的林分率，不过，样本位置标记350x的样本的林分率被加权，以计算区域ar1的林分率。
[0359]
在图34的步骤s403，cpu 51在上述例子中进行插值计算，并通过反距离加权法计算关于对象区域的林分率。
[0360]
在步骤s404，cpu 51进行与林分率的计算值相应的显示模式设定。这是设定在显示网格355时的计算对象区域的颜色的处理。
[0361]
在步骤s405，cpu 51进行存储处理。即，存储网格尺寸、作为计算对象的区域的颜色的设定等。
[0362]
在步骤s406，cpu 51判定是否对于所有要计算的区域都完成了林分率计算，如果存在未计算的区域，则cpu 51返回步骤s402，对于未处理的区域进行类似的处理。
[0363]
当对于网格355的所有区域都完成了处理时，图34的网格设定处理结束。此时，如图18中图解所示，可以显示对于每个区域进行了颜色编码的网格355。
[0364]
在图29的步骤s253，进行了上述网格设定处理之后，cpu 51进入步骤s254，终止设定对话框33，然后返回监视循环。
[0365]
在步骤s205，cpu 51监视通过放大和缩小按钮28的放大或缩小操作。当检测到用
户进行了放大操作或缩小操作时，cpu 51从步骤s205前进到步骤s261，控制地图区21中的地图图像的显示的放大或缩小。然后，处理返回监视循环。
[0366]
注意，当在地图区21中在地图图像上显示比率地图、样本位置标记350或网格355时，这些也与地图图像一致地被放大或缩小。
[0367]
在步骤s206，cpu 51监视诸如地图区21上的拖动操作之类的滚动地图的操作。当检测到用户进行了滚动操作时，cpu 51从步骤s206前进到步骤s262，滚动地图区21中的地图图像。然后处理返回监视循环。
[0368]
注意，当在地图区21中在地图图像上显示比率地图、样本位置标记350或网格355时，这些也与地图图像一致地被移动。
[0369]
在图30的步骤s207，cpu 51监视地图显示复选框23的勾选操作。当检测到用户进行了勾选操作时，cpu 51从步骤s207前进到步骤s263，进行在地图区21中显示当前选择的比率地图(例如，指令比率地图351或实际结果比率地图352)的控制。随后，处理返回监视循环。
[0370]
在步骤s208，cpu 51监视地图显示复选框23的取消操作。当检测到用户进行了取消操作时，cpu 51从步骤s208前进到步骤s264，进行结束地图区21上的比率地图的显示的控制。然后，处理返回监视循环。
[0371]
在步骤s209，cpu 51监视计数显示复选框24的勾选操作。当检测到用户进行了勾选操作时，cpu 51从步骤s209前进到步骤s265，进行在地图区21中显示按种群设定其颜色的样本位置标记350的控制。随后，处理返回监视循环。
[0372]
在步骤s210，cpu 51监视计数显示复选框24的取消操作。当检测到用户进行了取消操作时，cpu 51从步骤s210前进到步骤s266，进行结束地图区21中的按种群设定其颜色的样本位置标记350的显示的控制。然后，处理返回监视循环。
[0373]
在步骤s211，cpu 51监视比率显示复选框25的勾选操作。当检测到用户进行了勾选操作时，cpu 51从步骤s211前进到步骤s267，进行在地图区21中显示按林分率设定其颜色的样本位置标记350的控制。随后，处理返回监视循环。
[0374]
在步骤s212，cpu 51监视比率显示复选框25的取消操作。当检测到用户进行了取消操作时，cpu 51从步骤s212前进到步骤s268，进行结束地图区21中的按林分率设定其颜色的样本位置标记350的显示的控制。然后，处理返回监视循环。
[0375]
在图31的步骤s213，cpu 51监视网格显示复选框26的勾选操作。当检测到用户进行了勾选操作时，cpu 51从步骤s213前进到步骤s269，进行在地图区21中显示网格355的控制。在这种情况下，用在上述图34的网格设定处理中设定的颜色显示网格355的各个区域。随后，处理返回监视循环。
[0376]
注意，为了显示网格355，需要首先进行网格设定处理。因而，即使用户在操作网格生成按钮30之前，进行了网格显示复选框26的勾选操作，也可以想到使勾选操作无效。
[0377]
在步骤s214，cpu 51监视网格显示复选框26的取消操作。当检测到用户进行了取消操作时，cpu 51从步骤s214前进到步骤s270，进行结束地图区21中的网格355的显示的控制。然后，处理返回监视循环。
[0378]
在步骤s215，cpu 51监视指定(点击等)显示的样本位置标记350之一的操作。
[0379]
当检测到指定某个样本位置标记350的操作时，cpu 51从步骤s215前进到步骤
s271，进行显示该样本位置标记350的细节的控制。例如，如图15和17中图解所示，使种群显示部35和林分率显示部36显示详细的数值，并且对应于该样本位置标记350的图像显示在样本图像显示部37上。然后，处理返回监视循环。
[0380]
在如图15和17中图解所示，在样本图像显示部37上显示图像的情况下，用户可以进行指定图像的操作。在步骤s216，cpu 51监视图像指定的操作。
[0381]
当检测到指定某个图像的操作时，cpu 51从步骤s216前进到步骤s272，如图16中图解所示进行放大和显示指定的图像的控制。
[0382]
在图像放大显示期间，cpu 51监视结束按钮45的操作，当检测到结束按钮45的操作时，处理从步骤s273返回监视循环。
[0383]
在步骤s217，cpu 51监视对于网格355的区域选择操作。例如，这是如图25和26中所述的点击区域的操作，或者如图28中所述的指定范围的操作。或者，可以使用某种其他选择操作。
[0384]
当检测到选择区域的操作时，cpu 51从步骤s217前进到步骤s280，使得执行作为选择响应显示的呈现选定状态的显示。例如，如图25中图解所示，用粗线显示区域的框。
[0385]
在步骤s281，cpu 51临时将指定的区域设定为重新种植候选区域。
[0386]
在步骤s282，cpu 51计算重新种植相关值。例如，进行要显示在选择面积显示部73、平均种群显示部74和平均林分率显示部上的数值的计算，与计划成本显示部72的输入相应的要显示在重新种植成本显示部76上的成本值的计算等。此外，还进行与计算按钮71对应的窗口显示、计算等。
[0387]
在步骤s283，cpu 51进行这些计算结果的显示控制。然后，处理返回监视循环。
[0388]
在图32的步骤s218，cpu 51监视roi生成按钮32的操作。当检测到roi生成按钮32的操作时，cpu 51从步骤s218前进到步骤s290，生成包括重新种植区域的指令数据的指令文件。
[0389]
这是将此时被设定为重新种植候选区域的一个或多个区域确定为进行重新种植的区域，并生成给拖拉机270以执行重新种植的指令文件的处理。
[0390]
在步骤s291，cpu 51进行存储生成的指令文件的处理。然后，处理返回监视循环。
[0391]
在步骤s219，cpu 51监视导出操作。当检测到预先确定的导出操作时，cpu 51从步骤s219前进到步骤s292，进行指令文件的输出处理。例如，输出处理是用于传递给拖拉机270的输出处理。然后，处理返回监视循环。
[0392]
通过进行上述处理，执行通过上述ui图像的显示向用户的信息提供，并且生成与用户的操作相应的用于重新种植的指令文件。
[0393]
注意，上述处理例子是示例，还可以想到其他处理例子。此外，为了便于描述，并未说明关于ui屏幕和操作检测的所有处理，实际上还进行了其他处理。
[0394]
《7.第二实施例的用户界面处理》
[0395]
作为第二实施例，将描述其中进行网格355中进行重新种植的区域的推荐的例子。
[0396]
例如，当显示网格355时，如图36中图解所示，呈现重新种植的推荐区域360。
[0397]
例如，cpu 51确定其中林分率较低的区域、其中林分率较低且在一定程度上集中的区域等，并在显示网格355时，显示推荐区域360，作为向用户推荐进行重新种植的区域。
[0398]
在这种情况下，cpu 51例如进行图37的处理，而不是上述图31的处理。即，在步骤
s269的处理之后进行步骤s275的处理。
[0399]
在步骤s275的处理中，cpu 51设定重新种植推荐区域，并进行将推荐区域作为推荐区域360显示在网格355上的控制。
[0400]
例如，林分率等于或小于预定值的区域被设定为推荐进行重新种植的区域。或者，在林分率等于或小于预定值的预定数量以上的区域彼此相邻的情况下，这些区域被设定为推荐进行重新种植的区域。
[0401]
注意，推荐区域的设定可以在例如进行图34的网格设定处理时执行。
[0402]
通过呈现推荐区域360，用户可以在显示网格355时检查应对其进行重新种植的区域，从而重新种植判定变得容易。
[0403]
《8.总结和变形例》
[0404]
在上述实施例中，可以获得以下效果。
[0405]
按照实施例的信息处理设备1包括计算单元5，计算单元5根据通过捕捉农田300的图像而获得的图像数据，计算与农作物的生长相关的比率(例如，林分率)，和ui控制单元6，ui控制单元6进行控制，从而以按照根据各个图像数据计算的比率确定的图像模式(例如，按照比率确定的颜色)，在ui屏幕的地图区21中显示按照各个图像数据的图像捕捉位置布置的样本位置标记350。
[0406]
例如，在如图10和13中图解所示，勾选比率显示复选框25从而进行比率显示的情况下，在地图区21上显示表示样本位置的样本位置图像，并且取决于对于包含图像捕捉范围的区域计算的林分率，用不同的颜色显示各个样本位置图像。
[0407]
从而，用户(例如，农场的工作人员)可以明确并且容易地知道在农田300中的各个样本位置附近的发芽和生长的状态。这是对重新种植的判定极为有用的信息。
[0408]
注意在上述例子中，样本位置图像是圆形样本位置标记350，并且颜色随林分率而不同，不过，标记形状可以随林分率而不同，比如正方形、三角形或圆形。此外，即使是相同的标记形状，亮度也可以随林分率而不同。当然，可以采用其中颜色、亮度和形状按照林分率而复合地不同的图像模式。
[0409]
在上述例子中，按照林分率分成3个阶段显示样本位置图像，不过可以分成2个阶段或4个以上的阶段，以不同的图像模式显示各个样本位置图像。
[0410]
尽管作为与农作物的生长相关的比率，描述了林分率的例子，不过比率的例子不限于此。例如，可以考虑与农作物的种类、生长环境、种植环境等相应的各种比率计算，比如开花率、成长率和阳叶率(阳光照射的叶子的面积的比例)等，以及表现各种比率计算的显示模式。
[0411]
注意，农田300可以不仅是室外农田的耕地，而且可以是诸如水培栽培或大棚栽培之类的用地，并且按照实施例的技术可以用于呈现与在各种地方生长的农作物有关的信息。
[0412]
此外，除了农作物之外，按照实施例的技术也可以用于例如与果树、杂草等的生长有关的感测结果的呈现。于是，本技术也可以应用于对于森林、空地等的遥感。
[0413]
感测数据的例子是通过成像设备220捕捉的图像数据，不过当然不限于此，可以设想各种传感器的检测数据，比如热传感器的检测数据和超声波传感器的检测数据。
[0414]
此外，按照实施例的技术不仅可以应用于植物，而且可以应用于农田300等的土壤
质量的感测等。
[0415]
在实施例中，给出了其中林分率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的种植指令数之比的例子。
[0416]
在作为指令比率地图351，存在与农田300中的各个地方的每英亩的种植指令数有关的信息的情况下，可以获得每单位面积的林分数相对于每单位面积的种植指令数的比率，作为与农作物的生长有关的比率。
[0417]
通过将其用作林分率，可以在ui屏幕上检查在农田300的各个地方的相对于农场工作人员的初始目标的发芽率或生长率。
[0418]
在实施例中，给出了其中林分率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的实际结果种植数之比的例子。
[0419]
在作为实际结果比率地图，存在农田300中的各个地方的每英亩的实际结果种植数的信息的情况下，可以获得每单位面积的林分数相对于每单位面积的实际结果种植数的比率，作为与农作物的生长有关的比率。
[0420]
通过将其用作林分率，可以在ui屏幕上检查在农田300的各个地方的相对于实际结果种植数的发芽率或生长率。
[0421]
在实施例中，描述了其中可以选择林分率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的种植指令数之比，还是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的实际结果种植数之比的例子。
[0422]
即，可以选择比率的基准值是按照指令比率地图351的种植指令数，还是按照实际结果比率地图352的实际结果种植数。
[0423]
用户可以选择指令比率地图351和实际结果比率地图352，并将它们显示在地图区21中(参见图7和8)，或者将它们用作比率计算的基准。即，可以按照用户的目的选择要计算的比率的基准。
[0424]
在实施例中，描述了其中ui控制单元6进行控制，以在地图区21中，与样本位置标记350一起显示呈现用于计算农田300中的林分率的值的差异的比率地图图像的例子。
[0425]
例如，如图12和13中图解所示，通过连同指令比率地图351或实际结果比率地图352一起显示样本位置标记350，用户可以在识别由比率地图指示的各个地区的同时，通过样本位置标记350检查种群状态和林分率状态。于是，呈现使得易于掌握在农田300的各个地方的生长状况的信息。
[0426]
在实施例中，描述了其中ui控制单元6进行控制，以在地图区21中显示网格355，作为定义通过分割农田300而获得的各个区域的区域定义图像。
[0427]
例如，如在图18、20和21中图解所示，显示格子图案状的网格355作为区域定义图像。从而，通过分割农田300而获得的各个区域作为由网格隔开的范围(网格方块)被呈现给用户。
[0428]
注意在上述例子中，区域定义图像是网格图案图像(网格状图像)，正方形的区域被定义为网格的方块，不过，区域定义图像可以是其中区域被定义为具有三角形、矩形、五角形以上的多边形，或者曲线形状的图像。
[0429]
在实施例中，描述了其中ui控制单元6进行控制，从而以按照对于各个区域计算的
比率确定的图像模式，显示由网格355指示的各个区域的例子。
[0430]
例如，如图18、20、21等中图解所示，网格355的各个方块(即，各个区域)用与对于该区域计算的比率对应的颜色显示。从而，用户可以明确且容易地知道各个区域的发芽等的状态。这是在考虑进行重新种植的位置时极其有用的信息。即，用户可以使用网格355来构思重新种植的概念。
[0431]
注意，作为网格355的图像模式，由方块指示的各个区域取决于比率具有不同的颜色，不过，图像模式不限于取决于颜色呈现比率的图像模式。例如，可以想到使方块或轮廓线的亮度不同，或者使方块的轮廓线的类型或颜色不同。
[0432]
在上面的例子中，方块的颜色是按照比率分成3个阶段显示的，不过可以分成2个阶段或4个以上的阶段，以不同的图像模式显示各个区域。
[0433]
在实施例中，描述了其中计算单元5通过插值计算，计算由网格355指示的各个区域的比率的例子，所述插值计算使用关于与该区域相关的图像数据的与农作物的生长相关的比率(参见图34)。
[0434]
当按照林分率，利用颜色编码显示作为区域定义图像的网格355时，例如，各个区域的生长状况一目了然，并且使用关于相关样本(诸如图像数据之类的感测数据)的比率，可以获得林分率。从而，即使各个样本的图像捕捉区域和通过网格355分割设定的区域不完全匹配，对于网格355指示的各个区域，也可以进行精确的比率表示。
[0435]
此外，据此，作为各个样本的图像数据可以是通过离散地捕捉农田300内部的图像而获得的图像数据。即，由于不必在整个农田300内进行图像捕捉，离散的图像捕捉就足够了，因此可以减少飞行时的处理负荷，通过减少图像数据(样本)的数量来减少数据量，以及通过这些减少来提高处理的效率。
[0436]
在实施例中，描述了其中在插值计算中参考林分率的与作为计算对象的一个区域相关的感测数据是通过从所述一个区域的中心点起在预定距离以内捕捉图像而获得的图像数据的例子(参见图35a)。
[0437]
网格355的方块所指示的各个区域的林分率是通过根据从该区域的中心点起在预定距离d1内的所有样本位置图像的林分率，进行插值计算来计算的，从而可以计算精确的林分率。
[0438]
在实施例中，描述了其中在插值计算中参考林分率的与作为计算对象的一个区域相关的感测数据是按图像捕捉区更靠近所述一个区域的中心点的顺序的预定数量的图像数据的例子(参见图35b)。
[0439]
通过根据从区域的中心点起按顺序的预定数量的样本的林分率进行插值计算来计算，可以高精度地计算由网格355的方块指示的各个区域的林分率。此外，在这种情况下，总是可以确保用于计算的预定数量的样本。
[0440]
在实施例中，描述了其中计算单元5通过在与作为计算对象的一个区域相关的感测数据(图像数据)中，对关于通过捕捉具有与所述一个区域相同的种植指令数或实际结果种植数的地区的图像而获得的感测数据(图像数据)的比率加权，进行插值计算的例子(参见图35c)。
[0441]
由于通过捕捉其中种植指令数或实际结果种植数相同的地区的图像而获得的图像数据的条件近似于用于计算比率的区域的条件，因此预计关于该图像数据的比率接近该
区域的比率。于是，通过进行加权，可以使区域的比率计算更精确。
[0442]
在实施例中，描述了其中ui控制单元6进行用于进行网格355的设定操作的界面控制的例子。
[0443]
例如，呈现图19的设定对话框33，使得用户可以指定作为区域定义图像的网格355的方块的一边的尺寸。从而，可以按照用户的便利性设定区域，并且可以显示适合于重新种植计划的网格355。
[0444]
在实施例中，描述了其中ui控制单元6进行界面控制，以进行对于由网格355定义的各个区域，指定重新种植候选区域的操作的例子。
[0445]
例如，如参考图23～26所述，通过指定网格355的方块或者指定范围，可以设定候选的重新种植候选区域。
[0446]
在检查对于各个区域通过颜色等的比率呈现的同时，用户可以选择重新种植位置，可以实现适合于重新种植概念的界面。
[0447]
在实施例中，描述了其中ui控制单元6进行界面控制，以进行对于由网格355定义的各个区域，指定重新种植候选区域的操作，并响应指定重新种植候选区域的操作，进行控制以呈现关于重新种植的成本信息的例子。
[0448]
例如，如参考图23～26所述，当考虑重新种植候选区域时进行成本显示。从而，用户可以在参考成本的同时，考虑重新种植的范围和执行或不执行。信息处理设备1可以向用户提供在考虑重新种植时极其有用的信息。
[0449]
在实施例中，描述了其中ui控制单元6进行界面控制，以使得能够将由网格355定义的各个区域单独指定为重新种植候选区域的例子。
[0450]
例如，如参考图23和24所述，通过指定网格355的方块，可以选择进行重新种植的区域，这适合于考虑进行重新种植的范围的作业。
[0451]
在实施例中，描述了其中ui控制单元6进行界面控制，以使得能够在网格355的图像上通过范围指定操作，将多个区域指定为重新种植候选区域的例子。
[0452]
例如，通过如参考图26所述进行范围指定，可以容易地指定进行重新种植的多个区域。
[0453]
按照实施例的信息处理设备1包括文件生成单元9，文件生成单元9响应网格355中的重新种植执行区域的确定，生成重新种植指令文件(参见图32中的步骤s290)。
[0454]
从而，生成包括要传送到拖拉机270的roi的文件数据。即，自动生成用于执行在ui屏幕上使用网格355计划的重新种植的控制文件。
[0455]
注意，尽管图32的步骤s292中的文件输出是对于拖拉机270的输出，不过也可以想到生成用于飞行物200的重新飞行的指令文件，并将该指令文件作为控制数据传送到飞行物200。
[0456]
例如，本技术也可以适用于再次对被确定为重新种植候选区域的区域进行成像，以核实状况的情况。
[0457]
在第二实施例中，描述了其中ui控制单元6进行控制，以对于网格355所指示的各个区域，呈现是否要进行重新种植的判定结果的例子。即，描述了其中显示重新种植的推荐区域360的例子。
[0458]
例如，如参考图36和37所述，进行明确地指示推荐进行重新种植的区域的显示。这
充当用户判定重新种植的执行和选择区域的指南，并且还使用户易于判定重新种植的执行和选择区域。
[0459]
在实施例中，描述了其中成像设备220搭载在能够被无线操作或自动操作的飞行物200上的例子。
[0460]
能够被无线操作或自动操作的飞行物200的例子包括所谓的无人机、小型无线操纵固定翼飞机和小型无线操纵直升机。
[0461]
按照实施例的程序是使信息处理设备1执行以下处理的程序：根据通过捕捉农田300的图像而获得的图像数据，计算与农作物的生长相关的比率(林分率等)的处理，和以按照根据各个图像数据计算的比率确定的图像模式，在ui屏幕的地图区21中显示按照各个图像数据的图像捕捉位置布置的样本位置标记350的控制处理。
[0462]
即，该程序使信息处理设备执行参考图27～34和36描述的处理。
[0463]
这样的程序便利按照本实施例的信息处理设备1的实现。
[0464]
然后，这样的程序可以预先存储在内置于诸如计算机设备之类的设备中的记录介质、具有cpu的微计算机中的rom等中。或者，所述程序可以临时或永久地存储在诸如半导体存储器、存储卡、光盘、磁光盘或磁盘之类的可拆卸记录介质中。这样的可拆卸记录介质也可以作为所谓的套装软件来提供。
[0465]
此外，这样的程序可以从可拆卸记录介质安装到个人计算机等中，或者可以经由诸如lan或因特网之类的网络从下载站点下载。
[0466]
注意，记载在本说明书中的效果仅仅是例子，并不受限制，可以提供其他效果。
[0467]
注意，本技术可以采用如下构成。
[0468]
(1)一种信息处理设备，包括：
[0469]
计算单元，所述计算单元根据感测数据计算与植物的生长相关的比率；和
[0470]
用户界面控制单元，所述用户界面控制单元进行控制，从而以按照根据各个感测数据计算的比率确定的图像模式，在用户界面屏幕的地图区中显示按照各个感测数据的感测位置布置的样本位置图像。
[0471]
(2)按照上述(1)所述的信息处理设备，其中
[0472]
所述感测数据是通过捕捉农田的图像而获得的图像数据，并且
[0473]
所述比率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的种植指令数之比。
[0474]
(3)按照上述(1)所述的信息处理设备，其中
[0475]
所述感测数据是通过捕捉农田的图像而获得的图像数据，并且
[0476]
所述比率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的实际结果种植数之比。
[0477]
(4)按照上述(1)所述的信息处理设备，其中
[0478]
所述感测数据是通过捕捉农田的图像而获得的图像数据，并且
[0479]
所述比率是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的种植指令数之比，还是根据图像数据求出的每单位面积的农作物数与相对于图像数据的图像捕捉区的每单位面积的实际结果种植数之比是可以选择的。
[0480]
(5)按照上述(1)～(4)任意之一所述的信息处理设备，其中
[0481]
所述用户界面控制单元
[0482]
进行控制，以在所述地图区中与所述样本位置图像一起显示呈现用于计算农田中的所述比率的值的差异的比率地图图像。
[0483]
(6)按照上述(1)～(5)任意之一所述的信息处理设备，其中
[0484]
所述用户界面控制单元
[0485]
进行控制，以在所述地图区中显示定义通过分割农田而获得的各个区域的区域定义图像。
[0486]
(7)按照上述(6)所述的信息处理设备，其中
[0487]
所述用户界面控制单元
[0488]
进行控制，从而以按照对于各个区域计算的比率确定的图像模式，显示由所述区域定义图像指示的各个区域。
[0489]
(8)按照上述(7)所述的信息处理设备，其中
[0490]
所述计算单元
[0491]
通过插值计算，计算由所述区域定义图像指示的各个区域的比率，所述插值计算使用关于与该区域相关的感测数据的与农作物的生长相关的比率。
[0492]
(9)按照上述(8)所述的信息处理设备，其中
[0493]
在所述插值计算中参考与农作物的生长相关的比率的与一个区域相关的感测数据是通过从所述一个区域的中心点起在预定距离以内进行感测而获得的感测数据。
[0494]
(10)按照上述(8)所述的信息处理设备，其中
[0495]
在所述插值计算中参考与农作物的生长相关的比率的与一个区域相关的感测数据是按图像捕捉区更靠近所述一个区域的中心点的顺序的预定数量的感测数据。
[0496]
(11)按照上述(8)～(10)任意之一所述的信息处理设备，其中
[0497]
所述计算单元通过在与一个区域相关的感测数据中对关于通过感测具有与所述一个区域相同的种植指令数或实际结果种植数的地区而获得的感测数据的比率进行加权，来进行所述插值计算。
[0498]
(12)按照上述(6)～(11)任意之一所述的信息处理设备，其中
[0499]
所述用户界面控制单元
[0500]
进行用于进行所述区域定义图像的设定操作的界面控制。
[0501]
(13)按照上述(6)～(12)任意之一所述的信息处理设备，其中
[0502]
所述用户界面控制单元
[0503]
进行界面控制，以进行对于由所述区域定义图像定义的各个区域，指定重新种植候选区域的操作。
[0504]
(14)按照上述(13)所述的信息处理设备，其中
[0505]
所述用户界面控制单元
[0506]
进行界面控制，以进行对于由所述区域定义图像定义的各个区域，指定重新种植候选区域的操作，并响应于指定重新种植候选区域的操作，进行控制以呈现关于重新种植的成本信息。
[0507]
(15)按照上述(13)或(14)所述的信息处理设备，其中
[0508]
所述用户界面控制单元
[0509]
进行界面控制，以使得能够将由所述区域定义图像定义的各个区域单独指定为重新种植候选区域。
[0510]
(16)按照上述(13)～(15)任意之一所述的信息处理设备，其中
[0511]
所述用户界面控制单元
[0512]
进行界面控制，以使得能够在所述区域定义图像上通过范围指定操作，将多个区域指定为重新种植候选区域。
[0513]
(17)按照上述(6)～(16)任意之一所述的信息处理设备，还包括
[0514]
文件生成单元，所述文件生成单元响应于所述区域定义图像中的重新种植执行区域的确定，生成重新种植指令文件。
[0515]
(18)按照上述(6)～(17)任意之一所述的信息处理设备，其中
[0516]
所述用户界面控制单元
[0517]
进行控制，以呈现对于所述区域定义图像所指示的各个区域，是否要进行重新种植的判定结果。
[0518]
(19)一种信息处理方法，包括：
[0519]
根据感测数据计算与植物的生长相关的比率；和
[0520]
进行控制，从而以按照根据各个感测数据计算的比率确定的图像模式，在用户界面屏幕的地图区中显示按照各个感测数据的感测位置布置的样本位置图像。
[0521]
(20)一种程序，所述程序使信息处理设备执行：
[0522]
根据感测数据计算与植物的生长相关的比率的处理；和
[0523]
以按照根据各个感测数据计算的比率确定的图像模式，在用户界面屏幕的地图区中显示按照各个感测数据的感测位置布置的样本位置图像的控制处理。
[0524]
附图标记列表
[0525]
1 信息处理设备
[0526]
2 图像获取单元
[0527]
5 计算单元
[0528]
6 ui控制单元
[0529]
7 记录控制单元
[0530]
8 通信控制单元
[0531]
9 文件生成单元
[0532]
21 地图区
[0533]
22 地图选择部
[0534]
23 地图显示复选框
[0535]
24 计数显示复选框
[0536]
25 比率显示复选框
[0537]
26 网格显示复选框
[0538]
27 日期和时间选择部
[0539]
28 放大和缩小按钮
[0540]
30 网格生成按钮
[0541]
31 比率计算按钮
[0542]
32 roi生成按钮
[0543]
35 种群显示部
[0544]
36 林分率显示部
[0545]
37 样本图像显示部
[0546]
51 cpu
[0547]
71 计算按钮
[0548]
72 计划成本显示部
[0549]
73 选择面积显示部
[0550]
74 平均种群显示部
[0551]
75 平均林分率显示部
[0552]
76 重新种植成本显示部
[0553]
200 飞行物
[0554]
220 成像设备
[0555]
270 拖拉机
[0556]
300 农田
[0557]
350 样本位置标记
[0558]
351 指令比率地图
[0559]
352 实际结果比率地图
[0560]
355 网格
[0561]
360 推荐区域