信息处理装置、信息处理方法、程序和感测系统与流程

信息处理装置、信息处理方法、程序和感测系统
1.相关申请的交叉引用
2.本技术要求2019年7月3日提交的日本优先权专利申请jp2019-124764的权益，其全部内容通过引用并入本文。
技术领域
3.本技术涉及信息处理装置、信息处理方法、程序和感测系统，特别地，涉及适合于生成植被状态等的测量结果的技术。


背景技术：

4.例如，已经做出了很多努力来通过使用安装在小型飞行体(如无人机)中的成像装置，在飞行体在农田上空飞行时对植物的植被状态进行成像，来遥感植被状态。
5.ptl 1公开了一种通过对农田成像来执行遥感的技术。
6.引文列表
7.专利文献
8.ptl 1
9.日本专利号5162890


技术实现要素：

10.技术问题
11.除了基于可见光(r(红色)、g(绿色)和b(蓝色))测量的形状测量之外，这种遥感还允许使用各种光波长和方法测量对象的物理属性、生理状态等。然而，可安装在小飞行体中的感测设备通常在尺寸、重量等方面受到限制。
12.例如，可以获取大量波长并执行分量分析等的超谱相机通常可能需要配置为获取二维图像的扫描机构，并且尺寸较大。因此，超谱相机很难安装在小尺寸的无人机或类似设备上。
13.另一方面，为了使用人造卫星进行感测，安装了能够执行高级感测的先进设备的人造卫星正在运行。然而，就空间分辨率而言，这种感测是不够的。
14.由于在一个空间分辨率单位中混合了各种对象，低空间分辨率不仅排除了形状的确定，而且还妨碍了仅对待检查对象的测量。
15.为了覆盖低空间分辨率，特定对象的测量值是使用包含关于测量对象形式的信息的模型(例如，将“形状”与“特征/环境响应”关联的模型等，具体而言，例如辐射传输特性模型)基于逆模型计算(逆计算)确定的。然而，在现实中，测量对象和模型之间的形状等的差异使得精确测量变得困难。
16.因此，期望提供一种系统以及用于该系统的信息处理装置，该系统能够在基于使用例如人造卫星的高性能传感器的遥感中获得更精确的测量结果。
17.对问题的解决方案
18.根据本技术的一个实施例的信息处理装置包括宏观测量分析计算部件，被配置为计算来自宏观测量部件的检测数据，宏观测量部件适于以第一空间分辨率对测量对象的第一测量范围进行感测；微观测量分析计算部件，被配置为计算来自微观测量部件的检测数据，微观测量部件适于以第二空间分辨率对第二测量范围进行感测，所述第二空间分辨率高于所述第一空间分辨率，第二测量范围被包括在测量对象的第一测量范围中；以及逆模型计算部件，被配置为基于由微观测量分析计算部件确定的来自微观测量部件的检测数据，获取用于使用来自宏观测量分析计算部件的计算结果的逆模型计算的模型参数。
19.用于逆计算的模型参数基于第二空间分解的测量结果生成。
20.另外，在根据上述本技术的实施例的信息处理装置中，逆模型计算部件可以使用基于由微观测量分析计算部件确定的来自微观测量部件的检测数据的模型参数，作为使用来自宏观测量分析计算部件的计算结果的逆模型计算中的逆模型的参数。
21.通过使用能够实现高性能感测的宏观测量，可以在逆模型计算的基础上实现高级测量。在这种情况下，基于实际测量并通过高空间分辨率的感测获得的参数用作逆模型的参数。
22.在根据上述本技术的实施例的信息处理装置中，逆模型计算部件可以使用基于第二测量范围的检测数据的模型参数来按第一空间分辨率的单位确定计算结果。
23.逆模型计算部件确定例如特征或环境响应的形式的计算结果。在这种情况下，使用与微观测量部件相关的第二测量范围的模型参数，以与宏观测量部件相关的第一空间分辨率的单位确定计算结果。
24.在根据上述本技术的实施例的信息处理装置中，逆模型计算部件可以按第一空间分辨率的单位确定作为计算结果的测量对象的特征或环境响应。
25.特征是指测量对象的静态形状或特性。环境响应是指测量对象的动态形状或特性。
26.在根据上述本技术的实施例的信息处理装置中，宏观测量部件可以在距离测量对象比微观测量部件更长的距离处进行感测。
27.与微观测量部件相比，宏观测量部件在距离测量对象更长距离处在更宽测量范围上执行测量。另一方面，与宏观测量部件相比，微观测量部件在距离测量对象较短的距离处在相对窄的测量范围内执行测量。
28.在根据上述本技术的实施例的信息处理装置中，逆模型计算部件可以获取进行聚类的每个测量区域的代表性个体的模型参数，为每个聚类测量区域切换模型参数，并将所得到的模型参数应用于逆模型。
29.通过计算来自微观测量部件的检测数据来确定由聚类产生的每个测量区域的模型参数，逆模型计算部件可以为由聚类产生的各个测量区域使用不同的模型参数。
30.在根据上述本技术的实施例的信息处理装置中，可以基于指定区域的用户输入进行所述聚类。
31.例如，农田被分割为例如种植不同作物的区域。例如，诸如农民之类的用户可以输入这样的信息。
32.在根据上述本技术的实施例的信息处理装置中，可以基于来自宏观测量部件的检测数据或来自微观测量部件的检测数据进行所述聚类。
33.例如，使用来自宏观测量部件或微观测量部件的检测数据允许彼此区分具有明显不同形状或状态的区域，从而自动执行聚类计算。
34.在根据上述本技术的实施例的信息处理装置中，可以基于指定区域的用户输入以及来自宏观测量部件的检测数据或来自微观测量部件的检测数据进行所述聚类。
35.即，执行反映手动输入和自动辨别两者的聚类计算。
36.在根据上述本技术的实施例的信息处理装置中，模型参数可以包括植物的三维结构、植物高度、平均叶子角度(平均叶子倾角)、植物覆盖率、lai、叶绿素浓度、土壤的谱特性或太阳叶子比率中的任一个。
37.请注意，lai(叶子面积指数)是表示植物叶子数量的叶子面积指数，因此值越大表示叶子越多。
38.在根据上述本技术实施例的信息处理装置中，微观测量部件可以包括作为微观测量传感器的可见光图像传感器、立体相机、用于激光图像检测和测距的传感器、偏振传感器或tof(飞行时间)传感器中的任一个。
39.请注意，用于激光图像检测和测距的传感器称为光雷达(光检测和测距)。
40.在根据上述本技术的实施例的信息处理装置中，宏观测量部件可以包括作为宏观测量传感器的多谱相机、超谱相机、ftir(傅里叶变换红外光谱仪)或红外传感器中的任一个。
41.根据上述本技术的实施例的信息处理装置还可以包括输出部件，其被配置为基于来自逆模型计算部件的计算结果生成和输出输出图像数据。
42.也就是说，信息处理装置允许将关于来自逆模型计算部件的计算结果的信息成像并呈现给用户。
43.在根据上述本技术的实施例的信息处理装置中，输出部件可以生成从来自逆模型计算部件的计算结果的颜色映射得到的输出图像数据。
44.在针对多个区域中的每一个获得来自逆模型计算部件的计算结果的情况下，生成呈现给用户的图像，使得向每个区域分配不同的颜色。
45.在根据上述本技术的实施例的信息处理装置中，输出部件可以生成根据从来自逆模型计算部件的计算结果的颜色映射得到的图像与另一图像的合成而得到的输出图像数据。
46.通过例如叠加或盖写来合成将不同颜色分配给每个区域的图像和另一图像。
47.在根据上述本技术的实施例的信息处理装置中，宏观测量部件可以安装在人造卫星中。
48.宏观测量部件安装在人造卫星中，以从天空中的远处测量测量对象，如农田。
49.在根据上述本技术的实施例的信息处理装置中，微观测量部件可以安装在能够被无线电控制或自动控制的飞行体中。
50.能够无线电控制或自动控制的飞行体的示例包括所谓的无人机、小型无线电控制固定翼飞机、小型无线电控制直升机等。
51.根据本技术的另一实施例的信息处理方法包括：由信息处理装置执行计算来自宏观测量部件的检测数据的宏观测量分析处理，宏观测量部件被配置成以第一空间分辨率对测量对象的第一测量范围进行感测；由信息处理装置执行计算来自微观测量部件的检测数
据的微观测量分析处理，微观测量部件被配置成以第二空间分辨率对第二测量范围进行感测，所述第二空间分辨率高于所述第一空间分辨率，第二测量范围被包括在测量对象的第一测量范围中；以及由信息处理装置执行基于在微观测量分析处理中确定的来自微观测量部件的检测数据，获取用于使用在宏观测量分析处理中的计算结果的逆模型计算的模型参数的逆模型计算处理。
52.因此，信息处理装置能够针对测量对象生成由宏观测量和微观测量的组合产生的先进且准确的测量结果信息。
53.根据本技术的另一实施例的程序是使信息处理装置执行上述方法的程序。这有助于实现产生高级测量结果的计算机装置。
54.根据本技术的另一实施例的感测系统包括：宏观测量部件，被配置为以第一空间分辨率对测量对象的第一测量范围进行感测；微观测量部件，被配置为以第二空间分辨率对第二测量范围进行感测，所述第二空间分辨率高于所述第一空间分辨率，第二测量范围被包括在测量对象的第一测量范围中；以及上述信息处理装置。
55.因此，可以构建执行宏观测量和微观测量并进一步使用这些测量的结果来生成测量结果的系统。
附图说明
56.图1是根据本技术实施例的感测系统中的宏观测量部件和微观测量部件的说明图。
57.图2是根据实施例的农田遥感示例的说明图。
58.图3是根据实施例的宏观测量部件和微观测量部件的测量的说明图。
59.图4示出了根据本实施例的宏观测量部件和微观测量部件的测量范围和分辨率的图。
60.图5示出了逆计算导致错误结果的情况的图。
61.图6是根据实施例的聚类的描述图。
62.图7是根据实施例的信息处理装置的硬件配置的框图。
63.图8是根据实施例的信息处理装置的功能配置的框图。
64.图9是根据实施例的处理示例的流程图。
65.图10是根据实施例的微观测量分析计算处理的流程图。
66.图11是根据实施例的用于微观测量分析计算的图像的说明图。
67.图12是根据实施例的聚类的流程图。
68.图13示出了根据实施例的聚类的图。
69.图14是根据实施例的逆模型计算的流程图。
70.图15示出了用于根据实施例的逆模型计算的宏观测量和微观测量部件模型参数的图。
71.图16示出了根据实施例的使用颜色映射获得的输出图像的图。
72.图17示出了根据实施例的颜色映射图像和另一图像的合成的图。
73.图18示出了根据实施例的颜色映射图像和另一图像的合成的图。
具体实施方式
74.将按以下顺序描述实施例。
75.《1.感测系统的配置》
76.《2.信息处理装置的配置》
77.《3.处理示例》
78.《4.各种示例》
79.《5.结论和修改示例》
80.《1.感测系统的配置》
81.首先，将描述根据实施例的感测系统。
82.图1示出了包括在感测系统中的宏观测量部件2和微观测量部件3。
83.微观测量部件3在相对靠近测量对象4的位置处执行感测。执行一个感测单位的测量范围是被表示为微观测量范围rz3的相对窄的范围。注意，这里使用的一个单位例如在相机的情况下指的是捕获一帧图像的范围，但是该单位可以取决于传感器类型而变化。
84.相对照，宏观测量部件2在比微观测量部件3更远离测量对象4的位置处执行感测。执行一个感测单位的测量范围被表示为比微观测量范围rz3宽的宏观测量范围rz2。然而，由宏观测量部件2执行一个感测单位的测量范围可以与微观测量范围rz3相同。
85.在本实施例中，微观测量范围rz3与宏观测量范围rz2相同或更窄。也就是说，测量对象4中的微观测量范围rz3的区域也被宏观测量范围rz2覆盖。换句话说，微观测量范围rz3是在其内执行微观测量部件3的微观测量和宏观测量部件2的宏观测量两者的范围。
86.如上所述使用宏观测量部件2和微观测量部件3的感测系统的示例是感测例如农田300的植被状态的系统，如图2所示。
87.图2示出了农田300的状态。最近，已经做出了很多努力来使用安装在小型飞行体200(例如，如图2所示的无人机)中的成像装置250遥感植被状态。
88.飞行体200可通过例如由操作员无线电控制或自动控制而在农田300上方飞行。
89.成像装置250被设置在飞行体200中以成像例如飞行体200下方的区域。当飞行体200沿着预定路线在农田300上方飞行时，成像装置250例如定期地捕获静止图像。
90.如上所述安装在飞行体200中的成像装置250用作图1中的微观测量部件3。由成像装置250捕获的图像被用作微观测量的检测数据。成像装置250的成像范围对应于微观测量范围rz3。
91.此外，图2示出了位于天空中的人造卫星210。成像装置220安装在人造卫星210中，并且能够感测地球的表面侧。
92.成像装置220可以感测(成像)农田300。即，成像装置220用作宏观测量部件2。由成像装置220捕获的图像被用作宏观测量的检测数据。成像装置220的成像范围对应于宏观测量范围rz2。
93.用作安装在飞行体200中的微观测量部件3的成像装置250(换句话说，特定微观测量传感器)被假定为可见光图像传感器(以r(红色)、g(绿色)和b(蓝色)成像可见光的图像传感器)、立体相机、光雷达(用于激光图像检测和测距的传感器)、偏振传感器、tof传感器、nir(近红外)成像相机等。
94.此外，微观测量传感器可以是在多个波段中执行成像的多谱相机，例如捕获nir图
像和r(红色)图像，并且能够基于获得的图像计算ndvi(标准化差异植被指数)，只要传感器具有能够可操作地将传感器安装在飞行体200中的设备尺寸即可。ndvi是表示植被分布状况和活动性的指标。
95.上述传感器期望适于分析例如测量对象的特征、环境响应、环境状态(范围、分布等)等。请注意，特征是测量对象的静态形状和特性。环境响应是测量对象的动态形状和特性。环境状态是测量对象所在环境的状态，包括测量对象所在范围、测量对象分布或环境特性。
96.此外，所述传感器期望尺寸相对小且重量轻，并且容易安装在飞行体200中。
97.另一方面，用作安装在人造卫星210中的宏观测量部件2的成像装置220(换句话说，特定宏观测量传感器)可以是在多个波段中捕获图像(例如，nir图像和r图像)的多谱相机、超谱相机、ftir(傅里叶变换红外光谱)、红外传感器等。在这种情况下，接受相对大型的感测设备，并假设能够进行精确的感测。
98.这些宏观测量传感器是适于分析各种物理属性值(例如，关于光合作用等的信息)的传感器。
99.此外，由于设备尺寸、重量等原因，这些传感器难以安装在小型飞行体200中。然而，在本示例中的感测系统中，这样的传感器安装在人造卫星210中。
100.另外，标签信息被附加到由成像装置220和250捕获和获得的图像。标签信息包括成像日期和时间信息、以gps(全球定位系统)数据的形式的位置信息(纬度/经度信息)、成像装置信息(关于相机的个体标识信息和型号信息等)、关于每个图像数据的信息(例如图像大小、波长和成像参数等信息)等。
101.注意，位置信息以及成像日期和时间信息也被用作将来自成像装置220的图像(检测数据)与来自成像装置250的图像(检测数据)相关联的信息。
102.如上所述，由安装在飞行体200中的成像装置250和安装在人造卫星210中的成像装置220获得的图像数据和标签信息被发送到信息处理装置1。信息处理装置1使用图像数据和标签信息来生成使用农田300作为测量对象的分析信息。另外，信息处理装置1执行将分析结果作为图像呈现给用户的处理。
103.信息处理装置1被实现为例如pc(个人计算机)、fpga(现场可编程门阵列)、诸如智能电话或平板电脑之类的终端装置等。
104.注意，图1示出了与成像装置250分离的信息处理装置1，但是，例如，可以在包括成像装置250的单元中设置用作信息处理装置1的计算装置(微型计算机等)。
105.参考图3，将描述宏观测量部件2和微观测量部件3的作用。
106.宏观测量部件2在测量范围rz2内执行测量，并使用模型执行逆计算，以获得植被等的输出或测量结果。例如，通过使用准备好的模型来解释宏观测量值，可以从测量值的混合中获得正确的输出。
107.然而，如果用于逆模型计算的模型与实际测量对象之间存在差异，则无法获得准确的输出。特别地，植物和动物因生长而改变形状，或因品种而在形状方面显著不同，因此该模型常常不合适。
108.因此，代表性个体的测量值被用于更新模型。为此，使用来自微观测量部件的检测数据。
109.微观测量部件3可以测量每个待测量的个体。例如，图示了个体oba1、oba2、oba3
…
oban，并且微观测量部件3可以测量或确定每个个体的特征、环境响应和环境状态、基于特征、环境响应和环境状态的区域标识等。
110.来自微观测量部件3的检测数据被用于测量代表性个体的特征或环境响应，并且特征或环境响应被用于改变模型参数。然后，可以使用基于实际测量的模型进行逆模型计算。
111.使用感测系统的测量的主要目的是宏观趋势(平均、合计、分布等)，其可通过使用基于来自宏观测量部件2的检测数据的信息的模型逆计算来获得。在这种情况下，通过基于来自微观测量部件3的检测数据更新模型参数来确保测量精度。
112.图4a二维地示出了宏观测量范围rz2和微观测量范围rz3，并且还示出了宏观测量部件2和微观测量部件3的分辨率。
113.大单元格均表示宏观测量分辨率，而小单元格均表示微观测量分辨率。使用分辨率获得的信息对应于例如捕获图像的一个像素的信息。
114.即，安装在宏观测量部件2中的宏观测量传感器是具有与大单元格对应的分辨率的传感器，而安装在微观测量部件3中的微观测量传感器是具有与小单元格对应的分辨率的传感器。
115.例如，给定如虚线所示的测量对象，可以使用与由细线所示的小单元格对应的分辨率来确定测量对象的特征、环境响应、区域等，可以使用与由粗线所示的大单元格对应的分辨率来测量物理属性值等。
116.将描述需要这种感测系统的背景。
117.如上所述，最近频繁地执行使用诸如无人机之类的飞行体200的感测。这除了允许基于可见光(rgb)的测量来测量特征之外，还允许使用各种光波长和技术来测量对象的物理属性、生理状态等。然而，可安装在小飞行体200中的感测设备常常在尺寸、重量等方面受到限制。
118.获取大量波长并且能够执行分量分析等的超谱相机可能通常需要扫描机构以获取二维图像，并且尺寸较大。因此，除非飞行体很大，否则超谱相机很难安装。
119.此外，扫描可能需要一定的时间，还可能需要悬停，从而延长测量时间。扫描还常常妨碍利用飞行体200中的电池容量来测量大陆地。
120.此外，在扫描期间，飞行体200的可能振动可能降低测量精度。
121.此外，使用更高谱分辨率的ftir方案原则上涉及长度较大且难以安装在飞行体200中的装备。
122.为了精确感测，可以通过安装大型成像器或提供多次曝光来提高s/n(信噪比)。然而，大型成像器包括大型光学系统，并且不适合安装在飞行体200中。由于飞行体200的悬停，多次曝光导致测量时间延长，并且飞行体200的可能振动降低了精度。
123.另外，通常，飞行体200的壳体暴露于阳光下并且具有高于正常温度的温度。
124.在精确感测中，传感器保持低温，以使得能够降低热噪声。室内使用的一些传感器(例如分光光度计)通过使用珀耳帖元件等保持低温来保持精确。然而，珀耳帖元件消耗大量电力，因此不适合安装在电力有限的飞行体200中。
125.使用如空调中的压缩机的热泵型温度调节设备具有高功率效率，但在尺寸或重量
方面不适合于安装在飞行体200中。
126.另一方面，在卫星感测中，安装了使得能够进行先进感测的装备的人造卫星正在运行。然而，卫星感测在空间分辨率方面是不够的。
127.对于人造卫星210来说，安装超谱相机、ftir或大型成像器以及如上所述的低温控制等并不那么困难。
128.然而，由于在一个空间分辨率单位中混合了各种对象，低空间分辨率不仅排除了形状的确定，而且还妨碍了仅对要检查的对象的测量。特别地，在植被测量的示例中，不利地混合了土壤、阴影等。
129.更具体地说，在使用人造卫星210的遥感中，从远位置执行测量，因此，除了要测量的物体之外，在与测量仪器的空间分辨率相对应的一个像素中混合不同的物体。测量值根据像素中每个物体的比率进行加权，并被称为混素(mixel)(混合像素)。例如，当要测量植被时，测量植物和土壤的混合物，妨碍了确定植物本身的物理属性值(叶绿素浓度等)。
130.为了解决这一问题，提出了各种方法。
[0131]“savi(土壤调整植被指数)”是一种植被指数，用于校正土壤反射率引起的波动。当lai表示为“l”时，l＝0(等于ndvi)用于高lai，l＝1用于低lai。
[0132]
savi＝〔(nir-red)/(nir red l)〕
×
(1 l)
[0133]
然而，可能需要使用假设值作为lai的值，在lai可能随位置变化的情况下(如在农田中)无法进行精确校正。
[0134]
此外，影响遥感的不利影响不限于物体的二维比率。来自植物叶子的反射不是朗伯(lambertian)反射，并且受光源入射角、叶子角度依赖性和测量仪器角度的影响(这种影响通常称为brdf)。
[0135]
植物的三维形状导致阴影、群落中光束的多次反射等，从而使测量值波动。
[0136]
为了处理这样的复杂机制，使用描述反射率的角度依赖性的叶子辐射传输模型(示例：prosail模型)或包含阴影的群落的光学模型来模拟光学行为。
[0137]
即，为了覆盖卫星遥感的低空间分辨率并且应对影响测量的复杂因素，使用包括关于测量对象形式的信息的“模型(辐射传输特性模型等)”的逆计算被用于确定特定对象的测量值。
[0138]
然而，在测量对象的延伸和模型的形状之间没有差异的情况下(如在植被的情况下在热带雨林中)，这是合适的，但例如，在农田300的测量(勘察)中，形状本身要被测量，且不能被标识或正确测量。例如，特征等是未知的，因为，例如，作物在生长过程中形状发生变化，或者由于某种原因，作物无法适当地生长或即将死亡。
[0139]
例如，图5a示出了具有基本相同形状的植物个体被广泛地排列成线，并且例如，lai在宏观测量范围rz2内基本上是一致的。
[0140]
另一方面，图5b示出了其中种植具有大叶子(长得很大)的植物的区域h1和其中种植具有小叶子的植物的区域h2。图示的宏观测量范围rz2跨越区域h1和h2。在这种情况下，lai或植物高度随位置而变化。因此，宏观测量范围rz2和用于逆模型计算的模型之间可能存在较大差异。
[0141]
因此，在根据本实施例的感测系统中，由微观测量部件3进行的高分辨率测量包括对实际田地中的植物状态(lai、植物覆盖度和高度、叶子平均角度、叶绿素浓度等)、垄
(ridge)的安装状态等的测量，并利用实际物体的参数进行卫星感测的逆模型计算。这使得即使在测量对象具有变化的形状或状态或具有与由模型指示的标准形状不同的形状的情况下也可以进行测量。
[0142]
在特定示例中，基于来自微观测量部件3的检测数据，使用真实物体的参数执行逆模型计算。因此，即使在测量对象的形状和状态未知的情况下，也计算正确的sif(太阳诱导叶绿素荧光)，以获得有关光合作用速率的信息。
[0143]
模型参数假定为植物的三维结构、植物高度、平均叶子角度、植物覆盖度、lai、叶绿素浓度、土壤的谱特性、太阳叶子比率等。
[0144]
此外，根据本实施例的感测系统还包括聚类的思想。换句话说，感测系统包括将测量对象区域划分为聚类、测量每个聚类的代表性个体以及逐聚类地切换模型的聚类思想。
[0145]
图6示意性地示出了在特定区域h10和h20中的每一个中执行感测的情况。
[0146]
假设个体oba1，oba2，oba3
…
oban存在于h10区域中，且具有不同于个体oba1、oba2、oba3
…
oban的特征的特征的个体obb1、obb2、obb3
…
obbn存在于区域h20中。
[0147]
聚类处理用于将区域h10和h20识别为不同的聚类。
[0148]
此外，对于每个聚类，测量代表性个体以确定模型参数。
[0149]
不同的模型参数用于各自的聚类。
[0150]
即，在使用宏观测量部件2和微观测量部件3测量区域h10的情况下，使用基于相关聚类的代表性个体的模型参数执行逆模型计算。
[0151]
在使用宏观测量部件2和微观测量部件3测量区域h20的情况下，使用基于相关聚类的代表性个体的模型参数执行逆模型计算。
[0152]
以这种方式，对从聚类产生的各个区域使用不同的模型，以获得准确的测量结果。
[0153]
另外，在图4a和图4b中，用虚线示出了测量对象个体，但是在该图中，微观测量部件3覆盖了区域h1和h2两者。假设区域h1和h2包括例如如图5b所示的具有不同叶子大小(生长方式)的群体，作为不同植物等。
[0154]
同样在这种情况下，以下配置是可能的：执行逆模型计算，使得对于宏观测量范围rz2，基于区域h1的微观测量的模型被用于与区域h1相关的部分，并且基于区域h2的微观测量的模型被用于与区域h2相关的部分。图4c示意性地示出了用于逆模型计算的模型的切换。
[0155]
《2.信息处理装置的配置》
[0156]
将描述上述感测系统中的信息处理装置1，其从宏观测量部件2和微观测量部件3获取检测信息并执行诸如分析之类的处理。
[0157]
图7示出了信息处理装置1的硬件配置。信息处理装置1包括cpu(中央处理器)51、rom(只读存储器)52和ram(随机存取存储器)53。
[0158]
cpu 51根据存储在rom 52中的程序或从存储部件59加载到ram 53中的程序执行各种类型的处理。ram 53还适当地存储用于cpu 51执行各种类型的处理的数据等。
[0159]
cpu 51、rom 52和ram 53经由总线54连接在一起。输入/输出接口55也连接到总线54。
[0160]
输入/输出接口55可以连接到包括液晶面板、有机el(电致发光)面板等的显示部件56、包括键盘、鼠标等的输入部件57、扬声器58、存储部件59、通信部件60等。
[0161]
显示部件56可以与信息处理装置1集成，或者可以是与信息处理装置1分离的装备。
[0162]
显示部件56基于来自cpu 51的指令在显示屏上显示各种分析结果等。另外，基于来自cpu 51的指令，显示部件56显示各种操作菜单、图标、消息等，即，作为gui(图形用户界面)操作以提供显示。
[0163]
输入部件57表示使用信息处理装置1的用户所使用的输入设备。
[0164]
例如，输入部件57被假定为诸如键盘、鼠标、键、拨盘、触摸面板、触摸板或遥控器之类的各种操作器和操作设备中的任何一个。
[0165]
输入部件57检测用户的操作，并且由cpu 51解释与输入操作相对应的信号。
[0166]
存储部件59包括存储介质，例如hdd(硬盘驱动器)、固态存储器等。存储部件59存储例如从宏观测量部件2和微观测量部件3接收的检测数据和分析结果以及各种其他类型的信息。另外，存储部件59用于存储用于分析处理等的程序数据。
[0167]
通信部件60经由包括因特网的网络执行通信处理，并与外围部分中的装备通信。
[0168]
例如，通信部件60可以是与微观测量部件3(成像装置250)和宏观测量部件2(成像装置220)通信的通信设备。
[0169]
驱动器61也根据需要连接到输入/输出接口55，并且诸如存储器卡之类的存储设备6根据需要安装在输入/输出接口55中，以允许向存储设备6写入数据和从存储设备6读取数据。
[0170]
例如，从存储设备6读取的计算机程序安装在存储部件59中，并且根据需要，由cpu 51处理的数据存储在存储部件中。不用说，驱动器61可以是用于诸如磁盘、光盘或磁光盘之类的可移除存储介质的记录和再现驱动器。磁盘、光盘、磁光盘等也是存储设备6的模式。
[0171]
注意，根据本实施例的信息处理装置1不限于具有如图7所示的硬件配置的单一信息处理装置(计算机装置)1，并且可以将多个计算机装置配置成系统。多个计算机装置可以被配置成使用lan等的系统，或者通过利用因特网等的vpn(虚拟专用网络)等被布置在远程位置。该多个计算机装置可以包括通过云计算服务可用的计算机装置。
[0172]
另外，图7中的信息处理装置1可以实现为诸如台式或笔记本类型之类的个人计算机，或者诸如平板终端或智能电话之类的便携式终端。此外，诸如测量装置、电视装置、监视器装置、成像装置或用作信息处理装置1的设施管理装置之类的电子装备可以配备根据本实施例的信息处理装置1。
[0173]
例如，具有这种硬件配置的信息处理装置1包括cpu 51的计算功能、rom 52、ram 53和存储部件59的存储功能、通信部件60和驱动器61的数据获取功能以及显示部件56的输出功能等。已安装的软件功能提供如图8所示的功能配置。
[0174]
即，作为主要部件，信息处理装置1设置有图8所示的数据输入部件10、分析执行部件20以及数据保存和输出部件30。
[0175]
这些处理功能由cpu 51启动的软件实现。
[0176]
包括在软件中的程序从网络下载或从存储设备6(例如，可移除存储介质)读取，并安装在图7中的信息处理装置1中。或者，该程序可以预先存储在存储部件59等中。然后，cpu 51启动程序以激活如上所述的每个部件的功能。
[0177]
另外，使用例如ram 53中的存储区域或存储部件59中的存储区域来实现各种缓冲
器等的存储功能。
[0178]
另外，图8示出了作为信息处理装置1的外部装置的宏观测量部件2、微观测量部件3、网络5、存储设备6和操作输入部件7。
[0179]
如上所述，宏观测量部件2例如安装在人造卫星210中。宏观测量传感器2s是大型传感器，例如超谱相机或ftir，并且可以安装在人造卫星210中，但是难以安装在飞行体200中。这些传感器通常在可见光谱之外工作，主要用于测量物理属性。
[0180]
微观测量部件3安装在飞行体200中。微观测量传感器3s是诸如rgb相机或立体相机之类的小型传感器，并且易于安装在飞行体200中。一般地，微观测量传感器3s工作在可见光谱中，主要用于测量测量对象的特征和环境响应。
[0181]
网络5被假定为例如因特网、家庭网络、lan(局域网)、卫星通信网络或各种其他网络中的任何一个。
[0182]
如上所述，存储设备6主要被假定为可移除存储介质，例如存储器卡或盘状记录介质。
[0183]
操作输入部件7是用户可以通过其提供手动输入的设备，并且可以被认为是图7中的输入部件57。
[0184]
操作输入部件7可以与信息处理装置1集成，或者可以是与信息处理装置1分离的装置。
[0185]
信息处理装置1中的数据输入部件10对应于接受来自上述外部装置的数据输入的功能，并且包括传感器输入部件11和12以及程序和模型输入部件13。
[0186]
传感器输入部件11输入来自宏观测量部件2的宏观测量传感器2s的检测信息。例如，通过宏观测量部件2和图7中的通信部件60之间的通信，可以直接接收来自宏观测量传感器2s的检测数据。
[0187]
或者，可以通过通信部件60经由网络5接收来自宏观测量传感器2s的检测数据。
[0188]
此外，可以经由存储设备6获取来自宏观测量传感器2s的检测数据。
[0189]
传感器输入部件12输入来自微观测量部件3的微观测量传感器3s的检测信息。例如，可以通过微观测量部件3和通信部件60之间的通信直接接收来自微观测量传感器3s的检测数据，通过通信部件60经由网络5接收、经由存储设备6获取来自微观测量传感器3s的检测数据等。
[0190]
注意，诸如光源的光谱校正之类的处理可以在传感器输入部件11和12中进行。
[0191]
程序和模型输入部件13通过经由网络5从服务器下载程序或模型或从存储设备6读取程序或模型来获取合适的程序或模型。模型是指用于逆计算的模型参数。
[0192]
分析执行部件20包括宏观测量分析计算部件21、宏观测量分析值缓冲器22、微观测量分析计算部件23、微观测量分析值缓冲器24、位置映射部件25、逆模型计算程序和模型保持部件26(以下称为“保持部件26”)、逆模型计算部件27和聚类计算部件28。
[0193]
宏观测量分析计算部件21根据由传感器输入部件11获取的来自宏观测量传感器2s的检测数据，执行用于确定物质分量的量等的计算。
[0194]
例如，宏观测量分析计算部件21根据来自超谱相机或ftir的多波长数据，基于nirs(近红外光谱)和fld方法(夫琅和费线辨别)方法(太阳黑线：夫琅和费线)等，计算植被指数和sif(叶绿素荧光)。
[0195]
请注意，太阳暗线o2a的波长宽度约为1nm且较薄，因此使用诸如超谱相机或ftir之类的传感器的该感测通常是适合的。在本示例中的感测系统中，由于此类装备易于安装在人造卫星210中，因此宏观测量分析计算部件21基于来自宏观测量部件2的检测数据执行计算。
[0196]
宏观测量分析值缓冲器22临时保存由宏观测量分析计算部件21处理的数据。
[0197]
例如，宏观测量分析值缓冲器22保存由宏观测量分析计算部件21计算的sif、从宏观测量部件2通知的位置信息等。
[0198]
微观测量分析计算部件23执行用于从由传感器输入部件12获取的来自微观测量传感器3s的检测数据中获得适当信息的计算。
[0199]
例如，微观测量分析计算部件23计算lai、平均叶子角度、太阳叶子比率等。太阳叶子是指暴露在阳光下的叶子或叶子的一部分。
[0200]
微观测量分析值缓冲器24临时保存由微观测量分析计算部件23处理的数据。
[0201]
例如，微观测量分析值缓冲器24保存由微观测量分析计算部件23确定的关于lai、平均叶子角度、太阳叶子比率等的信息，以及从微观测量部件3通知的位置信息，并且进一步保存rgb图像、ndvi图像等。
[0202]
位置映射部件25执行用于从具有不同分辨率或成像单位(测量范围rz2和rz3)的一组图像中提取相同点的计算。例如，gps信息或正交镶嵌(orthomosaic)处理用于将由宏观测量分析计算部件21处理的信息与由微观测量分析计算部件23处理的信息对准。
[0203]
逆模型计算部件27是使用来自宏观测量分析计算部件21和微观测量分析计算部件23的计算结果执行逆模型计算的功能。
[0204]
即，逆模型计算部件27基于由微观测量分析计算部件23确定的来自微观测量部件3的检测数据生成模型参数。
[0205]
然后，逆模型计算部件27使用模型参数作为逆模型的参数，以使用来自宏观测量分析计算部件21的计算结果执行逆模型计算。
[0206]
注意，在基于来自微观测量部件3的检测数据生成模型参数之后，逆模型计算部件27可以将模型参数与关于日期、时间和位置的信息相关联，并且使得结果信息保存在预定存储部件中。日期、时间和位置指的是执行用于确定模型参数的原始微观测量的日期、时间和位置(例如，gps信息)。
[0207]
保持部件26保持由程序和模型输入部件13获取的逆模型计算程序和模型默认参数。逆模型计算部件27基于这些程序和模型执行逆模型计算。
[0208]
聚类计算部件28执行聚类计算。例如，聚类计算部件28基于通过操作输入部件7的用户输入，执行与将要测量的农田300等的到区域的分割相对应的聚类。例如，用户指定田间边界，跨越边界种植不同作物或处于不同发育阶段的相同作物。这允许用户执行可选的聚类分割。
[0209]
另外，聚类计算部件28可以经由网络5或经由存储设备6获取关于用于聚类的指示的信息。
[0210]
此外，聚类计算部件28可以基于从微观测量分析计算部件23获得的信息或从宏观测量分析计算部件21获得的信息来执行自动聚类。
[0211]
从微观测量分析计算部件23获得并用于聚类的信息可以是来自微观测量部件3的
检测数据，或者由微观测量分析计算部件23根据检测数据计算的lai、平均叶子角度、太阳叶子比率等。
[0212]
从宏观测量分析计算部件21获得并用于聚类的信息可以是来自宏观测量部件2的检测数据(多谱光谱信息等)，或者由宏观测量分析计算部件21根据检测数据计算的sif等。
[0213]
可以基于上述不同类型信息之间的差异来进行聚类分割。此外，假设执行图像纹理的分析、机器学习等。
[0214]
此外，在生理特征或环境响应以及形式或特征方面存在任何差别的情况下，该差别可用于聚类。
[0215]
另外，在手动输入和自动聚类确定的组合中，在用户指定区域并且用户指定的一个区域包括由宏观测量部件自动辨别的多个聚类的情况下，可以设定自动子分割的聚类。
[0216]
来自聚类计算部件28的聚类信息被提供给逆模型计算部件27，并在逆模型计算期间被参考。
[0217]
数据保存和输出部件30包括分析数据缓冲器31、颜色映射部件32、图像合成部件33、图形生成部件34、图像输出部件35和数据输出部件36。
[0218]
关于来自逆模型计算部件27的计算结果的信息临时保存在分析数据缓冲器31中。
[0219]
在逆模型计算部件27例如确定sif的情况下，分析数据缓冲器31保持该信息。另外，分析数据缓冲器31可以保持rgb图像或ndvi图像。
[0220]
为了可视化并显示作为来自逆模型计算部件27的计算结果而获得的物理值，颜色映射部件32执行例如使用每一级rgb原色来将特定范围的物理值转换为从蓝色到红色的颜色等级(gradation)的计算处理。
[0221]
图像合成部件33执行将颜色映射的物理值数据粘贴到原始空间区域或将颜色映射的物理值数据叠加到rgb图像上的计算处理。
[0222]
为了可视化和显示数据，图形生成部件34执行创建图形的计算处理，例如，以虚线表示物理值或将二维物理值转换为散布图。
[0223]
图像输出部件35将通过颜色映射部件32、图像合成部件33和图形生成部件34的处理而生成的图像数据输出到外部显示部件56以进行显示。或者，图像输出部件35执行输出，以使用网络5将生成的图像数据发送到外部装置，或者将图像数据归档并将结果文件保存在存储设备6中。
[0224]
数据输出部件36输出关于保存在分析数据缓冲器31中的来自逆模型计算部件27的计算结果的信息。例如，数据输出部件36执行输出，用于使用网络5将关于逆模型计算结果的信息发送到外部装置，或者将关于逆模型计算结果的信息归档并将结果文件保存在存储设备6中。
[0225]
《3.处理示例》
[0226]
将描述包括上述功能的信息处理装置1的处理示例。
[0227]
图9示出了信息处理装置1的处理示例。
[0228]
在步骤s101中，信息处理装置1使用传感器输入部件11的功能输入来自宏观测量部件2的测量值。
[0229]
在步骤s102中，信息处理装置1使用宏观测量分析计算部件21的功能执行宏观测量分析计算。例如，对于有关光合作用的信息，执行sif计算。对于sif计算，已知基于太阳光
谱中的暗线的fld方法。
[0230]
在步骤s103中，信息处理装置1使用传感器输入部件12的功能输入来自微观测量部件3的测量值。
[0231]
在步骤s104中，信息处理装置1使用微观测量分析计算部件23的功能执行微观测量分析计算。
[0232]
图10示出了步骤s104中微观测量分析计算中的处理示例。
[0233]
注意，假设微观测量分析计算部件23已经获取了图11中所示的rgb图像、nir图像、r图像和偏振传感器角度信息。
[0234]
在图10的步骤s201中，微观测量分析计算部件23执行图像结构分析计算。具体地说，图像被分割。在简单情况下，如图11所示，可以将图像分割为单元格。
[0235]
然而，可以通过使用图像识别等来根据对象等进行辨别来分割图像。例如，标识作为测量对象的个体，并根据标识出的个体对图像进行分割。
[0236]
在步骤s202中，微观测量分析计算部件23基于分割单位计算lai、平均叶子角度和太阳叶子比率。
[0237]
lai可根据植物覆盖率确定。植物覆盖率可通过将与特定值或更大的ndvi相对应的像素数除以相关分割单位中的测量点数(像素数)来确定。
[0238]
注意，ndvi可以根据r图像和nir图像确定。也就是说，ndvi的值由以下公式确定：
[0239]
ndvi＝(nir-r)/(nir r)
[0240]
其中，“r”是可见区域红色的反射率，“nir”是近红外区域中的反射率。ndvi具有被标准化在
“‑
1”到“1”的范围内的数值，ndvi的正值越大，表明植被越密集。
[0241]
叶子角度可以通过从偏振传感器获取角度信息来确定。
[0242]
太阳叶子比率是暴露在阳光下的叶子的比率。可以将太阳叶子提取为具有特定值或更大的ndvi和特定值或更大的nir的像素。因此，可以通过将这样提取的像素的数量除以相关分割单位中的测量点的数量(像素的数量)来确定太阳叶子比率。
[0243]
在步骤s203中，微观测量分析计算部件23确定是否针对所有分割单位完成lai、平均叶子角度和太阳叶子比率的计算。在计算未完成的情况下，则在步骤s202中，为下一分割单位计算lai、平均叶子角度和太阳叶子比率。
[0244]
一旦对所有分割单位完成处理，微观测量分析计算就结束。
[0245]
在图10中的上述处理中，图9中步骤s104的执行使得信息处理装置1在步骤s105中使用聚类计算部件28的功能执行聚类。
[0246]
图12示出了聚类计算的示例。
[0247]
在步骤s301中，聚类计算部件28为测量对象指定由用户手动输入的分割。
[0248]
图13a示意性地示出了与测量对象相对应的农田300。请注意，区域ar1至ar6的定义是为了便于描述，并不一定对应于不同类型植被的区域。但是，假设阴影区域ar3是种植与其他区域中的作物不同的作物的区域。
[0249]
在这种情况下，用户通过手动输入指定用粗线所示的边界。例如，假设指示了农田中种植植物的整个区域(田地边界)，并指定了区分种植不同类型作物的区域ar3的边界。
[0250]
聚类计算部件28执行粗线指示的聚类分割，反映基于用户初步知道的此类信息的输入。
[0251]
在步骤s302中，聚类计算部件28使用从宏观测量分析计算部件21获得的信息和从微观测量分析计算部件23获得的信息执行自动聚类。使用例如sif量、lai、平均叶子角度、太阳叶子比率等来执行聚类。
[0252]
图13b示出了作为与多个测量相关的微观测量范围rz3的测量范围a、b、c和d。在这种情况下，测量范围a对应于用于测量区域ar3的微观测量范围rz3，测量范围b对应于用于测量区域ar4的微观测量范围rz3，测量范围c对应于用于测量区域ar5的微观测量范围rz3，并且测量范围d对应于用于测量区域ar6的微观测量范围rz3。
[0253]
假设自动聚类涉及执行例如将区域分割为具有不同lai的聚类的处理。假设lai值在测量范围a、b和c之间变化，但在测量范围c和d之间基本相同。
[0254]
区域ar3与区域ar4的作物和lai不同。假设区域ar4、ar5和ar6的作物相同，但只有区域ar4涉及不同生长情况。那么，将区域ar4设定为单独的聚类是合适的。
[0255]
在步骤s303中，聚类计算部件28基于用户输入对聚类设定进行子分割，使得该子分割反映步骤s304中的自动聚类确定。
[0256]
在上述示例中，如图13c中的粗线所示，区域ar4被新设定为一个聚类。
[0257]
例如，区域ar3和区域ar4分别被假定为聚类cl3和聚类cl4。注意，未提及区域ar1和ar2，但在区域ar1和ar2具有与区域ar5和ar6相同的lai的情况下，区域ar1、ar2、ar5和ar6被共同指定为一个聚类cl1。
[0258]
例如，如上所述，通过根据用户输入执行聚类并使用与宏观测量或微观测量相关的值执行用于子分割的自动聚类确定来执行聚类计算。
[0259]
不用说，可以排他地根据用户输入或者通过使用与宏观测量或微观测量相关的值执行用于子分割的自动聚类确定来设定聚类。
[0260]
在执行上述聚类计算之后，在图9的步骤s106中，信息处理装置1使用位置映射部件25的功能执行位置映射。
[0261]
即，信息处理装置1将宏观测量分析计算结果与微观测量分析计算结果对准。
[0262]
在步骤s107中，信息处理装置1使用逆模型计算部件27的功能执行逆模型计算。图14示出了逆模型计算的处理示例。
[0263]
注意，图15a示意性地示出了基于宏观测量的sif计算的区域。sif以单元格为单位来确定，每个单元格被图示为宏观测量分辨率(宏观分辨率单位w1至wn)。
[0264]
在步骤s401中，逆模型计算部件27针对一个宏观分辨率单位读取由宏观测量分析计算部件21计算的sif。例如，逆模型计算部件27首先读取宏观分辨率单位w1的sif。
[0265]
在步骤s402中，逆模型计算部件27针对与宏观分辨率单位相对应的聚类获取由微观测量分析计算部件23确定的参数，即lai、平均叶子角度和太阳叶子比率。
[0266]
图15b示出了上述测量范围a、b和c(＝d)的lai、平均叶子角度和太阳叶子比率。换句话说，如图13c所示，lai、平均叶子角度和太阳叶子比率是区域ar3的聚类cl3、区域ar4的聚类cl4和区域ar1 ar2 ar5 a6的聚类cl1的模型参数。
[0267]
例如，宏观分辨率单位w1对应于聚类cl1，因此获得图15b中的聚类cl1的模型参数。
[0268]
在步骤s403中，逆模型计算部件27执行逆模型计算。也就是说，根据基于宏观测量获得的sif确定期望的物理属性值(例如，测量对象的特征)。
[0269]
在这种情况下，使用基于在步骤s402中获取的微观测量的参数作为模型参数。
[0270]
因此，即使在仅仅通过由宏观测量部件2执行的感测不知道测量对象的形状或状态的情况下，也可以根据实际测量对象的形状和状态来确定正确的sif。
[0271]
通过从步骤s404返回到步骤s401来重复上述处理，直到对所有宏观分辨率单位w1到wn执行处理。换句话说，从宏观分辨率单位w1到宏观分辨率单位wn，使用基于对应聚类的微观测量的模型参数执行逆模型计算。
[0272]
注意，已经描述了sif的示例，但例如，在基于宏观测量获得ndvi的情况下，所需的物理属性值(例如，作为环境响应的叶绿素浓度)可通过根据基于宏观测量的ndvi的逆计算来确定。
[0273]
一旦对所有宏观分辨率单位完成了处理，逆模型计算部件27进入步骤s405，以将计算结果写入分析数据缓冲器31中。在这种情况下，为每个宏观分辨率单位w1到wn写入计算结果。
[0274]
注意，在上述处理中，对应于每个宏观分辨率单位的聚类的模型参数被应用于宏观分辨率单位，但是可以不特别地执行聚类。例如，在相同植物在整个农田300中以类似生长条件种植的情况下，步骤s105中的聚类可能不导致聚类分割。另外，假设不执行步骤s105中的处理的处理示例。
[0275]
在这些情况下，通过将通过测量单个微观测量范围rz3而获得的模型参数应用于所有宏观分辨率单位来执行逆模型计算就足够了。
[0276]
在上述处理中，在执行图9中的步骤s107之后，信息处理装置1使用数据保存和输出部件30的功能来执行步骤s108中的颜色映射、步骤s109中的图像合成和步骤s110中的图像输出。
[0277]
因此，用户可以使用显示部件56等来检查计算结果。
[0278]
将描述在这种情况下经受颜色映射等的输出图像的示例。
[0279]
图16是通过对如上所述获得的每个宏观分辨率单位的逆模型计算结果执行颜色分配(颜色映射)来生成图像的示例。这里使用的“颜色分配”是指预设对应于每个数值范围的颜色，根据对象的值选择颜色，并将颜色分配给相关像素。
[0280]
图16a示出了每个宏观分辨率单位的逆模型计算结果。如图16b所示，将颜色分配给这些值以生成颜色映射图像。在图像中，与计算结果的值相对应的颜色被分配给每个区域。
[0281]
注意，附图基于阴影线、圆点等类型表示颜色差异。此外，对于不存在有效计算结果的宏观分辨率单位(例如，不存在太阳叶子的部分等)，指示“无数据”。例如，为指示“无数据”的区域分配背景色(白色)。
[0282]
在向用户呈现这样的颜色映射图像的情况下，每个宏观分辨率单位中的区域的逆模型计算结果用颜色表示，并且该图像允许用户容易地识别宏观测量结果。
[0283]
接下来，图17是合成具有分配给植被处于特定状态的区域的颜色的图像的示例。图17a示出了每个宏观分辨率单位的逆模型计算结果的值。图17b是描绘提取的太阳叶子的图像ndvip-pr(ndvi植物过滤par过滤)。描绘提取的太阳叶子的图像ndvip-pr是指描绘提取范围的图像，该提取范围具有特定值或更大的ndvi和特定值或更大的nir。
[0284]
然后，将颜色分配给每个宏观分辨率单位中的太阳叶子部分，以生成如图17c所示
的颜色映射图像。只有太阳叶子部分具有与逆模型计算结果相应的颜色。因此，该图像允许用户容易地识别宏观测量结果以及每个区域中的太阳叶子分布。
[0285]
接下来，图18是在可见光图像(rgb图像)上的叠加显示的示例。
[0286]
图18a示出了每个宏观分辨率单位的逆模型计算结果的值。图18b是rgb图像。
[0287]
如图18c所示，在rgb图像中，叠加根据逆模型计算结果的值而分配给每个宏观分辨率单位的颜色。该图说明了将颜色应用于相关像素部分。
[0288]
换句话说，在图像中，在rgb图像上表示指示计算结果的颜色。因此，在用户通常观看的图像上容易识别宏观测量结果。
[0289]
注意，可以执行使用分配给相关像素的颜色的盖写(overwrite)，来代替叠加(overlay)。
[0290]
例如，如上所述生成并在图16、图17和图18中示出了输出图像，并将其显示在显示部件56上，使用网络5发送到外部装置，或者与保存在存储设备6中的结果文件一起被归档。然后用户可以利用该分析结果。
[0291]
《4.各种示例》
[0292]
上述描述假设植被感测。然而，根据本公开的技术适用于各种领域。
[0293]
例如，在诸如办公楼之类的建筑物中使用中央热源的情况下，可以通过宏观测量来识别整个建筑物的能量使用量。
[0294]
此外，可以对建筑物的某一部分(例如，占据某一楼层的商务办公室)进行特定测量，作为微观测量。
[0295]
在使用基于宏观测量的信息执行逆模型计算的情况下，可以基于微观测量设置模型参数。
[0296]
此外，例如，在劳动统计等领域中，某一时段的失业率的转变可以作为宏观测量进行测量，而在每个季节中的失业人员的属性等可以作为微观测量进行测量。
[0297]
在使用基于宏观测量的信息执行逆模型计算的情况下，可以基于微观测量设置模型参数。
[0298]
《5.结论和修改示例》
[0299]
上述实施例产生以下效果。
[0300]
根据本实施例的信息处理装置1包括宏观测量分析计算部件21，该宏观测量分析计算部件21计算来自宏观测量部件2的检测数据，该宏观测量部件2以宏观测量分辨率(第一空间分辨率)执行针对测量对象的宏观测量范围rz2(第一测量范围)的感测。信息处理装置1还包括微观测量分析计算部件23，该微观测量分析计算部件23计算来自微观测量部件3的检测数据，该微观测量部件3针对微观测量范围rz3(第二测量范围)以微观测量分辨率(第二空间分辨率)执行感测，微观测量分辨率高于宏观测量分辨率，微观测量范围rz3包括在宏观测量范围rz2中。此外，信息处理装置1包括逆模型计算部件27，该逆模型计算部件27基于由微观测量分析计算部件23确定的来自微观测量部件3的检测数据，获取用于使用来自宏观测量分析计算部件21的计算结果的逆模型计算的模型参数。
[0301]
通过如上所述基于微观测量计算模型参数，可以获得适用于使用来自宏观测量分析计算部件的计算结果的逆模型计算的逆模型的参数。
[0302]
另外，在本实施例中，逆模型计算部件27使用基于由微观测量分析计算部件23确
定的来自微观测量部件3的检测数据的模型参数，作为用于使用来自宏观测量分析计算部件21的计算结果的逆模型计算中的逆模型的参数。
[0303]
在执行逆模型计算的情况下，以及在形状或状态变化等情况下，测量对象的形状或状态可能不同于由模型指示的标准形状或状态，导致测量精度降低。在本实施例中，基于基于微观测量的实际测量生成逆模型参数。因此，即使在形状或状态变化或测量对象没有由模型指示的标准形状的情况下，也可以实现精确测量。
[0304]
特别地，在这种情况下，通过使用来自微观测量部件3(其可以以高空间分辨率执行感测)的检测数据，可以使逆模型参数变得更合适。这使得能够基于与测量对象的特征和环境响应相对应的逆模型计算进行测量，这不能仅通过宏观测量部件2来实现。
[0305]
更具体地说，在使用飞行体200的高分辨率测量中，测量实际田地中的植物状态(植物覆盖率和高度、叶子的平均角度、叶绿素浓度等)或垄的设定状态，并且，将真实对象的参数用于基于人造卫星210的感测的逆模型计算。然后，即使在形状或状态变化或测量对象没有由模型指示的标准形状的情况下，也可以实现精确测量。
[0306]
此外，例如，这种测量系统的使用允许飞行体200在不测量sif的情况下获得光合作用信息。有利的是，人造卫星210也可以实现高分辨率信息的获取，这是迄今为止没有预料到的。
[0307]
在该实施例中，逆模型计算部件27使用基于微观测量范围rz3(第二测量范围)的检测数据的模型参数来确定宏观测量分辨率(第一空间分辨率)的单位的计算结果(参见图14和图15)。
[0308]
因此，使用逆模型计算，可以在宏观测量范围rz2内以宏观测量分辨率的单位确定反映微观测量的测量值。
[0309]
特别地，来自人造卫星210的图像被包括在输出范围中，因此，作为覆盖大于飞行体200所覆盖的范围的范围的图像，获得逆模型计算结果。
[0310]
在该实施例中，逆模型计算部件27以宏观测量分辨率的单位确定测量对象的特征或环境响应作为计算结果。
[0311]
这实现了确定测量对象的静态形状或特性或测量对象的动态形状或特性的感测。
[0312]
例如，通过获得植物的形状、植被指数、关于光合作用的信息等，实现适合农业的遥感。
[0313]
例如，作为关于光合作用的信息，即使在测量对象的形状或状态未知的情况下，也可以获得正确的sif(太阳诱导叶绿素荧光)和从正确的sif计算的各种类型的信息。
[0314]
在该实施例中，宏观测量部件2在距离测量对象4(例如农田300)比微观测量部件3更长的距离处执行感测。
[0315]
在宏观测量部件2位于相对远离测量对象4的位置的情况下，相对大型的装置或设备容易实现为宏观测量部件2或配备有宏观测量部件2的装置。
[0316]
注意，微观测量部件3安装在飞行体200中，而宏观测量部件2安装在人造卫星210中，但是宏观测量部件2可以安装在飞行体200中，例如无人机。例如，宏观测量部件2可以安装在飞行在天空中更高位置的飞行体200中，以感测宏观测量范围rz2。
[0317]
在实施例中提及的示例中，逆模型计算部件27获取从聚类产生的每个测量区域的代表性个体的模型参数，切换从聚类产生的每个测量区域的模型参数，并将所得到的模型
参数应用于逆模型(见图14和图15)。
[0318]
通过计算来自微观测量部件的检测数据以确定从聚类产生的每个测量区域的模型参数，逆模型计算部件27可以对从聚类产生的各个测量区域使用不同的模型参数。
[0319]
因此，即使在宏观测量范围rz2内，也可以针对各个聚类区域(例如，针对种植不同作物的各个区域)获得适当的不同测量结果。
[0320]
请注意，通过为每个聚类指定作物名称，不仅可以自动切换模型参数(例如高度)，还可以自动切换模型本身(反映品种(例如番茄和玉米)之间形状差异的模型)。
[0321]
在实施例中提及的示例中，所述聚类基于指定区域的用户输入。
[0322]
例如，在农田300等中，在各个区域中种植不同的作物。例如，诸如农民之类的用户可以输入这样的信息。
[0323]
这允许清楚地获取关于种植不同作物的区域、不同时段开始种植作物的区域等的信息。因此，可以针对每个区域适当地确定作物的特征或环境响应等。
[0324]
此外，反映用户输入的聚类允许针对用户期望的每个区域获得测量结果。
[0325]
注意，图12示出了基于用户输入、宏观测量值和微观测量值的聚类，但是，例如，可以执行仅基于用户输入的聚类计算，其中仅执行图12中的步骤s301。
[0326]
另外，在本实施例中提及的示例中，基于来自宏观测量部件2的检测数据或来自微观测量部件3的检测数据执行聚类。
[0327]
例如，通过使用来自宏观测量部件2或微观测量部件3的检测数据(或从检测数据计算的信息)，可以将具有确定地不同的形状或状态的区域彼此区分，从而允许自动聚类计算。
[0328]
这允许对种植不同作物的区域、在不同时期开始种植作物的区域等进行自动聚类。因此，可以准确地确定每个区域的作物的特性或环境响应等，而无需用户付出很大的努力。
[0329]
图12示出了基于用户输入、宏观测量值和微观测量值的聚类。然而，例如，可以执行仅基于宏观测量值和微观测量值的聚类计算，其中仅执行图12中的步骤s302。此外，仅基于宏观测量值的聚类计算和仅基于微观测量值的聚类计算是可能的。
[0330]
在实施例中提到的示例中，所述聚类基于指定区域的用户输入以及来自宏观测量部件的检测数据或来自微观测量部件的检测数据。
[0331]
也就是说，执行反映手动输入和自动辨别两者的聚类计算。
[0332]
在图12所示的示例中，聚类计算部件28使用来自宏观测量部件2的检测数据、来自微观测量部件3的检测数据和来自操作输入部件7的输入数据执行聚类。在这种情况下，除了用户输入的准确性和请求的反映之外，还提供了具有不同植被状况的区域的自动辨别系数，从而允许获得每个更合适区域的测量结果。
[0333]
在图12中的示例中，通过自动辨别对基于用户输入的聚类进行子分割。然而，相比之下，可以通过用户输入对基于自动辨别的聚类进行子分割。
[0334]
本实施例中描述的模型参数可以是植物的三维结构、植物高度、平均叶子角度(平均叶子倾角)、植物覆盖率、lai、叶绿素浓度、土壤谱特性或太阳叶子比率中的任意一个或多个。
[0335]
图15b中提到的示例是lai、平均叶子角度和太阳叶子比率。可根据测量目的应用
其他模型参数。
[0336]
因此，模型参数可适当地应用于适合于植被遥感的测量。
[0337]
在本实施例中提到的示例中，微观测量部件3包括可见光图像传感器、立体相机、用于激光图像检测和测距的传感器、偏振传感器或tof传感器中的任何一个，作为微观测量传感器3s。
[0338]
这些传感器适合于分析测量对象的特征、环境响应、范围、分布等，例如，形状分析等。
[0339]
此外，传感器相对容易安装在飞行体200中，并且适合于作为小型无人飞行体(例如无人机)的飞行体200的操作。
[0340]
在本实施例中提及的示例中，宏观测量部件2包括多谱相机、超谱相机、傅里叶变换红外光谱仪或红外传感器中的任何一个，作为宏观测量传感器2s。
[0341]
这些传感器适用于分析各种物理属性值，如有关光合作用的信息。
[0342]
此外，传感器相对难以安装在飞行体200中。因此，例如，将传感器安装在人造卫星210中允许促进作为小型无人飞行体(例如无人机)的飞行体200的操作。
[0343]
本实施例中的信息处理装置1包括数据保存和输出部件30，该数据保存和输出部件30基于来自逆模型计算部件27的计算结果生成和输出图像数据。
[0344]
在不改变计算结果的情况下，来自逆模型计算部件27的计算结果可能不适合作为人类观看的图像(难以理解来自图像的评估结果)。因此，数据保存和输出部件30将计算结果转换为适合呈现给人类的图像，并将所得到的图像输出到显示部件56、网络5或存储设备6。因此，可以向用户提供计算结果容易理解的图像。
[0345]
在本实施例中提及的示例中，数据保存和输出部件30生成由来自逆模型计算部件27的计算结果的颜色映射产生的输出图像(参见图16)。
[0346]
即，在针对与宏观分辨率单位相对应的每个区域获得来自逆模型计算部件27的计算结果的情况下，呈现给用户的图像被生成为其中颜色被分配给各个区域的图像。
[0347]
因此，可以向用户提供允许逐色识别分析结果的图像。
[0348]
在本实施例中提及的示例中，数据保存和输出部件30生成由来自逆模型计算部件27的计算结果的颜色映射产生的图像和另一图像的合成产生的输出图像(参见图17和图18)。
[0349]
通过叠加或盖写，通过合成另一图像和由颜色映射产生的图像，数据保存和输出部件30可以向用户提供图像，该图像允许逐个颜色地识别每个区域的评估结果，同时允许借助另一图像识别每个区域。
[0350]
在本实施例中提及的示例中，宏观测量部件2安装在人造卫星210中。
[0351]
人造卫星210包括相对高的功能，并且可以容易地将大型传感器安装在人造卫星210中。因此，人造卫星210适于安装执行高级感测的宏观测量部件2。
[0352]
例如，通过允许大量农民、感测实施组织等共享人造卫星210的宏观测量部件2，可以降低操作成本，并且可以有效地利用宏观测量传感器2s。
[0353]
注意，代替人造卫星210，飞行体200或相对较大的飞行体可以配备宏观测量部件2，并在高于微观测量部件3执行感测的位置的位置处执行感测。
[0354]
在本实施例中提及的示例中，微观测量部件3安装在能够被无线电控制或自动控
制的飞行体200中。
[0355]
能够无线电控制或自动控制的飞行体200的示例包括所谓的无人机、小型无线电控制固定翼飞机、小型无线电控制直升机等。
[0356]
小飞行体200在距离测量对象(例如农田300)相对较低的高度处执行感测。在这种情况下，小飞行体200适于以高空间分辨率进行感测。
[0357]
另外，避免在飞行体200中安装宏观测量部件2有助于小飞行体200的操作，并且使得能够降低感测成本。
[0358]
在上述示例中，根据本实施例的信息处理装置1包括保持部件26，其保持从外部装置输入的逆模型计算程序和逆模型。
[0359]
即，信息处理装置1允许从外部装置获取定义插值分析计算部件的计算算法的程序。
[0360]
例如，从诸如网络5或存储设备6之类的外部装置获取用于插值分析计算的程序，并将其保存在保持部件26中。逆模型计算部件是在程序的基础上进行的。这使得信息处理装置1能够执行各种逆模型计算。
[0361]
根据本实施例的程序使得信息处理装置1执行宏观测量分析计算处理，计算来自宏观测量部件2的检测数据，该宏观测量部件2对测量对象的宏观测量范围rz2以宏观测量分辨率进行感测。该程序还使信息处理装置1执行微观测量分析计算处理，计算来自微观测量部件3的检测数据，该微观测量部件3以微观测量分辨率对微观测量范围rz3进行感测，微观测量分辨率高于宏观测量分辨率，微观测量范围rz3包括在宏观测量范围rz2中。该程序还使得信息处理装置1执行使用基于由微观测量分析计算部件23确定的来自微观测量部件3的检测数据的模型参数作为用于使用来自宏观测量分析计算部件21的计算结果的逆模型计算的逆模型的参数的逆模型计算处理。
[0362]
即，该程序使信息处理装置执行图9、图10和图14中的处理。
[0363]
这样的程序有助于实现根据本实施例的图像处理装置1。
[0364]
这样的程序可以预先存储在例如内置于诸如计算机装置的设备中的记录介质、包括cpu的微型计算机中的rom等中。或者，程序可以临时或持久地存储在可移除记录介质中，例如半导体存储器、存储卡、光盘、磁光盘或磁盘。另外，这种可移除记录介质可以作为所谓的软件包提供。
[0365]
另外，除了从可移除记录介质安装到个人计算机等中之外，还可以经由诸如lan或因特网的网络从下载站点下载这样的程序。
[0366]
注意，本文描述的效果仅是说明性的，并不打算被限制，并且可以产生其他效果。
[0367]
本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内。
[0368]
注意，本技术也可以如下所述进行配置。
[0369]
(1)一种信息处理装置，包括：
[0370]
宏观测量分析计算部件，被配置为计算来自宏观测量部件的检测数据，宏观测量部件适于以第一空间分辨率对测量对象的第一测量范围进行感测；
[0371]
微观测量分析计算部件，被配置为计算来自微观测量部件的检测数据，微观测量部件适于以第二空间分辨率对第二测量范围进行感测，所述第二空间分辨率高于所述第一
空间分辨率，第二测量范围被包括在测量对象的第一测量范围中；以及
[0372]
逆模型计算部件，被配置为基于由微观测量分析计算部件确定的来自微观测量部件的检测数据，获取用于使用来自宏观测量分析计算部件的计算结果的逆模型计算的模型参数。
[0373]
(2)根据上述(1)的信息处理装置，其中
[0374]
逆模型计算部件使用基于由微观测量分析计算部件确定的来自微观测量部件的检测数据的模型参数，作为使用来自宏观测量分析计算部件的计算结果的逆模型计算中的逆模型的参数。
[0375]
(3)根据上述(2)的信息处理装置，其中
[0376]
逆模型计算部件使用基于第二测量范围的检测数据的模型参数来按第一空间分辨率的单位确定计算结果。
[0377]
(4)根据上述(2)或(3)的信息处理装置，其中
[0378]
逆模型计算部件按第一空间分辨率的单位确定作为计算结果的测量对象的特征或环境响应。
[0379]
(5)根据上述(1)至(4)中任一项的信息处理装置，其中
[0380]
宏观测量部件在距离测量对象比微观测量部件更长的距离处进行感测。
[0381]
(6)根据上述(1)至(5)中任一项的信息处理装置，其中
[0382]
逆模型计算部件获取进行聚类的每个测量区域的代表性个体的模型参数，为每个聚类测量区域切换模型参数，并将所得到的模型参数应用于逆模型。
[0383]
(7)根据上述(6)的信息处理装置，其中
[0384]
基于指定区域的用户输入进行所述聚类。
[0385]
(8)根据上述(6)或(7)的信息处理装置，其中
[0386]
基于来自宏观测量部件的检测数据或来自微观测量部件的检测数据进行所述聚类。
[0387]
(9)根据上述(6)至(8)中任一项的信息处理装置，其中
[0388]
基于指定区域的用户输入以及来自宏观测量部件的检测数据或来自微观测量部件的检测数据进行所述聚类。
[0389]
(10)根据上述(1)至(9)中任一项的信息处理装置，其中
[0390]
模型参数包括植物的三维结构、植物高度、平均叶子角度、植物覆盖率、lai、叶绿素浓度、土壤的谱特性或太阳叶子比率中的任一个。
[0391]
(11)根据上述(1)至(10)中任一项的信息处理装置，其中
[0392]
微观测量部件包括作为微观测量传感器的可见光图像传感器、立体相机、用于激光图像检测和测距的传感器、偏振传感器或tof传感器中的任一个。
[0393]
(12)根据上述(1)至(11)中任一项的信息处理装置，其中
[0394]
宏观测量部件包括作为宏观测量传感器的多谱相机、超谱相机、傅里叶变换红外光谱仪或红外传感器中的任一个。
[0395]
(13)根据上述(1)至(12)中任一项的信息处理装置，还包括：
[0396]
输出部件，被配置为基于来自逆模型计算部件的计算结果生成和输出输出图像数据。
[0397]
(14)根据上述(13)的信息处理装置，其中
[0398]
输出部件生成从来自逆模型计算部件的计算结果的颜色映射得到的输出图像数据。
[0399]
(15)根据上述(13)的信息处理装置，其中
[0400]
输出部件生成根据从来自逆模型计算部件的计算结果的颜色映射得到的图像与另一图像的合成而得到的输出图像数据。
[0401]
(16)根据上述(1)至(15)中任一项的信息处理装置，其中
[0402]
宏观测量部件安装在人造卫星中。
[0403]
(17)根据上述(1)至(16)中任一项的信息处理装置，其中
[0404]
微观测量部件安装在能够被无线电控制或自动控制的飞行体中。
[0405]
(18)一种信息处理方法，包括：
[0406]
由信息处理装置执行计算来自宏观测量部件的检测数据的宏观测量分析处理，宏观测量部件被配置成以第一空间分辨率对测量对象的第一测量范围进行感测；
[0407]
由信息处理装置执行计算来自微观测量部件的检测数据的微观测量分析处理，微观测量部件被配置成以第二空间分辨率对第二测量范围进行感测，所述第二空间分辨率高于所述第一空间分辨率，第二测量范围被包括在测量对象的第一测量范围中；以及
[0408]
由所述信息处理装置，执行使用基于在所述微观测量分析处理中确定的来自所述微观测量部件的检测数据的模型参数，作为用于使用宏观测量分析处理中的计算结果的逆模型计算的逆模型的参数的逆模型计算处理。
[0409]
(19)一种使信息处理装置执行以下处理的程序：
[0410]
计算来自宏观测量部件的检测数据的宏观测量分析处理，宏观测量部件被配置成以第一空间分辨率对测量对象的第一测量范围进行感测；
[0411]
计算来自微观测量部件的检测数据的微观测量分析处理，微观测量部件被配置成以第二空间分辨率对第二测量范围进行感测，所述第二空间分辨率高于所述第一空间分辨率，第二测量范围被包括在测量对象的第一测量范围中；以及
[0412]
使用基于在所述微观测量分析处理中确定的来自所述微观测量部件的检测数据的模型参数，作为用于使用宏观测量分析处理中的计算结果的逆模型计算的逆模型的参数的逆模型计算处理。
[0413]
(20)一种感测系统，包括：
[0414]
宏观测量部件，被配置为以第一空间分辨率对测量对象的第一测量范围进行感测；
[0415]
微观测量部件，被配置为以第二空间分辨率对第二测量范围进行感测，所述第二空间分辨率高于所述第一空间分辨率，第二测量范围被包括在测量对象的第一测量范围中；
[0416]
宏观测量分析计算部件，被配置为计算来自宏观测量部件的检测数据；
[0417]
微观测量分析计算部件，被配置为计算来自微观测量部件的检测数据；以及
[0418]
逆模型计算部件，被配置为使用基于由所述微观测量分析计算部件确定的来自所述微观测量部件的检测数据的模型参数，作为用于使用来自宏观测量分析计算部件的计算结果的逆模型计算的逆模型的参数。
[0419]
参考标志列表
[0420]
1信息处理装置、2宏观测量部件、2s宏观测量传感器、3微观测量部件、3s微观测量传感器、4测量对象、5网络、6存储设备、7操作输入部件、10数据输入部件、11传感器输入部件、12传感器输入部件、13程序和模型输入部件，20分析执行部件、21宏观测量分析计算部件、22宏观测量分析值缓冲器、23微观测量分析计算部件、24微观测量分析值缓冲器、25位置映射部件、26反向计算程序和模型保持部件、27反向模型计算部件、28聚类计算部件、30数据保存和输出部件、31分析数据缓冲器、32颜色映射部件、33图像合成部件、34图形生成部件、35图像输出部件、36数据输出部件、51cpu、52rom、53ram、54总线、55输入/输出接口、56显示部件、57输入部件、58扬声器、59存储部件、60通信部件、61驱动器、200飞行体、210人造卫星、220成像装置、250成像装置、300农田