信息处理装置的制作方法

1.本发明涉及一种通过ai图像分析来计算与植物生长状态相关的指标值的信息处理装置。


背景技术：

2.通过ai(artificial intelligence，人工智能)图像分析来计算与植物生长状态相关的指标值(例如参照专利文献1)。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2018-29568号公报


技术实现要素：

6.为了通过ai图像分析来计算与植物生长状态相关的指标值，需要通过输入规定尺寸的多个图像对cnn(convolutional neural network，卷积神经网络)等神经网络进行教育。但是，植物的外观伴随成长而大幅变化，因此在用于计算与植物生长状态相关的指标值的神经网络的教育中，需要大量的图像。
7.本发明是鉴于上述现状而完成的，提供一种通过神经网络求出与植物生长状态相关的指标值的信息处理装置，该信息处理装置以比较少量的图像来完成神经网络的教育。
8.本发明的一个方面的信息处理装置具备：第一～第n图像分析部，是通过对拍摄了植物栽培区域的栽培区域图像进行基于神经网络的分析，计算所述栽培区域中的作为植物生长状态的指标值的状态指标值的第一～第n(≥2)图像分析部，分别包括通过规定的树势指标值被分类为第一～第n树势指标值划分的多个栽培区域图像而进行了教育的神经网络；以及选择部，接收应计算所述状态指标值的栽培区域图像的输入，使所述第一～第n图像分析部中的、通过被分类为与该栽培区域图像相同的树势指标值划分的多个栽培区域图像而进行了教育的图像分析部分析输入的栽培区域图像。
9.即，该信息处理装置按树势指标值划分而具备用于计算栽培区域中的作为植物生长状态的指标值的状态的神经网络(图像分析部)。为了以能够不依赖于植物的树势而准确地计算状态指标值的方式对一个神经网络进行教育，需要大量的图像，但是如果按树势指标值划分来设置神经网络，则能够不使用不适合于该神经网络的教育的图像而对各神经网络进行教育。因此，在具有上述构成的信息处理装置中，以比较少量的图像完成各图像分析单元的神经网络的教育。
10.信息处理装置可以采用如下构成：“包含于所述第i图像分析部(i是从1到n的各整数值)的神经网络是将纵向像素数hi、横向像素数wi的图像作为输入的神经网络#i，所述第i图像分析部(i是从1到n的各整数值)从应分析的栽培区域图像中提取多个纵横比为hi：wi的图像，并且在调整了像素数之后将提取的各图像输入到神经网络#i”。此外，由于一般的植物高度持续增高，所以信息处理装置还可以采用如下构成：“所述第k 1树势指标值划分(k
是从1到n-1的各整数值)是树势比所述第k树势指标值划分良好的划分，确定神经网络#i～#n的输入图像尺寸，以使对于从1到n-1的各整数值i，h
i 1
/w
i 1
》hi/wi成立”。
11.此外，树势指标值可以是所述栽培区域内的植物高度的代表值(植物高度的最频值、平均值等)。该代表值可以是与栽培区域图像分开提供的值，也可以分析栽培区域图像而求出的值。
12.本发明的另一个方面的信息处理装置(以下也表述为第二信息处理装置)计算作为植物生长状态的指标值的状态指标值，所述信息处理装置具备：用于计算所述状态指标值的神经网络，所述神经网络通过从拍摄了所述植物栽培区域的多个栽培区域图像的每一个中提取第一～第n(≥2)树势指标值划分中的、与所述栽培区域图像内的所述植物的树势所属的树势指标值划分对应的尺寸的图像并输入而进行了教育；以及计算单元，通过从应计算所述状态指标值的栽培区域图像中提取与该栽培区域图像内的所述植物的树势所属的树势指标值划分对应的尺寸的图像并输入到所述神经网络，计算所述状态指标值。
13.即，如果从拍摄了植物栽培区域的多个栽培区域图像的每一个中提取与栽培区域图像内的植物的树势所属的树势指标值划分对应的尺寸的图像并输入到fcn等神经网络，则能够不使用不适合于教育的图像对神经网络进行教育。因此，在该第二信息处理装置中，也以比较少量的图像完成各图像分析单元的神经网络的教育。
14.第二信息处理装置可以采用如下结构：“所述第k 1树势指标值划分(k是从1到n-1的各整数值)是树势比所述第k树势指标值划分良好的划分，在将与第i划分对应的尺寸的纵向像素数、横向像素数分别表述为hi、wi时，确定与第一～第n划分对应的尺寸，以使对于从1到n-1的各整数值i，h
i 1
/w
i 1
》hi/wi成立”。
15.根据本发明，提供一种信息处理装置，该信息处理装置通过神经网络求出与植物生长状态相关的指标值，并且以比较少量的图像完成神经网络的教育。
附图说明
16.图1是本发明的第一实施方式的信息处理装置的构成及使用方式的说明图。
17.图2是第一实施方式的信息处理装置所具备的图像分析部的构成的说明图。
18.图3是第一实施方式的信息处理装置的分析控制部进行的分析目的地选择处理的流程图。
19.图4是本发明的第二实施方式的信息处理装置的构成及使用方式的说明图。
20.图5是第二实施方式的信息处理装置的分析控制部进行的树势指标值划分判别处理的流程图。
具体实施方式
21.下面，参照附图，对本发明的实施方式进行说明。
22.《第一实施方式》
23.图1示出本发明的第一实施方式的信息处理装置10的构成及使用方式。
24.本实施方式的信息处理装置10是如下装置：基于从各用户的用户终端30经由互联网50发送来的植物栽培区域的拍摄结果，计算各用户的植物栽培区域中的与植物生长状态相关的指标值。如图示的那样，信息处理装置10具备多个图像分析部12、分析控制部13和栽
培区域管理数据库14。另外，信息处理装置10是如下装置：以使较高功能的计算机、例如具备高性能的一个或多个gpu(graphics processing unit，图像处理单元)的计算机作为具备多个图像分析部12、分析控制部13及栽培区域管理数据库14的装置发挥功能的方式进行编程。因此，省略信息处理装置10的具体硬件构成的说明。此外，以下，将信息处理装置10所具备的多个图像分析部12也表述为第一～第n图像分析部12(n是信息处理装置10所具备的图像分析部12的总数)。
25.栽培区域管理数据库14是用于管理与各用户的栽培区域相关的信息的数据库。在该栽培区域管理数据库14中还设定有各用户的认证用信息(例如用户id和密码)。
26.第i(i＝1～n)图像分析部12是如下单元：通过对植物栽培区域的拍摄结果(以下称为栽培区域图像)进行基于神经网络#i的分析，计算该栽培区域中的植物生长状态的指标值(以下称为状态指标值)。
27.更具体地说，如图2示意性地示出的那样，第i(i＝1～n)图像分析部12具备预处理部#i、神经网络(“nn”)#i、后处理部#i及学习处理部#i。
28.神经网络#i是输入纵向像素数hi、横向像素数wi的图像的cnn(convolutional neural network)等神经网络。神经网络#1～#n的输入图像尺寸确定为对于从1到n-1的各整数值j，h
j 1
/w
j 1
》hj/wj成立。另外，在由一个以上的gpu实现神经网络#1～#n的情况下，优选将神经网络#1～#n的输入图像尺寸(总像素数)预先设为能够充分发挥gpu的性能的尺寸。作为这种输入图像尺寸，能够例示在n＝3的情况下的h1＝256、w1＝256、h2＝128、w2＝512、h3＝64、w3＝1028。
29.预处理部#i(i＝1～n)是如下单元：从由分析控制部13(详细后述)提供的栽培区域图像中提取多个纵横比为hi：wi的图像作为处理对象，在将提取的各图像转换为纵向像素数hi、横向像素数wi的图像之后输入到神经网络#i。后处理部#i是如下单元：将按预处理部#i的每个图像的输入而从神经网络#i输出的指标值组的平均值作为关于处理对象区域的状态指标值而存储于栽培区域管理数据库14。
30.学习处理部#i(i＝1～n)是如下单元：将树势指标值分类为第i树势指标值划分的多个栽培区域图像以及应从各栽培区域图像求出的状态指标值用作教育数据，对神经网络#i进行教育。
31.在此，树势指标值是指表示栽培区域中的植物树势的程度(强弱)的值。作为树势指标值例如使用栽培区域中的植物的代表性高度(植物高度的平均值、最频值)。第一～第n树势指标值划分是指预先确定为伴随划分编号(第i树势指标值划分中的i值)变大而树势指标值变大(树势变强)的树势指标值划分。此外，“对神经网络#i进行教育”是指“确定神经网络#i的各节点的权重值及偏置值以使规定的评价函数为最小”。学习处理部#i与预处理部#i同样，构成为从栽培区域图像中提取多个纵横比为hi：wi的图像，在将提取的各图像转换为纵向像素数hi、横向像素数wi的图像后输入到神经网络#i。
32.分析控制部13是如下单元：通过伴随用户认证的处理，将从用户终端30发送来的栽培区域图像接收为关于应计算状态指标值的栽培区域(以下表述为处理对象区域)的栽培区域图像(以下表述为处理对象图像)。
33.在接收到处理对象图像的输入的情况下，该分析控制部13执行图3所示的步骤的分析目的地选择处理。
34.即，接收到处理对象图像的输入的分析控制部13首先通过分析处理对象图像，求出树势指标值(植物高度的平均值、最频值)(步骤s101)。接着，分析控制部13判别所求出的树势指标值从第一～第n树势指标值划分中被分类为哪一个(步骤s102)。并且，分析控制部13将处理对象图像供给到与判别结果对应的图像分析部12(步骤s103)。即，在树势指标值被分类为第k树势指标值划分的情况下，分析控制部13通过将处理对象图像供给到第k图像分析部12，使第k图像分析部12计算关于处理对象图像的状态指标值。并且，结束了步骤s103的处理的分析控制部13结束该分析目的地选择处理。
35.从以上的说明可知，本实施方式的信息处理装置10按树势指标值划分而具备用于计算关于栽培区域的状态指标值(栽培区域中的植物生长状态的指标值)的神经网络(图像分析部12)。此外，信息处理装置10具有如下构成：使用状态指标值的计算对象区域的树势越强而输入图像尺寸在纵向上越长的神经网络。为了以能够不依赖于植物的树势而准确地计算状态指标值的方式对一个神经网络进行教育，需要大量的图像，但是如果按树势指标值划分，设置输入图像尺寸根据树势指标值划分以上述方式变化的神经网络，则能够不使用不适合于该神经网络的教育的图像而对各神经网络进行教育。因此，在本实施方式的信息处理装置10中，以比较少量的图像完成各图像分析部12的神经网络的教育。
36.《第二实施方式》
37.图4示出本发明的第二实施方式的信息处理装置20的构成及使用方式。另外，本实施方式的信息处理装置20与信息处理装置10同样，是如下装置：基于从各用户的用户终端30经由互联网50发送来的植物栽培区域的拍摄结果，计算各用户的植物栽培区域中的与植物生长状态相关的指标值。
38.如图示的那样，信息处理装置20具备图像分析部22、分析控制部23和栽培区域管理数据库24。
39.栽培区域管理数据库24是用于管理与各用户的栽培区域相关的信息的数据库。在该栽培区域管理数据库24还设定有各用户的认证用信息(例如用户id和密码)。
40.图像分析部22是如下单元：通过分析植物栽培区域的拍摄结果(以下称为栽培区域图像)，计算该栽培区域中的植物生长状态的指标值(以下称为状态指标值)。如图示的那样，图像分析部22具备预处理部22a、fcn(fully convolutional network，全卷积网络)22b、后处理部22c及学习处理部22d。
41.fcn22b是全部由卷积层(convolutional layer)构成的能够输入各种尺寸的图像的神经网络。另外，在本实施方式的信息处理装置20中，该fcn22b由多个gpu实现。
42.预处理部22a是如下单元：从与划分编号i(1≤i≤n)一起从分析控制部23或学习处理部22d输入的栽培区域图像中提取多个纵横比为hi：wi的图像，在将提取的各图像转换为纵向像素数hi、横向像素数wi的图像后输入到fcn22b。
43.与某个栽培区域图像一起输入到该预处理部22a的划分编号i是表示关于该栽培区域图像的树势指标值所属的树势指标值划分是第一～第n树势指标值划分中的哪一个的值(第i树势指标值划分中的i值)。另外，树势指标值是指表示栽培区域中的植物树势的程度(强弱)的值。作为树势指标值，例如使用栽培区域中的植物的代表性高度(植物高度的平均值、最频值)。
44.第一～第n树势指标值划分预先确定为伴随划分编号变大而树势指标值变大(树
势变强)。此外，如果将从第i(1≤i≤n)树势指标值划分的栽培区域图像中提取的图像的纵向像素数、横向像素数分别表述为hi、wi，则从第一～第n树势指标值划分的栽培区域图像中提取的图像的尺寸确定为对于从1到n-1的各整数值j，h
j 1
/w
j 1
》hj/wj成立。此外，hi、wi(i＝1～n)也确定为不依赖于i值而“hi×wi”为固定值。
45.后处理部22c是如下单元：在预处理部22a处理关于从分析控制部23输入的某个栽培区域的栽培区域图像的期间，将从fcn22b输出的指标值组的平均值作为关于该栽培区域的状态指标值而存储于栽培区域管理数据库24。
46.学习处理部22d是如下单元：将多个栽培区域图像以及应从各栽培区域图像求出的状态指标值用作教育数据，对fcn22b进行教育。在此，“对fcn22b进行教育”是指确定fcn22b的各节点的权重值及偏置值以使规定的评价函数为最小。此外，学习处理部22d构成为通过与后述的树势指标值划分判别处理(图5)同样的步骤，判别各栽培区域图像所属的树势指标值划分的划分编号，将判别结果与各栽培区域图像一起供给到预处理部22a，由此对fcn22b进行教育。
47.分析控制部23是如下单元：通过伴随用户认证的处理，将从用户终端30发送来的栽培区域图像接收为关于应计算状态指标值的栽培区域(以下表述为处理对象区域)的栽培区域图像(以下表述为处理对象图像)。
48.在接收到处理对象图像的输入的情况下，该分析控制部23执行图5所示的步骤的树势指标值划分判别处理。
49.即，接收到处理对象图像的输入的分析控制部23首先通过分析处理对象图像，求出树势指标值(植物高度的平均值、最频值)(步骤s201)。接着，分析控制部23判别所求出的树势指标值从第一～第n树势指标值划分中被分类为哪一个(步骤s202)。并且，分析控制部23通过将判别结果(树势指标值划分编号)和处理对象图像供给到图像分析部22(预处理部22a)(步骤s203)，使图像分析部22计算关于处理对象图像的状态指标值。并且，结束了步骤s203的处理的析控制部23结束该树势指标值划分判别处理。
50.本实施方式的信息处理装置20具有以上说明的构成。并且，如果从拍摄了植物栽培区域的多个栽培区域图像的每一个中提取与栽培区域图像内的植物的树势所属的树势指标值划分对应的尺寸的图像并输入到fcn22b，则能够不使用不适合于教育的图像对fcn22b进行教育，因此在本实施方式的信息处理装置20中，也以比较少量的图像完成各图像分析单元的神经网络(fcn22b)的教育。
51.《变形例》
52.上述信息处理装置10、20能够进行各种变形。例如，在各神经网络的教育中需要比信息处理装置10多的图像，但是也可以将第一实施方式的信息处理装置10变形为各图像分析部12的神经网络的输入图像尺寸相同的装置。
53.也可以将信息处理装置20变形为通过包含一个(一种)卷积层和多个全结合层(dense layer，致密层)的神经网络来计算状态指标值的装置。此外，信息处理装置10、20是通过分析栽培区域图像来求出树势指标值的装置，但是也可以将信息处理装置10变形为从用户终端30输入的栽培区域图像及树势指标值的装置。
54.《附记》
55.一种信息处理装置(10)，其特征在于，具备：
56.第一～第n图像分析部(12)，是通过对拍摄了植物栽培区域的栽培区域图像进行基于神经网络的分析，计算所述栽培区域中的作为植物生长状态的指标值的状态指标值的第一～第n(≥2)图像分析部(12)，分别包括通过规定的树势指标值被分类为第一～第n树势指标值划分的多个栽培区域图像而进行了教育的神经网络；以及
57.选择部(13)，接收应计算所述状态指标值的栽培区域图像的输入，使所述第一～第n图像分析部中的、通过被分类为与该栽培区域图像相同的树势指标值划分的多个栽培区域图像而进行了教育的图像分析部(12)分析输入的栽培区域图像。
58.一种信息处理装置(20)，其特征在于，计算作为植物生长状态的指标值的状态指标值，所述信息处理装置(20)具备：
59.用于计算所述状态指标值的神经网络(22b)，所述神经网络(22b)通过从拍摄了所述植物栽培区域的多个栽培区域图像的每一个中提取第一～第n(≥2)树势指标值划分中的、与所述栽培区域图像内的所述植物的树势所属的树势指标值划分对应的尺寸的图像并输入而进行了教育；以及
60.计算单元(22a、23)，通过从应计算所述状态指标值的栽培区域图像中提取与该栽培区域图像内的所述植物的树势所属的树势指标值划分对应的尺寸的图像并输入到所述神经网络(22b)，计算所述状态指标值。
61.符号说明
62.10、20 信息处理装置
63.12、22 图像分析部
64.13、23 分析控制部
65.14、24 栽培区域管理数据库
66.30 用户终端
67.50 互联网