图像识别方法以及图像识别装置与流程

1.本发明的一个方面涉及图像识别方法以及图像识别装置。


背景技术：

2.作为与识别特定图像的图像识别方法相关的技术，例如公知有专利文献1所记载的信息处理装置。专利文献1所记载的信息处理装置从输入的图像提取部分图像。比较提取出的部分图像与已经登录的部分图像，判定是否类似。
3.专利文献1：日本专利第5082512号公报
4.在上述那样的技术中，基于是否包含特定图像的各图像特征来进行图像识别，所以即使是通过人的目视观察能够容易地辨别为与特定图像不同的图像的图像，若包含多个相同的图像特征，则也存在误识别为特定图像的可能性。


技术实现要素：

5.本发明的一个方面的目的在于提供一种能够以高准确度识别特定图像的图像识别方法以及图像识别装置。
6.本发明的一个方面的图像识别方法是识别特定图像的方法，其具备以下工序：从特定图像检测多个图像特征，将检测出的多个该图像特征的各个作为成分存储于存储器的第一工序；从输入图像检测多个图像特征，从存储器选出与检测出的多个该图像特征的各个对应的成分的第二工序；使用在第二工序中选出的多个成分生成复原图像的第三工序；以及通过匹配处理判定在第三工序中生成的复原图像是否与输入图像一致，在判定为复原图像与输入图像一致的情况下，识别为输入图像是特定图像的第四工序。
7.在该图像识别方法中，在生成复原图像时，使用从特定图像检测出的成分。因此，在作为输入图像输入了特定图像以外的情况下，无法作为复原图像正确地生成输入图像。因此，判定输入图像与复原图像是否一致，从而能够以高准确度判定输入图像与特定图像的一致或不一致(输入图像使特定图像还是其以外)。即、能够以高准确度识别特定图像。
8.在本发明的一个方面的图像识别方法中，也可以在第一工序中，作为标签对多个成分的各个赋予成分标签，将成分标签与成分一起存储于存储器，也可以在第二工序中，作为标签对多个图像特征的各个赋予选出用标签，选出与选出用标签一致的成分标签的成分。由此，能够高效地执行复原图像的生成处理。
9.在本发明的一个方面的图像识别方法中，第二工序也可以包含从作为距离图像的拍摄图像提取输入图像的图像提取工序，也可以在图像提取工序中，将拍摄图像中的进深距离是规定范围内的点群作为对象，将拍摄图像中的该对象的图像作为输入图像而提取。由此，能够从拍摄图像生成输入图像。
10.在本发明的一个方面的图像识别方法中，也可以在第二工序中，检测多个图像特征各自的特征强度，也可以在第三工序中，还使用在第二工序中检测出的多个特征强度生成复原图像。由此，能够高精度地生成复原图像。
11.在本发明的一个方面的图像识别方法中，特定图像也可以是沿着预先决定的行驶路行驶的行驶车的车体的至少一部分的图像。在该情况下，能够将本发明的一个方面的图像识别方法应用于行驶车的车体的图像识别。
12.本发明的一个方面的图像识别装置是识别特定图像的装置，其具备：存储器，其将从特定图像检测出的多个图像特征的各个作为成分而预先存储；特征检测部，其从输入图像检测多个图像特征；复原部，其从存储器选出与由特征检测部检测出的多个该图像特征的各个对应的成分，使用选出的多个成分生成复原图像；以及判定部，其通过匹配处理判定由复原部生成的复原图像是否与输入图像一致，在判定为复原图像与输入图像一致的情况下，识别为输入图像是特定图像。
13.在该图像识别装置中，在生成复原图像时，使用从特定图像检测出的成分。因此，在作为输入图像输入了特定图像以外的情况下，无法正确地生成输入图像作为复原图像。因此，判定输入图像是否与复原图像一致，从而能够以高准确度判定输入图像与特定图像的一致或不一致(输入图像是特定图像还是其以外)。即、能够以高准确度识别特定图像。
14.在本发明的一个方面的图像识别装置中，存储器也可以将赋予给多个成分的各个的标签作为成分标签与成分一起进行预先存储，特征检测部也可以作为标签对多个图像特征的各个赋予选出用标签，复原部也可以选出与选出用标签一致的成分标签的成分。由此，能够高效地执行复原图像的生成处理。
15.本发明的一个方面的图像识别装置也可以具备从作为距离图像的拍摄图像提取输入图像的图像提取部，图像提取部也可以将拍摄图像中的进深距离是规定范围内的点群作为对象，将拍摄图像中的该对象的图像作为输入图像而提取。由此，能够从拍摄图像生成输入图像。
16.在本发明的一个方面的图像识别装置中，特征检测部也可以检测多个图像特征各自的特征强度，复原部也可以还使用由特征检测部检测出的多个特征强度生成复原图像。由此，能够高精度地生成复原图像。
17.在本发明的一个方面的图像识别装置中，特定图像也可以是沿着预先决定的行驶路行驶的行驶车的车体的至少一部分的图像。在该情况下，能够将本发明的一个方面的图像识别装置应用于行驶车的车体的图像识别。
18.根据本发明的一个方面，能够提供一种能够以高准确度识别特定图像的图像识别方法以及图像识别装置。
附图说明
19.图1是表示应用一实施方式的图像识别装置的行驶车系统的简要俯视图。
20.图2是从行驶方向观察图1的行驶车的正面简图。
21.图3是表示图1的行驶车系统的功能结构的框图。
22.图4是说明通过图3的图像识别装置的特征检测部从输入图像检测多个图像特征的一个例子的图。
23.图5是说明通过图3的图像识别装置的复原部生成复原图像的一个例子的图。
24.图6是表示一实施方式的图像识别方法的流程图。
25.图7的(a)是表示拍摄图像的一个例子的图。图7的(b)是表示进深距离数据的一个
例子的图。
26.图8的(a)是表示输入图像的一个例子的图。图8的(b)是表示从图8(a)的输入图像复原出的复原图像的图。
27.图9的(a)是表示输入图像的一个例子的图。图9的(b)是表示从图9的(a)的输入图像复原出的复原图像的图。
28.图10的(a)是表示输入图像的一个例子的图。图10的(b)是表示从图10的(a)的输入图像复原出的复原图像的图。图10的(c)是表示输入图像的一个例子的图。图10的(d)是表示从图10的(c)的输入图像复原出的复原图像的图。图10的(e)是表示输入图像的一个例子的图。
29.图10的(f)是表示从图10的(e)的输入图像复原出的复原图像的图。
30.图10的(g)是表示输入图像的一个例子的图。图10的(h)是表示从图10的(g)的输入图像复原出的复原图像的图。图10的(i)是表示输入图像的一个例子的图。图10的(j)是表示从图10的(i)的输入图像复原出的复原图像的图。
具体实施方式
31.以下，参照附图详细地说明一实施方式。在以下的说明中，对相同或者相当要素标注相同的附图标记，并省略重复的说明。
32.本实施方式的图像识别装置被应用于行驶车系统。因此，首先，对行驶车系统进行说明。如图1所示，行驶车系统1是使用能够沿着轨道4移动的行驶车6，在载置部9、9间输送物品10的系统。物品10例如包含收纳多个半导体晶片的foup(front opening unified pod：前开式联合吊舱)以及收纳玻璃基板的划线器盒等那样的容器、以及一般部件等。行驶车系统1具备：轨道4、多个行驶车6、多个载置部9以及系统控制部60。
33.如图2所示，轨道4例如敷设在工厂等中的作业者的头上空间亦即天花板附近。轨道4例如从天花板悬挂。轨道4是用于使行驶车6行驶的预先决定的行驶路。轨道4例如是单行道的行驶路。轨道4被支柱40、40支承。
34.行驶车6沿着轨道4行驶，输送物品10。行驶车6构成为能够移载物品10。行驶车6是顶棚行驶式无人输送车(桥式吊车)。行驶车系统1具备的行驶车6的台数没有被特别限定，是多个。如图2所示，行驶车6具有车体2。车体2包含行驶部18、主体部7、拍摄部8以及行驶车控制部50(参照图3)。
35.主体部7具有：主体框架22、横向输送部24、θ驱动器26、升降驱动部28、升降台30以及防止落下罩33。行驶部18包含马达等而构成，使行驶车6沿着轨道4行驶。行驶部18具有例如通过非接触供电从轨道4侧受电的受电通信部20。
36.横向输送部24将θ驱动器26、升降驱动部28以及升降台30统一地沿与轨道4的行进方向垂直的方向横向输送。θ驱动器26使升降驱动部28以及升降台30中的至少任一个在水平面内在规定的角度范围内转动。升降驱动部28通过卷绕或放出钢丝绳、绳索以及带等吊持材料使升降台30升降。在升降台30设置有卡盘，能够进行物品10的把持或者释放。防止落下罩33例如在行驶车6的行驶方向的前后设置有一对。防止落下罩33使未图示的爪等伸缩，而防止在输送中物品10的落下。
37.如图1以及图2所示，载置部9沿着轨道4而配置，并设置于能够在其与行驶车6之间
进行物品10的交接的位置。载置部9包含缓冲器以及交接端口。缓冲器是临时载置物品10的载置部。缓冲器是例如在由于在作为目的交接端口载置有其它物品10的理由等，无法将行驶车6输送的物品10载置在该交接端口的情况下，临时放置物品10的载置部。交接端口是用于对例如以清洗装置、成膜装置、光刻装置、蚀刻装置、热处理装置、平坦化装置为代表的半导体的处理装置进行物品10的交接的载置部。例如，载置部9配置于轨道4的侧方。此外，载置部9也可以配置于轨道4的正下方。
38.拍摄部8拍摄自身的行驶车6的前方，并取得包含位于自身的行驶车6的前方的行驶车6的拍摄图像。这里的拍摄图像是距离图像。拍摄部8配置在设置于行驶车6的前侧的防止落下罩33。拍摄部8将拍摄出的拍摄图像向行驶车控制部50发送。作为拍摄部8没有被特别限定，也可以采用各种公知装置。例如，拍摄部8也可以以立体视觉方式取得距离图像。此外，距离图像也被称为三维距离图像、具有三维信息的图像。
39.如图2以及图3所示，行驶车控制部50是由cpu(central processing unit：中央处理器)、rom(read only memory：只读存储器)以及ram(random access memory：随机存取存储器)等构成的电子控制单元。行驶车控制部50控制行驶车6的各种动作。具体而言，行驶车控制部50控制行驶部18、横向输送部24、θ驱动器26、升降驱动部28以及升降台30。行驶车控制部50例如能够构成为将存储于rom的程序加载在ram上并由cpu执行的软件。行驶车控制部50也可以构成为基于电子电路等的硬件(计算机)。行驶车控制部50利用轨道4的通信线(馈电线)等，与系统控制部60进行通信。
40.系统控制部60是由cpu、rom以及ram等构成的电子控制单元。系统控制部60例如能够构成为将存储于rom的程序加载到ram上并由cpu执行的软件。系统控制部60也可以构成为基于电子电路等的硬件(计算机)。系统控制部60向行驶车6发送输送物品10的输送指令。本实施方式的系统控制部60构成图像识别装置100。以下，对图像识别装置100进行说明。该图像识别装置100也可以设置于行驶车6。
41.图像识别装置100是识别作为特定的图像的特定图像的装置。作为一个例子，特定图像是行驶车6的车体2的图像。图像识别装置100具备存储器m、图像提取部61、特征检测部62、复原部63以及判定部64。
42.存储器m将从特定图像检测(抽出)的多个图像特征的各个作为成分预先存储。作为从特定图像检测多个图像特征的方法没有被特别限定，能够采用各种公知方法。例如，也可以使特定图像通过图像滤波器，从而检测多个图像特征。存储器m将赋予给多个成分的各个的标签作为成分标签与成分一起预先存储。成分如后所述，作为由复原部63进行的图像复原的种子发挥功能。
43.图像特征构成图像的特征，也被称为图像的特征量或者特征点。多个成分的取得也可以利用由使用了l2范数的深度学习而得到的学习完毕模型(ai；人工知能)来进行。标签表示用于识别赋予对象的信息。作为标签没有被特别限定，例如是编号。
44.图像提取部61从拍摄图像提取输入图像。具体而言，图像提取部61将拍摄图像中的进深距离在规定范围内的点群(具有相似距离的点的块)作为对象(物体候补)。图像提取部61将拍摄图像中的该对象的图像作为输入图像而提取。规定范围没有被特别限定，可以预先设定。从拍摄图像的输入图像的提取也可以利用由深度学习而得到的学习完毕模型(ai；人工知能)、例如yolov3等来进行。
45.特征检测部62从输入图像检测多个图像特征。作为从输入图像检测多个图像特征的方法没有被特别限定，能够采用各种公知方法。例如，特征检测部62也可以使输入图像通过图像滤波器，从而检测多个图像特征。特征检测部62作为标签对多个图像特征的各个赋予选出用标签。特征检测部62检测多个图像特征各自的特征强度。特征强度是表示该图像特征与输入图像相关的强度的指标。特征强度能够表示在输入图像中图像特征所贡献的程度。
46.复原部63从存储器m选出与由特征检测部62检测出的多个图像特征的各个对应的成分。复原部63从存储器m选出与由特征检测部62检测出的多个图像特征的选出用标签一致的成分标签的成分。复原部63使用选出的多个成分生成复原图像。复原部63还使用由特征检测部62检测出的多个图像特征的特征强度生成复原图像。作为使用多个成分生成复原图像的方法没有被特别限定，能够使用各种公知方法、例如由深度神经网络构成的自动编码器等。
47.判定部64通过匹配处理判定由复原部63生成的复原图像是否与输入图像一致。判定部64在判定为复原图像与输入图像一致的情况下，识别为输入图像是特定图像。作为匹配处理没有被特别限定，能够使用各种公知方法、例如l2范数等。判定部64也可以计算复原图像相对于输入图像的类似度，在该类似度大于阈值的情况下，判定为复原图像与输入图像一致。
48.接下来，参照图4对通过特征检测部62从输入图像检测多个图像特征的一个例子进行说明。
49.如图4所示，在这里的说明中，方便起见，作为输入图像使用了“数字的7”的图像。由特征检测部62从输入图像i1检测多个图像特征。在图示的例子中，检测出选出用标签ls为“20”的图像特征g1、选出用标签ls为“27”的图像特征g2、选出用标签ls为“51”的图像特征g3以及选出用标签ls为“58”的图像特征g4。而且，将它们作为图像特征的检测结果h而取得。在图像特征的检测结果h中，图像特征g1～g4各个的特征强度表示为明度。这样，能够从输入图像i1机械地检测多个图像特征g1～g4。
50.接下来，参照图5对基于多个图像特征g1～g4通过复原部63复原图像的一个例子进行说明。
51.如图5所示，通过复原部63，基于图像特征的检测结果h，从存储器m选出与多个图像特征g1～g4(参照图4)的选出用标签ls一致的成分标签lp的成分p1～p4。通过复原部63，使用所选出的多个成分p1～p4生成复原图像o1。这样，能够从多个图像特征g1～g4对复原图像o1进行复原。
52.接下来，对通过图像识别装置100实施的图像识别方法进行说明。
53.图像识别方法是识别特定图像的方法。如图6所示，首先，从特定图像检测多个图像特征，将检测出的多个该图像特征的各个作为成分存储于存储器m(存储工序：步骤s1)。在存储工序中，作为标签对多个成分分别赋予成分标签，将成分标签与成分一起存储于存储器m。
54.接着，从由拍摄部8取得的拍摄图像，通过图像提取部61提取输入图像(图像提取工序：步骤s2)。在图像提取工序中，将拍摄图像中的进深距离为规定范围内的点群作为对象，将拍摄图像中的该对象的图像提取为输入图像。
55.接着，通过特征检测部62，从由图像提取工序提取出的输入图像，检测多个图像特征(图像特征检测工序：步骤s3)。在图像特征检测工序中，作为标签对多个图像特征的各个赋予选出用标签。在图像特征检测工序中，检测多个图像特征各自的特征强度。
56.接着，通过复原部63，从存储器m选出与在图像特征检测工序中检测出的多个图像特征的各个对应的成分(成分选出工序：步骤s4)。在成分选出工序中，选出与选出用标签一致的成分标签的成分。
57.接着，通过复原部63，使用在成分选出工序中选出的多个成分，生成复原图像(复原工序：步骤s5)。在复原工序中，还使用在图像特征检测工序中检测出的多个特征强度来生成复原图像。最后，由判定部64，通过匹配处理判定在复原工序中生成的复原图像是否与输入图像一致(判定工序：步骤s6)。在判定工序中，在判定为复原图像与输入图像一致的情况下，识别为输入图像是特定图像。
58.在上述中，存储工序构成第一工序，图像提取工序、图像特征检测工序以及成分选出工序构成第二工序，复原工序构成第三工序，判定工序构成第四工序。
59.接下来，对通过上述图像识别方法识别特定图像的情况下的一个例子进行说明。以下，例示了将行驶车6的车体2识别为特定图像的情况。
60.如图7的(a)所示，通过拍摄部8，取得包含位于自身的行驶车6的前方的行驶车6的拍摄图像k1。如图7的(b)所示，通过图像提取部61，计算拍摄图像k1中的进深距离数据k2，将该进深距离为规定范围内的点群作为对象ob。如图7的(a)以及图8的(a)所示，将拍摄图像k1中的该对象ob的图像作为输入图像i2而提取。
61.如图8的(b)所示，通过特征检测部62从输入图像i2检测多个图像特征，通过复原部63生成复原图像o2。由判定部64利用匹配处理判定复原图像o2是否与输入图像i2一致。在图8的(a)以及图8的(b)所示的例子中，判定为复原图像o2与输入图像i2一致(类似度是阈值以上)，识别为输入图像i2是特定图像(行驶车6的车体2的图像)。
62.另一方面，如图9的(a)所示，在行驶车6的车体2以外的图像(例如用户的身体等的图像)作为输入图像i3而被输入的情况下，如图9的(b)所示，由复原部63生成的复原图像o3并不是复原输入图像i3的图像，具有显著的图像的损坏以及模糊。因此在该例中，判定为复原图像o2与输入图像i2不一致(类似度小于阈值)，不识别为输入图像i3是特定图像(行驶车6的车体2的图像)。
63.图10的(a)～图10的(j)是说明特征检测部62以及复原部63对噪声的鲁棒性的各图。根据图像识别装置100以及其图像识别方法，能够通过特征检测部62从输入图像i4(参照图10的(a))检测多个图像特征，能够通过复原部63生成复原图像o4(参照图10的(b))。能够通过特征检测部62从输入图像i5(参照图10的(c))检测多个图像特征，能够通过复原部63生成复原图像o5(参照图10的(d))。能够通过特征检测部62从输入图像i6(参照图10的(e))检测多个图像特征，能够通过复原部63生成复原图像o6(参照图10的(f))。能够通过特征检测部62从输入图像i7(参照图10的(g))检测多个图像特征，能够通过复原部63生成复原图像o7(参照图10的(h))。能够通过特征检测部62从输入图像i8(参照图10的(i))检测多个图像特征，能够通过复原部63生成复原图像o8(参照图10的(j))。基于上述结果，根据图像识别装置100以及其图像识别方法，即使输入图像i4～i8具有噪声，也能够确认具有捕捉特征的能力，并高精度地生成复原图像o4～o8。
64.以上，在图像识别装置100以及其图像识别方法中，在生成复原图像时，使用了从特定图像检测出的成分。因此，用以下的(i)、(ii)以及(iii)所示的图案进行图像的复原。
65.(i)在特定图像为输入图像的情况下，输入图像作为复原图像被高精度地复原。
66.(ii)在输入了特定图像以外的输入图像的情况下，输入图像与复原图像不一致。
67.(iii)特别是，在虽具有特定图像的图像特征但并不是特定图像的不正确图像作为输入图像而被输入的情况下，输入图像与复原图像不一致，作为复原图像复原特定图像。
68.因此，根据图像识别装置100以及其图像识别方法，判定输入图像i1～i8是否与复原图像o1～o8一致，从而能够以高准确度判定输入图像i1～i8与特定图像一致或不一致(输入图像i1～i8是特定图像还是其以外)。即、能够以高准确度识别特定图像。在对于输入图像i1～i8若满足特定图像的图像特征则仅判定为是特定图像，在上述(iii)的情况会发生误识别，但图像识别装置100以及其图像识别方法能够避免那样的误识别。
69.在图像识别装置100以及其图像识别方法中，作为标签对多个成分p1～p4的各个赋予成分标签lp，将成分标签lp与成分p1～p4一起存储于存储器m。作为标签对多个图像特征g1～g4的各个赋予选出用标签ls，选出与选出用标签ls一致的成分标签lp的成分p1～p4。由此，能够高效地执行复原图像o1～o8的生成处理。
70.在图像识别装置100以及其图像识别方法中，从作为距离图像的拍摄图像k1提取输入图像i2。具体而言，将拍摄图像k1中的进深距离为规定范围内的点群作为对象ob，将拍摄图像k1中的该对象ob的图像作为输入图像i2而提取。由此，能够从拍摄图像k1生成输入图像i2。
71.在图像识别装置100以及其图像识别方法中，检测多个图像特征g1～g4各自的特征强度，进一步使用检测出的多个特征强度生成复原图像o1～o8。由此，能够高精度地生成复原图像o1～o8。
72.在图像识别装置100以及其图像识别方法中，特定图像是行驶车6的车体2的图像。在该情况下，能够将图像识别装置100以及其图像识别方法应用于行驶车6的车体2的图像识别。此外，特定图像可以是行驶车6的车体2的整体，也可以是行驶车6的车体2的至少一部分的图像。
73.以上，虽说明了一实施方式，但本发明的一实施方式并不限于上述实施方式，在不脱离发明的宗旨的范围内，能够进行各种改变。
74.在上述实施方式中，虽例示了将图像识别装置100应用于行驶车系统1，识别行驶车6的车体2的情况，但图像识别装置100也可以应用于其它的各种装置或系统，也可以将各种对象物的图像作为特定图像。例如，也可以将图像识别装置100应用于自动络纱机，将卷绕的卷装的图像作为特定图像。例如，也可以将图像识别装置100应用于车床，将加工产品的合格品的图像作为特定图像，从而用于加工产品的优劣判断。例如，也可以将图像识别装置100应用于从由扫描仪读取出图像提取特定图像的区域。
75.在上述实施方式中，虽从作为距离图像的拍摄图像提取输入图像，但也可以没有这样的图像提取工序以及图像提取部61。作为拍摄部8，例如也可以使用一般的单眼照相机。输入图像可以是距离图像，也可以是二维图像。
76.在上述实施方式以及变形例的行驶车系统1中，作为行驶车6的一个例子虽举例说明了桥式吊车，但在行驶车6的其它的例子中包含在配设在地上或者架台的轨道上行驶的
无人行驶车以及塔式起重机等。
77.附图标记的说明
[0078]2…
车体，4
…
轨道(行驶路)，6
…
行驶车，61
…
图像提取部，62
…
特征检测部，63
…
复原部，64
…
判定部，100
…
图像识别装置，g1～g4
…
图像特征，i1～i8
…
输入图像，k1
…
拍摄图像，ls
…
选出用标签，lp
…
成分标签，m
…
存储器，o1～o8
…
复原图像，ob
…
对象，p1～p4
…
成分。