搬运系统、输送系统、控制装置、存储介质以及搬运方法与流程

搬运系统、输送系统、控制装置、存储介质以及搬运方法
1.本技术以日本专利申请2021-094490(申请日：06/04/2021)为基础，并享有该申请的优先权。本技术通过参照该申请而包含该申请的全部内容。
技术领域
2.本发明的实施方式涉及搬运系统、输送系统、控制装置、存储程序的非易失性的能够由计算机读取的存储介质、以及搬运方法。


背景技术：

3.以往，已知一种末端执行器保持对象物的搬运装置。在物流现场的移载动作的自动化中，要求能够保持具有多种多样的形状、大小、重量的对象物。在使用搬运装置保持这些对象物时，在保持位置、保持方法、机械臂的姿势等保持策略的决定上需要大量的运算。当对象物的装载状态复杂时，决定保持策略所需的运算的所需时间变长。
4.另外，在选择性地使用多个保持用工具进行作业的情况下，当保持方法的切换次数过多时，作业整体所需的时间有可能延长与工具的更换动作相应的量。此外，在像作为保持对象的物体密集的情况这样保持操作失败的概率高的状况下，作业整体所需的时间有可能延长与保持失败相应的量。其结果，系统的吞吐量可能降低。


技术实现要素：

5.发明要解决的问题
6.本发明要解决的课题在于，提供提高系统的吞吐量的搬运系统、输送系统、控制装置、程序以及搬运方法。
7.实施方式的搬运系统是能够进行多个物体的搬运的搬运系统，其具有可动臂、保持部、传感器以及控制部。保持部安装于可动臂，能够保持物体。传感器能够检测物体。控制部控制可动臂和保持部。控制部基于从传感器获取的信息，判断在保持物体之前是否进行物体的配置变更，在判断为进行物体的配置变更的情况下，针对每个物体评价配置变更操作的有效性，基于评价的结果决定配置变更操作。
8.根据上述结构的搬运系统，能够提高系统的吞吐量。
附图说明
9.图1是示意性地表示包含第1实施方式的搬运系统的输送系统的立体图。
10.图2是表示包含第1实施方式的搬运系统的输送系统的系统结构的框图。
11.图3是第1实施方式的控制装置的控制流程图。
12.图4是表示通过“夹持”来保持物体o的情况下的物体的图像数据中的临时遮蔽区域的图。
13.图5是表示物体的图像数据中的遮蔽区域的图。
14.图6是表示物体的深度图像的图。
15.图7是说明物体的三维位置和姿势的图。
16.图8是表示附加了与三维位置和姿势相关的信息的遮蔽区域的图。
17.图9是由第1实施方式的控制装置进行的保持策略计划工序的控制流程图。
18.图10是表示配置变更操作的一例的示意图。
19.图11是表示配置变更操作的一例的示意图。
20.图12是表示配置变更操作的一例的示意图。
21.图13是表示配置变更操作的一例的示意图。
22.图14是第2实施方式的控制装置的控制流程图。
23.图15是第3实施方式的控制装置的保持策略计划工序的控制流程图。
具体实施方式
24.以下，参照附图对实施方式的搬运系统、输送系统、控制装置、存储介质以及搬运方法进行说明。
25.此外，在以下的说明中，对具有相同或类似的功能的结构标注相同的附图标记。并且，有时省略这些结构的重复说明。另外，本技术中记载的“基于xx”是指“至少基于xx”，也包含除了xx之外还基于其他要素的情况。另外，“基于xx”并不限定于直接使用xx的情况，也包含基于对xx进行运算、加工后的情况。“xx”为任意的要素(例如任意的信息)。
26.(第1实施方式)
27.参照图1～图13，对一个实施方式进行说明。图1是示意性地表示包含本实施方式的搬运装置10(“搬运系统”的一例)的输送系统1的立体图。
28.输送系统1例如是物流用的搬运系统(分拣系统)。输送系统1使位于移动源v1的物体(保持对象物、输送对象物)o向移动目的地v2移动。例如，输送系统1进行将收纳于移动源v1等的多种物体o取出指定的数量并装载于移动目的地v2的作业。
29.移动源v1例如是各种输送机、各种运货板(pallet)、或者如搬运箱(tote)、折叠容器那样的容器等。“容器”广义上是指能够收纳物体o的构件(例如箱状的构件)。但是，移动源v1并不限定于上述例子。在以下的说明中，有时将“移动源v1”称为“取出源容器v1”。
30.在移动源v1随机放置有大小、重量不同的多种物体o。例如，作为保持对象的物体o在物体o表面的至少一部分具有凹凸形状。在本实施方式中，物体o的外形形状从5cm见方那样的小的外形形状到30cm见方那样的大的外形形状是多种多样的。另外，物体o从数十g那样轻的物体到数kg那样重的物体是多种多样的。但是，物体o的大小、重量并不限定于上述例子。
31.移动目的地v2例如是搬运箱、折叠容器那样的容器。但是，移动目的地v2并不限定于上述例子。在以下的说明中，有时将“移动目的地v2”称为“输送目的地容器v2”，将“移动源v1”和“移动目的地v2”总称为“容器”。此外，输送系统1也可以使物体o向容器以外的移动目的地v2移动。
32.输送系统1并不限定于物流用的搬运系统。输送系统1也能够广泛应用于工业用机器人系统、其他系统等。本技术中记载的“输送系统”、“搬运系统”以及“搬运装置”并不限定于以物体的输送为主要目的的系统、装置，也包含作为产品组装、其他目的的一部分而伴随有物体的输送(移动)的系统、装置。
33.如图1所示，输送系统1具有搬运装置10、传感器11以及控制装置12(“控制部”的一例)。控制装置12可以组装于搬运装置10。
34.搬运装置10例如是机器人装置。搬运装置10保持位于取出源容器v1的物体o，使所保持的物体o向输送目的地容器v2(保管区域)移动。搬运装置10能够通过有线方式或无线方式与控制装置12通信。在本实施方式中，搬运装置10具有第1搬运装置10a和第2搬运装置10b。
35.第1搬运装置10a例如具有可动臂100和设置于可动臂100的前端的第1保持部200a。
36.可动臂100是使第1保持部200a向所期望的位置移动的移动机构。例如，可动臂100是6轴的垂直多关节机械臂。可动臂100能够采取各种位置姿势。与人的手臂或手同样地，可动臂100也能够采取用于保持物体的更多种的姿势。可动臂100例如包含多个臂构件101和将多个臂构件101能够转动地连结的多个转动部102。
37.可动臂100也可以是3轴的正交机械臂。可动臂100也可以是通过其他结构使第1保持部200a向所期望的位置移动的机构。例如，可动臂100也可以是通过旋转翼来提起第1保持部200a并使其移动的飞行体(例如无人机)等。
38.第1保持部200a是保持位于取出源容器v1的物体o的保持机构(末端执行器)。第1保持部200a具有夹持机械手202。
39.夹持机械手202是以两根手指夹着并把持物体o的夹持器型机械手，设置于可动臂100的前端。夹持机械手202的结构并不限定于此，例如也可以是利用三根手指夹着并把持物体o的夹持器型机械手。
40.此外，第1保持部200a也可以是具有吸引装置和与吸引装置连通的吸附部并且通过夹持和/或吸附来保持物体o的混合型机械手。在该情况下，吸附部能够设置于夹持机械手202的手指前端。吸附部也可以在夹持机械手202的手指前端设置有多个。
41.第2搬运装置10b例如具有臂(第2臂)100和设置于可动臂100的前端的第2保持部200b。第2搬运装置10b的可动臂100具有与第1搬运装置10a的可动臂100相同的结构。
42.第2保持部200b是保持位于取出源容器v1的物体o的保持机构(末端执行器)。例如，第2保持部200b具有吸引装置203和与吸引装置203连通的吸附部205。第2保持部200b是通过吸附来保持物体o的吸附型机械手。
43.第2保持部200b也可以是通过其他保持方法来保持物体o的机构。例如，第2保持部200b也可以是能够利用磁力来保持物体o的保持部。例如，第2保持部200b也可以是由装满粉体的柔软膜以及从柔软膜内抽出空气的真空泵构成的、能够利用阻塞(jaming)现象来保持物体o的保持部(例如阻塞夹持器)。
44.吸引装置203例如是真空泵。吸引装置203经由软管等与多个吸附部205分别连通。通过驱动吸引装置203，各吸附部205内的压力变得比大气压低，由吸附部205吸附保持物体o。
45.吸附部205设置于第2保持部200b的前端。例如，吸附部205在第2保持部200b的前端设置有多个。吸附部205具有比位于取出源容器v1的最小的物体o小的外形。第2搬运装置10b仅使用从多个吸附部205中选择出的一个以上的吸附部205来吸附保持物体o。
46.在以下的说明中，将“第1保持部200a”和“第2保持部200b”统称为“保持部200”。
即，“保持部200”包括“第1保持部200a”和“第2保持部200b”。此外，在此将第1保持部200a作为夹持型机械手、将第2保持部200b作为吸附型机械手进行了说明，但保持部200的结构并不限定于具有各一个上述那样的夹持型机械手的第1保持部200a和吸附型机械手的第2保持部200b的结构。在本实施方式中，也包含第1保持部200a和第2保持部200b两者均为夹持型机械手或者吸附型机械手的情况。在该情况下，保持部200例如也可以是具有结构、构造、形状、尺寸、配置等特性中的至少任一个特性不同的多个夹持型机械手的结构。具体而言，例如，第1保持部200a和第2保持部200b也可以是爪的长度或张开宽度不同的两个以上的夹持型机械手。另外，保持部200例如也可以是具有结构、构造、形状、尺寸、配置等特性中的至少任一个特性不同的多个吸附型机械手的结构。具体而言，例如，第1保持部200a和第2保持部200b也可以是吸附垫的配置、吸附垫的直径、波纹管的构造等不同的两个以上的吸附型机械手。即使在这种情况下，在本实施方式中也能够同样地实施并且得到同等的效果。
47.传感器11受到控制装置12控制，由此能够检测多个物体o和/或保持部200的状态。传感器11具有第1传感器11a、第2传感器11b、第3传感器11c、第4传感器11d以及第5传感器11e。第1传感器11a、第2传感器11b、第3传感器11c、第4传感器11d以及第5传感器11e通过有线方式或无线方式与控制装置12连接。此外，第1传感器11a～第5传感器11e不必是独立的传感器，特定的传感器可以单独发挥第1传感器11a～第5传感器11e中的多个传感器的功能。
48.第1传感器11a是配置于移动源v1的附近(例如移动源v1的正上方或斜上方)的相机或各种传感器。第1传感器11a例如获取与位于移动源v1的物体o相关的信息和与移动源v1相关的信息。由第1传感器11a获取的信息例如为“图像数据”、“距离图像数据”、“形状数据”等。“距离图像数据”是指具有1个以上的方向的距离信息(例如，距在移动源v1的上方设定的任意的基准面的深度信息)的图像数据。“形状数据”是表示物体o的外形形状等的信息。将由第1传感器11a检测到的信息向控制装置12输出。此外，第1传感器11a也可以作为搬运装置10的一部分设置。
49.第2传感器11b是配置于移动目的地容器v2的附近(例如，移动目的地容器v2的正上方或斜上方)的相机或各种传感器。第2传感器11b例如检测与移动目的地容器v2的形状(包含内壁面、分隔件的形状)相关的信息和与先放置于移动目的地容器v2内的物体o相关的信息。由第2传感器11b获取的信息例如是“图像数据”、“距离图像数据”、“形状数据”等。将由第2传感器11b检测到的信息向控制装置12输出。另外，第2传感器11b也可以作为搬运装置10的一部分设置。
50.第3传感器11c是设置于第1保持部200a或第1保持部200a的附近的各种传感器。第3传感器11c例如获取第1保持部200a的变形、施加于第1保持部200a的压力、第1保持部200a的表面状态等与第1保持部200a的物理状态相关的信息。第3传感器11c例如包含变形传感器、压力传感器、近接触传感器等一个以上的物理传感器。第3传感器11c也可以进而获取物体o的物理信息。将由第3传感器11c检测到的信息向控制装置12输出。另外，第3传感器11c也可以作为搬运装置10的一部分设置。
51.第4传感器11d是设置于第2保持部200b或第2保持部200b的附近的各种传感器。第4传感器11d例如获取第2保持部200b的变形、施加于第2保持部200b的压力、第2保持部200b的表面状态等与第2保持部200b的物理状态相关的信息。第4传感器11d例如包含变形传感
器、压力传感器、近接触传感器等一个以上的物理传感器。第4传感器11d也可以进而获取物体o的物理信息。将由第4传感器11d检测到的信息向控制装置12输送。另外，第4传感器11d也可以作为搬运装置10的一部分设置。
52.第5传感器11e获取与保持部200的使用状况相关的信息。例如，第5传感器11e例如检测第1保持部200a和第2保持部200b中的当前正在使用或者为了使用而选择的保持部200(以下，有时将当前正在使用或者为了使用而选择的保持部统称为“当前选择的保持部”或简称为“选择的保持部”)。将由第5传感器11e检测到的信息向控制装置12输出。另外，第5传感器11e也可以作为搬运装置10的一部分设置。另外，当前选择的保持部200也可以不基于第5传感器11e而是基于搬运装置10的控制履历、由第3传感器11c或第4传感器11d获取的信息等其他信息来判断。在该情况下，能够省略第5传感器11e。而且，在保持部200为能够执行夹持、吸附、以及夹持与吸附这两者的混合机械手的情况下，控制装置12基于来自第5传感器11e的信息或其他信息，来判断保持部200是适合夹持物体o的状态，还是适合吸附物体o的状态，还是适合进行两者的状态。
53.控制装置12进行输送系统1的整体的管理以及控制。例如，控制装置12获取由第1传感器11a～第5传感器11e检测到的信息，基于获取的信息来控制搬运装置10。控制装置12例如是具有处理器、存储器、存储装置等的能够执行程序的装置(计算机)。
54.图2是表示输送系统1的系统结构的框图。
55.控制装置12直接或间接地与第1传感器11a～第5传感器11e、可动臂100、第1保持部200a以及第2保持部200b有线连接或无线连接。控制装置12包含输入部300、识别处理部301、存储部302、动作控制部303、分数计算部304、阈值生成部305、判断部306、保持策略决定部307、保持阻碍因素推断部308以及配置变更策略决定部309。
56.输入部300接收来自操作者、系统的与作为保持对象的物体o相关的指示列表和由第1传感器11a～第5传感器11e获取的信息等。
57.识别处理部301处理由第1传感器11a～第5传感器11e获取的信息。例如，识别处理部301基于由第1传感器11a获取的图像数据，来判断移动源v1处的物体o的位置、姿势、形状、特性等。
58.存储部302记录控制装置12用的控制程序、与作为分拣对象的物体o相关的形状数据、从操作者或系统接收到的指示列表、由分数计算部304生成的各种分数、由阈值生成部305生成的阈值、判断部306的判断结果、由保持策略决定部307决定的保持策略、由保持阻碍因素推断部308推断出的保持阻碍因素、由配置变更策略决定部309决定的配置变更策略、以及搬运装置10的控制履历、动作履历等。另外，存储于存储部302的形状数据由物体o的局部坐标系定义。
59.动作控制部303控制搬运装置10的可动臂100、第1保持部200a、第2保持部200b等的动作。例如，动作控制部303为了通过特定的保持单元保持特定的物体o，具体地计算出保持物体o的位置以及保持时的可动臂100的姿势。动作控制部303指示搬运装置10，基于计算出的保持物体o的位置以及保持时的可动臂100的姿势，来使第1保持部200a或第2保持部200b进行特定的物体o的保持动作。另外，动作控制部303为了通过特定的保持单元进行特定的物体o的配置变更，具体地计算出进行物体o的配置变更的位置以及进行配置变更时的可动臂100的姿势。动作控制部303指示搬运装置10，基于计算出的进行物体o的配置变更的
位置以及进行配置变更时的可动臂100的姿势，来使第1保持部200a或第2保持部200b进行特定的物体o的配置变更操作。
60.在本说明书中，“配置变更操作”是指通过物理力来变更特定的对象物的空间配置的物理操作。配置变更操作的内容由对象物、施加于对象物的具体的力、用于对对象物施加力的单元、变更对象物的空间配置的具体的方式等来确定。
61.分数计算部304生成用于决定作为保持对象的物体o、保持方法的优先级、作为配置变更对象的物体o、配置变更操作的有效性等的分数。例如，分数计算部304计算后述的第1分数、第2分数以及第3分数。
62.阈值生成部305生成用于判断是否需要切换保持方法、是否需要变更配置等的阈值。例如，阈值生成部305生成后述的用于第1分数的第1阈值和用于第2分数的第2阈值。
63.判断部306基于由分数计算部304生成的分数、由阈值生成部305生成的阈值等，判断是否需要切换保持方法、是否需要变更物体o的配置等。
64.保持策略决定部307基于由分数计算部304生成的分数、由阈值生成部305生成的阈值、判断部306的判断的结果等，来决定包括优先级高的保持对象及保持方法、对保持对象进行保持的顺序、保持动作及保持方法的切换动作的顺序等的保持策略。
65.保持阻碍因素推断部308基于由第1传感器11a～第5传感器11e获取的信息，推断有无阻碍保持部200对物体o的保持的各种保持阻碍因素。例如，保持阻碍因素推断部308基于由第1传感器11a获取的图像数据、识别处理部301输出的识别结果，推断有无保持阻碍因素。
66.配置变更策略决定部309基于由分数计算部304生成的分数、由阈值生成部305生成的阈值、判断部306的判断的结果等，决定配置变更策略，用于在难以保持物体o的情况下，进行物体o的配置变更以使得物体o的保持变得容易。
67.控制装置12的各功能的全部或一部分例如通过如cpu(central processing unit：中央处理器)或gpu(graphics processing unit：图形处理器)这样的一个以上的处理器执行存储于程序存储器的程序来实现。但是，这些功能的全部或一部分也可以通过lsi(large scale integration：大规模集成电路)、asic(application specific integrated circuit：专用集成电路)、fpga(field-programmable gate array：现场可编程门阵列)、pld(programmable logic device：可编程逻辑器件)等硬件(例如电路部：circuity)来实现。另外，上述功能的全部或一部分也可以通过软件与硬件的组合来实现。存储部302由闪存、eeprom(electrically erasable programmable read-only memory：电可擦除可编程只读存储器)、rom(read-only memory：只读存储器)或ram(random access memory：可读写存储器)等实现。
68.接下来，对输送系统1的动作进行说明。按照图3所示的控制装置12的控制流程图进行说明。
69.如果控制装置12启动，则控制装置12在实施搬运装置10、传感器11的初始化之后开始搬运装置10的控制(步骤s0)。接着，控制装置12执行步骤s1。
70.在步骤s1中，控制装置12的输入部300从操作者或系统接收分拣对象的物体o的指示列表(指示列表接收工序)。
71.接着，控制装置12执行步骤s2。在步骤s2中，控制装置12的输入部300从第1传感器
11a接收与取出源容器v1的物体o相关的图像数据、距离图像数据、形状数据等。控制装置12的识别处理部301基于输入部300接收到的数据，判断在取出源容器v1是否存在指示列表中的物体o。另外，识别处理部301基于输入部300接收到的数据，获取与作为分拣对象的物体o的形状、位置、姿势等相关的信息(信息获取工序)。
72.图4是表示通过“夹持”来保持物体o的情况下的物体o的图像数据中的临时遮蔽区域r1的图。
73.控制装置12的识别处理部301使用公知的图像分割的方法，根据图像数据将作为分拣对象的物体o所外接的矩形区域(外接矩形区域)设定为“临时遮蔽区域r1”。图像分割可以是使用了机器学习的技术。
74.图5是表示物体o的图像数据中的遮蔽区域r2的图。
75.识别处理部301将在临时遮蔽区域r1的纵横方向上扩张后的区域设定为“遮蔽区域r2”。遮蔽区域r2在外接矩形区域的纵横方向上扩张了边缘m。例如，边缘m为100mm。识别处理部301通过使用扩张后的遮蔽区域r2，能够在保持部200的保持方法为夹持的情况下，判断是否存在夹持机械手202能够进入物体o的周围的空间。
76.图6是表示物体o的深度图像d的图。
77.识别处理部301使用距离图像数据，生成将遮蔽区域r2中的物体o的深度信息可视化的深度图像d。深度图像d将以世界坐标系(x轴、y轴、z轴)的原点为基准的高度作为值具有。深度图像d的标度能够根据保持部200的保持方法来变更。深度图像d的标度例如能够将每一个像素设定为1mm。
78.图7是说明物体o的三维位置和姿势的图。在图7中，将形状不同的物体o记载为“o1”和“o2”。
79.识别处理部301根据获取的物体o1的图像数据，计算物体o1的三维位置和姿势。识别处理部301使用变换矩阵将记录于存储部302的物体o1的局部坐标系中的形状数据转换为世界坐标系(x轴、y轴、z轴)。如图7所示，世界坐标系的z轴方向是从设定在取出源容器v1的上方的任意的基准面起算的深度方向。识别处理部301通过将获取的物体o1的图像数据与转换为世界坐标系的形状数据进行比较来计算物体o1的三维位置和姿势。
80.图8是表示附加了与三维位置和姿势相关的信息的遮蔽区域r2的图。识别处理部301将成为物体o1的基准的三维位置pose设为遮蔽图像r2中的外接矩形区域(临时遮蔽区域r1)的中心co。另外，识别处理部301也可以考虑夹持机械手202的夹持容易度，在外接矩形区域的中心co之外计算物体o1的图心fo进行利用。
81.另一方面，在通过“吸附”来保持物体o的情况下，按照每个能够成为物体o的表面上的吸附对象的遮蔽平面分割出临时遮蔽区域r1。识别处理部301针对每个遮蔽平面生成遮蔽图像r2和深度图像d，将与遮蔽平面垂直的方向规定为法线方向。识别处理部301例如从三维传感器的点群中提取平面用区域，例如通过主成分分析，将短轴方向设为x，将长轴方向设为y，将平面的法线方向设为z，从而能够决定位置和姿势。在“夹持”的情况下，存在针对一个物体o仅定义一个保持区域的情况，但在“吸附”的情况下，针对一个物体o能够存在多个保持区域。因此，“吸附”的保持对象可以是物体o的一个区域。另外，例如在“夹持”的保持区域存在多个的情况下，“夹持”的保持对象也可以是物体o的一个区域。
82.在通过“吸附”保持物体o的情况下，识别处理部301能够进行用于计算使用多个吸
附部205中的几个、使吸附部205以哪个角度与物体o接触等的卷积处理。
83.识别处理部301也可以利用记录有以前物体o的分拣成功的情况下的物体o的三维位置和姿势等的数据库。识别处理部301也能够利用数据库，输出与物体o相关的推荐的保持方法、保持的位置。
84.输入部300根据需要从第3传感器11c接收与第1保持部200a的物理状态相关的信息，并且从第4传感器11d接收与第2保持部200b的物理状态相关的信息。另外，输入部300根据需要从第5传感器11e接收与当前选择的保持部等保持部200的使用状况相关的信息。识别处理部301基于来自第5传感器11e的信息和/或其他信息，判断第1保持部200a和第2保持部200b中的哪一个是当前选择的保持部200。此外，也可以在步骤s2以外的其他定时适当地获取与第1保持部200a和第2保持部200b的物理状态相关的信息、与当前选择的保持部200相关的信息。
85.另外，输入部300从数据库接收作为保持对象的物体o的物理信息。例如，输入部300能够从数据库接收与物体o的外形信息、重量、表面的材质、摩擦特性等相关的信息。数据库既可以针对每个单独的物体o来定义，也可以规定基本信息图元(例如长方体、圆柱体、球体、四棱锥等)等，匹配接近其形状的信息而使用。
86.接着，控制装置12执行步骤s3。在步骤s3中，控制装置12针对每个物体o或物体o的区域、以及每个保持方法计算分数，决定接下来应保持的物体o和保持方法(保持策略计划工序)。在预测为难以保持的情况下，控制装置12决定物体o的配置变更操作的内容。图9是由控制装置12进行的保持策略计划工序的控制流程图，表示步骤s3的详细内容。
87.在步骤s301中，控制装置12的分数计算部304基于在步骤s2中获取的信息，计算保持部200保持物体o的保持容易度作为“第1分数”。分数计算部304针对(1)每个物体o或物体o的区域(以下，也简称为“每个物体o”)以及(2)每个保持方法，计算第1分数。例如，保持方法是由第1搬运装置10a进行的“夹持”或由第2搬运装置10b进行的“吸附”。在保持方法为“夹持”的情况下，例如针对每个物体o计算第1分数，在保持方法为“吸附”的情况下，例如针对每个物体o的区域计算第1分数。
88.在步骤s301中计算的第1分数sh(i)例如通过数式1所示的评价函数来计算。
89.[数式1]
[0090][0091]
在数式1中，h是作为第1分数的评价对象的保持方法(由第1搬运装置10a进行的夹持、由第2搬运装置10b进行的吸附等)。i是作为第1分数的评价对象的表示物体o或物体o的区域的遮蔽区域r2。f
hi
是评价函数的评价项目，w
hi
是评价函数的权重。即，上述的评价函数由各评价项目的线性结合来表示。但是，评价函数并不限定于上述例子，在评价项目中既可以使用平均值，也可以使用非线性函数，能够使用任意的评价函数。而且，评价项目并不限定于数式1中记载的项目，例如也可以是取决于物体o、夹持机械手202的物理特性的量。
[0092]
在保持方法为“夹持”的情况下(设h＝p)，第1分数s
p
(i)例如通过数式2所示的评价函数来计算。
[0093]
[数式2]
[0094][0095]
在数式2中，w
p1
w
p2
w
p3
w
p4
w
p5
w
p6
＝1，w
pi
≥0(i＝1、2、3、4、5、6)。f
p1
是物体o的位置(例如物体o的中心位置和物体o的高度)。f
p2
是物体o的凹凸率。f
p3
是物体o的扁平度。f
p4
是物体o与物体o的周围的深度之差。f
p5
是是否为薄的物体o的判断结果。f
p6
是在利用机器学习的情况下使用的评价项目，结合了上述f
p1
～f
p5
等各评价项目的全部。因此，例如在使用f
p6
的情况下，w
p1
～w
p5
可以全部设为零。针对表示各物体o的各种遮蔽区域i计算“夹持”的第1分数s
p
(i)。
[0096]
在保持方法为“吸附”的情况下(设h＝s)，第1分数ss(i)例如通过数式3所示的评价函数来计算。
[0097]
[数式3]
[0098][0099]
在数式3中，w
s1
w
s2
w
s3
w
s4
w
s5
w
s6
＝1，w
si
≥0(i＝1、2、3、4、5、6)。f
s1
是物体o的区域的位置(例如物体o的区域的中心位置和物体o的高度)。f
s2
是物体o的区域的凹凸率。f
s3
是物体o的区域的面积。f
s4
是相对于物体o的区域的接近角度(例如物体o的区域的法线方向与铅垂方向所成的角)。f
s5
是是否为薄的物体o的判断结果。f
s6
是在利用机器学习的情况下使用的评价项目，结合了上述f
s1
～f
s5
等各评价项目的全部。因此，例如在使用f
s6
的情况下，w
s1
～w
s5
可以全部为零。针对表示物体o的区域的各种遮蔽区域i计算“吸附”的第1分数ss(i)。
[0100]
这样，分数计算部304相对于各保持方法(在此为由第1搬运装置10a进行的夹持以及由第2搬运装置10b进行的吸附)，针对每个物体o或物体o的区域计算第1分数sh(i)。
[0101]
接着，控制装置12执行步骤s302。在步骤s302中，控制装置12的判断部306判断在步骤s301中计算出的各第1分数sh(i)中是否存在规定的第1阈值th1以上的分数。在判断为第1分数sh(i)的至少一个为第1阈值th1以上的情况下(步骤s302：是)，为了计划物体o的保持策略，控制装置12的处理前进至步骤s303。另一方面，在判断为针对每个保持方法、以及每个物体o或物体o的区域计算出的全部的第1分数sh(i)低于第1阈值th1的情况下(步骤s302：否)，为了计划使物体o的保持变得容易的配置变更策略，控制装置12的处理前进至步骤s310。
[0102]
在步骤s302中判断为存在第1阈值th1以上的第1分数sh(i)的情况下(步骤s302：是)，控制装置12执行步骤s303。在步骤s303中，控制装置12的分数计算部304基于在步骤s2中获取的信息和在步骤s301中计算出的第1分数，计算以当前选择的保持方法为基准的“第2分数”。分数计算部304针对(1)每个对象o或对象o的区域以及(2)每个保持方法来计算第2分数。
[0103]
在步骤s303中计算的第2分数t
h，h0
(i)例如通过数式4所示的评价函数来计算。
[0104]
[数式4]
[0105]
[0106]
在数式4中，h是作为第2分数的评价对象的保持方法。h0是当前选择的保持方法。i是作为第2分数的评价对象的表示物体o或物体o的区域的遮蔽区域r2。即，数式4的评价函数是当前选择的保持方法的第1分数s
h0
(i)与作为第2分数的评价对象的保持方法的第1分数sh(i)之比。但是，第2分数的评价函数并不限定于上述例子，而是能够使用任意的函数，例如可以是取决于当前选择的保持方法h0的第1分数s
h0
(i)和作为第2分数的评价对象的保持方法h的第1分数sh(i)的任意的函数。
[0107]
第1分数sh(i)是基于作为对象的保持方法h的、作为对象的遮蔽区域i的“保持容易度”的指标，因此，在使用上述的数式4的评价函数的情况下，第2分数t
h，h0
(i)是基于当前选择的保持方法h0的保持容易度与基于作为对象的保持方法h的保持容易度之比。即，在数式4的第2分数大于1的情况下，与作为对象的保持方法h相比，当前选择的保持方法h0更容易保持。在数式4的第2分数小于1的情况下，作为对象的保持方法h比当前选择的保持方法h0容易保持。例如，在数式4的第2分数为0.5的情况下，可以认为基于当前选择的保持方法h0的保持容易度为基于作为对象的保持方法h的保持容易度的0.5倍。即，可以认为基于作为对象的保持方法h的保持容易度为基于当前选择的保持方法h0的保持容易度的2倍。
[0108]
接着，控制装置12执行步骤s304。在步骤s304中，控制装置12的判断部306基于第2分数t
h，h0
(i)来判断保持方法的切换的必要性。在使用上述的数式4的第2分数t
h，h0
(i)的情况下，例如，判断部306在满足下述数式5的条件式的情况下，判断为需要将保持方法从当前选择的保持方法h0切换为作为对象的保持方法h，在不满足数式5的条件式的情况下，判断为不需要将保持方法从当前选择的保持方法h0切换为作为对象的保持方法h。
[0109]
[数式5]
[0110][0111]
在数式5中，th2是由阈值生成部305生成的规定的第2阈值。即，判断部306在第2分数t
h，h0
(i)低于第2阈值th2的情况下，判断为需要从当前选择的保持方法h0切换为作为对象的保持方法h，在第2分数t
h，h0
(i)为第2阈值th2以上的情况下，判断为不需要从当前选择的保持方法h0切换为作为对象的保持方法h。
[0112]
在仅根据第1分数sh(i)选择保持方法的情况下，当前选择的保持方法h0的信息不会反映于第1分数sh(i)，因此，单纯地选择保持的成功率高的保持方法。因此，根据情况的不同，有可能每当进行物体o的保持时都判断为需要切换保持方法，在这种情况下，保持方法的切换有可能需要时间。另一方面，第2分数t
h，h0
(i)包含当前选择的保持方法h0的信息，且是以当前选择的保持方法h0为基准计算出的分数。例如，在使用上述的数式4的第2分数t
h，h0
(i)的情况下，即使在第2分数t
h，h0
(i)小于1的情况下(即，基于作为对象的保持方法h的保持容易度大于基于当前选择的保持方法h0的保持容易度的情况下)，判断部306在第2分数t
h，h0
(i)不那么小的情况下(即，为规定的第2阈值th2以上的情况下)判断为不需要切换保持方法。由此，控制装置12在即使以当前选择的保持方法h0也相对容易进行保持的情况下，能够以尽可能通过当前选择的保持方法h0进行保持的方式来控制搬运装置10。
[0113]
判断部306既可以基于针对表示作为保持对象的物体o或物体o的区域的各遮蔽区域i计算出的第2分数t
h，h0
(i)的平均值与第2阈值th2之间的大小关系来判断保持方法的切换的必要性，也可以基于针对各遮蔽区域i的各第2分数t
h，h0
(i)与第2阈值th2之间的大小
关系来判断保持方法的切换的必要性。例如，在上述例子中，判断部306能够在关于各遮蔽区域i的第2分数t
h，h0
(i)中的至少一个小于第2阈值th2的情况下，判断为需要切换保持方法。
[0114]
接着，在判断为不需要切换保持方法的情况下(步骤s305：否)，控制装置12执行步骤s306。在步骤s306中，控制装置12的保持策略决定部307决定包含对作为保持对象的多个物体o进行保持的顺序的保持策略。在当前选择的保持方法h0是“夹持”的情况下，保持策略决定部307例如能够将物体o的保持的顺序设为关于“夹持”的第1分数s
p
(i)从大到小的顺序。另外，在当前选择的保持方法h0是“吸附”的情况下，保持策略决定部307例如能够将物体o的保持的顺序设为关于“吸附”的第1分数ss(i)从大到小的顺序。即，保持策略决定部307能够决定如下保持策略：不切换当前选择的保持方法h0，例如按照第1分数s
h0
(i)从大到小的顺序，通过当前选择的保持方法h0进行物体o的拾取。
[0115]
接着，控制装置12执行步骤s308。在步骤s308中，控制装置12将包含在步骤s306中由保持策略决定部307决定的保持的顺序的保持策略储存至存储部302。
[0116]
接着，控制装置12执行步骤s309。在步骤s309中，控制装置12的保持策略决定部307决定接下来的保持动作。例如，保持策略决定部307将在步骤s306中决定的保持策略中的最先的保持动作(在上述例子中，是通过当前选择的保持方法h0保持第1分数s
h0
(i)最大的物体o)设定为接下来的保持动作。然后，控制装置12前进至步骤s4。
[0117]
另一方面，在判断为需要切换保持方法的情况下(步骤s305：是)，控制装置12执行步骤s307。在步骤s307中，保持策略决定部307决定包含保持以及保持方法的切换顺序的保持策略。即，保持策略决定部307决定保持策略，该保持策略包含以怎样的顺序进行针对作为保持对象的多个物体o的保持动作和保持方法的切换动作。作为一例，保持策略决定部307能够以如下方式决定保持以及保持方法的切换的顺序。
[0118]
(1)对于基于当前选择的保持方法h0的第1分数s
h0
(i)比基于切换后的保持方法h1的第1分数s
h1
(i)大的物体o或物体o的区域，按照第1分数s
h0
(i)从大到小的顺序进行保持动作。
[0119]
(2)将保持方法从当前选择的保持方法h0切换为作为切换目标的保持方法h1。
[0120]
(3)对于基于当前选择的保持方法h0的第1分数s
h0
(i)比基于切换后的保持方法h1的第1分数s
h1
(i)小的物体o或物体o的区域，按照第1分数s
h1
(i)从大到小的顺序进行保持动作。
[0121]
由此，能够制作能够通过一次保持方法的切换来拾取全部作为保持对象的物体o的保持策略，能够将保持方法的切换次数抑制为最小限度。
[0122]
此外，保持策略的决定方法并不限定于上述例子。例如，保持策略决定部307也可以以如下方式决定保持策略：在对第2分数t
h1，h0
(i)为第2阈值th2以上的保持对象进行了由当前选择的保持方法h0进行的保持之后，切换保持方法，对第2分数t
h，h0
(i)低于第2阈值th2的保持对象进行由切换后的保持方法h1进行的保持。保持策略决定部307也可以通过其他任意的方法来决定保持策略。
[0123]
接着，控制装置12执行步骤s308。在步骤s308中，控制装置12将包含在步骤s307中由保持策略决定部307决定的保持以及保持方法的切换的顺序的保持策略储存至存储部302。
[0124]
接着，控制装置12执行步骤s309。在步骤s309中，控制装置12的保持策略决定部307决定接下来的保持动作。例如，保持策略决定部307将在步骤s307中决定的保持策略中的最先的保持动作设定为接下来的保持动作。例如，在上述(1)～(3)所示的例子中，保持策略决定部307能够将通过当前选择的保持方法h0保持如下物体o或物体o的区域的动作设定为接下来的保持动作，该物体o或物体o的区域是基于当前选择的保持方法h0的第1分数s
h0
(i)比基于切换后的保持方法h1的第1分数s
h1
(i)大的物体o或物体o的区域中的、第1分数s
h0
(i)最大的物体o或物体o的区域。另外，在不存在基于当前选择的保持方法h0的第1分数s
h0
(i)比基于切换后的保持方法h1的第1分数s
h1
(i)大的物体o或物体o的区域的情况下，保持策略决定部307能够将通过切换后的保持方法h1保持基于切换后的保持方法h1的第1分数s
h1
(i)最大的物体o或物体o的区域的动作设定为接下来的保持动作。然后，控制装置12进入步骤s4。
[0125]
在到此为止的步骤中，控制装置12优选不具体地计算保持物体o的位置、可动臂100的姿势等而决定接下来的保持动作。
[0126]
此外，在上述例子中，说明了控制装置12在决定整体的保持的顺序之后选择其中的最先的保持动作作为接下来的动作，但也可以省略保持的顺序的决定而仅决定接下来的动作。例如，保持策略决定部307也可以在步骤s306中不决定保持的顺序而选择第1分数sh(i)最大的动作作为接下来的动作。
[0127]
控制装置12在步骤s306或步骤s307中决定保持策略时，可以使用通过物体o的重量等对第1分数sh(i)或第2分数t
h，h0
(i)进行校正后的校正分数。
[0128]
另外，如上所述，和在“夹持”和“吸附”中用于计算第1分数sh(i)的评价项目或设想的保持对象(物体o或物体o的区域等)不同一样，根据保持方法的不同，第1分数sh(i)的计算基准可能不同。因此，控制装置12也可以适当地进行分数的标准化，以使得即使是不同的保持方法的分数也能够进行比较。控制装置12可以在计算第1分数的步骤s301、计算第2分数的步骤s303、决定保持策略的步骤s306、s307等任意的步骤中进行分数的标准化处理。
[0129]
以上说明了步骤s3中的保持策略计划的详细内容，在此，作为一例，在以下的表1～3中示出在能够选择的保持方法为“夹持”和“吸附”中的任一个、当前选择的保持方法h0为“夹持”、将第2阈值th2设定为0.5的情况下的、基于上述的数式4的第2分数t
h，h0
(i)的计算例。表1～3是表示分数计算的一例的表。表1～3针对表示物体o或物体o的区域的保持对象1～5，示出表示基于保持方法“夹持”的保持容易度的第1分数、表示基于保持方法“吸附”的保持容易度的第1分数、根据这些第1分数计算出的第2分数、以及基于第2阈值th2的判断结果。在判断结果中，“真(true)”意为第2分数t
h，h0
(i)小于第2阈值th2(即，需要切换保持方法)，“假(false)”意为第2分数t
h，h0
(i)大于第2阈值th2(即，不需要切换保持方法)。
[0130]
[表1]
[0131][0132]
[表2]
[0133][0134]
[表3]
[0135][0136]
在表1所示的例子的情况下，第2分数t
h，h0
(i)的对象1～5的平均值为1.03，超过1，因此可以认为基于当前选择的保持方法h0(夹持)的保持容易度平均上超过基于作为评价对象的保持方法(吸附)的保持容易度。另外，对象1～5的第2分数t
h，h0
(i)及其平均值均超过第2阈值th2＝0.5，因此，控制装置12的判断部306判断为不需要切换保持方法。
[0137]
接着，保持策略决定部307将保持的顺序设定为第1分数s
h0
(i)从大到小的顺序，以通过当前选择的保持方法即“夹持”按照“对象3
→
对象2及对象4
→
对象1及对象5”的顺序进行保持的方式决定保持策略。接下来，控制装置12将所决定的保持策略储存至存储部302。接着，保持策略决定部307将在保持策略中最先的保持动作即“通过夹持来保持对象3”决定为接下来的保持动作。此外，在表1的例子中，在两个以上的对象中“夹持”的第1分数s
h0
(i)为相同的值时，对于在保持策略中优先哪一个，可以考虑物体o的位置、重量等任意的要素来适当地决定。
[0138]
在表2所示的例子的情况下，第2分数t
h，h0
(i)的对象1～5的平均值为0.79，低于1，因此可以认为基于当前选择的保持方法h0(夹持)的保持容易度平均上低于基于作为评价对象的保持方法(吸附)的保持容易度。但是，对象1～5的第2分数t
h，h0
(i)及其平均值均超过第2阈值th2＝0.5，因此，控制装置12的判断部306判断为不需要切换保持方法。
[0139]
接着，与表1的情况同样地，保持策略决定部307将保持的顺序设定为第1分数s
h0
(i)从大到小的顺序，以通过当前选择的保持方法即“夹持”按照“对象5
→
对象1
→
对象2
→
对象3及对象4”的顺序进行保持的方式决定保持策略。接下来，控制装置12将所决定的保持策略储存至存储部302。接着，保持策略决定部307将在保持策略中最先的保持动作即“通过夹持来保持对象5”决定为接下来的保持动作。
[0140]
在表3所示的例子的情况下，第2分数t
h，h0
(i)的对象1～5的平均值为0.38，低于1，因此可以认为基于当前选择的保持方法h0(夹持)的保持容易度平均上低于基于作为评价对象的保持方法(吸附)的保持容易度。另外，对象1～4的第2分数t
h，h0
(i)及其平均值均低于第2阈值th2＝0.5，因此，控制装置12的判断部306判断为需要切换保持方法。
[0141]
接着，保持策略决定部307针对各对象1～5在“夹持”和“吸附”中比较第1分数sh(i)的大小。在该例中，在所有的对象1～5中，“吸附”的第1分数sh(i)超过当前选择的保持方法即“夹持”的第1分数s
h0
(i)，因此，保持策略决定部307以首先进行保持方法的切换的方式决定保持策略。进而，保持策略决定部307将保持方法的切换后的保持的顺序设定为切换后的保持方法即“吸附”的第1分数sh(i)从大到小的顺序，以按照“对象1及对象5
→
对象2
→
对象3
→
对象4”的顺序进行保持的方式决定保持策略。接下来，控制装置12将所决定的保持策略储存至存储部302。接着，保持策略决定部307将在保持策略中最先的保持动作即“通过吸附来保持对象1”或“通过吸附来保持对象5”决定为接下来的保持动作。在此，由于对象1和对象5的吸附的第1分数sh(i)相等，因此，对于优先哪一个，可以考虑对象1和对象5的位置、重量等任意的要素来适当地决定。
[0142]
至此，说明了在步骤s302中判断为存在第1阈值th1以上的第1分数sh(i)的情况下的控制装置12的处理流程。与此相对，在步骤s302中判断为不存在第1阈值th1以上的第1分数sh(i)的情况下(步骤s302：否)，认为不存在处于充分容易保持的状态的物体o，因此，控制装置12为了进行使物体o的保持变得容易的配置变更策略的计划而执行步骤s310，来代替进行步骤s303～s309的保持策略的计划。
[0143]
在步骤s310中，控制装置12的保持阻碍因素推断部308推断有无使取出源容器v1内的物体o的保持变得困难的各种保持阻碍因素。作为保持阻碍因素的例子，能够列举物体o密布于取出源容器v1的一部分的情况、在作为保持对象的物体o的近前处存在障碍物的情况、作为保持对象的物体o以不适合保持的朝向配置的情况、以及保持对象的物体o具有不适合保持的形状的情况等。
[0144]
关于保持阻碍因素推断部308的处理，以物体o密布这一保持阻碍因素为例进行说明。保持阻碍因素推断部308例如基于第1传感器11a所获取的取出源容器v1的图像数据，来判断取出源容器v1内的物体o的密集的程度。例如，识别处理部301对第1传感器11a所获取的图像数据中的各物体o设定遮蔽区域r2，计算遮蔽区域r2的中心co、物体o的图心fo(参照图8)。另外，识别处理部301计算各遮蔽区域r2的中心co间的距离、各物体o的图心fo间的距离作为各物体o间的距离。保持阻碍因素推断部308能够在计算出的各物体o间的距离(也可以使用平均值等代表值)为规定的阈值以下的情况下，推断为物体o密布。例如，保持阻碍因素推断部308能够在从特定的物体o的中心点co、fo起以规定的阈值为半径的圆的内侧包含1个以上(例如多个)其他物体o的中心点co、fo的情况下，推断为物体o密布。通过这样进行疏密判断，保持阻碍因素推断部308能够判断是否存在物体o密布这一保持阻碍因素。
[0145]
除了上述方法之外，或者代替上述方法，识别处理部301能够基于与物体o对应的遮蔽区域r2的长宽比来判断物体o(在从上方观察的情况下)是否具有细长形状。例如，在判
断为接近的多个物体o具有细长形状的情况下，保持阻碍因素推断部308能够推断为厚度小的物体o纵置而密布。或者，保持阻碍因素推断部308也可以根据物体o纵置推断为物体o以不适合保持的朝向配置。
[0146]
除了上述以外，保持阻碍因素推断部308还能够推断各种各样的保持阻碍因素的有无。例如，保持阻碍因素推断部308能够基于第1传感器11a的图像数据，推断存在妨碍作为保持对象的物体o的保持的障碍物，或者推断物体o以不适合保持的姿势配置。
[0147]
接着，控制装置12执行步骤s311。在步骤s311中，控制装置12的配置变更策略决定部309决定与在步骤s310中推断出的保持阻碍因素对应的保持方法以及配置变更操作。例如，在步骤s310中推断出存在物体o密布这样的保持阻碍因素的情况下，配置变更策略决定部309能够选择使物体o移动以消除密布的操作来作为配置变更操作。配置变更策略决定部309能够根据疏密的模式来选择具体的配置变更操作的内容(例如，按压物体o的操作、拉拽物体o的操作、推动物体o的操作、抄起物体o的操作等)。另外，在步骤s310中推断出存在障碍物位于保持对象的物体o之上这一保持阻碍因素的情况下，配置变更策略决定部309能够选择使障碍物移动的操作来作为配置变更操作。这样的保持阻碍因素与配置变更操作、使用的保持方法的关联既可以参照关联表、数据库来进行，也可以由用户适当地指定，还可以通过机器学习而习得。不过，在该阶段，不决定作为配置变更操作的对象的物体o。以下，以物体o密集这一保持阻碍因素为例，参照图10～图13进行说明。图10～图13是表示配置变更操作的一例的示意图。
[0148]
例如，如图10所示，在具有细长形状的5个物体o密布于取出源容器v1内的一角的情况下，作为以图中的左起第2个物体o为对象的配置变更操作，配置变更策略决定部309能够选择使物体o在从物体o的图心go朝向不存在物体o的区域s的图心gs的方向上移动这一配置变更操作。在此，识别处理部301能够将深度图像d(参见图6)中深度大(即，世界坐标系的z轴方向上的高度小)的区域设定为不存在物体o的区域s。
[0149]
此外，在设定不存在物体o的区域s时，识别处理部301也能够搜索将取出源容器v1的内部区域分割为多个区域而得到的分割区域，来代替搜索取出源容器v1的整个内部区域。例如，如图11所示，识别处理部301也可以用单点划线所示的分割线将取出源容器v1整体上下一分为二，在上半部分的区域及下半部分的区域中分别搜索不存在物体o的区域。关于上半部分的区域，将图11的区域s1设定为不存在物体o的区域，配置变更策略决定部309能够选择使物体o在从物体o的图心go朝向区域s1的图心gs1的方向上移动这一配置变更操作。另一方面，关于下半部分的区域，将图11的区域s2设定为不存在物体o的区域，配置变更策略决定部309能够选择使物体o在从物体o的图心go朝向区域s2的图心gs2的方向上移动这一配置变更操作。通过这样的分割处理，能够将作为配置变更操作而选择的移动的方向限定为期望的特定的区域等，根据需要调整配置变更操作的选择。此外，区域的分割方法并不限定于上述例子，能够采用左右一分为二或者分割为四个部分等任意的方式。
[0150]
配置变更策略决定部309也可以根据推断出的保持阻碍因素，不仅选择配置变更操作，还选择保持方法。例如，配置变更策略决定部309能够在推断为存在基于“夹持”的配置变更有效的保持阻碍因素的情况下，决定使用第1保持部200a进行配置变更。另外，配置变更策略决定部309能够在推断为存在基于“吸附”的配置变更有效的保持阻碍因素的情况下，决定使用第2保持部200b进行配置变更。由此，能够使用最适合于所决定的配置变更操
作的保持单元来高效地进行配置变更。但是，配置变更策略决定部309也可以与推断出的保持阻碍因素无关地，选择当前选择的保持部200作为保持方法，以当前选择的保持部200的使用为前提决定配置变更操作。在该情况下，保持单元的切换次数减少，因此能够提高输送系统1的吞吐量。
[0151]
通常，在尝试由“夹持”进行保持的情况下，使物体o间的距离增加的配置变更是有效的，与此相对，在尝试由“吸附”进行保持的情况下，使能够吸附物体o的区域的面积增加的配置变更是有效的。例如，如图12所示，由“夹持”进行的物体o的配置变更操作能够通过将夹持机械手202的前端插入到两个物体o之间，并打开夹持机械手202来增大物体o之间的距离来进行。此外，能够选择如下各种配置变更操作：在将夹持机械手202的前端插入到两个物体o之间之后通过使夹持机械手202向一个方向移动或者使夹持机械手202的根轴(多关节机器人的情况下的6轴)旋转来增大物体o间的距离的方法、在使夹持机械手202的前端与物体o的上表面接触的状态下使夹持机械手202沿横向移动来使物体o翻倒的方法、通过夹持机械手202将特定的物体o稍微抬起后使其落下来变更配置的方法、通过夹持机械手202抬起特定的物体o并使其从其他物体o上落下的方法、在夹持着特定的物体o的状态下以扫倒其他物体o的方式移动(例如，在保持着物体o的端部的状态下拖动物体o)的方法等。并且，也能够通过夹持机械手202将物体o的凸凹面弄平后进行把持或者通过将物体o按压于墙壁使物体o变形来进行把持。
[0152]
基于“吸附”的物体o的配置变更操作例如如图13所示，能够通过在使吸引装置203的吸附部205与物体o的上表面接触的状态下使吸引装置203沿横向移动而使物体o翻倒来进行。此外，能够选择如下各种配置变更操作：在使吸附部205与物体o接触的状态下使吸引装置203旋转的方法、通过吸引装置203抬起特定的物体o并使其从其他物体o上落下的方法、以及在吸附了特定的物体o的状态下以扫倒其他物体o的方式移动的方法等。
[0153]
接着，控制装置12执行步骤s312。在步骤s312中，分数计算部304计算“第3分数”作为配置变更操作的有效性的指标。分数计算部304基于在步骤s310中推断出的保持阻碍因素以及在步骤s311中决定的保持方法和配置变更操作，针对每个物体o或物体o的区域来计算第3分数。例如，在步骤s310中推断出物体o密布这一保持阻碍因素，在步骤s311中决定了在选择“夹持”作为保持方法的状态下进行“使一个物体o朝向不存在物体o的区域s移动”这一配置变更操作的情况下，分数计算部304针对能够成为保持对象的每个物体o或物体o的区域来计算表示这种配置变更操作的有效性的第3分数。通过比较该第3分数，能够选择优选的物体o或物体o的区域作为配置变更操作的对象。
[0154]
分数计算部304例如能够基于作为对象的物体o的配置变更操作的容易性、作为对象的物体o的保持的困难性、预测会伴随着作为对象的物体o的配置变更操作而配置变更的其他物体o的数量等来计算第3分数。作为对象的物体o的配置变更操作越容易，能够将配置变更操作的有效性评价得越高。由于认为作为对象的物体o越难以保持，通过配置变更操作越变得容易进行保持，因此能够评价为配置变更操作的有效性高。通过一次配置变更操作而一起配置变更的物体o的数量与该配置变更操作的有效性之间的关系根据物体o的大小等而不同。即，作为通过一次配置变更操作而一起配置变更的物体o的数量，根据物体o的大小等存在适当的数量，越接近该数量，则能够评价为配置变更操作的有效性越高。例如，在物体o小的情况下，一起配置变更的物体o的数量越多则配置改变并变得容易保持的情况越
多，配置变更操作的有效性越高。另一方面，在物体o大的情况下，若一起配置变更的物体o的数量过多，则有时变得难以保持。
[0155]
物体o的配置变更操作的容易性例如能够基于物体o的配置、形状、物体o的密集的程度等，与步骤s310中的保持阻碍因素的推断同样地进行评价。物体o的保持的困难性例如能够基于与表示保持容易度的第1分数相同的评价项目，以相对于第1分数具有负的相关关系的方式进行评价。对于预测会伴随着作为对象的物体o的配置变更操作而配置变更的其他物体o的数量，例如能够基于各物体o的配置、配置变更操作的内容来评价。
[0156]
分数计算部304能够通过由各评价项目的线性结合表示的评价函数来计算第3分数。但是，评价函数并不限定于上述例子，能够使用非线性函数等任意的评价函数。另外，评价项目不限于上述例子，例如也可以是取决于物体o的特性、使用的保持部200的特性、所选择的配置变更操作的特性等的量。
[0157]
接着，控制装置12执行步骤s313。在步骤s313中，控制装置12的配置变更策略决定部309基于计算出的第3分数来决定配置变更策略。例如，配置变更策略决定部309能够决定对第3分数最大的物体o或物体o的区域执行在步骤s311中决定的配置变更操作。另外，配置变更策略决定部309也可以与保持策略同样地，按照第3分数从大到小的顺序对物体o或物体o的区域进行排序，决定配置变更的顺序。
[0158]
接着，控制装置12执行步骤s314。在步骤s314中，控制装置12将在步骤s313中由配置变更策略决定部309决定的配置变更策略储存至存储部302。如上所述，控制装置12能够在判断为难以保持物体o的情况下，制作物体o的配置变更策略。
[0159]
另外，在上述例子中，以在步骤s311中决定的保持方法和配置变更操作为前提，在步骤s312中计算出了第3分数，但第3分数的计算不限于此。例如，在步骤s312中，分数计算部304还能够对多个保持方法和/或多个变更操作，针对每个物体o或物体o的区域来计算第3分数。例如，在作为分数计算对象的物体o或物体o的区域为10个的情况下，若对“夹持”和“吸附”这两种保持方法分别计算第3分数，则总计算出10
×
2＝20个第3分数。另外，例如在预先规定了(1)“将保持部200的前端插入物体o之间并打开”、(2)“将保持部200的前端插入物体o之间并向一个方向移动”、(3)“将保持部200的前端插入物体o之间并旋转”、(4)“使保持部200的前端在与物体o的上表面接触的状态下沿横向移动”以及(5)“抬起物体o并使其落下”这5种配置变更操作的情况下，控制装置12能够基于传感器11获取的各种信息等，在上述配置变更操作中根据需要选择1种以上的操作来作为分数计算对象，并针对所选择的各配置变更操作进行第3分数的计算。通过根据情况选择作为分数计算对象的配置变更操作，与进行规定的全部种类的配置变更操作相比，能够减少计算时间和负载。例如，在作为分数计算对象的物体o或者物体o的区域存在10个的情况下，当选择两种配置变更操作作为候选时，总共计算出10
×
2＝20个第3分数。通过选择这样计算出的第3分数中的最大的分数，不仅能够基于第3分数来决定作为保持对象的物体o或物体o的区域，还能够基于第3分数来决定应采用的保持方法、配置变更操作。在该情况下，也可以省略步骤s310、步骤s311。此外，控制装置12也可以省略配置变更操作的选择，针对全部种类的配置变更操作进行第3分数的计算。
[0160]
作为如上述那样选择适当的配置变更操作的方法的一例，控制装置12例如能够使用以下的数式6所示的评价函数g(i)。g(i)表示针对示出物体o或物体o的区域的遮蔽区域i
的配置变更操作的第3分数。
[0161]
[数式6]
[0162]
g(i)＝argmax(w1f1，w2f2，w3f3，w4f4，w5f5)
[0163]
在数式6中，f1是物体o的柔软度。f2是物体o的表面积中的预测为在配置变更后不与其他物体o重叠(即暴露)的部分的表面积。f3是物体o的纵横比。f4是物体o与其周围的高度之差(内外高度)。f5是表示在物体o的周围区域中不存在其他物体o等的空间的大小的空间富余度。w1～w5表示各函数的权重。
[0164]
评价函数g(i)的各参数f1～f5与上述的配置变更操作(1)～(5)的关系例如能够如下述表那样表现。例如在评价函数g(i)中f1成分最大的情况下，得到(1)和(3)作为配置变更操作的候选。在该情况下，由于存在多个候选，因此控制装置12确认仅次于f1的最大参数。具体而言，控制装置12对与(1)或(3)对应的参数f3及f4进行比较，在评价函数g(i)中f3成分大于f4成分的情况下选择配置变更操作(3)，在f3成分小于f4成分的情况下选择配置变更操作(1)。此外，控制装置12也可以省略f3与f4的比较处理，针对配置变更操作(1)和(3)双方计算第3分数，选择第3分数较大的一方的配置变更操作。
[0165]
[表4]
[0166]
参数评价项目配置变更操作f1柔软度(1)(3)f2配置变更时的表面积(2)(4)f3纵横比(3)(4)f4内外高度(1)(2)f5周围的空间富余度(4)
[0167]
控制装置12也可以执行上述那样的配置变更操作的选择处理来代替步骤s310和s311。在该情况下，控制装置12即使不具体地推断保持阻碍因素，也能够选择适当的种类的配置变更操作，因此能够减少计算成本。
[0168]
再次参照图3，接着，控制装置12执行步骤s4。在步骤s4中，控制装置12的判断部306判断是否需要配置变更。判断部306在判断为不存在第1阈值th1以上的第1分数的情况下(步骤s302：否)，判断为需要进行配置变更，在判断为存在第1阈值th1以上的第1分数的情况下(步骤s302：是)，判断为不需要进行配置变更。在判断部306判断为需要进行配置变更的情况下(步骤s4：是)，控制装置12执行步骤s5。
[0169]
在步骤s5中，控制装置12的动作控制部303基于在步骤s313中决定的配置变更策略，具体地计算进行作为对象的物体o的配置变更操作的位置以及用于进行该配置变更操作的可动臂100的姿势。动作控制部303基于该计算结果，以进行物体o的配置变更的方式控制可动臂100和保持部200(配置变更工序)。即，对第3分数最大的物体o执行配置变更操作，以使保持部200容易保持物体o。然后，控制装置12的处理返回步骤s2，第1传感器11a将配置变更后的取出源容器v1的状态作为图像数据获取。接着，在步骤s301中再次算出第1分数，在步骤s302中执行各第1分数与第1阈值th1的比较。这样，反复进行配置变更操作，直到一个以上的物体o的第1分数成为第1阈值th1以上为止。
[0170]
另一方面，在判断部306判断为不需要配置变更的情况下(步骤s4：否)，控制装置12执行步骤s6。在步骤s6中，控制装置12的动作控制部303具体地计算在步骤s3中决定的保
持对象物体o的位置以及保持时的可动臂100的姿势(保持位置姿势计划工序)。
[0171]
在步骤s3中选择的物体o的保持方法为“夹持”的情况下，在步骤s6中，控制装置12的动作控制部303通过从公知的方法中适当选择的方法，具体地计算夹持物体o的位置以及夹持时的可动臂100的姿势。
[0172]
在步骤s3中选择的物体o的保持方法为“吸附”的情况下，在步骤s6中，控制装置12的动作控制部303通过从公知的方法中适当选择的方法，具体地计算吸附物体o的位置以及吸附时的可动臂100的姿势。
[0173]
此外，在本实施方式中，能够选择的保持方法为“夹持”和“吸附”中的任一个，但例如在能够利用“夹持及吸附(混合)”的情况下，在步骤s6中，控制装置12的动作控制部303能够通过从公知的方法中适当选择的方法，具体地计算夹持及吸附物体o的位置以及夹持及吸附时的可动臂100的姿势。
[0174]
动作控制部303在计算出保持物体o的位置以及保持时的可动臂100的姿势之后，对计算出的保持动作是否能够作为实际的机器人的动作进行计算，在判断为无法作为实际的动作的情况下，再次计算保持物体o的位置以及保持时的可动臂100的姿势。此外，在判断为无法作为实际的动作的情况下，也可以返回步骤s3，从保持策略的计划起再次执行。
[0175]
保持物体o的位置、可动臂100的姿势的计算的运算量非常多。控制装置12仅针对所选择的物体o计算保持物体o的位置、可动臂100的姿势即可。因此，输送系统1与为了选择所保持的物体o而计算保持物体o的位置、可动臂100的姿势的其他输送系统相比，能够显著减少所需的运算量。
[0176]
接着，控制装置12执行步骤s7。在步骤s7中，控制装置12的判断部306判断是否需要切换保持方法。在判断部306判断为需要切换保持方法的情况下(步骤s7：是)，即，在当前选择的保持方法与接下来的保持动作中的保持方法不同的情况下，控制装置12执行步骤s8。在步骤s8中，动作控制部303进行保持方法的切换(保持方法切换工序)。例如，在将“夹持”切换为“吸附”的情况下，动作控制部303以使第2保持部200b朝向取出源容器v1来代替朝向取出源容器v1的第1保持部200a的方式控制搬运装置10的可动臂100。另一方面，在判断部306判断为不需要切换保持方法的情况下(步骤s7：否)，即，在当前选择的保持方法与接下来的保持动作中的保持方法相同的情况下，控制装置12不执行步骤s8而进入步骤s9。
[0177]
接着，控制装置12执行步骤s9。在步骤s9中，控制装置12基于在步骤s6中计算出的保持物体o的位置以及可动臂100的姿势来控制保持部200和可动臂100(动作控制工序)。所选择的物体o由搬运装置10从取出源容器v1输送至输送目的地容器v2。
[0178]
接着，控制装置12执行步骤s10。在步骤s10中，控制装置12例如基于第1传感器11a、第2传感器11b所获取的图像数据等，判断目标物体o的保持和/或输送是否成功(保持成功与否判断工序)。控制装置12将判断结果储存至存储部302。
[0179]
接着，控制装置12执行步骤s11。在步骤s11中，控制装置12的判断部306判断指示列表中记载的指示是否已完成。例如，判断部306判断取出源容器v1中是否残留有物体o。在判断部306判断为取出源容器v1中残留有物体o的情况下(步骤s11：否)，控制装置12再次执行步骤s2。即，控制装置12再次获取与拾取物体o后的取出源容器v1的状态、各保持部200a、200b的状态等相关的信息，并基于此制作接下来的保持策略。此外，控制装置12也可以不进行保持策略计划工序，而基于包含已制作出的保持的顺序在内的保持策略来决定接下来的
保持动作。另外，控制装置12也可以基于已获取的信息对已制作出的保持策略进行修正、更新，来代替进行相同的保持策略计划工序。另外，控制装置12也可以在执行一次以上的保持动作后，使分数计算部304变更分数生成时的参数的值，或者使阈值生成部305变更第1阈值th1和/或第2阈值th2。
[0180]
另一方面，在判断部306判断为指示列表中记载的指示已完成的情况下(步骤s11：是)，控制装置12执行步骤s9并结束控制。例如，在判断部306判断为在取出源容器v1中没有残留物体o的情况下，控制装置12执行步骤s9并结束控制。
[0181]
根据如以上这样的第1实施方式的结构，在难以保持物体的情况下，通过针对每个能够成为配置变更的对象的各物体或物体的区域来评价配置变更操作的有效性，能够提高由配置变更操作带来的保持容易性。由此，能够缩短搬运装置的动作时间，能够提高系统的吞吐量。
[0182]
另外，在本实施方式中，控制装置12在评价中针对每个物体o计算配置变更操作的分数(第3分数)，并基于分数选择作为配置变更对象的物体o。基于作为对象的物体o的配置变更操作的容易性、作为对象的物体o的保持的困难性以及预测会伴随着作为对象的物体o的配置变更操作而配置变更的物体o的数量中的至少一个来计算针对每个物体o计算的配置变更操作的分数。因此，能够选择预测为配置变更操作最有效地起作用的物体o来作为配置变更操作的对象。
[0183]
另外，在本实施方式中，控制装置12基于从传感器11获取的信息，推断阻碍物体o的保持的保持阻碍因素，基于推断出的保持阻碍因素以及评价的结果来决定配置变更操作。由此，能够配合当前阻碍保持操作的因素来决定配置变更的方法，因此能够提高配置变更操作的有效性。
[0184]
另外，在本实施方式中，控制装置12基于物体o的配置和形状中的至少一个来判断物体o的密集的程度，并以使物体o的密集的程度变小的方式决定配置变更操作。由此，在由于物体o密布而难以保持的情况下，能够以消除物体o的密布的方式进行配置变更。
[0185]
另外，在本实施方式中，保持部200构成为，通过夹持和吸附中的至少一个来保持物体o，控制装置12在保持部200通过夹持来保持物体o的情况下，以物体o间的距离变大的方式决定配置变更操作，在保持部200通过吸附来保持物体o的情况下，以能够吸附物体o的面积变大的方式决定配置变更操作。由此，能够根据保持单元的种类选择适当的配置变更操作。
[0186]
另外，在本实施方式中，保持部200能够选择多个保持方法中的一个以上来保持物体o，控制装置12基于评价的结果来决定作为配置变更操作的对象的物体o以及用于配置变更操作的保持部200的保持方法。由此，能够选择容易执行有效的配置变更操作的保持单元。
[0187]
另外，在本实施方式中，保持部200能够选择多个保持方法中的一个以上来保持物体o，将由保持部200当前选择的保持方法用作配置变更操作所使用的保持部200的保持方法。由此，能够避免当前选择的保持方法的变更，能够提高系统的吞吐量。
[0188]
另外，在本实施方式中，控制装置12基于从传感器11获取的信息，针对每个物体o计算保持容易度的分数(第1分数)，并基于保持容易度的分数来判断是否进行物体o的配置变更。控制装置12在不存在保持容易度的分数为规定的阈值(第1阈值)以上的物体o的情况
下，判断为进行物体o的配置变更。由此，在存在认定了一定的保持容易度的物体o的情况下，使保持操作优先于配置变更操作，能够提高系统的吞吐量。
[0189]
此外，在本实施方式中，控制装置12基于物体o的信息和从传感器11获取的信息中的至少一个，从多种配置变更操作中选择一种以上的配置变更操作，并且对于所选择的种类的配置变更操作，针对每个物体o评价配置变更操作的有效性。控制装置12基于从由物体o的柔软度、物体o中的预测会在配置变更操作后露出的部分的表面积、物体o的纵横比、物体o与其周围的高度差、以及物体o的周围区域中的空间的大小构成的组中选择的一个以上的信息，选择多种配置变更操作中的一种以上的配置变更操作。由此，与在所有种类的配置变更操作中针对每个物体o计算第3分数的情况相比，能够显著减少计算成本。
[0190]
另外，在本实施方式中，控制装置12对进行所决定的配置变更操作的位置以及用于进行所决定的配置变更操作的可动臂100的姿势进行计算。由此，控制装置12能够不具体地计算进行配置变更操作的位置、可动臂100的姿势等而制作配置变更策略。控制装置12只要仅针对最终选择为配置变更对象的物体o计算进行配置变更操作的位置、可动臂100的姿势等即可，能够显著减少所需的运算量。
[0191]
另外，在本实施方式中，搬运装置10具有可动臂100、保持部200、传感器11以及控制装置12。保持部200安装于可动臂100，能够选择多个保持方法中的一个以上来保持物体o。传感器11能够检测多个物体o。控制装置12控制可动臂100和控制装置12。控制装置12基于从传感器11获取的信息，针对每个物体o以及每个保持方法，计算以所选择的保持方法为基准的分数(第1分数)。控制装置12基于分数来选择接下来要保持的物体o以及保持方法。控制装置12计算保持所选择的物体o的位置以及可动臂100的姿势。由此，能够在抑制保持方法的切换次数的同时高效地决定保持物体o的保持策略。控制装置12不具体地计算保持物体o的位置、可动臂100的姿势等而选择保持策略。保持策略例如是指选择所使用的搬运装置10的种类、所保持的物体o、保持方法。控制装置12仅针对所选择的物体o来计算保持物体o的位置、可动臂100的姿势即可，能够显著减少所需的运算量。另外，在即使是当前选择的保持方法也相对容易进行保持的情况下，通过以不切换保持方法而优先使用当前选择的保持方法的方式制作保持策略，能够节约保持方法的切换所需的时间，因此能够缩短整体的作业时间。
[0192]
另外，在本实施方式中，多个保持方法包括夹持和吸附。由此，搬运装置10能够保持难以通过夹持来保持的薄的物体o、或者具有难以通过吸附来保持的凹凸形状的物体o等各种物体o。
[0193]
另外，在本实施方式中，控制装置12以使保持方法的切换次数变少的方式，基于分数来选择所保持的物体o和保持方法。另外，控制装置12基于分数来判断是否需要(有无)保持方法的切换。由此，搬运装置10能够以保持方法的切换次数尽可能变少的方式执行一系列的保持动作，能够减少整体的作业所需的时间。
[0194]
另外，在本实施方式中，控制装置12基于分数与规定的第2阈值th2的大小关系来判断是否需要(有无)保持方法的切换。由此，控制装置12能够容易地判断保持方法的切换的必要性。另外，控制装置12能够通过调整第2阈值th2，制作与状况相应的保持策略。
[0195]
而且，在本实施方式中，控制装置12基于分数来决定保持物体o的顺序。由此，控制装置12能够考虑指示列表中指定的拾取作业整体来选择接下来的保持动作。
[0196]
另外，在本实施方式中，控制装置12决定所述物体的保持方法的切换的顺序。由此，控制装置12能够考虑指示列表中指定的拾取作业整体来选择进行保持方法的切换的最佳时机。
[0197]
而且，在本实施方式中，控制装置12在对保持方法为吸附的情况计算分数时，针对每个物体o的区域计算分数。由此，控制装置12能够选择相同的物体o中最容易保持的区域作为保持对象区域，因此能够提高保持效率。
[0198]
而且，在本实施方式中，控制装置12针对每个物体o以及每个保持方法，计算保持容易度作为第1分数，以所选择的保持方法为基准的分数是基于第1分数针对每个物体o以及每个保持方法计算出的第2分数。由此，控制装置12能够基于由第1分数表示的物体o的保持容易度和由第2分数表示的以当前选择的保持方法为基准的优先级这两个观点来决定保持动作。
[0199]
另外，在本实施方式中，关于物体o以及保持方法的第2分数是将关于该物体o或该物体o的区域以及所选择的保持方法的第1分数除以关于该物体o或该物体o的区域以及该保持方法的第1分数得到的值。由此，控制装置12能够容易地计算用于判断保持方法的切换的必要性的第2分数。
[0200]
(第2实施方式)
[0201]
接着，参照图14对第2实施方式进行说明。第2实施方式在根据保持的成功与否来校正分数计算这一点上与第1实施方式不同。另外，除以下说明的结构以外，其他结构与第1实施方式相同。
[0202]
图14是由第2实施方式的控制装置12进行的保持策略计划工序的控制流程图。
[0203]
在第2实施方式中，控制装置12在第1实施方式的步骤s10(保持成功与否判断工序)之后执行步骤s11和s12。控制装置12与第1实施方式同样地，基于指示列表和传感器11所获取的信息来计划保持策略或配置变更策略，以基于所计划的策略来进行保持或配置变更的方式控制可动臂100和保持部200，在进行了保持的情况下，在步骤s10中判断物体o的保持是否成功。
[0204]
在步骤s10之后，在判断部306判断为保持成功的情况下(步骤s11：是)，与第1实施方式同样地判断是否完成了指示列表(步骤s13)。另一方面，在判断部306判断为保持失败的情况下(步骤s11：否)，控制装置12执行步骤s12。在步骤s12中，控制装置12例如参照在步骤s308中储存于存储部302的保持策略，将保持失败的物体o所处的区域确定为保持失败区域。分数计算部304以使所确定的保持失败区域中包含的物体o的第1分数变小的方式进行校正。另外也可以是，代替上述例子或者在上述例子的基础上，阈值生成部305进行第1阈值th1的校正。
[0205]
保持失败区域例如既可以设定为仅包含保持失败的物体o，也可以设定为以保持失败的物体o为中心的具有规定的大小的圆形、多边形等任意形状的区域。或者，也可以将取出源容器v1的内部区域预先分割为多个区域，将各分割区域中的包含保持失败的物体o的分割区域设定为保持失败区域。不过，保持失败区域的设定方法不限于上述例子，能够采用任意的方法。
[0206]
分数计算部304的校正处理例如既可以通过在接下来计算保持失败区域所包含的物体o的第1分数时对如通常那样计算出的第1分数乘以0以上且小于1的校正系数来进行，
也可以通过对在保持失败区域所包含的物体o的分数计算中使用的评价函数的参数进行校正来进行。不过，第1分数的校正方法并不限定于上述例子，能够采用任意的方法。另外，也可以代替第1分数而在第2分数的计算等其他工序中进行校正处理，以修正保持策略中的物体o的优先级。
[0207]
接着，控制装置12与第1实施方式同样地判断是否完成了指示列表(步骤s13)。
[0208]
根据本实施方式的结构，控制装置12基于从传感器11获取的信息，针对每个物体o计算用于决定保持操作的优先级的分数(第1分数或第2分数)，在判断为保持部200的保持操作失败的情况下，基于保持操作失败的物体o的信息，校正用于决定优先级的分数。由此，控制装置12能够根据保持操作的成功与否，适当地修正保持策略中的各物体o的优先级。其结果，能够避免保持部200对难以保持的物体o反复尝试保持操作的状况，提高保持策略中的保持操作的成功率。
[0209]
(第3实施方式)
[0210]
接着，参照图15对第3实施方式进行说明。第3实施方式在制作多个保持策略这一点上与第1实施方式不同。另外，除以下说明的结构以外，其他结构与第1实施方式相同。
[0211]
图15是由第3实施方式的控制装置12进行的保持策略计划工序的控制流程图。
[0212]
在第3实施方式中，控制装置12执行步骤s357～s359来代替第1实施方式的步骤s307。控制装置12在保持策略计划工序(步骤s3)中，与第1实施方式同样地计算第1分数sh(i)(步骤s351)，在不存在第1阈值th1以上的第1分数sh(i)的情况下(步骤s352：否)，与第1实施方式同样地推断保持阻碍因素(步骤s362)，决定保持方法和配置变更操作(步骤s363)，针对每个物体o或物体o的区域计算第3分数(步骤s364)，决定配置变更策略(步骤s365)，将配置变更策略储存至存储部302(步骤s366)。另一方面，在存在第1阈值th1以上的第1分数sh(i)的情况下(步骤s352：是)，控制装置12计算第2分数t
h，h0
(i)(步骤s353)，判断保持方法的切换的必要性(步骤s354)。在判断部306判断为不需要进行保持方法的切换的情况下(s355：否)，控制装置12的保持策略决定部307与第1实施方式同样地决定包含保持的顺序的保持策略(步骤s356)，将保持策略储存至存储部302(步骤s360)，基于保持策略来决定接下来的保持动作(步骤s361)。即，判断部306判断为不需要切换保持方法的情况下的控制装置12的控制内容与第1实施方式相同。
[0213]
另一方面，在判断部306判断为需要切换保持方法的情况下(s355：是)，控制装置12执行步骤s357。在步骤s357中，控制装置12的保持策略决定部307制作多个包含保持及切换的顺序的保持策略方案。例如，保持策略决定部307基于第1分数sh(i)，制作整体的成功率相对较低的进行一次切换的保持策略方案、以及整体的成功率相对较高的进行两次切换的保持策略方案。
[0214]
接着，控制装置12执行步骤s358。在步骤s358中，控制装置12的分数计算部304对保持策略决定部307制作出的各保持策略方案的分数进行计算。例如，分数计算部304以保持策略方案中的保持方法的切换次数、关于各保持动作的第1分数sh(i)的平均值、最大值、最小值等值、预测出的完成保持策略所需的时间等作为评价项目，计算各保持策略方案的分数。分数计算部304例如也能够根据操作者的输入来适当变更评价项目的权重。
[0215]
接着，控制装置12执行步骤s359。在步骤s359中，控制装置12的保持策略决定部307基于分数计算部304生成的各保持策略方案的分数，决定最佳的保持策略。例如，保持策
略决定部307选择分数最大的保持策略方案作为保持策略。
[0216]
然后，控制装置12将由保持策略决定部307决定的保持策略储存至存储部302(步骤s360)，基于保持策略来决定接下来的保持动作(步骤s361)。
[0217]
此外，控制装置12也可以省略第2分数的计算和/或切换的必要性的判断(步骤s353～s355)，而基于第1分数制作多个保持策略方案。例如，保持策略决定部307能够制作整体的成功率最低的不进行切换的保持策略方案、整体的成功率次低的进行一次切换的保持策略方案、以及整体的成功率最高的进行两次切换的保持策略方案。分数计算部304计算各保持策略方案的分数，保持策略决定部307基于该分数决定保持策略。由此，控制装置12即使不进行保持方法的切换的判断，也能够决定用于抑制保持方法的切换次数的保持策略。
[0218]
根据本实施方式的结构，控制装置12制作多个包含保持物体o的顺序和保持方法的切换的顺序中的至少一个的保持策略，选择多个保持策略中的一个保持策略。由此，控制装置12能够对广泛的保持策略进行比较研究，选择在成功率、保持方法的切换次数等方面最优异的保持策略。
[0219]
另外，在本实施方式中，控制装置12以使保持方法的切换次数变小的方式选择多个保持策略中的一个保持策略。由此，搬运装置10能够以保持方法的切换次数尽可能变小的方式执行一系列的保持动作，能够减少整体的作业所需的时间。
[0220]
(第4实施方式)
[0221]
接着，对第4实施方式进行说明。第4实施方式在基于各保持方法的使用频度来选择保持方法这一点上，与第1实施方式不同。另外，除以下说明的结构以外，其他结构与第1实施方式相同。
[0222]
控制装置12将各保持方法的使用频度记录至存储部302。例如，控制装置12能够在每次进行保持动作时，将所使用的保持方法记录至存储部302，并基于保持方法的使用履历来计算各保持方法的使用频度。或者，控制装置12也可以将进行了保持方法的切换的情况记录至存储部302，并基于保持方法的切换的履历来计算各保持方法的使用频度。由此，控制装置12能够确认各个保持方法过去以何种程度的频度使用。
[0223]
控制装置12能够在计算出的各保持方法的使用频度存在偏差的情况下或判断为正在接近保持方法的使用限度的情况下，降低频繁使用的保持方法的使用频度。例如，控制装置12能够在图9的步骤s303中在计算第2分数t
h，h0
(i)时，调整第2分数t
h，h0
(i)中的参数，以降低选择频繁使用的保持方法的优先级。或者，控制装置12例如能够在图9的步骤s304中在对第2分数t
h，h0
(i)和第2阈值th2进行比较的情况下，使阈值生成部305调整第2阈值th2，以降低选择频繁使用的保持方法的优先级。或者，控制装置12例如能够在图9的步骤s307中在决定包含保持和切换的顺序的保持策略的情况下，为尽可能不使用频繁使用的保持方法，对于基于其他保持方法的第1分数sh(i)相对高的物体o，通过该其他保持方法进行保持。或者，控制装置12例如能够在图15的步骤s358中在计算各保持策略方案的分数的情况下，调整该分数中的参数，以降低选择频繁使用的保持方法的优先级。
[0224]
例如，控制装置12能够通过下述的数式7来计算夹持和吸附的分数。
[0225]
[数式7]
[0226]
f(i)＝g(w
1 h1s
p
(i) w2h2ss(i)) w3f
item
[0227]
在数式7中，w1h1 w2h2 w3＝1，wi≥0(i＝1、2、3)，hj≥0(j＝1、2)。s
p
(i)是通过“夹持”来保持表示物体o或物体o的区域的遮蔽区域i的情况下的第1分数。s
p
(i)是通过“吸附”来保持表示物体o或物体o的区域的遮蔽区域i的情况下的第1分数。g(sh(i)，s
h0
(i))是用于计算第2分数的函数。f
item
是物体o的重量乘以系数并标准化后的值。h1和h2是调整当前的保持方法的利用程度的权重。h1和h2例如能够将该权重作为以下那样的表信息保持在数据库等中。另外，控制装置12也可以根据第1分数s
p
(i)或ss(i)的计算结果来调整权重。
[0228]
[表5]
[0229]
保持方法h1h2吸附0.90.1夹持0.10.9
[0230]
根据以上那样的第4实施方式的结构，控制装置12基于各保持方法的使用频度来选择所保持的物体o和保持方法。由此，控制装置12能够通过降低频繁使用的保持方法的优先级这样的调整，抑制偏重特定的保持方法，因此能够延长保持部200的寿命。
[0231]
另外，在本实施方式中，控制装置12基于各保持方法的使用频度来计算分数。或者，控制装置12基于各保持方法的使用频度来决定第2阈值th2，并基于分数与第2阈值th2的大小关系来判断是否需要(有无)保持方法的切换。由此，控制装置12通过基于各保持方法的使用频度来修正分数或阈值，能够容易地进行降低频繁使用的保持方法的优先级这样的调整。
[0232]
(第5实施方式)
[0233]
接着，对第5实施方式进行说明。第5实施方式在基于各保持部200a、200b的物理状态的检测结果来选择保持方法这一点上与第1实施方式不同。另外，除以下说明的结构以外，其他结构与第1实施方式相同。
[0234]
控制装置12从第3传感器11c和第4传感器11d接收与第1保持部200a和第2保持部200b的物理状态相关的信息。如果反复使用特定的保持部200，则由于保持部200的变形、形状变化、表面状态的变化等，第3传感器11c和第4传感器11d的物理传感器的测量值可能发生变化。控制装置12基于与这样的物理状态相关的信息，推断保持部200a、200b的磨损状态等使用状态。关于使用了推断为产生了劣化、损伤的保持部200a、200b的保持方法，控制装置12与第4实施方式同样地调整分数、阈值、以及保持策略中的保持和切换的顺序等，以降低选择该保持方法的优先级或频度。
[0235]
根据以上那样的第5实施方式的结构，控制装置12基于保持部200的物理信息，选择所保持的物体o和保持方法。由此，能够在实际测量保持部200的物理劣化等的同时调整保持方法的优先级，因此能够延长保持部200的寿命。
[0236]
(第6实施方式)
[0237]
接着，对第6实施方式进行说明。第6实施方式在利用使用了机器学习的算法来代替基于规则的算法这一点上，与第1实施方式不同。另外，除以下说明的结构以外，其他结构与第1实施方式相同。
[0238]
在本实施方式中，能够通过机器学习来执行第1实施方式中的第1分数、第2分数、第3分数的计算。例如，假设在有监督学习(supervised learning)的情况下，还能够使用上述规定的评价函数作为学习时的评价值。关于学习算法，并不限于有监督学习，能够根据无
监督学习、强化学习等学习的种类进行变更。
[0239]
关于保持方法的切换，控制装置12基于从传感器11获取的信息、通过第1分数得到的信息、通过第2分数得到的信息以及保持方法的切换次数所需的信息等，构建学习网络，由此能够进行用于兼顾保持动作的成功率、保持方法的切换次数以及保持方法的使用频度的评价的学习，调整它们之间的平衡。例如，由机器学习训练的控制装置12能够接收在由传感器11进行的信息获取工序(步骤s1)中获取的信息作为输入，输出适合于增大保持动作的成功率、抑制保持方法的切换、抑制保持方法的使用频度的偏差的、包括针对每个保持对象以及每个保持方法的分数、保持及切换的顺序在内的一个以上的保持策略等。
[0240]
在利用机器学习的情况下，在数式2和数式3的第1分数的评价函数中，设为w
p1
＝w
p2
＝w
p3
＝w
p4
＝w
p5
＝0，w
s1
＝w
s2
＝w
s3
＝w
s4
＝w
s5
＝0。
[0241]
此外，关于配置变更操作，控制装置12能够基于从传感器11获取的信息、通过第3分数获得的信息、保持的成功与否等来构建学习网络，从而进行用于优化是否执行配置变更的判断、提高配置变更操作的有效性的学习。例如，由机器学习训练的控制装置12能够接收在由传感器11进行的信息获取工序(步骤s1)中获取的信息作为输入，输出适合于提高是否进行配置变更的判断、有效的配置变更操作的选择的适当性而提高系统的吞吐量的第3分数、配置变更策略等。
[0242]
另外，也可以将与保持方法的切换相关的学习网络以及与配置变更操作相关的学习网络整合为一个学习网络。
[0243]
根据以上那样的第6实施方式的结构，控制装置12通过反复进行机器学习，能够高效地输出更适当的分数、保持策略、配置变更策略。
[0244]
在上述各实施方式中，控制装置12在通过比较第2分数t
h，h0
(i)和第2阈值th2来判断切换的必要性之后决定保持动作和切换动作的顺序，但也可以不进行切换的必要性的判断，而以切换次数少的方式决定保持动作和切换动作的顺序。例如，也可以是，控制装置12的分数计算部304针对表示不考虑当前选择的保持方法的单纯的保持容易度的第1分数sh(i)，仅校正基于当前选择的保持方法h0的第1分数s
h0
(i)的值(例如，设为n倍(n＞1))，基于除此以外的保持方法的第1分数sh(i)生成作为原来的值的第2分数t
h，h0
(i)，基于该第2分数t
h，h0
(i)，以尽可能减少切换次数的方式决定包含保持动作和切换动作的顺序的保持策略。在该情况下，控制装置12不需要判断保持方法的切换的必要性。另外，包含第1分数sh(i)的校正方法的第2分数t
h，h0
(i)的生成方法并不限定于上述例子，只要施加一些偏置(bias)以优先使用当前选择的保持方法，则能够利用任意的方法。
[0245]
在上述各实施方式中，搬运装置10具有执行“夹持”的第1搬运装置10a和执行“吸附”的第2搬运装置10b，但搬运装置10的结构并不限定于此，只要是能够选择多个保持方法中的一个以上来保持物体的结构，则可以是具有执行任意的保持方法的一个以上的保持部的结构。例如，搬运装置10除了第1搬运装置10a和第2搬运装置10b以外，还可以具有其他搬运装置。搬运装置10也可以代替第1搬运装置10a和第2搬运装置10b而具有能够执行“夹持”和“吸附”这两者的一个混合机械手。此外，第1搬运装置10a和第2搬运装置10b中的至少一个也可以是能够执行“夹持”和“吸附”这两者的混合机械手。这样的混合机械手例如既可以是通过旋转180
°
的旋转部来切换夹持部和吸附部的结构，也可以是光学显微镜那样的转轮(volver)式的结构，还可以是其他结构。搬运装置10也可以具有大小、形状、特性等不同的
两种吸附用搬运装置。或者，搬运装置10也可以具有通过夹持及吸附以外的保持方法来进行物体o的保持的搬运装置。
[0246]
根据以上说明的至少一个实施方式，能够提高配置变更操作的有效性，因此能够缩短搬运装置的动作时间，能够提高系统的吞吐量。
[0247]
以上说明了本发明的几个实施方式，但这些实施方式是作为例子而提出的，并不意图限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式或其变形包含在发明的范围或主旨中，并且包含在权利要求书所记载的发明及其等同的范围中。