机器人系统的控制装置、机器人系统的控制方法、计算机控制程序及机器人系统与流程

1.本发明涉及操作对象物的机器人系统的控制装置、机器人系统的控制方法、机器人系统的控制程序以及机器人系统。


背景技术：

2.在工厂自动化(fa：factory automation)的检查、生产线中，已知有一种装置，其通过零部件拣选机器人等机器人将散装于料仓等容器内的工件(部件等)等对象物一个一个地取出，并从容器转移至其他场所或容器，或者对该对象物进行加工。在该装置中，例如对散装的工件进行三维测量，通过得到的测量结果与工件的三维模型数据的对照(三维匹配)而识别各个工件的三维位置姿势，并用机器人进行拾取。作为这样的装置的例子，例如专利文献1中记载了如下装置：从机器人移动时拍摄到的两个图像检测对象物，获取拍摄到各图像时机器人的位置姿势信息。在该装置中，根据对象物的位置信息和与各图像对应的机器人的位置姿势信息，算出机器人坐标系中的对象物的视线信息，并从这些视线信息的交点检测对象物的三维位置。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2016-70762号公报


技术实现要素：

6.发明要解决的技术问题
7.但是，在散装于容器内的工件的测量中，通常视野的一部分或全部会因为具有复杂形状的工件的相互重叠而被遮蔽(遮挡)，或者在具有镜面的工件时产生相互反射。该情况下，产生对象物的测量数据的不完整或缺损，难以充分地进行三维匹配，为此，有可能无法进行对象物的识别，或者虽然能够识别但其精度差。这样的话，即使是在容器内还残留有工件的状态下，也可能产生工件的取出处理中断等问题。
8.因此，本发明的一个方面是鉴于这样的情况而完成的，其目的在于，提供能够抑制从例如容器取出工件等对象物的处理中断、且测量对象物时的鲁棒性及对象物的操作的作业效率优异的拣选系统的控制装置、拣选系统的控制方法、拣选系统的控制程序以及拣选系统。
9.用于解决技术问题的技术方案
10.本发明为解决上述技术问题而采用以下的构成。
11.〔1〕即，本公开涉及的控制装置的一例是机器人系统的控制装置，所述机器人系统具备机器人和测量装置(传感器)，所述机器人具有机械手臂以及设置于该机械手臂的前端部且对对象物进行操作的手爪，所述测量装置设置于所述机械手臂且测量所述对象物的位置信息(例如，二维或三维位置信息)。另外，控制装置具备：位置姿势生成部，生成测量所述
对象物的位置信息时的所述测量装置的至少一个位置姿势(测量装置的朝向及坐标)；测量路径确定部，确定所述测量装置的测量路径，以使所述测量装置经由所述至少一个位置姿势中的至少一部分位置姿势进行移动，且在各位置姿势下测量所述对象物的位置信息；指示部，指示所述机器人进行使所述测量装置沿着包含所述测量路径的移动路径进行移动的处理，且指示所述测量装置进行所述测量装置在所述测量路径中所经由的所述至少一个位置姿势中的至少一部分位置姿势下测量所述对象物的位置信息的处理；以及识别部，使用所述测量装置的测量数据识别所述对象物，所述测量路径确定部例如在所述测量装置在所述移动路径中移动时(但不限于该时期)确定下次动作周期中的所述测量装置的测量路径。
12.在此，“动作周期”表示手爪对对象物进行操作而使对象物从某场所移动到其他场所的期间、以及/或者手爪从那位置返回至原来的场所为止的期间，换言之，表示手爪把持对象物进行移动以及/或者手爪为把持对象物而进行移动的期间。
13.在该构成中，设定经由所生成的至少一个位置姿势的测量装置的测量路径。另外，测量装置沿着包含该测量路径的移动路径进行移动，在此期间，在所设定的位置姿势下，通过测量装置对对象物进行测量，并确定下次(以后)的动作周期中的测量路径。因此，能够根据例如被散装等的对象物的信息、包含对象物的测量区域的状况等(考虑到这些)而实施测量装置的位置姿势以及经由其的测量路径的设定。因此，即使是在残留有对象物的情况下，例如与相对于对象物将测量装置固定而在各动作周期中以相同的视野进行测量时相比，也能够更可靠地进行对象物的识别。由此，能够抑制从例如容器取出对象物的处理中断，因而能够提高测量对象物时的鲁棒性、对象物的操作的作业效率以及整体的吞吐量。
14.〔2〕在上述构成中，更为具体而言，也可以构成为：所述位置姿势生成部基于所述测量装置与包含所述对象物的测量区域的相对几何学位置关系，以将所述测量区域全部覆盖的方式预先生成所述至少一个位置姿势，所述测量路径确定部确定所述测量路径，以使所述测量装置按规定的顺序经由所述至少一个位置姿势中的全部位置姿势进行移动。在该构成中，能够就像“静态”地设定以将测量区域全部覆盖的方式被固定的至少一个位置姿势。另外，在通过这些位置姿势的测量路径中进行对象物的测量。因此，在下次(以后)的动作周期中，也能够设定可靠地覆盖测量区域的测量路径，能够更加提高测量对象物时的鲁棒性、对象物的操作中的作业效率以及整体的吞吐量。
15.〔4〕在上述构成中，更为具体而言，所述测量结果也可以是所述测量装置对所述对象物进行测量的测量数据或者所述对象物的识别结果。
16.〔5〕更为具体而言，理想的是，所述测量数据或所述识别结果是所述对象物的识别可靠度低的识别结果、无法识别所述对象物的点群数据、缺失数据、不连续形状以及表示所述对象物的层叠配置中的高的位置的数据中的至少任一者。
17.〔6〕或者，在上述构成中，也可以构成为：所述位置姿势生成部基于规定的条件或规定的测量策略或者随机地从所述至少一个位置姿势选择特定的位置姿势，所述测量路径确定部基于规定的条件或规定的测量策略或者随机地确定所述测量路径，以使所述测量装置按规定的顺序经由所述特定的位置姿势中的至少一部分位置姿势进行移动。在该构成中，能够根据例如识别出的对象物的位置姿势等，从以将测量区域全部覆盖的方式静态设定的测量装置的位置姿势中选择更适于下次的动作周期中的对象物的识别的特定的位置姿势。由此，能够就像“动态”地设定测量装置的位置姿势，并基于其设定下次动作周期中的
测量路径。其结果是，能够进一步提高测量对象物时的鲁棒性、测量效率、对象物的操作中的作业效率以及整体的吞吐量。
18.〔7〕或者，在上述构成中，也可以构成为：所述位置姿势生成部基于规定的条件或规定的测量策略或者随机地生成所述至少一个位置姿势，所述测量路径确定部基于规定的条件或规定的测量策略或者随机地确定所述测量路径，以使所述测量装置按规定的顺序经由所述至少一个位置姿势中的至少一部分位置姿势进行移动。在该构成中，作为测量装置的位置姿势，不是设定预先固定的位置姿势，而是例如能够根据识别出的对象物的位置姿势等，就像更“动态”地设定更适于下次动作周期中的对象物的识别的位置姿势，并基于其设定下次动作周期中的测量路径。由此，能够进一步提高测量对象物时的鲁棒性、测量效率、对象物的操作中的作业效率以及整体的吞吐量。
19.〔8〕在上述构成中，更为具体而言，也可以构成为：所述规定的条件是以前的动作周期中的对象物的测量数据(例如，识别出的对象物的点群数据、距离图像等)、以前的动作周期中的对象物的识别结果(例如，识别出的对象物的数量、配置、位置姿势等)以及所述机器人系统的构成(例如，测量装置的视野、测量区域以及对象物的配置区域的相对几何学位置关系)中的至少一者。在该构成中，通过将这些规定的条件用作动态地生成及选定测量装置的位置姿势时的基准或指标，能够设定更合适的位置姿势及测量路径。
20.〔9〕在上述构成中，也可以构成为：所述规定的测量策略是以与测量区域的对应性(更宽地覆盖测量区域)、对象物的易识别性(更容易识别对象物)、测量路径的效率性(例如，测量路径的最短化)、对象物的识别可靠度(对象物的识别失败时或识别可靠度低时)以及对象物的层叠配置(散装的对象物的把持的容易性：易把持性)中的至少一者为目标的策略。在该构成中，由于能够以符合这些规定的测量策略的条件动态地生成及选定测量位置的位置姿势，因而例如能够结合散装的对象物的状态发生变化的状况，设定更合适的位置姿势及测量路径。
21.〔10〕在上述构成中，也可以构成为：所述指示部在所述手爪把持所述对象物进行移动时以及/或者所述手爪为了把持所述对象物而进行移动时，指示所述机器人及所述测量装置进行在所述至少一个位置姿势下测量所述对象物的位置信息的处理。在该构成中，在手爪把持对象物而向其他场所移动时(拾取后离开时)以及手爪将对象物释放后返回到原来的场所时(为了拾取而靠近对象物时)都能够进行对象物的测量。因此，能够提高下次(以后)的动作周期中的测量路径的设定中的灵活性及通用性。
22.〔11〕本公开涉及的控制方法的一例是机器人系统的控制方法，所述机器人系统具备机器人和测量装置，所述机器人具有机械手臂以及设置于该机械手臂的前端部且对对象物进行操作的手爪，所述测量装置设置于所述机械手臂且测量所述对象物的位置信息，所述控制方法的一例包括以下的各步骤。
23.即，该方法包括如下步骤：位置姿势生成部生成测量所述对象物的位置信息时的所述测量装置的至少一个位置姿势；测量路径确定部确定所述测量装置的测量路径，以使所述测量装置经由所述至少一个位置姿势进行移动且在各位置姿势下测量所述对象物的位置信息；指示部指示所述机器人进行使所述测量装置沿着包含所述测量路径的移动路径进行移动的处理，且指示所述测量装置进行所述测量装置在所述测量路径中所经由的所述至少一个位置姿势中的至少一部分位置姿势下测量所述对象物的位置信息的处理；识别部
使用所述测量装置的测量数据识别所述对象物；以及所述测量路径确定部在所述测量装置在所述移动路径中移动时确定下次动作周期中的所述测量装置的测量路径。
24.〔12〕本公开涉及的计算机控制程序的一例是使计算机作为上述本公开涉及的控制装置有效发挥功能的程序。
25.〔13〕本公开涉及的机器人系统的一例具备：机器人，具有机械手臂和设置于该机械手臂的前端部且对对象物进行操作的手爪；测量装置，设置于所述机械手臂且测量所述对象物的位置信息；以及上述本公开涉及的控制装置。
26.需要指出，在本公开中，“部”及“装置”并不仅仅是指物理单元，也包括通过软件实现该“部”及“装置”所具有的功能的构成。另外，可以通过两个以上的物理单元或装置实现一个“部”及“装置”所具有的功能，或者，也可以通过一个物理单元或装置实现两个以上的“部”及“装置”的功能。进而，“部”及“装置”是也可以改称为例如“单元”及“系统”的概念。
27.发明效果
28.根据本发明，能够抑制从例如容器取出对象物的处理中断，因而能够提高测量对象物时的鲁棒性、对象物的操作的作业效率以及整体的吞吐量。另外，通过该高效的处理，能够提高系统整体的处理速度，节约存储容量，并且，能够减少通信的数据量，并能够提高处理的可靠性。
附图说明
29.图1是示意性地表示具备本实施方式涉及的控制装置的机器人系统的应用场景的一例的平面图。
30.图2是示意性地表示具备本实施方式涉及的控制装置的机器人系统的应用场景的一例的平面图。
31.图3是示意性地表示具备本实施方式涉及的控制装置的机器人系统的硬件构成的一例的平面图。
32.图4是示意性地表示具备本实施方式涉及的控制装置的机器人系统的功能构成的一例的平面图。
33.图5是表示具备本实施方式涉及的控制装置的机器人系统中的处理过程的一例的流程图。
34.图6是示意性地表示本实施方式涉及的测量装置(传感器)的位置姿势及测量路径的一例的立体图。
35.图7是表示图6所示的传感器的位置姿势下的三维坐标的设定方法的一例的概念的示意图，(a)是立体图，(b)是俯视图。
36.图8是示意性地表示本实施方式涉及的测量装置(传感器)的位置姿势及测量路径的另一例的立体图。
37.图9是表示具备第一变形例涉及的控制装置的机器人系统中的处理过程的一例的流程图。
38.图10是概念性地表示“预定的测量策略”的图，(a)～(d)表示俯视图，(e)表示侧剖视图。
39.图11是表示具备第二变形例涉及的控制装置的机器人系统中的处理过程的一例
的流程图。
具体实施方式
40.以下，参照附图对本公开的一例涉及的实施方式(以下表述为“实施方式”。)进行说明。但是，以下说明的实施方式仅仅为例示，并不意图排除以下未明示的各种变形或技术的应用。即，本公开的一例能够在不脱离其主旨的范围内进行各种变形来实施。另外，在以下的附图的记载中，对相同或类似的部分标注相同或类似的附图标记，附图是示意性的，未必与实际的尺寸、比率等一致。进而，附图相互之间有时也包含相互的尺寸关系、比率不同的部分。
41.§
1应用例
42.首先，使用图1及图2，对应用本公开的一例的场景的一例进行说明。图1及图2分别是示意性地表示具备本实施方式涉及的控制装置的机器人系统的应用场景的一例的平面图。本实施方式涉及的机器人系统100能够进行例如通过机器人10将散装于料仓等收纳容器6内的多个工件5从收纳容器6取出并转移到其他收纳容器7等将其整齐排列配置的操作、以及/或者使转移完某个工件5的机器人10向收纳容器6侧返回以取出下一工件5的操作(分别参照图2的移动路径p1、p2)。工件5的种类并无特别限制，例如可以举出汽车的动力传动系统(例如发动机或变速器等)的机械部件、或者电装系统的电子部件等。另外，该机器人系统100除了机器人10以外，还具备设置于该机器人10的传感器1(本公开中的“测量装置”的一例)和与传感器1及机器人10连接的控制装置4。
43.传感器1是获取包含工件5的位置信息(例如三维位置信息)的测量数据的3d传感器，设置于机器人10的机械手臂3的前端部，如图1的(a)及(b)所示，以规定的视野(角)且规定的测量条件拍摄工件5。该传感器1例如也可以是测量点群的距离传感器，或者是将距离传感器和二维传感器组合来获取距离图像的距离图像传感器。距离传感器是测量作为进深信息的距离d的传感器。二维传感器是拍摄二维图像的图像传感器，二维图像在不将距离d作为像素值这一点上与距离图像不同。距离图像传感器例如也可以是一边改变二维传感器的拍摄位置一边拍摄工件5的多个二维图像并通过立体视觉的图像处理获取将距离d作为像素值的距离图像的照相机。或者，距离图像传感器也可以是通过从多个不同的方向同时拍摄工件5而获取将距离d作为像素值的距离图像的立体相机。
44.另外，传感器1并非是必须的，也可以根据需要而具有向工件5投射包含适当的测量光(例如，以主动方式使用的图案光、扫描光等)的所谓3d用照明、作为普通照明的所谓2d用照明的投影仪(未图示)。该投影仪的构成也无特别限制，例如，在投射图案光的情况下，可以例示出具备激光光源、图案掩模以及透镜的构成。从激光光源射出的光通过形成有规定图案的图案掩模而被转换为具有规定图案的测量光(图案光)，并经由透镜向工件5投射。
45.作为该“规定图案”，并无特别限制，例如可以例示出以主动单发方式使用的各种图案。更为具体而言，例如举出：多条线以规定间隔呈二维地配置的所谓基于线的图案、相互能够区分的多种单位图像、单位图形、几何学形状等呈二维地配置(可以是规则的也可以是随机的，还可以是规则的部分与随机的部分混合或者重叠。)的所谓基于区域的图案、在纵横线的网格中配置有图形符号等的所谓基于网格图形的图案等。需要指出，各规定图案也可以包含用于区分例如线、单位图形的id信息以用于编码。
46.另外，作为工件5的测量方式，并无特别限制，例如可以适当地选择使用如下方式：利用光的直进性的各种主动测量方式(例如，以三角测距为基本原理的空间编码化图案投影方式、时间编码化图案投影方式、莫尔轮廓术方式等)、利用光的直进性的各种被动测量方式(例如，以三角测距为基本原理的立体相机方式、体积交法方式、因子分解方式等以同轴测距为基本原理的对焦深度法(depth from focusing)方式等)、以及利用光的速度的各种主动测量方式(例如，以同时测距为基本原理的飞行时间方式(time of flight)、激光扫描方式等)。
47.作为工件5的测量数据，可以例示出通过这些各种测量方式获取的图像数据(例如三维点群数据、距离图像等)、以及能够与工件5的三维模型数据进行对照的适当的数据等。在此，作为工件5的三维模型数据，例如可以举出三维坐标数据、将该三维坐标数据与工件5的各种不同的位置姿势对应地进行二维投影而得到的二维坐标数据、其他与适当的模板、图案对应的数据等。需要指出，在工件5的识别中，并非必须进行与三维模型数据的对照，不使用模型数据(所谓的无模型)的识别也是能够适用的。
48.机器人10例如是具备用于操作(例如把持、吸附、移动、组装或者插入等)工件5的手爪2和前端部设置有该手爪2的机械手臂3的多关节机器人(例如，垂直多关节机器人、水平多关节机器人)。在机器人10的各关节中组装有用于驱动关节的伺服电机等驱动装置和用于检测关节的位移(角度位移)的编码器等位移检测装置。另外，机器人10作为自主动作的机械手进行动作，例如能够用于工件5的拣选、组装、输送、涂装、检查、研磨、或者清洗等各种用途。
49.手爪2是末端执行器的一例，具有能够进行把持和释放(抓住和放开)各个工件5的动作的把持机构。机械手臂3具有用于使手爪2向收纳容器6内的工件5的把持位置(拾取位置)移动、且使把持有工件5的手爪2从该把持位置向其他收纳容器7中的释放位置(落下位置)移动的驱动机构。
50.控制装置4分别与传感器1及机器人10连接，除了控制传感器1对工件5进行测量的处理、手爪2对工件5进行操作的处理、机器人10(手爪2及机械手臂3等)的驱动处理之外，还控制与机器人系统100中所需的各种动作、运算相关的处理。更为具体而言，例如实施以下的各处理。
51.(1)传感器的位置姿势生成处理
52.生成通过传感器1进行工件5(特别是收纳容器6内的所有工件5。下同。)的三维测量时的传感器1的位置姿势。作为该情况下的生成方法，例如，可以基于传感器1与包含工件5的测量区域(例如，工件5的收纳容器6的内部区域)的相对几何学位置关系，就像“静态”地设定将该测量区域全部覆盖这样的固定的至少一个位置姿势(传感器1的朝向及三维坐标)。另外，也可以基于规定条件或规定的测量策略或者随机地从固定的位置姿势中选择特定的位置姿势，或者使用已获取的工件5的位置信息等就像“动态”地设定传感器1的位置姿势。需要指出，通常通过一次三维测量得到对于多个工件5的识别结果(位置信息)。需要指出，在从收纳容器6拾取工件5的情况下，测量区域包括收纳容器6的内部区域(即，放置有工件5的区域)。在将工件5安放于收纳容器7的情况下，测量区域包括收纳容器7的内部区域(即，预定放置工件5的区域)。在把持放置于收纳容器6的内部区域的工件5、并使该工件5从收纳容器6的内部区域移动至收纳容器7的内部区域的情况下，测量区域包括收纳容器6的
内部区域和收纳容器7的内部区域。
53.(2)传感器的测量路径确定处理(初次的动作周期)
54.确定测量路径，该测量路径用于经由所生成的传感器1的位置姿势进行移动，并在各位置姿势下进行工件5的三维测量。该情况下，例如可以确定测量路径，以使传感器1经由静态设定的全部位置姿势。或者，也可以基于规定条件或规定的测量策略或者随机地确定测量路径，以使传感器1经由从其中选择的特定的位置姿势的至少一部分、或者动态设定的位置姿势的至少一部分。进而，在此确定包括所确定的测量路径的移动路径p1、p2中的任一者或者移动路径p1、p2两者(以下，有时会简单记载为“移动路径p1、p2”。)，该移动路径p1、p2是用手爪2把持作为把持对象的工件5而将其从收纳容器6转移到其他收纳容器7并使该手爪2移动返回至收纳容器6侧时的路径。
55.(3)工件的把持、移动、释放处理
56.把持并拾取散装于收纳容器6内的多个(全部)工件5中作为把持对象的工件5，并按照所设定的移动路径p1从收纳容器6向其他收纳容器7移动，在目标位置释放对工件5的把持而使工件5落下。之后，使释放了工件5的手爪2按照所设定的移动路径p2向收纳容器6侧移动，将这作为一个动作周期，重复进行下次(以后)的动作周期(工件5的把持、移动、释放处理)。需要指出，一个动作周期可以包含移动路径p1、p2中的任一者，或者也可以如本例这样包含移动路径p1、p2两者。
57.(4)工件的三维测量处理
58.在进行(3)的工件的把持、移动、释放处理的期间，在设定于测量路径内的位置姿势下，通过传感器1进行工件5的三维测量。例如，在从收纳容器6拾取工件5的情况下，传感器1在设定于测量路径内的位置姿势下，进行收纳容器6内的工件5的三维测量。收纳容器6内的工件5的三维测量以确定应从收纳容器6拾取的工件5为目的，为了识别收纳容器6内的多个工件5的装载状况及各工件5的位置姿势而被执行。另外，例如在将工件5安放于收纳容器7的情况下，传感器1在设定于测量路径内的位置姿势下，进行收纳容器7内的工件5的三维测量。收纳容器7内的工件5的三维测量以确定应将工件5安放于收纳容器7内的空闲区域(即，未放置工件5的区域)中的哪个区域(位置)为目的，为了识别收纳容器7内的多个工件5的装载状况及各工件5的位置姿势而被执行。工件5的三维测量可以是手爪2保持工件5并离开收纳容器6侧向其他收纳容器7侧移动的期间、以及从手爪2释放工件5并从其他收纳容器7侧接近收纳容器6的期间中的任一期间。
59.(5)工件的位置姿势识别处理
60.在(4)的工件的三维测量处理前后的适当时机，获取表示工件5的三维形状的三维模型数据(三维cad模型数据)，或者，根据需要创建能够用于进行工件5的位置姿势的识别处理的适当的模板、模型图案。之后，在进行(3)的工件的把持、移动、释放处理的期间，进行使用规定的识别参数对该三维模型数据等与通过传感器1获得的多个工件5的测量数据进行对照的三维匹配，识别多个工件5的位置姿势(例如，该工件5的三维坐标及绕三维轴的旋转角度)。另外，作为多个工件5各自的位置姿势识别结果，例如也可以输出将三维匹配中作为该工件5的特征点或特征部位而检测出的例如轮廓线(相当于边缘的线段)等以能够识别的方式显示于二维图像中而得到的图像，该二维图像是将针对各工件5识别出的位置姿势进行二维投影而得到的图像。需要指出，如上所述，在各工件5的识别中，并非必须进行与三
维模型数据的对照，不使用模型数据(所谓的无模型)的识别也能够适用。例如，在从收纳容器6拾取工件5的情况下，基于收纳容器6内的工件5的位置姿势识别结果确定从收纳容器6拾取的工件5。另外，例如在将工件5安放于收纳容器7的情况下，基于收纳容器7内的工件5的位置姿势识别结果确定收纳容器7内的空闲区域(即，未放置工件5的区域)。然后，确定将工件5安放于收纳容器7内的空闲区域中的哪个区域(位置)，以避免与已放置于收纳容器7的工件5发生干扰。
61.(6)下次把持的工件的确定处理及下次安放的工件的放置场所的确定处理
62.例如，在从收纳容器6拾取工件5的情况下，在进行(3)的工件的把持、移动、释放处理的期间，基于工件5的位置姿势识别结果，例如以适当的方法对多个工件5各自评估各识别结果的可靠度(精度)。根据该结果，例如将可靠度比规定阈值高的工件5选定为手爪2下次进行把持的保持候补的工件5。作为可靠度的评估方法，例如可举出如下方法等：从工件5的位置姿势识别结果提取工件5的三维形状的特征量，并基于该特征量算出表示与三维模型数据的匹配度或类似度的指标。进而，对于被选定为把持候补的工件5，基于其位置姿势识别结果，使用规定的计算参数算出手爪2把持该工件5时的手爪2的把持姿势。然后，例如在手爪2能够把持的工件5中，随机或者根据需要对手爪2把持这些各个工件5时的容易性(把持容易性)等进行评估，并基于其结果确定在下次动作周期中把持的工件5。需要指出，识别结果的可靠度与把持容易性未必对应(一致)，例如，也存在显现出更低可靠度的工件5的把持容易性比显现出更高可靠度的工件5高(容易把持)的情况。另外，例如在将工件5安放于收纳容器7的情况下，也可以预先规定在收纳容器7内安放工件5的区域(位置)及其顺序作为默认的配置规则。于是，在即使按照默认的配置规则将工件5安放于收纳容器7内的空闲区域也不会与已放置于收纳容器7的工件5发生干扰的情况下，也可以按照默认的配置规则将工件5安放于收纳容器7内的空闲区域。在若按照默认的配置规则将工件5安放于收纳容器7内的空闲区域时则会与已放置于收纳容器7中的工件5发生干扰的情况下，也可以将工件5安放于与由默认的配置规则规定的区域(位置)不同的区域(位置)，以防与已放置于收纳容器7中的工件5发生干扰。这样，基于已放置于收纳容器7内的工件5的位置信息，确定通过手爪2安放于收纳容器7内的工件5的目标位置。
63.(7)传感器的测量路径确定处理(下次的动作周期)
64.在进行(3)的工件的把持、移动、释放处理的期间，一面考虑下次动作周期中在收纳容器6内把持的工件5的位置和/或安放于收纳容器7内的工件5的目标位置，一面基于在(1)的传感器的位置姿势生成处理中设定的传感器1的位置姿势，设定下次(以后)的动作周期中的传感器1的测量路径及包含该测量路径的移动路径。该情况下的测量路径可以与上次的测量路径相同也可以不同。
65.如上所述，传感器1、手爪2、机械手臂3、控制装置4、机器人10、机器人系统100分别相当于本发明涉及的“传感器”、“手爪”、“机械手臂”、“控制装置”、“机器人”以及“机器人系统”的一例。另外，工件5相当于本发明涉及的“对象物”的一例。再进而，控制装置4也相当于本发明涉及的“位置姿势生成部”、“测量路径确定部”、“指示部”以及“识别部”各自的一例。
66.由以上可知，根据本实施方式的控制装置4及具备该控制装置4的机器人系统100，设定经由所生成的至少一个位置姿势的传感器1的测量路径。另外，使传感器1沿着包含该测量路径的移动路径p1、p2中的任一者或者移动路径p1、p2两者移动，在此期间，在所设定
的位置姿势下，通过传感器1进行工件5的三维测量，并确定下次(以后)的动作周期中的测量路径。因此，能够根据例如被散装等的工件5的信息、包含工件5的测量区域的状况等(考虑到这些)而实施传感器1的位置姿势以及经由该位置姿势的测量路径的设定。因此，即使是在收纳容器6内还残留有工件5的情况下，例如与相对于工件5将传感器1固定而在各动作周期中以相同的视野进行测量时相比，也能够更可靠地进行工件5的识别。由此，能够抑制从例如收纳容器6取出工件5的处理中断，因而能够提高测量工件5时的鲁棒性、工件5的操作的作业效率以及整体的吞吐量。
67.§
2构成例
68.[硬件构成]
[0069]
接着，使用图3对本实施方式涉及的机器人系统100的硬件构成的一例进行说明。图3是示意性地表示具备本实施方式涉及的控制装置4的机器人系统100的硬件构成的一例的平面图。在图3的例子中，机器人系统100也具备图1及图2所例示的具有传感器1、手爪2及机械手臂3的机器人10以及控制装置4。在此，控制装置4包括控制运算部41、通信接口(i/f)部42、存储部43、输入部44以及输出部45，各部可以经由总线46以能够相互通信的方式连接。
[0070]
控制运算部41包括cpu(central processing unit：中央处理单元)、ram(random access memory：随机存取存储器)、rom(read only memory：只读存储器)等，与信息处理相应地进行各构成要素的控制及各种运算。
[0071]
通信i/f部42例如是用于通过有线或无线与作为其他构成要素的“部”及“装置”进行通信的通信模块。通信i/f部42在通信中使用的通信方式是任意的，例如可举出lan(local area network：局域网)、usb(universal serial bus：通用串行总线)等，也可以适用与总线46同等的适当的通信线。传感器1、手爪2以及机械手臂3全都可以设置为能够经由通信i/f部42与控制运算部41等进行通信。
[0072]
存储部43例如是硬盘驱动器(hdd)、固态硬盘(ssd)等辅助存储装置，存储由控制运算部41执行的各种程序(用于执行包含上述(1)至(7)中所示的处理的各种处理的运算程序、以及用于进行传感器1、手爪2以及机械手臂3各自的动作的控制处理的控制程序等)、包含从传感器1输出的测量数据、测量条件、识别参数以及各种计算参数的数据库、各种运算结果及计算结果的数据、与多个工件5各自的位置姿势识别结果相关的数据、与各工件5的拣选状况、拣选记录相关的数据、工件5的三维模型数据、与可以包含多个工件5的测量区域相关的数据、测量该测量区域的传感器1的位置姿势的设定数据等。这样，通过由控制运算部41执行存储于存储部43的运算程序及控制程序，实现后述功能构成例中的各种处理功能。
[0073]
输入部44是用于接收来自利用机器人系统100的用户的各种输入操作的接口设备，例如可以通过鼠标、键盘、触摸面板、声音麦克风等实现。输出部45是用于通过其显示、声音输出、印刷输出等向利用机器人系统100的用户等告知各种信息的接口设备，例如可以通过显示器、扬声器、打印机等实现。
[0074]
[功能构成]
[0075]
接着，使用图4，对具备本实施方式涉及的物体识别处理装置的机器人系统100的功能构成的一例进行说明。图4是示意性地表示具备本实施方式涉及的控制装置4的机器人
系统100的功能构成的一例的平面图。
[0076]
图4所示的机器人系统100的控制运算部41将存储于存储部43的各种程序(控制程序及运算程序等)在ram中展开。然后，控制运算部41通过cpu对ram中展开的各种程序进行解释和执行，来对各构成要素进行控制。由此，如图3所例示的，本实施方式涉及的机器人系统100可以实现具备传感器控制部401、手爪控制部402、机械手臂控制部403、传感器位置姿势生成部410、路径确定部411、测量数据获取部420、模型数据获取部421、工件位置姿势识别部422、手爪把持姿势生成部430、手爪把持姿势评估部431以及把持工件确定部440作为能够执行上述(1)至(7)中所示的各处理的功能部的构成。
[0077]
需要指出，在本实施方式中，对由机器人系统100所具备的控制装置4实现的各功能通过通用的cpu而实现的例子进行了说明，但以上功能的一部分或全部也可以通过一个或多个专用的处理器而实现。另外，机器人系统100所具备的控制装置4的功能构成当然也可以根据实施方式、构成例适当地省略、替换以及追加功能。另外，“控制装置”可以理解为普通的信息处理装置(例如计算机、工作站等)。
[0078]
§
3动作例
[0079]
接着，使用图5对机器人系统100的动作的一例进行说明。图5是表示具备本实施方式涉及的控制装置4的机器人系统100中的处理过程的一例的流程图，也是表示机器人系统100的控制方法中的处理过程的一例的流程图。需要指出，以下说明的处理过程只不过是一例，各处理可以在本公开的技术构思的范围内尽可能地进行变更。另外，以下说明的处理过程可以根据实施方式、各构成例适当地省略、替换以及追加步骤。
[0080]
(启动)
[0081]
首先，机器人系统100的用户启动机器人系统100，执行各种程序(运算程序、控制程序等)。之后，控制装置4中的控制运算部41按照以下的处理过程控制传感器1、手爪2以及机械手臂3各自的动作，并通过控制装置4中的各功能部进行运算处理。另外，在本实施方式中，在以下的各步骤中的处理之前，从存储部43读出各个步骤中需要的测量条件、识别参数以及各种计算参数的初始值集，并适当地保持在传感器控制部401、传感器位置姿势生成部410、路径确定部411、工件位置姿势识别部422、手爪把持姿势生成部430以及手爪把持姿势评估部431中。不过，该测量条件、各种参数的读出只要是在各步骤的处理之前便可以在适当的时机进行。
[0082]
(步骤s501)
[0083]
在步骤s501中，传感器位置姿势生成部410生成通过传感器1进行多个工件5的三维测量时的传感器1的位置姿势(传感器1的朝向及三维坐标)。在此，基于传感器1与包含多个工件5的测量区域(例如，多个工件5的收纳容器6的内部区域)的相对几何学位置关系，就像“静态”地设定将该测量区域全部覆盖这样的固定的至少一个位置姿势。这样，步骤s501相当于上述应用例中的“(1)传感器的位置姿势生成处理”。
[0084]
需要指出，也可以不基于传感器1与测量区域的相对几何学位置关系，而例如基于早至少一个以上的动作周期中的传感器1的测量结果，就像“静态”地设定将该测量区域全部覆盖这样的固定的至少一个位置姿势。该情况下，作为其测量结果，可举出传感器1对多个工件5进行测量的测量数据或它们的识别结果，更为具体而言，可举出多个工件5中识别可靠度更低的工件的识别结果、无法识别工件5的点群数据、工件5的缺失数据、工件5间的
不连续形状、以及表示多个工件5散装的状态下的更高的位置的工件5的数据中的至少任一者。
[0085]
在此，图6是示意性地表示本实施方式涉及的传感器1的位置姿势及测量路径的一例的立体图。在该例子中，在传感器1的视野为可以包含多个工件5的测量区域(收纳容器6的内部区域等)以上的情况下，生成不同的多个(此处图示四个的例子。)的位置姿势61～64。如图所示，在该例子中，能够从朝向及三维坐标不同的最大四个方向进行包含工件5的测量区域的测量。
[0086]
另外，图7是表示图6所示的传感器1的位置姿势下的三维坐标的设定方法的一例的概念的示意图，(a)是立体图，(b)是俯视图。在该例子中，设想以作为测量区域的收纳容器6的虚拟上表面的中心为原点g0的坐标系，作为实质性的固定参数，例如设定原点g0与传感器1的中心点g1的距离w。距离w例如可以设为传感器1适当地发挥功能的范围的长度。另外，作为输入变量参数，例如可以举出以原点g0为基点的垂线与规定距离w的虚拟直线的内角α、以原点g0为基点的垂线与传感器1的中心点g1的距离(中心点g1与点g2的距离)、以及传感器1的位置姿势的设定数n。该情况下，在图6所示的位置姿势的设定例中，根据图7的(a)及(b)所示那样的传感器1与测量区域的几何学位置关系，例如，位置姿势63的(x，y，z)坐标用(r，0，h)表示，位置姿势64的(x，y，z)坐标用(cosβ
·
r，sinβ
·
r，h)表示。该情况下，r＝sinα
·
w，h＝cosα
·
w，β＝2π/n。进而，除了该传感器1的位置姿势的三维坐标之外，还有传感器1的朝向可以成为变动参数(在图6及图7的例子中，设想指向测量区域的中心即原点g0的朝向)。
[0087]
进而，图8是示意性地表示本实施方式涉及的传感器1的位置姿势及测量路径的另一例的立体图。在该例子中，在传感器1的视野比包含工件5的测量区域(收纳容器6的内部区域等)小的情况下，生成不同的多个(此处图示八个的例子。)的位置姿势81～88。如图所示，在该例子中，能够从朝向及三维坐标不同的最大八个方向进行包含工件5的测量区域的测量。
[0088]
(步骤s502)
[0089]
在步骤s502中，路径确定部411确定用于在初次的动作周期中经由在先生成的传感器1的位置姿势61～64进行移动、且在各位置姿势61～64下进行工件5的三维测量的测量路径。更为具体而言，例如，首先划定将相邻两个位置姿势连结的单位路径，接着，以适当的顺序将这些单位路径连接起来，可以设定一个统一的测量路径。
[0090]
例如，在图6的例子中，可以划定将传感器1的位置姿势61～64中相邻的位置姿势之间连结的单位路径m1～m4，并设定在它们中逆时针方向移动的统一的测量路径m1
→
m2
→
m3
→
m4。另外，在图8的例子中，可以划定将传感器1的位置姿势81～88中相邻的位置姿势之间连结的单位路径m1～m8，并设定在它们中逆时针方向移动的统一的测量路径m1
→
m2
→
m3
→
m4
→
m5
→
m6
→
m7
→
m8。但是，设定单位路径、测量路径的方法(策略)并不限定于图6、图8所示的例子，可以将不相邻的位置姿势之间连结，绕周方向、连结单位路径的顺序也可以是任意的，另外也可以随机进行设定。
[0091]
进而，在步骤s502中，确定包含所确定的测量路径、且利用手爪2把持作为把持对象的工件5从收纳容器6转移到其他收纳容器7并使该手爪2向收纳容器6侧移动返回时的移动路径p1、p2。这样，步骤s502相当于上述应用例中的“(2)传感器的位置姿势生成处理(初
次的动作周期)”。
[0092]
(步骤s503)
[0093]
在步骤s503中，机械手臂控制部403基于朝向散装于收纳容器6内的工件5中成为把持对象的工件5的移动路径p1，使机械手臂3进行动作，将手爪2移动至适当设定的工件5的把持姿势。之后，手爪控制部402基于该把持姿势使手爪2进行动作，将作为把持对象的工件5把持。进而，机械手臂控制部403及手爪控制部402从收纳容器6拾取所把持的工件5，按照移动路径p1移动到其他收纳容器7，并在目标位置将工件5的把持释放而使其落下，并整齐排列配置。这样，步骤s503相当于上述应用例中的“(3)工件的把持、移动、释放处理”。
[0094]
(步骤s504)
[0095]
在步骤s504中，在进行步骤s503的工件5的把持、移动、释放处理的期间，传感器控制部401在设定于测量路径内的位置姿势下使传感器1进行动作，使用测量条件的初始值集测量工件5，获取包含工件5的三维位置信息的测量数据。该工件5的三维测量也可以是手爪2保持工件5并离开收纳容器6侧而向其他收纳容器7侧移动的期间(移动路径p1)、以及从手爪2将工件5释放并从其他收纳容器7侧靠近收纳容器6的期间(移动路径p2)中的任一者。作为测量条件，例如除了曝光时间、照明照度以及测量位置(例如，传感器1相对于工件5的相对三维位置或姿势(光轴的朝向))以外，还可举出在所应用的测量方式中设定的各种条件。于是，作为工件5的测量数据，传感器1除了例如三维点群数据(点云数据)、距离图像等之外，还根据需要向测量数据获取部420输出例如亮度图像等。这样，步骤s504相当于上述应用例中的“(4)工件的三维测量处理”。
[0096]
(步骤s505)
[0097]
在步骤s505中，在步骤s504的工件的三维测量处理前后的适当时机，模型数据获取部421获取预先创建的表示工件5的三维形状的三维模型数据(三维cad模型数据)、可在三维匹配中使用的模板、模型图案，并将它们存储于存储部43中。另外，工件位置姿势识别部422从工件5的测量数据中提取示出工件5的三维形状的特征点，进行在规定的搜索区域中与工件5的三维模型数据中对应的特征点或特征图案进行对照的三维匹配。进而，工件位置姿势识别部422使用工件5的位置姿势的识别参数的初始值集识别各个工件5的位置姿势。作为工件5的位置姿势的输出数据，例如可举出工件5的三维坐标(x，y，z)及绕三维轴的旋转角度(rx，ry，rz)。另外，工件位置姿势识别部422根据需要算出检测出位置姿势的工件5的数量，并将这些识别结果及计算结果存储于存储部43。
[0098]
作为工件5的位置姿势的识别参数，例如可举出与位置姿势识别中的工件5的检测相关的阈值等，更为具体而言，可以例示出工件5的三维模型数据与工件5的测量数据的三维匹配的阈值等。进而，工件位置姿势识别部422将检测出的各工件5的位置姿势识别结果存储于存储部43。
[0099]
进而，工件位置姿势识别部422基于工件5的位置姿势识别结果，例如通过适当的方法对识别出的各工件5的识别结果的可靠度(精度)进行评估。根据该结果，例如将可靠度比规定阈值高的工件5选定为作为手爪2下次进行把持的把持候补的工件5。作为可靠度的评估方法，可举出如下方法等：例如，从工件5的位置姿势识别结果提取工件5的三维形状的特征量，并基于该特征量算出表示与三维模型数据的匹配度或类似度的指标。
[0100]
接着，手爪把持姿势生成部430使用把持被确定为把持对象的工件5时的手爪2的
把持姿势的计算参数的初始值集，并基于工件5的位置姿势识别结果算出手爪2对该工件5进行把持的把持姿势。作为手爪2对工件5进行把持的把持姿势的计算参数，例如可举出把持姿势计算中的阈值等。然后，手爪把持姿势评估部431例如在手爪2能够把持的工件5中随机地或者根据需要对手爪2把持各工件5时的容易性等进行评估，把持工件确定部420基于其结果确定在下次动作周期中把持的工件5。这样，步骤s505相当于上述应用例中的“(5)工件的位置姿势识别处理”及“(6)下次把持的工件的确定处理”。
[0101]
(步骤s506)
[0102]
在步骤s506中，在进行步骤s503的工件的把持、移动、释放处理的期间，一面考虑在下次动作周期中把持的工件5的位置，一面基于步骤s501的传感器的位置姿势生成处理中设定的传感器1的位置姿势，设定下次(以后)的动作周期中的传感器1的测量路径以及包含该测量路径的移动路径。该情况下的测量路径可以是与图6、图8所示的上次的测量路径相同的路径，也可以是变更图6、图8所示的单位路径m1～m8的组合顺序而创建的路径。这样，步骤s506相当于上述应用例中的“(7)传感器的测量路径确定处理(下次的动作周期)”。
[0103]
(步骤s507)
[0104]
之后，在步骤s507中，在根据工件5的位置姿势识别结果判断为收纳容器6内还残存有工件5(是)时，使处理返回到步骤s503，重复实施下次(以)的动作周期(即，步骤s503～s506)，在判断为收纳容器6内未残存有工件5(否)时，结束对该收纳容器6的处理。
[0105]
§
4作用、效果
[0106]
如上所述，根据本实施方式涉及的机器人系统100的控制装置4以及使用该控制装置4的控制方法的一例，设定经由对传感器1生成的位置姿势61～64、81～88等的传感器1的测量路径。另外，传感器1沿着包含该测量路径的移动路径p1、p2进行移动，在此期间，在所设定的位置姿势61～64、81～88下，通过传感器1对工件5的三维测量进行位置姿势识别，并确定下次(以后)的动作周期中的测量路径。因此，即使是在收纳容器6内还残留有工件5的情况下，例如与将传感器1相对于工件5固定而在各动作周期中以相同的视野进行测量时相比，也能够更可靠地进行工件5的识别。由此，能够抑制从例如收纳容器6取出工件5的处理中断，因而能够提高工件5的测量时的鲁棒性、工件5的操作的作业效率以及整体的吞吐量。
[0107]
另外，基于传感器1与包含工件5的测量区域(例如，工件5的收纳容器6的内部区域)的相对几何学位置关系，以将该测量区域全部覆盖的方式设定传感器1的位置姿势61～64、81～88。因此，在下次(以后)的动作周期中，也可以设定能够可靠地覆盖测量区域的测量路径，能够提高工件5的识别精度，并抑制工件5的识别遗漏。进而，在移动路径p1、p2中的任一者中都能够进行工件5的三维测量，因而能够提高下次(以后)的动作周期中的测量路径的设定时的灵活性及通用性。
[0108]
需要指出，图5所示的流程图示出从收纳容器6拾取工件5时的处理过程，该处理过程对应于应用例中的“(1)传感器的位置姿势生成处理”、“(2)传感器的测量路径确定处理(初次的动作周期)”、“(3)工件的把持、移动、释放处理”、“(4)工件的三维测量处理”、“(5)工件的位置姿势识别处理”、“(6)下次把持的工件的确定处理”、以及“(7)传感器的测量路径确定处理(下次的动作周期)”。
[0109]
关于将工件5安放于收纳容器7时的处理过程，也可以按与图5所示的流程图同样的流程进行处理。该情况下，将工件5安放于收纳容器7时的处理过程对应于应用例中的“(1)传感器的位置姿势生成处理”、“(2)传感器的测量路径确定处理(初次的动作周期)”、“(3)工件的把持、移动、释放处理”、“(4)工件的三维测量处理”、“(5)工件的位置姿势识别处理”、“(6)下次安放的工件的放置场所的确定处理”、以及“(7)传感器的测量路径确定处理(下次的动作周期)”。
[0110]
但是，从收纳容器6拾取工件5时的处理过程是以确定应从收纳容器6拾取的工件5为目的，为了识别收纳容器6内的多个工件5的装载状况及各工件5的位置姿势而被执行的，相对于此，将工件5安放于收纳容器7时的处理过程是以确定应将工件5安放于收纳容器7内的空闲区域(即，未放置工件5的区域)中的哪个区域(位置)为目的，为了识别收纳容器7内的多个工件5的装载状况及各工件5的位置姿势而被执行的，在这一点上两者不同。鉴于这样的不同点，在图5所示的流程图的多个步骤中的一部分步骤中，以与从收纳容器6拾取工件5时的处理过程不同的过程执行将工件5安放于收纳容器7时的处理过程。
[0111]
例如，在从收纳容器6拾取工件5时的处理过程中，在步骤s504中，进行收纳容器6内的工件5的三维测量，但在将工件5安放于收纳容器7时的处理过程中，在与步骤s504对应的步骤中，进行收纳容器7内的工件5的三维测量。收纳容器7内的工件5的三维测量可以在将工件5安放于收纳容器7内之前的阶段(即，传感器1位于移动路径p1上的期间)进行，或者也可以在将工件5安放于收纳容器7之后的阶段(即，传感器1位于移动路径p2上的期间)进行。若考虑到堆积在收纳容器7内的工件5的坍塌的可能性，理想的是在将工件5安放于收纳容器7之后的阶段进行工件5的三维测量。
[0112]
另外，例如，在从收纳容器6拾取工件5时的处理过程中，在步骤s505中，确定在下次动作周期中把持的工件5，但在将工件5安放于收纳容器7时的处理过程中，在与步骤s505对应的步骤中，确定通过手爪2安放的工件5的目标位置。
[0113]
另外，例如，在从收纳容器6拾取工件5时的处理过程中，在步骤s507中，判定收纳容器6内是否还残存有工件5，但在将工件5安放于收纳容器7时的处理过程中，在与步骤s507对应的步骤中，判定在收纳容器7内是否残存有安放工件5的区域(目标位置)。
[0114]
§
5变形例
[0115]
以上，对作为本公开的一例的实施方式详细进行了说明，但上述说明在所有方面只不过示出了本公开的一例，当然能够不脱离本公开的范围地进行各种改良、变形，例如可以进行如下所示的变更。需要指出，在以下的说明中，对与上述实施方式同样的构成要素使用同样的附图标记，至于与上述实施方式同样的点则适当地省略了说明。另外，上述实施方式及以下的各变形例可以适当地组合而构成。
[0116]
＜5.1：第一变形例＞
[0117]
图9是表示具备第一变形例涉及的控制装置的机器人系统中的处理过程的一例的流程图。在第一变形例中，也可以适用具备图1至图4所示的实施方式涉及的控制装置4的机器人系统100。根据第一变形例的处理过程的一例除了取代图5所示的所述动作例中的步骤s501而实施步骤s601以外，与图5所示的处理过程的一例实质上相同。
[0118]
在步骤s601中，与步骤s501同样地，首先，传感器位置姿势生成部410生成通过传感器1对工件5进行三维测量时的传感器1的位置姿势(传感器1的朝向及三维坐标)。在此，基于传感器1与包含工件5的测量区域(例如，工件5的收纳容器6的内部区域)的相对几何学位置关系，就像“静态”地设定将该测量区域全部覆盖这样的固定的至少一个位置姿势。接
着，传感器位置姿势生成部410基于规定的条件或规定的测量策略或者随机地从所生成的位置姿势中选择至少一个特定的位置姿势。
[0119]
该情况下，作为“规定的条件”，例如可举出以前的动作周期中的工件5的测量数据(例如，识别出的工件5的点群数据、距离图像等)、以前的动作周期中的工件5的位置姿势识别结果(例如，识别出的工件5的数量、配置、位置姿势等)、机器人系统100的构成(例如，传感器1的视野、测量区域、以及工件5的配置区域的相对几何学位置关系)等。另外，作为“规定的测量策略”，可举出以与测量区域的对应性(更宽地覆盖测量区域)、工件5的易识别性(更容易识别工件5)、测量路径的效率性(例如，测量路径的最短化)、工件5的识别可靠度(工件5的识别失败时或识别可靠度低时)、以及工件5的层叠配置(散装的工件5的把持的容易性)中的至少一者为目标的策略。测量路径的效率性是表示能够以何种程度高效地进行工件5的三维测量的指标值，例如，越是能够在更短时间内进行工件5的三维测量，则测量路径的效率性越高。
[0120]
根据该构成，通过根据例如识别出的工件5的位置姿势等，从以将测量区域全部覆盖的方式静态地设定的传感器1的位置姿势61～64、81～88中选择更适于下次的动作周期中的工件5的识别的特定的位置姿势，从而能够就像“动态”地设定传感器1的位置姿势，并基于它们设定下次动作周期中的测量路径。由此，能够进一步提高测量工件5时的鲁棒性、测量效率以及工件5的操作中的作业效率。
[0121]
在此，图10为概念性表示“规定的测量策略”的图，(a)～(d)表示俯视图，(e)表示侧剖视图。无论在哪个图中，面向附图所示的左侧的图(以下称为“左图”。)表示在上次的动作周期中，以与该动作周期中的传感器1的位置姿势对应的测量视野v1测量了包含工件5(5a、5b)的测量区域(收纳容器6的内部)的状态。另外，面向附图所示的右侧的图(以下称为“右图”。)表示在下次的动作周期中，以与该动作周期中的传感器1的位置姿势对应的测量视野v2测量包含工件5(5b)的测量区域(收纳容器6的内部)的状态。
[0122]
图10的(a)是基于与测量区域的对应性的测量策略的一例，以把持在左图的测量视野v1下识别出的四个工件5中的工件5a(涂黑圆形符号)，并在下次的动作周期中，通过右图的测量视野v2，更宽地覆盖包含剩余三个工件5b(空心圆形符号)的测量区域的方式确定测量路径。由此，容易覆盖测量区域，因而容易抑制工件5的测量及识别遗漏。
[0123]
图10的(b)是基于工件5的易识别性的测量策略的一例，以把持在左图的测量视野v1下识别出的四个工件5中的工件5a，并在下次的动作周期中，剩余三个工件5b的例如重心与右图的测量视野v2的中心一致的方式确定测量路径。由此，工件5的更可靠的识别变得更容易，因而能够提高剩余的工件5b的位置姿势识别中的可靠度。
[0124]
图10的(c)是基于测量路径的易变更性的测量策略的一例，以保持在左图的测量视野v1下识别出的四个工件5中的工件5a，并在下次的动作周期中，一面再次测量剩余的三个工件5b，一面得到测量视野的变更距离尽可能短的测量视野v2的方式确定测量路径。由此，能够一面提高剩余的工件5b的位置姿势识别中的可靠度，一面提高测量效率。
[0125]
图10的(d)是基于工件5的识别可靠度的测量策略的一例，是在左图的测量视野v1下工件5的识别失败、或者识别可靠度低时的例子。该情况下，通过从左图的测量数据(点群数据等)将无工件时的测量区域(收纳容器6)的测量数据(几何学位置信息)作为背景减去，从而检测推测存在于测量区域的工件5的点群数据d1。然后，如右图所示，以包含包括该点
群数据d1的位置的不同的测量视野v2的方式确定测量路径。由此，能够优先提高工件5的识别率。
[0126]
图10的(e)是基于工件5的层叠配置(易把持性)的测量策略的一例，在如左图所示工件5散装于收纳容器6内的情况下，考虑到把持的容易性，以使散装的工件5中位于最上层的工件5包含于测量视野v2的方式确定测量路径。由此，能够优先提高工件5的把持成功的概率。
[0127]
与图9及图10相关的上述说明是用于从收纳容器6成功把持工件5的测量策略的说明，但对于用于成功向收纳容器7安放工件5的测量策略，也可以适用同样的策略。例如，通过将用于从收纳容器6成功把持工件5的“工件5的易把持性”及“工件5的易识别性”分别替换为用于成功向收纳容器7安放工件5的“工件5的易安放性”及“工件5的安放位置的易识别性”，从而能够选择边避免与已放置于收纳容器7内的工件5发生干扰、边找到用于将工件5放置在收纳容器7内的空闲区域内的区域(目标位置)的最佳测量策略。
[0128]
＜5.2：第二变形例＞
[0129]
图11是表示具备第二变形例涉及的控制装置的机器人系统中的处理过程的一例的流程图。在第二变形例中，也可以适用具备图1至图4所示的实施方式涉及的控制装置4的机器人系统100。根据第二变形例的处理过程的一例除了取代图5所示的所述动作例中的步骤s501而实施步骤s701之外，与图5所示的处理过程的一例实质上相同。
[0130]
在步骤s701中，传感器位置姿势生成部410生成通过传感器1进行工件5的三维测量时的传感器1的位置姿势(传感器1的朝向及三维坐标)。在此，基于规定的条件或规定的测量策略或者随机地就像“动态”地设定传感器1的至少一个位置姿势。该情况下，“规定的条件”及“规定的测量策略”可以适用与第一变形例相同的条件及策略。
[0131]
根据该构成，作为传感器1的位置姿势，没有设定预先固定的位置姿势，而是例如可以根据识别出的工件5的位置姿势等，就像更“动态”地设定更适于下次动作周期中的工件5的识别的位置姿势，并基于其设定下次动作周期中的测量路径。由此，能够进一步提高测量工件5时的鲁棒性、测量效率以及工件5的操作中的作业效率。
[0132]
§
6附录
[0133]
以上说明的实施方式及变形例是为了便于理解本发明，并非用于限定解释本发明。实施方式及变形例所具备的各要素及其配置、材料、条件、形状及尺寸等不限定于所例示的内容，可以适当地变更。另外，也可以将不同的实施方式及变形例中示出的构成彼此部分地置换或组合。另外，上述实施方式的一部分或者全部也可以如以下的附录那样进行记载，但并不限定于以下。
[0134]
(附录1)
[0135]
一种机器人系统(100)的控制装置(4)，所述机器人系统(100)具备机器人(10)和测量装置(1)，所述机器人(10)具有机械手臂(3)以及设置于该机械手臂(3)的前端部且对对象物(5)进行操作的手爪(2)，所述测量装置(1)设置于所述机械手臂(3)且测量所述对象物(5)的位置信息，
[0136]
所述控制装置(4)具备：
[0137]
位置姿势生成部(410)，生成测量所述对象物(5)的位置信息时的所述测量装置(1)的至少一个位置姿势；
[0138]
测量路径确定部(411)，确定所述测量装置(1)的测量路径，以使所述测量装置(1)经由所述至少一个位置姿势的至少一部分进行移动且在各位置姿势下测量所述对象物(5)的位置信息；
[0139]
指示部(401、402、403)，指示所述机器人进行使所述测量装置(1)沿着包含所述测量路径的移动路径(p1、p2)进行移动的处理，并且，指示所述测量装置(1)进行所述测量装置(1)在所述测量路径中所经由的所述至少一个位置姿势的至少一部分下测量所述对象物(1)的位置信息的处理；以及
[0140]
识别部(422)，使用所述测量装置(1)的测量数据识别所述对象物(5)，
[0141]
所述测量路径确定部(411)确定下次动作周期中的所述测量装置(1)的测量路径。
[0142]
(附录2)
[0143]
根据附录1所述的控制装置(4)，其中，
[0144]
所述位置姿势生成部(410)基于所述测量装置(1)与包含所述对象物(5)的测量区域的相对几何学位置关系，以将所述测量区域全部覆盖的方式预先生成所述至少一个位置姿势，
[0145]
所述测量路径确定部(411)确定所述测量路径，以使所述测量装置(1)按规定的顺序经由所述至少一个位置姿势的全部进行移动。
[0146]
(附录3)
[0147]
根据附录1所述的控制装置(4)，其中，
[0148]
所述位置姿势生成部(410)基于早至少一个以上的动作周期中的所述测量装置(1)的测量结果预先生成所述至少一个位置姿势，
[0149]
所述测量路径确定部(411)确定所述测量路径，以使所述测量装置(1)按规定的顺序经由所述至少一个位置姿势中的全部位置姿势进行移动。
[0150]
(附录4)
[0151]
根据附录3所述的控制装置(4)，其中，
[0152]
所述测量结果是所述测量装置(1)对所述对象物(5)进行测量的测量数据或者所述对象物(5)的识别结果。
[0153]
(附录5)
[0154]
根据附录4所述的控制装置(4)，其中，
[0155]
所述测量数据或所述识别结果是所述对象物(5)的识别可靠度低的识别结果、无法识别所述对象物(2)的点群数据、缺失数据、不连续形状以及表示所述对象物(5)的层叠配置中的高的位置的数据中的至少任一者。
[0156]
(附录6)
[0157]
根据附录2至5中任一者所述的控制装置(4)，其中，
[0158]
所述位置姿势生成部(410)基于规定的条件或规定的测量策略或者随机地从所述至少一个位置姿势中选择特定的位置姿势，
[0159]
所述测量路径确定部(411)基于规定的条件或规定的测量策略或者随机地确定所述测量路径，以使所述测量装置(1)按规定的顺序经由所述特定的位置姿势的至少一部分进行移动。
[0160]
(附录7)
[0161]
根据附录1至5中任一者所述的控制装置(4)，其中，
[0162]
所述位置姿势生成部(410)基于规定的条件或规定的测量策略或者随机地生成所述至少一个位置姿势，
[0163]
所述测量路径确定部(411)基于规定的条件或规定的测量策略或者随机地确定所述测量路径，以使所述测量装置(1)按规定的顺序经由所述至少一个位置姿势的至少一部分进行移动。
[0164]
(附录8)
[0165]
根据附录6或7所述的控制装置(4)，其中，
[0166]
所述规定的条件是以前的动作周期中的对象物(5)的测量数据、以前的动作周期中的对象物(5)的识别结果以及所述机器人系统(100)的构成中的至少一者。
[0167]
(附录9)
[0168]
根据附录6至8中任一者所述的控制装置(4)，其中，
[0169]
所述规定的测量策略是以与测量区域的对应性、对象物(5)的易识别性、测量路径的效率性、对象物(5)的识别可靠度以及对象物(5)的层叠配置中的至少一者为目标的策略。
[0170]
(附录10)
[0171]
根据附录1至9中任一者所述的控制装置(4)，其中，
[0172]
所述指示部(401)在一个动作周期中，在所述手爪(2)把持所述对象物(5)进行移动时以及/或者所述手爪(2)为了把持所述对象物(5)而进行移动时，指示所述测量装置(1)进行在所述至少一个位置姿势下测量所述对象物(5)的位置信息的处理。
[0173]
(附录11)
[0174]
一种机器人系统(100)的控制方法，所述机器人系统(100)具备机器人(10)和测量装置(1)，所述机器人(10)具有机械手臂(3)以及设置于该机械手臂(3)的前端部且对对象物(5)进行操作的手爪(2)，所述测量装置(1)设置于所述机械手臂(3)且测量所述对象物(5)的位置信息，
[0175]
所述控制方法包括以下步骤：
[0176]
位置姿势生成部(410)生成测量所述对象物(5)的位置信息时的所述测量装置(1)的至少一个位置姿势；
[0177]
测量路径确定部(411)确定所述测量装置(1)的测量路径，以使所述测量装置(1)经由所述至少一个位置姿势进行移动且在各位置姿势下测量所述对象物(5)的位置信息；
[0178]
指示部(401、402、403)指示所述机器人进行使所述测量装置(1)沿着包含所述测量路径的移动路径(p1、p2)进行移动的处理，且指示所述测量装置(1)进行所述测量装置(1)在所述测量路径中所经由的所述至少一个位置姿势的至少一部分下测量所述对象物(5)的位置信息的处理；
[0179]
识别部(422)使用所述测量装置的测量数据识别所述对象物(5)；以及
[0180]
所述测量路径确定部(411)在所述测量装置(1)于所述移动路径(p1、p2)中移动时确定下次动作周期中的所述测量装置(1)的测量路径。
[0181]
(附录12)
[0182]
一种计算机控制程序，使计算机(4)作为控制装置(4)发挥功能，
[0183]
所述控制装置(4)是机器人系统(100)的控制装置，所述机器人系统(100)具备机器人(10)和测量装置(1)，所述机器人(10)具有机械手臂(3)以及设置于该机械手臂(3)的前端部且对对象物(5)进行操作的手爪(2)，所述测量装置(1)设置于所述机械手臂(3)且测量所述对象物(5)的位置信息，
[0184]
所述控制装置(4)具备：
[0185]
位置姿势生成部(410)，生成测量所述对象物(5)的位置信息时的所述测量装置(1)的至少一个位置姿势；
[0186]
测量路径确定部(411)，确定所述测量装置(1)的测量路径，以使所述测量装置(1)经由所述至少一个位置姿势进行移动且在各位置姿势下测量所述对象物(5)的位置信息；
[0187]
指示部(401、402、403)，指示所述机器人进行使所述测量装置(1)沿着包含所述测量路径的移动路径(p1、p2)进行移动的处理，并且，指示所述测量装置(1)进行所述测量装置(1)在所述测量路径中所经由的所述至少一个位置姿势的至少一部分下测量所述对象物(5)的位置信息的处理；以及
[0188]
识别部(422)，使用所述测量装置(1)的测量数据识别所述对象物(5)，
[0189]
所述测量路径确定部(411)在所述测量装置(1)于所述移动路径(p1、p2)中移动时确定下次动作周期中的所述测量装置(1)的测量路径。
[0190]
(附录13)
[0191]
一种机器人系统，具备：
[0192]
机器人(10)，具有机械手臂(3)以及设置于该机械手臂(3)的前端部且对对象物(5)进行操作的手爪(2)；
[0193]
测量装置(1)，设置于所述机械手臂(3)且测量所述对象物(5)的位置信息；以及
[0194]
控制装置(4)，与所述机器人(10)及所述测量装置(1)连接，
[0195]
所述控制装置(4)具有：
[0196]
位置姿势生成部(410)，生成测量所述对象物(5)的位置信息时的所述测量装置(1)的至少一个位置姿势；
[0197]
测量路径确定部(411)，确定所述测量装置(1)的测量路径，以使所述测量装置(1)经由所述至少一个位置姿势的至少一部分进行移动且在各位置姿势下测量所述对象物(5)的位置信息；
[0198]
指示部(401、402、403)，指示所述机器人进行使所述测量装置(1)按照包含所述测量路径的移动路径(p1、p2)进行移动的处理，并且，指示所述测量装置(1)进行所述测量装置(1)在所述测量路径中所经由的所述至少一个位置姿势的至少一部分下测量所述对象物(5)的位置信息的处理；以及
[0199]
识别部(422)，使用所述测量装置(1)的测量数据识别所述对象物(5)，
[0200]
所述测量路径确定部(411)在所述测量装置(1)于所述移动路径(p1、p2)中移动时确定下次动作周期中的所述测量装置(1)的测量路径。
[0201]
附图标记说明
[0202]1…
传感器(测量装置)、2
…
手爪、3
…
机械手臂、4
…
控制装置、5、5a、5b
…
工件、6、7
…
收纳容器、10
…
机器人、41
…
控制运算部、42
…
通信i/f部、42
…
通信接口(i/f)部、43
…
存储部、44
…
输入部、45
…
输出部、46
…
总线、61～64、81～88
…
位置姿势、100
…
机器人系
统、401
…
传感器控制部、402
…
手爪控制部、403
…
机械手臂控制部、410
…
传感器位置姿势生成部、411
…
路径确定部、420
…
测量数据获取部、421
…
模型数据获取部、422
…
工件位置姿势识别部、430
…
手爪把持姿势生成部、431
…
手爪把持姿势评估部、440
…
把持工件确定部、d1
…
点群数据、m1～m8
…
单位路径、p1、p2
…
移动路径、v1、v2
…
测量视野。