信息处理装置、信息处理方法和计算机程序与流程

1.本说明书中公开的技术(在下文中，“本公开内容”)涉及处理用于利用握持器握持对象的信息的信息处理装置和信息处理方法以及计算机程序。


背景技术：

2.近年来，机器人已经普及，并且机器人已经被引入到诸如工厂、物流和医疗护理的各种领域中。因此，使用机械手和握持器握持具有不同形状、尺寸、重量、材料等的任意对象的机会已经增加。
3.通过视觉传感器识别目标材料的形状并且握持对象的方法已经广为人知。例如，提出了一种通过机器人握持任意形状对象的方法，该方法从通过视觉传感器获取的目标对象的图像中，通过图像识别，从若干种预定的简单形状中获得与目标对象的形状近似的简单形状，基于所获得的简单形状及其取向和尺寸，从正方形握持和圆形握持中选择适当的握持方法，根据所选择的握持方法，计算机器人的手的每个手指的握持点，并且控制各个手指执行握持操作(参照专利文献1)。
4.但是，在该握持方法中，根据具有特定特性的机器人手导出握持方法，并且在代替手的机器人或具备具有不同特性的多个手的机器人的情况下，需要针对所使用的每个手(替选地，针对手的每个特性)，执行简单形状的近似、针对近似后的简单形状的握持方法的选择、以及适用于所选择的握持方法的每个手指的握持点的计算，使得计算的处理负荷大。
5.引文列表
6.专利文献
7.专利文献1：日本专利申请特开第2005-169564号


技术实现要素：

8.本发明要解决的问题
9.本公开内容的目的是提供一种信息处理装置、信息处理方法以及计算机程序，该信息处理装置处理用于握持对象的信息而不管握持器类型如何。
10.问题的解决方案
11.鉴于上述问题而提出了本公开内容，并且本公开内容的第一方面是一种信息处理装置，包括：
12.握持信息分析单元，其分析对象并且生成泛化握持形状信息；以及
13.泛化握持形状信息累积单元，其累积该泛化握持形状信息。
14.握持信息分析单元根据对象的形状、体积或外观，在均匀材料的假设下估计对象的重心位置。握持信息分析单元分别针对包括多种材料的对象的估计材料获得重心，并且通过对重心取加权平均来估计重心位置。此外，握持信息分析单元提取对象的表面形状，将对象的表面形状划分成多个平坦表面或弯曲表面，并且针对每个划分表面，基于构成表面的要素的方差来估计表面的平面度和法线方向，基于法线方向来估计划分表面在法线方向
上的开放距离，并且基于平面度、反射光或估计材料来估计对象的摩擦力和强度，以生成泛化握持形状信息。
15.此外，根据第一方面的信息处理装置还包括握持目标计划单元，其基于对象的泛化握持形状信息和要用于握持的握持器的特性来计划对象的握持目标。握持目标计划单元从对作为要被握持的对象的对象的表面形状进行划分而得到的多个划分表面中，选择要成为握持表面候选的划分表面，并且从多个握持表面候选中确定握持表面和握持器的手指的组合，以确定握持目标。
16.此外，本公开内容的第二方面是
17.一种信息处理方法，包括：
18.握持信息分析步骤，其分析对象并且生成泛化握持形状信息；以及
19.泛化握持形状信息累积步骤，其在泛化握持形状信息累积单元中累积泛化握持形状信息。
20.此外，本公开内容的第三方面是
21.一种以计算机可读格式记录的计算机程序，用于使计算机用作：
22.握持信息分析单元，其分析对象并且生成泛化握持形状信息；以及
23.泛化握持形状信息累积单元，其累积泛化握持形状信息。
24.根据本公开内容的第三方面的计算机程序定义了以计算机可读格式描述的计算机程序，以便在计算机上实现预定处理。换言之，通过在计算机中安装根据本公开内容的第三方面的计算机程序，在计算机上施加协作功能，并且可以获得与根据本公开内容的第一方面的信息处理装置的功能和效果类似的功能和效果。
25.发明的效果
26.根据本公开内容，可以提供处理用于实现适用于握持器的特性的最佳握持操作的信息处理装置和信息处理方法，以及计算机程序。
27.注意，本说明书中描述的效果仅仅是示例，并且本公开内容带来的效果不限于此。此外，还存在本公开内容除了上述效果之外还提供附加效果的情况。
28.本公开内容的其他目的、特性和优点将从基于如稍后描述的实施方式的详细描述和附图中变得明显。
附图说明
29.图1是示出信息处理装置100的功能配置示例的图。
30.图2是示出泛化握持形状信息112的示例的图。
31.图3是示出握持目标114的示例的图。
32.图4是示出握持目标114的示例的图。
33.图5是示出机器人控制系统500的功能配置示例的图。
34.图6是示出用于分析对象的握持信息的处理过程的流程图。
35.图7是示出从作为要被握持的对象的对象的多个划分表面中选择握持表面候选的处理过程的流程图。
36.图8是示出用于从握持表面候选确定握持表面的组合的处理过程的流程图。
37.图9是示出机器人控制系统900的功能配置示例的图。
38.图10是示出作为信息处理装置100操作的装置1000的硬件配置示例的图。
具体实施方式
39.在下文中，将参照附图以下面的顺序描述本公开内容。
40.a.基本配置
41.b.机器人控制系统的配置示例
42.c.握持信息分析处理
43.d.握持表面候选选择处理
44.d-1.选择握持表面候选
45.d-2.确定握持表面的组合
46.e.机器人控制系统的修改示例
47.g.效果
48.a.基本配置
49.图1示意性地示出根据本公开内容的信息处理装置100的功能配置。信息处理装置100例如使用个人计算机(pc)等来配置。然而，在图1中，为了简化附图，除了基本组成元件之外的所有组成元件被省略。
50.图1所示的信息处理装置100包括握持信息分析单元101、握持目标计划单元102和泛化握持形状信息累积单元109。
51.握持信息分析单元101接收对象信息111的输入，识别对象的形状和与握持有关的物理特性，并且输出泛化握持形状信息112。对象信息111是关于对象的特性的信息，并且包括例如对象的类型、位置、姿势、形状、估计的材料、强度、重量、重心位置等。握持信息分析单元101将对象的表面形状划分成多个平坦表面或弯曲表面，针对每个划分表面计算握持特性，并且将该握持特性作为泛化握持形状信息112(不依赖于握持器的特性)输出。
52.泛化握持形状信息112包括通过划分对象的表面形状而获得的各个表面之间的位置关系以及各个表面的握持特性。作为握持目标计划单元102计划各种对象的各种握持目标的前提，假设将各种对象的对象信息111输入到握持信息分析单元101，由握持信息分析单元101生成各个对象的泛化握持形状信息112，并且在泛化握持形状信息累积单元109中累积每种对象类型的泛化握持形状信息112。
53.在输入了要被握持的对象信息113时，握持目标计划单元102从泛化握持形状信息累积单元109中取出由要被握持的对象信息113指定的对象的泛化握持形状信息112，并且基于对应的泛化握持形状信息112和要用于握持的握持器的特性来计算握持目标114。
54.要被握持的对象信息113是用于识别作为要被握持的对象的对象的信息，并且包括对象类型、对象识别符等。握持目标114是关于如何握持目标的哪个部分的对象信息，并且包括诸如当握持器握持对象时与对象接触的握持器的每个手指的接触表面、接触方向和接触力的信息。
55.图2示出由握持信息分析单元101计算的泛化握持形状信息112的示例。握持信息分析单元101将对象200的表面形状划分成多个平坦表面或弯曲表面。在图2所示的示例中，握持形状分析单元101将对象200划分成五边形的表面。然后，握持形状分析单元101针对通过划分对象200而得到的每个表面，计算平面度、摩擦力、强度、法线信息以及开放距离，并
且输出包括计算出的信息的泛化握持形状信息112。开放距离是在划分表面的法线方向上与障碍物碰撞的距离。
56.图3和图4分别示出了由握持目标计划单元102计算的握持目标114的示例。握持目标计划单元102基于由要被握持的对象信息113确定的对象的泛化握持形状信息112，计算握持目标114。握持目标114是关于如何握持对象的哪个部分的目标信息，并且包括诸如当握持器握持对象时与对象接触的握持器的每个手指的接触表面、接触方向和接触力的信息。图3示出了在五边形对象300被握持器的三个手指301至303握持的情况下，每个手指的接触表面和接触方向。此外，图4示出了在五边形对象400被握持器的四个手指401至404握持的情况下，每个手指的接触表面和接触方向。
57.b.机器人控制系统的配置示例
58.图5示出通过并入根据本公开内容的信息处理装置100而配置的机器人控制系统500的功能配置示例。然而，与图1中所示的信息处理装置100的组成元件相同的元件由相同的附图标记表示。机器人控制系统500包括握持信息分析单元101、握持目标计划单元102、传感器单元103、对象识别单元104、接口105、操作计划单元106、控制器107以及致动器108。
59.图5所示的机器人控制系统500的左半部的组成元件主要执行生成泛化握持形状信息112的处理。
60.传感器单元103是获取作为要被控制的对象的机器人的机械手或握持器(未示出)周围的环境信息115的观察设备。传感器单元103包括例如摄像机、深度摄像机等。传感器单元103不一定安装在作为要被控制的对象的机器人上，并且可以是例如安装在机器人的工作空间中的固定摄像机。
61.对象识别单元104根据由传感器单元103观察的环境信息(传感器数据)115检测对象的存在或不存在，并且计算诸如每个检测到的对象的位置、姿势、类型的对象信息111。对象识别单元104可以使用例如经过深度学习的机器学习模型来执行对象识别。
62.握持信息分析单元101接收对象信息111的输出，将对象的表面形状划分成多个平坦表面或弯曲表面，针对每个划分表面计算握持特性，并且输出泛化握持形状信息112(不依赖于握持器的特性)。
63.图5所示的机器人控制系统500的右半部的组成元件使用生成的泛化握持形状信息112，执行对利用握持器握持由用户指定的对象的操作进行控制的处理。
64.接口105执行用于从用户(替选地，主机系统)的输入操作接收要被握持的对象信息113的处理。要被握持的对象信息113是用于识别作为要被握持的对象的对象的信息，并且包括对象类型、对象识别符等。
65.注意，在握持信息分析单元101尚未计算被指定为用户或主机系统要握持的对象的对象的泛化握持形状信息112的情况下，接口105可以指示传感器单元103获取包括该对象的环境信息115。
66.握持目标计划单元102基于由要被握持的对象信息113指定的对象的泛化握持形状信息112以及作为要被控制的对象的机器人的机械手和握持器(未示出)的特性，计算握持目标114。握持目标114是关于如何握持对象的哪个部分的目标信息，并且包括诸如当握持器握持对象时与对象接触的握持器的每个手指的接触表面、接触方向和接触力的信息。
67.根据本公开内容，对象的泛化握持形状信息112是指示对象的握持特性而不依赖
于握持器的特性的信息。握持目标计划单元102根据泛化握持形状信息112，计算适用于实际用于握持对象的握持器的特性的握持目标114。因此，即使当在配备有多个具有不同特性的握持器的机器人中替换机器人的握持器或者选择任何握持器时，握持目标计划单元102也可以适应性地计算适用于握持器的特性的握持目标114。
68.当输入了握持目标114时，操作计划单元106基于机械手和握持器的机构信息来计算作为要被控制的对象的机器人的机械手和握持器(未示出)的操作计划116。操作计划116是用于操作机械手和握持器的时序目标信息，并且包括机械手的每个关节的位置、速度和扭矩目标的阵列，以及握持器的位置、姿态、速度和扭矩目标的阵列等。
69.控制器107接收操作计划116的输入，并且生成用于驱动致动器108的控制值117，使得机械手和握持器根据操作计划116操作。
70.致动器108包括驱动操纵器和握持器的各个关节的马达等。致动器108基于从控制器107输出的控制值117而被驱动。
71.c.握持信息分析处理
72.握持信息分析单元101接收对象信息111的输入，识别对象的形状和与握持有关的物理特性，并且输出泛化握持形状信息112。泛化握持形状信息112包括通过划分对象的表面形状而获得的各个表面之间的位置关系以及各个表面的握持特性。
73.图6以流程图的形式示出了握持信息分析单元101中用于分析对象的握持信息的处理过程。
74.首先，握持信息分析单元101基于输入对象信息111估计对象的重心位置(步骤s601)。握持信息分析单元101根据对象的形状、体积和外观，在均匀材料的假设下估计重心位置。此外，在对象包括多种材料的情况下，握持信息分析单元101分别针对所估计的材料获得重心，并且通过对其进行加权平均来估计重心位置。
75.接着，握持信息分析单元101提取对象的表面形状(步骤s602)。握持信息分析单元101可以通过诸如边界提取或边缘提取的方法来提取表面形状。
76.在获得对象区域的点云或深度信息作为对象信息111的情况下，握持信息分析单元101提取3d表面形状。在这种情况下，数据格式的示例包括点云、网格、多面体等。此外，在从鸟瞰图像等获得2d形状的对象的情况下，握持信息分析单元101提取关于边界线的信息。在这种情况下的数据格式的示例包括曲线、多边形等。
77.接着，握持信息分析单元101将对象的表面形状划分成多个平坦表面或弯曲表面(步骤s603)。握持信息分析单元101对目标对象应用例如平面检测或直线检测，并且将提取的部分分别设置为划分表面。此外，没有检测到直线的部分可以是一个弯曲表面。
78.然后，握持信息分析单元101反复执行选择一个未处理的划分表面(步骤s605)并且提取该划分表面的握持特性(步骤s606)的处理，直到对所有的划分表面都执行了处理(步骤s604中的是)。握持形状分析单元101根据构成表面的要素的方差来估计每个划分表面的平面度和法线方向，基于法线方向来估计划分表面在法线方向上的开放距离，或者基于平面度、反射光和估计材料来估计对象的摩擦力和强度，并且将所估计的特性作为泛化握持形状信息112输出。此外，握持信息分析单元101估计每个划分表面与在步骤s601中估计的重心之间的相对位置以及姿势。
79.然后，握持信息分析单元101将针对每个划分表面提取的握持特性作为泛化握持
形状信息112输出。泛化握持形状信息112包括通过划分对象的表面形状而获得的各个表面之间的位置关系以及各个表面的握持特性。
80.d.握持目标的计划
81.握持目标计划单元102基于对象的泛化握持形状信息112来计算对象的握持目标114。握持目标114是关于如何握持对象的哪个部分的目标信息，并且包括诸如当握持器握持对象时与对象接触的握持器的每个手指的接触表面、接触方向和接触力的信息。
82.握持目标计划单元102首先从通过对作为要被握持的对象的对象的表面形状进行划分而得到的多个划分表面中，选择划分表面作为握持表面候选，并且然后从多个握持表面候选中确定每个握持表面与握持器的每个手指的组合，并且确定握持目标114。在下文中，将描述在选择握持表面候选和确定握持表面的组合这两个阶段中计划握持目标114的处理。
83.d-1.选择握持表面候选
84.首先，握持目标计划单元102基于要用于握持对象的握持器的手指的特性，评价作为要被握持的对象的对象的每个划分表面的握持的适合性，并且从候选中去除不适于握持的划分表面。因此，未从候选中去除的划分表面保留为握持表面候选。握持目标计划单元102也可以记录未从握持表面候选中排除的划分表面的评价值，并且在以后阶段中的确定握持表面的组合处理中使用评价值。
85.在握持器具有多个具有不同特性的手指的情况下，握持目标计划单元102可以基于每个手指的特性，评价作为要被握持的对象的对象的每个划分表面的握持的适合性。然后，握持目标计划单元102从候选中去除不适于对于具有任何特性的任何手指握持的划分表面。替选地，也可以从候选中排除面向握持的手指的数量少的划分表面。
86.此外，握持目标计划单元102可以针对多个评价项目评价每个划分表面的握持的适合性。然后，握持目标计划单元102从握持表面候选中，去除具有至少一个评价项目的评价值低的划分表面。替选地，握持目标计划单元102可以从握持表面候选中排除多个评价项目的评价值的总值或平均值(包括加权平均值)小于预定的阈值的划分表面。
87.例如，可以将握持器的手指的厚度和划分表面在法线方向上的开放距离设置为用于选择握持表面候选的评价项目之一。开放距离是在划分表面的法线方向上与障碍物碰撞的距离。当法线方向上的开放距离小于手指的厚度时，难以将手指插入到划分表面与障碍物之间的间隙中，并且难以使用划分表面执行握持。因此，如果法线方向的开放距离比手指的厚度短，则握持目标计划单元102也可以从握持表面候选中去除划分表面。
88.此外，例如，可以将手指相对于划分表面的滑动性设置为用于选择握持表面候选的评价项目之一。根据手指的摩擦系数、估计的划分表面的摩擦系数、握持力以及估计的对象的重量，可以评价在使手指与划分表面接触而执行握持时的手指相对于划分表面的滑动性。在使用滑溜的表面执行握持的情况下，手指滑动，有可能使对象掉落。因此，握持目标计划单元102可以从握持表面候选去除手指容易在其上滑动的划分表面。
89.此外，例如，手指的弹性模量和划分表面的平面度可以被设置为用于选择握持表面候选的评价项目之一。如果即使由于手指具有高弹性模量而几乎不发生变形，但是划分表面的平面度低，则当使用划分表面执行握持时手指的接触表面窄且滑溜。因此，在使用包括具有弹性模量高的手指的握持器的情况下，握持目标计划单元102也可以从握持表面候
选中去除平面度低的划分表面。
90.此外，例如，可以将由从作为要被握持的对象的对象的估计重心位置到划分表面的矢量和划分表面的法线方向形成的角度设置为握持表面候选的选择的评价项目之一。如果角度大，则需要大的接触力来防止手指在使用划分表面执行握持时滑动，使得致动器108的驱动力增大。因此，握持目标计划单元102也可以从握持表面候选中排除法线方向相对于从作为要被握持的对象的对象的估计重心位置到划分表面的矢量所成的角度大的划分表面。
91.图7以流程图的形式示出在握持目标计划单元102中从作为要被握持的对象的对象的多个划分表面中选择握持表面候选的处理过程。在所示的处理过程中，假设握持器的多个手指具有不同的特性，并且使用多个评价项目评价划分表面中的每一个。
92.握持目标计划单元102选择一个未处理的手指(步骤s702)，并且在存在未处理的划分表面的情况下(步骤s703中的是)，选择一个未处理的划分表面(步骤s704)。然后，在存在未处理的评价项目的情况下(步骤s705中的是)，握持目标计划单元102选择一个未处理的评价项目(步骤s706)，并且基于在步骤s702中选择的手指对于评价项目的特性来计算在步骤s704中选择的划分表面的握持的评价值(步骤s707)。
93.应用与以上例示的那些项目相同的评价项目。假设预先为每个评价项目设置阈值。例如，分别对在握持器的手指的厚度的情况下为等于或大于手指的厚度的法线方向的开放距离和划分表面在法线方向上的开放距离、在手指相对于划分表面滑动性的情况下的估计摩擦力、在手指的弹性模量和划分表面的平面度的情况下的估计接触面积、由从作为要被握持的对象的对象的估计重心位置到划分表面的矢量和划分表面的法线方向形成的角度等设置阈值。
94.然后，在步骤s707中计算出的评价值小于在步骤s706中选择的评价项目的阈值的情况下(步骤s708中的是)，握持目标计划单元102从握持表面候选中去除对应的划分表面(步骤s709)。
95.然后，在该划分表面有未处理的评价项目的情况下(步骤s705的是)，握持目标计划单元102选择一个未处理的评价项目(步骤s706)，并且对该评价项目反复执行与上述划分表面类似的划分表面的评价。
96.此外，在针对该划分表面的全部评价项目完成了评价的情况下(步骤s705中的否)，处理返回到步骤s703，并且握持目标计划单元102检查是否剩余未处理的划分表面。然后，在存在未处理的划分表面的情况下(步骤s703中的是)，握持目标计划单元102选择一个未处理的划分表面(步骤s704)，并且以与上述类似的方式，对划分表面的每个评价项目反复执行评价。
97.此外，在对作为要被握持的对象的对象的所有划分表面完成评价的情况下(步骤s703中的否)，处理返回到步骤s701，并且握持目标计划单元102确认是否剩余未处理的手指。然后，在存在未处理的手指的情况下(步骤s701中的是)，握持目标计划单元102选择一个未处理的手指(步骤s702)，并且以与上述类似的方式基于手指的特性，针对作为要被握持的对象的对象的每个划分表面重复地执行针对每个评价项目的评价。
98.然后，在对所有手指评价了对象的所有划分表面的所有评价项目的情况下(步骤s701中的否)，握持目标计划单元102结束本处理。
99.d-2.确定握持表面的组合
100.首先，握持目标计划单元102生成根据图7所示的处理过程选择的每个握持表面候选与握持器的每个手指的组合的候选。然后，握持目标计划单元102从多个候选中选择握持表面候选与握持器的每个手指的最佳组合，并且将所选择的组合作为握持目标114输出。
101.在生成握持表面候选和握持器的手指的组合时，握持目标计划单元102也可以将多个手指分配给一个握持表面。例如，在划分表面具有大面积的情况下，用多个手指握持划分表面更稳定。
102.此外，在生成握持表面候选和握持器的手指的组合时，握持目标计划单元102不一定将握持器的所有手指分配给握持表面。也就是说，可以生成握持表面候选和不需要使用特定手指的握持器的手指的组合。
103.此外，在生成握持表面候选和握持器的手指的组合时，握持目标计划单元102不一定需要将握持器的任何手指分配给全部的握持表面候选。也就是说，可以生成包括未被任何手指握持的握持表面候选的组合。
104.然后，握持目标计划单元102针对握持表面候选和握持器的手指的组合的每个所生成的候选来计算握持评价值，并且基于具有最高握持评价值的组合候选来输出握持目标114。
105.对于计算用于握持表面候选和握持器的手指的组合的每个候选的握持评价值的方法没有特别限制。例如，可以计算通过握持作为要被握持的对象的对象的每个手指而生成的握持力(包括摩擦力)的矢量，并且可以确认是否可以将与作用在对象上的重力的合力设置成零。
106.图8以流程图的形式示出了在握持目标计划单元102中从握持表面候选确定握持表面的组合的处理过程。
107.首先，握持目标计划单元102生成根据图7所示的处理过程选择的握持表面和握持器的每个手指的组合的候选(步骤s801)。
108.然后，握持目标计划单元102选择一个未处理的握持表面和握持器的手指的组合(步骤s803)，并且计算该组合的握持评价值(步骤s804)。计算针对握持表面和握持器的手指的组合的每个候选的握持评价值的方法没有特别限制。例如，可以计算通过握持作为要被握持的对象的对象的每个手指而生成的握持力(包括摩擦力)的矢量，并且可以确认是否可以将与作用在对象上的重力的合力设置为零(如上所述)。
109.在存在未处理的握持表面和握持器的手指的组合候选的情况下(步骤s802中的是)，握持目标计划单元102进一步选择组合候选之一(步骤s803)，并且重复计算握持评价值(步骤s804)。
110.在对于所有的握持表面和握持器的手指的组合候选完成了握持评价值的计算的情况下(步骤s802中的否)，握持目标计划单元102选择计算出的握持评价值最大的组合候选(步骤s805)，并且确认握持评价值是否大于或者等于预定阈值(步骤s806)。
111.然后，如果所选择的组合候选的握持评价值等于或大于预定阈值(步骤s806中的是)，则握持目标计划单元102输出握持表面和手指的组合候选作为握持目标114(步骤s807)，并且结束该处理。
112.此外，如果所选择的组合候选的握持评价值小于预定阈值(步骤s806中的否)，则
握持目标计划单元102结束处理而不输出握持目标114。在这种情况下，握持目标计划单元102可以向用户(替选地，主机系统)通知难以握持经由接口105指定的对象的事实。
113.e.机器人控制系统的变形示例
114.图9示出根据变形示例的机器人控制系统900的功能配置。与图5所示的机器人控制系统500的主要不同点在于，机器人控制系统900具备多个握持器(假设选择性地使用握持器)，并且包括握持目标计划单元102、操作计划单元106、控制器7和用于每个握持器的致动器108，以及选择握持器以握持经由接口105指定的对象的握持器选择单元110。
115.每个握持目标计划单元102-1和102-2计划利用对应的握持器对对象的握持目标，并且还计算用于计划的握持目标的握持指标值。例如，握持指标值是通过量化当使用对应的握持器执行握持目标时的稳定性、预期成功率或能量消耗量中的至少一个而获得的值。然后，握持器选择单元110从多个握持目标中选择具有最佳握持指标值的握持器，并且指示对应的握持目标计划单元102执行握持操作。
116.注意，要使用的握持器的数量是两个，并且为了简化附图，在图9中仅示出两个控制系统，但是机器人控制系统900可以使用三个或更多个握持器，并且可以配备有与握持器的数量对应的控制系统，并且握持器选择单元110可以被配置成从三个或更多个握持器中选择要用于握持对象的握持器。
117.f.装置配置
118.图10示出了作为图1所示的信息处理装置100操作的装置1000的硬件配置示例。所示的装置1000可以是例如pc、安装在机器人上的控制单元、或安装在因特网上的服务器装置。
119.装置1000在中央处理单元(cpu)1001的总体控制下操作。在所示的示例中，cpu 1001具有包括处理器核1001a和处理器核1001b的多核配置。cpu 1001经由总线1010与装置1000中的每个部件互连。
120.存储装置1020包括例如诸如硬盘驱动器(hdd)或固态驱动器(ssd)的大容量外部存储装置，并且存储诸如由cpu 1001执行的程序的文件以及通过在执行期间使用程序或通过执行程序而生成的数据。例如，cpu1001执行用于基于环境信息115执行对象识别的程序、用于基于识别的对象信息111分析握持信息并且生成泛化握持形状信息112的程序、用于基于泛化握持形状信息112和握持器的特性计划握持目标114的程序、用于根据握持目标114计划操纵器和握持器的操作计划116的程序、用于基于操作计划116计算致动器108的控制值的程序等。
121.此外，存储装置1020基于对象信息111分析握持信息，并且累积与对象类型相关联的泛化握持形状信息112。
122.存储器1021包括只读存储器(rom)和随机存取存储器(ram)。rom存储例如装置1000的基本输入/输出程序和启动程序。ram用于加载要由cpu 1001执行的程序，并且临时存储在执行程序期间要使用的数据。
123.显示单元1022包括例如液晶显示器或有机电致发光(el)显示器。显示单元322显示cpu 301执行程序期间的数据和执行结果。例如，在显示单元322中显示关于对象信息111、泛化握持形状信息112、握持对象114、操作计划116等的信息。
124.输入/输出接口单元1030向外部设备发送数据和从外部设备接收数据。外部设备
例如是诸如键盘或鼠标的输入装置，或者诸如扬声器的输出装置。例如，输入输出接口单元1030执行从用户(替选地，主机系统)的输入操作接收要被握持的对象信息113的处理。
125.网络输入/输出单元1050执行装置1000与因特网之间的输入/输出处理。网络输入/输出单元1050经由因特网向外部装置(机器人等)提供基于例如在装置1000上创建的泛化握持形状信息112和握持器的特性而计划的握持目标。
126.g.效果
127.最后，将总结本公开内容带来的效果。
128.(1)根据本公开内容的信息处理装置100，握持信息分析单元101被配置成将对象的表面形状划分成多个平坦表面或弯曲表面，并且计算包括针对划分表面中的每一个的握持特性(平面度、摩擦力、强度、法线信息、开放距离等)的泛化握持形状信息。泛化握持形状信息是关于不依赖于握持器的特性的对象的形状的信息。因此，握持目标计划单元102可以基于握持器的各个手指的特性和各个划分表面的握持特性来确定握持表面和握持器的手指的最佳组合。根据本公开内容，即使执行用具有不同特性的握持器的替换，也可以基于对象的泛化握持形状信息来计划握持目标。简言之，可以针对所有的握持器特性使用共用的握持信息分析单元102，并且可以减少计算量。
129.(2)根据本公开内容，握持目标计划单元102基于握持器的各个手指的特性和各个划分表面的握持特性来确定握持表面和握持器的手指的最佳组合。因此，可以使用公共握持信息分析单元101来计划具有不同特性的多个握持器的握持目标。
130.(3)根据本公开内容，可以分别为具有不同特性的多个握持器计划握持目标，比较各个握持器的握持目标的握持指标值，并且选择最佳握持器来执行对象握持操作。
131.工业适用性
132.以上已经参照具体实施方式详细描述了本公开内容。但是，不言而喻，本领域技术人员在不脱离本公开内容的主旨的范围内，可以进行各实施方式的修改示例和替换。
133.根据本发明，可以对作为要被握持的对象的各种对象进行分析，并且生成不依赖于每个对象的握持特性的泛化握持形状信息。然后，当使用任何机器人的机械手握持对象时，可以通过使用与对象对应的泛化握持形状信息来计算适用于实际用于握持对象的握持器的特性的握持目标。因此，根据本公开内容，在具备多个手的机器人中，可以灵活地应对机器人的手的更换和手的选择，并且可以实现基于最佳的握持目标的对象握持操作。
134.简言之，已经以示例的形式描述了本公开内容，并且不应当以限制的方式解释本说明书中描述的内容。为了确定本公开内容的要旨，应当考虑权利要求的范围。
135.注意，本公开内容可以具有以下配置。
136.(1)一种信息处理装置，包括：
137.握持信息分析单元，其分析对象并且生成泛化握持形状信息；以及
138.泛化握持形状信息累积单元，其累积泛化握持形状信息。
139.(2)根据上述(1)所述的信息处理装置，其中
140.所述握持信息分析单元分析包括所述对象的位置、姿势、形状、估计出的材质、强度、重量、重心位置中的至少一个的所述对象的信息，并且针对每个对象类型生成所述泛化握持形状信息。
141.(3)根据上述(1)或(2)所述的信息处理装置，其中
142.所述握持信息分析单元将所述对象的表面形状划分成多个平坦表面或弯曲表面，并且生成包括针对每个划分表面计算出的平面度、摩擦、强度、法线信息、开放距离中的至少一个的所述泛化握持形状信息。
143.(4)根据上述(2)或(3)所述的信息处理装置，其中
144.所述握持信息分析单元根据所述对象的形状、体积或外观，在均匀材料的假设下估计所述对象的重心位置。
145.(5)根据上述(2)或(3)所述的信息处理装置，其中
146.所述握持信息分析单元分别针对包括多种材质的所述对象的估计出的材质获得重心，并且通过对所述重心取加权平均来估计所述重心位置。
147.(6)根据上述(3)至(5)中的任一项所述的信息处理装置，其中，
148.所述握持信息分析单元提取所述对象的表面形状，将所述对象的表面形状划分成所述多个平坦表面或弯曲表面，并且针对每个划分表面，基于构成表面的要素的方差来估计表面的平面度和法线方向，基于法线方向来估计划分表面在法线方向上的开放距离，并且基于平面度、反射光或估计出的材质来估计对象的摩擦和强度，以生成所述泛化握持形状信息。
149.(7)根据上述(1)至(6)中的任一项所述的信息处理装置，还包括
150.握持目标计划单元，其基于所述对象的泛化握持形状信息和要用于握持的握持器的特性，计划所述对象的握持目标。
151.(8)根据上述(7)所述的信息处理装置，其中
152.所述握持目标计划单元计划关于如何握持所述对象的哪个部分的所述握持目标。
153.(9)根据上述(7)或(8)所述的信息处理装置，其中
154.所述握持目标计划单元计划所述握持目标，所述握持目标包括握持所述对象的所述握持器的每个手指与对象接触的接触表面、接触方向、接触力中的至少一个。
155.(10)根据上述(7)至(9)中的任一项所述的信息处理装置，其中
156.所述握持目标计划单元从对作为要被握持的对象的对象的表面形状进行划分而得到的多个划分表面中，选择要成为握持表面的候选的划分表面，并且从多个握持表面的候选中确定所述握持表面和所述握持器的手指的组合，以确定所述握持目标。
157.(11)根据上述(10)所述的信息处理装置，其中
158.所述握持目标计划单元基于要用于握持所述对象的握持器的手指的特性，评价作为要被握持的对象的对象的每个划分表面的握持的适合性，并且从所述候选中去除不适于握持的划分表面。
159.(12)根据上述(11)所述的信息处理装置，其中
160.在所述握持器具有多个具有不同特性的手指的情况下，所述握持目标计划单元基于各个手指的特性来评价所述对象的每个划分表面的握持的适合性。
161.(13)根据上述(11)或(12)所述的信息处理装置，其中
162.该握持目标计划单元使用以下(a)至(d)中的至少一个作为评价项来评价该对象的每个划分表面的握持的适合性：
163.(a)所述握持器的手指的厚度和所述划分表面在法线方向上的开放距离；
164.(b)所述手指的摩擦系数和所述划分表面的估计摩擦系数、握持力和基于对象的
估计重量的所述手指相对于所述划分表面的滑动性；
165.(c)所述手指的弹性模量和所述划分表面的平面度；以及
166.(d)由从作为要被握持的对象的对象的估计重心位置到所述划分表面的矢量与所述划分表面的法线方向形成的角度。
167.(14)根据上述(10)至(13)中的任一项所述的信息处理装置，其中
168.所述握持目标计划单元基于由握持所述对象的每个手指而生成的握持力(包括摩擦力)的矢量，确定所述握持表面和所述握持器的手指的最佳组合。
169.(15)根据上述(7)至(14)中的任一项所述的信息处理装置，其中
170.在选择多个握持器中的任何一个来握持所述对象的情况下，
171.所述握持目标计划单元针对所述多个握持器的每一个握持器计划所述握持目标，以及
172.基于比较各个握持器的握持目标的结果来选择要用于握持所述对象的握持器。
173.(16)根据上述(15)所述的信息处理装置，其中
174.基于包括执行每个握持器的握持目标时的握持稳定性、预期成功率、能量消耗量中的至少一个的握持指标值来选择要用于握持所述对象的握持器。
175.(17)根据上述(7)至(16)中的任一项所述的信息处理装置，其中
176.所述握持目标计划单元从所述泛化握持形状信息累积单元取得关于作为要被握持的对象的对象的泛化握持形状信息，并且计划所述握持目标。
177.(18)根据上述(1)至(17)中的任一项所述的信息处理装置，还包括：
178.接口，其被配置成指定作为要被握持的对象的对象；
179.操作计划单元，其基于由所述握持目标计划单元计划出的所述握持目标，计划机械手和握持器的操作；
180.控制器，其基于由所述操作计划单元计划出的操作计划，生成用于驱动致动器的控制值；以及
181.所述致动器，其根据由所述控制器生成的控制值被驱动以操作所述机械手和所述握持器。
182.(19)一种信息处理方法，包括：
183.握持信息分析步骤，其分析对象并且生成泛化握持形状信息；以及
184.泛化握持形状信息累积步骤，其在泛化握持形状信息累积单元中累积泛化握持形状信息。
185.(20)一种以计算机可读格式记录的计算机程序，用于使计算机用作：
186.握持信息分析单元，其分析对象并且生成泛化握持形状信息；以及
187.泛化握持形状信息累积单元，其累积该泛化握持形状信息。
188.附图标记列表
189.100信息处理装置
190.101握持信息分析单元
191.102握持目标计划单元
192.103传感器单元
193.104对象识别单元
194.105接口
195.106操作计划单元
196.107控制器
197.108致动器
198.109泛化握持形状信息累积单元
199.110握持器选择单元
200.500机器人控制系统
201.900机器人控制系统
202.1000装置
203.1001中央处理器
204.1001a，1001b处理器核
205.1010总线
206.1020存储装置
207.1021存储器
208.1022显示单元
209.1030输入/输出接口单元
210.1050网络输入/输出单元