信息处理装置及信息处理方法与流程

1.本发明涉及信息处理装置及信息处理方法。


背景技术：

2.以往，作为在fa(factory automation，工厂自动化)的检查和分拣中由图像识别(检测)物体的方法，提出了使用基于3dcad数据的物体的模型识别物体的位置姿态，然后进行机械手的握持位置的推定的技术。在物体是如螺栓、螺母那样的刚性体的情况下，由于物体的形状已定，所以通过基于3dcad数据的物体的模型识别在集装箱中散装的物体的位置姿态，由此进行机械手的握持位置的推定。
3.另一方面，也提出了如下的被称作无模型握持位置识别的技术：不使用这样的物体的模型，根据物体的三维计测数据和机械手的形状来识别物体的能够握持的位置。这种技术对于物体是如螺栓、螺母那样的刚性体的情况也有效，对于像具有挠性的如线缆那样的非刚性体物体、如液体洗涤剂的包装那样形状不定的物体的情况下，不能使用基于3dcad数据的物体的模型的物体也有效。
4.例如在专利文献1所记载的技术中，使用距离图像及二维手部模型，计算从距离图像提取的片段位于手部的展开幅度内且不与周边的片段干扰的握持位置姿态。
5.在使用多指手部的情况下，在二维手部模型中，为了以多个展开幅度计算握持位置姿态，需要作成与各展开幅度相应的二维手部模型，以各个模型进行多次识别。与展开幅度的数量成比例地，计算时间增加，需要处理时间。在仅以一个展开幅度进行探索时，在对象物体的朝向、形状各式各样的情况下，需要设定为了握持全部而可以考虑的最大的展开幅度。在对象物体的周边不存在障碍物的情况下，即使设定最大的展开幅度也没有问题，但是在如散装分拣那样在握持对象物体的近跟前存在其它物体的情况下将会干扰，所以难以获得足够数量的握持候选。
6.现有技术文献
7.专利文献
8.专利文献1：日本专利第5558585号公报


技术实现要素：

9.本发明正是鉴于如上所述的问题而完成的，其目的在于，提供一种能够进行高速的无模型握持位置姿态计算处理的技术。
10.用于解决上述问题的本发明提供一种信息处理装置，计算通过具有多个手指的机械手握持对象物体时的该机械手的握持位置姿态，所述信息处理装置具备：
11.单指插入位置候选检测部，根据三维计测所述对象物体得到的三维计测数据和与所述机械手的形状相关的手部形状数据，检测所述机械手的各个所述手指的插入位置候选；
12.多指组合探索部，针对各个所述手指的插入位置候选，探索能够握持所述对象物
体的组合；以及
13.握持位置姿态计算部，根据所述手指的插入位置候选的组合，计算握持所述对象物体时的所述机械手的握持位置姿态。
14.根据本发明，在根据三维计测对象物体得到的三维计测数据和具有多个手指的机械手的手部形状数据，计算通过机械手握持对象物体的握持位置姿态时，通过单指插入位置候选检测部对机械手的各个手指检测其插入位置候选。并且，从这样检测到的多个手指的插入位置候选中，通过多指组合探索部探索满足机械手的手指的多个手指相互的位置关系等条件、能够握持对象物体的组合。并且，从这样探索到的多指组合中，通过握持位置姿态计算部考虑优先顺序等计算握持位置姿态。因此，对于手指的展开幅度不同的多个手部形状模型不需分别重复进行握持位置姿态的计算处理，且与多指手部的手指的数量、配置无关，只要每个手指的插入位置候选的检测和探索其组合即可，所以能够进行高速的无模型握持位置计算处理。
15.并且，在本发明中，也可以是，
16.所述单指插入位置候选检测部根据变更针对应检测插入位置候选的多个所述手指的相对角度得到的所述三维计测数据，进一步检测所述机械手的各个所述手指的插入位置候选。
17.这样，不需根据多个手指相对于对象物体的相对角度变更各手指的插入位置候选检测处理，通过对变更针对多个手指的相对角度得到的三维计测数据检测各手指的插入位置候选，能够划一地进行各手指的插入位置候选检测处理，所以能够高速计算针对对象物体的从不同的相对角度的握持位置姿态。
18.并且，在本发明中，也可以是，
19.所述单指插入位置候选检测部检测作为所述三维计测数据的距离图像的进深方向的边缘，并根据所检测到的该边缘检测所述手指的插入位置候选。
20.这样，根据距离图像的进深方向的边缘检测机械手的各手指的插入位置，所以机械手容易握持的位置被检测为插入位置候选。这里，也可以检测距离图像相对于图像平面的深度方向的边缘中强度一定的边缘作为手指的插入位置候选。
21.并且，在本发明中，也可以是，
22.所述单指插入位置候选检测部根据所述手部形状数据，检测能够避免所述边缘的位置的干扰的所述手指的插入位置候选。
23.这样，保证所计算出的机械手的握持位置姿态能够避免干扰。
24.并且，在本发明中，也可以是，
25.所述多指组合探索部针对所述手指的插入位置候选的组合，计算表示与各个所述手指的插入位置候选对应的所述边缘在所述进深方向上的重叠的可保持高度，并根据该可保持高度探索所述手指的插入位置候选的组合。
26.如果这样的可保持高度较高，则能够通过机械手可靠地握持对象物体。因此，通过根据可保持高度探索机械手的手指的插入位置候选的组合，能够计算握持的成功率较高的握持位置姿态。这里，也可以设定可保持高度的阈值，采用所计算的可保持高度超过阈值的组合作为手指的插入位置候选的组合。
27.并且，在本发明中，也可以是，
28.所述多指组合探索部针对所述手指的插入位置候选的组合，计算表示与各个所述手指的插入位置候选对应的所述边缘之间的凹陷的内部凹陷高度，并根据该内部凹陷高度探索所述手指的插入位置候选的组合。
29.如果这样的内部凹陷高度较高，则在手指的插入位置候选之间存在两个以上的对象物体的可能性较大，所以如果采用包括这样的插入位置候选的组合，则机械手握持两个以上的对象物体的可能性增大。因此，通过根据内部凹陷高度探索机械手的手指的插入位置候选的组合，能够计算握持的成功率较高的握持位置姿态。这里，也可以对内部凹陷高度设定阈值，采用所计算的内部凹陷高度不超过阈值的组合作为手指的插入位置候选的组合。
30.并且，本发明提供一种信息处理方法，计算通过具有多个手指的机械手握持对象物体时的该机械手的握持位置姿态，所述信息处理方法包括：
31.根据三维计测所述对象物体得到的三维计测数据和与所述机械手的形状相关的手部形状数据，检测所述机械手的各个所述手指的插入位置候选的步骤；
32.针对各个所述手指的插入位置候选，探索能够握持所述对象物体的组合的步骤；以及
33.根据所述手指的插入位置候选的组合，计算握持所述对象物体时的所述机械手的握持位置姿态的步骤。
34.根据本发明，在根据三维计测对象物体得到的三维计测数据和具有多个手指的机械手的手部形状数据，计算通过机械手握持对象物体的握持位置姿态时，对机械手的各个手指检测其插入位置候选。并且，从这样检测到的多个手指的插入位置候选中，探索满足机械手的手指的多个手指相互的位置关系等条件、能够握持对象物体的组合。并且，从这样探索到的多指组合中，考虑优先顺序等计算握持位置姿态。因此，对于手指的展开幅度不同的多个手部形状模型不需分别重复进行握持位置姿态的计算处理，且与多指手部的手指的数量和配置无关，只要每个手指的插入位置候选的检测和探索其组合即可，所以能够进行高速的无模型握持位置计算处理。
35.并且，有关本发明的信息处理方法还能够构成为通过计算机执行该方法的程序、非易失性地记录该程序的记录介质。
36.发明效果
37.根据本发明，能够进行高速的无模型握持位置姿态计算处理。
附图说明
38.图1是表示实施例一的握持位置识别装置的整体结构的一例的图。
39.图2是实施例一的信息处理装置的功能框图。
40.图3是表示实施例一的握持位置识别处理的流程图。
41.图4是表示二指手部的概略结构的立体图。
42.图5a、图5b及图5c是表示分别旋转0度、15度、90度后的距离图像的图。
43.图6是说明边缘检测的示意图。
44.图7是表示显示所检测的左边缘及右边缘的距离图像的图。
45.图8a及图8b是说明干扰避免处理的图。
46.图9是表示实施例一的多指组合探索处理的流程图。
47.图10是说明左指和右指的展开幅度的示意图。
48.图11a、图11b及图11c是表示可保持高度条件的判断例的图。
49.图12是说明内部凹陷高度的示意图。
50.图13是表示显示左边缘和右边缘的组合候选例的距离图像的图。
51.图14是表示显示所整合的组合探索结果例的距离图像的图。
52.图15a、图15b及图15c是表示基于优先顺序赋予用的评价指标的评价例的示意图。
53.图16是表示显示赋予了优先顺序的多指组合候选的距离图像的图。
54.图17是表示三指手部的概略结构的立体图。
55.图18是表示实施例二的握持位置识别处理的流程图。
56.图19是表示三指手部的各手指的位置关系的图。
57.图20是在顺时针旋转60度后的距离图像中显示左边缘及右边缘的图。
58.图21是在逆时针旋转60度后的距离图像中显示左边缘及右边缘的图。
59.图22是表示实施例二的多指组合探索处理的流程图。
60.图23是说明多指组合探索例的图。
61.图24a是说明现有例的图，图24b是说明本发明的应用例的图。
具体实施方式
62.[应用例]
[0063]
下面，参照附图对本发明的应用例进行说明。
[0064]
本发明应用于在图1中示出整体结构的握持位置识别装置2中包括的信息处理装置21。在握持位置识别装置2中，通过传感器单元20三维计测在托盘28散装的多个对象物体29，信息处理装置21根据多个对象物体29的三维计测数据即距离图像和多指手部26的手部形状数据，探索多指手部的组合候选。并且，将针对旋转得到的距离图像的多指手部的组合候选进行整合，并使用评价指标赋予优先顺序并输出至plc25。plc25根据该优先顺序控制机器人27，通过多指手部26握持对象物体29。
[0065]
在以往的针对多指手部的握持位置姿态计算中，需要对与各手指的展开幅度相应的二维手部模型进行多次握持位置姿态计算处理，需要处理时间。与此相对，需要设定认为仅以一个展开幅度探索握持位置姿态的最大的展开幅度(参照图24a)。但是，在散装分拣的情况下，在要握持的对象物体29的周边也存在对象物体，如图24a中用虚线的圆所示的那样有可能与它们干扰，所以无法得到足够数量的握持位置姿态候选。
[0066]
与此相对，在本发明中，检测多个手指各自的插入位置候选，由各手指的插入位置候选中探索能够握持对象物体的组合，在插入位置检测或者组合探索中能够探索多个手指之间的展开幅度(参照图24b)，所以不需要准备与展开幅度相应的多个手部形状数据而重复进行处理。因此，能够缩短握持位置姿态计算的所要时间，以高速进行处理。
[0067]
多指手部例如包括二指手部、三指手部，但多指手部具备的手指的数量不限于这些。并且，手部也被称作抓爪、末端执行器。
[0068]
[实施例一]
[0069]
(握持位置识别装置的整体结构)
[0070]
参照图1对包括有关本发明的实施例一的信息处理装置21的握持位置识别装置2进行说明。
[0071]
握持位置识别装置2是在进行物品的组装、加工等的生产线中设置的系统，根据从传感器单元20获取的数据和与多指手部26的形状相关的数据，识别机器人27对在托盘28装载的对象物体29的握持位置/姿态。在托盘28上散装有识别对象的物体(以下，也称作“对象物体”。)29。
[0072]
握持位置识别装置2大致由传感器单元20和信息处理装置21构成。传感器单元20和信息处理装置21之间以有线或者无线方式进行连接，传感器单元20的输出被信息处理装置21获取。信息处理装置21是使用从传感器单元20获取到的数据进行各种处理的装置。作为信息处理装置21的处理，例如可以包括距离计测(测距)、三维形状识别、物体识别、场景识别等。握持位置识别装置2的识别结果例如被输出至plc(可编程逻辑控制器)25、显示器22等。识别结果例如被用于机器人27的控制。
[0073]
(传感器单元)
[0074]
传感器单元20至少具有用于拍摄对象物体29的光学图像的相机。另外，传感器单元20也可以包括进行对象物体29的三维计测所需要的结构(传感器、照明装置、投光装置等)。例如，在通过立体匹配(也被称作立体视觉、立体相机方式等。)计测进深距离的情况下，在传感器单元20设置有多台相机。在有源立体的情况下，进一步地，由于对象物体29是随机点图案，所以投射构造化光的投光装置被设置于传感器单元20。在通过空间代码化图案投影方式进行三维计测的情况下，投射图案光的投光装置和相机被设置于传感器单元20。另外，照度差立体法、tof(飞行时间)法、相位偏移法等只要是能够获取对象物体29的三维信息的方法，则可以使用任何方式。
[0075]
(信息处理装置)
[0076]
信息处理装置21例如由具备cpu(处理器)、ram(存储器)、非易失性存储装置(硬盘、ssd等)、输入装置、输出装置等的计算机构成。在这种情况下，cpu将在非易失性存储装置存储的程序展开到ram中并执行该程序，由此实现后述的各种结构。但是，信息处理装置21的结构不限于此，后述的结构中的全部或者一部分也可以通过fpga、asic等专用电路来实现，还可以通过云计算或分散计算来实现。
[0077]
图2是表示信息处理装置21的结构的框图。信息处理装置21主要具备单指插入位置候选检测部211、多指组合探索部212、最佳握持位置姿态计算部213。单指插入位置候选检测部211获取传感器单元20对对象物体的三维计测数据和手部的形状数据，检测多指手部26的单指的插入位置候选。多指组合探索部212根据在单指插入位置候选检测部211所检测的单指的插入位置候选，探索能够作为构成多指手部26的单指的组合。最佳握持位置姿态计算部213计算多指手部26及机器人27的最佳的握持位置姿态。通过最佳握持位置姿态计算部213计算的与多指手部26及机器人27的最佳握持位置姿态相关的信息被输出至plc25，用于多指手部26及机器人27的控制。手部形状数据既可以是获取在信息处理装置21的非易失性存储装置的规定区域存储的数据，也可以从保存手部形状数据的其它装置获取。
[0078]
(握持位置识别处理)
[0079]
参照图3的流程图，对信息处理装置21的信息处理方法即握持位置识别处理的一
例进行说明。
[0080]
在步骤s101中，单指插入位置候选检测部211获取将二维图像的各点(各像素)与深度值(进深距离的信息)关联而得的形式的距离图像和手部形状数据，作为对象物体的三维计测数据。在本实施例中，作为多指手部，对如图4所示具备两根手指2611、2612的二指手部261进行说明。
[0081]
在步骤s102中，将规定后述的距离图像的旋转角度的系数k设定为0。这里，k是0以上且n以下的整数。
[0082]
在步骤s103中，单指插入位置候选检测部211使在步骤s101中所获取的距离图像旋转kδθ度。这里，如果较小地设定使距离图像旋转的单位角度δθ，则针对旋转图像的处理次数增加，处理附加增大。另一方面，如果较大地设定单位角度δθ，则候选的数量减少，有可能无法检测到最佳的握持位置姿态。单位角度δθ是考虑这些条件等预先设定的，或者让用户输入进行设定。这里，将单位角度δθ设定为15度，设旋转方向为逆时针。通过这样使距离图像旋转，能够变更多指手部26相对于对象物体的相对角度，并计算针对对象物体的从各种角度的握持位置姿态。并且，通过这样使距离图像旋转，不需要如后述那样变更单指插入位置候选的x轴及y轴方向的检测方向。
[0083]
图5a～图5c示意地表示通过传感器单元20三维计测作为对象物体29的炸鸡块291被散装于托盘28的状态得到的距离图像。图5a表示与k＝0对应的旋转角度kδθ＝0度的对象物体291的距离图像im1，图5b表示与k＝1对应的旋转角度kδθ＝15度的对象物体291的距离图像im2，图5c表示与k＝6对应的旋转角度kδθ＝90度的对象物体291的距离图像im3。
[0084]
如果将单位角度δθ设定为15度，则180度/15度＝12，通过设定为后述的n＝12，使k从0起依次每次加1地增加到12，能够对从旋转角度0度每次15度地旋转到165度得到的距离图像进行单指插入位置的检测。另外，在本实施例中作为对象的二指手部261的两根手指2611、2612以180度的角度对置配置，通过以在以180度的角度对置的状态下彼此的间隔增减的方式移动，握持对象物体。因此，关于使旋转180度以上得到的距离图像，与将两根手指2611、2612相互切换的情况对应，所以有关它们的距离图像能够省略处理。
[0085]
在步骤s104中，单指插入位置候选检测部211针对在步骤s101中使旋转kδθ度后的对象物体29的距离图像检测左边缘。以把与k＝0对应的旋转角度0度的距离图像im1作为对象的情况为例进行说明。关于图5a所示的距离图像im1，在与纸面平行的水平方向向右取x轴，在与纸面平行的铅垂方向向下取y轴。并且，在图5a所示的距离图像im1中，距离取与纸面正交的进深朝向。另外，x轴及y轴在图5b及图5c中都与距离图像的旋转无关，取与图5a相同的方向。
[0086]
参照图6对边缘检测进行说明。
[0087]
图5a所示的距离图像im1具有x轴y轴方向的与纸面平行的二维的位置信息和与纸面正交的进深方向的距离的信息。在图6的上方示出的图是在水平方向向右取x轴、在铅垂方向下方取距离，示意地表示距离图像im1的三维信息的图。
[0088]
这里，所谓边缘是指距离的变化量较大的像素。沿着图6所示的距离图像的x轴，能够执行基于公知的canny算子和sobel算子的边缘检测，但边缘检测的方法不限于此。图6所示的距离图像沿着x轴、距离由远及近地变化的边缘el1(在图中带圆圈示出)，存在能够用二指手部261的左指2611握持的可能性，所以称作左边缘，反之，距离由近及远地变化的边
缘er1(在图中带正方形示出)，存在能够用二指手部261的右指2612握持的可能性，所以称作右边缘。
[0089]
图7是示意地表示针对距离图像im1如上述那样检测的左边缘el1(在图中用右向上的影线表示)和右边缘er1(在图中用左向上的影线表示)的图。这样，沿着与炸鸡块291的左侧缘对应的距离图像检测左边缘el1，沿着与炸鸡块291的右侧缘对应的距离图像检测右边缘er1。
[0090]
在步骤s105中，单指插入位置候选检测部211进行针对距离图像的左边缘的干扰避免处理。参照图8a及图8b，对针对左边缘的干扰避免处理进行说明。这里，针对在步骤s104中所检测的左边缘，检测在将二指手部261的左指2611插入的情况下是否产生干扰。左指2611有可能与边缘所属的对象物体29的其它部位发生干扰，或与其它对象物体29或者托盘28等物体发生干扰。在左边缘的情况下，如图8a所示，将左指2611插入对象物体29的左侧。在干扰避免处理中，判定在该左指2611的区域内是否存在三维计测数据的计测点群，当存在时设为有干扰并废弃，当不存在时为了后面的处理而维持。这里，左指2611的区域能够根据在步骤s101中所获取的手部的形状数据进行计算。进行干扰避免处理时的左指2611的区域，被表述为通过左指2611与x轴平行地向正方向移动而接近对象物体29时的左指2611的截面形状。在左指2611的截面形状呈由与x轴及y轴分别平行的两条边构成的长方形的情况下，与右指2612对置的、左指2611的右侧面2611a(参照图8a)采取与y轴平行的姿态。进行干扰避免处理时的右指2612的区域也一样，被表述为通过右指2612与x轴平行地向负方向移动而接近对象物体29时的右指2612的截面形状。在右指2612的截面形状呈由与x轴及y轴分别平行的两条边构成的长方形情况下，与左指2611对置的、右指2612的左侧面2612a(参照图8a)采取与y轴平行的姿态。
[0091]
图8b是将一并示出边缘的距离图像im1的一部分放大表示的图。例如，在左指2611相对于左边缘el11位于图8b所示的位置的情况下，用长方形的截面形状表示的左指2611的区域，在用虚线的圆圈表示的区域中与左边缘el11所属的对象物体2911的部位发生干扰，所以该左指2611的位置被废弃。另一方面，在左指2611相对于左边缘el12位于图8b所示的位置的情况下，用长方形的截面形状表示的左指2611的区域，与左边缘el12所属的对象物体2912、与其它对象物体等都不发生干扰，所以该左指2611的位置被维持。
[0092]
关于针对左指2611的干扰避免处理进行了说明，但关于针对右指2612的干扰避免处理也是一样地进行。如图8a所示，针对所检测的右边缘，检测在将二指手部261的右指2612插入的情况下是否发生干扰，对于发生干扰的右指2612的位置进行废弃，对于不发生干扰的右指2612的位置进行维持。
[0093]
然后，在步骤s106中，单指插入位置候选检测部211针对在步骤s101中使旋转kδθ度后的对象物体29的距离图像检测右边缘。右边缘的检测方法的详情与左边缘的检测方法相同，所以省略说明。
[0094]
然后，在步骤s107中，单指插入位置候选检测部211进行针对距离图像的右边缘的干扰避免处理。针对右边缘的干扰避免处理的详情与针对左边缘的干扰避免处理相同，所以省略说明。
[0095]
(多指的组合探索处理)
[0096]
在步骤s108中，多指组合探索部212进行多指的组合探索处理。参照图9的流程图
对多指组合探索处理的一例进行说明。多指的组合探索处理概略地讲是如下的处理：针对在所设定的手指的展开幅度的范围内所存在的左边缘和右边缘的组合，把满足用于判断在组合时能否握持的条件的组合作为候选进行注册。
[0097]
首先，在步骤s801及步骤s811中，多指组合探索部212针对成为对象的范围的所有的y轴的值重复进行步骤s802～步骤s809的处理。
[0098]
然后，在步骤s802及步骤s810中，多指组合探索部212对当前的y坐标中所有的左边缘重复进行步骤s803～步骤s809的处理。
[0099]
然后，在步骤s803及步骤s809中，多指组合探索部212对相对于当前的左边缘存在于展开幅度的范围内的所有的右边缘重复进行步骤s804～步骤s807的处理。
[0100]
然后，在步骤s804中，多指组合探索部212针对相对于当前的y坐标中的某一左边缘，对位于展开幅度的范围内的所有的右边缘判断是否满足可保持高度条件。参照图10对左指2611和右指2612之间的展开幅度进行说明。二指手部261的形状数据也包括与左指2611和右指2612的最小展开幅度及最大展开幅度相关的数据。如图10所示，在左指2611被插入左边缘el11时，右指2612的可插入位置处于展开幅度为最小wmin时的位置和展开幅度为最大wmax时的位置之间、即展开幅度的范围wrange之间。因此，右边缘er11和右边缘er12被判断为虽然包含在展开幅度的范围内，但是比这些边缘靠x轴的正方向即位于更远离左边缘el11的位置的右边缘不包含在展开幅度的范围内。
[0101]
所谓可保持高度条件是指根据距离图像计算出的可保持高度是否大于规定的阈值。针对通过单指插入位置候选检测部211根据距离图像所检测的左边缘及右边缘分别求出边缘的上端和下端，各自的上端中某一方距离较远的上端、与各自的下端中某一方距离较近的下端之间的距离即高度，可以评价为在将左指及右指进行组合时能够保持的高度，所以把该高度称作可保持高度。在这样规定的可保持高度越高时，二指手部261越容易握持对象物体29。各边缘的上端及下端能够通过计算距离的变化量收敛为一定值以下的点来求得。
[0102]
具体地，在步骤s804中，多指组合探索部212在可保持高度小于规定的阈值的情况下，判断为不满足可保持高度条件，进入步骤s805，将这样的左边缘及右边缘的组合废弃。
[0103]
并且，在步骤s804中，多指组合探索部212在可保持高度为规定的阈值以上的情况下，判断为满足可保持高度条件，进入步骤s806。
[0104]
图11a～图11c表示可保持高度条件的判断例。在图11a所示的距离图像中，对左边缘带圆圈进行表示，对右边缘带正方形进行表示。虚线表示左边缘的上端及下端，单点划线表示右边缘的上端及下端。在图11a所示的距离图像中，左边缘的上端的距离较远，左边缘的下端的距离较近，所以左边缘的上端与下端之间的距离hg1成为可保持高度。在这种情况下，由于可保持高度hg1达到阈值th1以上，所以判断为满足可保持高度条件。在图11b所示的距离图像中，左边缘的上端的距离较远，右边缘的下端的距离较近，所以左边缘的上端与右边缘的下端之间的距离hg2成为可保持高度。在这种情况下，由于可保持高度小于阈值th1，所以判断为不满足可保持高度条件。在图11c所示的距离图像中，右边缘的上端的距离较远，左边缘的下端的距离较近，所以右边缘的上端与左边缘的下端之间的距离hg3成为可保持高度。因此，虽然左边缘及右边缘各自的上端与下端之间的距离都比较大，但是可保持高度减小，且小于阈值th1，所以判断为不满足可保持高度条件。
[0105]
然后，在步骤s806中，多指组合探索部212针对当前的y坐标中的某一左边缘，对位于展开幅度的范围内的所有的右边缘中满足可保持高度条件的右边缘，判断是否满足内部凹陷高度条件。
[0106]
所谓内部凹陷高度条件是指根据距离图像计算出的保持部的内侧的凹陷高度是否为规定的阈值以下。把由通过单指插入位置候选检测部211根据距离图像所检测的左边缘及右边缘各自的上端中某一方距离较近的上端、和左边缘的上端与右边缘的上端之间的最远距离构成的高度称作内部凹陷高度。
[0107]
图12表示内部凹陷高度的一例。在图12所示的距离图像中，对左边缘带圆圈进行表示，对右边缘带正方形进行表示。虚线表示左边缘的上端，单点划线表示右边缘的上端。在左边缘的上端的x方向的位置ulx与右边缘的上端的x方向的位置之间的用虚线的箭头表示的区域中，x方向的位置mfx成为最远距离。因此，在该例中，由左边缘的上端、和左边缘的上端与右边缘的上端之间的最远距离构成的高度hc成为内部凹陷高度。
[0108]
在该内部凹陷高度较大的情况下，有可能导致左指和右指握持两个以上的对象物体。但是，由于确实想要仅握持一个对象物体，所以在步骤s806中，多指组合探索部212在内部凹陷高度大于规定的阈值的情况下，判断为不满足内部凹陷高度条件，进入步骤s805，将这样的左边缘和右边缘的组合废弃。在图12所示的例子中，内部凹陷高度hc大于规定的阈值th2，所以判断为不满足内部凹陷高度条件。
[0109]
并且，在步骤s806中，多指组合探索部212在内部凹陷高度为规定的阈值以下的情况下，进入步骤s807，将这样的左边缘和右边缘的组合作为当前的组合候选进行注册。
[0110]
如上述那样，针对当前的左边缘，对位于展开幅度的范围内的所有的右边缘进行步骤s804～步骤s807的处理(步骤s809)。另外，对当前的y坐标中的所有的左边缘进行步骤s803～步骤s809的处理(步骤s810)。并且，对成为对象的范围中所有的y轴的值进行步骤s802～步骤s810的处理(步骤s811)，结束多指的组合探索处理。
[0111]
图13表示这样针对旋转角度0度的距离图像注册的左边缘和右边缘的组合候选的一例。这里，作为左边缘和右边缘的组合候选，注册有pc01、pc02、pc03及pc04。针对其它旋转角度的距离图像，同样地注册左边缘和右边缘的组合候选。
[0112]
返回到图3的流程图继续进行握持位置识别处理的说明。
[0113]
在步骤s108的多指的组合探索处理结束时，进入步骤s109，多指组合探索部212判断是否k《n-1。如上述那样，如果将旋转的单位角度δθ设定为15度，则n＝12。
[0114]
在步骤s109中，在判断为k《n-1时，将k 1代入k(步骤s110)，重复进行步骤s103及其以后的处理。
[0115]
在步骤s109中，在判断为不是k《n-1时，进入步骤s111。
[0116]
在步骤s111中，把针对从0度以δθ单位旋转到(n-1)δθ度得到的距离图像各自的多指组合探索结果进行整合，对多指组合候选进行优先顺序赋予。
[0117]
图14表示所整合的组合探索结果的一例。针对与距离图像im1中包括的一个对象物体2913对应的距离图像的多指组合pc1、pc2、
…
、pcm，是针对从0度到(n-1)δθ、这里是从0度到165度以每次15度的旋转角度旋转得到的距离图像所注册的多指组合候选的整合结果。在图14中，对于与一个对象物体2913对应的距离图像示出了多指组合候选的整合结果，但多指组合候选的整合结果对于与其它对象物体291对应的距离图像也同样能够得到。
[0118]
针对所整合的多指组合候选的优先顺序赋予能够使用多个评价指标。图15a、图15b及图15c表示评价指标的例子。图15a表示把到对象物体29的距离用作评价指标的情况。这里，图15a的左侧的情况表示到对象物体29的距离为d1，图15a的右侧的情况表示到对象物体29的距离为d2，且d1《d2。在到对象物体29的距离越近时，对象物体的一部分隐藏的风险越低，所以提高优先顺序。这里，距离更近的图15a的左侧的情况相比距离更远的图15a的右侧的情况，优先顺序提高。
[0119]
图15b表示把对象物体29的直线性用作评价指标的情况。在与手指2611、2612的内侧面2611a、2612a接触的对象物体29的部位的直线性越高时，能够实现越稳定的握持，所以越提高优先顺序。这里，对象物体292与手指2611、2612的内侧面2611a、2612a接触的部位的直线性较高，对象物体293与内侧面2611a、2612a接触的部位的直线性较低，所以图15b的左侧的情况相比图15b的右侧的情况，优先顺序提高。这样的对象物体29的直线性能够作为到手指的内侧面和对象物体29的边缘位置的距离的最大值或者平均值进行计算，但不限于此。
[0120]
图15c表示把可保持高度用作评价指标的情况。可保持高度是在组合探索中所求出的可保持高度。在可保持高度越高时，能够实现越稳定的握持，所以越提高优先顺序。图15c的左侧的情况相比图15c的右侧，可握持高度较高，所以图15c的左侧的情况相比图15c的右侧的情况，优先顺序提高。
[0121]
这里，如上述那样把到对象物体29的距离、与手指2611、2612的内侧面2611a、2612a接触的对象物体29的部位的直线性、可保持高度这三个评价指标进行组合，进行优先顺序赋予。作为多个评价指标的组合方法，可以是各评价指标的加权总和，也可以对各评价指标进行离散性评价来计算总体的评价指标。在将各评价指标组合而得的综合性评价指标值越高时，越提高优先顺序。
[0122]
图16表示叠加在距离图像im1上对多指组合候选赋予优先顺序的一例。针对与对象物体2913对应的距离图像，注册有优先顺序为第一的多指组合候选pr1、优先顺序为第二的多指组合候选pr2、优先顺序为第五的多指组合候选pr5、优先顺序为第七的多指组合候选pr7以及优先顺序为第八的多指组合候选pr8。并且，针对与对象物体2914对应的距离图像，注册有优先顺序为第三的多指组合候选pr3以及优先顺序为第四的多指组合候选pr4。并且，针对与对象物体2915对应的距离图像，注册有优先顺序为第六的多指组合候选pr6以及优先顺序为第九的多指组合候选pr9。另外，针对与对象物体2916对应的距离图像，注册有优先顺序为第十的多指组合候选pr10。这里，仅示出了截止到优先顺序为第十的多指组合候选，但同样地注册有以后的优先顺序的多指组合候选。
[0123]
然后，在步骤s112中，在步骤s111中赋予了优先顺序的握持位置姿态被输出至plc25。在plc25中，按照被赋予了优先顺序的握持位置姿态控制机器人27及多指手部26，进行对象物体29的握持。
[0124]
[实施例2]
[0125]
在本实施例中，作为多指手部，对使用如图17所示具备三根手指2621、2622、2623的三指手部262的情况进行说明。
[0126]
三指手部262具备在沿周向相互每次旋转120度的位置设置的三根手指2621、2622、2623，各手指2621、2622、2623沿内径方向及外径方向滑动，由此使相互的间隔增减并
握持对象物体29。三指手部262不限于这样的滑动方式，也可以是摆动方式。
[0127]
有关实施例2的握持位置识别装置的结构除多指手部的结构以外，与实施例一相同，所以对于相同的结构使用相同的附图标记，并省略详细说明。
[0128]
参照图18的流程图，对信息处理装置21的信息处理方法即握持位置识别处理的一例进行说明。
[0129]
步骤s101～步骤s103与实施例一相同，所以省略说明。
[0130]
在步骤s104中，针对旋转kδθ得到的距离图像检测左边缘，在步骤s105中进行干扰避免处理。这里的处理与实施例一相同，但三指手部262的情况中距离图像的左边缘检测的意义不同，所以对这一点进行说明。
[0131]
从基端侧观察图17所示的三指手部262的各手指2621、2622、2623的状态在图19中示出。如上述那样，相对于三个手指2621、2622、2623的中心ct，手指2622的可动范围为相对于手指2621的可动范围顺时针旋转120度的位置关系，手指2623的可动范围为相对于手指2621的可动范围逆时针旋转120度的位置关系，手指2623的可动范围为相对于手指2622的可动范围顺时针旋转120度的位置关系。
[0132]
如果是二指手部261，则检测应由一个手指2611握持的对象物体29的部位作为距离图像的左边缘，检测应由另一个手指2612握持的对象物体29的部位作为相同的距离图像的右边缘，根据左边缘和右边缘的组合，能够探索两个手指2611、2612的组合。与此相对，在三指手部262的情况下，假设检测应由一个手指2621握持的对象物体29的部位作为距离图像的左边缘的情况下，在相同的距离图像中，不存在相对于检测左边缘的y坐标把与x轴平行的方向作为可动范围的其它手指。如图19所示，手指2622的可动范围为相对于手指2621的可动范围顺时针旋转120度的位置关系。在想要对这样应由手指2622握持的对象物体29的部位，与二指手部的情况同样地，相对于一定的y坐标在x轴的负方向探索距离图像并检测作为右边缘时，需要检测使在左边缘的检测中所使用的距离图像顺时针旋转60度得到的距离图像的右边缘。同样地，在想要对应由手指2623握持的对象物体29的部位，相对于一定的y坐标在x轴的负方向探索距离图像并检测作为右边缘时，需要使在左边缘的检测中所使用的距离图像逆时针旋转60度来检测距离图像的右边缘。
[0133]
因此，在后面的步骤s201中，针对使在步骤s103中所得到的距离图像顺时针旋转60度得到的距离图像检测右边缘(也称作“第一右边缘”)。右边缘的检测方法除了把使顺时针旋转60度得到的距离图像作为对象以外，与实施例一的步骤s106相同，所以省略详细说明。
[0134]
图20是针对使图5a所示的距离图像顺时针旋转60度得到的距离图像im4，与图7相同地示意地表示左边缘el2(在图中用右向上的影线表示)及右边缘er2(在图中用左向上的影线表示)的图。这样，沿着与炸鸡块291的右侧缘对应的距离图像检测右边缘er2。
[0135]
在步骤s202中，对在步骤s201中所检测的右边缘进行干扰避免处理。针对右边缘的干扰避免处理与实施例一的步骤s107相同，所以省略详细说明。
[0136]
然后，在步骤s203中，针对使在步骤s103中所得到的距离图像逆时针旋转60度得到的距离图像检测右边缘(也称作“第二右边缘”)。右边缘的检测方法除了把逆时针旋转60度得到的距离图像作为对象以外，与实施例一的步骤s106相同，所以省略详细说明。
[0137]
图21是针对使图5a所示的距离图像逆时针旋转60度得到的距离图像im5，与图7相
同地示意地表示左边缘el3(在图中用右向上的影线表示)及右边缘er3(在图中用左向上的影线表示)的图。这样，沿着与炸鸡块291的右侧缘对应的距离图像检测右边缘er3。
[0138]
在步骤s204中，对在步骤s203中所检测的右边缘进行干扰避免处理。针对右边缘的干扰避免处理与实施例一的步骤s107相同，所以省略详细说明。
[0139]
(多指的组合探索处理)
[0140]
然后，在步骤s205中，多指组合探索部212进行多指组合探索处理。参照图22的流程图对多指组合探索处理的一例进行说明。关于与图9所示的有关实施例一的多指组合探索处理相同的处理，使用相同的附图标记并省略详细说明。
[0141]
步骤s801及步骤s802与实施例相同，所以省略详细说明。
[0142]
在步骤s901及步骤s905中，针对当前的左边缘，对展开幅度的范围内所存在的所有的第一右边缘及第二右边缘重复进行步骤s902、步骤s804～步骤s807的处理。关于展开幅度，在三指手部262的情况下，针对一个手指2621，除了存在与手指2622之间的展开幅度和与手指2623之间的展开幅度这两个展开幅度以外，与实施例一的情况相同。
[0143]
在步骤s902中，对相对于左边缘存在于展开幅度的范围内的第一右边缘及第二右边缘，判断从各边缘中包括的点(称作“边缘”点)沿水平方向延伸的水平线是否在规定的偏差量以内相交。图23是示意地表示在距离图像im1上、从各边缘点延伸的水平线在规定的偏差量以内相交的状态的图。水平线hl4从左边缘点el4沿水平方向延伸。水平线hl5从第一右边缘点er5沿水平方向延伸。如图20所示，在第一右边缘点er5通过的水平线hl5是在相对于距离图像im1顺时针旋转60度得到的距离图像im4中沿x轴方向延伸的线，所以在距离图像im1中沿逆时针旋转60度的方向延伸。并且，水平线hl6从第二右边缘点er6沿水平方向延伸。这里，如图21所示，在第二右边缘点er6通过的水平线hl6是相对于距离图像im1逆时针旋转60度得到的im5中的沿x轴方向延伸的线，所以在距离图像im1中沿顺时针旋转60度的方向延伸。在图23的例子中，从各边缘点el4、er5、er6延伸的水平线hl4、hl5、hl6，在与规定的偏差量对应的半径的圆pd的内侧相交。
[0144]
在步骤s902中，在判定为是的情况下，进入步骤s804。
[0145]
在步骤s902中，在判断为否的情况下，进入步骤s805，将这样的左边缘、第一右边缘及第二右边缘的组合废弃。
[0146]
步骤804及步骤s806的处理与实施例一相同，所以省略详细说明。在三指手部262的情况下，可以在三根手指各自与其它两根手指之间判断可保持高度条件及内部凹陷高度条件。既可以设为两根手指的三个组合全部满足这些条件，也可以设为至少一组或者两组的手指满足这些条件。
[0147]
在步骤s806中，在判断为满足内部凹陷高度条件的情况下，进入步骤s807，把该左边缘、第一右边缘及第二右边缘注册为组合候选。
[0148]
如上述那样，针对当前的左边缘重复进行存在于展开幅度的范围内的步骤s902、步骤s804～步骤s807的处理。
[0149]
然后，对当前的y坐标中的所有的左边缘重复进行步骤s901～步骤s905的处理。
[0150]
并且，对所有的y坐标重复进行步骤s802～s811的处理，结束多指的组合探索处理，进入步骤s109。
[0151]
步骤s109～步骤s112的处理与实施例一相同，所以省略详细说明。在本实施例中，
针对在步骤s103中旋转kδθ得到的距离图像，在步骤s104中进行左边缘检测，针对使该距离图像顺时针旋转60度得到的距离图像，在步骤s201中进行第一右边缘检测，针对使该距离图像逆时针旋转60度得到的距离图像，在步骤s203中进行第二右边缘检测。
[0152]
并且，在本实施例中，在与实施例一相同地将单位角度δθ设定为15度的情况下，120度/15度＝8，所以设定为n＝8，通过使k从0开始每次加1地增加到8，能够对从旋转角度0度到105每次旋转15度得到的距离图像进行单指插入位置的检测。三指手部262的三根手指2621、2622、2623相互以120度的角度对置配置，通过以在相互以120度的角度对置的状态下相互的间隔增减的方式进行移动，握持对象物体。因此，关于使旋转120度以上得到的距离图像，与将三根手指2621、2622、2623依次切换为相邻的手指的情况对应，所以能够对它们的距离图像省略处理。
[0153]
在本实施例中对三指手部262进行了说明，但对于具有四根以上的手指的多指手部，同样能够计算赋予了优先顺序的握持位置姿态。在三指手部262中，检测左边缘与第一右边缘及第二边缘进行多指组合探索，但应检测的左边缘及右边缘的组合不限于此。按照构成多指手部的各手指的配置，以各手指对对象物体的握持动作与沿着x轴的左边缘或者右边缘的握持对应的方式，使作为处理对象的距离图像旋转，并检测该旋转后的距离图像的左边缘或者右边缘。并且，提取在这样检测的左边缘或者右边缘中包括的点通过的水平线(所旋转的距离坐标的x轴方向的线)，在作为处理对象的距离图像中在规定的偏差量以内相交的线。另外，将满足可保持高度条件等其它条件的组合注册为多指组合候选，使用规定的评价指标进行优先顺序赋予。这样，对于四指以上的多指手部，同样能够计算赋予了优先顺序的握持位置姿态。
[0154]
另外，下面为了能够对本发明的构成要件和实施例的结构进行对比，带附图标记地记述本发明的构成要件。
[0155]
《发明一》
[0156]
一种信息处理装置(21)，计算通过具有多个手指(2611、2612)的机械手(261)握持对象物体(29)时的该机械手(261)的握持位置姿态，
[0157]
所述信息处理装置(21)具备：
[0158]
单指插入位置候选检测部(211)，根据三维计测所述对象物体(29)得到的三维计测数据和与所述机械手(261)的形状相关的手部形状数据，检测所述机械手(261)的各个所述手指(2611、2612)的插入位置候选；
[0159]
多指组合探索部(212)，对各个所述手指(2611、2612)的插入位置候选，探索能够握持所述对象物体(29)的组合；以及
[0160]
握持位置姿态计算部(213)，根据所述手指(2611、2612)的插入位置候选的组合，计算握持所述对象物体(29)时的所述机械手(261)的握持位置姿态。
[0161]
附图标记说明
[0162]
21：信息处理装置；29：对象物体；211：单指插入位置候选检测部；212：多指组合探索部；213：最佳握持位置姿态计算部；261、262：机械手；2611、2612、2621、2622、2623：手指。