随动机器人的制作方法

1.本发明涉及随动机器人。


背景技术：

2.以往已知一种生产线，该生产线具备：机器人；搬运装置，其搬运物品；轨道，其沿着搬运装置设置；以及移动装置，其使机器人沿着轨道移动(例如，参照专利文献1。)。
3.在该生产线中，在利用搬运装置搬运物品时，机器人进行物品的缺陷检查以及研磨。另外，在进行缺陷检查以及研磨时，移动装置使机器人以与搬运装置搬运物品的速度相同的速度沿着轨道进行移动。
4.另外，已知一种技术：使机器人的前端部的位置以及姿态准确地对准不动的目标位置(例如，参照专利文献2。)。
5.现有技术文献
6.专利文献
7.专利文献1:日本特开平08-72764号公报
8.专利文献2:日本特开2017-170599号公报


技术实现要素：

9.发明要解决的问题
10.在所述生产线中，仅进行缺陷检查以及研磨。与此相对，例如，在进行机器人与物品可以干涉的作业的情况下，需要防止机器人、搬运装置、物品等破损的对策。然而，由于利用搬运装置进行移动的物品有可能进行振动等无法预测的举动，因此难以实现所述的破损防止。
11.因此，期望能够使机器人的工具准确地追随物品。
12.用于解决问题的方案
13.本发明的一个方案是一种随动机器人，所述随动机器人具备：可动的臂；至少一个视觉传感器，其设置于所述臂；特征量存储部，其存储与随动对象的至少位置以及姿态有关的第一特征量，作为用于使设置于所述臂的所述视觉传感器追随所述随动对象的目标数据；特征量检测单元，其利用由所述视觉传感器得到的图像，检测与所述随动对象的当前的至少位置以及姿态有关的第二特征量；移动量计算单元，其根据所述第二特征量与所述第一特征量的差异计算所述臂的移动指令，并至少利用前馈控制调整所述移动指令；移动指令单元，其根据所述移动指令使所述臂移动；以及输入值存储部，其将在所述随动对象的特定动作开始时所获取的信号与所述前馈控制的输入值相对应地存储，所述前馈控制的输入值用于使所述臂追随该特定动作中的所述随动对象的轨迹，所述移动量计算单元以及所述移动指令单元在使所述视觉传感器追随所述随动对象的期间，重复进行所述移动指令的计算以及基于所述移动指令的所述臂的移动，所述移动指令用于减少或者消除作为所述第二特征量的所述随动对象的至少位置以及姿态、与作为所述第一特征量的所述随动对象的至
少位置以及姿态的差异，所述移动量计算单元利用基于所述输入值的所述前馈控制，所述输入值与在所述特定动作开始时所获取的所述信号相对应地存储于所述输入值存储部。
附图说明
14.图1是本发明的一个实施方式的具备随动机器人的作业机器人系统的结构示意图。
15.图2是图1的作业机器人系统的控制装置的框图。
16.图3是由图1的作业机器人系统的视觉传感器拍摄的图像数据的例子。
17.图4是表示图1的作业机器人系统的控制部的工作的流程图。
18.图5是表示图1的作业机器人系统的随动对象的特定动作中的前馈控制的输入值的生成的一个例子的示意性立体图。
19.图6是说明图5的输入值生成处理的流程图。
20.图7是表示利用通过图6的输入值生成处理而生成的输入值进行前馈控制的机器人的动作的一个例子的示意性立体图。
21.图8是说明通过图6的输入值生成处理而生成的输入值的微调方法的流程图。
22.图9是本实施方式的变形例的作业机器人系统的结构示意图。
23.图10是说明本实施方式的变形例的时间常数生成处理的流程图。
24.图11是说明通过图10的时间常数生成处理计算出的时间常数的微调方法的流程图。
25.图12是具有本实施方式的控制装置的管理系统的框图。
26.图13是具有本实施方式的控制装置的系统的框图。
具体实施方式
27.以下，利用附图对本发明的一个实施方式的作业机器人系统1进行说明。
28.如图1所示，本实施方式的作业机器人系统1具备：搬运装置2，其搬运作为作业对象的物品100；以及机器人(随动机器人)10，其对由搬运装置2搬运的物品100的作业对象部101进行预定作业。另外，作业机器人系统1具备：控制装置20，其控制机器人10；作为检测部的检测装置40；以及视觉传感器50，其安装于机器人10。
29.检测装置40检测物品100已被搬运至预定位置。作为检测装置40，能够利用所有具有这种功能的装置。在本实施方式中，检测装置40为光电传感器，但也可以利用视觉传感器50检测物品100已被搬运至预定位置。
30.物品100不限于特定的种类。在本实施方式中，作为一个例子，物品100是车身。搬运装置2用于通过利用马达2a驱动多个滚子3之中的数根来搬运物品100。在本实施方式中搬运装置2朝向图1中的右侧搬运物品100。
31.作业对象部101是物品100中机器人10进行预定作业的部分。在本实施方式中，作为预定作业，机器人10的手(工具)30抬起部件110，机器人10将部件110的安装部111安装到作业对象部101。由此，例如，从部件110的安装部111向下方延伸的轴111a，与设置于物品100的作业对象部101的孔101a嵌合。
32.在物品100利用搬运装置2进行移动的状态下，机器人10将部件110的安装部111安
装到作业对象部101。
33.机器人10不限于特定的种类，但本实施方式的机器人10具备分别驱动多个可动的臂10a的多个伺服马达11(参照图2)。各伺服马达11具有用于检测其工作位置的工作位置检测装置，工作位置检测装置作为一个例子为编码器。工作位置检测装置的检测值发送到控制装置20。
34.在臂10a的前端部安装有手30。本实施方式的手30通过利用多个爪进行把持来支撑部件110，但也可以使用利用磁力、空气的吸引等来支撑部件110的手。
35.手30具备驱动爪的伺服马达31(参照图2)。伺服马达31具有用于检测其工作位置的工作位置检测装置，工作位置检测装置作为一个例子为编码器。工作位置检测装置的检测值发送到控制装置20。
36.作为各伺服马达11、31，可以使用旋转马达、直动马达等各种伺服马达。
37.在机器人10的前端部安装有力传感器32。力传感器32计测例如图3所示的x轴方向、y轴方向、以及z轴方向、和围绕x轴、围绕y轴、以及围绕z轴的力或者力矩。
38.力传感器32只要能够检测施加于手30或者由手30把持的部件110的力的方向以及力的程度即可。因此，在本实施方式中，力传感器32设置于机器人10与手30之间，但力传感器32也可以设置于手30内。
39.在臂10a的前端部安装有视觉传感器50。在一个例子中，视觉传感器50利用框架50a安装于机器人10的手腕凸缘。在本实施方式中，视觉传感器50是二维照相机。本实施方式的视觉传感器50，以相对于作业对象部101位置以及姿态相对不发生变化的随动对象102进入视场角的预定范围的方式，依次获取如图3所示的图像数据。
40.在本实施方式中，随动对象102为图3中用斜线表示的上表面部，但也可以使用位置以及姿态相对于作业对象部101不发生变化的其他部分。
41.视觉传感器50还可以安装于手30等工具。另外，视觉传感器50还可以安装于位置以及姿态相对于手30等的工具不发生变化的机器人10的其他部位。
42.视觉传感器50将图像数据依次发送到控制装置20。图像数据是能够确定随动对象102的位置以及姿态的数据。还可以利用除控制装置20以外的检测器对图像数据进行处理，并根据该处理后的数据确定随动对象102的位置以及姿态。
43.随动对象102是物品100中具有预定形状的部分、设置有预定标记的部分等。在这些情况下，图像数据是能够在图像上判别上述部分的位置以及姿态的数据。
44.在基于图像的例子中，若随动对象102相对于视觉传感器50配置于图像数据(检测范围)的目标位置、姿态、尺寸，则安装于臂10a的手30的位置以及姿态成为对物品100进行的预定作业所需的位置以及姿态。在基于位置的例子中，通过校准使安装于臂10a的手30的位置以及姿态、与视觉传感器50的位置以及姿态相对应。在该情况下，控制装置20能够根据图像数据识别随动对象102在机器人10的坐标系中的位置以及姿态，并且控制装置20能够使设置于臂10a的手30移动到预定作业所需的位置以及姿态。
45.在本实施方式中，形成如下状态：能够将部件110的安装部111的轴111a嵌合到设置于物品100的作业对象部101的孔101a。
46.物品100有时会在搬运装置2上摆动。例如，在搬运装置2的多个滚子3未配置于完整的平面上的情况下，物品100摆动。在物品100较大的情况下，物品100的下端侧的微小的
晃动有时也会导致作业对象部101的较大的晃动。因此，设置于臂10a的手30的姿态调整很重要。
47.在基于图像的例子中，随动对象102在视觉传感器50的图像数据上的位置、姿态、尺寸的变化、与机器人10的坐标系的位置以及姿态的变化预先在控制装置20内相关联。
48.如图2所示，控制装置20具备：控制部21，其具有cpu、ram等；显示装置22；以及存储部(特征量存储部、输入值存储部)23，其具有非易失性存储器、rom等。另外，控制装置20具备：多个伺服控制器24，其分别对应于机器人10的伺服马达11；伺服控制器25，其与手30的伺服马达31对应；以及输入部26，其与控制装置20连接。在一个例子中，输入部26是操作员所携带的操作盘等输入装置。输入部26有时还与控制装置20进行无线通信。
49.存储部23中存储有系统程序23a，系统程序23a承载控制装置20的基本功能。另外，存储部23中存储有动作程序23b。另外，存储部23中存储有随动控制程序(移动指令单元)23c、力控制程序23d、特征量检测程序(特征量检测单元)23e、以及移动量计算程序(移动量计算单元)23f。
50.另外，存储部(输入值存储部)23中以对应的方式存储有在随动对象102的特定动作开始时获取的信号与前馈控制的输入值。
51.其中，随动对象102的特定动作是在搬运物品100的搬运装置2的运转中所设想的非稳定动作，是指因其他作业工序而引起的停止、从停止重新开始或者紧急停止等。在这些特定动作开始时，在控制装置20中获取能够确定各特定动作的信号。
52.控制部21根据这些程序，将用于进行针对物品100的预定作业的移动指令发送到各伺服控制器24、25。由此，机器人10以及手30对物品100进行预定作业。参照图4的流程图对此时的控制部21的动作进行说明。
53.首先，若利用检测装置40检测到物品100(步骤s1-1)，则控制部21开始根据动作程序23b向机器人10以及手30发送作业前移动指令(步骤s1-2)。由此，机器人10使由手30把持的部件110的轴111a接近作业对象部101的孔101a。此时，控制部21还可以使用搬运装置2的搬运速度、以及物品100内的作业对象部101的位置的数据等。另外，在下述的步骤s1-4之后，根据动作程序23b，部件110的轴111a嵌合于物品100的孔101a。此外，在步骤s1-1中，还可以使用视觉传感器50代替检测装置40检测物品100。
54.通过步骤s1-2的机器人10的控制，部件110到达预定作业(嵌合)的准备位置以及姿态。由此，若在视觉传感器50的视场角(检测范围)内、或者视场角的预定范围内存在随动对象102(步骤s1-3)，则控制部21开始基于随动控制程序23c、特征量检测程序23e、以及移动量计算程序23f的控制(步骤s1-4)。在步骤s1-4中，例如进行以下控制。此外，在以下的控制中，根据视觉传感器50的图像数据，检测随动对象102的至少位置以及姿态，控制部21根据检测到的位置以及姿态，使安装于臂10a的视觉传感器50的位置以及姿态追随随动对象102。其中，由于视觉传感器50相对于手30的位置以及姿态固定，因此在随动对象102始终配置于视觉传感器50的图像数据的目标位置以及姿态的形态下，机器人10的手30追随物品100。
55.这种控制例如通过以下控制来实现。
56.在该控制中，存储部23中存储有在图像数据内随动对象102应该配置的目标位置以及目标姿态、目标尺寸作为第一特征量。目标尺寸例如是在以特征为轮廓的情况下的轮
廓的大小。
57.控制部21根据特征量检测程序23e，在由视觉传感器50依次得到的图像数据上检测随动对象102的位置、姿态、以及尺寸，作为第二特征量的检测。
58.例如，控制部21在对存储部23中存储的随动对象102的模型进行射影转换的同时，进行射影转换后的模型与图像数据上的随动对象102的匹配检索，从而检测随动对象102的位置以及姿态。该模型可以使用cad数据等作成，也可以从实际对象中作成。由于作业对象部101与随动对象102的相对位置以及相对姿态固定，因此控制部21能够根据随动对象102的位置以及姿态得到臂10a的前端部与随动对象102的相对位置以及相对姿态。
59.控制部21根据移动量计算程序23f计算移动指令，该移动指令用于使图像数据内的随动对象102的位置、姿态、以及尺寸与第一特征量一致。
60.计算出的移动指令用于消除或者减少图像数据内的随动对象102的位置、姿态、以及尺寸与第一特征量的差异。计算出的移动指令例如用于使安装于臂10a的手30的位置向x轴方向、y轴方向、以及z轴方向变化，使手30的姿态围绕x轴、围绕y轴、以及围绕z轴变化。
61.此外，在上述的控制中，控制部21还可以进一步根据由臂10a的机械特性决定的参数，调整计算出的移动指令。例如，臂10a由于臂10a的整体或者局部的刚性、各可动部的刚性、手30的重量、部件110的重量、手30以及部件110的重量等而受到的力矩等包含于机械性质。另外，由于臂10a的挠曲量、方向等根据作为臂10a的可动部的关节的角度而发生变化，因此臂10a的各可动部的状态也包含于机械性质。
62.也就是说，在臂10a的姿态根据移动指令而发生变化时，臂10a由于手30以及部件110的重量等而受到的力矩、臂10a的各可动部的状态等，根据该姿态变化而发生变化。因此，若考虑这些机械特性而调整移动指令，则能够使手30更准确地追随物品100。
63.控制部21能够使用连续的多个图像数据得到第二特征量的变化倾向。例如，在视觉传感器50的图像数据上的随动对象102的位置、姿态、以及尺寸逐渐接近作为目标数据的第一特征量时，从连续的多个图像数据中捕捉视觉传感器50相对于随动对象102的相对位置以及相对姿态的变化倾向。
64.在存在相对位置以及相对姿态的变化倾向的情况下，控制部21还可以根据移动量计算程序23f，利用基于该倾向的前馈控制调整移动指令。例如，还可以根据移动量的变化求出平均速度，并提供其基本速度作为前馈控制。
65.通过利用前馈控制，能够在一定程度上保持与对象的相对速度不变的状态下，对偏移部分进行反馈控制。若不使用前馈，则在图像的特征彼此一致时，可能会产生机器人的移动速度成为0的瞬间。在该情况下，有可能频繁发生减速、加速，但通过利用前馈控制，能够防止这样的减速、加速。
66.对进行前馈的修正数据，优选实施移动平均等公知的过滤处理、平滑处理等。由此，若捕捉到由外部干扰引起的物品100的位置以及姿态的变化、因搬运装置2的精度引起的物品100的晃动、过冲的可能性、电噪声等，则控制部21能够恰当应对由外部干扰引起的变化或因搬运装置2的精度引起的晃动、降低过冲、消除电噪声等。
67.提供给前馈控制的基本速度等输入值，还可以根据用外部的计测仪器计测的结果，由用户任意输入。
68.另外，还可以作成考虑了减速器的挠曲(扭转)的机器人模型，并且估计臂的振动
并进行反馈，从而减轻臂的振动。
69.在本实施方式中，作为存在相对位置以及相对姿态的变化倾向的情况，设想随动对象102实施了特定动作的情况，进行前馈控制。即，在获取到随动对象102开始特定动作时的信号的情况下，读出与该信号相对应地存储于存储部23的输入值，并根据该输入值进行前馈控制。
70.通过以下方法预先获取前馈控制的输入值。
71.首先，如图5所示，准备相对于固定有搬运装置2的地面而固定的视觉传感器50。
72.在该状态下，如图6所示，在视觉传感器50的视场角内配置随动对象102，并使视觉传感器50工作(步骤s10)。接着，执行上述的特定动作(步骤s11)。例如，若执行搬运装置2的紧急停止，则在控制装置20中获取能够确定紧急停止的紧急停止信号(特定信号)(步骤s12)。
73.由此，随动对象102以图5所示的轨迹振动。为了记录该轨迹，利用视觉传感器50以微小时间间隔依次获取包含随动对象102的图像数据，通过对获取到的图像数据进行处理，依次检测随动对象102的位置(步骤s13)。
74.然后，判定检测到的随动对象102的位置的变化(步骤s14)，若位置的变化超过预定阈值，则重复从步骤s13开始的工序。若在步骤s14中位置的变化成为预定阈值以下，则根据按时间序列获取到的随动对象102的位置的信息，计算随动对象102在机器人坐标系中的轨迹(步骤s15)。
75.根据该随动对象102的轨迹，计算前馈控制的输入值(步骤s16)。具体而言，如图7所示，计算前馈控制的输入值作为使机器人10的动作轨迹与随动对象102的轨迹一致的指令信号。
76.计算出的输入值是在有限的时间间隔内发生变化的指令信号，并且与所获取的能够确定特定动作的信号相对应地存储(步骤s17)。对紧急停止以外的其他特定动作也以相同的方式计算前馈控制的输入值，并与能够确定各特定动作的信号相对应地存储于存储部23。
77.接着，对在这样存储有前馈控制的输入值的状态下进行的输入值的微调方法进行说明。
78.如图8所示，在使机器人10工作的状态下，使随动对象102发生特定动作(步骤s20)。若开始进行特定动作，则在控制装置20中获取能够确定特定动作的特定信号(步骤s21)。
79.控制装置20读出与获取到的特定信号相对应地存储于存储部23的输入值(步骤s22)，并开始进行将该输入值以预定的微小时间间隔依次添加至指令信号的前馈控制(步骤s23)。此时，利用机器人10所具备的视觉传感器50获取包含随动对象102的图像(步骤s24)，对获取到的图像进行处理并检测随动对象102在图像上的位置(步骤s25)。
80.在该状态下，依次判定检测到的随动对象102的位置是否位于预定范围内(步骤s26)，在超过预定范围而偏移的情况下，与输入值的时刻相对应地存储随动对象102的位置偏移的方向以及位置偏移量(步骤s27)。在随动对象102的位置偏移为预定范围以下的情况、并且存储了位置偏移后，判定输入值是否结束(步骤s28)，重复从步骤s25开始的工序，直至输入值结束为止。
81.在所读出的输入值结束后，根据所存储的随动对象102的位置偏移，修正存储部23中存储的前馈控制的输入值(步骤s29)。还可以通过重复步骤s20至步骤s29的工序来对输入值进行微调，直至随动对象102的位置偏移相对于整个期间范围内的输入值成为预定范围以下为止。
82.如此，具有如下优点：在使用本实施方式的机器人10进行实际作业时，即使搬运装置2发生非稳定动作，也能够使机器人10的工具30高精度地追随物品100。另外，还具有如下优点：在设定前馈控制的输入值时，在使用机器人10所具备的视觉传感器50的情况下，能够容易地进行设定。
83.另外，作为视觉传感器50，还可以与安装于机器人10的视觉传感器50分开准备。在该情况下，预先相对于机器人10的坐标系对固定设置于地面的视觉传感器50进行校准。在使用安装于机器人10的视觉传感器50的情况下，维持使机器人10静止的状态。在该情况下，视觉传感器50相对于机器人10的坐标系被校准。
84.另外，控制部21还可以利用相对位置以及相对姿态的变化倾向等，内插第二特征量的检测结果。因此，即使在第二特征量的获取周期与视觉传感器50的摄像周期同样变长的情况下，也能够通过内插检测结果来进行获取周期期间的第二特征量的估计、将来的第二特征量的估计等。
85.控制部21通过上述控制使臂10a的手30追随作业对象部101。由此，部件110的安装部111的轴111a的位置以及姿态、与作业对象部101的孔101a的位置以及姿态一致。
86.其中，如上所述，随动对象102在视觉传感器50的图像数据上的位置、姿态、以及尺寸的变化、与机器人10的坐标系的位置以及姿态的变化，在控制装置20内相关联。因此，在视觉传感器50追随随动对象102时机器人10的坐标系向搬运装置2的搬运方向移动，能够使坐标系的位置以及姿态与由搬运装置2搬运的物品10的移动一致。在该状况下，物品100的作业对象部101利用搬运装置2进行移动，但若从控制部21观察，则在坐标系内作业对象部101看起来几乎停止。
87.在如此控制的状态下，控制部21开始基于力控制程序23d的力控制(步骤s1-5)。作为力控制，可以使用公知的力控制。在本实施方式中，机器人10使部件110向逃脱由力传感器32检测到的力的方向移动。其移动量由控制部21根据力传感器32的检测值决定。
88.例如，若在由手30把持的部件110的轴111a与物品100的孔101a开始嵌合的状况下，利用力传感器32检测到与由搬运装置2进行搬运的搬运方向相反的方向的力，则控制部21使部件110向与搬运方向相反方向稍微移动从而逃脱检测到的力。
89.接着，在根据视觉传感器50的图像数据依次检测到的第二特征量超过预定基准而发生变动时(步骤s1-6)，控制部21进行第一异常应对工作(步骤s1-7)。超过预定基准的变动是在图像数据内随动对象102的较大移动、在图像数据内随动对象102的比预定速度快的移动等。在电力供给不稳定的情况下，马达2a的旋转速度有时会急剧下降等，马达2a的旋转速度有时还会发生较大变动。在这些情况下，随动对象102相对于臂10a的前端部的位置超过预定基准而发生变动。
90.作为第一异常应对工作，控制部21进行缩短力控制的控制周期的工作或者提高灵敏度的工作、停止进行嵌合的工作、中止嵌合作业的工作、向与嵌合方向相反的方向退避的工作、使搬运停止的工作、或者组合这些的工作等。若缩短力控制的控制周期、或者提高灵
敏度，则能够使机器人10对施加于部件110的力更敏感地进行移动。在本实施方式中，控制部21进行中止嵌合作业的工作、向与嵌合方向相反的方向退避的工作、使搬运装置2停止或者组合这些的工作等。
91.另外，在步骤s1-6中第二特征量为预定基准以下，并且力传感器32的检测值超过预定的基准値时(步骤s1-8)，控制部21进行第二异常应对工作(步骤s1-9)。在力传感器32的检测值超过预定基准値时，对部件110、物品100等施加异常的力的可能性高。因此，控制部21进行以下工作作为第二异常应对工作。即，进行使机器人10停止的工作、使机器人10向逃脱由力传感器32检测到的力的方向的方向移动的工作、使搬运装置2停止的工作、向与嵌合方向相反的方向退避的工作、使搬运停止的工作、或者组合这些的工作等。在本实施方式中，控制部21进行使机器人10停止的工作。
92.另一方面，在步骤s1-8中力传感器32的检测值为预定基准値以下的情况下，控制部21判断嵌合作业是否结束(例如，判断z方向的进行距离是否超过预定値)(步骤s1-10)，若嵌合作业结束，则向臂10a以及手30发送预定的移动指令、工作指令(步骤s1-11)。由此，手30放开部件110并远离部件110，手30利用臂10a移动到等待位置或者贮存有下一个部件110的场所。另外，若步骤s1-10中判断为嵌合作业未结束，则重复从步骤s1-6开始的工序。
93.此外，在上述实施方式中，控制部21还可以根据特征量检测程序23e，进行在图像数据内的第一范围中检测第二特征量的宽范围检测处理，之后在得到的图像数据内的第二范围中进行窄范围检测处理。窄范围检测处理是在比第一范围窄的第二范围中检测第二特征量的处理。
94.例如，在第一特征量与第二特征量的差异较大时进行宽范围检测处理，若第一特征量与第二特征量的差异成为预定値以下，则进行窄范围检测处理。由此，在第一特征量与第二特征量的差异变小时，能够实现处理速度的提高、以及处理精度的提高等。
95.控制部21还可以与该处理分开或者与该处理一起，根据特征量检测程序23e，将包含在图像数据内检测到的随动对象102的区域设定为第二特征量的检测范围。例如，能够通过设定与检测到的随动对象102的轮廓相切的外接长方形并且以预定倍率放大外接长方形来设定检测范围。
96.并且，还可以根据图像数据内的随动对象102的大小(尺寸)、以及视觉传感器50与随动对象102的距离等改变倍率。例如，若视觉传感器50接近随动对象102，则图像数据内的随动对象102在图像上的移动量变大，因此使倍率变大。由此，随动对象102的位置以及姿态的检测变得有效且准确。
97.另外，如图9所示，作为工具的手30还可以安装于作为另一个机器人的作业机器人60。在该情况下，利用控制装置70控制作业机器人60的臂60a以及手30。在一个例子中，控制装置70具有与控制装置20相同的结构，臂60a也具有与臂10a相同的结构。
98.视觉传感器50的坐标系的位置以及方向与机器人60的坐标系的位置以及方向在控制装置70内相关联。在控制部21使视觉传感器50追随随动对象102的状态下，控制装置70在机器人60的坐标系中使机器人60动作。由于机器人60的坐标系的位置以及姿态根据视觉传感器50的坐标系的位置以及姿态发生变化，因此控制装置70能够使用根据机器人60的坐标系而设定的动作程序23b进行作业。
99.即使在该情况下，如上所述，在控制装置20使视觉传感器50的位置以及姿态追随
随动对象102时，也能够根据该移动指令的信息、以及第二检测量与第一检测量的差异的信息等，使机器人60的坐标系的位置以及姿态追随作业对象部101。因此，在机器人60根据动作程序23b进行将部件110的轴111a与物品100的孔101a嵌合的作业时，机器人60的手30追随物品100。
100.还可以控制装置20以及控制装置70与生产管理系统等上一级控制系统连接，并经由上一级控制系统进行控制装置20与控制装置70之间的信息的交接。
101.还能够利用如下机器人代替机器人60，该机器人具备：轨道，其沿着搬运装置2设置于搬运装置2的上方；以及可动臂，其可移动地安装于轨道。在该情况下，在可动臂的前端部安装有视觉传感器50，可动臂能够使其前端部以及视觉传感器50的姿态例如围绕x轴以及围绕y轴改变。
102.优选可动臂能够使其前端部以及视觉传感器50的位置在y轴方向上移动，但还可以是可动臂不能使其前端部以及视觉传感器50的位置在y轴方向上自由移动。
103.即使在该情况下，也能够使安装于可动臂的视觉传感器50的位置以及姿态追随随动对象102。
104.即使在可动臂的前端部不沿y轴方向自由移动的情况下，也能够根据第二特征量与第一特征量的差异，使安装于可动臂的视觉传感器50的x轴方向的位置、以及围绕x轴以及y轴的姿态追随随动对象102。若能够进行该追随，则即使存在在图像数据中随动对象102沿y轴方向移动的情况，也能够检测其移动量，得到与上述相同的作用效果。
105.另外，作为第二特征量，还可以追加检测随动对象102的形状等。在该情况下，在存储部23中存储与随动对象102的形状等有关的第一特征量。由于随动对象102的形状与臂10a和随动对象102的距离、角度对应地发生变化，因此使得更准确地进行随动控制。
106.另外，还能够使用多个视觉传感器50，使多个视觉传感器50分别追随多个随动对象102。在该情况下，在随动对象102配置于由多个视觉传感器50得到的多个图像数据中的各个预定位置时，也能够判断为安装于臂10a的手30相对于物品100的作业对象部101配置于预定的位置以及姿态。
107.如此，本实施方式的机器人10具备：至少一个视觉传感器50，其安装于臂10a；以及存储部23，其存储第一特征量作为用于使设置于臂10a的视觉传感器50追随随动对象102的目标数据。并且，在本实施方式中，使用由视觉传感器50得到的图像检测与随动对象102的当前的至少位置以及姿态有关的第二特征量。
108.并且，根据第二特征量与第一特征量的差异计算臂10a的移动指令。另外，在使视觉传感器50追随随动对象102的期间，重复进行移动指令的计算以及基于移动指令的臂的移动。因此，能够使手30相对于由搬运装置2搬运的物品100的相对位置以及相对姿态逐渐接近目标数据。这对于使机器人10的臂10a的动作准确地跟随由搬运装置2搬运的物品100是有用的。
109.另外，在本实施方式中，作为第一特征量，具有随动对象102的模型。在物品100的特征部为随动对象102的情况下，控制部21通过进行由视觉传感器50得到的图像数据中的特征部与射影转换后的模型的匹配检索，能够得到图像数据中的特征部的位置以及姿态(第二特征量)。
110.该结构对于使视觉传感器50相对于由搬运装置2搬运的物品100的随动对象102的
相对位置以及相对姿态准确地接近目标数据是有用的。特征部还可以是设置于物品100的表面的图形。
111.另外，在本实施方式中，至少利用前馈控制调整移动指令。在该结构中，通过前馈控制进行考虑了由搬运装置2搬运的物品100的移动倾向等的控制，这对使视觉传感器50相对于物品100的随动对象102的相对位置以及相对姿态快速且准确地接近目标数据是有用的。
112.另外，在本实施方式中，在进行第二特征量的检测之前，控制部21使用由视觉传感器50或其他传感器40得到的数据，计算用于使随动对象102进入视觉传感器50的检测范围内的作业前移动指令。因此，在进行臂10a的随动控制之前，视觉传感器50在短时间内配置于随动所需的位置。
113.另外，本实施方式的作业机器人系统具备搬运装置2和机器人10，在设置于机器人10的视觉传感器50追随随动对象102的状态下，机器人10对物品100进行预定作业。或者，本实施方式的作业机器人系统使用使设置于机器人10的视觉传感器50追随随动对象102的移动指令的信息或者用于移动指令的计算的信息的同时，作业机器人60对物品100进行预定作业。
114.在使用作业机器人60的情况下，能够在远离视觉传感器50的场所对物品100进行预定作业。还可以多个作业机器人60使用上述的信息对物品100进行预定作业。
115.另外，本实施方式的作业机器人系统还具备力传感器32。力传感器32检测通过由机器人10支撑的部件110或者手30与物品100接触而产生的力、或者通过由作业机器人60支撑的部件110或者手30与物品100接触而产生的力。
116.另外，机器人10或者作业机器人60的控制装置20、70在进行预定作业时，还在使用力传感器32的检测值的同时，使设置于机器人10或者作业机器人60的手30追随物品100。
117.由于将力传感器32的检测值也用于随动控制，因此能够进一步提高随动控制的精度。其中，有时难以将手30相对于物品100的相对姿态与力传感器32的检测值相对应，但由于在本实施方式中该相对姿态被修正，因此有效提高了随动控制的精度。
118.另外，在本实施方式的作业机器人系统中，在第二特征量超过预定基准而进行变动时，进行预定作业的机器人10或者作业机器人60的控制装置20、70以及搬运装置2中的至少一个进行异常应对工作。由此，能够有效地防止进行随动控制时的机器人10、60、物品100、以及部件110的损坏。
119.另外，在本实施方式的作业机器人系统中，随动对象102是物品100的一部分。在该结构中，物品100中随动对象102的位置被固定，这对进一步提高随动控制的精度是有用的。
120.另外，还可以加工工具支撑于机器人10或者作业机器人60的前端部，机器人10或者作业机器人60对由搬运装置2搬运的物品100进行加工作为预定作业。在该情况下，加工工具是钻头、铣刀、钻孔攻螺纹复合刀具、去飞边工具、其他工具等。
121.即使在该情况下，通过在步骤s1-2中加工工具接近作业对象部101，进行上述的随动控制，根据加工工具与作业对象部101的接触进行力控制等，也能够达到与上述相同的效果。另外，加工工具还可以是焊枪、焊矩等。
122.另外，作为搬运装置2，还可以使用沿着曲线的路线搬运物品100的搬运装置，也可以使用沿着曲折的路线搬运物品100的搬运装置。即使在这些情况下，控制部21也能够使用
视觉传感器50的检测结果，使机器人10或者作业机器人60的前端部追随作业对象部101。
123.另外，在步骤s1-6中作业对象部101相对于机器人10的位置超过预定基准而进行变动时，在步骤s1-7中控制部21能够进行第一异常应对工作。因此，即使在使用搬运装置的情况下，也能够达到与上述相同的效果。
124.另外，代替搬运装置2，还可以是其他机器人、agv(automated guided vehicle)使物品100移动。即使在该情况下，也能够达到与上述相同的作用效果。而且，在物品100是汽车、汽车的框架等的情况下，进行预定作业的物品100还可以利用其发动机、车轮等进行移动。在这些情况下，其他机器人、发动机、车轮等作为搬运装置发挥作用。
125.另外，代替搬运装置2，还可以利用物品100通过重力而滑落、滚落、或者落下的滑槽来搬运物品100。在该情况下，利用励振装置使倾斜的滑槽振动，由此还能够使滑槽上的物品100的移动顺利。在这些情况下，滑槽、励振装置等作为搬运装置发挥作用，利用滑槽进行移动的物品100被安装于机器人10的工具取出。
126.在本实施方式中，力传感器32安装于机器人10或者作业机器人60的前端部。另一方面，在搬运装置2与物品100之间、物品100的内部等，也可以配置力传感器32。即使在该情况下，也能够根据力传感器32的检测值进行力控制，达到与上述相同的效果。
127.另外，视觉传感器50还可以安装于机器人10或者作业机器人60的手腕凸缘以外的部分。
128.此外，视觉传感器50还可以是立体照相机。在该情况下，能够利用一对照相机得到随动对象102的距离图像数据，并且利用该图像数据和对应的立体的模型确定随动对象102的位置以及姿态。
129.在本实施方式中视觉传感器50追随的对象与机器人10的作业对象不同，但也可以视觉传感器50追随的对象与机器人10的作业对象相同。例如，在允许作为机器人10的工具的手30与作业对象的存在若干的位置偏移的情况下、以及在从视觉传感器50始终看得到利用作为工具的手30进行作业时所追随的对象的情况下等，能够将所追随的对象与作业对象设置为同一个。
130.此外，在上述的实施方式中，在视觉传感器50的图像数据上将随动对象102的位置、姿态、以及尺寸配置于目标位置，由此将作为工具的手30的位置以及姿态配置于对物品100进行预定作业所需的位置以及姿态。与此相对，还可以在视觉传感器50的图像数据上将随动对象102的位置以及姿态配置于目标位置，由此将安装于机器人10的工具的位置以及姿态配置于预定作业所需的位置以及姿态。
131.例如，在激光焊接、激光加工、密封剂涂敷等工具与物品100的距离几乎不变化的作业的情况下、以及在即使工具与物品100的距离发生变化也能够进行的作业的情况下等，还可以不使用作为第一特征量的尺寸的信息以及作为第二特征量的尺寸的信息。
132.另外，在本实施方式中，举例说明了计算随动对象102在机器人坐标系中的轨迹，但还可以仅计算随动对象102在机器人坐标系中的特定动作(例如，停止动作、或者从停止状态重新开始的动作)的经过时间作为特定动作的时间常数。
133.在该情况下，如图10所示，在步骤s12中在控制装置20中获取到紧急停止信号后，将获取到紧急停止信号的时刻作为特定动作开始时刻存储到存储部23中。(步骤s31)然后，在步骤s14中位置的变化成为预定阈值以下的情况下，将随动对象102停止的时刻作为特定
动作停止时刻存储到存储部23中(步骤s32。)
134.接着，作为所存储的特定动作开始时刻与特定动作停止时刻的差分而计算经过时间(步骤s33)，并将计算出的经过时间作为时间常数，与能够确定随动对象102的各特定动作的信号相对应地存储到存储部23中(步骤s34)。
135.另外，通过根据由视觉传感器50获取到的图像数据检测随动对象102的位置以及姿态来判别特定动作结束(例如，在完全停止、或者从停止状态重新开始动作后，成为一定速度的情况)，但取而代之，还可以在特定动作停止的情况下，作业人员不使用视觉传感器50而通过目视的方式判别随动对象102的停止，并使用停表等计测装置计测经过时间。
136.另外，在能够根据搬运装置2的变换器的设定确定时间常数的情况下，还可以直接使用根据设定而确定的时间常数。
137.下面，对在如此计算出的经过时间作为时间常数存储的状态下进行的时间常数的微调方法进行说明。如图11所示，在使机器人10进行工作的状态下，使随动对象102发生特定动作(步骤s40)。若开始特定动作，则在控制装置20中，在获取到能够确定特定动作的特定信号后(步骤s41)，将获取到特定信号的时刻作为特定动作开始时刻存储到存储部23中(步骤s42)，并从存储部23读出由控制装置20设定的时间常数(步骤s43)，按照设定的时间常数开始进行前馈控制(步骤s44)。
138.然后，将随动对象102的最大位置偏移量的初始值设定为0(步骤s45)。之后，利用机器人10的臂10a所具备的视觉传感器50获取包含随动对象102的图像(步骤s46)，对获取到的图像进行处理并随动对象102在检测图像上的位置(步骤s47)。
139.在该状态下，判定检测到的随动对象102的位置偏移量的绝对值是否大于所存储的最大位置偏移量的绝对值(步骤s48)，若随动对象102的位置偏移量的绝对值大于最大位置偏移量的绝对值，则更新最大位置偏移量并存储到存储部23中(步骤s49)。
140.在随动对象102的位置偏移量的绝对值为最大位置偏移量的绝对值以下的情况下、并且最大位置偏移量被更新后，判定是否经过比设定的时间常数更长的时间，并且位置偏移的变化量(随动对象102在机器人坐标系中的上一次的检测位置与本次的检测位置的差分)是否成为固定(步骤s50)。在未经过比设定的时间常数更长的时间、或者位置偏移的变化量不固定的情况下，重复从步骤s47开始的工序。
141.例如，在特定动作停止的情况下，由于随动对象102以及机器人10停止，因此位置偏移的变化量成为0。另外，在特定动作从停止重新开始的情况下，随动对象102以及机器人10成为固定速度，若速度相同，则位置偏移的变化量成为0，若存在速度差，则位置偏移的变化量的时间变化量成为不为0的固定值。
142.在经过比设定的时间常数更长的时间，且位置偏移的变化量的时间变化量成为固定值后，判定最大位置偏移量的绝对值是否成为大于预定阈值(步骤s51)。
143.接着，在最大位置偏移量的绝对值为预定阈值以下的情况下，根据最大位置偏移量的符号决定增加还是减少时间常数，并将与最大位置偏移量的绝对值对应的量加减于时间常数，从而更新存储部23中存储的前馈控制的时间常数(步骤s52)。其中，还可以例如根据如下公式(1)，计算与最大位置偏移量的绝对值对应的增减量δt。
144.δt＝d/v
ꢀꢀꢀ
(1)
145.其中，d为最大位置偏移量，v为随动对象102的固定速度。
146.并且，在步骤s51中，从步骤s40开始重复工序，直至最大位置偏移量的绝对值成为预定阈值以下为止，若最大位置偏移量的绝对值成为预定阈值以下，则结束处理。
147.另外，举例说明了随动对象102从获取到能够确定特定动作的特定信号的时刻开始立刻加速或者减速从而执行特定动作，但取而代之，还可以从获取到特定信号的时刻开始隔开预定的时间间隔使随动对象102进行与特定信号对应的加速或减速。在该情况下，作为预定的时间间隔，设定任意的时间。
148.另外，在本实施方式中，通过上述方法获取到的前馈控制的输入值，还可以用于对与搬运物品100的搬运装置2相同的搬运装置(作为物体为同一的搬运装置、或者规格以及设定相同的其他搬运装置)进行作业的其他机器人。
149.另外，在本实施方式中，如图12所示，多个控制装置20还可以与上一级控制系统100连接。上一级控制系统100例如是与多个控制装置20有线连接的计算机、与多个控制装置20配置于同一用地内的计算机等。上一级控制系统100有时还称为雾计算机。上一级控制系统100还可以是生产管理系统、发货管理系统、机器人用管理系统、部门管理系统等。
150.多个上一级控制系统100还可以与其他上一级控制系统200等连接。其他上一级控制系统200例如是与多个上一级控制系统100有线或者无线连接的云服务器。由多个控制装置20和上一级控制系统100形成例如管理系统。
151.上一级控制系统100分别具备：控制部，其具有处理器等；显示装置；存储部，其具有非易失性存储器、rom、ram等；以及键盘、触摸面板、操作盘等输入装置等。
152.如图13所示，这种系统例如还可以包含多个边缘计算机8、多个上一级控制系统100、以及单个或者多个其他上一级控制系统200。在这种系统中，控制装置20以及机器人10可以是边缘计算机。控制装置20以及机器人10的一部分还可以是上一级控制系统。这种系统具备有线或者无线的网络。
153.附图标记说明：
154.10：机器人(随动机器人)
155.10a：臂
156.23：存储部(特征量存储部、输入值存储部)
157.23c：随动控制程序(移动指令单元)
158.23e：特征量检测程序(特征量检测单元)
159.23f：移动量计算程序(移动量计算单元)
160.50：视觉传感器
161.102：随动对象