面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法与流程

1.本发明一般涉及基于机器人的柔顺装配方法，尤其涉及面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法。本发明属于机器人技术领域。


背景技术：

2.在消费电子产品的批量化生产线中，尽管大多数对精度要求不高的装配任务已经由工业机器人实现全自动化，但仍有很多精密装配和柔顺装配工作需要工人手动完成。因此，对于使工业机器人实现高精度、高速度、高柔顺度、高成功率的装配任务的研究一直受到广泛关注。
3.轴插孔装配是最典型的装配动作之一。机器人的插孔任务主要分为三个步骤：抓取、移动渐进和插装。其中前两个步骤对于操作精度的要求不高，而对于精密小巧且结构脆弱的零件来说，实现快速、柔顺的插装一直有着很高的难度。目前，常见的自动化插装方案包括被动柔顺插装、主动柔顺插装和基于辅助设备的柔顺插装。被动柔顺插装指末端执行机构自身具有一定的柔顺度，以使插头在接触孔的边缘时能够自然顺利地进入孔位。主动柔顺插装则是利用力、力矩传感器检测轴孔接触情况，再反馈给控制器，从而生成对应的调整动作。这种方法可以很大程度上改善被动柔顺插装自动化程度低、没有自我学习能力的缺点。
4.基于辅助设备的柔顺插装则是目前最为常见的研究方向。对于微小精密的数码产品零部件插装，抓取时的误差会导致插头相对于末端夹持器的位姿不固定，因此单纯的位置控制无法实现顺利的装配。常见的辅助设备包括rgb相机、深度相机、光学动作捕捉设备、惯性测量单元(imu)、触觉传感器等。这些设备为机器人的控制系统提供了更多的状态信息，或者称之为“模态”。不同类型的模态还可以被融合并加以利用，从而提供更丰富的状态信息。对于人类来说，完成“轴孔插装”需要眼、手的协同操作，因此视觉和力觉经常被同时使用。
5.然而，对于微小精密的数码产品零部件插装，抓取时的误差会导致插头相对于末端夹持器的位姿不固定，这使得单纯的末端位置伺服无法实现精确、柔顺的装配。视觉传感器极易受到视线阻挡和阴影干扰，而安装于机械臂末端的六维力
‑
力矩传感器所提供的信息较为粗糙，并且无法获得插头与夹持器之间丰富的接触信息反馈(这一点在人类完成插装操作的过程中至关重要)。实际中的轴孔装配很多是由弹簧卡扣固定，这使得插装力需要根据插头是否接触到卡扣的阻尼点来灵活调节。为了分辨插装时的阻力是来自于孔内壁还是阻尼点，需要使用信息更为精细的传感器。因此安装于机器人指尖的触觉传感器能够对整个插装过程起到更重要的作用。


技术实现要素：

6.本发明提供一种基于机器人的柔顺装配方法，旨在至少解决现有技术中存在的技术问题之一。
7.本发明的技术方案涉及一种基于机器人触觉反馈的柔顺装配方法，用于卡扣式轴孔装配，其特征在于，在所述机器人末端的夹持执行器上设有触觉传感器，
8.所述方法包括以下步骤：
9.s10、提供多个神经网络模型，所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据；
10.s20、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过触觉传感器实时采集与所述装配区域对应的触觉数据，并且执行压缩和/或滤波处理，以转换成相应的触觉数据表征向量；
11.s30、将所述触觉数据表征向量与所述机器人的力矩反馈数据融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
12.s40、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点；
13.s50、根据所述夹持执行器是否运到装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
14.进一步，所述夹持执行器的装配区域被视觉设备拍摄，
15.所述步骤s10还包括提供强化学习网络模型，其中的训练数据包含来自所述视觉设备的视觉数据；
16.所述步骤s20还包括通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备实时采集与所述装配区域对应的视觉数据，并且执行压缩和/或滤波处理，以转换成相应的视觉数据表征向量。
17.其中，所述视觉数据包括rgb图像数据和深度图像数据。
18.进一步，所述步骤s20包括，
19.s21、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法得到机器人沿装配动作方向的触觉流数据；
20.s22、所述触觉流数据通过因果卷积降低的维度为25个触觉检测点乘以2个触觉检测点得到处理后的触觉数据；
21.s23、提供变分自编码器，分别多次输入视觉数据到所述变分自编码器进行训练，分别输出所述视觉数据表征向量，所述视觉数据表征向量的维度为16乘以1。
22.进一步，所述步骤s20包括，
23.将步骤s23中的所述视觉数据表征向量和步骤s22中处理后的所述触觉数据输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点。
24.进一步，所述步骤s10还包括：
25.s11、当所述夹持执行器运到装配阻尼节点前，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为m牛；当所述夹持执行器运到装配阻尼节点后，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节
点方向的装配力度为n牛；
26.s12、将所述动作反馈数据和力矩反馈数据向机器人控制器输入，机器人控制器输出的动作反馈增益及力矩反馈增益，计算出机器人下一个装配运动节点的装配力度，
27.其中，所述n＞m。
28.进一步，所述步骤s10还包括：
29.s13、当所述夹持执行器运到装配阻尼节点前至装配阻尼节点之间的路径分为50个动作步，每个动作步设置多个数据采集点，每个所述数据采集点采集一次视觉数据及触觉数据。
30.进一步，所述步骤s40还包括，
31.s14、当所述夹持执行器移动50个动作步未到装配阻尼节点时，所述机器人控制器带动所述夹持执行器到装配初始点复位，重新开始装配动作。
32.进一步，所述步骤s10还包括：
33.s15、所述动作步分成10段，共计设置11个数据采集点。
34.进一步，所述机器人的活动关节的扭矩通过以下雅可比矩阵求解：
[0035][0036]
其中，k
p
和k
v
分别是比例微分控制参数，k
fp
和k
fi
分别是比例积分控制参数，s为机器人的活动关节与扭矩关联之间的关联性判别矩阵；
[0037]
其中，所述机器人控制器对所述夹持执行器以比例微分控制算法实施位置控制，并且所述机器人控制器对所述夹持执行器以比例积分控制算法实施力控制。
[0038]
本发明的技术方案还涉及一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。
[0039]
本发明的有益效果如下。
[0040]
1、本发明中的夹持执行器配合触觉传感器，系统中利通过因果卷积网络将触觉流降维，再与视觉设备收集的两种图像的表征向量通过张量融合网络模型融合，再将所得到的三维张量展平并输入由多层感知机组成的阻尼点预测器中，迅速判断装配件是否到达插口中的卡扣阻尼点。
[0041]
2、结合该系统使用力/位混合控制方法来控制机器人的运动，即把沿插头与插口装配的方向的运动解耦并采用力控制，机器人的五个自由度的运动采用位置控制，在插头到达卡扣阻尼点之前，机器人带动夹持执行器沿z轴装配力度为m牛；在插头到达阻尼点之后，机器人带动夹持执行器装配力度为增大至n牛。对于位置控制的多个个维度，该系统的反馈增益较大来保证精度；而对于力控制的1个维度，该系统的反馈增益较小，从而保证部件装配的柔顺性。
附图说明
[0042]
图1是根据本发明方法的流程框架图。
[0043]
图2是根据本发明方法中的机器人运动控制部分的细节框图。
[0044]
图3是根据本发明实施例中的夹持执行器的布置示意图。
[0045]
图4是根据本发明实施例中的机器人和装配控制系统的硬件平台。
[0046]
图5及图6是根据本发明方法中的强化学习结果的曲线示意图。
具体实施方式
[0047]
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
[0048]
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
[0049]
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
[0050]
参照图1至5，在一些实施例中，根据本发明的一种基于机器人的装配控制方法，其中，用于卡扣式轴孔装配，在所述机器人末端的夹持执行器1上设有触觉传感器2。
[0051]
参照图3所示，在本发明的典型装配应用实例中，根据本发明的装配系统能够满足卡扣形式的插孔装配。在优选的实施例中，触觉传感器2可以选用5
×
5的点阵式压感触觉传感器。为了更好的测量被夹持零部件4在外力作用下的“预滑移”，可以在夹持执行器1的指尖和触觉传感器2之间间隔了一个由软胶制成的软胶垫3(约5mm厚)，并在触觉传感器的另一侧(即与被夹持零部件4接触一侧)贴敷了一层橡皮膜。参照图4，视觉设备可以采用rgb
‑
d相机，能同时输出rgb图片和深度图片数据。机器人采用串联式多关节机器人，其在末端安装所述夹持执行器1。计算机装置可以独立于机器人控制器，也可以整合到机器人控制器，以执行根据本发明的方法。
[0052]
参照图1及图2，在一些实施例中，根据本发明的方法包括以下步骤：
[0053]
s10、提供多个神经网络模型，所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据；
[0054]
s20、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过触觉传感器实时采集与所述装配区域对应的触觉数据，并且执行压缩和/或滤波处理，以转换成相应的触觉数据表征向量；
[0055]
s30、将所述触觉数据表征向量与所述机器人的力矩反馈数据融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
[0056]
s40、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述
夹持执行器是否运到装配阻尼节点；
[0057]
s50、根据所述夹持执行器是否运到装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
[0058]
其中，所述视觉数据包括rgb图像数据和深度图像数据。
[0059]
下面，通过具体的3c部件的装配实例来描述上述步骤的具体实施例。在这些实例中，将usb
‑
c充电线插头插装在插口的装配过程：夹持执行器2夹持usb
‑
c充电线插头，usb
‑
c插口被固定，触觉传感器收集夹持执行器2夹持usb
‑
c充电线插头的压力触觉数据，视觉设备收集usb
‑
c充电线插头(下称插头)及usb
‑
c插口(下称插口)的视觉数据。
[0060]
对于步骤s10的具体实施方式
[0061]
训练数据包含来自视觉设备的视觉数据，该实施例的视觉设备为相机，该相机获取插头及插口的视觉数据图片，即是插头与插口的共在的rgb图像数据及深度图像数据。结合图1结合图3所示，来自所述触觉传感器的触觉数据，该实施例为5
×
5的点阵式压感触觉传感器，收集夹持执行器夹持插头的压力触觉数据。
[0062]
步骤s10还具体包括以下步骤：读取机器人末端的实时六维笛卡尔空间位姿，并输入强化学习网络模型对其进行训练，同时采集装配区域在每个装配动作步的rgb图片、深度图片和触觉数据。实施例的机器人末端的夹持执行器的实时笛卡尔空间位姿作为状态输入，插头及插口的共在的rgb图像数据、深度图像数据及夹持插头的压力触觉数据在多个动作位置被收集后，输入强化学习网络模型对其进行训练。当夹持执行器与装配终点的距离越近时、或夹持执行器插入装配零件中的深度越深时，所述强化学习网络模型的奖励函数相应增加。实施例中强化学习网络模型的奖励函数根据插头与插口的接近程度、插头插入插口的深度的增加而相应增加。
[0063]
步骤s10中，结合机器人平台的强化学习网络模型训练过程还包括以下步骤：
[0064]
s11、当所述夹持执行器运到装配阻尼节点前，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为m牛；当所述夹持执行器运到装配阻尼节点后，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为n牛，其中，n＞m。
[0065]
s12、将所述动作反馈数据和力矩反馈数据向机器人控制器输入，机器人控制器输出的动作反馈增益及力矩反馈增益，计算出机器人下一个装配运动节点的装配力度。
[0066]
如图2，结合上述实施例，采用力/位混合控制方法来控制机器人的运动，即把沿插头与插口装配的方向(即图3和图4中的竖直方向或z轴方向)的运动解耦并采用力控制，机器人的五个自由度(x,y,r,p,y)的运动采用位置控制。在插头到达卡扣阻尼点之前，机器人带动夹持执行器沿z轴装配力度为m＝2牛；在插头到达阻尼点之后，机器人带动夹持执行器沿z轴装配力度为增大至n＝12牛。对于位置控制的5个维度，该系统的反馈增益较大来保证精度；而对于力控制的1个维度，该系统的反馈增益较小，从而保证部件装配的柔顺性。
[0067]
s13、当所述夹持执行器运到装配阻尼节点前至装配阻尼节点之间的路径分为50个动作步，每个动作步设置多个数据采集点，每个所述数据采集点采集一次视觉数据及触觉数据。
[0068]
s14、当所述夹持执行器移动50个动作步未到装配阻尼节点时，所述机器人控制器
带动所述夹持执行器到装配初始点复位，重新开始装配动作。
[0069]
s15、所述动作步分成10段，共计设置11个数据采集点。
[0070]
结合上述实施例，针对步骤s13至s15，机器人的一次完整的插口试验称为一个“回合”，每个回合由不超过50个“动作步”组成。如果机器人走满50个动作步依然没有完成插孔任务，即判定失败并复位至初始点。每个动作步又分成10段，共计11个“路点”。机器人带动夹持执行器将依次走过这些路点以完成一个动作步。对于插头及插口的rgb图像和深度图像，每个动作步采集一次数据；对于触觉数据，每个路点采集一次数据。
[0071]
具体地，夹持执行器每个装配动作步中的rgb图像数据及深度图像数据作以下处理：
[0072]
对于所述夹持执行器每个装配动作步中最后一个路点，将所述rgb图像数据裁剪成128像素
×
128像素，并处理为灰度图。随后通过rgb图片编码器压缩输出rgb表征向量。
[0073]
对于所述夹持执行器每个装配动作步中最后一个路点，将所述深度图像数据裁剪成128像素
×
128像素，并归一化处理。随后通过深度图片编码器压缩输出深度表征向量。
[0074]
如图1，结合上述实施例，插头及插口通过相机输出的rgb图片和深度图片围绕装配区域裁剪成128
×
128的尺寸，并将rgb图像转换成灰度图，以减少数据量和处理时间。
[0075]
对于步骤s20的具体实施方式
[0076]
在一个实施例中，夹持执行器携带插头位于插口正上方约1mm处，取该点为装配初始点,机器人通过本身的系统(比如ros系统)读取夹持执行器在这一初始点的笛卡尔空间六维位姿向量。
[0077]
步骤s20还具体包括以下步骤：
[0078]
s21、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法(farneback方法)得到机器人沿装配动作方向的触觉流数据。如图1，结合上述实施例，利用卡尔曼滤波器将收集到的触觉信息滤波，并类比光流法，使用farneback方法计算每个动作步中夹持执行器x,y方向上的触觉流(维度为25(5
×
5个检测点)
×
2(x、y轴两个方向)
×
10(每两个连续路点的触觉信息计算出一个触觉流信息)。
[0079]
s22、所述触觉流数据通过因果卷积降低的维度为25个触觉检测点乘以2个触觉检测点得到处理后的触觉数据。
[0080]
s23、提供变分自编码器，分别多次输入已处理的灰度图、已处理的深度图片到所述变分自编码器进行训练，分别输出rgb表征向量的维度为16
×
1、输出深度表征向量的维度为16
×
1。结合上述实施例，插头及插口装配的灰度图及深度图，采用变分自编码器(vae)训练这两种图片，从而将图片编码压缩成16
×
1的“表征向量”，并保证其中涵盖了原始图像的绝大部分信息。
[0081]
对于步骤s30和s40的具体实施方式
[0082]
将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点。
[0083]
更加具体地，对于每个动作步，通过因果卷积网络将触觉流降维至(即维度25
×
2)的尺寸，再与步骤s20中两种图像的表征向量(即两个16
×
1的向量)通过张量融合网络模型(tfn)融合(即对每个模态向量的末端添加元素“1”后进行克罗内克积，所得到的结果将同
时包含这三种模态的单一信息和任意组合信息)，再将所得到的三维张量展平并输入由多层感知机组成的阻尼点预测器中，用于预测插头是否到达插口中的卡扣阻尼点。
[0084]
结合上述实施例，插头及出口提取出每个动作步中最后一个路点的5动作检测点
×
5动作检测点的触觉数据，将其利用高斯卷积降维(即维度为9
×
1)，与两种图像的表征向量直接拼接融合(即维度为16 16 9)，将得到的表征向量(即维度为41
×
1)重新输入到强化学习网络，并生成夹持执行器的动作值(五个动作方向x,y,r,p,y)。在一些实施例中，如图4所示的机器人的6个活动关节的扭矩通过以下雅可比矩阵求解：
[0085][0086]
其中，k
p
，k
v
，k
fp
和k
fi
分别是比例微分(pd)和比例积分(pi)的控制参数，s为判别矩阵s＝diags＝diag(1,1,0,1,1,1)，即位控维度对应的值为1，力控维度对应的值为0。
[0087]
所述机器人控制器通过pd控制算法实施位置控制；所述机器人控制器通过pi控制算法实施力控制。
[0088]
参照图5和图6所示的据本发明方法中的强化学习结果的曲线示意图，采用融合了rgb图像数据 深度图像数据 f/t力传感器数据 机器人力矩反馈数据所训练的网络模型，随着所测试的回合(episode)数更多的时候，能获得的报酬(reward)更多(即是成功完成预期装配效果的次数更多)，并且装配操作的动作步(step)较少。即是说，融合视、触觉和强化学习网络模型所实现的装配方法，能达到更优的机器人精密装配效果。
[0089]
最终结果显示，依靠视觉和触觉融合的机器人usb
‑
c插接成功率最高达到了99％，证明了根据本发明的装配方法的有效性。
[0090]
并且其中，与所述基于机器人的装配控制系统连接的计算机装置，所述计算机装置包括根据上述的基于机器人的装配控制方法计算机可读存储介质。应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0091]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0092]
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此
外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。
[0093]
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
[0094]
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。