一种基于视觉传感的机器人柔性轴孔装配方法及装置

1.本发明属于机器人自动化装配应用领域，特别涉及一种基于视觉传感的机器人柔性轴孔装配方法及装置。


背景技术：

2.随着制造业的快速发展，对于实际环境中许多具有复杂形貌、力学特征的柔性零件(例如航空、汽车内部线缆电束、液气软管、3c电子排线等)，现有的基于力反馈的主动柔顺控制技术通过感知接触力，利用机器人运动从而主动顺应接触力变化的装配方法无法输入柔性零件的变形信息，因此难以适用。柔性轴孔装配具有高维复杂形貌与接触条件，实验表明，在大变形条件下，由于环境约束的存在，现有的柔顺控制策略输出的调姿动作难以传导至目标位置，该动作会被零件变形吸收并停留在局部区域，导致在机器人末端点附近产生局部大变形，而零部件接触区域附近的接触条件却无法得到改善。因此，实现柔性轴孔零件的精确快速装配是将机器人自动装配技术推广至工业领域中需要研究的重要问题。


技术实现要素：

3.本发明的目的是为克服已有技术的不足之处，提出一种基于视觉传感的机器人柔性轴孔装配方法及装置。本发明将主动柔顺控制推广至视觉伺服领域，应用于机器人柔性轴孔装配控制任务中，有助于工业生产环境中开展柔性零件装配工作的机器人自动化升级替代，提高生产的效率。
4.本发明第一方面实施例提出一种基于视觉传感的机器人柔性轴孔装配方法，包括：
5.通过视觉传感获取由机器人携带的柔性轴在装配过程中的变形特征信息；
6.根据所述变形特征信息，计算所述机器人调姿运动的控制角；
7.根据所述控制角，计算所述机器人基于视觉传感的装配动作；
8.将所述基于视觉传感的装配动作和预设的装配参考动作耦合叠加，得到所述机器人的装配动作。
9.在本发明的一个具体实施例中，所述视觉传感采用双目相机。
10.在本发明的一个具体实施例中，所述变形特征信息包括：
11.当前时刻的柔性轴末端点坐标p
t
＝[x
t
,y
t
,z
t
]和当前时刻的柔性轴末端的变形角其中，下标t代表第t个时刻，x
t
,y
t
,z
t
分别代表第t个时刻柔性轴末端点相对于机器人末端坐标系在x,y,z轴方向的位置坐标，分别代表第t个时刻柔性轴末端轴线方向相对于机器人末端坐标系x,y,z轴的旋转变形角。
[0012]
在本发明的一个具体实施例中，所述根据所述变形特征信息，计算所述机器人调姿运动的控制角，表达式如下：
[0013]
[0014]
其中，为第t个时刻机器人调姿运动的控制角，和为pd控制器的比例和微分系数，a
t-1
为第t-1个时刻的柔性轴末端的变形角，当t＝1时，a
t-a
t-1
＝0；为变形角期望值，分别代表调姿运动使柔性轴恢复到目标位置条件下柔性轴末端轴线方向相对于机器人末端坐标系x,y,z轴的旋转变形角。
[0015]
在本发明的一个具体实施例中，所述计算所述机器人基于视觉传感的装配动作，包括：
[0016]
将控制角转化为调姿旋转矩阵
[0017][0018]
在机器人末端坐标系下求出第t个时刻齐次矩阵形式的轴末端的期望位姿矩阵t
td_tool
：
[0019][0020]
其中，p
tt
为第t个时刻以列向量形式表达的柔性轴末端点坐标p
t
；
[0021]
求解第t个时刻机器人末端的调姿矩阵t
td_end
：
[0022][0023]
其中，i3×3为单位阵，h＝[0,0,-l
t-h]为第t个时刻机器人末端在轴末端坐标系中的理想位置，l
t
为第t个时刻柔性轴未进入孔外露部分的长度；
[0024]
将矩阵t
td_end
转换为第t个时刻基于视觉传感的装配动作其中分别为第t个时刻机器人在末端坐标系下沿x,y,z轴的平移运动值，分别为第t个时刻机器人在末端坐标系下绕x,y,z轴的旋转运动值。
[0025]
在本发明的一个具体实施例中，所述第t个时刻柔性轴未进入孔外露部分的长度计算表达式如下：
[0026][0027]
在本发明的一个具体实施例中，所述方法还包括：
[0028]
当t≥2时，对l
t
进行判定：
[0029]
若满足l
t
≤l-d，则柔性轴抵达预设的目标深度，装配完成；其中，l为柔性轴的总长度，d为装配的目标深度。
[0030]
本发明第二方面实施例提出一种基于视觉传感的机器人柔性轴孔装配装置，包括：
[0031]
变形特征提取模块，用于通过视觉传感获取由机器人携带的柔性轴在装配过程中的变形特征信息；
[0032]
控制角计算模块，用于根据所述变形特征信息，计算所述机器人调姿运动的控制角；
[0033]
视觉传感动作计算模块，用于根据所述控制角，计算所述机器人基于视觉传感的装配动作；
[0034]
机器人动作计算模块，用于将所述基于视觉传感的装配动作和预设的装配参考动作耦合叠加，得到所述机器人的装配动作。
[0035]
本发明第三方面实施例提出一种电子设备，包括：
[0036]
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
[0037]
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种基于视觉传感的机器人柔性轴孔装配方法。
[0038]
本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种基于视觉传感的机器人柔性轴孔装配方法。
[0039]
本发明的特点及有益效果在于：
[0040]
1)本发明能够建立对变形特征的信息的闭环反馈控制，形成了一种基于视觉反馈的主动柔顺控制，具有对柔性大长径比轴零件的弯曲变形进行修正的能力。本发明通过视觉检测得到的柔性轴变形特征建立调姿控制策略，控制机器人携带柔性轴进行位姿调整，使柔性轴恢复至无弯曲的顺直状态以提高对柔性轴零件装配的适应能力。
[0041]
2)本发明将主动柔顺控制推广至视觉伺服领域，本方法应用于机器人柔性轴孔装配控制任务中，有助于工业生产环境中开展柔性零件装配工作的机器人自动化升级替代，提高生产的效率。
附图说明
[0042]
图1是本发明一个具体实施例中柔性轴孔装配系统的结构示意图。
[0043]
图2是本发明一个具体实施例提出的一种基于视觉传感的机器人柔性轴孔装配方法的整体流程图。
[0044]
图3是本发明一个具体实施例中装配调姿过程中原始位置和目标调姿位置的示意图。
具体实施方式
[0045]
本发明提出一种基于视觉传感的机器人柔性轴孔装配方法及装置，下面结合具体实施例对本发明进一步详细说明如下。
[0046]
本发明第一方面实施例提出一种基于视觉传感的机器人柔性轴孔装配方法，其中，轴孔装配系统结构如图1所示，包含：机器人1、柔性轴基座2、柔性轴3(由硅胶材质制成，具有大长径比形貌特征)、待装配孔4、双目相机、工作平台和控制计算机，其中，双目相机包括右相机5和左相机6；机器人底端与工作平台固结，机器人末端与柔性轴基座固结，柔性轴起始端固结于柔性轴基座中；未装配时柔性轴末端自由悬空，此时定义柔性轴末端点为柔性轴末端平面中心点；在装配过程中柔性轴末端与待装配孔接触，定义柔性轴末端点为柔性轴与待装配孔零件表面相交产生圆形截面的中心点。双目相机固定于机器人末端，柔性
轴位于双目相机视野内，待装配孔固结在工作平台上，控制计算机通过线缆连接并控制机器人。该系统各部分均可采用常规部件。
[0047]
本发明实施例提出一种基于视觉传感和力传感的机器人柔性轴孔装配方法，该方法基于视觉传感开展调姿控制，包括：
[0048]
通过视觉传感获取由机器人携带的柔性轴在装配过程中的变形特征信息；
[0049]
根据所述变形特征信息，计算所述机器人调姿运动的控制角；
[0050]
根据所述控制角，计算所述机器人基于视觉传感的装配动作；
[0051]
将所述基于视觉传感的装配动作和预设的装配参考动作耦合叠加，得到所述机器人的装配动作。
[0052]
在本发明的一个具体实施例中，所述一种基于视觉传感和力传感的机器人柔性轴孔装配方法，整体流程如图2所示，包括以下步骤：
[0053]
1)确定柔性轴起始端与柔性轴基座固结点到机器人末端距离h；确定柔性轴的总长度l(本发明一个具体实施例中取值152mm)，直径d(本发明一个具体实施例中取值16mm)，确定装配的目标深度d(本发明一个具体实施例中为40mm)；
[0054]
2)在任一装配回合开始时，机器人将柔性轴运动到设定的初始位置(其中，每个回合的初始位置是固定的，由人为设定)，设定每个装配回合初始位置对应的时刻t＝1。
[0055]
3)在当前装配回合中，假设第t个时刻的柔性轴弯曲变形特征如图3(a)所示，通过双目相机检测第t个时刻的柔性轴变形特征信息为s
t
，本实施例中，所述变形特征信息包括第t个时刻的柔性轴末端点坐标p
t
＝[x
t
,y
t
,z
t
]和第t个时刻的柔性轴末端的变形角其中x
t
,y
t
,z
t
分别代表第t个时刻柔性轴末端点相对于机器人末端坐标系在x,y,z轴方向的位置坐标，分别代表第t个时刻柔性轴末端轴线方向相对于机器人末端坐标系x,y,z轴的旋转变形角。
[0056]
4)计算第t个时刻柔性轴未进入孔外露部分的长度l
t
；
[0057]
本实施例中l
t
取值可以利用以及x
t
,y
t
,z
t
，通过将轴近似为圆弧估算：
[0058][0059]
对l
t
进行判定：
[0060]
当t≥2时，若柔性轴外露部分长度l
t
满足l
t
≤l-d，则柔性轴抵达目标深度d，当前装配回合完成；若不满足，则进入步骤5)；
[0061]
5)计算第t个时刻机器人调姿运动的控制角为其中分别代表第t个时刻柔性轴末端轴线方向相对于机器人末端坐标系xyz轴的旋转调姿角。
[0062]
本实施例中，可以通过pd控制器根据变形角a
t
求出控制角
[0063][0064]
其中，和为pd控制器的比例和微分系数，ad为变形角期望值，a
t-1
为上一时刻(第t-1个时刻)的变形角，当t＝1时，令a
t-a
t-1
＝0。在本实施例中，建议取值范围为0.01
～0.1，本发明一个具体实施例中取值0.025；建议取值为变形角期望值其中分别代表调姿运动使柔性轴恢复到产生给定的期望变形状态下柔性轴末端轴线方向相对于机器人末端坐标系x,y,z轴的旋转变形角，在本发明一个实施例中其取值均为0。
[0065]
6)将步骤5)得到的控制角转化为调姿旋转矩阵
[0066][0067]
在机器人末端坐标系下求出第t个时刻齐次矩阵形式的轴末端的期望位姿矩阵t
td_tool
：
[0068][0069]
其中，p
tt
为第t个时刻以列向量形式表达的柔性轴末端点坐标p
t
。
[0070]
7)求解第t个时刻机器人末端的调姿矩阵t
td_end
：
[0071][0072]
其中，i3×3为单位阵，h＝[0,0,-l
t-h]为第t个时刻机器人末端在轴末端坐标系中的理想位置；
[0073][0074]
8)将齐次矩阵形式的调姿矩阵t
td_end
转换为以6维向量形式表达的第t个时刻基于视觉传感的装配动作基于视觉传感的装配动作a
tv
可以写为其中分别为第t个时刻机器人在末端坐标系下沿x,y,z轴的平移运动值，分别为第t个时刻机器人在末端坐标系下绕x,y,z轴的旋转运动值。
[0075]
本发明一个具体实施例中装配参考动作可以写为其中代表预设的柔性轴沿机器人末端坐标系z轴方向平移运动的动作值，在本发明一个实施例中取值为固定的0.2mm/步。
[0076]
9)使第t个时刻视觉传感的装配动作与装配参考动作耦合叠加，得到第t个时刻机器人装配动作a
t
：
[0077][0078]
其中，第t个时刻装配动作a
t
可以写为分别为第t个时刻机器人在末端坐标系下沿x,y,z轴的平移运动值，分别为第t个时刻机器人在末端坐标系下绕x,y,z轴的旋转运动值
[0079]
10)令机器人执行装配动作机器人携带柔性轴运动至如图3(b)所示的下一位置，使柔性轴变形减小或消除，达到调姿修正的目的，然后令t＝t 1，重新回到步骤3)。
[0080]
为实现上述实施例，本发明第二方面实施例提出一种基于视觉传感的机器人柔性轴孔装配装置，包括：
[0081]
变形特征提取模块，用于通过视觉传感获取由机器人携带的柔性轴在装配过程中的变形特征信息；
[0082]
控制角计算模块，用于根据所述变形特征信息，计算所述机器人调姿运动的控制角；
[0083]
视觉传感动作计算模块，用于根据所述控制角，计算所述机器人基于视觉传感的装配动作；
[0084]
机器人动作计算模块，用于将所述基于视觉传感的装配动作和预设的装配参考动作耦合叠加，得到所述机器人的装配动作。
[0085]
需要说明的是，前述对一种基于视觉传感的机器人柔性轴孔装配方法的实施例解释说明也适用于本实施例的一种基于视觉传感的机器人柔性轴孔装配装置，在此不再赘述。根据本发明实施例提出的一种基于视觉传感的机器人柔性轴孔装配装置，通过通过视觉传感获取由机器人携带的柔性轴在装配过程中的变形特征信息；根据所述变形特征信息，计算所述机器人调姿运动的控制角；根据所述控制角，计算所述机器人基于视觉传感的装配动作；将所述基于视觉传感的装配动作和预设的装配参考动作耦合叠加，得到所述机器人的装配动作。由此，实现通过视觉检测得到的柔性轴变形特征建立调姿控制策略，控制机器人携带柔性轴进行位姿调整，使柔性轴恢复至无弯曲的顺直状态以提高对柔性轴零件装配的适应能力。
[0086]
为实现上述实施例，本发明第三方面实施例提出一种电子设备，包括：
[0087]
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
[0088]
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种基于视觉传感的机器人柔性轴孔装配方法。
[0089]
为实现上述实施例，本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种基于视觉传感的机器人柔性轴孔装配方法。
[0090]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存
储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0091]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种基于视觉传感的机器人柔性轴孔装配方法。
[0092]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0093]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0094]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0095]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0096]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电
连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
[0097]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0098]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0099]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0100]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。