基于视力融合的机械臂操作铰接物体的方法与流程

1.本发明属于机器人智能控制领域，具体涉及一种基于视力融合的机械臂操作铰接物体的方法。


背景技术：

2.互联网和信息化的迅速发展推动了机器人技术的发展，机器人逐渐在各行各业崭露头角，帮助人们完成各式各样的复杂任务。在工业中，机械臂是应用最为广泛的一种工业机器人。机械臂也叫机械手和机械手臂，顾名思义，机械臂有着与人类手臂类似的机械结构，常见的机械臂拥有四个或六个关节。机械臂由三大核心部件组成，分别是电机、减速器与系统，通过系统的示教器来进行编程，使电机传动减速器执行指定的轨迹，完成相应的任务，整个控制过程都由系统统一控制和反馈。机械臂由于其操作的灵活性，可以完成诸如搬运东西、加工产品、设备配套、喷涂油漆、焊接产品、组装打磨等应用。机械臂的优势在于，它不仅可以不厌其烦地完成指定好的各种加工任务，不会感到厌倦或是疲惫，而且，机械臂可以高精度地完成指定的工作，保证了在大规模生产中，产品的质量与性能。
3.对于机器人来说，要想能够自适应地在不断变化的场景中稳定运行，就需要感知外部环境，获取目标、障碍物等各类信息，根据信息来完成下一步的决策。感知外部信息，就需要各类传感器的帮助。传感器是用于采集各类信息并转换为特定信号的器件，目前常用在机械臂上的传感器有视觉传感器(摄像头、激光雷达)、力觉传感器、触觉传感器等。这些传感器就像人类的眼睛、皮肤，使得机械臂能够像人一样自主地完成各类任务。
4.近年来，随着视觉算法的不断发展，计算机已经可以根据已有的图片，对其进行图像分类、目标检测、语义分割和实例分割，对于三维场景来说，可以在复杂场景下将各种物体进行分类，并估计其位姿。借助这些算法，计算机可以控制机械臂主机，使其完成对目标物体的抓取，摆放，或者抓取工具进行简单的任务操作。不过，上述内容都是针对单个物体作为整体来操作的，事实上，除了这些类似于物块、工具等作为整体使用的单个物体，现实生活还中有许多物体是由多个部分组成，并通过铰接的方式连接，操作各个部分会带来不同的效果，这类物体也被称为铰接物体。常见的铰接物体有门、纸箱、窗户、抽屉等等，对其常见的操作即为对其铰接部分沿着轴的方向进行移动，比如开门、关上箱子、推开窗户、拉开抽屉等等。如何让计算机识别这类物体，如何让机械臂自主地适应并操作这一类的物体，是目前机器人智能控制研究领域的迫切需要解决的问题。


技术实现要素：

5.鉴于上述，本发明的目的是提供一种基于视力融合的机械臂操作铰接物体的方法，借助于视力融合信息使机械臂在未知环境中自主识别铰接物体，并完成对铰接物体的操作。
6.本发明实施例提供的技术方案为：
7.一种基于视力融合的机械臂操作铰接物体的方法，包括以下步骤：
8.(1)对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿；
9.(2)利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心；
10.(3)依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿；
11.(4)依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿；
12.(5)依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。
13.优选地，步骤(1)中，通过对机械臂示教，获取机械臂试触与操作铰接物体时，机械臂末端垂直于铰接物体平面的垂直相对位姿，机械臂末端倾斜于铰接物体平面的倾斜相对位姿，其中，垂直相对位姿用于确定铰接物体的精确中心，倾斜相对位姿用于指导机械臂实现对铰接物体的操作，垂直相对位姿和倾斜相对位姿统称为第一位姿。
14.优选地，步骤(2)中，依据场景点云数据确定铰接物体的法向量与粗糙中心包括：
15.计算场景点云数据的法向量，并依据法向量对场景点云数据进行聚类后，根据聚类结果分割得到铰接物体点云数据；
16.对铰接物体点云数据进行预处理后，计算铰接物体点云数据的法向量，并对法向量求均值后作为铰接物体的法向量，对铰接物体点云数据的位置求中位数作为铰接物体的粗糙中心。
17.优选地，采用k
‑
means算法对场景点云数据进行聚类。
18.优选地，对铰接物体点云数据进行的预处理包括：点云数据的滤波、消除孤立点以及平滑。
19.优选地，步骤(3)中，利用先验知识，获得铰接物体平面视觉传感器坐标系下的y轴方向，同时将铰接物体的法向量作为z轴方向，并以铰接物体的粗糙中心作为原点，构建物体坐标系，依据物体坐标系与平面视觉传感器坐标系的转换关系，确定铰接物体在视觉传感器坐标系下的第二位姿。
20.优选地，步骤(4)中，依据垂直相对位姿和粗糙第二位姿，进行机械臂末端对铰接物体的试触，通过力传感器判断机械臂是否接触铰接物体，从而采集机械臂末端的移动距离，依据该移动距离确定铰接物体的精确中心。
21.优选地，步骤(5)中，利用先验知识与精确第二位姿，获得铰接物体转动轴的相应位姿，依据第一位姿与倾斜相对位姿，使机械臂到达操作铰接物体的位姿，与铰接物体接触，结合相应位姿绕铰接物体的轴做弧线运动，通过力传感器判断操作是否完成，从而完成对铰接物体的操作。
22.优选地，所述视觉传感器采用rgb
‑
d摄像头。
23.实施例提供的基于视力融合的机械臂操作铰接物体的方法，具有的有益效果至少包括：
24.通过引入视觉传感器采集的点云数据确定铰接物体的法向量与粗糙中心，依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的第二位姿；然后依据第一位姿和第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物
体的精确中心；最后，依据第一位姿和铰接物体的精确中心，机械臂实现对铰接物体的操作，这样可以在机械臂与铰接物体相对位姿随机且未知的情况下，完成对铰接物体的识别与操作，且通过对不同铰接物体的提前示教，可以完成对不同型号的铰接物体的操作。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
26.图1是实施例提供的基于视力融合的机械臂操作铰接物体的方法的流程图。
具体实施方式
27.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
28.为了实现机械臂对铰接物体的准确操作，实施例提供一种基于视力融合的机械臂操作铰接物体的方法。图1是实施例提供的基于视力融合的机械臂操作铰接物体的方法的流程图，如图1所示，实施例提供的基于视力融合的机械臂操作铰接物体的方法，包括以下步骤：
29.步骤1，对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿。
30.实施例中，通过对机械臂示教，获取机械臂试触与操作铰接物体时，机械臂末端垂直于铰接物体平面的垂直相对位姿，机械臂末端倾斜于铰接物体平面的倾斜相对位姿，其中，垂直相对位姿用于确定铰接物体的精确中心，倾斜相对位姿用于指导机械臂实现对铰接物体的操作，垂直相对位姿和倾斜相对位姿统称为第一位姿。
31.以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，通过对机械臂示教，获取机械臂末端垂直于柜门平面的垂直相对位姿，命名为示教位姿1，同时获取机械臂末端倾斜于柜门平面的倾斜相对位姿，命名为示教位姿2。
32.步骤2，利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心。
33.实施例中，采用rgb
‑
d摄像头作为视觉传感器，该rgb
‑
d摄像头固定连接到机械臂上，来获取采集机械臂试触与操作铰接物体时的场景点云数据，该场景点云数据中包含铰接物体点云数据。采集的场景点云数据传输至机械臂的控制系统，控制系统依据场景点云数据确定铰接物体的法向量与粗糙中心，具体过程为：
34.首先，计算场景点云数据的法向量，并依据法向量对场景点云数据进行聚类后，根据聚类结果分割得到铰接物体点云数据。实施例中，以点云数据的法向量作为关注因子，采用k
‑
means算法对场景点云数据进行聚类。
35.然后，对铰接物体点云数据进行预处理后，计算铰接物体点云数据的法向量，并对
法向量求均值后以平均法向量作为铰接物体的法向量，对铰接物体点云数据的位置求中位数，将中位数点云的位置作为铰接物体的粗糙中心。实施例中，对铰接物体点云数据进行的预处理包括：点云数据的滤波、消除孤立点以及平滑。
36.以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，获取的场景点云数据至少包含柜子点云数据，依据聚类结果分割时，将大致形状为柜门形状的点云分割出来作为柜门点云数据，然后计算柜门点云数据的法向量的平均值作为柜门的法向量，将柜门点云数据的中位数对应的位置作为柜门的粗糙中心位置。
37.步骤3，依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿。
38.实施例中，利用先验知识，获得铰接物体平面在视觉传感器坐标系下的y轴方向，同时将铰接物体的法向量作为z轴方向，并以铰接物体的粗糙中心作为原点，构建物体坐标系，依据物体坐标系与平面视觉传感器坐标系的转换关系，确定铰接物体在视觉传感器坐标系下的粗糙第二位姿。此处的先验知识是指事先准备好的信息，通过该信息获得铰接物体平面在视觉传感器坐标系下的y轴方向。
39.以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，通过在柜门上贴二维码，利用相机识别二维码的位姿，计算获得柜门平面在视觉传感器坐标系下的y轴方向；然后将铰接物体的法向量作为z轴方面，利用y轴、z轴以及柜门的粗糙中心位置，获得柜门在视觉传感器坐标系下的大致位姿，也就是上述粗糙第二位姿，具体计算过程为：
40.假设向量分别表示铰接物体的x、y、z轴方向，向量已知，则向量可由以下公式求出：
41.铰接物体的旋转矩阵r可表示为：
42.铰接物体的平移矩阵t即为粗糙中心位置，是已知的。
43.那么即可求出铰接物体的位姿h：
44.步骤4，依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿。
45.实施例中，依据垂直相对位姿和粗糙第二位姿，进行机械臂末端对铰接物体的试触，通过力传感器判断机械臂是否接触铰接物体，从而采集机械臂末端的移动距离，依据该移动距离确定铰接物体的精确中心。
46.以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，利用柜门的大致位姿，进行机械臂末端试触，首先使机械臂移动至示教位姿1，并相对于柜门平面x轴方向右移3cm，防止机械臂末端触碰柜门，接着机械臂向左移动，通过力传感器传回的数据判断机械臂末端是否接触柜门，接触柜门后，机械臂停止移动，根据机械臂末端移动的距离，获得柜门中心点的精确位置
47.步骤5，依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。
48.实施例中，利用先验知识和精确第二位姿，获得铰接物体转动轴的相应位姿，依据第一位姿与倾斜相对位姿，使机械臂到达操作铰接物体的位姿，与铰接物体接触，结合相应位姿绕铰接物体的轴做弧线运动，通过力传感器判断操作是否完成，从而完成对铰接物体的操作。此处的先验知识指铰接物体绕轴旋转的半径，已知。
49.以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，对铰接物体的操作为开启柜门，获得柜门x轴方向尺寸w，将已有的柜门的大致位姿和示教位姿2沿x轴负方向平移w/2，获得柜门转动轴的相应位姿；使机械臂到达开启柜门的位姿，绕柜门的轴做弧线运动，通过力传感器判断柜门是否已完全打开，从而完成开启柜门的操作。
50.实施例提供的基于视力融合的机械臂操作铰接物体的方法，通过实验证明，可以在机械臂与铰接物体相对位姿随机且未知的情况下，完成对铰接物体的识别与操作，且通过对不同铰接物体的提前示教，可以完成对不同型号的铰接物体的操作。
51.以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。