复杂光照条件下基于视触融合的机械臂自主移动抓取方法与流程

1.本发明属于机器人控制技术领域，具体涉及复杂光照条件下基于视触融合的机械臂自主移动抓取方法。


背景技术：

2.近年来，随着传感器技术、导航技术及深度学习技术的快速发展，机器人技术也取得了长足的进步，其中移动机械臂技术也逐渐广泛应用在自动巡检、农业采摘、仓储分拣等领域。移动机械臂具有自主导航、自主作业能力，相比传统的工业机械臂有更高的灵活性和机动性，能在复杂环境中代替人类自主完成一定的任务。
3.在相关技术中，难点往往在于目标物体的识别与定位；近几年深度学习得到了快速的发展，涌现出越来越多轻量级、鲁棒性强、分类性能优秀的网络模型。一般在拥有足够的训练样本的情况下，容易获得满足作业要求的网络结构，但是性能依旧会受到使用场景的环境影响，尤其是光照条件。而在后续的作业中，场景环境变化可能较大，同时需要较为精准的目标物体定位，以便进行进一步的操作，如抓取目标物体、旋转开关、分合闸刀等。因此如何复杂光照条件下准确获得目标物体的实际空间位置进行精准操作是一个亟需解决的任务。
4.另外常见的移动抓取方案均主要利用视觉信息，缺少对环境接触信息的有效利用；区别于视觉信息，触觉信息不受光照等条件影响，同时触觉信息等是对视觉的补充，能反映机器人与外界环境的交互情况；而随着传感器技术的发展，越来越多精密的触觉传感器、六维力传感器等得到了广泛的应用；通过这些传感器信息能有效对目标物体的刚度、形状、重量等进行有效判断，如何利用这些信息帮助机械臂更加友好、柔顺地与目标物体进行交互亦是一个具有挑战的任务。


技术实现要素：

5.为解决上述问题，本发明公开了一种复杂光照条件下基于视触融合的机械臂自主移动抓取方法，解决了现有技术不能获取目标物体精确三维空间位置，从而实现精准操作的问题；同时引入多传感器模块，提高了机械臂对外界环境的感知能力与友好操作能力。
6.为达到上述目的，本发明的技术方案如下：
7.复杂光照条件下基于视触融合的机械臂自主移动抓取方法，其所使用系统包括通讯模块、图像采集模块、移动抓取模块、力传感模块；
8.进一步地，通讯模块包括安装于远程控制台的上位机系统与安装于移动平台的工控机系统，两系统通过wifi连接，采用ssh通讯协议；上位机向工控机发送控制指令，工控机向上位机传输所采集的图像与深度信息，以及移动平台与机械臂的位姿信息。
9.进一步地，图像采集模块包括：安装于移动平台上的深度相机，用于采集所在场景的全局深度与彩色信息；安装于机械臂末端的深度相机，用于采集所在场景的局部深度与彩色信息；两个相机均通过usb3.0接口将数据传输到工控机。
10.进一步地，移动抓取模块包括：移动平台与7自由度机械臂及其控制器；移动平台搭载激光雷达、超声波模块、红外传感器，其中激光雷达用于环境建图，超声波模块用于导航过程中的避障，红外传感器用于导航过程中的防跌落；机械臂的控制器接收目标位姿与障碍物信息，进行逆运动学解算，规划机械臂运动路径，执行抓取任务。
11.进一步地，力传感模块包括：六维力传感器，安装与机械臂末端与夹爪之间，用于测量机械臂与环境的接触力，通过误差计算修正调整机械臂末端与环境末端位置，防止末端执行器与环境接触力过大造成损坏或机械臂机身失稳；24维电容式触觉传感器阵列，安装于夹爪3个手指指尖部分，将手部压力值的变化信息实时反馈到工控机，进行物体软硬程度的识别，从而控制机械爪的抓取力度，可以有效减少被抓取物体的有害形变，且避免机械爪手指电机发生过载。
12.进一步地，该发明方法包括以下步骤：
13.步骤s1：在复杂光照条件下，引入受光照变化影响小的深度信息，结合可见光信息，识别目标物体的大致位置，发送控制指令；
14.步骤s2：移动平台接收到指令后，并将物体的坐标系转到所述移动平台坐标系，移动平台导航到目标物体附近；
15.步骤s3：再次启动移动平台上的深度相机获取目标物体的位姿信息，并将物体的坐标转到机械臂基坐标系，控制机械臂移动到目标物体附近；
16.步骤s4：启动机械臂末端的深度相机获取目标物体的位姿信息，并将物体的坐标系转到机械臂基坐标系，控制机械臂移动到目标点；
17.步骤s5：根据机械臂末端六维力传感器与外界环境的接触力信息，调整机械臂位姿；
18.步骤s6：利用机械爪指尖的传感器采集触觉信息，融合视觉信息选取物体的最佳抓取位姿，并判定最佳的抓取力；
19.步骤s7：根据确定的抓取位姿与抓取力，完成对目标物体的精度抓取。
20.进一步地，所述步骤s1、s2、s3、s4中获取目标物体的位姿信息包括以下步骤：
21.(a)将所获深度帧依次进行抽取滤波、空间滤波、时间滤波、孔填充过滤，提高深度数据质量并降低噪声水平，所获深度帧根据红外立体声原理获得，能有效降低光照的影响；
22.(b)将深度相机所获得深度图像i
depth
与彩色图像i
rgb
对齐；
23.(c)利用轻量级神经网络获得预选取物体的类别与区域roi；
24.(d)提取深度图像i
depth
roi区域深度信息特征获得深度显著图d
s
；
25.(e)提取可见光图像i
visual
亮度与纹理特征获得可见光显著图v
s
；
26.(f)将d
s
、v
s
加权获得融合的显著性图，突出目标区域并减弱光照的影响；
[0027][0028]
为可见光图像对应区域内基于亮度的区域显著度、为深度图像对应区域内基于深度的区域显著度；
[0029]
(g)根据获得显著性图再次对目标物体进行精准分割和定位，获取图像质心坐标；
[0030]
(h)将所获二维质心坐标转为实际的三维空间坐标，其转换公式如下：
[0031][0032][0033][0034]
f
x
,f
y
表示图像的焦距，ppx,ppy为投影中心的坐标，为目标点的三维坐标、c
x
、c
y
为质心的横纵坐标。
[0035]
进一步地，所述步骤s5利用六维力传感器测量机械臂与环境的接触力，通过误差计算修正调整机械臂末端位置，防止末端执行器与环境接触力过大造成损坏或机械臂机身失稳。
[0036]
进一步地，所述步骤s6采用3个24维电容式传感器阵列采集触觉信息，并融合视觉信息判断物体最佳抓取点与抓取力大小，其步骤包括：
[0037]
步骤s61：基于视触点云融合的最佳抓取位姿选取；
[0038]
步骤s62：基于视觉纹理与力触觉的物体刚度与抓取力判断。
[0039]
进一步地，所述步骤s61基于视触点云融合的最佳抓取位姿选取包括：
[0040]
步骤s611：机械爪根据预定的探索程序对物体进行触摸感知；
[0041]
步骤s612：当传感器单元读数超过设定阈值，则判定机械爪与物体发生了接触，并记录相关数据：接触单元位置坐标p(x,y,z)和法向量n＝(n
x
,n
y
,n
z
)，机械臂关节传感器读数θ
arm
＝{θ1,
…
θ7}和机械爪关节f
i
传感器读数
[0042]
步骤s613：将相关数据转换到机器人基坐标系，获得某个接触点的信息p
j
＝[loc
j
,n
j
]：
[0043][0044][0045]
其中t
arm
是机械臂末端到基坐标系得变换矩阵，t
hand
是机械爪到机械臂末端坐标系的变换矩阵；
[0046]
步骤s614：经过完整的探索程序，获得j个接触点数据，生成该物体的点云集pc
haptic
＝{p1,
…
p
j
}；
[0047]
步骤s615：采集视觉点云，采用直通滤波与随机采样一致算法ransac对目标点云进行分割、采用统计滤波sor去除离群噪点、采用移动最小二乘法mls平滑点云，最终获取目标物体的视觉点云pc
visual
；
[0048]
步骤s616：采用icp算法对视触点云进行配准；
[0049]
步骤s617：将配准的点云信息输入训练好的3d卷积神经网络，获得目标物体的最佳抓取位姿g＝((x,y,z),w,θ)；
[0050]
其中(x,y,z)是最佳抓取点的三维坐标，w是机械爪的预抓取开合宽度，θ是与z轴的偏转角。
[0051]
进一步地，所述步骤s62基于视觉纹理与力触觉的物体刚度与抓取力判断包括：
[0052]
步骤s621：机械爪以步骤s61确定的抓取位姿对物体进行抓取，触觉传感器开始采集数据s＝{n1,n2,
…
n
72
}；
[0053]
步骤s622：位于末端的相机采集目标物体视觉纹理信息；
[0054]
步骤s623：构建多模态融合网络：对触觉信息与视觉纹理信息分别利用cnn进行特征提取，再对提取的特征进行融合，并在此基础上构建分类网络，评估目标物体的刚度等级r；
[0055]
步骤s624：根据物体刚度确定夹取力阈值，并采用pd方法实现对机械爪的控制，具体方式如下：
[0056][0057]
f
g
＝[f
g1
,f
g2
,
…
f
gm
]
[0058]
其中，θ为机械爪手指电机转动角增量，k
p
、k
d
为比例参数和微分参数，f
g
为夹取力阈值，由刚度等级r确定；
[0059]
通过控制机械爪的抓取力度，可以有效减少被抓取物体的有害形变，且避免机械爪手指电机发生过载。
[0060]
本发明的有益效果是：
[0061]
1)本发明基于轻量级神经网络识别目标物体的类别并初步选取目标所在区域，根据所选区域的深度与可见光信息加权获得目标显著图，进一步识别获得更精准的目标物体边界，从而确定物体质心；再经过多次深度帧滤波，提高深度信息数据质量并降低噪声水平，最终提高物体定位精度与抓取准确率；
[0062]
2)本发明基于传感器模块测量机械臂与外界环境的接触力，能够修正调整机械臂末端位置，防止末端执行器与环境接触力过大造成损坏或机械臂机身失稳；另外通过机械爪触觉传感器阵列的测量，同时融合视觉信息，选择最佳抓取位姿与抓取力，能有效减少被抓取物体的有害形变且避免机械爪手指电机发生过载。
附图说明
[0063]
图1为本发明实施例的主要环节示意图。
[0064]
图2为本发明实施例的系统结构图。
[0065]
图3为本发明实施例的方法流程图。
[0066]
图4为本发明实施例的物体识别与定位流程图。
[0067]
图5为本发明实施例的最佳位姿选取示意图。
[0068]
图6为本发明实施例的物体刚度与抓取力判断示意图。
具体实施方式
[0069]
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
[0070]
本发明的实施例提供了复杂光照条件下基于视触融合的机械臂自主移动抓取方法，其总体系统框图如图1所示，包括：
[0071]
通讯模块，用于控制指令、图像与位姿信息的传输，包括安装于远程控制台的上位机系统与安装于移动平台的工控机系统，两系统通过wifi连接，采用ssh通讯协议。上位机向工控机发送控制指令，工控机向上位机传输所采集的图像与深度信息，以及移动平台与机械臂的位姿信息。上位机系统为windows10，同时具有可视化图形界面，用于显示深度相机采集的图像信息及移动机械臂的位姿信息。工控机系统为ubuntu16.04，搭配ros框架，能进行进一步开发，且连接着下层的运动设备控制器、外围传感设备和拓展执行部件，同时提供各传感器及拓展执行部件的接口函数，方便移动平台的编程。另外该工控机上装有有线、无线网卡及蓝牙设备，能够连接外部网络，与外部设备进行通信或者远程控制。
[0072]
图像采集模块，用于采集所在场景的深度与彩色信息，包括安装于移动平台上的深度相机与安装于机械臂末端的深度相机。两块相机均为realsense d435，且通过usb3.0接口将数据传输到工控机。
[0073]
移动抓取模块，用于趋近和抓取目标物体，包括移动平台和7自由度机械臂及其控制器。移动平台搭载激光雷达、超声波模块、红外传感器，其中激光雷达用于环境建图，超声波模块用于导航过程中的避障，红外传感器用于导航过程中的防跌落；机械臂的控制器接收目标位姿与障碍物信息，进行逆运动学解算，规划机械臂运动路径，执行抓取任务。
[0074]
力传感模块，用于感知外界环境及目标物体的信息，包括六维力传感器和24维触觉传感器阵列。六维力传感器，安装与机械臂末端与夹爪之间，用于测量机械臂与环境的接触力，通过误差计算修正调整机械臂末端与环境末端位置，防止末端执行器与环境接触力过大造成损坏或机械臂机身失稳；24维电容式触觉传感器阵列，安装于夹爪3个手指指尖部分，将手部压力值的变化信息实时反馈到工控机，进行物体软硬程度的识别，从而控制机械爪的抓取力度，可以有效减少被抓取物体的有害形变，且避免机械爪手指电机发生过载。
[0075]
本发明实施例处理过程主要分为两个环节，如图2所示，包括：
[0076]
环境感知环节，包括物体识别与定位、碰撞检测、物体软硬度识别。在这个环节，图像采集模块采集场景的深度与彩色信息，并通过深度神经网络完成对目标物体类别的判断与初始有效区域的选取，最后再结合深度数据进一步选择有效区域并计算目标的三维坐标；碰撞检测主要通过力传感模块中的六维力传感器检测机械臂与环境的接触，调整机械臂的位姿，防止机械臂与场景障碍过度碰撞导致机身受损或失稳；物体软硬度识别主要通过力传感模块中的触觉传感器阵列感知机械爪与目标物体的接触信息，并融合视觉纹理信息，从而判断物体的软硬程度，调整机械爪的控制参数。
[0077]
抓取规划环节，包括路径规划、位置调整、运动学解算、电机控制。在这个环节，根据目标物体位置不断调整移动机械臂位置，使机械爪不断趋近目标物体，同时进行有效的运动学解算与路径规划，防止移动机械臂发生碰撞；另外融合视觉与触觉信息，选取物体的最佳抓取位姿与合适抓取力，减少被抓取物体的有害形变。
[0078]
进一步地，本发明实施例的主要流程如图3所示，以下结合图3对实施例步骤进行详细阐述：
[0079]
步骤s1：在复杂光照条件下，引入受光照变化影响小的深度信息，结合可见光信息，识别目标物体的大致位置，发送控制指令。
[0080]
进一步地，其中物体识别定位的流程如图4所示，以下结合图4对步骤s1进行详细说明：
[0081]
步骤s11：开启位于移动平台上的深度相机，开始采集图像；
[0082]
步骤s12：将所获深度帧依次进行抽取滤波、空间滤波、时间滤波、孔填充过滤，提高深度数据质量并降低噪声水平，所获深度帧根据红外立体声原理获得，能有效降低光照的影响；
[0083]
步骤s13：将深度相机所获得深度图像i
depth
与彩色图像i
rgb
对齐；
[0084]
步骤s14：利用轻量级神经网络获得预选取物体的类别与区域roi；
[0085]
步骤s15：提取深度图像i
depth
roi区域深度信息特征获得深度显著图d
s
；
[0086]
步骤s16：提取可见光图像i
visual
亮度与纹理特征获得可见光显著图v
s
；
[0087]
步骤s17：将d
s
、v
s
加权获得融合的显著性图，突出目标区域并减弱光照的影响；
[0088][0089]
为可见光图像对应区域内基于亮度的区域显著度、为深度图像对应区域内基于深度的区域显著度；
[0090]
步骤s18：根据获得显著性图再次对目标物体进行精准分割和定位，获取图像质心坐标；
[0091]
步骤s19：将所获二维质心坐标转为实际的三维空间坐标，其转换公式如下：
[0092][0093][0094][0095]
f
x
,f
y
表示图像的焦距，ppx,ppy为投影中心的坐标，为目标点的三维坐标、c
x
、c
y
为质心的横纵坐标；
[0096]
步骤s2：移动平台接收到指令后，并将物体的坐标系转到所述移动平台坐标系，移动平台导航到目标物体附近；
[0097]
步骤s3：再次启动移动平台上的深度相机获取目标物体的位姿信息，并将物体的坐标转到机械臂基坐标系，控制机械臂移动到目标物体附近，其中识别与定位目标物体的步骤与s12
‑
s19相同；
[0098]
步骤s4：启动机械臂末端的深度相机获取目标物体的位姿信息，并将物体的坐标系转到机械臂基坐标系，控制机械臂移动到目标点，其中识别与定位目标物体的步骤与s12
‑
s19相同；
[0099]
步骤s5：根据机械臂末端六维力传感器与外界环境的接触力信息，通过误差计算修正调整机械臂末端位置，防止末端执行器与环境接触力过大造成损坏或机械臂机身失稳；
[0100]
步骤s61：机械臂夹爪按探索程序采集触觉点云，并融合视觉点云，判断目标物体的最佳抓取位姿。
[0101]
进一步地，其中基于视触点云融合的最佳抓取位姿选取流程如图5所示，以下结合图5对步骤s61进行详细说明：
[0102]
步骤s611：机械爪根据预定的探索程序对物体进行触摸感知；
[0103]
步骤s612：当传感器单元读数超过设定阈值，则判定机械爪与物体发生了接触，并记录相关数据：接触单元位置坐标p(x,y,z)和法向量n＝(n
x
,n
y
,n
z
)，机械臂关节传感器读数θ
arm
＝{θ1,
…
θ7}和机械爪关节f
i
传感器读数
[0104]
步骤s613：将相关数据转换到机器人基坐标系，获得某个接触点的信息p
j
＝[loc
j
,n
j
]：
[0105][0106][0107]
其中t
arm
是机械臂末端到基坐标系得变换矩阵，t
hand
是机械爪到机械臂末端坐标系的变换矩阵；
[0108]
步骤s614：经过完整的探索程序，获得j个接触点数据，生成该物体的点云集pc
haptic
＝{p1,
…
p
j
}；
[0109]
步骤s615：采集视觉点云，采用直通滤波与随机采样一致算法ransac对目标点云进行分割、采用统计滤波sor去除离群噪点、采用移动最小二乘法mls平滑点云，最终获取目标物体的视觉点云pc
visual
；
[0110]
步骤s616：采用icp算法对视触点云进行配准；
[0111]
步骤s617：将配准的点云信息输入训练好的3d卷积神经网络，获得目标物体的最佳抓取位姿g＝((x,y,z),w,θ)；
[0112]
其中(x,y,z)是最佳抓取点的三维坐标，w是机械爪的预抓取开合宽度，θ是与z轴的偏转角；
[0113]
步骤s62：机械爪与抓取物体，采集触觉信息，同时融合物体的视觉纹理信息，判断目标物体的刚度，从而控制夹爪的抓取力大小。
[0114]
进一步地，其中进一步地，其中基于视触点云融合的最佳抓取位姿选取流程如图6所示，以下结合图6对步骤s62进行详细说明：
[0115]
步骤s621：机械爪以步骤s61确定的抓取位姿对物体进行抓取，触觉传感器开始采集数据s＝{n1,n2,
…
n
72
}；
[0116]
步骤s622：位于末端的相机采集目标物体视觉纹理信息；
[0117]
步骤s623：构建多模态融合网络：对触觉信息与视觉纹理信息分别利用cnn进行特征提取，再对提取的特征进行融合，并在此基础上构建分类网络，评估目标物体的刚度等级r；
[0118]
步骤s624：根据物体刚度确定夹取力阈值，并采用pd方法实现对机械爪的控制，具体方式如下：
[0119][0120]
f
g
＝[f
g1
,f
g2
,
…
f
gm
]
[0121]
其中，θ为机械爪手指电机转动角增量，k
p
、k
d
为比例参数和微分参数，f
g
为夹取力
阈值，由刚度等级r确定；
[0122]
通过控制机械爪的抓取力度，可以有效减少被抓取物体的有害形变，且避免机械爪手指电机发生过载；
[0123]
步骤s7：根据确定的抓取位姿与抓取力，完成对目标物体的精度抓取。
[0124]
本发明经过多次深度帧滤波，提高深度信息数据质量、降低噪声水平，同时基于轻量级神经网络识别目标物体的类别并初步选取目标所在区域，再融合目标区域的可见光与深度信息，获得更精准的目标物体边界，从而确定物体质心，提高物体定位精度；本发明基于传感器模块测量机械臂与外界环境的接触力，能够修正调整机械臂末端位置，防止末端执行器与环境接触力过大造成损坏或机械臂机身失稳；另外融合触觉与视觉信息，判定目标物体的最佳抓取位姿及抓取力大小，能有效提高成功抓取率并控制机械爪的抓取力度，减少被抓取物体的有害形变且避免机械爪手指电机发生过载。
[0125]
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。