一种水下机器人智能抓取装置及其方法与流程

1.本发明涉及机器人控制技术领域，尤其是一种水下机器人智能抓取装置及其方法。


背景技术：

2.海产品中例如海参、海胆、扇贝，具有极高的营养价值。近年来随着国民收入的持续增加，海产品的销量随之逐年递增。而海产品中多数浅海海珍品捕捞通常采用人工作业的方式，由于水下环境的未知和复杂，水下捕捞条件恶劣，长期的潜水作业会对潜水员身体造成极大的危害。
3.在现有技术中，公开号为cn108908334a，名称为一种基于深度学习的智能抓取系统及方法，公开了一种基于深度学习的智能抓取系统及方法。该方法通过训练深度学习的神经网络模型，结合图像处理技术，识别出目标物体在三维空间中的位置及种类，然后控制多自由度机械臂对目标进行抓取。该方法采用工控机求取机械臂的运动学逆解，在线进行机械臂轨迹规划，并通过六轴大型机械臂装配末端执行器进行抓取。然而水下机器人控制舱的体积与载重有限，上述多机械臂抓取装置并不能直接适用于水下机器人。
4.再有，公开号为cn112347900a，名称为基于距离估计的单目视觉水下目标自动抓取方法，公开了一种基于距离估计的单目视觉水下目标自动抓取方法。该方法对单目相机采集的图像进行深度估计得到深度估计图像，再通过强化学习网络融合传感器数据以及深度估计图像，得到相应的动作指令，引导机械臂进行抓取。该方法通过对单目相机采集的图像进行深度估计得出深度估计图像，然而单目相机无法仅凭单张图像获取物体真实的尺度，需要物体的平移才能定量判断物体的远近，且遇到水下光线不足的场景，会进一步降低抓取精度。考虑上述不足，如何设计一种轻便的抓取装置搭载在水下机器人上，并提高抓取精度的水下机器人智能抓取装置及其方法显得尤为重要。


技术实现要素：

5.本发明需要解决的技术问题是提供一种水下机器人智能抓取装置及其方法，设备易部署易维护，使得单次下潜可抓取回收的目标数量更大，提高了抓取的成功率。
6.为解决上述技术问题，本发明所采用的技术方案是：
7.一种水下机器人智能抓取装置，包括水下机器人承载体、推进器模块、导流罩及浮材模块、控制舱、双目相机、电池舱、机械手旋转云台、机械手模块、深度传感器模块、回收篓；所述水下机器人承载体包括导流罩下方的承载体以及两个相互平行的承载体水下机器人承载体ⅰ和水下机器人承载体ⅱ；所述推进器模块包括两个对称设置的固定连接在控制舱的两侧的前进/后退推进器以及四个固定连接在导流罩下方的承载体上的前进/后退推进器；两个上浮/下潜推进器固定连接在控制舱的两侧，所述导流罩及浮材模块位于两个上浮/下潜推进器前后两侧；所述控制舱固定于水下机器人整体框架中央，控制舱内部设置有电调调速单元、控制单元和双目相机；所述电池舱位于控制舱的正下方，电池舱通过电池舱
卡扣固定于水下机器人承载体上；所述机械手旋转云台包括舵机及舵盘，所述舵机固定在机器人底部框架中央，舵盘固定于舵机之上；所述机械手模块包括机械臂和固定连接在机械臂末端的机械手末端机械夹爪，机械臂通过卡扣固定于舵盘下方；所述深度传感器固定连接在控制舱的尾部，深度传感器与双目相机固定高度相同；所述回收篓位于机械手模块左侧。
8.一种水下机器人智能抓取方法，包括步骤1：结合待抓取目标的视觉图像和自身特征，对待抓取目标数据库中的目标图片进行图像预处理，并建立待抓取目标的数据集，使用数据集对神经网络模型进行离线训练，训练完成后将模型部署至水下机器人控制舱内的控制单元；
9.步骤2：对水下机器人进行航迹规划，将水下机器人部署至水下后，机器人按离线规划的航迹进行巡逻，并利用自身搭载的双目相机在线搜索，控制单元对采集的图像进行灰度化和特征增强，最后通过神经网络模型判断是否为待抓取目标，若是则水下机器人主动趋近目标，若不是则继续沿航迹搜索；
10.步骤3：当确定目标存在，水下机器人向待抓取目标趋近至待抓取目标进入图像中的抓取域，保持待抓取目标处于抓取域内，双目相机测定待抓取目标中心点像素深度值，通过计算推算出目标的实际位置；
11.步骤4：读取深度传感器当前示数，计算出水下机器人应下潜的深度，控制单元控制竖直方向推进器使水下机器人下潜，直至目标处于机械手深度抓取域，控制单元控制机械手闭合对目标抓取随后控制单元控制机械手旋转云台，云台带动机械手水平转动，将目标放入回收篓，云台再次转动使机械手回到中位，抓取完成；
12.步骤5：重复上述步骤1到步骤4，可持续对待抓取目标进行抓取，直至回收篓满载，水下机器人上浮至水面，清空回收篓。
13.本发明技术方案的进一步改进在于：在步骤2中，若判断目标为待抓取目标，则框选出机械手的矩形抓取框和待抓取目标的矩形目标框，将二者中心点像素坐标分别记为(x,y)及(u,v)，x和y为机械手抓取框中心点的像素横、纵坐标；u和v分别为目标框中心点的像素横、纵坐标。
14.本发明技术方案的进一步改进在于：在步骤3中，为了减小图像处理的计算量，对双目相机采集的三色rgb图像进行灰度化：
15.grey(i,j)＝a
·
r(i,j) b
·
g(i,j) c
·
b(i,j)
16.其中(i,j)为所采集图像上横坐标为i纵坐标为j的像素点，grey(i,j)为灰度化后该像素点的灰度，r(i,j)、g(i,j)、b(i,j)分别为像素点(i,j)在红色通道、绿色通道和蓝色通道的数值，a、b、c分别为赋予r、g、b三种颜色通道的比例系数；若确定目标存在，则记目标框中心点横坐标与机械手抓取框像素横坐标之差为e＝u
‑
x；当e＞0表明目标位于机械手右侧，机器人左侧推进器组加速使机器人整体向右转；当e＜0表明目标位于机械抓手左侧，机器人右侧推进器组加速使机器人整体向左转；当e＝0则保持机器人左右两组电机转速不变，继续行进；抓取域设定如下：以机械手抓取框中心点(x,y)为中心，δ为长度单位向上下左右延伸的矩形区域[x
±
δ,y
±
δ]；
[0017]
计算目标真实位置过程如下：
[0018]
双目相机测定的像素深度值为w，待抓取目标的实际位置三维坐标为[x
w
,y
w
,z
w
]，
其中x
w
、y
w
、z
w
分别物体投影在世界坐标系中x轴y轴和z轴的坐标；根据坐标转换关系可推算出目标在世界坐标系下的坐标即真实位置：
[0019][0020]
其中dx、dy、u0、v0、f为相机的内部参数，dx和dy代表像素点在图像坐标系沿x轴和y轴的真实物理尺寸，(u0,v0)为图像坐标系原点在像素坐标系下的横纵坐标，f为相机的焦距，γ为扭曲因子；为0向量，r和t为相机的外部参数；r为3
×
3的旋转矩阵，代表相机三维坐标系转换至世界坐标系三个坐标轴的角度转化关系，t为3
×
1的偏移矩阵，代表相机三维坐标系转换至世界坐标系原点产生的偏移量。
[0021]
本发明技术方案的进一步改进在于：在步骤4中，机器人下潜至抓取位置前深度传感器示数为h，双目相机与机械手之间的高度为h，机械手深度抓取域定义为z
w
±
ε，其中ε为抓取深度偏差；则机器人需要下沉的深度为z
w
‑
h
±
ε，深度传感器保持的深度k为：k＝h (z
w
‑
h)
±
ε。
[0022]
由于采用了上述技术方案，本发明取得的技术进步是：
[0023]
本发明整体采用模块化设计，设备易维护；单功能夹取机械手的质量更轻，在机器人负载有限的情况下，使用该结构单次下潜可抓取回收的目标数量更大；由于水下水流的影响，设置了图像抓取域和机械手深度抓取域，提高了抓取的成功率。
附图说明
[0024]
图1是本发明水下机器人携带回收篓抓取装置机械结构俯视示意图；
[0025]
图2是本发明水下机器人抓取装置机械结构侧视示意图；
[0026]
图3是本发明水下目标抓取方法流程图；
[0027]
图4是本发明步骤3实时采集图像示意图；
[0028]
图5是本发明一种水下机器人智能抓取装置及其方法图像识别流程图；
[0029]
图1中，1、导流罩及浮材模块，2、机械手，3、双目相机，4、回收篓，5、上浮/下潜推进器，6、控制舱，7、深度传感器，8、穿线螺栓，9
‑
1、水下机器人承载体ⅰ，9
‑
2、水下机器人承载体ⅱ；
[0030]
图2中，10、电池舱卡扣，11、电池舱，12、前进/后退推进器，13、舵机，14、舵盘，15、机械臂，16、机械手末端机械夹爪。
具体实施方式
[0031]
下面结合实施例对本发明做进一步详细说明：
[0032]
如图1、图2、图3、图4、图5所示，本发明公开了一种水下机器人智能抓取装置及其方法，一种水下机器人智能抓取装置包括：水下机器人承载体、推进器模块、导流罩及浮材模块1、控制舱6、双目相机3、电池舱11、机械手旋转云台、机械手模块、深度传感器模块、回
收篓4。
[0033]
水下机器人承载体包括水下机器人承载体ⅰ9
‑
1和水下机器人承载体ⅱ9
‑
2，二者为水下机器人框架结构，二者呈平行关系，另有一块承载体位于电池舱11下方，连接水下机器人承载体ⅰ9
‑
1和水下机器人承载体ⅱ9
‑
2两块承载体。所述导流罩及浮材模块1共四块，装配在由承载体构成的空间内，两两对称固定在上浮/下潜推进器5的两侧。所述推进器模块共六个，两个前进/后退推进器12对称固定在控制舱6的两侧，四个前进/后退推进器12固定在导流罩下方的承载体上，同侧的两个推进器相对放置。所述控制舱6固定于水下机器人整体框架中央，内部装有电调调速单元、双目相机3和控制单元，所述其中电调调速单元用来调节推进器的转速，所述双目相机3固定于水下机器人控制舱6内部正前方，用来采集图像信息，所述控制单元用来处理双目相机3采集的图像信息、对水下机器人的运动进行决策与控制和控制机械手旋转云台以及末端机械抓手的开合。所述电池舱11位于控制舱6的正下方，并用电池舱卡扣10固定于水下机器人承载体上，用来装配电池，给水下机器人所有用电设备供电。所述机械手旋转云台包括舵机13及舵盘14，所述舵机13固定于机器人底部框架中央，所述舵盘14固定于舵机13之上。所述机械手模块包括机械臂15和机械手末端机械夹爪16，机械臂15使用卡扣固定于舵盘14下方。所述深度传感器7位于机器人尾部，一半嵌入控制舱6尾部的螺栓孔内，其探针裸露在控制舱6外部，且与双目相机3固定高度相同；所述回收篓4位于水下机器人左前方、机械手模块左侧；还设置有位于控制舱6尾部的穿线螺栓8。
[0034]
本发明公开的一种水下机器人智能抓取装置及其方法，其流程图如图3所述，包含以下步骤：
[0035]
步骤一 结合待抓取目标的视觉图像和自身特征，对待抓取目标数据库中的目标图片进行筛选与数据清洗建立待抓取目标数据集，将不能表现目标特征的图片剔除，保证建立数据集的图片具有特征一致性，随后构建神经网络模型，使用数据集对神经网络模型进行离线训练，神经网络损失函数收敛至预设数值则训练完成，得到神经网络模型参数集合，将模型部署至水下机器人控制舱6内的控制单元；
[0036]
步骤二 对水下机器人进行航迹规划，将水下机器人部署至水下后，机器人按离线规划的航迹进行巡逻，并利用自身搭载的双目相机3在线搜索，为了减小图像处理的的计算量，控制单元对采集的彩色rgb图像进行灰度化：
[0037]
grey(i,j)＝a
·
r(i,j) b
·
g(i,j) c
·
b(i,j)
[0038]
其中(i,j)为所采集图像上横坐标为i纵坐标为j的像素点，grey(i,j)为灰度化后该像素点的灰度，r(i,j)、g(i,j)、b(i,j)分别为像素点(i,j)在红色通道、绿色通道和蓝色通道的数值，a、b、c分别为赋予r、g、b三种颜色通道的比例系数，灰度化完成后对待抓取目标进行特征增强，最后通过控制单元中部署的神经网络模型判断是否为待抓取目标，若是则水下机器人主动趋近目标，并框选出机械手的矩形抓取框和待抓取目标的矩形目标框，将二者中心点像素坐标分别记为(x,y)及(u,v)，x和y为机械手抓取框中心点的像素横、纵坐标，u和v分别为目标框中心点的像素横、纵坐标，若不是则继续沿航迹搜索；
[0039]
步骤三 当确定目标存在，水下机器人向待抓取目标趋近至待抓取目标进入图像中的抓取域，保持待抓取目标处于抓取域内，双目相机3测定待抓取目标中心点像素深度值w，根据坐标转换关系：
[0040][0041]
其中dx、dy、u0、v0、f为相机的内部参数，由相机的标定而知，dx和dy代表像素点在图像坐标系沿x轴和y轴的真实物理尺寸，(u0,v0)为图像坐标系原点在像素坐标系下的横纵坐标，f为相机的焦距，γ为扭曲因子，通常取0，0为0向量，r和t为相机的外部参数，r为3
×
3的旋转矩阵，代表相机三维坐标系转换至世界坐标系三个坐标轴的角度转化关系，t为3
×
1的偏移矩阵，代表相机三维坐标系转换至世界坐标系原点产生的偏移量，可推算出待抓取目标的实际位置三维坐标[x
w
,y
w
,z
w
]，其中x
w
、y
w
、z
w
分别为待抓取目标在世界坐标系中x轴y轴和z轴的坐标；
[0042]
步骤四 读取深度传感器7当前示数h，计算出水下机器人应下潜的深度z
w
‑
h
±
ε，其中ε为抓取深度偏差，h为双目相机3与机械手之间的高度，控制单元控制竖直方向推进器使水下机器人下潜，直至目标处于机械手深度抓取域z
w
±
ε，使深度传感器7示数保持在k＝h (z
w
‑
h)
±
ε，控制单元控制机械手闭合对目标抓取随后控制单元控制机械手旋转云台，云台带动机械手水平转动，将目标放入回收篓4，云台再次转动使机械手回到中位，抓取完成；
[0043]
步骤五 重复上述步骤一到步骤四，可持续对待抓取目标进行抓取，直至回收篓4满载，水下机器人上浮至水面，清空回收篓4。
[0044]
以上所述的实施仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变型和改进，均应落入本发明权利要求书确定的保护范围内。