一种基于视觉伺服的机械臂端到端抓取控制方法
本发明涉及机械臂控制,尤其是涉及一种基于视觉伺服的机械臂端到端抓取控制方法。
背景技术:
1、随着智能制造、仓储分拣、服务机器人以及无人化作业等领域的快速发展,机械臂视觉抓取技术逐渐成为机器人研究的重要方向之一。传统工业机械臂大多依赖预设轨迹或人工示教完成固定工位的抓取任务,其运行环境通常要求目标物体位置固定、姿态已知且工作场景结构化程度较高。然而,在实际应用过程中,待抓取物体的位置、类别和摆放状态往往具有较大的随机性,传统依赖固定轨迹的方法难以满足复杂场景下的柔性抓取需求。因此,如何使机械臂能够根据视觉信息自主感知目标位置并完成实时抓取,成为当前智能机器人领域的重要研究课题。
2、现有的视觉抓取方案大多采用视觉伺服控制方式,即通过摄像头实时获取目标位置,并结合运动学模型不断修正机械臂末端位置,从而实现对目标物体的逐步对准与抓取。该类方法通常需要建立精确的相机标定模型以及机械臂运动学模型,并在抓取过程中持续进行图像采集、坐标转换和闭环反馈控制。虽然视觉反馈控制能够在一定程度上提高抓取精度,但其存在控制流程复杂、实时性要求高以及系统调试困难等问题。特别是在资源受限的小型机械臂平台中,由于处理器计算能力有限,频繁进行图像处理与运动反馈容易导致系统延迟增加,影响抓取效率。
3、另一方面,传统机械臂视觉抓取系统通常依赖上位机完成图像处理和目标识别,需要将大量图像数据实时传输至电脑进行分析,不仅增加了通信带宽压力,而且容易因图像传输延迟导致控制响应不及时。此外,现有方法普遍需要通过复杂的手眼标定建立视觉坐标系与机械臂坐标系之间的精确映射关系,对系统安装精度和参数标定精度要求较高,导致系统部署难度较大。
技术实现思路
1、本发明的目的是提供一种基于视觉伺服的机械臂端到端抓取控制方法,以解决背景技术中提到的问题。
2、为实现上述目的,本发明提供了一种基于视觉伺服的机械臂端到端抓取控制方法,包括以下步骤:
3、s1、构建视觉伺服抓取平台;
4、s2、构建视觉反馈闭环抓取控制模式;
5、s3、通过视觉反馈闭环抓取控制模式采集数据,得到图像坐标到关节舵机角度的配对样本,作为神经网络监督学习的训练数据;
6、s4、构建一个神经网络模型来学习从二维坐标到四维关节舵机角度的映射关系;
7、s5、对神经网络模型进行训练;
8、s6、将训练好的神经网络模型集成到电脑中,取代原有的视觉反馈抓取控制模式。
9、优选的,视觉伺服抓取平台由视觉感知单元、机械臂执行单元和上位机处理单元三部分组成,各单元之间通过串口和usb接口实现数据通信与指令传输;
10、视觉感知单元由摄像头组成,摄像头内置微控制器;摄像头固定在实验平台上,以俯视角度覆盖机械臂前方的工作区域;
11、机械臂执行单元采用六自由度舵机机械臂,各关节由数字舵机驱动,通过stm32单片机控制板进行运动控制,控制板接收来自上位机的串口指令,指令格式为包含舵机编号、目标角度值和运动时间的专用协议字符串;控制板内部集成了舵机轨迹插补算法,能够协调多个关节同步运动,使机械臂末端以较为平滑的路径到达目标位置;机械臂末端装有由第五舵机驱动的平行夹爪,通过控制角度值调节夹爪开合程度;机械臂底座固定在实验平台上,与摄像头之间的相对位置保持恒定;
12、上位机处理单元由电脑担任,电脑与机械臂之间通过usb转ttl串口模块连接,波特率统一设置为115200;电脑通过虚拟串口向摄像头发送指令并接收返回的坐标数据。
13、优选的,s2具体为:
14、s21、通过预设的lab色彩空间阈值来区分不同颜色的目标物体;
15、s22、将机械臂精准对准目标,并对机械臂进行偏差调整;
16、s23、对准抓取函数中移动状态为接近物体和抓取物体的两个分支;当对准条件达成后,执行一套预设好的固定抓取动作序列。
17、优选的,固定抓取动作序列具体为:
18、机械臂夹爪张开以准备抓取;
19、根据当前机械臂末端到基座的距离,通过三角函数计算出一个前伸后的新坐标,使机械臂末端能够到达物体正上方;
20、机械臂先水平移动至该坐标,再垂直下降至预设的抓取高度;
21、夹爪闭合抓取物体,机械臂抬起并复位到初始位置。
22、优选的,s21具体为:
23、s211、定义六种色块对应的颜色阈值;
24、s212、当主循环调用目标检测函数时,摄像头拍摄一帧图像,依次用这六组颜色阈值去调用色块搜索函数,在图像中搜索符合颜色特征的连续色块;
25、s213、一旦找到符合条件的色块,函数便返回该色块的中心坐标(cx, cy),并用矩形框和十字线在图像上标出识别结果;
26、s214、如果当前帧没有检测到任何目标,则继续等待下一帧,直到有物体进入视野。
27、优选的,s22具体为:
28、s221、预设一个目标对准点,目标对准点为图像的正中心坐标(80,60);
29、s222、在对准函数中,每次检测到物体坐标后,计算物体与中心点之间的横向偏差和纵向偏差;
30、s223、如果偏差的绝对值大于5个像素,便按照一定的比例系数生成机械臂的位移调整量——横向偏差乘以0.3,纵向偏差乘以0.9;
31、s224、将这些位移调整量累加到机械臂末端在水平面内的目标坐标上,通过运动控制接口发送运动指令,驱动机械臂向缩小偏差的方向移动一小段距离;
32、s225、机械臂运动到位后,等待机械臂稳定,重复步骤s222-s225,直到某次检测后横纵偏差均小于5像素。
33、优选的,s3具体为:
34、s31、将待抓取物体依次放置于摄像头视野内的不同位置,确保物块完整出现在画面中且不被遮挡;
35、s32、启动视觉反馈抓取控制模式,引导机械臂自动进行多轮调整并完成完整的对准和抓取动作;
36、s33、确认机械臂的夹爪已稳定夹持物块且物块脱离桌面后,进行数据记录,同步保存两个关键数据:其一是摄像头当前检测到的物体中心在画面中的像素坐标,其二是通过查询机械臂控制板获取的各个舵机当前角度值;
37、s34、每次记录完成后,将物块放回原位或移动至下一个预设位置,重复步骤s31-s33。
38、优选的,神经网络模型的输入层设计为两个神经元,分别接收物体在图像中的横向与纵向坐标;输出层包含四个神经元,对应需要控制的四个关节舵机角度值;中间设有两个隐藏层,神经元数量分别为六十四和三十二,两个隐藏层之后均接有relu激活函数以引入非线性表达能力。
39、优选的,s5具体为:
40、s51、训练开始前,通过标准化器对输入坐标和输出舵机值分别进行标准化处理,将其缩放至均值为零、标准差为一的分布;
41、s52、训练过程中,采用均方误差作为损失函数,通过adam优化器在五百个轮次内不断调整网络权重,使预测的舵机值与真实标定值之间的差距逐步缩小;
42、s53、训练完成后,网络的参数和标准化器的统计量均被保存下来;
43、s54、采用未参与训练的测试集数据对模型进行评估,具体为:将测试集中的坐标依次输入模型得到预测舵机值,与真实标定舵机值进行对比,计算平均绝对误差和均方根误差等评价指标。
44、优选的,s6具体为:
45、s61、在实际运行时,操作人员触发抓取指令后,电脑首先向摄像头请求一次物体坐标检测,摄像头返回当前目标在图像中的像素位置;
46、s62、加载已训练的神经网络和标准化器,将坐标值输入网络进行一次前向计算,网络直接输出四个舵机的角度预测值;
47、s63、将预测值经过反标准化还原为实际控制量后,按照机械臂通信协议将其拼接成完整的舵机控制指令字符串,并通过串口一次性发送给机械臂控制板;
48、s64、机械臂收到指令后,各关节同步运动到目标角度,随后夹爪闭合完成抓取,最后自动复位至初始姿态。
49、因此,本发明采用上述的一种基于视觉伺服的机械臂端到端抓取控制方法,具有以下有益效果:
50、(1)本发明通过智能摄像头直接在设备端完成颜色识别、目标检测以及中心坐标提取,仅向上位机传输目标像素坐标数据,而无需传输完整图像数据,从而显著降低了视觉系统的数据传输量和通信带宽占用,提高了系统实时性,降低了上位机图像处理负担,使整个抓取系统能够在较低硬件配置条件下稳定运行。
51、(2)本发明采用视觉反馈闭环控制方式,通过不断计算目标物体与图像中心之间的偏差,并驱动机械臂进行多轮渐进式位置修正,使机械臂能够自动逼近目标位置;相比传统一次性定位方式,本发明能够有效减小视觉误差、安装误差以及机械运动误差对抓取精度的影响,提高机械臂对目标物体的对准精度和抓取成功率。同时,通过设置连续多次偏差满足阈值的确认机制,还能够降低图像噪声或瞬时误识别造成的误判风险,进一步提高系统稳定性。
52、(3)本发明利用视觉反馈闭环控制模式自动采集“图像坐标—舵机角度值”的高质量监督学习样本,将视觉伺服控制过程中已经验证成功的抓取姿态直接作为神经网络训练标签,从而避免了传统人工标注方式存在的误差问题;由于训练数据来源于真实稳定的抓取过程,因此所构建的数据集具有较高的一致性和可靠性,为后续神经网络模型训练提供了准确的数据基础。
53、(4)本发明通过对采集数据进行统计分析,发现部分舵机在桌面抓取任务中基本保持固定状态,因此在模型训练阶段仅保留对空间定位起主要作用的前四个关节舵机作为输出维度,有效降低了模型学习复杂度,减少了网络参数数量,提高了模型训练效率和推理速度,并降低了小样本条件下出现过拟合的风险。
54、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com