基于深度视觉的机械臂精准定位及模具抓取方法与流程
本发明涉及机械臂视觉定位抓取控制,具体为基于深度视觉的机械臂精准定位及模具抓取方法。
背景技术:
1、在机械臂自动上下料、装配和搬运等作业中,模具抓取通常需要先获取工件在机械臂基坐标系下的六维位姿,再控制末端沿安全轨迹接近和夹取。现有技术大多采用单一二维视觉或单一激光点云进行模具位姿测量,通过图像模板匹配、点云配准或人工示教确定抓取位置。二维视觉对光照变化、反光表面和低对比度纹理较为敏感,模具边缘特征容易缺失或误匹配,造成位姿估计偏差;激光点云能够提供三维几何信息,但对模具表面反射特性利用不充分,在模具与背景几何相似或存在薄壁、凹陷、复杂边缘结构时,点云分割和配准的稳定性不足。单一传感器获得的初始位姿在机械臂接近过程中缺少动态修正手段,当工件存在局部变形、定位偏差或外部扰动时,预规划轨迹难以适应实际接触状态,容易引发碰撞或抓取失败。
2、在抓取执行阶段,现有方法多依赖末端力传感器或固定阈值判断接触状态,关节电流信号中的非平稳波动和噪声未被有效分离,接触特征提取灵敏度不足,难以为末端姿态调整形成可靠反馈。深度图像序列在抓取过程中的动态信息也未得到充分利用,无法反映模具表面在接近和夹持阶段的变化,导致机械臂在存在初始位姿误差或工件微小位移时缺少闭环修正能力。
3、复杂反射条件和动态扰动使得模具六维位姿估计易受干扰,机械臂接近和抓取过程中的末端轨迹难以根据实际接触状态和模具表面动态变化进行调整,导致抓取精度和稳定性不足。
技术实现思路
1、本发明提供一种基于深度视觉的机械臂精准定位及模具抓取方法,用于在复杂反射和弱纹理条件下获得模具六维位姿,并根据机械臂接近和抓取过程中的关节电流接触特征和深度图像光流信息修正末端抓取轨迹,改善模具抓取的精度和稳定性。
2、为了实现上述目的,本发明提供如下技术方案:本发明提供一种基于深度视觉的机械臂精准定位及模具抓取方法,包括:采集机械臂作业场景的深度图像和激光点云,将深度图像与激光点云按时间戳对齐融合,得到融合点云;对融合点云中的模具区域进行反射强度分层,提取模具表面轮廓特征和模具表面纹理特征;根据模具表面轮廓特征和模具表面纹理特征构造模具六维位姿观测矩阵,在流形上将六维位姿观测矩阵与模具模型点云最近邻匹配,得到模具初始位姿;机械臂向模具初始位姿移动时,实时监测机械臂各关节的电流序列和末端加速度序列,对电流序列进行奇异谱分解,提取抓取接触特征;根据抓取接触特征和模具初始位姿生成机械臂末端抓取轨迹,执行机械臂末端抓取轨迹时实时采集深度图像序列,对深度图像序列进行光流分析,根据光流分析结果修正机械臂末端抓取轨迹,控制机械臂抓取模具。
3、该方案通过深度图像和激光点云的时空对齐融合,弥补单一传感器在纹理缺失或光照变化下的不确定性,利用反射强度差异突出模具表面层级,为后续位姿构建提供稳定特征;在抓取接近阶段引入关节电流和末端加速度的同步监测,利用奇异谱分解从电流序列中提取接触特征,增强机械臂对模具接触状态的感知能力;在末端执行阶段结合深度图像序列的光流分析对轨迹进行局部修正,降低动态异常对抓取过程的干扰,从而提高模具抓取的定位精度和抓取成功率。
4、优选的,对融合点云中的模具区域进行反射强度分层时,将融合点云中每个点的反射强度按数值大小排序,计算相邻反射强度差值并生成强度直方图;根据强度直方图的谷底阈值将融合点云划分为高反射层、中反射层和低反射层;分别对高反射层、中反射层和低反射层进行欧式聚类,选取各层中点数最多的聚类作为模具点云簇;对模具点云簇进行法向量估计,根据法向量突变位置提取模具表面轮廓特征,将模具表面轮廓特征映射到融合点云的原始坐标空间,得到模具表面纹理特征。通过分层聚类和法向量突变检测,可抑制背景点云干扰,保留模具区域有效结构信息。
5、优选的,根据模具表面轮廓特征和模具表面纹理特征构造模具六维位姿观测矩阵时,将模具表面轮廓特征转换为二值边缘图,将模具表面纹理特征转换为灰度共生矩阵;将二值边缘图和灰度共生矩阵按通道维度拼接,得到模具多通道特征图;对模具多通道特征图进行空间金字塔池化,得到固定长度的模具特征向量;将模具特征向量与机械臂基坐标系下的深度相机外参矩阵相乘,得到模具六维位姿观测矩阵。该矩阵将图像空间特征统一到机械臂基坐标系,降低后续位姿匹配中的坐标转换误差。
6、优选的,机械臂向模具初始位姿移动时,以预设采样频率同步采集伺服驱动器反馈的关节电流序列和惯性测量单元输出的末端加速度序列;对末端加速度序列进行滑动窗口滤波,得到滤波后的末端加速度;将关节电流序列与滤波后的末端加速度按时间戳进行插值对齐,生成多维状态时间序列;将多维状态时间序列中每个时刻的关节电流值和末端加速度值组成状态向量,并缓存到环形缓冲区。这样可将电流与加速度在时间上严格同步,减少因采样延迟导致的接触特征误判。
7、优选的,对电流序列进行奇异谱分解时,将电流序列嵌入为轨迹矩阵,对轨迹矩阵进行奇异值分解,得到多个奇异值分量;计算每个奇异值分量的贡献率和主频率,将贡献率大于预设阈值的奇异值分量重构为接触力矩趋势项;将接触力矩趋势项从电流序列中分离,得到抓取接触波动项;对抓取接触波动项进行包络分析,提取峰值间隔和波动幅值作为抓取接触特征。通过奇异谱分解将电流中的趋势成分与波动成分分离,能够更准确地识别抓取接触瞬间和接触状态变化。
8、优选的,根据抓取接触特征和模具初始位姿生成机械臂末端抓取轨迹时,将抓取接触特征输入到抓取状态分类器,输出模具接触状态标签;根据模具接触状态标签从预存抓取姿态库中选取候选抓取姿态;将模具初始位姿和候选抓取姿态组合成末端位姿序列,在末端位姿序列中插入中间路点;对中间路点进行碰撞检测,删除与模具表面法向量冲突的路点;根据保留下来的路点拟合b样条轨迹,作为机械臂末端抓取轨迹。该过程利用接触状态反馈选择抓取姿态,并通过碰撞检测过滤不合理路点,使抓取轨迹兼顾可达性与安全性。
9、优选的,执行机械臂末端抓取轨迹时,在机械臂沿机械臂末端抓取轨迹运动期间,以固定帧率触发深度相机采集深度图像;将采集到的每一帧深度图像与对应时刻的机械臂关节角度进行时间戳对齐;将时间戳对齐后的深度图像按采集顺序写入深度图像缓存区;从深度图像缓存区中读取相邻两帧深度图像,生成深度图像序列。通过连续帧的时间对齐,为光流分析提供一致的时空基准。
10、优选的,对深度图像序列进行光流分析时,从深度图像缓存区中读取深度图像序列,对深度图像序列中的相邻两帧深度图像进行稠密光流计算,得到三维光流矢量场;将三维光流矢量场映射到模具表面网格,计算每个网格点的散度和旋度;将散度绝对值大于散度阈值或旋度绝对值大于旋度阈值的网格点标记为抓取动态异常点;由抓取动态异常点组成的区域作为光流分析结果。通过散度和旋度分析可识别模具表面非刚性运动或异常滑动,提升轨迹修正的针对性。
11、优选的,根据光流分析结果修正机械臂末端抓取轨迹时,将光流分析结果中的抓取动态异常点投影到机械臂基坐标系,得到异常三维坐标集;计算异常三维坐标集到机械臂末端抓取轨迹的最短距离,将最短距离小于安全距离的轨迹段标记为待修正轨迹段;获取待修正轨迹段两端路点的切向方向和法向方向;沿法向方向将待修正轨迹段向远离异常三维坐标集的方向平移,得到修正后的机械臂末端抓取轨迹。这样轨迹修正仅针对风险轨迹段进行局部调整,避免全局重规划带来的计算延迟。
12、优选的,控制机械臂抓取模具时,将修正后的机械臂末端抓取轨迹转换到关节空间,得到关节空间轨迹;对关节空间轨迹进行速度规划和加速度规划,生成关节位置指令序列;将关节位置指令序列发送给机械臂驱动器,使机械臂末端沿关节位置指令序列运动;在机械臂末端到达目标抓取点后,向末端夹爪发送闭合指令,完成模具抓取。通过关节空间规划保证各关节运动连续平稳,减少末端抖动对模具抓取精度的影响。
13、在上述技术方案中,本发明提供的技术效果和优点:
14、深度图像与激光点云经时间戳对齐融合后,融合点云同时保留激光点的三维几何信息和深度图像的密集表面信息。对融合点云中的模具区域按反射强度进行分层,利用高反射层、中反射层和低反射层的强度差异区分模具表面与背景,并在各反射层内聚类得到模具点云簇。对模具点云簇进行法向量估计,依据法向量突变位置提取模具表面轮廓特征,同时将轮廓特征映射回原始坐标空间得到模具表面纹理特征。轮廓特征和纹理特征分别转换为二值边缘图和灰度共生矩阵,经通道维度拼接和空间金字塔池化后与深度相机外参矩阵相乘,构造模具六维位姿观测矩阵。在流形上将六维位姿观测矩阵与模具模型点云进行最近邻匹配,获得模具初始位姿。与单一二维视觉或单一激光点云方式相比,该过程综合利用几何形状和表面反射强度信息,在模具反光、弱纹理或边缘对比度较低的情况下仍能稳定提取模具表面特征,位姿估计受光照变化影响较小,初始定位偏差得到抑制。
15、机械臂向模具初始位姿移动过程中,实时监测各关节的电流序列和末端加速度序列,将两者按时间戳插值对齐后形成多维状态时间序列。对电流序列进行奇异谱分解,将电流序列嵌入为轨迹矩阵并分解为多个奇异值分量,依据贡献率和主频率重构接触力矩趋势项,从电流序列中分离得到抓取接触波动项,再通过包络分析提取峰值间隔和波动幅值作为抓取接触特征。接触特征输入抓取状态分类器后得到模具接触状态标签,从预存抓取姿态库中选取候选抓取姿态,并与模具初始位姿组合生成末端位姿序列。执行末端抓取轨迹时,实时采集深度图像序列,对相邻两帧深度图像进行稠密光流计算,得到三维光流矢量场,将其映射到模具表面网格后计算各网格点的散度和旋度,标记抓取动态异常点。将异常点投影到机械臂基坐标系,计算异常点与末端抓取轨迹的最短距离,对小于安全距离的轨迹段沿法向方向平移,得到修正后的末端抓取轨迹。奇异谱分解能够抑制电流信号中的非平稳波动和噪声,使接触状态判断更灵敏;深度图像序列光流分析通过模具表面动态异常持续修正末端运动方向,在初始位姿存在偏差、工件发生微小位移或局部变形时仍可保持末端轨迹与模具实际状态一致,减少碰撞和夹取失败,抓取过程对动态扰动具有更强适应能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com