一种面向脆弱瓷盘的视觉触觉融合闭环安全抓取方法及系统

本发明涉及机器人智能抓取、机器视觉、触觉感知及视觉触觉融合控制，具体涉及一种面向脆弱瓷盘的视觉触觉融合闭环安全抓取方法及系统。

背景技术：

1、海底沉船考古、文物保护及易损物体转移等任务中，瓷盘类目标通常具有结构薄、边缘脆弱、表面光滑、受力敏感等特点。尤其是长期浸泡于海水或埋藏于沉积物中的古瓷器，其釉面、胎体和边缘结构可能已经发生老化、疏松或脆化，在提取和转移过程中极易因受力不当而产生裂纹、崩边甚至整体破损。

2、传统的人工提取方式主要依赖操作者经验，虽然在部分场景下具有一定可行性，但其操作稳定性和重复性难以保证。在水下、狭窄、浑浊或复杂堆叠环境中，人工操作还存在作业效率低、风险高、难以精细控制夹持力等问题。因此，采用机器人代替人工完成脆弱瓷盘类目标的抓取与放置，具有重要应用价值。

3、现有机械臂抓取方法通常包括人工示教、离线轨迹规划和基于视觉的智能抓取等方式。其中，人工示教和离线轨迹规划方法一般需要预先设定机械臂运动路径、夹爪开合宽度和夹持力参数，适用于目标位置和姿态较为固定的结构化场景。然而，在瓷盘类脆弱目标抓取任务中，目标的摆放位置、姿态、遮挡情况和支撑状态往往存在不确定性，固定式抓取策略难以适应实际环境变化。若夹持力过小，瓷盘容易发生滑脱；若夹持力过大，则可能导致瓷盘边缘或主体结构受损。

4、随着机器视觉和深度学习技术的发展，基于视觉的机器人抓取方法逐渐应用于目标检测、实例分割、位姿估计和抓取姿态生成等任务。视觉方法能够获取目标的位置、轮廓、深度和空间姿态信息，为机械臂接近目标和规划抓取姿态提供依据。例如，目标实例分割模型可用于提取瓷盘区域，六自由度位姿估计方法可用于确定作业区域或参考物体的空间位姿，抓取姿态预测网络可用于生成适合二指夹爪执行的候选抓取位姿。

5、但是，单纯依赖视觉的抓取方法仍存在不足。首先，视觉系统主要反映目标在抓取前的位置、形状和姿态，难以直接感知夹爪与瓷盘之间的真实接触状态。对于脆弱瓷盘而言，抓取过程中是否已经形成稳定接触、是否出现局部滑移、夹持力是否超过安全范围，均难以仅通过视觉信息准确判断。其次，视觉识别和深度感知容易受到遮挡、反光、深度缺失、边缘薄弱以及环境光照变化的影响，导致抓取位姿与实际可执行姿态之间存在偏差。再次，视觉抓取网络输出的抓取姿态通常只是抓取前的候选结果，若缺乏抓取过程中的反馈修正机制，机械臂在接触、闭合、抬升和放置阶段仍可能发生滑脱、偏移或损伤。

6、触觉传感技术能够直接获取夹爪与目标之间的物理交互信息。通过在夹爪末端设置多维触觉传感器，可以实时检测接触点数量、接触区域分布、法向力、切向力、压力变化及滑移趋势等信息。与视觉感知相比，触觉感知能够在夹爪接触目标后提供更直接的安全判断依据，有助于实现夹持力自适应调节、稳定接触判定和异常状态处理。

7、然而，单独依赖触觉感知也难以完成完整的机器人抓取任务。触觉信息通常只有在夹爪与目标发生接触之后才能获得，无法在抓取前提供目标全局位置、姿态和最优接近方向。因此，若缺少视觉定位和抓取姿态预测，机械臂难以准确接近目标并选择合理的抓取点。现有部分视觉和触觉融合方法虽然将视觉和触觉信息同时用于抓取任务，但往往侧重于单一阶段的感知或控制，未能形成从目标识别、作业区域定位、抓取姿态生成、接触检测、夹持调节、抓取加固、抬升验证到安全放置的全过程闭环控制。

8、因此，现有技术至少存在以下问题：传统固定式抓取方法难以适应瓷盘类目标位置、姿态和支撑状态的不确定变化；单纯视觉抓取方法缺乏对接触力、滑移状态和夹持安全性的实时感知，容易造成物体滑脱并造成损伤；单纯触觉抓取方法缺乏抓取前的全局定位和姿态规划能力，难以独立完成复杂场景下的目标抓取；现有视觉和触觉融合抓取方法通常缺少对抓取、加固、抬升和放置全过程的连续安全控制。基于上述问题，有必要提出一种将目标分割、作业区域位姿估计、抓取姿态预测、机械臂运动控制、夹爪控制和触觉反馈调节进行协同融合的安全抓取方法及系统。

技术实现思路

1、本发明针对脆弱瓷盘类目标在机器人抓取与放置过程中存在的定位难、抓取难、夹持力难控制以及易滑脱、易破损等问题，提出一种面向脆弱瓷盘的视觉触觉融合闭环安全抓取方法及系统，以解决现有技术中瓷盘目标定位不稳定、作业区域坐标基准不统一、抓取姿态候选难以直接执行、单纯视觉方法缺乏接触状态反馈、触觉反馈缺乏与运动过程协同以及抓取后抬升和放置阶段缺少安全验证等问题。本发明适用于海底沉船考古、文物保护、易损器物转移、精密器件搬运等应用场景，尤其适用于瓷盘、陶盘、玻璃盘、薄壁器皿等易滑脱、易破损目标的机器人自动化抓取与放置任务。通过视觉感知模块获取作业区域和待抓取瓷盘目标的空间信息，结合抓取姿态预测模块生成可执行抓取位姿，通过触觉传感器实时获取夹爪与瓷盘之间的接触状态、受力分布及滑移风险，进而对夹爪闭合、抓取加固、抬升和放置过程进行闭环控制，从而实现对脆弱瓷盘目标的稳定、安全、低损伤抓取。

2、为解决上述技术问题，本发明提供一种面向脆弱瓷盘的视觉触觉融合闭环安全抓取方法。该方法通过视觉感知获取瓷盘目标及作业区域的空间信息，通过抓取姿态预测获得适合二指夹爪执行的候选抓取位姿，并在机械臂执行抓取过程中引入触觉反馈，对接触状态、夹持稳定性和滑脱风险进行实时判断，从而实现脆弱瓷盘目标的安全抓取、稳定抬升和可靠放置。

3、所述方法包括：通过视觉采集模块获取作业场景的彩色图像和深度图像；对瓷盘目标进行实例分割，得到目标掩膜、边界框、类别置信度以及目标区域深度信息；对作业区域或作业参考物进行六自由度位姿估计，并结合相机与机器人之间的标定关系建立作业区域坐标基准；根据瓷盘目标区域及其深度信息生成目标局部点云或抓取输入数据，并生成多个候选抓取位姿；对候选抓取位姿进行安全筛选并转换为机器人基坐标系下的执行位姿；控制机械臂移动至预抓取位置并低速接近瓷盘目标；在夹爪低速闭合过程中同步采集触觉数据，并根据触觉数据判断是否形成稳定接触；在稳定接触后执行夹持确认和抓取后加固；在第一阶段低速抬升过程中进行滑脱风险验证；在验证通过后搬运至放置区域并进行低速安全放置。

4、本发明还提供一种面向脆弱瓷盘的视觉触觉融合闭环安全抓取系统，所述系统包括视觉采集模块、目标分割模块、作业区域位姿估计模块、抓取姿态预测模块、坐标变换模块、机器人执行模块、触觉感知模块和安全控制模块。视觉采集模块用于获取作业场景的彩色图像和深度图像；目标分割模块用于识别并提取瓷盘目标区域；作业区域位姿估计模块用于获取沙箱、托盘、标定板或作业参考物的六自由度位姿，并建立作业坐标基准；抓取姿态预测模块用于根据目标区域和深度信息生成候选抓取姿态；坐标变换模块用于将相机坐标系下的抓取位姿转换为机器人基坐标系下的执行位姿；机器人执行模块包括机械臂和二指夹爪，用于完成接近、夹持、抬升、搬运和放置动作；触觉感知模块用于采集夹爪与瓷盘之间的接触信息；安全控制模块用于根据视觉结果、触觉信息和夹爪状态对抓取过程进行闭环控制。

5、与现有技术相比，本发明至少具有如下有益效果：第一，通过视觉模块对瓷盘目标进行识别和分割，并结合六自由度位姿估计方法建立作业区域坐标基准，能够提高脆弱瓷盘目标定位和机械臂执行位姿转换的准确性。第二，系统不是直接根据目标中心点进行夹取，而是根据目标分割结果、深度信息和抓取姿态预测结果生成多个候选抓取位姿，再综合考虑抓取评分、夹爪最大开口、目标掩膜范围、深度一致性、抓取方向和机械臂可达性等因素进行筛选，能够提高抓取姿态选择的合理性。第三，通过在夹爪端设置触觉感知模块，实时检测接触点数量、接触区域连通性、总接触力及接触状态连续稳定性，能够弥补单纯视觉抓取缺乏接触反馈的不足。第四，通过夹持确认、抓取后加固和第一阶段低速抬升验证，能够在瓷盘完全离开支撑面之前发现不稳定夹持状态，降低掉落、碰撞和二次损伤的风险。第五，视觉信息主要用于抓取前定位、姿态生成和路径引导，触觉信息主要用于抓取中的接触确认、夹持稳定判断和异常状态检测，两者相互补充，使系统既具有全局定位能力，又具有局部接触感知能力。