一种基于3D点云的机械手视觉自适应引导方法及系统与流程

本技术属于机器人智能控制的，具体涉及一种基于3d点云的机械手视觉自适应引导方法及系统。

背景技术：

1、机器视觉技术作为实现智能制造的关键使能技术之一，已广泛应用于工业自动化领域的各个环节。其中，基于3d点云的机械手视觉引导技术通过获取目标物体的三维空间信息，实现对机械手抓取或放置动作的精确引导，在物料分拣、精密装配、物流搬运等场景中发挥着重要作用。3d点云数据能够提供丰富的空间结构信息，相比二维图像具有更强的抗光照干扰能力和更精确的空间定位能力，因而成为高精度视觉引导系统的首选数据源。

2、其中，基于3d点云的机械手视觉引导方法主要涉及点云采集、特征提取、位姿估计和路径规划等核心环节，通过从点云数据中提取目标物体的几何特征并计算其三维位姿，为机械手提供精确的抓取引导信息。该方法的基本流程为：首先利用3d传感器采集目标场景的点云数据，然后对点云进行预处理和特征提取，再基于特征匹配或学习的方法估计目标物体的位姿，最后根据位姿信息规划机械手的运动轨迹并执行抓取操作。

3、现有技术中，如cn111152229b公开的3d机械视觉的机械手引导方法和装置，cn109927036a公开的一种三维视觉引导机械手抓取的方法及系统，在系统初始化阶段，根据预设的典型工况条件确定点云预处理参数、特征提取算法及位姿估计策略，并在整个工作周期内保持不变。

4、然而，实际工业生产环境中，光照条件变化、物体堆叠状态差异、目标物体遮挡程度不同等工况参数始终处于动态变化之中，当工况偏离初始设定条件时，固定引导策略的适应性显著下降。

5、具体而言，当工况复杂度增加时，预设的特征提取采样率和位姿估计迭代次数可能不足以应对噪声干扰和遮挡问题，导致位姿估计精度降低甚至引导失败；而当工况较为简单时，过高的处理参数又造成计算资源的浪费，影响系统响应速度。

6、因此，如何实现引导策略对工况变化的实时感知与动态调整，使机械手视觉引导系统能够根据当前工况自动选择最优引导参数和策略，已成为当前技术研究中亟待解决的关键难题。

技术实现思路

1、本发明的目的在于提供一种基于3d点云的机械手视觉自适应引导方法及系统，可以有效解决背景技术中固定引导策略无法适应工况变化而导致引导精度下降或引导失败的问题。

2、为实现上述目的，本发明采取的技术方案为：一种基于3d点云的机械手视觉自适应引导方法，包括：

3、采集目标场景的三维点云数据的步骤，以及对所述目标场景的三维点云数据进行特征提取和位姿估计的步骤；

4、还包括：

5、在点云采集步骤与特征提取步骤之间，对每帧点云数据计算密度分布均匀度指标、点云噪声水平量化指标和表面法向一致性指标，组合成三维特征向量；

6、根据所述三维特征向量判定当前工况等级；

7、依据所述工况等级从预设的映射关系中选取对应的引导参数集，所述引导参数集至少包含点云预处理滤波核尺寸、特征提取采样率、位姿估计迭代次数和收敛阈值；

8、采用选取的所述引导参数集执行点云预处理、特征提取和位姿估计。

9、进一步地，所述密度分布均匀度指标的计算方式为：

10、将点云数据空间划分为三维体素网格，统计第个体素的点云数量为，体素总数为；

11、计算所有体素点云数量的算术平均值；

12、计算各体素点云数量的标准差；

13、将标准差与均值的比值定义为密度分布均匀度指标。

14、进一步地，所述点云噪声水平量化指标的计算方式为：

15、对于点云中的每个采样点，检索所述采样点在三维空间中距离最近的个邻近点；

16、计算所述采样点与所述个邻近点之间欧氏距离的局部方差，其中为第个采样点与第个采样点的第个邻近点之间的欧氏距离，为所述采样点与所述个邻近点之间欧氏距离的算术平均值，；

17、对所有采样点的局部方差取全局平均值作为点云噪声水平量化指标，为点云中采样点的总数。

18、进一步地，所述表面法向一致性指标的计算方式为：

19、对于点云中的每个采样点，选取所述采样点在三维空间中距离最近的个邻近点构成邻域集合；

20、构建协方差矩阵，其中表示所述采样点的邻域集合中的第个邻近点的三维空间坐标向量，为所述邻域集合的质心坐标向量；

21、对所述协方差矩阵进行特征值分解得到三个特征值、、，按降序排列；

22、计算全局表面法向一致性指标，为点云中采样点的总数。

23、进一步地，所述判定当前工况等级采用阈值分层决策方法：

24、设置三个特征量各自对应的第一阈值和第二阈值，所述三个特征量为密度分布均匀度指标、点云噪声水平量化指标和表面法向一致性指标；

25、当密度分布均匀度指标小于或等于密度分布均匀度指标对应的第一阈值，且点云噪声水平量化指标小于或等于点云噪声水平量化指标对应的第一阈值，且表面法向一致性指标大于或等于表面法向一致性指标对应的第一阈值时，判定为简单工况；

26、当密度分布均匀度指标小于或等于密度分布均匀度指标对应的第二阈值，且点云噪声水平量化指标小于或等于点云噪声水平量化指标对应的第二阈值，且表面法向一致性指标大于或等于表面法向一致性指标对应的第二阈值时，判定为一般工况；

27、当密度分布均匀度指标大于密度分布均匀度指标对应的第二阈值，或点云噪声水平量化指标大于点云噪声水平量化指标对应的第二阈值，或表面法向一致性指标小于表面法向一致性指标对应的第二阈值时，判定为复杂工况。

28、进一步地，所述判定当前工况等级采用机器学习分类器；

29、所述机器学习分类器为三层全连接前馈网络，所述三层全连接前馈网络的输入层接收所述三维特征向量，所述三层全连接前馈网络的隐藏层包含个节点并采用线性整流单元激活函数，所述三层全连接前馈网络的输出层包含个节点并采用softmax激活函数，所述输出层输出简单工况等级标签、一般工况等级标签和复杂工况等级标签三个等级标签的概率分布，以概率值最高的类别作为所述机器学习分类器输出的工况等级标签。

30、进一步地，所述引导参数集中：

31、简单工况对应的引导参数集为：点云预处理滤波核尺寸为毫米至毫米、特征提取采样率为至、位姿估计迭代次数为次至次、收敛阈值为米至米；

32、一般工况对应的引导参数集为：点云预处理滤波核尺寸为毫米至毫米、特征提取采样率为至、位姿估计迭代次数为次至次、收敛阈值为米至米；

33、复杂工况对应的引导参数集为：点云预处理滤波核尺寸为毫米至毫米、特征提取采样率为至、位姿估计迭代次数为次至次、收敛阈值为米至米。

34、进一步地，在执行机械手生成运动轨迹、执行抓取动作和搬运至放料位置并释放的过程中，以每秒帧至帧的频率持续采集目标场景的点云数据，进行工况特征提取与工况等级判定；

35、当检测到工况等级发生变化时，触发引导参数集切换流程，所述引导参数集切换流程采用线性插值方式将当前参数集的各参数值逐步过渡至新等级对应的参数值，总过渡时长设定为秒至秒。

36、进一步地，所述计算密度分布均匀度指标、点云噪声水平量化指标和表面法向一致性指标的步骤在工况感知单元中执行；

37、所述工况感知单元采用并行计算架构，所述并行计算架构为：将点云数据按空间区域划分为若干数据块，每个数据块分配独立的计算线程，各线程并行执行对应的特征计算任务，计算完成后将各数据块的结果汇总输出。

38、进一步地，

39、一种基于3d点云的机械手视觉自适应引导系统，包括：

40、点云采集模块，所述点云采集模块用于采集目标场景的三维点云数据；

41、工况感知单元，所述工况感知单元部署于点云采集模块与特征提取模块之间，所述工况感知单元接收所述点云采集模块输出的每帧点云数据，所述工况感知单元用于对每帧点云数据计算密度分布均匀度指标、点云噪声水平量化指标和表面法向一致性指标，组合成三维特征向量；

42、工况分类模型模块，所述工况分类模型模块接收所述工况感知单元输出的三维特征向量，所述工况分类模型模块用于根据所述三维特征向量判定当前工况等级；

43、引导策略参数自适应选择模块，所述引导策略参数自适应选择模块接收所述工况分类模型模块输出的工况等级标签，所述引导策略参数自适应选择模块用于依据所述工况等级从预设的映射关系中选取对应的引导参数集，所述引导参数集至少包含点云预处理滤波核尺寸、特征提取采样率、位姿估计迭代次数和收敛阈值；

44、特征提取模块，所述特征提取模块接收所述引导策略参数自适应选择模块输出的点云预处理滤波核尺寸和特征提取采样率，所述特征提取模块用于采用所述点云预处理滤波核尺寸和所述特征提取采样率执行点云预处理和特征提取；

45、位姿估计模块，所述位姿估计模块接收所述引导策略参数自适应选择模块输出的位姿估计迭代次数和收敛阈值，所述位姿估计模块用于采用所述位姿估计迭代次数和所述收敛阈值执行位姿估计，输出目标物体的三维位姿信息；

46、轨迹规划与执行模块，所述轨迹规划与执行模块接收所述位姿估计模块输出的三维位姿信息，所述轨迹规划与执行模块用于根据所述三维位姿信息规划机械手运动轨迹并执行抓取操作。

47、综上所述，本技术包括以下至少一种有益技术效果：

48、1、本发明通过在3d点云采集模块后增设工况感知单元，实时分析点云数据的密度分布特征、噪声特征和表面法向一致性特征，实现对工作环境变化的实时感知，将传统的静态引导策略升级为动态感知调整的闭环系统，有效解决了固定引导策略在工况变化时适应性差的技术难题。

49、2、本发明通过建立工况分级体系和对应的引导参数集映射关系，简单工况下采用较低的处理参数以节省计算资源，复杂工况下采用较高的处理参数以确保引导精度，实现了计算资源与引导精度之间的最优平衡，整体系统响应速度较现有技术得到提升。

50、3、本发明工况分类模型采用多特征融合的决策机制，综合考量环境复杂度、目标物体可见度及干扰程度三个维度，分级判定具有较高的准确率，确保在不同工业场景下都能选择最优的引导策略，显著降低了引导失败率，提高了机械手抓取的成功率。