一种基于视觉检测标定的AGV自动调姿方法及系统与流程

本发明涉及一种agv，尤其是一种基于视觉检测标定的agv自动调姿方法及系统。

背景技术：

1、近年来，随着智能制造的快速发展，仓储物流自动化对智能叉车的自主作业能力提出了更高要求。在托盘识别与自动调姿技术领域，早期主要采用机械导引和固定限位装置，存在定位精度低（±50mm以上）、适应性差的缺陷。随着传感器技术进步，逐渐发展为基于2d激光雷达和rgb相机的视觉识别方案，虽然将精度提升至±20mm左右，但仍易受环境光照、托盘反光等因素干扰。当前，该领域已进入以3d视觉感知和人工智能为核心的技术阶段，通过采用tof（time-of-flight）相机、结构光等三维传感设备，结合深度学习算法和多传感器融合技术，实现了毫米级的高精度托盘识别与位姿估计，同时显著提升了系统对复杂工况和多样化托盘的适应能力。然而，现有方案在动态标定精度、实时性优化以及异构托盘泛化识别等方面仍存在技术瓶颈，亟需开发更高效的视觉处理算法和智能控制策略以进一步突破性能限制。

2、在agv实现托盘叉取的位姿识别过程中，现有主流技术方案存在显著的技术局限性。基于2d视觉的系统虽然成本较低，但由于其依赖二维图像数据，在复杂光照条件、高密度堆叠托盘或背景干扰场景下表现出明显的性能缺陷：一方面存在误报率高、识别率低的问题，另一方面由于缺乏深度信息，无法准确获取托盘倾斜角度、高度差等关键三维姿态参数，导致后续叉取路径规划精度严重受限。而激光雷达方案虽然能够通过点云数据实现环境粗定位，但在实际应用中暴露出两个关键问题：一是对托盘孔位、支撑腿边缘等关键特征的识别精度不足，难以满足高位存取或柔性堆垛场景下的亚厘米级精度要求；二是遇到金属托盘或反光表面时会产生严重的噪声干扰，导致点云数据失真，进一步降低了定位的可靠性和稳定性。

技术实现思路

1、为解决上述问题，本发明提供一种基于视觉检测标定的agv自动调姿方法，具体技术方案为：

2、一种基于视觉检测标定的agv自动调姿方法，包括以下步骤：

3、数据采集：以设定的帧率持续采集托盘及其周围环境的三维深度数据，所述数据以点云的形式呈现，每个点包含空间坐标（x, y, z）和反射强度信息；

4、数据预处理：对数据依次进行去噪和滤波平滑处理；

5、托盘目标检测：基于深度学习目标检测算法，对预处理后的三维深度数据进行特征提取与分析，实现对托盘目标的准确识别与定位，获得托盘边界框及置信度；

6、托盘目标分割：根据获得的托盘边界框进行dbscan聚类，分离托盘主体与附着物；

7、位姿参数计算：通过主成分分析算法确定托盘的主要方向向量，从而计算托盘在三维空间中的倾斜角度，并结合相机标定参数与几何关系，计算托盘中心点在 agv 坐标系下的三维坐标位置，得到托盘完整的位置与姿态参数；

8、路径规划：依据计算得到的托盘位姿信息，结合 agv 当前位置与状态，运用路径规划算法规划 agv 的运动轨迹；

9、实时控制：实时监测其位置与姿态信息，并与规划路径进行对比，通过 pid 控制算法对 agv 的驱动电机与转向机构进行精确控制，调整 agv 的运动速度与方向，使其严格按照规划路径行驶，以实现精准叉取托盘的操作。

10、优选的，所述去噪包括：采用自适应阈值滤波算法，根据不同区域的数据分布特点动态设定阈值，以去除噪声点，保留托盘及其边缘的有效深度信息。

11、优选的，所述滤波平滑处理包括：采用高斯滤波通过卷积操作对每个像素点及其周围邻域内的数据进行加权平均，以使深度数据更加平滑连续。

12、优选的，所述位姿参数计算包括提取托盘主方向向量，然后结合agv里程计数据融合位姿估计结果，获得状态向量。

13、进一步的，所述提取托盘主方向向量时，采用pca算法，计算俯仰角、偏航角、滚转角：

14、；

15、式中：λ1、λ2、λ3为协方差矩阵特征值，λ1>λ2>λ3；托盘中心点坐标(x,y,z)通过icp算法与预设托盘cad模型配准得到，精度±8mm。

16、进一步的，所述结合agv里程计数据时通过扩展卡尔曼滤波融合位姿估计结果，状态向量更新方程：

17、；

18、；

19、式中，fk为状态转移矩阵，hk为观测矩阵，wk、vk为过程噪声与测量噪声；

20、xk表示系统在 第k个时间步的状态向量，xk-1：表示系统在 第k-1个时间步的状态向量，zk 表示 第k个时间步的观测值。

21、优选的，所述路径规划包括：

22、全局路径：基于a*算法生成agv从当前点到托盘中心点的最短路径，考虑货架间距与安全距离；

23、局部避障：采用动态窗口法，在检测到障碍物时，实时调整速度矢量(v,ω)：

24、；

25、式中，α、β、γ为权重系数，heading为方向评价函数，dist为距离评价函数，velocity为速度评价函数。

26、优选的，所述实时控制时进行位姿补偿、高度补充、角度补充和自主纠偏。

27、优选的，位姿补偿：根据托盘实际位姿与agv坐标系的转换关系，调整叉齿高度与角度：

28、高度补偿：δh = z_target - z_current - 托盘厚度；

29、角度补偿：δθ = θ_z_target - θ_z_current；

30、自主纠偏：当托盘横向偏移>30mm时，通过pid控制器调整agv横向速度：

31、；

32、式中，=0.8、=0.1、=0.05为调优参数，e(t)为偏移误差。

33、一种基于视觉检测标定的agv自动调姿系系统，包括：

34、3d tof 相机，用于实时采集托盘及其周围环境的三维深度信息；

35、数据处理模块，用于对采集到的原始数据进行去噪、滤波等预处理操作，提高数据质量；

36、位姿计算模块，通过算法对预处理后的数据进行深度分析，精确计算托盘在三维空间中的位置与姿态参数；

37、agv运动控制模块，用于依据计算得到的位姿参数信息，规划并控制agv的运动轨迹，实现精准叉取作业。

38、与现有技术相比本发明具有以下有益效果：

39、本发明提供的一种基于视觉检测标定的agv自动调姿方法通过提高 agv 托盘叉取作业的效率与准确性，减少货物损坏与设备故障率，降低人工成本与运营成本，为企业带来显著的经济效益。同时，该方案的高通用性与可扩展性，有助于企业快速实现仓储物流自动化升级，提升市场竞争力。

1.一种基于视觉检测标定的agv自动调姿方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于视觉检测标定的agv自动调姿方法，其特征在于，

3.根据权利要求1所述的一种基于视觉检测标定的agv自动调姿方法，其特征在于，

4.根据权利要求1所述的一种基于视觉检测标定的agv自动调姿方法，其特征在于，

5.根据权利要求4所述的一种基于视觉检测标定的agv自动调姿方法，其特征在于，

6.根据权利要求5所述的一种基于视觉检测标定的agv自动调姿方法，其特征在于，

7.根据权利要求1所述的一种基于视觉检测标定的agv自动调姿方法，其特征在于，

8.根据权利要求1所述的一种基于视觉检测标定的agv自动调姿方法，其特征在于，

9.根据权利要求8所述的一种基于视觉检测标定的agv自动调姿方法，其特征在于，

10.一种基于视觉检测标定的agv自动调姿系系统，其特征在于，包括：