一种具身智能轻量化6D位姿估计跟踪方法、设备及介质与流程

本发明涉及人工智能，尤其涉及一种具身智能轻量化6d位姿估计跟踪方法、设备及介质。

背景技术：

1、在具身智能与机器人操作等应用场景中，机器视觉系统需要准确获取目标物体的六自由度位姿，以支撑抓取、装配等精细操作。进一步地，六自由度位姿估计涉及位置与朝向的联合确定，且常需部署于计算资源受限的边缘设备，对算法实时性与精度提出了较高要求。

2、目前，在现有技术中，一类方法依赖物体的物理模型进行迭代配准，通过最小化几何误差逐步逼近真实位姿，此类方法在理想条件下精度较高，但迭代过程计算开销大，难以满足实时处理需求。进一步地，另一类方法基于数据驱动方式直接回归位姿，速度较快，但在遮挡、噪声等复杂条件下精度明显下降。受限于上述现有技术中存在的不足，现有方法在实际部署时往往需要在精度与实时性之间进行妥协，难以在边缘设备上同时实现实时且高精度的六自由度物体位姿估计与跟踪。

技术实现思路

1、本发明提供了一种具身智能轻量化6d位姿估计跟踪方法、设备及介质，旨在解决的技术问题是：如何提供一种能够在边缘设备上实现实时且高精度的六自由度物体位姿估计的有效解决方案。

2、第一方面，本发明提供了一种具身智能轻量化6d位姿估计跟踪方法，其包括：

3、获取当前帧rgb-d图像；

4、对所述当前帧rgb-d图像进行共享特征编码，得到当前帧融合特征；

5、对所述当前帧融合特征进行初始化位姿回归，得到初始6d位姿；

6、根据所述初始6d位姿和所述当前帧融合特征，通过可微迭代最近点网络层计算位姿残差，并基于所述位姿残差对所述初始6d位姿进行迭代更新，得到精确6d位姿；

7、其中，所述可微迭代最近点网络层为可微分的神经网络层，所述可微迭代最近点网络层以所述初始6d位姿和所述当前帧融合特征为输入，对所述当前帧融合特征进行基于所述初始6d位姿的可微特征关联，并根据可微特征关联结果回归输出所述位姿残差。

8、可选地，所述根据所述初始6d位姿和所述当前帧融合特征，通过可微迭代最近点网络层计算位姿残差，并基于所述位姿残差对所述初始6d位姿进行迭代更新，得到精确6d位姿，包括：

9、判断当前帧是否为跟踪模式；

10、若为跟踪模式，则获取所述当前帧rgb-d图像的上一帧位姿，所述上一帧位姿为所述当前帧rgb-d图像的上一帧rgb-d图像的精确6d位姿，将所述上一帧位姿转换为先验变换矩阵，将所述先验变换矩阵作用于所述当前帧融合特征，得到先验对齐特征，将所述先验对齐特征和所述初始6d位姿输入所述可微迭代最近点网络层，计算得到第一位姿残差；

11、若不为跟踪模式，则将所述当前帧融合特征和所述初始6d位姿输入所述可微迭代最近点网络层，计算得到第二位姿残差；

12、基于所述第一位姿残差或所述第二位姿残差对所述初始6d位姿进行迭代更新，得到所述精确6d位姿。

13、可选地，所述对所述当前帧rgb-d图像进行共享特征编码，得到当前帧融合特征，包括：

14、对所述当前帧rgb-d图像中的深度图像进行双边滤波，得到去噪深度图像；

15、对所述去噪深度图像进行深度孔洞填充，得到预处理深度图像；

16、对所述预处理深度图像进行点云化，得到点云数据；

17、对所述当前帧rgb-d图像中的rgb图像进行二维卷积，得到rgb特征；

18、对所述点云数据进行三维稀疏卷积，得到几何特征；

19、对所述几何特征进行上采样，使上采样后的几何特征与所述rgb特征的空间分辨率一致，得到对齐几何特征；

20、对所述rgb特征和所述对齐几何特征进行注意力加权融合，得到逐点融合权重，并根据所述逐点融合权重对所述rgb特征和所述对齐几何特征进行加权求和，得到rgb-d融合特征；

21、对所述rgb-d融合特征进行多尺度下采样，得到多个尺度的下采样特征；

22、将所述多个尺度的下采样特征进行拼接，并对拼接后的特征进行卷积降维，得到所述当前帧融合特征。

23、可选地，所述对所述当前帧rgb-d图像进行共享特征编码，得到当前帧融合特征，包括：

24、对所述当前帧rgb-d图像中的深度图像进行双边滤波，得到去噪深度图像；

25、对所述去噪深度图像进行深度孔洞填充，得到预处理深度图像；

26、对所述预处理深度图像进行点云化，得到点云数据；

27、对所述点云数据进行最远点采样，得到采样点集；

28、根据所述采样点集构建局部邻域图，并对所述局部邻域图进行图卷积，得到局部几何特征；

29、对所述局部几何特征通过多层感知机进行逐点特征提取，并对提取到的逐点特征进行最大池化，得到全局几何特征；

30、对所述当前帧rgb-d图像中的rgb图像进行二维卷积，得到rgb特征；

31、将所述全局几何特征广播至与所述rgb特征相同的空间尺寸，并与所述rgb特征进行拼接，得到拼接特征；

32、对所述拼接特征进行通道注意力加权，得到rgb-d融合特征；

33、对所述rgb-d融合特征进行多尺度下采样，得到多个尺度的下采样特征；

34、将所述多个尺度的下采样特征进行拼接，并对拼接后的特征进行卷积降维，得到所述当前帧融合特征。

35、可选地，所述对所述当前帧融合特征进行初始化位姿回归，得到初始6d位姿，包括：

36、对所述当前帧融合特征进行语义分割，得到前景点集；

37、对所述前景点集中的每个点进行方向向量预测，得到所述前景点集中每个点指向物体关键点的方向向量，由所述前景点集中各点指向物体关键点的方向向量构成方向向量集合；

38、对所述方向向量集合进行聚类投票，得到多个关键点位置；

39、对所述多个关键点位置进行随机抽样一致滤波，剔除离群关键点，得到有效关键点位置；

40、根据所述有效关键点位置和预先存储的物体模型，通过最小二乘拟合，得到所述初始6d位姿。

41、可选地，所述对所述当前帧融合特征进行初始化位姿回归，得到初始6d位姿，包括：

42、对所述当前帧融合特征进行全局平均池化，得到全局特征；

43、将所述全局特征输入平移回归层，得到平移向量；

44、将所述全局特征输入旋转回归层，得到旋转四元数；

45、对所述旋转四元数进行归一化处理，得到归一化旋转四元数；

46、将所述平移向量和所述归一化旋转四元数组合，得到所述初始6d位姿。

47、可选地，所述方法还包括：

48、获取训练数据集，所述训练数据集包含多个样本rgb-d图像和与每个样本rgb-d图像对应的真值位姿；

49、对每个样本rgb-d图像进行共享特征编码，得到样本融合特征；

50、对所述样本融合特征进行初始化位姿回归，得到样本初始6d位姿；

51、根据所述样本初始6d位姿和所述样本融合特征，通过所述可微迭代最近点网络层计算样本位姿残差，并基于所述样本位姿残差对所述样本初始6d位姿进行迭代更新，得到样本精确6d位姿；

52、根据所述样本初始6d位姿与所述真值位姿计算位姿损失，根据所述样本精确6d位姿与所述真值位姿计算点对距离损失；

53、采用课程学习策略，先仅根据所述位姿损失对用于执行所述初始化位姿回归的网络参数进行训练，再联合根据所述位姿损失和所述点对距离损失对用于执行所述初始化位姿回归和所述可微迭代最近点网络层的网络参数进行训练，得到训练完成的一体化网络参数；

54、将所述训练完成的一体化网络参数转换为边缘推理格式并进行int8量化，得到边缘设备实时推理模型。

55、可选地，所述将所述训练完成的一体化网络参数转换为边缘推理格式并进行int8量化，得到边缘设备实时推理模型，包括：

56、获取校准数据集，所述校准数据集包含多张rgb-d图像；

57、将所述校准数据集中的每张rgb-d图像输入加载有所述训练完成的一体化网络参数的推理网络，统计所述推理网络中各网络层的激活值范围；

58、根据所述推理网络中各网络层的激活值范围，确定所述推理网络中各网络层对应的量化尺度；

59、基于所述推理网络中各网络层对应的量化尺度，对所述训练完成的一体化网络参数进行逐层int8量化，得到量化后网络参数；

60、将所述量化后网络参数转换为边缘推理格式，并将转换格式后的量化后网络参数和所述推理网络中各网络层对应的量化尺度封装，得到所述边缘设备实时推理模型。

61、第二方面，本发明还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

62、第三方面，本发明还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

63、本发明提供了一种具身智能轻量化6d位姿估计跟踪方法、设备及介质，对当前帧rgb-d图像进行共享特征编码得到当前帧融合特征，当前帧融合特征同时作为初始化位姿回归和可微迭代最近点网络层的输入，避免了对同一图像分别提取特征带来的重复计算，降低整体计算开销。进一步地，对当前帧融合特征进行初始化位姿回归快速得到初始6d位姿，为后续优化提供接近真实位姿的起始值，使迭代优化无需从较大误差状态开始，减少了收敛所需的迭代次数，提升处理速度。进一步地，可微迭代最近点网络层以初始6d位姿和当前帧融合特征为输入，通过可微特征关联建立对应关系并回归输出位姿残差，将传统不可微的迭代最近点优化过程转化为可微神经网络运算，保留了迭代精修提高位姿精度的能力，同时使该过程可通过训练优化，提升位姿修正的准确性。进一步地，基于位姿残差对初始6d位姿进行迭代更新，逐步减小位姿误差，得到精确6d位姿。由此，该方法在降低计算开销的同时提高位姿估计精度，能够在边缘设备上实现实时且高精度的六自由度物体位姿估计。