基于改进像素投票的钢坯端面6D位姿估计方法及系统

本发明涉及工业机器视觉及自动化，具体为基于改进像素投票的钢坯端面6d位姿估计方法及系统。

背景技术：

1、钢坯端面6d位姿的准确估计是实现钢坯自动化夹取、切割与修磨的关键前置环节。传统位姿估计依赖图像局部特征点检测与几何匹配，但钢坯端面经火焰切割后表面氧化发黑、纹理高度重复且缺乏明显角点，加之工业现场光照不均匀，常规特征提取器难以获得稳定可重复的描述子，导致基于特征匹配的位姿解算频繁失效。基于深度学习的直接位姿回归方法对钢坯这种弱纹理对象的泛化能力有限，难以满足变姿态工况下的精度要求。像素投票网络通过预测图像中每个像素指向物体关键点的方向向量，再以投票方式定位二维关键点，为弱纹理目标位姿估计提供了有效方案。

2、但此类方法输出的单位方向向量对目标尺度变化敏感，当相机与钢坯端面的工作距离波动时，投票交点的空间分布会趋于分散，造成二维关键点发生显著偏移。现有的投票后处理流程通常只给出关键点的最大似然估计，并不度量各关键点因遮挡或投票密度不同而产生的不确定性，后续透视n点位姿求解对所有关键点赋予相同权重，易受高不确定性点的干扰，位姿结果存在明显抖动。此外，以单一透视n点解算作为最终位姿，未能充分挖掘深层特征对位姿残差的修正能力。

3、因此，在仅依赖单帧rgb图像的条件下，需要解决钢坯端面像素投票的尺度不变性问题，以及关键点不确定性难以建模和有效利用的问题。

技术实现思路

1、本发明提出一种基于改进像素投票的钢坯端面6d位姿估计方法及系统，目的在于解决现有像素投票方法中投票向量对目标尺度敏感，以及位姿解算忽略关键点不确定性的缺陷，在钢坯端面弱纹理、多尺度和光照变化场景下获得准确且鲁棒的六自由度位姿。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种基于改进像素投票的钢坯端面6d位姿估计方法，包括以下步骤：

3、通过深度相机采集钢坯端面的rgb图像；对所述rgb图像进行高斯滤波与直方图均衡化，增强图像对比度并抑制噪声；基于钢坯端面三维模型采用最远点采样得到分布于模型表面的3d关键点，使关键点均匀覆盖端面区域，保证后续位姿解算的全面性；

4、将预处理后的rgb图像输入改进像素投票网络，同步输出钢坯端面语义分割掩码与尺度不变单位向量场；该网络包含共享特征编码器、语义分割解码器和向量场回归解码器，共享特征编码器对图像提取多尺度特征图，语义分割解码器基于多尺度特征图生成语义分割掩码，精确分离前景区域，向量场回归解码器预测逐像素指向各3d关键点的单位向量，并经由尺度自适应归一化层对各单位向量进行归一化，输出尺度不变单位向量场，从而适应钢坯端面在图像中出现的尺度变化，提升向量场预测的一致性和鲁棒性；

5、基于语义分割掩码与尺度不变单位向量场筛选前景像素并进行投票，对每个3d关键点，根据单位向量场计算前景像素的投票位置并汇集生成2d候选点集，采用随机抽样一致性拟合二维高斯分布，对各候选假设进行投票评分，以最高得分的聚类均值作为2d关键点坐标，并根据投票内点计算协方差矩阵，优选的，计算投票内点集的样本协方差并添加预设的各向同性噪声协方差矩阵进行融合，得到表征定位不确定性的协方差矩阵，使得二维关键点定位信息带有可信度度量；

6、根据相机内参建立所述2d关键点与3d关键点间的一一对应关系，形成2d-3d匹配点对；

7、将匹配点对与协方差矩阵输入不确定性驱动透视n点算法，依据协方差矩阵构造马氏距离加权的重投影误差函数，通过迭代求解非线性最小二乘问题，最小化马氏距离解算位姿，输出初始位姿，该过程能够利用协方差信息抑制高不确定性点对的影响，提高初始位姿解算的精度和抗噪能力；

8、将初始位姿与所述改进像素投票网络输出的深层融合特征输入位姿预测器，得到最优位姿；优选的，深层融合特征由共享特征编码器提取的高层语义特征图和低层纹理特征图进行逐通道拼接并卷积融合得到，兼顾了语义信息和细节纹理信息；位姿预测器包括残差网络和迭代优化器，残差网络以初始位姿对应的渲染特征与深层融合特征拼接作为输入，输出位姿残差，迭代优化器反复应用位姿残差修正初始位姿，生成最优位姿，实现由粗到精的位姿优化。

9、作为本发明的一个技术方案，所述改进像素投票网络通过多任务损失函数训练，多任务损失函数包含语义分割的交叉熵损失和向量场回归的平滑l1损失，并在向量场回归损失中引入尺度自适应归一化层参数的约束项，以保障网络训练稳定并维持向量场尺度一致性，进一步提升整体位姿估计的可靠性。

10、本发明还提供一种基于改进像素投票的钢坯端面6d位姿估计系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时，实现上述基于改进像素投票的钢坯端面6d位姿估计方法的步骤。该系统可部署于工业现场，能够对钢坯端面进行实时、高精度的6d位姿估计，为自动化吊装或分拣提供关键位姿信息，增强复杂光照和尺度条件下的系统鲁棒性。

11、在上述技术方案中，本发明提供的技术效果和优点：

12、改进像素投票网络中向量场回归解码器末端增设的尺度自适应归一化层，对各像素预测的关键点方向向量施加尺度不变约束，使学习到的单位向量场在钢坯端面处于不同拍摄距离时保持一致的指向响应特性。基于该尺度不变单位向量场进行前景像素投票，生成的候选假设点聚集程度显著提高，二维关键点坐标的定位偏差大幅降低，缓解了因目标尺度变化引起的投票发散问题，保证了在多尺度条件下的关键点检测重复性。 通过随机抽样一致性投票生成二维关键点坐标的同时，利用内点集计算样本协方差并融合各向同性噪声，输出反映定位不确定性的协方差矩阵。将该协方差矩阵与匹配点对同步输入不确定性驱动透视n点算法，构造以马氏距离为度量的重投影误差函数，在迭代优化过程中自适应地为高不确定性关键点分配较低贡献权重，而低不确定性关键点主导位姿解算，有效抑制局部遮挡或向量场预测噪声对位姿估计的干扰，从而在粗糙钢坯端面场景中获得平稳的初始位姿。由共享特征编码器提取的高层语义特征与低层纹理特征经拼接卷积后形成的深层融合特征，与初始位姿下的模型渲染特征共同表达后送入位姿预测器，通过残差网络预测位姿残差并反复迭代修正，利用跨模态特征互补精细对齐轮廓与纹理信息，消除粗位姿的剩余偏差，使最终位姿在钢坯端面纹理稀疏、光照变化的条件下仍能稳定收敛到高精度最优解。

1.基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，所述改进像素投票网络包括共享特征编码器、语义分割解码器和向量场回归解码器；

3.根据权利要求1所述的基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，所述基于钢坯端面三维模型采用最远点采样得到分布于模型表面的3d关键点，包括：

4.根据权利要求1所述的基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，所述采用随机抽样一致性生成各所述3d关键点的2d候选假设，投票评分估计空间分布得2d关键点坐标与协方差矩阵，包括：

5.根据权利要求4所述的基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，所述根据内点计算协方差矩阵，包括：

6.根据权利要求1所述的基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，所述将所述匹配点对与所述协方差矩阵输入不确定性驱动透视n点算法，最小化马氏距离解算位姿，输出初始位姿，包括：

7.根据权利要求1所述的基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，所述位姿预测器包括残差网络和迭代优化器；

8.根据权利要求1所述的基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，所述深层融合特征由所述改进像素投票网络中的共享特征编码器提取的高层语义特征图和低层纹理特征图进行逐通道拼接并卷积融合得到。

9.根据权利要求1或2所述的基于改进像素投票的钢坯端面6d位姿估计方法，其特征在于，所述改进像素投票网络通过多任务损失函数训练，所述多任务损失函数包含语义分割的交叉熵损失和向量场回归的平滑l1损失，并在向量场回归损失中引入尺度自适应归一化层参数的约束项。

10.基于改进像素投票的钢坯端面6d位姿估计系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时，实现上述权利要求1至9任意一项所述基于改进像素投票的钢坯端面6d位姿估计方法的步骤。