概率驱动型RGB-D语义实例去重与盘点方法及系统

本发明属于移动机器人视觉感知与多目标跟踪，尤其涉及概率驱动型rgbd语义实例去重与盘点方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、在自动化物资盘点与资产清查任务中，移动机器人需自主完成物资种类与数量的精准统计。当前，基于深度学习的目标检测网络能够提供单帧图像中目标的位置与类别信息。然而，连续视频流观测下，同一物资实例会被重复检测，若直接累加单帧结果将导致严重的重复计数问题。

3、现有跨帧目标关联与去重方法主要分为两类。第一类基于二维图像平面的多目标跟踪算法，利用外观特征与运动预测维持身份一致性，但不同深度的物体在图像平面发生投影重叠时，外观与二维运动特征难以区分深度差异，导致身份频繁切换。第二类方法利用rgb-d传感器将检测结果提升至三维空间，基于固定欧氏距离阈值进行聚类关联，但消费级深度传感器的测量噪声具有显著的异方差特性，其误差标准差随测量距离非线性放大。采用统一阈值时，近处易将相邻目标错误融合，远处则会将深度波动误判为新生实例。此外，在缺乏高精度全局里程计补偿的轻量化系统中，相机自运动引起的局部坐标漂移会进一步加剧上述矛盾。

4、因此，亟需一种能够自适应深度传感器噪声分布、在缺乏全局位姿修正条件下有效抑制重复计数的鲁棒性物资盘点方法。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了概率驱动型rgbd语义实例去重与盘点方法及系统，旨在解决移动机器人物资盘点中因深度传感器噪声异方差、缺乏全局位姿修正导致的重复计数和身份切换问题。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、第一方面，公开了概率驱动型rgbd语义实例去重与盘点方法，包括：

4、获取rgb-d图像中待盘点物资的二维检测框、类别标签及三维观测向量；

5、构建与测量距离相关的异方差观测不确定性模型，为每个三维观测向量动态分配对角协方差矩阵；

6、构建已确认物资实例的状态集合，基于空间-语义级联匹配策略将当前观测与已有实例进行关联，其中语义类别一致性作为硬约束，马氏距离作为软约束依据所述协方差矩阵自适应调节关联阈值；

7、对匹配成功的观测，利用卡尔曼滤波更新实例的三维位置与状态协方差；对未匹配的观测，经生命周期状态机连续确认后注册为新实例并纳入盘点清单。

8、进一步的，所述三维观测向量的获取过程包括：在所述二维检测框的中心区域构建感兴趣区域，对深度图进行阈值截断，取有效深度值的中值作为代表深度。

9、进一步的，依据针孔相机模型，将检测框中心像素坐标与所述代表深度反投影至相机坐标系，得到所述三维观测向量。

10、进一步的，所述异方差观测不确定性模型中，所述对角协方差矩阵的横向方差设为固定常数；深度方向方差建模为基础噪声标准差与距离平方的放大系数之和。

11、进一步的，所述马氏距离平方服从自由度为3的卡方分布，所述关联阈值取显著性水平对应的理论分位数。

12、进一步的，所述卡尔曼滤波更新省略运动学预测方程，利用当前观测计算卡尔曼增益，融合观测信息更新实例的三维位置均值与状态协方差。

13、进一步的，所述生命周期状态机中，新生实例初始为暂态，仅在连续成功匹配预设次数后更新为确认态并纳入盘点清单。

14、第二方面，公开概率驱动型rgbd语义实例去重与盘点系统，包括：

15、观测提取模块，用于获取rgb-d图像中待盘点物资的二维检测框、类别标签及三维观测向量；

16、不确定性建模模块，用于构建与测量距离相关的异方差观测不确定性模型，为每个三维观测向量动态分配对角协方差矩阵；

17、级联匹配模块，用于维护已确认物资实例的状态集合，并基于空间-语义级联匹配策略将当前观测与已有实例进行关联；所述级联匹配策略中，语义类别一致性作为硬约束，马氏距离作为软约束，依据所述协方差矩阵自适应调节关联阈值；

18、状态管理模块，用于对匹配成功的观测，利用卡尔曼滤波更新对应实例的三维位置与状态协方差；对未匹配的观测，经生命周期状态机连续确认后注册为新实例并纳入盘点清单。

19、第三方面，公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述方法中的步骤。

20、第四方面，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述方法中的步骤。

21、以上一个或多个技术方案存在以下有益效果：

22、本发明基于rgb-d深度传感器测量噪声随距离非线性放大的物理特性，将马氏距离作为空间关联度量，使空间匹配的容忍度随观测距离自适应变化。相比于传统固定欧氏距离阈值方法，本发明从根本上克服了近距离目标易被错误融合、远距离深度波动易被误判为新生实例的矛盾，显著提升了复杂深度场景下跨帧关联的准确性与鲁棒性。

23、本发明将语义类别一致性作为硬约束与马氏距离软约束相级联，在投影重叠等复杂场景下有效区分不同深度的同类及异类目标，避免了基于二维外观特征的多目标跟踪算法在遮挡或重叠场景中身份频繁切换的问题，保证了盘点清单中物资类别归属的正确性和身份一致性。

24、本发明通过连续多帧匹配确认后方可注册新实例的触发机制，有效抑制了单帧视觉误检引入的虚假实例；同时基于物资静止的合理假设，去除了超时遗忘机制，避免了因短暂遮挡导致已确认实例被错误移除。二者协同作用，保障了盘点结果的精确性与完整性。

25、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

1.一种概率驱动型rgbd语义实例去重与盘点方法，其特征在于，包括：获取rgb-d图像中待盘点物资的二维检测框、类别标签及三维观测向量；

2.如权利要求1所述的概率驱动型rgbd语义实例去重与盘点方法，其特征在于，所述三维观测向量的获取过程包括：在所述二维检测框的中心区域构建感兴趣区域，对深度图进行阈值截断，取有效深度值的中值作为代表深度。

3.如权利要求2所述的概率驱动型rgbd语义实例去重与盘点方法，其特征在于，依据针孔相机模型，将检测框中心像素坐标与所述代表深度反投影至相机坐标系，得到所述三维观测向量。

4.如权利要求1所述的概率驱动型rgbd语义实例去重与盘点方法，其特征在于，所述异方差观测不确定性模型中，所述对角协方差矩阵的横向方差设为固定常数；深度方向方差建模为基础噪声标准差与距离平方的放大系数之和。

5.如权利要求1所述的概率驱动型rgbd语义实例去重与盘点方法，其特征在于，所述马氏距离平方服从自由度为3的卡方分布，所述关联阈值取显著性水平对应的理论分位数。

6.如权利要求1所述的概率驱动型rgbd语义实例去重与盘点方法，其特征在于，所述卡尔曼滤波更新省略运动学预测方程，利用当前观测计算卡尔曼增益，融合观测信息更新实例的三维位置均值与状态协方差。

7.如权利要求1所述的概率驱动型rgbd语义实例去重与盘点方法，其特征在于，所述生命周期状态机中，新生实例初始为暂态，仅在连续成功匹配预设次数后更新为确认态并纳入盘点清单。

8.概率驱动型rgbd语义实例去重与盘点系统，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一项所述的概率驱动型rgbd语义实例去重与盘点方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行上述权利要求1-7任一项所述的概率驱动型rgbd语义实例去重与盘点方法的步骤。