基于YOLOv5与点云聚类的3D物体识别计数方法与流程

本发明涉及计算机视觉目标检测点云处理，具体涉及一种基于yolov5与点云聚类的3d物体识别计数方法。

背景技术：

1、在工业小件检测、零售商品盘点、实验室耗材统计、药品分拣核对等近距离识别计数场景中，通常需要对桌面、货架、传送带或分拣台上的多个物体进行快速识别和数量统计。该类场景中的目标物体往往尺寸较小、外观相似、摆放密集，并且容易出现相互遮挡、上下堆叠、边缘贴合以及包装图案干扰等情况。若识别计数结果不准确，会导致后续盘点、分拣、核对或出入库管理需要大量人工复核，降低作业效率，并影响自动化系统的实际应用可靠性。

2、现有技术中，基于二维图像的目标检测与计数方法通常通过普通 rgb 相机采集图像，并利用目标检测模型对图像中的目标区域进行定位、分类和计数。该类方法具有部署成本低、处理速度较快的优点，但其主要依赖目标的颜色、纹理、轮廓等外观特征，缺少对目标真实空间厚度、三维凸起状态和深度层级关系的判断能力。在近距离桌面场景中，海报、屏幕显示画面、包装盒表面印刷图案、标签贴纸等平面图像可能与真实物体具有相似的视觉纹理，从而被误识别为真实三维物体；对于上下堆叠、相互遮挡或密集贴合的多个物体，二维检测框也难以准确区分不同物体的空间层级和真实边界，容易出现漏检、重复计数或将多个物体误判为单个物体的问题。

3、另一类现有技术采用 rgb-d 设备、结构光相机、飞行时间相机、双目视觉设备或三维点云处理方式获取空间信息，并结合二维图像特征和深度信息进行目标检测与计数。该类方案虽然能够在一定程度上利用深度差异判断目标的空间结构，但通常依赖专用深度采集设备，硬件成本和安装标定要求较高；同时，在 0.2 米至 1.0 米的近距离检测场景中，深度数据容易受到相机最小测距、深度量化误差、边缘飞点、局部空洞、反光材质以及小尺寸薄片状物体厚度不足等因素影响，导致真实物体与平面干扰之间的深度差异难以稳定区分。

4、此外，现有部分深度过滤或点云处理方法通常采用固定阈值或全局点云计算方式进行判断，难以适应不同检测距离、不同目标高度以及不同堆叠状态下的场景变化。当阈值设置过于严格时，真实小件物体或低高度物体容易被误剔除；当阈值设置过于宽松时，平面印刷图案、屏幕画面或包装贴图又容易被保留为误检目标。若对所有检测区域均执行复杂点云分析，还会增加不必要的计算量，使系统难以兼顾批量处理场景中的检测准确性和实时性。

5、因此，现有技术在近距离三维物体识别与计数场景中仍存在平面干扰误检率高、堆叠遮挡场景计数不准确、专用深度设备成本和适配要求较高、点云处理计算负担较重等问题，亟需一种适用于近距离场景、能够兼顾平面干扰剔除、堆叠物体计数准确性和处理效率的三维物体识别与计数方法。

技术实现思路

1、针对近距离物体识别与计数场景中，现有二维图像检测方法难以区分平面图案与真实三维物体、难以准确处理堆叠遮挡目标，而现有 rgb-d 或点云检测方法又存在设备成本高、近距离深度稳定性不足和计算负担较重的问题，本发明的目的是提出基于yolov5与点云聚类的3d物体识别计数方法。

2、所述方法包括如下步骤：

3、s1、构建目标检测数据集，并根据所述数据集训练yolov5模型；

4、s2、近距离场景自适应参数初始化配置，并设置平面过滤双阈值；

5、s3、基于待检测rgb图像和训练完的yolov5模型，获取与待检测rgb图像像素坐标系一致的候选目标区域；

6、s4、针对待检测rgb图像，生成并预处理近距离替代深度图；

7、s5、提取并量化候选目标区域的有效深度值，并基于平面过滤双阈值，进行平面干扰第一次筛选，获得有效三维物体候选框；

8、s6、基于有效三维物体候选框，生成三维点云，并进行平面干扰第二次筛选，获得真实三维物体检测框；

9、s7、深度异常驱动的点云密度聚类与精准计数。

10、进一步，步骤s2中，自适应初始化配置如下参数：有效检测深度范围和相机内参矩阵；

11、平面过滤双阈值包括：深度方差阈值和深度厚度阈值；

12、平面过滤双阈值的计算式为：，，其中，表示深度方差基础阈值，表示深度厚度基础阈值，表示检测距离，表示基准检测距离。

13、进一步，步骤s3中，获取与待检测rgb图像像素坐标系一致的候选目标区域包括如下步骤：

14、s3.1、将待检测rgb图像，输入训练完的yolov5模型，获得若干检测框；

15、s3.2、设置置信度前置阈值，当检测框的置信度大于等于时，将当前检测框记为候选目标区域，反之，则丢弃当前检测框；

16、s3.3、将候选目标区域的坐标，转换为待检测rgb图像中的像素级检测框坐标；

17、s3.4、由所述像素级检测框坐标围成的矩形区域，作为与待检测 rgb 图像像素坐标系一致的候选目标区域。

18、进一步，针对待检测rgb图像，生成近距离替代深度图包括如下步骤：

19、步骤1：针对待检测rgb图像依次进行灰度化处理和去噪处理，得到去噪后的灰度图；

20、步骤2：针对执行sobel梯度计算，分别得到x轴方向梯度图和y轴方向梯度图，并根据和计算梯度幅值图；

21、步骤3：基于和构建初始近距离替代深度图，

22、

23、其中，表示亮度反向响应权重系数，表示梯度权重系数，；

24、步骤4：将映射为近距离替代深度图，

25、

26、其中，和分别表示初始近距离替代深度图的最小像素值和最大像素值，和分别表示有效检测深度范围的最小值和最大值。

27、进一步，所述预处理近距离替代深度图包括：清空或覆盖上一帧深度图缓存、数据转换以及过滤无效值。

28、进一步，所述提取并量化候选目标区域的有效深度值具体为：将与待检测rgb图像像素坐标系一致的候选目标区域，映射至预处理后的近距离替代深度图中的对应像素区域，得到候选目标区域在深度图中的左边界、右边界、上边界以及下边界像素坐标、、和；

29、根据、、和，在预处理后的近距离替代深度图中进行裁剪，得到与候选目标区域对应的矩形像素级兴趣区域roi；

30、遍历所述像素级兴趣区域roi，读取每个像素点的深度值，将满足预设有效量程的像素点深度值，存入有效深度值集合；

31、针对进行数值统计计算，得到平均深度、深度方差、最小深度、最大深度以及深度厚度。

32、进一步，所述基于平面过滤双阈值，进行平面干扰第一次筛选，具体为：

33、若且，则判定当前候选目标区域为平面贴图干扰，直接剔除；

34、反之，判定为有效三维物体候选框。

35、进一步，所述基于有效三维物体候选框，生成三维点云，具体为：

36、基于相机内参矩阵，将有效三维物体候选框内每个像素点，转换为相机三维坐标系，生成三维点云集合，

37、

38、

39、

40、其中，表示有效三维物体候选框内，像素点的索引值，、、分别表示第个像素点在相机三维坐标系下x轴、y轴和z轴的坐标值，和分别表示个像素点在rgb图像像素坐标系下x轴和y轴的坐标值，表示第个像素点的有效深度值，表示第个像素点在相机三维坐标系下的深度值，、分别为相机 x 轴和y 轴方向的焦距，和表示相机拍摄图像中心点的 x 轴和y 轴的坐标值。

41、进一步，所述平面干扰第二次筛选，具体为：针对三维点云集合进行去噪预处理；

42、设置点云厚度判定阈值，计算去噪预处理后三维点云集合在z轴方向的厚度；

43、若，则判定当前三维点云对应的有效三维物体候选框，为面贴图干扰，提出该候选框；

44、反之，则判定为真实三维物体检测框。

45、进一步，所述深度异常驱动的点云密度聚类与精准计数包括如下步骤：

46、s7.1、若，则判定当前真实三维物体检测框为深度异常区域，进入步骤 s7.2 执行聚类计数；

47、若，则判定当前真实三维物体检测框为单物体无堆叠区域，直接计为1 个目标，不执行聚类计数；

48、s7.2、采用 dbscan 密度聚类算法，对深度异常区域进行聚类分割，到q个独立的点云簇；

49、s7.3、将q的数值，作为深度异常区域对应真实三维物体检测框的目标数；

50、对所有真实三维物体检测框的计数结果求和，得到整幅图像的总目标数量。

51、本发明所述方法的有益效果为：

52、（1）本发明在无真实深度图输入时，利用高斯去噪、sobel 梯度提取以及亮度加权融合生成近距离替代深度图，并使其与 rgb 图像保持像素级对应，由此为后续深度特征提取、平面干扰过滤和点云近似处理提供辅助深度输入，降低对专用 rgb-d 相机或工业深度相机的依赖。

53、（2）本发明针对 yolov5 输出的候选检测框提取深度方差和深度厚度，并根据候选区域的平均深度自适应调整方差阈值和厚度阈值，由此能够从深度起伏和空间厚度角度识别缺乏三维结构的平面贴图、屏幕图案或海报干扰，减少仅依赖二维纹理和轮廓特征造成的误检。

54、（3）本发明对第一次筛选后的候选区域生成三维点云，并进一步基于 z 轴厚度进行二次判定，由此能够从三维空间几何特征上验证候选目标是否具有实际凸起结构，降低平整图案、印刷图像或屏幕显示内容被误识别为真实物体的概率。

55、（4）本发明先根据候选区域的深度异常情况判断是否存在堆叠或遮挡风险，仅对存在风险的区域执行 dbscan 点云密度聚类，并根据聚类簇数量修正计数结果，由此能够改善多个目标相互遮挡、密集摆放或粘连情况下的漏计、少计问题。

56、（5）本发明先剔除低置信度检测框，再通过深度双阈值过滤平面干扰，仅对保留下来的候选区域或存在堆叠风险的区域执行点云处理，由此避免对所有检测框进行无差别三维运算，降低点云计算量，提高整体识别与计数效率。