一种基于视觉与点云融合的矿井格栅大块矿石三维定位系统及方法与流程

本发明属于矿山机械自动化、机器视觉与多传感器融合，具体涉及一种基于视觉与点云融合的矿井格栅大块矿石三维定位系统及方法。

背景技术：

1、在矿山开采和选矿工艺中，初级破碎是关键的工序。矿石通过格栅（亦称“格筛”或“篦子”）时，尺寸合格的矿石会直接落下进入下一道工序，而大块矿石则会留在格栅之上，需要由破碎设备（如液压破碎锤、机械臂等）进行二次破碎。

2、目前，识别与定位格栅上的大块矿石主要依赖人工操作。操作员通过监控视频或现场观察，手动控制破碎设备进行作业。这种方式存在以下显著缺陷：（1）效率低下：人工识别和操作反应速度慢，无法实现连续、高效的破碎作业；（2）劳动强度大：工作环境恶劣，对操作人员专注度要求高，易产生疲劳；（3）定位精度差：人工目测定位不准确，导致破碎设备空砸或多次打击，增加能耗和设备磨损；（4）安全性不足：存在人员安全隐患，且无法实现全流程的无人化、智能化操作。

3、现有技术中，虽有一些关于矿石粒度识别的图像处理方法，但多集中于对破碎后或传送带上的矿石进行粒度分析，缺乏针对格栅上特定场景下，对静止大块矿石进行实时、精准定位，并直接服务于破碎执行机构的完整解决方案。特别是如何将图像中的像素位置准确转换为机械执行机构可用的世界坐标系位置，并适应矿井下光照多变、粉尘干扰等复杂环境，是现有技术尚未有效解决的难题。

4、此外，现有基于纯视觉的二维定位方案存在固有局限性：（1）深度信息缺失：二维图像无法提供矿石距相机的垂直距离（z轴坐标），而破碎作业需要知道矿石表面的实际高度，以调整打击力度或防止碰撞；（2）尺寸误判可能：在二维图像中，一个平铺的大矿石和一个堆积的小矿石可能有相似的投影面积，仅凭像素尺寸筛选可能导致误判；（3）对格栅平面假设依赖强：纯视觉方案通常假设矿石位于格栅平面上（z=0）。当矿石堆积或格栅因受力变形时，该假设不成立，导致映射到平面上的xy坐标也存在误差。

5、为解决深度信息获取问题，现有技术中有单独使用3d相机或激光雷达的方案，但成本高昂，且在识别“何为矿石”这一语义信息上不如二维视觉直观高效。因此，如何高效、低成本地融合二维图像的强大识别能力与三维传感器的精确测距能力，成为实现高精度、智能化矿石破碎作业的关键技术瓶颈。

技术实现思路

1、本发明的目的是提供一种基于视觉与点云融合的矿井格栅大块矿石三维定位系统，以解决纯视觉方案深度信息缺失的问题，实现矿石空间三维坐标（x，y，z）的厘米级精确获取，并更准确地判断矿石的真实体积，为智能化破碎作业提供更可靠的数据支持。

2、本发明的另一目的是提供一种基于视觉与点云融合的矿井格栅大块矿石三维定位方法。

3、本发明的技术方案是：

4、（一）

5、一种基于视觉与点云融合的矿井格栅大块矿石（将不能通过格栅掉下溜井的矿石称为大块矿石）三维定位系统，包括：

6、图像采集模块，用于获取格栅及其上矿石的俯视图像；

7、图像处理与识别模块，与图像采集模块连接，用于运行深度学习目标检测模型，识别图像中的矿石目标并输出其二维边界框信息；

8、三维点云采集模块，用于获取格栅区域的三维点云数据；

9、传感器联合标定模块，分别连接图像采集模块与三维点云采集模块，用于标定图像采集模块与三维点云采集模块之间的空间变换关系；

10、视觉-点云融合定位模块，分别连接图像处理与识别模块与三维点云采集模块，用于：基于二维边界框信息确定矿石的二维中心点；利用标定的空间变换关系，将二维中心点反向投影至三维空间，并在三维点云数据中划定对应的三维搜索区域；在三维搜索区域内对点云进行聚类分析，确定属于目标矿石的点云簇；基于点云簇，计算目标矿石的三维空间中心坐标。

11、作为本发明的进一步改进，视觉-点云融合定位模块还用于基于点云簇计算目标矿石的三维尺寸或体积，以验证或修正基于二维图像识别的尺寸筛选结果。

12、作为本发明的进一步改进，还包括点云数据处理模块，点云数据处理模块的输入端连接三维点云采集模块、输出端连接视觉-点云融合定位模块，用于对三维点云采集模块获取的原始点云数据进行滤波去噪、下采样、感兴趣区域提取中的至少一种预处理操作，以生成精简且高质量的点云数据，并发送至视觉-点云融合定位模块。

13、作为本发明的进一步改进，还包括控制输出模块，分别连接视觉-点云融合定位模块与外部的破碎设备控制系统，用于将计算得到的三维空间中心坐标发送至破碎设备控制系统，以指导其执行破碎作业。

14、作为本发明的进一步改进，图像处理与识别模块中运行的深度学习目标检测模型为yolov10模型。

15、作为本发明的进一步改进，三维点云采集模块为激光雷达或深度相机。

16、作为本发明的进一步改进，还包括为图像采集模块提供照明的光源模块。

17、（二）

18、一种基于视觉与点云融合的矿井格栅大块矿石三维定位方法，采用上述一种基于视觉与点云融合的矿井格栅大块矿石三维定位系统，包括以下步骤：

19、a、图像采集模块和三维点云采集模块分别同步采集格栅及其上矿石的俯视图像和格栅区域的三维点云数据；

20、b、图像处理与识别模块通过深度学习目标检测模型识别图像中的矿石目标，并获取其二维边界框信息；视觉-点云融合定位模块基于二维边界框信息确定矿石的二维中心点；

21、c、传感器联合标定模块标定图像采集模块与三维点云采集模块之间的空间变换关系；视觉-点云融合定位模块利用预先标定的空间变换关系，将二维中心点反向投影至三维空间，并在三维点云数据中划定对应的三维搜索区域；

22、d、视觉-点云融合定位模块在三维搜索区域内对点云进行聚类分析，确定属于目标矿石的点云簇；

23、e、视觉-点云融合定位模块基于点云簇，计算目标矿石的三维空间中心坐标。

24、进一步地，在步骤e中，视觉-点云融合定位模块基于点云簇，还计算目标矿石的三维尺寸或体积，并将三维尺寸或体积与基于二维图像识别的尺寸筛选结果结合，最终判定是否为大块矿石。

25、本发明的有益效果是：

26、1. 实现真正三维定位：输出包含深度（z轴）信息的完整三维坐标，使破碎设备的控制从“二维平面定位”升级为“三维空间定位”，大幅提升作业精准度和安全性。

27、2. 提升尺寸判断准确性：结合点云数据计算真实三维体积，可有效区分“面积大但薄”和“面积小但厚”的矿石，避免基于二维投影面积的误判，使“大块”筛选标准更科学。

28、3. 增强系统鲁棒性：在视觉识别受到短暂遮挡、反光干扰时，点云数据可作为补充验证；反之，在点云稀疏、特征不明显时，视觉识别可提供语义引导。二者融合，取长补短，系统整体稳定性更强。

29、4. 创新性融合策略：本发明提出的 “yolo快速初定位+点云精修定深度” 的融合范式具有显著创新性。它避免了直接处理海量3d点云进行目标识别的巨大计算开销，利用yolov10高效锁定目标区域，再在局部小范围点云内进行精细计算，实现了精度与效率的完美平衡。

30、5. 为高级智能控制提供数据基础：三维坐标和体积信息为后续实现自适应破碎参数调整（根据矿石大小和高度调整打击力）、最优破碎路径规划（考虑三维空间中的避障和效率）等高级功能提供了可能。