基于环形多目视觉的运输系统高精度三维重建装置及方法

本发明提供了一种基于环形多目视觉的运输系统高精度三维重建装置及方法，属于计算机视觉三维重建和智能运输系统。

背景技术：

1、随着现代物流和智能运输系统的快速发展，对运输货物的精确测量、建模和识别需求日益增长。传统的二维视觉检测方法仅能获取物料的平面投影信息，无法准确获取物料的高度、体积的三维参数，在面对复杂形状、大尺寸运输货物以及输送皮带抖动、跑偏的动态工况出现时存在三维信息缺失严重、测量精度低、无法适应复杂场景问题，难以满足现代运输系统对物料体积精确计量、形状准确识别的要求。现有的三维重建技术主要采用单目或双目视觉系统，存在显著的技术缺陷：单目视觉依赖运动恢复结构，需要多次拍摄且深度估计精度有限；双目视觉虽可直接获取深度信息，但仅能从固定方向观测，对大堆量物料的侧面和背面无法实现有效采集，视野覆盖率通常低于60%。物料自遮挡和相邻物料间的相互遮挡导致重建完整度一般仅为70-80%，深度测量精度通常在厘米级，难以满足毫米级精度需求。更重要的是，现有双目视觉系统无法有效克服输送带抖动、皮带跑偏的动态干扰，导致重建结果出现明显畸变，严重影响后续的体积测量和物料识别精度。

2、主动式三维测量设备如激光雷达虽然精度较高，但单台设备成本昂贵、功耗大、维护困难，难以大规模部署，且在强光环境下性能受限，信噪比急剧下降，难以满足运输系统测量的经济性和高精度要求。结构光投影技术在户外复杂光照环境中容易受到环境光干扰，投影图案对比度下降，导致解码错误率增加，测量精度和稳定性显著降低，难以满足运输系统环境适应性要求。现有的多目视觉系统大多采用线性排列或简单平面阵列布置，无法实现对运输目标的360°全方位无死角覆盖，存在大量盲区和严重遮挡问题，难以获得完整准确的三维信息。对于高度不均、形状复杂的堆叠物料，线性或平面布局的相机间视角冗余度低，无法通过多视角互补有效消除遮挡问题，这种布局方式需要占用较大的横向空间，难以适应运输系统紧凑的安装环境，且视角分布不均导致点云密度差异大，融合后的三维模型存在明显拼接缝隙和精度不一致问题，严重影响货物物料计算和形状识别的准确性。

3、针对运输系统中皮带抖动、物料形状复杂多样、尺寸变化范围大、实时性要求高的特点，现有技术难以兼顾高精度三维重建和对不同运输目标进行自适应处理的问题，亟需开发一种高精度、全覆盖、实时性强、适应性好的三维重建技术，以满足现代智能运输系统的迫切需求。

技术实现思路

1、针对现有技术中存在的三维重建视角覆盖不全面、重建精度不足、实时性能差以及环境适应性弱的问题，本发明提供了一种基于环形多目视觉的运输系统高精度三维重建装置及方法，采用改进的多视角立体匹配网络结合空间注意力机制获取运输系统的三维信息，消除视角盲区和遮挡的影响，显著提高了三维重建精度和鲁棒性。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种基于环形多目视觉的运输系统高精度三维重建装置，包括环形多目视觉采集装置和三维重建处理装置；环形多目视觉采集装置设置在沿运输系统传输方向的相邻两个托辊之间，包括环形支架和若干组立体视觉模块；环形支架为正多边环形刚性框架，所有立体视觉模块均匀分布在环形支架上，每组立体视觉模块包括双目摄像头、实现图像预处理的图像处理单元和实现数据传输的无线传输单元；双目摄像头通过图像数据传输线连接图像处理单元的输入端，双目摄像头采集运输系统的多视角图像后传输至图像处理单元；图像处理单元对接收的多视角图像进行预处理，图像处理单元的信号输出端通过无线传输单元将完成预处理的多视角图像的数据无线传输至三维重建处理装置，图像处理单元采用嵌入式处理器实现图像预处理功能；三维重建处理装置包括数据融合处理单元、存储单元和标定单元；数据融合处理单元通过无线传输方式接收无线传输单元发送的图像数据，并基于改进的多视角立体匹配网络对运输系统进行高精度三维重建；数据融合处理单元通过数据总线分别与存储单元和标定单元连接实现数据双向传输。

4、进一步，双目摄像头包括左摄像头和右摄像头，左摄像头和右摄像头的光轴相互平行，且两条光轴的几何中轴线指向环形支架的几何中心，使得所有双目摄像头的视场在中心区域形成重叠覆盖；左摄像头和右摄像头的基线距离为50mm–200mm。

5、进一步，三维重建处理装置还包括防护外壳、电源管理单元、散热单元和显示控制单元；数据融合处理单元、存储单元、标定单元、电源管理单元和散热单元设置在防护外壳内部，显示控制单元设置在防护外壳外部；数据融合处理单元接收所有立体视觉模块发送的多视角的图像数据，并从标定单元读取标定参数以生成三维重建结果；数据融合处理单元将三维重建结果分别输出至显示控制单元进行显示，输出至存储单元进行存储；标定单元对环形多目视觉采集装置中的所有双目摄像头进行摄像头内参标定和外参标定，获取双目摄像头的内参矩阵和外参变换矩阵并存储。

6、进一步，存储单元存储原始图像数据、标定参数以及三维重建生成的点云数据和改进的多视角立体匹配网络的模型参数；显示控制单元实时显示三维重建生成的点云数据，并提供用于接收用户输入的三维重建装置运行参数设置指令的人机交互界面，通过显示控制总线将参数设置指令传输至数据融合处理单元。

7、进一步，立体视觉模块的数量与环形支架的边数相同，所有立体视觉模块分别设置在环形支架每条边的中间位置。

8、一种基于环形多目视觉的运输系统高精度三维重建方法，采用如上述的基于环形多目视觉的运输系统高精度三维重建装置实现，通过环形支架上的若干立体视觉模块获取运输系统的多视角图像，利用三维重建处理装置对运输系统进行高精度三维重建，消除视角盲区和遮挡的影响，获取运输系统的三维信息，具体包括以下步骤：

9、步骤1.初始化标定：通过标定单元对环形多目视觉采集装置进行摄像头内参标定和外参标定，建立所有立体视觉模块中所有双目摄像头之间的几何关系，获取所有摄像头内参矩阵和外参变换矩阵；

10、步骤2.多视角图像同步采集及图像预处理：通过均匀分布在环形支架上的若干立体视觉模块同步采集运输皮带和运输物料的环形多视角图像，每组立体视觉模块同时获取两个摄像头的视图，形成时间一致的多视角图像数据集；图像处理单元对获得的多视角图像数据集中的所有图像进行畸变校正、亮度均衡和去噪处理，去除图像畸变和光照不均的影响；

11、步骤3.特征提取和构建代价体：采用改进的多视角立体匹配网络对多视角图像数据集中的图像进行深度特征提取和精确立体匹配，构建三维代价体并进行回归预测，生成高精度密集深度图；

12、步骤4.点云融合与三维重建：将所有高精度密集深度图结合步骤1获取的对应摄像头的内参矩阵和外参变换矩阵，转换为世界坐标系下的三维点云，通过点云配准和加权融合算法生成完整的三维点云模型，并采用表面重建算法生成三维网格模型，通过显示控制单元进行实时可视化显示。

13、进一步，步骤3中，针对任意一组立体视觉模块采集的多视角图像，采用改进的多视角立体匹配网络进行深度特征提取和精确立体匹配的具体实现步骤包括：

14、步骤3.1采用卷积神经网络对输入的多视角图像进行多尺度特征提取，构建特征金字塔获取多层级特征图；

15、步骤3.2为特征金字塔的每个层级特征图引入空间注意力机制，对多层级特征图进行自适应增强；将多层级特征图通过卷积层生成查询矩阵、键矩阵和值矩阵，计算注意力权重并增强特征：

16、，

17、式中为特征维度，为用于稳定梯度的缩放因子；为原始特征图，为增强后的特征图；为归一化函数，通过注意力加权突出高响应特征区域，抑制背景干扰，提升特征表达能力；

18、步骤3.3从多视角图像数据集中，选择位于运输皮带上方且双目摄像头中轴线与运输皮带上表面法向量点积绝对值最大的摄像头所采集的图像作为参考图像，其余摄像头采集的图像作为待匹配源图像；对于参考图像中的像素，在深度假设下，通过单应性变换将像素投影到每个待匹配源图像平面，得到待匹配源图像中的投影像素坐标，其中表示第个待匹配源图像；提取第个待匹配源图像中投影像素坐标处的增强特征以及对应参考图像中像素处的增强特征，计算第个待匹配源图像的匹配代价：

19、

20、式中为预设深度范围内的第个离散的深度假设，；为参考图像中像素在深度假设下与第个待匹配源图像的匹配代价；对所有待匹配源图像的匹配代价进行聚合计算：

21、

22、式中为待匹配源图像的数量；遍历参考图像中所有像素和所有深度假设，生成维度为的三维代价体积；其中h为图像高度，w为图像宽度，d为深度假设的离散层数；

23、步骤3.4通过三维卷积神经网络对步骤3.3获取的三维代价体积进行正则化处理，在深度维度应用归一化函数softmax对所有d个深度假设归一化得到概率分布，采用期望值方式计算深度：

24、

25、式中为像素处的预测深度值，为像素处深度为的概率，表示对所有d个深度假设求和，最终生成与参考图像对应的高精度密集深度图。

26、进一步，步骤4中点云融合与三维重建的具体实现步骤包括：

27、步骤4.1将步骤3生成的所有高精度密集深度图结合步骤1获取的对应摄像头的内参矩阵和外参变换矩阵，转换为世界坐标系下的三维点云数据，坐标转换公式为：

28、

29、式中为世界坐标系下的三维点坐标，上标表示转置，为外参旋转矩阵，为外参旋转矩阵的逆矩阵，为外参平移向量，为摄像头内参矩阵，为摄像头内参矩阵的逆矩阵，为像素坐标，为像素处的预测深度估计值；

30、步骤4.2采用icp迭代最近点算法结合ransac随机采样一致性算法对步骤4.1生成的三维点云数据进行精确配准，通过最小化点云间的欧氏距离误差实现空间对齐；

31、步骤4.3对步骤4.2精确配准后产生的重叠区域的点云进行加权融合，重叠区域为不同视角点云中对应同一空间位置的区域，在重叠区域内基于距离的权重计算公式为：

32、

33、式中，为第个视角的融合权重，为第个视角的三维点坐标，为第个摄像头的光心位置，为距离衰减参数，融合后的三维点坐标为：

34、

35、步骤4.4采用统计滤波方法去除步骤4.3融合后点云中存在的离群点和噪声点，并进行体素下采样降低数据冗余，完成点云优化处理；

36、步骤4.5采用poisson泊松表面重建算法将优化后的点云重建生成三维三角网格模型，通过求解泊松方程获得隐式表面函数，并进行网格平滑优化处理，实现运输系统的完整三维数字化重建。

37、综上所述，发明具有以下有益效果：

38、本发明利用环形多目视觉采集装置，实现了对运输系统中运输皮带和运输物料的360°全方位无死角覆盖，有效解决了传统方法视角覆盖不全面的问题；三维重建处理装置采用改进的多视角立体匹配网络，并针对运输系统场景优化了代价体构建和深度回归预测策略，显著提高了重建精度和鲁棒性。本发明的高精度密集深度图匹配精度达到亚像素级，在视场范围内深度测量误差小于2mm，相比传统双目立体匹配方法精度提升30%以上；点云融合后的三维重建完整度达到95%以上，显著优于传统单目和双目视觉系统；本发明的装置采用模块化设计，具有良好的实时性和适应性，能够满足运输系统的在线检测和多样化目标处理需求。本发明以环形多视角图像数据为基础，建立了精确的三维重建模型，根据重建结果能够实现对运输物料的精确测量、体积计算和形状识别，解决了传统三维重建方法精度不高、覆盖不全的技术难题，有效提高了运输系统的智能化水平和作业效率，为现代智能物流和运输系统提供了可靠的技术支撑，具有重要的应用价值和推广前景。