基于激光雷达的仓库钢材点云三维重建的系统、方法和装置与流程

1.本技术涉及激光雷达应用领域，尤其涉及一种基于激光雷达的仓库钢材点云三维重建的系统、方法和装置。


背景技术：

2.传统机器只能按照既定的逻辑运行，而人则可以根据外部的变化采取适应性的行动。而随着人工智能的发展，使用机器替代人力能够很大程度的降低人力资源的浪费，减少人工成本的支出，要让机器代替人的工作，机器需要有感知信息的能力，并能够根据信息进行决策，并采取行动，即要把信息的感知、决策和执行过程统一起来。
3.随着现代物流行业的快速发展，仓库管理工作对物流行业发展起到了至关重要的影响，在企业经济活动中占据着重要地位，而钢铁行业作为国家的战略物资，其重要性不言而喻。目前针对仓库管理尤其是钢铁行业仓库管理工作，只是采用机械化、网络化的方式，而非智能化的进行管理。


技术实现要素：

4.有鉴于此，在仓库智能化管理的进程中融入新的科学技术与方法，使用智能化的方式代替传统机械化加人工的管理管理方式，本发明提供了一种基于激光雷达的仓库钢材点云三维重建的系统、方法和装置，为后续智能化、无人化的仓库管理、调运作业等提供数据支撑。
5.根据本技术的第一个方面，提供一种基于激光雷达的仓库钢材点云三维重建的方法，其包括：
6.对所采集的钢材三维点云数据进行降噪处理；
7.对所采集的运动信息数据进行降噪处理；
8.对降噪后的钢材三维点云数据进行曲率下采样处理；
9.根据降噪后的运动信息数据对曲率下采样处理后的钢材三维点云数据进行配准；以及
10.对配准后的钢材三维点云数据进行网格重建，得到所述仓库的模型数据。
11.根据本技术的第二个方面，提供一种基于激光雷达的仓库钢材点云三维重建的装置，其包括：
12.第一降噪单元，用于对所采集的钢材三维点云数据进行降噪处理；
13.第二降噪单元，用于对所采集的运动信息数据进行降噪处理；
14.曲率下采样单元，用于对降噪后的钢材三维点云数据进行曲率下采样处理；
15.配准单元，用于根据降噪后的运动信息数据对曲率下采样处理后的钢材三维点云数据进行配准；以及
16.网格重建单元，用于对配准后的钢材三维点云数据进行网格重建，得到所述仓库的模型数据。
17.根据本技术的第三个方面，提供一种基于激光雷达的仓库钢材点云三维重建的系统，其包括：
18.数据采集终端，其包括激光雷达和运动感知器，分别用于采集钢材三维点云数据和运动信息数据；
19.数据处理终端，其与所述数据采集终端的运动感知器连接，用于根据第一方面所述的方法对所述钢材三维点云数据和所述运动信息数据进行处理，得到仓库的模型数据。
20.根据本技术提供的基于激光雷达的仓库钢材点云三维重建的系统、方法和装置，一方面，利用人工智能技术将激光雷达采集到的点云数据及运动感知传感器获取的运动信息数据进行融合，可以实时地对仓库钢材进行三维重建；另一方面，本发明利用运动信息数据对点云数据进行矫正，提高三维重建模型的精度；从而，为后续智能化、无人化的仓库管理、调运作业等提供数据支撑。
附图说明
21.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本技术要求保护的范围。
22.图1是本技术提供的基于激光雷达的仓库钢材点云三维重建的系统的示意图。
23.图2是本技术提供的基于激光雷达的仓库钢材点云三维重建的方法的处理步骤方框图。
24.图3是本技术提供的基于激光雷达的仓库钢材点云三维重建的方法的流程图。
25.图4是本技术提供的基于激光雷达的仓库钢材点云三维重建的装置的示意图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.图1是本技术提供的基于激光雷达的仓库钢材点云三维重建的系统的示意图。如图1所示，该系统包括数据采集终端、数据处理终端、操作显示终端、数据交换终端、无线传输终端和数据存储终端。
28.其中，数据采集终端包括激光雷达和运动感知器，分别用于采集钢材三维点云数据和运动信息数据。
29.数据处理终端与数据采集终端的运动感知器连接，用于对钢材三维点云数据和运动信息数据进行处理，得到仓库的模型数据，数据处理终端具体的处理过程将在下文进行介绍。
30.操作显示终端与数据处理终端连接，用于对数据采集终端进行操作并显示数据的处理状态。
31.数据交换终端与数据采集终端的激光雷达、数据处理终端以及无线传输终端连
接，用于将所接收的数据发送至目标终端。
32.无线传输终端与数据交换终端连接，用于传输来自数据交换终端的数据，例如仓库的模型数据。
33.数据存储终端与无线传输终端连接，用于接收并存储无线传输终端传输的数据，例如仓库的模型数据。
34.需要注意的是，本技术所述的仓库可以是专门存储各种商品和产品的建筑或物体，也可以是临时存储各种商品和产品的建筑或物体，本技术对此不作限制。
35.图2是本技术提供的基于激光雷达的仓库钢材点云三维重建的方法的处理步骤方框图。基于激光雷达的仓库钢材点云三维重建的方法是图1所示的数据处理终端对钢材三维点云数据和运动信息数据进行处理的过程。
36.如图2所示，数据处理终端对钢材三维点云数据和运动信息数据进行处理包括对钢材三维点云数据和运动信息数据分别降噪、对钢材三维点云数据曲率下采样、钢材三维点云数据基于运动信息数据进行位姿矫正后的配准以及对配准后的钢材三维点云数据进行网格重建，其中，为了降低复杂度，可以在网格重建之前对配准后的钢材三维点云数据进行精简，为了进一步体现配准后的钢材三维点云数据的细节，可以对配准后的钢材三维点云数据进行细节补充。这样，就获得了仓库的模型数据。
37.之后，将最终得到的模型通过无线传输终端传输到数据存储终端上做存储展示。
38.图3是本技术提供的基于激光雷达的仓库钢材点云三维重建的方法的流程图。如图3所示，该方法包括如下步骤。
39.步骤s301，对所采集的钢材三维点云数据进行降噪处理。
40.由于传感器的局限性，行车运动的抖动等因素影响，采集到的原始数据含有稀疏分布的噪声点，需进行滤波预处理，将噪声点、离群点等去除。
41.数据采集终端的激光雷达采集钢材三维点云数据，数据处理终端对所采集的钢材三维点云数据进行降噪处理。
42.在一个具体实施例中，采用不规则三角网加密法对钢材三维点云数据进行点云降噪处理。在该算法中，从种子点创建一个稀疏不规则三角网，通过预定义的搜索半径(例如r＝10mm)内的相邻点(k＝10)的数量，如果发现少于k个相邻点，则将一个点作为噪声去除，直到识别和删除所有无效点。
43.步骤s302，对所采集的运动信息数据进行降噪处理。
44.数据采集终端的运动感知器采集运动信息数据，数据处理终端对所采集的运动信息数据进行降噪处理。
45.运动感知器误差由高频和低频部分组成，通过小波分解将运动信息数据分为高频部分和低频部分，其中，对于高频部分进行的降噪处理包括：
46.子步骤s3021，对运动信息数据的高频部分进行小波变换得到第一小波系数w1；
47.子步骤s3022，通过预设的阈值函数对第一小波系数进行修正，得到第二小波系数w2，进而得到高频降噪处理后的运动信息数据。
48.通过子步骤s3021和s3022得到高频降噪处理后的运动信息数据。
49.对于低频部分进行的降噪处理包括：
50.子步骤s3023，通过神经网络模型(例如，lstm网络)训练建立时序模型，以去除运
动信息数据的低频噪声，从而得到低频降噪处理后的运动信息数据。
51.最后，在得到降噪后的运动信息数据的高频部分和低频部分后，步骤s302还包括：
52.子步骤s3024，将高频降噪处理后的运动信息数据和低频降噪处理后的运动信息数据通过全连接层输出，得到降噪后的运动信息数据。
53.降噪后的点云数据密度大而且空间分布不均匀，为提高后期点云处理的效率，对其进行曲率下采样处理。
54.步骤s303，对降噪后的钢材三维点云数据进行曲率下采样处理。
55.曲率下采样的处理思路是：在点云曲率越大的地方，采样点个数越多。具体来说，步骤s303包括：
56.子步骤s3031，计算降噪处理后的钢材三维点云数据中任意一个点的k邻域；
57.子步骤s3032，计算降噪处理后的钢材三维点云数据中的点到k邻域中的点的法线夹角值。曲率越大的地方，这个夹角值就越大。
58.子步骤s3033，响应于法线夹角值大于角度阈值，将降噪处理后的钢材三维点云数据中的点确定为特征明显区域，否则，将降噪处理后的钢材三维点云数据中的点确定为特征不明显区域。
59.设置一个角度阈值(例如5度)，钢材三维点云数据中的点的邻域夹角值大于这个阈值的点被认为是特征明显的区域，其余的为特征不明显区域。
60.子步骤上s3034，均匀采样特征明显区域和特征不明显区域。
61.在一个具体实施例中，采样数分别为s*(1-u)，s*u，s为目标采样数，u为采样均匀性。
62.步骤s304，根据降噪后的运动信息数据对曲率下采样处理后的钢材三维点云数据进行配准。
63.位姿变化将会影响到激光雷达所检测的点云数据，如果直接进行配准会造成配准的不准确，所以必须对产生位姿变化的点云数据中的点进行矫正。
64.在一个实施例中，步骤s304包括如下子步骤：
65.子步骤s3041，获取降噪后的运动信息数据中的行车姿态角。
66.动感知传感器获取行车姿态角，其中行车姿态角包括偏航角α，俯仰角为β，翻滚角为γ；另外，运动信息数据还包括行车速度，用v表示。
67.子步骤s3042，通过行车姿态角对曲率下采样后的钢材三维点云数据进行矫正。
68.在一个实施例中，将激光雷达传感器扫描得到的点云数据转换成迪卡尔坐标系的数值形式(x,y,z)，激光雷达传感器每一帧检测点通过迪卡尔坐标系下的点云数据x＝v*n/f，y＝p*cosθ，z＝p*sinθ，其中v是行车的运动速度，f为点云的采集频率，n为扫描点云数组的序号，p为激光传感器中心到检测点距离值，θ为检测线与0度线的夹角。
69.行车运动过程中，以雷达为基准，获取两帧时差(例如，100ms)的运动感知数据，使用运动感知传感器的姿态角数据，对激光点云的数据进行运动矫正，y＝p
β
*cosθ*cosα，z＝p
β
*sin[π/2-(pβ
±
γ)]，p
β
为两帧之间距离经映射的后一帧点数据。
[0070]
子步骤s3043，通过配准算法将矫正后的对应两帧钢材三维点云数据进行配准。
[0071]
可以采用各种配准算法将矫正后的对应两帧钢材三维点云数据进行配准。在一个实施例中，采用icp(迭代最近点，iterative closest point)算法进行配准，icp点云配准
算法的核心是通过两帧点云对应匹配，解算出点云之间的位姿转换，即旋转矩阵和平移矩阵，从而可以获得激光雷达的位姿变换。
[0072]
在一个具体实施例中，矫正后的点云数据点集用(p、q)表示，其中，p表示前一个帧激光雷达扫描到的点云数据，q表示后一个帧激光雷达扫描到的点云数据。
[0073]
使用一个算法(例如，sift算法)对p点集数据进行关键点k提取其中，关键点包括目标的转点、角点等具有明显特征的点，使用一个算法，例如，fpfh(fast point feature histogram，快速点特征直方图)描述子，对每个关键点ki进行特征描述fi(包括特征组合信息，向量表示)计算，利用{fi}以及{fi}对应的关键点的坐标位置xyz计算p、q两个点进行特征匹配得到4*4的刚体变换矩阵(旋转、位移)，p、q点集通过得到的刚性变换矩阵得到配准后的点集o,不断迭代配准得到最终的完成点集o，其中，o表示p、q点集进行配准合并得到一个新的点云集，不断新的帧数据加入进来，最终形成一个完整的o也就是最终的点云集合。
[0074]
步骤s305，对配准后的钢材三维点云数据进行网格重建，得到仓库的模型数据。
[0075]
在一个实施例中，在保持原始模型特征的基础上进行网格重建，采用贪婪投影三角化算法进行重建，即将模型的表面划分为一个个三角形，按照一定的规则将所有的点连接成三角形，此方法速度快，且重建效果好。首先将钢材三维点云数据通过法线投影到某一平面，再对投影得到的点云数据作做平面三角化，跟据平面内钢材三维点云数据拓扑连接关系获得三角网格模型即为重建的到的最终模型。
[0076]
另外，为了降低复杂度，可以在网格重建之前对配准后的钢材三维点云数据进行精简。这样，基于激光雷达的仓库钢材点云三维重建的方法还包括：
[0077]
步骤s306，对配准后的钢材三维点云数据进行精简处理。
[0078]
经过配准时融合了不同视角的钢材三维点云数据，相邻视角之间存在着部分重合数据，这部分数据量在多视角配准后占据着很大一部分比重，数据量的冗余不利于后续重建，需对点云数据进行精简。在一个实施例中，采用p/(1 α)公式进行精简，α表示精简后的钢材三维点云数据总数占原始总数的百分比，p表示原始钢材三维点云数据总数。
[0079]
此外，为了进一步体现配准后的钢材三维点云数据的细节，可以对配准后的钢材三维点云数据进行细节补充。这样，基于激光雷达的仓库钢材点云三维重建的方法还包括：
[0080]
步骤s307，对配准后的钢材三维点云数据进行细节补充处理。
[0081]
在一个实施例中，将点云数据以一定的分辨率进行体素化，通过八个邻域(还可以是其他数目的邻域)搜索计算相邻体素之间的欧式距离，若其距离小于一定阈值，则在该相邻体素对应的原点云数据集合中的两个点之间补充相应的点云数据，一个点云数据一个点云数据的补充，否则进入下次搜索，直至将小于阈值的体素数据遍历完毕。
[0082]
根据本技术提供的基于激光雷达的仓库钢材点云三维重建的方法，一方面，利用人工智能技术将激光雷达采集到的点云数据及运动感知传感器获取的运动信息数据进行融合，可以实时地对仓库钢材进行三维重建；另一方面，本发明利用运动信息数据对点云数据进行矫正，提高三维重建模型的精度。
[0083]
图4是本技术提供的基于激光雷达的仓库钢材点云三维重建的装置的示意图。如图4所示，该装置包括如下单元。
[0084]
第一降噪单元401，用于对所采集的钢材三维点云数据进行降噪处理。
[0085]
由于传感器的局限性，行车运动的抖动等因素影响，采集到的原始数据含有稀疏
分布的噪声点，需进行滤波预处理，将噪声点、离群点等去除。
[0086]
数据采集终端的激光雷达采集钢材三维点云数据，数据处理终端对所采集的钢材三维点云数据进行降噪处理。
[0087]
在一个具体实施例中，采用不规则三角网加密法对钢材三维点云数据进行点云降噪处理。在该算法中，从种子点创建一个稀疏不规则三角网，通过预定义的搜索半径(例如r＝10mm)内的相邻点(k＝10)的数量，如果发现少于k个相邻点，则将一个点作为噪声去除，直到识别和删除所有无效点。
[0088]
第二降噪单元402，用于对所采集的运动信息数据进行降噪处理。
[0089]
数据采集终端的运动感知器采集运动信息数据，数据处理终端对所采集的运动信息数据进行降噪处理。
[0090]
运动感知器误差由高频和低频部分组成，通过小波分解将运动信息数据分为高频部分和低频部分，其中，对于高频部分进行的降噪处理包括：
[0091]
变换子单元4021，用于对运动信息数据的高频部分进行小波变换得到第一小波系数w1；
[0092]
修正子单元4022，用于通过预设的阈值函数对第一小波系数进行修正，得到第二小波系数w2，进而得到高频降噪处理后的运动信息数据。
[0093]
通过变换子单元4021和修正子单元4022得到高频降噪处理后的运动信息数据。
[0094]
对于低频部分进行的降噪处理包括：
[0095]
训练子单元4023，用于通过神经网络模型(例如，lstm网络)训练建立时序模型，以去除运动信息数据的低频噪声，从而得到低频降噪处理后的运动信息数据。
[0096]
最后，在得到降噪后的运动信息数据的高频部分和低频部分后，第二降噪单元402还包括：
[0097]
输出子单元4024，用于将高频降噪处理后的运动信息数据和低频降噪处理后的运动信息数据通过全连接层输出，得到降噪后的运动信息数据。
[0098]
降噪后的点云数据密度大而且空间分布不均匀，为提高后期点云处理的效率，对其进行曲率下采样处理。
[0099]
曲率下采样单元403，用于对降噪后的钢材三维点云数据进行曲率下采样处理。
[0100]
曲率下采样的处理思路是：在点云曲率越大的地方，采样点个数越多。具体来说，曲率下采样单元403包括：
[0101]
第一计算子单元4031，用于计算降噪处理后的钢材三维点云数据中任意一个点的k邻域；
[0102]
第二计算子单元4032，用于计算降噪处理后的钢材三维点云数据中的点到k邻域中的点的法线夹角值。曲率越大的地方，这个夹角值就越大。
[0103]
确定子单元4033，用于响应于法线夹角值大于角度阈值，将降噪处理后的钢材三维点云数据中的点确定为特征明显区域，否则，将降噪处理后的钢材三维点云数据中的点确定为特征不明显区域。
[0104]
设置一个角度阈值(例如5度)，钢材三维点云数据中的点的邻域夹角值大于这个阈值的点被认为是特征明显的区域，其余的为特征不明显区域。
[0105]
采样子单元4034，用于均匀采样特征明显区域和特征不明显区域。
[0106]
在一个具体实施例中，采样数分别为s*(1-u)，s*u，s为目标采样数，u为采样均匀性。
[0107]
配准单元404，用于根据降噪后的运动信息数据对曲率下采样处理后的钢材三维点云数据进行配准。
[0108]
位姿变化将会影响到激光雷达所检测的点云数据，如果直接进行配准会造成配准的不准确，所以必须对产生位姿变化的点云数据中的点进行矫正。
[0109]
在一个实施例中，配准单元404包括如下子单元：
[0110]
获取子单元4041，用于获取降噪后的运动信息数据中的行车姿态角。
[0111]
动感知传感器获取行车姿态角，其中行车姿态角包括偏航角α，俯仰角为β，翻滚角为γ；另外，运动信息数据还包括行车速度，用v表示。
[0112]
矫正子单元4042，用于通过行车姿态角对曲率下采样后的钢材三维点云数据进行矫正。
[0113]
在一个实施例中，将激光雷达传感器扫描得到的点云数据转换成迪卡尔坐标系的数值形式(x,y,z)，激光雷达传感器每一帧检测点通过迪卡尔坐标系下的点云数据x＝v*n/f，y＝p*cosθ，z＝p*sinθ，其中v是行车的运动速度，f为点云的采集频率，n为扫描点云数组的序号，p为激光传感器中心到检测点距离值，θ为检测线与0度线的夹角。
[0114]
行车运动过程中，以雷达为基准，获取两帧时差(例如，100ms)的运动感知数据，使用运动感知传感器的姿态角数据，对激光点云的数据进行运动矫正，y＝p
β
*cosθ*cosα，z＝p
β
*sin[π/2-(pβ
±
γ)]，p
β
为两帧之间距离经映射的后一帧点数据。
[0115]
配准子单元4043，用于通过配准算法将矫正后的对应两帧钢材三维点云数据进行配准。
[0116]
可以采用各种配准算法将矫正后的对应两帧钢材三维点云数据进行配准。在一个实施例中，采用icp(迭代最近点，iterative closest point)算法进行配准，icp点云配准算法的核心是通过两帧点云对应匹配，解算出点云之间的位姿转换，即旋转矩阵和平移矩阵，从而可以获得激光雷达的位姿变换。
[0117]
在一个具体实施例中，矫正后的点云数据点集用(p、q)表示，其中，p表示前一个帧激光雷达扫描到的点云数据，q表示后一个帧激光雷达扫描到的点云数据。
[0118]
使用一个算法(例如，sift算法)对p点集数据进行关键点k提取其中，关键点包括目标的转点、角点等具有明显特征的点，使用一个算法，例如，fpfh(fast point feature histogram，快速点特征直方图)描述子，对每个关键点ki进行特征描述fi(包括特征组合信息，向量表示)计算，利用{fi}以及{fi}对应的关键点的坐标位置xyz计算p、q两个点进行特征匹配得到4*4的刚体变换矩阵(旋转、位移)，p、q点集通过得到的刚性变换矩阵得到配准后的点集o,不断迭代配准得到最终的完成点集o，其中，o表示p、q点集进行配准合并得到一个新的点云集，不断新的帧数据加入进来，最终形成一个完整的o也就是最终的点云集合。
[0119]
网格重建单元405，用于对配准后的钢材三维点云数据进行网格重建，得到仓库的模型数据。
[0120]
在一个实施例中，在保持原始模型特征的基础上进行网格重建，采用贪婪投影三角化算法进行重建，即将模型的表面划分为一个个三角形，按照一定的规则将所有的点连接成三角形，此方法速度快，且重建效果好。首先将钢材三维点云数据通过法线投影到某一
平面，再对投影得到的点云数据作做平面三角化，跟据平面内钢材三维点云数据拓扑连接关系获得三角网格模型即为重建的到的最终模型。
[0121]
另外，为了降低复杂度，可以在网格重建之前对配准后的钢材三维点云数据进行精简。这样，基于激光雷达的仓库钢材点云三维重建的装置还包括：
[0122]
精简单元406，用于对配准后的钢材三维点云数据进行精简处理。
[0123]
经过配准时融合了不同视角的钢材三维点云数据，相邻视角之间存在着部分重合数据，这部分数据量在多视角配准后占据着很大一部分比重，数据量的冗余不利于后续重建，需对点云数据进行精简。在一个实施例中，采用p/(1 α)公式进行精简，α表示精简后的钢材三维点云数据总数占原始总数的百分比，p表示原始钢材三维点云数据总数。
[0124]
此外，为了进一步体现配准后的钢材三维点云数据的细节，可以对配准后的钢材三维点云数据进行细节补充。这样，基于激光雷达的仓库钢材点云三维重建的方法还包括：
[0125]
细节补充单元407，用于对配准后的钢材三维点云数据进行细节补充处理。
[0126]
在一个实施例中，将点云数据以一定的分辨率进行体素化，通过八个邻域(还可以是其他数目的邻域)搜索计算相邻体素之间的欧式距离，若其距离小于一定阈值，则在该相邻体素对应的原点云数据集合中的两个点之间补充相应的点云数据，一个点云数据一个点云数据的补充，否则进入下次搜索，直至将小于阈值的体素数据遍历完毕。
[0127]
根据本技术提供的基于激光雷达的仓库钢材点云三维重建的装置，一方面，利用人工智能技术将激光雷达采集到的点云数据及运动感知传感器获取的运动信息数据进行融合，可以实时地对仓库钢材进行三维重建；另一方面，本发明利用运动信息数据对点云数据进行矫正，提高三维重建模型的精度。
[0128]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本技术的方法及其核心思想。同时，本领域技术人员依据本技术的思想，基于本技术的具体实施方式及应用范围上做出的改变或变形之处，都属于本技术保护的范围。综上所述，本说明书内容不应理解为对本技术的限制。