一种点云融合方法、装置、电子设备及存储介质与流程

1.本技术涉及数据融合技术领域，具体而言，涉及一种点云融合方法、装置、电子设备及存储介质。


背景技术：

2.四足机器人依托于其在崎岖地形能保存平衡行走的优势和在非结构化、危险和严酷的环境下应用广泛。
3.四足机器人一般要面对室内外高动态、高复杂度的环境，包括丛林、灾难现场和工厂等场景，这些场景具有环境复杂、语义信息多、地形不规则和不平坦的特点。
4.传统移动机器人上的点云融合方法无法应用于四足机器人，一是复杂环境点云融合处理信息量巨大，四足机载处理器难以满足使用要求。目前有一些针对于四足机器人自主移动的点云融合方法被提出，包括平坦地形与不平坦地形方法切换算法、预先建立地图再3d视觉点云融合方法和双目相机半全局匹配点云融合等算法，但这些方法或多或少地存在着适应场景少、计算时间长和匹配效果差等缺点。
5.针对上述问题，目前尚未有有效的技术解决方案。


技术实现要素：

6.本技术的目的在于提供一种点云融合方法、装置、电子设备及存储介质，能适用于不同场景且具有计算速度快、匹配效果好的特点。
7.第一方面，本技术提供了一种点云融合方法，用于融合四足机器人采集的点云信息，所述方法包括以下步骤：获取所述点云信息和与所述点云信息对应的图像信息；对所述点云信息进行低频滤波处理获取有效点云信息；设定融合权重将所述有效点云信息转换为点云迭代值；设定整合权重将所述图像信息整合转换为图像迭代值；根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；根据所述点云特征信息和所述图像特征信息建立损失函数；根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛；获取所述损失函数收敛时的融合权重，作为所述点云信息的泛化融合权重以融合所述点云信息。
8.本技术的一种点云融合方法结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
9.所述的一种点云融合方法，其中，所述对所述点云信息进行低频滤波处理获取有效点云信息的步骤包括：基于所述点云信息进行凸包构建获取凸多面体；
根据所述凸多面体的平面生成点云法线，并根据法线差分算法对所述点云信息进行低频滤波，获取所述有效点云信息。
10.该示例的一种点云融合方法，将法线差分算法作为凸多面体的平面评价标准，以采用不同度量对平面生成点云法线，并将该平面及附近的近似平面均视为同一平面，以将这些近似平面内的点云视为低频部分，从而将这些近似平面内的点云去除，以实现点云信息的低频滤波，迅速地将点云信息中的定频部分去除。
11.所述的一种点云融合方法，其中，所述基于所述点云信息进行凸包构建获取凸多面体的步骤包括：选取所述点云信息中的四个不共面的点云建立凸多面体；基于所述点云信息中位于所述凸多面体外的点云逐步扩大所述凸多面体，直至所述凸多面体包围所述点云信息中的所有点云。
12.该示例的一种点云融合方法采用点云搜索的方式可有序且迅速地完成凸多面体的构建。
13.所述的一种点云融合方法，其中，所述根据所述凸多面体的平面生成点云法线，并根据法线差分算法对所述点云信息进行低频滤波，获取所述有效点云信息的步骤包括：设定第一邻域半径和第二邻域半径，所述第一邻域半径大于所述第二邻域半径；根据所述第一邻域半径和所述第二邻域半径分别计算所述凸多面体各面的第一法线和第二法线；根据所述法线差分算法计算所述凸多面体每个面的所述第一法线和所述第二法线的差分值范数；去除所述差分值范数小于差分阈值的平面对应的点云信息中的点云，以获取有效点云信息。
14.所述的一种点云融合方法，其中，所述根据所述点云迭代值和所述图像迭代值分别提取点云特征信息和图像特征信息的步骤包括：对所述点云迭代值逐步进行3d特征提取、深度信息加权融合、2d特征提取和特征降采样提取，以获取所述点云特征信息；对所述图像迭代值逐步进行2d特征提取和特征降采样提取，以获取所述图像特征信息。
15.所述的一种点云融合方法，其中，所述损失函数为mse损失函数。
16.在该示例的一种点云融合方法中，mse损失函数随着误差的减小，梯度也在减小，从而能实现快速收敛。
17.所述的一种点云融合方法，其中，所述根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛的步骤包括：根据所述融合权重定义所述损失函数的转换参数；根据所述损失函数的上一时刻的所述转换参数的梯度建立当前时刻的自适应梯度下降函数；根据所述自适应梯度下降函数更新所述转换参数以更新所述损失函数，直至所述损失函数收敛。
18.第二方面，本技术还提供了一种点云融合装置，用于融合四足机器人采集的点云
信息，所述装置包括：获取模块，用于获取所述点云信息和与所述点云信息对应的图像信息；滤波模块，用于对所述点云信息进行低频滤波处理获取有效点云信息；第一设定模块，用于设定融合权重将所述有效点云信息转换为点云迭代值；第二设定模块，用于设定整合权重将所述图像信息整合转换为图像迭代值；特征提取模块，用于根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；损失函数模块，用于根据所述点云特征信息和所述图像特征信息建立损失函数；更新模块，用于根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛；融合模块，用于获取所述损失函数收敛时的融合权重，作为所述点云信息的泛化融合权重以融合所述点云信息。
19.本技术的一种点云融合装置，结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
20.第三方面，本技术还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
21.第四方面，本技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
22.由上可知，本技术提供了一种点云融合方法、装置、电子设备及存储介质，其中，点云融合方法先对点云信息进行低频滤波处理，然后基于点云信息及与点云信息关联的图像信息提取特征并建立损失函数，即利用图像信息的整合效果与点云信息的融合效果作对比而对点云信息的融合效果进行评价，并利用自适应梯度下降算法使损失函数快速收敛，从而获取泛化融合权重，该方法结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
附图说明
23.图1为本技术实施例提供的一种点云融合方法的流程图。
24.图2为本技术实施例提供的一种点云融合装置的结构示意图。
25.图3为根据有效点云信息和图像信息建立损失函数的流程图。
26.图4为本技术实施例提供的电子设备的结构示意图。
具体实施方式
27.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的
范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
29.要实现四足机器人在未知环境下的自主移动，一般需在四足机器人上搭载rgb-d相机传感器和/或激光雷达传感器。由于激光雷达价格较为昂贵，在四足机器人机身上搭载rgb-d相机进行感知更有实际意义。
30.在基于rgb-d相机进行感知的机器人自主移动过程中，rgb-d传感器点云融合非常关键，是四足机器人进行外部环境三维重建、感知和slam（simultaneous localization and mapping，同步定位与建图）的关键步骤。
31.四足机器人一般要面对室内外高动态、高复杂度的环境，包括丛林、灾难现场和工厂等场景，这些场景具有环境复杂、语义信息多、地形不规则和不平坦的特点。另外，相比于传统的轮式移动机器人，四足机器人通过关节电机、连杆等结构组成，结构不够紧凑，加上控制算法复杂，行走过程中机身的晃动更大。
32.基于上述这些原因，传统移动机器人上的点云融合方法无法应用于四足机器人，一是复杂环境点云融合处理信息量巨大，四足机载处理器难以满足使用要求；二是由于结构等原因产生的抖动会导致点云生成中会产生大量噪点，导致融合匹配鲁棒性低。
33.现有的四足机器人点云融合方法存在着适应场景少、计算时间长和匹配效果差等缺点。
34.第一方面，请参照图1，图1是本技术一些实施例中的一种点云融合方法，用于融合四足机器人采集的点云信息，方法包括以下步骤：s1、获取点云信息和与点云信息对应的图像信息；具体地，该点云信息和图像信息由四足机器人搭载的传感器采集所得。
35.更具体地，四足机器人搭载有rgb-d相机，rgb-d相机能采集具有深度信息的图像，该点云信息和图像信息均采集自rgb-d相机，其中点云信息为三维点云数据；图像信息则为rgb-d相机采集的不包含深度信息的图像数据。
36.更具体地，点云信息和图像信息均来自rgb-d相机，故点云信息中的点云与图像信息中的像素点对应，同时对点云信息中点云和图像信息中像素点编排序列即可使点云信息和图像信息相互对应。
37.s2、对点云信息进行低频滤波处理获取有效点云信息；具体地，点云信息生成过程中会产生大量噪点，尤其是抖动等原因产生的噪点会表现为与邻近点云位置略微偏移，这些噪点会导致融合匹配鲁棒性低，故需要对点云信息进行低频滤波处理以对点云信息去噪，获取有效点云信息。
38.更具体地，有效点云信息能清晰反映实际环境形态，基于有效点云信息进行点云融合能提高融合匹配鲁棒性和点云融合精度。
39.s3、设定融合权重将有效点云信息转换为点云迭代值；具体地，点云迭代值为不同时刻点云融合过程中的有效点云信息的迭代值，该点云迭代值为点云融合过程中的迭代值，即获取准确的点云迭代值能使不同时刻的有效点云
信息进行有效融合；点云迭代值由当前时刻的有效点云信息与上一时刻的点云迭代值融合产生；而上一时刻的点云迭代值则由上一时刻的有效点云信息与上上一时刻的点云迭代值融合产生，如此类推，点云迭代值可以结合所有时刻的有效点云信息组合表示，每个时刻的有效点云信息在当前时刻的点云迭代值中占有不同的权重，故有效点云信息可以结合融合权重以转换为点云迭代值。
40.更具体地，融合权重为一个可变参数，在本技术实施例中的点云融合方法定义融合权重设计点云迭代值，能通过更新融合权重的方法调整点云迭代值进而改变点云融合效果；假设在获取了融合效果最优的融合权重的情况下，在本技术实施例中的点云融合方法可基于点云迭代值将不同时刻的有效点云信息进行高精度融合。
41.s4、设定整合权重将图像信息整合转换为图像迭代值；具体地，图像迭代值为不同时刻图像整合过程中的图像信息的迭代值，与点云迭代值转换原理一致，图像迭代值可以结合所有时刻的图像信息组合表示。
42.更具体地，整合权重为一个可变参数，在本技术实施例中的点云融合方法定义整合权重设计图像迭代值，能通过更新整合权重的方法调整图像迭代值进而改变图像整合效果。
43.s5、根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；具体地，点云特征信息和图像特征信息属于同一层级的神经网络数据，能作为相互比较、印证或调节的数据。
44.更具体地，点云特征信息用于表征该点云信息的数据集的属性，在本技术实施例中优选为fnn（前馈神经网络）层的特征。
45.更具体地，图像特征信息用于表征该图像信息的数据集的属性，在本技术实施例中优选为fnn（前馈神经网络）层的特征。
46.更具体地，前馈神经网络是一种最简单的神经网络，各神经元分层排列，每个神经元只与前一层的神经元相连且各层间没有反馈；根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息，能作为将点云信息和图像信息关联在一起进行比较的基础信息。
47.s6、根据点云特征信息和图像特征信息建立损失函数；具体地，该损失函数用于评价点云特征信息和图像特征信息的差异程度，由于点云特征信息和图像特征信息的来源于点云迭代值和图像迭代值，故该损失函数间接评价点云迭代值和图像迭代值的差异程度，而点云迭代值和图像迭代值分别是有效点云信息基于融合权重融合转换所得和图像信息基于整合权重整合转换所得，且点云信息和图像信息为rgb-d相机采集的且相互对应关联数据，即融合前点云信息和整合前的图像信息为具有对应关系，故该损失函数能评价融合权重和整合权重与差异程度的关系，即损失函数越收敛，对应的点云特征信息和图像特征信息匹配程度越好，即对应的融合权重越能促进点云融合效果。
48.s7、根据自适应梯度下降算法更新损失函数，直至损失函数收敛；具体地，本技术实施例的自适应梯度下降算法是一种优化算法，其中心思想是沿着该损失函数梯度方向更新函数中各个权重参数，以利用权重参数权值衰减的方式使损失函数尽可能最小化，最终使得损失函数收敛，即使得此时点云特征信息和图像特征信息重
合度最高。
49.s8、获取损失函数收敛时的融合权重，作为点云信息的泛化融合权重以融合点云信息。
50.具体地，损失函数收敛时表明此时点云特征信息和图像特征信息重合度最高，即使得有效点云信息转换为点云迭代值的效果与图像信息转换为图像迭代值的效果最接近，即有效点云信息的融合效果与图像信息的整合效果最接近，从而利用了与有效点云信息融合前具有对应关系的图像信息的整合结果来评价有效点云信息的融合效果，并将点云特征信息和图像特征信息重合度最高时的融合权重视为最佳融合权重，以该最佳融合权重作为点云信息的泛化融合权重以融合点云信息，即在融合算法中利用该泛化融合权重计算点云迭代值以进行有效点云信息的融合。
51.本技术实施例的一种点云融合方法，先对点云信息进行低频滤波处理，然后基于点云信息及与点云信息关联的图像信息提取特征并建立损失函数，即利用图像信息的整合效果与点云信息的融合效果作对比而对点云信息的融合效果进行评价，并利用自适应梯度下降算法使损失函数快速收敛，从而获取泛化融合权重，该方法结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
52.在一些优选的实施方式中，融合权重为关于不同时刻有效点云信息的第一增广矩阵。
53.具体地，由于点云迭代值可以结合所有时刻的有效点云信息组合表示且每个时刻的有效点云信息在当前时刻的点云迭代值中占有不同的权重，故融合权重包含关联于不同时刻有效点云信息的权重系数，在本技术实施例中融合权重优选为第一增广矩阵，以简化算法结构组成。
54.在一些优选的实施方式中，整合权重为关于不同时刻图像信息的第二增广矩阵。
55.具体地，与第一增广矩阵类似，在本技术实施例中整合权重优选为第二增广矩阵，以简化算法结构组成。
56.在一些优选的实施方式中，对点云信息进行低频滤波处理获取有效点云信息的步骤包括：s21、基于点云信息进行凸包构建获取凸多面体；具体地，凸多面体用于凸包所有点云信息，以初步反映同一时刻采集的点云信息中所有点云的分布形态，以一个凸多面体模型呈现出来。
57.s22、根据凸多面体的平面生成点云法线，并根据法线差分算法对点云信息进行低频滤波，获取有效点云信息。
58.具体地，法线差分算法是基于不同度量对应同一位置点获取不同法线，并基于不同法线的差异判断该位置点附近平面是否近似的算法，在本技术实施例中，将该算法作为凸多面体的平面评价标准，以采用不同度量对平面生成点云法线，并将该平面及附近的近似平面均视为同一平面，以将这些近似平面内的点云视为低频部分，从而将这些近似平面内的点云去除，以实现点云信息的低频滤波，迅速地将点云信息中的定频部分去除。
59.更具体地，现有的点云信息滤波算法一般需要遍历点云信息中所有点云，并对每
个点云进行计算以去除点云信息中的低频部分，而本技术实施例的方法则是基于点云信息构建能表征点云分布形态的凸多面体，然后利用法线差分算法对凸多面体进行滤波，将凸多面体中的低频面滤去以将点云信息中的低频点云滤去，该滤波方式无需遍历所有点云，对凸多面体进行滤波的处理方式的计算量、复杂度远远低于对点云进行滤波的处理方式的计算量、复杂度，从而有效降低了点云滤波处理的难度，有效提高点云滤波处理的运算速度和精度。
60.在一些优选的实施方式中，基于点云信息进行凸包构建获取凸多面体的步骤包括：s211、选取点云信息中的四个不共面的点云建立凸多面体；具体地，三维空间上任三个点可组成一个平面，故仅需确保第四个获取的点云不在前三个获取的点云共同所在的平面中便能建立凸多面体。
61.更具体地，由四个不共面的点云建立凸多面体为三维空间四面体。
62.s212、基于点云信息中位于凸多面体外的点云逐步扩大凸多面体，直至凸多面体包围点云信息中的所有点云。
63.具体地，建立凸多面体后，搜索下一个点云，判断该点云是否在凸多面体外，若该点云不在凸多面体外则跳过该点云，若该点云在凸多面体外则基于该点云与凸多面体连线以扩大凸多面体，然后重复执行搜索过程，直至遍历所有点云，以生成一个将点云信息中所有点云包围在内的凸多面体（点云可以在凸多面体的点、线、面上）。
64.更具体地，扩大凸多面体的过程是通过点云与凸多面体边线连线实现的，但随着凸多面体扩大，其面数逐渐增多，点云的连线也复杂起来，故在本技术实施例中为将点云连接在与该点云混合积大于0的面的边线上。
65.更具体地，凸多面体搜索点云进行扩大时的搜索顺序优选是根据点云信息采集时的序列进行搜索。
66.更具体地，本技术实施例的方法采用点云搜索的方式可有序且迅速地完成凸多面体的构建。
67.在一些优选的实施方式中，根据凸多面体的平面生成点云法线，并根据法线差分算法对点云信息进行低频滤波，获取有效点云信息的步骤包括：s221、设定第一邻域半径和第二邻域半径，第一邻域半径大于第二邻域半径；具体地，随着凸多面体的扩大构建，其表面也会逐渐细分，故对凸多面体某一面计算获取面法线时，相当于将该面视为一个顶点获取顶点法线，从而使得本技术实施例可以借助法线差分算法对凸多面体的平面进行滤波。
68.更具体地，法线差分算法需要设定至少两个不同尺度的邻域半径，不同邻域半径设定的邻域内包含的凸多面体的平面数量不同（对应的点云数量也不同）。
69.s222、根据第一邻域半径和第二邻域半径分别计算凸多面体各面的第一法线和第二法线；具体地，由于不同邻域半径设定的邻域内包含的凸多面体的平面数量不同，故对同一平面（可视为一个顶点）基于第一邻域半径和第二邻域半径进行计算能获取不同的法向向量，即第一法线和第二法线，遍历凸多面体的每个平面便能获取每个平面在第一邻域半径和第二邻域半径尺度下的第一法线和第二法线。
70.s223、根据法线差分算法计算凸多面体每个面的第一法线和第二法线的差分值范数；具体地，第一法线和第二法线的差分值范数能反映该平面在不同尺度下的与邻近平面的变化关系。
71.s224、去除差分值范数小于差分阈值的平面对应的点云信息中的点云，以获取有效点云信息。
72.具体地，在变化关系足够小的情况下，可以将两个邻域半径之间的变化视为低频部分，进而将该部分平面视为相似平面，以滤去这些低频部分内的点云，从而获取有效点云信息。
73.更具体地，在申请实施例中，设置差分阈值作为低频部分的判断标准，即差分值范数小于差分阈值的平面在两个邻域半径内的平面为低频部分；在本技术实施例中，差分阈值为预设值，优选为0.1。
74.更具体地，该低频部分的平面表征了这些平面变化幅度不大，这些部分的点云制约了整个点云融合的计算效率，且属于无意义数据，滤去这些点云能有效提高点云融合效率和精度。
75.本技术实施例的方法利用法线差分算法计算凸多面体每个面的第一法线和第二法线的差分值范数，并基于差分阈值判断获取低频平面以去除对应点云信息中的点云，实现了有效提高点云滤波处理的运算速度和精度。
76.在一些优选的实施方式中，根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息的步骤包括：s51、对点云迭代值逐步进行3d特征提取、深度信息加权融合、2d特征提取和特征降采样提取，以获取点云特征信息；具体地，如图3所示，该步骤主要是将点云迭代值转换并提取成能用于比较点云信息和图像信息关联性的特征信息；由于点云迭代值是根据有效点云信息融合获取的，故其属于三维数据，需要经过3d特征提取、深度信息加权融合、2d特征提取和特征降采样提取处理才能获取前馈神经网络特征。
77.s52、对图像迭代值逐步进行2d特征提取和特征降采样提取，以获取图像特征信息。
78.具体地，该步骤主要是将图像迭代值转换并提取成能用于比较点云信息和图像信息关联性的特征信息；由于图像迭代值是根据图像信息整合获取的，故其属于二维数据，需要经过2d特征提取和特征降采样提取处理才能获取前馈神经网络特征。
79.在一些优选的实施方式中，损失函数为mse损失函数。
80.具体地，mse损伤函数即均方方差损失函数，其统计参数是预测数据和原始数据对应点误差的平方和的均值，其具有曲线光滑、连续、处处可导的特点，便于使用梯度下降算法进行更新计算；mse损失函数随着误差的减小，梯度也在减小，从而能实现快速收敛。
81.在一些优选的实施方式中，根据自适应梯度下降算法更新损失函数，直至损失函数收敛的步骤包括：s71、根据融合权重定义损失函数的转换参数；具体地，该转换参数包含了有效点云信息和图像信息转换至损失函数过程中涉及
的可变参数项，即包含了融合权重、整合权重以及根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息过程中的提取参数。
82.s72、根据损失函数的上一时刻的转换参数的梯度建立当前时刻的自适应梯度下降函数；s73、根据自适应梯度下降函数更新转换参数以更新损失函数，直至损失函数收敛。
83.具体地，该转换参数更新过程属于神经网络学习过程，基于自适应梯度下降函数更新转换参数中的所有可变参数，直至使得损失函数收敛至最小，即此时转换参数中的可变参数对应的值能使得点云特征信息和图像特征信息最匹配，即对应的点云迭代值和图像迭代值最匹配，即有效点云信息的融合效果与图像信息的整合效果最匹配。
84.第二方面，请参照图2，图2是本技术一些实施例中提供的一种点云融合装置，用于融合四足机器人采集的点云信息，装置包括：获取模块201，用于获取点云信息和与点云信息对应的图像信息；滤波模块202，用于对点云信息进行低频滤波处理获取有效点云信息；第一设定模块203，用于设定融合权重将有效点云信息转换为点云迭代值；第二设定模块204，用于设定整合权重将图像信息整合转换为图像迭代值；特征提取模块205，用于根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；损失函数模块206，用于根据点云特征信息和图像特征信息建立损失函数；更新模块207，用于根据自适应梯度下降算法更新损失函数，直至损失函数收敛；融合模块208，用于获取损失函数收敛时的融合权重，作为点云信息的泛化融合权重以融合点云信息。
85.本技术实施例的一种点云融合装置，结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
86.在一些优选的实施方式中，采用上述一种点云融合装置执行第一方面提供的一种点云融合方法。
87.第三方面，请参照图4，图4为本技术实施例提供的一种电子设备的结构示意图，本技术提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
88.第四方面，本技术实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random access memory, 简称sram），电可擦除可编程只读存储器（electrically erasable programmable read-only memory, 简称eeprom），可擦除可编程只读存储器（erasable programmable read only memory, 简称eprom），可编程只读存储器（programmable red-only memory, 简称prom），只读存储器（read-only memory, 简称
rom），磁存储器，快闪存储器，磁盘或光盘。
89.实施例1该实施例以一个获取泛化融合权重以进行点云融合的过程为例阐述本技术第一方面提供的一种点云融合方法，该方法包括以下步骤：a1、获取四足机器人上rgb-d相机采集的点云信息和与点云信息对应的图像信息。
90.a2、对点云信息进行凸包构建获取包含点云信息中所有点云的凸多面体，具体过程如下：选定点云信息中四个不共面的点云组成四面体形状的凸多面体；搜索下一个点云，若当前搜索的点云在凸多面体内部则继续搜索下一个点云，若搜索到的点云不在凸多面体内，则判断该点云与各表面的对应混合积是否大于0，将混合积大于0的面连接至该点云上以扩大凸多面体，使得新的凸多面体包含该点云；搜索遍历所有点云后生成包含所有点云的凸多面体。
91.a3、设定第一邻域半径r
l
和第二邻域半径rs，其中r
l
》rs，选中凸多面体的一平面计算法线，将该平面定义为p，则对应于两个邻域半径分别获取第一法线和第二法线。
92.a4、计算法线差，即通过计算获取差分值范数；a5、判断差分值范数是否小于差分阈值ρ，当时，去除对应部分平面内的点云，这些点云为低频信息，该算法复杂度为（其中，o为时间复杂度算法，n为时间复杂度算法中问题的规模，时间复杂度算法用于评价解决对应问题的算法的效率），有效降低了点云信息低频滤波的复杂度，从而提高滤波效率和精度。
93.a6、遍历凸多面体所有平面以执行步骤a3-a5以去除点云信息中所有低频信息。
94.a7、设定x
t
为t时刻的有效点云信息，设y
t
为t时刻的图像信息，x'
t
为t时刻的点云迭代值，y'
t
为t时刻的图像迭代值，且有x'0=0，y'0=0；点云迭代值满足：；根据x'
t
和x'
t-1
的迭代关系可知x'
t
可以由x0到x
t
的线性表示，即：
ꢀꢀꢀ
（1）
其中，和为表出系数，=0.99，=，有=0.99
t
；t表示参与计算的时间总量，为融合权重，为一个增广矩阵，b1为融合偏置，r t 1
为融合偏置b1的预设的可选补偿值；同理，图像迭代值满足：，故y'
t
可以表示为：
ꢀꢀ
（2）其中，为表出系数，=0.99，=0.99
t
，为整合权重，为一个增广矩阵，b2为整合偏置，r t 1
为融合偏置b2的预设的可选补偿值。
95.a8、对x'
t
进行转换提取点云特征信息，满足：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）其中，该提取过程先对x'
t
进行3d-cnn层特征提取，3d-cnn层的激活函数为f3，3d-cnn层提取参数为，完成3d特征提取后经由加权组合层实现3d-cnn特征的深度信息加权融合，该加权融合过程的激活函数为f4、加权融合参数为，完成加权融合后进行2d-cnn层特征提取，2d-cnn层的激活函数为f5，2d-cnn层提取参数为，完成2d-cnn层特征提取后进行fnn层降采样，fnn层降采样激活函数为f6，降采样权重为，降采样偏置为b4。
96.其中，3d-cnn层的激活函数为f3、加权融合过程的激活函数f4、2d-cnn层的激活函数为f5及fnn层降采样的激活函数f6均为现有技术函数，在此不做详述。
97.a9、对y'
t
进行转换提取图像特征信息，满足：；其中，该提取过程先对y'
t
进行2d-cnn层特征提取，2d-cnn层的激活函数为f1，2d-cnn层提取参数为，完成2d-cnn层特征提取后进行fnn层降采样，fnn层降采样激活函数为f2，降采样权重为，降采样偏置为b3。
98.其中，2d-cnn层的激活函数为f1及fnn层降采样的激活函数f2均为现有技术函数，在此不做详述。
99.a10、根据点云特征信息和图像特征信息建立mse损失函数loss，满足：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）a11、定义转换参数，θ0为随机初始化的值，
则mse损失参数loss对应于上一时刻的转换参数θ
t-1
的梯度为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）a12、基于梯度g
t
构建自适应梯度块v
t
，使v
t
满足：
ꢀꢀꢀ
（6）其中，β为梯度系数，β=0.9，使v
t
最终收敛为。
100.结合v
t
和θ
t
有以下迭代关系：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）其中，α=0.05，为一个无穷小的量，用于避免θ
t
无解，在本实施例中，=10-6
。
101.a13、基于式（7）更新loss，直至loss收敛，从此时的θ
t
中提取作为泛化融合权重，用于获取点云迭代值进行点云融合。
102.综上，本技术实施例提供了一种点云融合方法、装置、电子设备及存储介质，其中，点云融合方法先对点云信息进行低频滤波处理，然后基于点云信息及与点云信息关联的图像信息提取特征并建立损失函数，即利用图像信息的整合效果与点云信息的融合效果作对比而对点云信息的融合效果进行评价，并利用自适应梯度下降算法使损失函数快速收敛，从而获取泛化融合权重，该方法结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
103.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
104.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
105.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
106.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
107.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的
任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。