基于通道注意力的点云识别方法及系统

1.本发明属于三维数据处理技术领域，涉及一种基于通道注意力的点云识别方法及系统。


背景技术：

2.近年来，随着机器人技术和自主驾驶技术的发展，三维传感器开始普及，三维数据越来越容易获得,大规模的三维数据集开始出现，如何正确地处理和分析三维数据也成为了一个值得关注的话题。
3.然而直接使用处理二维图像数据的方法去处理三维数据并不可行，因为二维图像是由像素逐点表示的，而三维数据通常是一组在三维空间中无序的,离散的点的集合。在二维图像上，通过卷积操作构建复杂的卷积神经网络，来处理二维数据，这极大地提高了二维图像的处理效果。如果模仿由像素表示的二维图像，用体素来表示三维图像数据，需要花费大量的内存来存储数据，由于三维数据本身的稀疏性，导致难以在高分辨率的图像上进行处理。
4.点云数据是三维数据的直接表示，将三维点的坐标和特征作为自身的参数使用。pointnet直接使用点云来处理数据，学习每个点的空间编码，然后将所有的点特征聚合为全局特征，但pointnet没有考虑点云的局部特征。而pointnet 通过引入层次结构来提取全局和局部特征，解决了这一问题。但这种方法没能够充分利用点云的通道数据，也没能够充分利用点云的全局和局部位置信息，导致在处理点云数据提取特征的过程中，未充分考虑位置信息。


技术实现要素：

5.本发明的目的在于提供一种基于通道注意力的点云识别方法及系统，增加点云特征提取的效果。
6.为了达到上述目的，本发明的基础方案为：一种基于通道注意力的点云识别方法，包括如下步骤：
7.输入点云，进行全局位置编码；
8.进行层次化点云特征提取，获取点云的全局特征；
9.利用点云的全局特征进行分类和部件分割。
10.本基础方案的工作原理和有益效果在于：针对没能充分利用点云的全局和局部位置信息的问题，使用全局位置编码和层次化点云特征提取，获取点云的全局特征。这样可以在扩大感知域提取高级特征的过程中，关注点云的层次化的位置信息，增加点云特征提取的效果。最后提取点云的全局特征用于接下来的形状分类，部件分割任务，操作简单，便于使用。
11.进一步，层次化点云特征提取方法为：
12.以点云位置信息和所述全局位置编码作为第一层层次化点云特征提取模块的输
入，将第一层点云特征提取模块的输出当作第二层层次化点云特征提取模块的输入，依次类推，不断堆叠层次化点云特征提取模块，最后一层输出全局特征；
13.在层次化点云特征提取模块中，先将点云采样和分组，再进行层次化局部位置编码，对层次化局部位置编码通过多层感知器提取层次化特征；对提取到的层次化特征使用通道注意力进行注意力特征融合，提取点云的空间特征,最后通过多层感知器和池化层进一步提取点云的空间特征，作为该层层次化点云特征提取模块的输出。
14.在原始点云数据的基础上，分别基于点云的全局局部位置进行了位置编码，从而将全局局部位置信息融入点云特征中，然后在多层感知器的基础上，融合通道注意力提取点云的通道特征。针对没能充分利用通道信息的问题，使用了通道注意力来处理多层感知器提取到的特征，从而将通道特征融合进去，加强值得关注的通道，关注点云的层次化的位置信息和通道特征，增加点云特征提取的效果。
15.进一步，全局位置编码的方法如下：
16.接收到点云的输入信息后，进行全局位置编码，全局位置编码δ定义为：
17.δ＝θ(pi)
18.其中，pi是点i的空间坐标，编码函数θ是感知器。
19.为了可以在整个通道注意力点云网络中利用好全局位置编码，在接收到点云的输入后，立即进行全局位置编码。
20.进一步，对点云进行采样的方法为：
21.a.输入点云有n个点，从点云中选取一个点p0作为起始点，得到采样点集合s＝{p0}；
22.b.计算点云所有点到点p0的距离，构成n维数组l，从数组l中选择最大值对应的点作为p1，更新采样点集合s＝{p0，p1}；
23.c.计算点云所有点到p1的距离，对于每一个点pi，其距离p1的距离如果小于l[i]，则更新l[i]＝d(pi,p1)，因此，数组l中存储的一直是每一个点到采样点集合s的最近距离；
[0024]
d.选取l中最大值对应的点作为p2，更新采样点集合s＝{p0，p1，p2}；
[0025]
e.重复b-d步骤，直至采样到n’个目标采样点为止。
[0026]
进一步，点云分组的方法为：
[0027]
以得到的采样点为基础进行分组：
[0028]
输入点云有n个点，采样点有n’个点，参数为手动设置的组内点云数k和范围r；
[0029]
在输入点云中以每个采样点为中心，半径为r的球形范围内任取k个点，若点的数量不足k，则用采样点填充不足的数量；
[0030]
经过采样和分组后，得到了点云的分组空间坐标和分组空间特征。
[0031]
让网络对点云特征进行迭代提取，逐步获取各层次局部特征，即在不断扩大感知域的基础上，提取越来越高级的特征，利于后续操作。
[0032]
进一步，层次化局部位置编码的方法如下：
[0033]
考虑每层点云的空间特征，分层提取点云的局部特征，局部位置编码ε为：
[0034]
ε＝g(h(p
i-pj) xi)
[0035]
其中，pi，pj是点i,点j的空间坐标；xi表示点i的层次化特征；函数h，g是多层感知器；函数h用于对点云层次化局部空间特征进行位置编码；函数g用于融合点云的层次化特
征和层次化位置编码。
[0036]
层次化特征是经过网络计算后得到的高维向量，关注点云的层次化的位置信息，增加点云特征提取的效果。
[0037]
进一步，使用通道注意力进行注意力特征融合的方法如下：
[0038]
将点云的层次化特征进行通道全局平均池化，得到全局通道特征；
[0039]
对全局通道特征进行一维卷积，在神经网络中学习各个通道间的关系，得到不同通道的权重；
[0040]
将不同通道的权重乘以点云的过渡特征，得到带有通道注意力的点云的空间特征。
[0041]
通道注意力计算方法为：
[0042]
zi＝xi*sigmod(f(gap(xi)))
[0043]
其中，xi表示点i的层次化特征，gap是全局平均池化操作，函数f是1维卷积,sigmod是激活函数；通过这种方法可关注信息量最大的通道特征，而抑制那些不重要的通道特征。
[0044]
利用通道注意力机制来学习不同通道特征的重要程度，融合通道注意力，增加点云特征提取的效果。本发明还提供一种基于通道注意力的点云识别系统，包括点云获取模块和层次化点云特征提取模块，所述点云获取模块的输出端与层次化点云特征提取模块的输入端连接，所述层次化点云特征提取模块执行本发明所述方法，进行点云识别。
[0045]
本方案利用通道注意力提取点云数据，在多层感知器提取特征的基础上，融合了通道特征，并通过添加全局位置编码和层次化点云局部位置编码，合理地使用了点云的全局和局部信息，提高了点云识别的效果。
[0046]
进一步，所述层次化点云特征提取模块的第一输入端用于接收点云的空间坐标，层次化点云特征提取模块的第二输入端用于接收点云的层次化空间特征；
[0047]
点云识别系统中设有多个层次化点云特征提取模块，在第1个层次化点云特征提取模块中，为点云的全局位置编码，之后的第2,3，
…
，n个层次化点云特征提取模块的输入为第1,2,3，
…
，n-1层的层次化点云特征提取模块的层次化空间特征输出；
[0048]
层次化点云特征提取模块的第一输出端用于输出处理后的点云的空间坐标，层次化点云特征提取模块的第二输出端用于输出点云的层次化空间特征；
[0049]
层次化点云特征提取模块，在接收两个输入后，首先进行采样和分组，采样使用最远点采样；
[0050]
采样和分组后，进行层次化局部位置编码，对层次化局部位置编码通过多层感知器提取层次化特征；
[0051]
对提取到的层次化特征使用通道注意力进行注意力特征融合，提取点云的空间特征,最后通过多层感知器和池化层进一步提取点云的空间特征，作为该层层次化点云特征提取模块的输出。
[0052]
层次化点云特征提取模块先对点云特征进行分组和采样，便于后续操作。
[0053]
进一步，所述层次化点云特征提取模块包括层次化局部位置编码模块和注意力融合模块；
[0054]
所述层次化局部位置编码模块，用于得到层次化局部位置编码；
[0055]
所述注意力融合模块，用于将点云层次化局部位置编码进行注意力特征融合，得到点云的空间特征。
[0056]
层次化点云特征提取模块包含所需的对应模块，便于使用。
附图说明
[0057]
图1是本发明基于通道注意力的点云识别方法的总体架构示意图；
[0058]
图2是本发明基于通道注意力的点云识别方法的得到局部位置编码的结构示意图；
[0059]
图3是本发明基于通道注意力的点云识别方法的得到点云全局特征的结构示意图；
[0060]
图4是本发明基于通道注意力的点云识别方法的分层提取点云的局部特征的结构示意图。
具体实施方式
[0061]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0062]
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0063]
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0064]
现有技术中，pointnet 的输入点云直接进入set abstraction(集合抽象)层中提取特征。在set abstraction层中，经过sampling&grouping(抽样和分组)层进行采样和分组操作。sampling对输入点进行采样，在整个输入点云中采样出若干的关键点。grouping层基于采样点对整个输入点云进行分组，以采样点为中心在整个输入点云中划分若干个区域。将经过sampling&grouping层分组和采样的点云输入到pointnet(点网)层中，经过多层感知器的处理，最后得到1层set abstraction层提取到的特征。再将提取到的特征输入到下一层set abstraction层提取新的特征，通过迭代多层，最终提取到全局特征。
[0065]
现有技术采用基于多层感知器的点云识别网络，可以对点云数据进行提取分析，但是这种方法没能够充分利用点云的通道数据。同时未充分利用点云的全局和局部位置信息，导致在处理点云数据提取特征的过程中，没能够充分考虑位置信息。
[0066]
本发明公开了一种基于通道注意力的点云识别方法，针对没能充分利用通道信息的问题，使用了通道注意力来处理多层感知器提取到的特征，从而将通道特征融合进去，加强值得关注的通道。针对没能充分利用点云的全局、局部位置信息的问题，使用了全局、局
部位置编码，将位置信息融入到点云特征中。
[0067]
如图1所示，本发明方法包括如下步骤：
[0068]
输入点云，进行全局位置编码。位置编码在自注意力中发挥着重要的作用，使得注意力机制可以适应数据中的局部结构。在序列化的数据和图像数据中，位置编码通常是人工设计的正弦函数，余弦函数，归一化函数等。由于三维点云数据的特点，三维坐标数据自然成为了三维点云位置编码的选择之一。
[0069]
进行层次化点云特征提取，以点云位置信息和所述全局位置编码作为第一层层次化点云特征提取模块的输入，将第一层点云特征提取模块的输出当作第二层层次化点云特征提取模块的输入，依次类推，不断堆叠层次化点云特征提取模块，最后一层输出全局特征；
[0070]
在层次化点云特征提取模块中，先将点云采样和分组，再进行层次化局部位置编码，对层次化局部位置编码通过多层感知器提取层次化特征；
[0071]
对提取到的层次化特征使用通道注意力进行注意力特征融合，提取点云的空间特征,最后通过多层感知器和池化层进一步提取点云的空间特征，作为该层层次化点云特征提取模块的输出。最后堆叠多层层次化点云特征提取模块，利用点云的全局特征进行分类和部件分割。
[0072]
本发明的一种优选方案中，全局位置编码的方法如下：
[0073]
为了可以在整个通道注意力点云网络中利用好全局位置编码，接收到点云的输入信息后，立刻进行全局位置编码，全局位置编码δ定义为：
[0074]
δ＝θ(pi)
[0075]
其中，pi是点i的空间坐标；编码函数θ是感知器，其结构可为linear-》batchnorm-》relu，linear是指线性层，batchnorm是指批处理层，relu是指激活函数relu，也可以采用其他结构，比如linear-》batchborm-》relu-》linear-》batchborm-》relu，这种两层结构可以继续堆叠3,4,5层，激活函数可以替换成sigmod,tanh,leakyrelu等常用激活函数。
[0076]
本发明的一种优选方案中，如图4所示，对点云进行采样的方法为：
[0077]
a.输入点云有n个点，从点云中选取一个点p0作为起始点，得到采样点集合s＝{p0}；
[0078]
b.计算点云所有点到点p0的距离，构成n维数组l，从数组l中选择最大值对应的点作为p1，更新采样点集合s＝{p0，p1}；
[0079]
c.计算点云所有点到p1的距离，对于每一个点pi，其距离p1的距离如果小于l[i]，则更新l[i]＝d(pi,p1)，因此，数组l中存储的一直是每一个点到采样点集合s的最近距离；
[0080]
d.选取l中最大值对应的点作为p2，更新采样点集合s＝{p0，p1，p2}；
[0081]
e.重复b-d步骤，直至采样到n’个目标采样点为止。
[0082]
本发明的一种优选方案中，点云分组的方法为：
[0083]
然后以得到的采样点为基础进行分组，例如方法为ball query：
[0084]
输入点云有n个点，采样点有n’个点，参数为手动设置的组内点云数k和范围r。在输入点云中以每个采样点为中心，半径为r的球形范围内任取k个点，若点的数量不足k，则用采样点填充不足的数量。经过采样和分组后，得到了点云的分组空间坐标和分组空间特征。
[0085]
本发明的一种优选方案中，层次化局部位置编码的方法如下：
[0086]
考虑每层点云的空间特征，分层提取点云的局部特征，第1层是全局位置编码，之后为上一层提取到的层次化空间特征。如图2所示，局部位置编码ε为：
[0087]
ε＝g(h(p
i-pj) xi)
[0088]
其中，pi，pj是点i,点j的空间坐标；xi表示点i的层次化特征，层次化特征是经过网络计算后得到的高维向量，可以有64,128,256,512,1024维；函数h，g是多层感知器；函数h用于对点云层次化局部空间特征进行位置编码，结构优选但不限于linear-》batchnorm-》relu-》linear-》batchnorm，linear-》batchborm-》relu-》linear-》batchborm-》relu-》linear-》batchborm-》relu；函数g用于融合点云的层次化特征和层次化位置编码，结构优选但不限于linear-》batchnorm，其他结构，如linear-》batchborm-》relu-》linear-》batchbormu或者linear-》batchborm-》relu-》linear-》batchborm-》relu-》linear-》batchborm，这种两层结构，可以继续堆叠3、4、5层，激活函数可以替换成sigmod,tanh,leakyrelu等常用激活函数。
[0089]
本发明的一种优选方案中，进行注意力特征融合的方法如下：
[0090]
多层感知器注重于在空间上进行特征融合，获取多尺度的空间信息，位置编码的方式也不一定采用多层感知器进行位置编码，也可以是人工设计的位置编码。对于通道维度的特征融合，通常是直接进行所有通道的融合，并没有考虑到通道和通道之间的关系。为了考虑通道之间的关系，本方案采用了通道注意力机制来学习不同通道特征的重要程度。为了能够适当地处理通道之间的关系，采用通道注意力模块ecanet，selayer或cbam等。
[0091]
将点云的层次化特征xi进行通道全局平均池化(global average pooling,gap)，得到全局通道特征；
[0092]
对全局通道特征进行一维卷积，在神经网络中学习各个通道间的关系，得到不同通道的权重；通道数为人工设置，每层通道数不同，例如第1层的通道数为128，第2层的通道数为256，第3层的通道数为512；或者第1层的通道数为64，第2层的通道数为128，第3层的通道数为256，第4层的通道数为256，第5层的通道数为512；学习各个通道间的关系，即是学习每层通道间的关系，比如学习第1层128个通道间的关系，第2层256个通道间的关系。在神经网络的当次训练中可以得到当前的权重，多次训练这个权重是在不断微调的，当次训练得到的权重在当次训练得到后直接用于接下来的运算。
[0093]
将不同通道的权重乘以点云的过渡特征，得到带有通道注意力的点云的空间特征。通过这种方法可以让模型关注信息量最大的通道特征，而抑制那些不重要的通道特征。如图3所示，通道注意力计算方法为：
[0094]
zi＝xi*sigmod(f(gap(xi)))
[0095]
其中，xi表示点i的层次化特征，gap是全局平均池化操作，函数f是1维卷积,sigmod是激活函数。
[0096]
本发明还提供一种基于通道注意力的点云识别系统，包括点云获取模块和层次化点云特征提取模块，点云获取模块的输出端与层次化点云特征提取模块的输入端连接，层次化点云特征提取模块执行本发明所述方法，进行点云识别。
[0097]
层次化点云特征提取模块包括层次化局部位置编码模块和注意力融合模块，在点云数据输入后，进行全局位置编码，再把全局位置编码输入到第1层层次化点云特征提取模
块。层次化局部位置编码模块用于得到层次化局部位置编码，注意力融合模块用于将点云层次化局部位置编码进行注意力特征融合，得到点云的空间特征。
[0098]
如图4所示，层次化点云特征提取模块的第一输入端用于接收点云的空间坐标，比如,三维坐标系下的空间坐标；层次化点云特征提取模块的第二输入端用于接收点云的层次化空间特征；
[0099]
点云识别系统中设有多个层次化点云特征提取模块，在第1个层次化点云特征提取模块中，为点云的全局位置编码，之后的第2,3，
…
，n个层次化点云特征提取模块的输入为第1,2,3，
…
，n-1层的层次化点云特征提取模块的层次化空间特征输出；
[0100]
层次化点云特征提取模块的第一输出端用于输出处理后的点云的空间坐标，比如,三维坐标系下的空间坐标；层次化点云特征提取模块的第二输出端用于输出点云的层次化空间特征；
[0101]
层次化点云特征提取模块，在接收两个输入后，首先进行采样和分组，采样使用最远点采样(fps，farthest point sampling)，分组采用ball query。采样和分组后，进行层次化局部位置编码，对层次化局部位置编码通过多层感知器提取层次化特征。对提取到的层次化特征使用通道注意力进行注意力特征融合，提取点云的空间特征,最后通过多层感知器和池化层进一步提取点云的空间特征，作为该层层次化点云特征提取模块的输出。
[0102]
本方案首先通过不断提取点云的局部特征，然后扩大局部范围提取点云的局部特征，最后得到全局特征。这一方法，可以对点云特征进行迭代提取，利用了点云全局和局部特征的关系，在逐步获取各层次局部特征的基础上，最终能获取到点云的全局特征。这个过程模拟了卷积神经网络特征提取的过程，即在不断扩大感知域的基础上，提取越来越高级的特征。
[0103]
其次，在层次化点云特征提取模块的基础上，融合层次化位置编码和通道注意力两个模块，从而可以在扩大感知域提取高级特征的过程中，关注点云的层次化的位置信息和通道特征，合理地使用了点云的全局和局部信息，增加点云特征提取的效果。最后通过堆叠层次化点云特征提取模块，提取点云的全局特征，并用于接下来的形状分类，部件分割任务。
[0104]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0105]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。