图神经网络训练方法、点云特征提取方法、设备及介质与流程

1.本技术涉及点云数据处理领域，特别是涉及一种用于点云特征提取的神经网络训练方法、终端及介质。


背景技术：

2.三维点云信息与二维图像相比，具有更丰富的描述信息，克服了单视角投影的局限。三维点云信息中包含了丰富的真实物体信息，通过对点云信息的提取可以处理传统机器视觉难以解决的问题。三维点云信息量庞大，在处理过程中需要对点云信息进行采样和信息提取，点云的数据特征适合使用图神经网络(graph neural network，gnn)进行解析。
3.gnn从点云中采样部分点作为图的节点，根据规则进行连接，通过聚合节点与邻域的信息完成相应点云信息的学习。目前基于gnn的点云学习方法，一方面易丢失大量有用信息，另一方面缺乏在特定应用场景下的点云特征表述。


技术实现要素：

4.本技术提供一种用于图神经网络训练方法、点云特征提取方法、设备及存储介质。
5.本技术采用的一个技术方案是提供一种图神经网络训练方法，应用于点云特征提取，其中，所述图神经网络训练方法包括：
6.获取待训练点云，根据所述待训练点云构建图结构数据，其中所述图结构数据包括若干节点，以及所述若干节点之间构成的边；
7.基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络；
8.将所述图结构数据输入所述待训练图神经网络，获取每一聚合函数的聚合结果，并按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到所述待训练图神经网络的预测输出；
9.基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。
10.其中，所述基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的图神经网络，包括：
11.基于所述预测输出对所述每一聚合函数的权重参数进行训练，直至得到最终的权重参数组合；
12.基于所述权重参数组合，计算每一聚合函数的影响因子；
13.将所述影响因子最大的聚合函数保留，构成最终的图神经网络。
14.其中，所述待训练图神经网络由多层聚合层构成，每层聚合层包含相互并联的所述若干聚合函数；
15.所述将所述影响因子最大的聚合函数保留，构成最终的图神经网络，包括：
16.将所述每层聚合层中影响因子最大的聚合函数保留，作为该层聚合层的唯一聚合函数，由训练后的多层聚合层构成最终的图神经网络。
17.其中，所述聚合函数包括以下至少一种：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
18.其中，所述根据所述待训练点云构建图结构数据，包括：
19.将所述待训练点云中的所有点，作为所述图结构数据的节点，其中，每个节点包含对应点的三维坐标信息；
20.获取两两节点之间的距离，连接所述距离小于预设阈值的两个节点之间的边；
21.基于所有节点，以及已创建的边构建所述图结构数据。
22.其中，所述获取待训练点云，包括：
23.获取原始点云；
24.通过预设聚类算法，将所述原始点云划分为若干待训练点云；
25.所述按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到所述待训练图神经网络的预测输出，包括：
26.按照所述每一聚合函数的权重参数将所述每一聚合函数的聚合结果融合，得到每一待训练点云的第一预测点云特征；
27.将所有待训练点云的第一预测点云特征进行融合，得到所述原始点云的第二预测点云特征，作为所述待训练图神经网络的预测输出。
28.其中，所述通过预设聚类算法，将所述原始点云划分为若干待训练点云之后，所述图神经网络训练方法还包括：
29.从所述若干待训练点云中选择若干起始点，以及每一待训练点云的重心；
30.基于每一起始点与所有待训练点云的重心的距离，获取所述每一起始点对应的待训练副点云。
31.其中，所述基于每一起始点与所有待训练点云的重心的距离，获取所述每一起始点对应的待训练副点云，包括：
32.根据所述每一起始点与所有待训练点云的重心的第一距离，获取所述第一距离最大的待训练点云中的第一采样点，并将所述起始点与所述第一采样点构成采样点集；
33.计算所述采样点集与所有待训练点云的重心的第二距离，获取所述第二距离最大的待训练点云中的第二采样点，将所述第二采样点加入所述采样点集，直至所述采样点集中点的数量达到预设数量，将最终的采样点集作为所述起始点对应的待训练副点云。
34.本技术采用的另一个技术方案是提供一种点云特征提取方法，所述点云特征提取方法包括：获取待识别点云；将所述待识别点云输入预先训练的图神经网络，获取所述待识别点云的目标点云特征；其中，所述图神经网络由上述的图神经网络训练网络方法训练得到。
35.本技术采用的又一个技术方案是提供一种终端设备，所述终端设备包括处理器、与所述处理器连接的存储器，其中，所述存储器存储有程序指令；所述处理器用于执行所述存储器存储的程序指令以实现如上述的图神经网络训练方法，和/或上述的点云特征提取方法。
36.本技术采用的再一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的图神经网络训练方法，和/或上述的点云特征提取方法。
37.本技术的有益效果是：提供一种图神经网络训练方法，图神经网络方法包括获取待训练点云，根据待训练点云构建图结构数据，其中图结构数据包括若干节点，以及若干节点之间构成的边；基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络；将图结构数据输入待训练图神经网络，获取每一聚合函数的聚合结果，并按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到待训练图神经网络的预测输出；基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。本技术通过图采样方法保留更多原始点云信息，并通过可微的图神经网络搜索技术找出最适合的当前场景的图模型，且对点云区域划分后进行最远点采样，增加对密度不均衡点云信息的适用性。
附图说明
38.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本技术提供的图神经网络训练方法一实施例的流程示意图；
40.图2是图1中s100的子步骤流程示意图；
41.图3是图2中s120之后的步骤流程示意图；
42.图4是图3中s140的子步骤流程示意图；
43.图5是图3中s140之后的步骤流程示意图；
44.图6是图1中s300的子步骤流程示意图；
45.图7是图1中s100到s400的步骤流程示意图；
46.图8是图1中s400的子步骤流程示意图；
47.图9是图8中s410-s430的流程示意图；
48.图10是本技术实施例提供的点云特征提取方法一实施例的流程示意图；
49.图11是本技术实施例提供的3d点云特征提取方法和应用一实施例步骤流程示意图；
50.图12是本技术提供的终端设备一实施例的结构示意图；
51.图13是本技术提供的计算机存储介质一实施例的结构示意图。
具体实施方式
52.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.3d点云数据是一种非常重要的空间几何型数据，是一种无层次不规则的数据形式，一般用来构建表示立体几何物体的表面形状，同时点云数据也是激光雷达、3d传感器和立体扫描仪等设备生成数据的原始表现形式。
54.近年来，深度学习技术在图像识别、自然语言处理等领域具有巨大的优势，使端到
端的机器学习和模式识别技术迈向新的台阶。深度学习算法具有强大的特征提取与特征表达能力，能够克服传统机器学习中繁杂的人工特征工程预处理过程、自动地识别和提取训练数据背后潜在的特征信息，并从中学习其特征规律用于建模。然而基于传统深度学习方法的3d点云建模方式都无法有效地捕捉数据点之间的空间几何信息，并且建模过程复杂，对内存资源消耗很大。3d点云数据属于非欧几里得域数据，无法将其简单地转换为张量形式表示，因此传统深度学习算法对3d点云数据的建模处理具有一定的局限性，处理效果不佳。
55.图作为一种特殊形式的数据结构类型，其结构形式包含了丰富的应用价值，图结构数据主要由节点和连接节点的边组成，节点包含了数据的属性特征，边表示了节点间的依赖关系。对于非欧几里得域数据的有效表示，图结构表现出巨大的适用性和应用价值，因此点云数据适合采用图神经网络(graphneuralnetworks，gnn)进行解析。
56.gnn通常从点云中采样出部分点作为图的节点，根据规则进行连接，通过聚合节点和邻域的信息学习到相应的点云特征，然而gnn的聚合次数过多时，会使部分点云数据模糊或丢失，且不同的聚合方式对节点特征的最终表达存在较大的影响。
57.请参阅图1，图1是本技术提供的图神经网络训练方法一实施例的流程示意图。
58.如图1所示，本技术实施例的图神经网络训练方法可以包括以下步骤：
59.s100，获取待训练点云，根据待训练点云构建图结构数据，其中图结构数据包括若干节点，以及若干节点之间构成的边。
60.在一实施例中，获取待训练点云，将待训练点云中每个点作为图结构数据中的节点，并将每个节点与其最相近邻相连接构成边，其中节点之间构成的边为有向边。
61.具体地，将待训练点云中的每个点及其邻域点构建成为若干个局部有向图，实现非结构化的待训练点云数据向结构化的图结构数据的转换。
62.s100中的待训练点云的获取方式具体请参阅图2，图2是图1中s100的子步骤流程示意图。
63.如图2所示，s100的后续流程图可以包括：
64.s110，获取原始点云。
65.具体地，通过使用三维扫描设备，如2d/3d激光雷达、立体摄像头、飞行时间相机(time-of-flight camera，tofcamera)对物体表面进行自动化测量，获取原始的点云数据。
66.s120，通过预设聚类算法，将原始点云划分为若干待训练点云。
67.在一实施例中，使用均匀大小的体素网格将原始点云体素化，得到下采样后的点云。具体地，将原始点云体素化，减少冗余点云数据，并保留点云的形状特征信息。其中，本技术实施例的体素网格大小在此不做限制。
68.可选地，将下采样后的点云中第i个点表示为pi。在一实施例中，使用预设聚类算法将下采样后的点云分成n个区域，即分为n个待训练点云。每个待训练点云内部的点特征相似度，大于待训练点云之间的点特征相似度。
69.将原始点云划分为若干待训练点云的后处理方式请参阅图3，图3是图2中s120之后的步骤流程示意图。
70.如图3所示，s120的之后的步骤可以包括：
71.s130，从若干待训练点云中选择若干起始点，以及每一待训练点云的重心。
72.其中，计算出n个待训练点云的重心{q1,q2,
…
,qn}。并随机选取若干待训练点云中一个点p
x
作为起始点。
73.s140，基于每一起始点与所有待训练点云的重心的距离，获取每一起始点对应的待训练副点云。
74.具体地，通过点云聚类后进行区域划分，以区域为单位实现最远点采样，对得到的多个待训练副点云进行处理，保留更多的原始点云信息，减少点云采样时因点云近密远疏问题造成采样损失。
75.获取起始点对应的待训练副点云的方式具体请参阅图4，图4是图3中s140的子步骤流程示意图。
76.如图4所示，s140的子步骤可以包括：
77.s141，根据每一起始点与所有待训练点云的重心的第一距离，获取第一距离最大的待训练点云中的第一采样点，并将起始点与第一采样点构成采样点集。
78.在一实施例中，计算起始点p
x
与n个待训练点云的重心{q1,q2,
…
,qn}之间的第一距离，求出与起始点p
x
第一距离最远的待训练点云区域，在该待训练点云区域中随机采样一个点，作为第一采样点，与起始点p
x
构成采样点集a。
79.可选地，第一距离可为起始点与待训练点云重心之间的欧氏距离。
80.s142，计算采样点集与所有待训练点云的重心的第二距离，获取第二距离最大的待训练点云中的第二采样点，将第二采样点加入采样点集，直至采样点集中点的数量达到预设数量，将最终的采样点集作为起始点对应的待训练副点云。
81.其中，通过计算采样点集a与待训练点云重心{q1,q2,
…
,qn}间的第二距离，求出与采样点集a第二距离最远的待训练点云，在该待训练点云中随机采样一个点，作为第二采样点，将第二采样点加入采样点集a中。
82.通过n次采样后，最终得到一个包含n个点的采样点集a，即待训练副点云c1。
83.更新去掉采样点后的待训练点云重心为{q
′1,q
′2,
…
,q
′n}
84.对待训练副点云进行多次重复采样，直到待训练副点云达到预设数量或某个区域内无未采集点，将最终的采样点集作为起始点所对应的待训练副点云。
85.可选地，采样点集与所有待训练点云的重心的第二距离，可以为采样点集与所有待训练点云重心的欧氏距离。
86.通过获取多个待训练副点云数据，保留了点云信息较薄弱位置的信息，提升对密集度不均衡的点云信息的采样能力。
87.s100中的构建图结构数据的方式具体请参阅图5，图5是图3中s140之后的步骤流程示意图。
88.如图5所示，s140之后的步骤可以包括：
89.s150，将待训练点云中的所有点，作为图结构数据的节点，其中，每个节点包含对应点的三维坐标信息。
90.将每一个待训练点云中构造的点信息，加入图结构数据的节点集合v，针对节点集合中的单个节点vi，包含了待训练点云中对应点的三维坐标信息。
91.s160，获取两两节点之间的距离，连接距离小于预设阈值的两个节点之间的边。
92.计算出节点集合中两两节点之间的距离，若两两节点之间的距离小于预设阈值，
则连接上述两两节点，将距离小于预设阈值两个节点之间连接的边加入图结构数据的边集合e中。
93.可选地，两两节点之间的距离为两两节点之间的欧氏距离。
94.可选地，节点之间的边e满足以下关系：
95.e＝{(va,vb)‖v
a-vb‖《r}
96.其中，r为两个节点之间连接距离阈值。
97.可选地，节点之间的边e和图结构数据的边集合e满足以下关系：
98.e∈e
99.s170，基于所有节点，以及已创建的边构建图结构数据。
100.对于采样到的待训练点云集合{c1,c2,
…
,cn}，根据对应待训练点云集合对应的图结构数据的顶点集合v和边集合e，构造出对应图结构数据。
101.其中图结构数据gi满足：
102.gi＝(v,e)
103.s200，基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络。
104.在一实施例中，构建出图神经网络的搜索空间，使用不同的基于若干的聚合函数及每个聚合函数的权重参数评估图神经网络的结构特征，去除不适用于当前特征的聚合函数，并筛选出最优效果的聚合函数，实现对图节点信息聚合更新。
105.可选地，聚合函数包括但不限于以下的函数：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
106.在一实施例中，使用均值聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算均值后与目标节点拼接。
107.在一实施例中，使用最大池化聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算最大池化值后与目标节点拼接。
108.在一实施例中，使用局部图卷积聚合函数时，将图结构中节点邻域采样固定数量的点，计算均构建邻接矩阵后进行局部图卷积运算。
109.在一实施例中，使用注意力聚合函数时，将图结构中邻域所有节点信息传入单层感知机后拼接相邻节点特征，通过注意力机制进行节点嘉权聚合。
110.在一实施例中，使用高维聚合函数时，运用多层感知机将图结构中节点特征映射到高维，由图结构邻域内节点特征完成累加聚合。
111.在一实施例中，使用链式聚合函数时，将图结构中邻域节点随机排序后输入长短期记忆人工神经网络(long short-term memory，lstm)，对逐个节点的输出进行聚合。
112.s300，将图结构数据输入待训练图神经网络，获取每一聚合函数的聚合结果，并按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到待训练图神经网络的预测输出。
113.在一实施例中，通过获取每一个聚合函数的聚合结果及其权重系数，并进行聚合结果融合，搜索出待训练图神经网络中适合当前任务的网络结构。
114.待训练图神经网络根据聚合函数及其权重参数对图结构数据的结果预测方式请参阅图6，图6是图1中s300的子步骤流程示意图。
115.如图6所示，s300可以包括以下步骤：
116.s310，按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到每一待训练点云的第一预测点云特征。
117.获取每一聚合函数的在待训练图神经网络中的权重参数，对每个聚合函数对图结构数据的聚合结果进行融合，实现对待训练图神经网络的图节点信息更新，得到的每一待训练点云的第一预测点云特征包括具有表征能力的图神经网络特征。
118.可选地，聚合函数包括以下至少一种：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
119.在一实施例中，使用均值聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算均值后与目标节点拼接。
120.在一实施例中，使用最大池化聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算最大池化值后与目标节点拼接。
121.在一实施例中，使用局部图卷积聚合函数时，将图结构中节点邻域采样固定数量的点，计算均构建邻接矩阵后进行局部图卷积运算。
122.在一实施例中，使用注意力聚合函数时，将图结构中邻域所有节点信息传入单层感知机后拼接相邻节点特征，通过注意力机制进行节点嘉权聚合。
123.在一实施例中，使用高维聚合函数时，运用多层感知机将图结构中节点特征映射到高维，由图结构邻域内节点特征完成累加聚合。
124.在一实施例中，使用链式聚合函数时，将图结构中邻域节点随机排序后输入长短期记忆人工神经网络(long short-term memory，lstm)，对逐个节点的输出进行聚合。
125.s320，将所有待训练点云的第一预测点云特征进行融合，得到原始点云的第二预测点云特征，作为待训练图神经网络的预测输出。
126.具体地，每个待训练点云包含了原始点云的部分特征，通过融合所有表征待训练点云的图神经网络信息，即融合所有待训练点云的第一预测点云特征，得到原始点云的第二预测点云特征。
127.具体地，原始点云的第二预测点云特征为表征原始点云的图神经网络信息。
128.请参阅图7，图7是图1中s100到s400的步骤流程示意图，s100到s400的步骤流程包括：
129.区域划分。将原始点云根据预设聚类算法划分成若干待训练点云。
130.最远点采样、建图。对待训练点云进行降采样，获得包含有待训练点云特征信息的待训练副点云，根据待训练点云中的点集合，及满足要求的边集合构造图结构。
131.图神经网络多层聚合。对单层图节点进行多次信息更新，搜索适合的聚合函数，逐层搜索到最优的网络结构。
132.点云特征提取。对多个待训练点云采样图进行聚合处理，得到每个待训练副点云中各个节点的特征，将待训练副点云特征进行融合，可以得到原始点云的特征。
133.图神经网络预测。在具体的任务中需要重新训练图神经网络及后处理层的权重，得到的完整图神经网络模型可以用于具体场景的分析与预测。
134.请继续参阅图1，图1中的图神经网络训练方法的s300之后，还包括：
135.s400，基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。
136.在一实施例中，在具体的任务场景下，需要对每一层中每一聚合函数的权重系数进行训练，搜索出该层所有聚合函数的最优权重系数，通过逐层的聚合函数搜索，得到最适合当前应用场景下的图神经网络结构。
137.可选地，具体的任务场景可以为3d点云分割。
138.可选地，具体的任务场景可以为3d点云分类。
139.可选地，聚合函数包括以下至少一种：均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数。
140.在一实施例中，使用均值聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算均值后与目标节点拼接。
141.在一实施例中，使用最大池化聚合函数时，将图结构中邻域所有节点信息传入单层感知机，计算最大池化值后与目标节点拼接。
142.在一实施例中，使用局部图卷积聚合函数时，将图结构中节点邻域采样固定数量的点，计算均构建邻接矩阵后进行局部图卷积运算。
143.在一实施例中，使用注意力聚合函数时，将图结构中邻域所有节点信息传入单层感知机后拼接相邻节点特征，通过注意力机制进行节点嘉权聚合。
144.在一实施例中，使用高维聚合函数时，运用多层感知机将图结构中节点特征映射到高维，由图结构邻域内节点特征完成累加聚合。
145.在一实施例中，使用链式聚合函数时，将图结构中邻域节点随机排序后输入长短期记忆人工神经网络(long short-term memory，lstm)，对逐个节点的输出进行聚合。
146.对待训练图神经网络中每个聚合函数的权重参数训练的具体过程请参阅图8，图8是图1中s400的子步骤流程示意图。
147.s410，基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的权重参数组合。
148.在一实施例中，图神经网络需要聚合n次，则构建具有n层的聚合函数权重参数训练网络，其中聚合函数权重参数训练网络的每一层包括所有聚合函数的多个分支，聚合得到的多个节点特征按照搜索权重{α1,α2,
…
,αn}进行加权相加得到该层输出。
149.可选地，该聚合函数权重参数训练网络可以为supernet(超网络)。
150.s420，基于权重参数组合，计算每一聚合函数的影响因子。
151.其中，使用归一化函数对每一层的搜索权重{α1,α2,
…
,αn}进行归一化运算出每一聚合函数的影响因子γ。
152.可选地，归一化函数可以为softmax(归一化指数函数)。
153.可选地，影响因子γ满足：
[0154][0155]
s430，将影响因子最大的聚合函数保留，构成最终的图神经网络。
[0156]
在一实施例中，取影响因子γ最大的聚合函数作为图神经网络的保留结构，其他聚合函数从图神经网络中剔除。通过逐层搜索出最优的聚合函数，获取最适合当前任务场景的图神经网络结构。
[0157]
请参阅图9，图9是图8中s410-s430的流程示意图。
[0158]
在一实施例中，图神经网络需要聚合n次，则构建一个含有n层隐藏层的聚合函数权重参数训练网络。
[0159]
其中，每层包含了所有聚合函数的多个函数分支，聚合得到的多个节点特征按照搜索权重{α1,α2,
…
,αn}进行加权相加得到该层输出。使用归一化函数对每一层的搜索权重{α1,α2,
…
,αn}进行归一化运算出每一聚合函数的影响因子γ。
[0160]
每层保留含有最大影响因子γ的聚合函数，作为图神经网络的保留结构，逐渐形成最终的图神经网络。
[0161]
在本技术实施例中，图神经网络方法包括获取待训练点云，根据待训练点云构建图结构数据，其中图结构数据包括若干节点，以及若干节点之间构成的边；基于若干聚合函数，以及每一聚合函数的权重参数构建待训练图神经网络；将图结构数据输入待训练图神经网络，获取每一聚合函数的聚合结果，并按照每一聚合函数的权重参数将每一聚合函数的聚合结果融合，得到待训练图神经网络的预测输出；基于预测输出对每一聚合函数的权重参数进行训练，直至得到最终的图神经网络。本技术通过图采样方法保留更多原始点云信息，并通过可微的图神经网络搜索技术找出最适合的当前场景的图模型，且对点云区域划分后进行最远点采样，增加对密度不均衡点云信息的适用性。
[0162]
上述实施例中训练所得的图神经网络可以适用于各种领域的特征提取、特征识别和特征预测等应用，例如，训练后的图神经网络可以应用于自动驾驶场景中的目标识别，通过图神经网络对路上的障碍物、车辆、行人等交通要素进行准确识别。
[0163]
具体请参阅图10，图10是本技术实施例提供的点云特征提取方法一实施例的流程示意图。
[0164]
如图10所示，图10可以包括以下步骤：
[0165]
s1，获取待识别点云。
[0166]
在一实施例中，使用激光雷达、毫米波雷达等3d测量设备，通过扫描的方式获取待识别点云信息。
[0167]
s2，将待识别点云输入预先训练的图神经网络，获取待识别点云的目标点云特征。
[0168]
在一实施例中，将获取到的点云信息输入至已完成训练的图神经网络中，图神经网络对上述点云数据进行特征信息的提取。
[0169]
可选地，在完成点云数据特征提取步骤后，基于点云数据的特征信息可以执行包括不限于以下任务：点云目标识别；和/或点云目标跟踪；和/或点云分类；和/或点云分割。
[0170]
在一种实施例中，自动驾驶汽车搭载的激光雷达获取周边环境的点云信息，通过上述预训练的图神经网络提取出周边环境的点云特征信息，根据点云特征信息，识别、跟踪、分割周边环境中的车辆、行人、非机动车等目标信息。
[0171]
以上实施例，仅是对本技术的其中一种常见案例而已，并非对本技术的技术范围做任何限制，故凡是依据本技术方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本技术技术方案的范围内。
[0172]
请参阅图11，图11是本技术实施例提供的3d点云特征提取方法和应用一实施例步骤流程示意图。
[0173]
3d点云特征提取方法和应用一实施例步骤流程可以包括：
[0174]
点云采样。使用均匀大小的体素网络将目标点云体素化，在保留点云的特征。
[0175]
稀疏样本建图。将得到的若干点云分别构造图，其中图的顶点信息包含对应点云中点的三维信息，图的边满足顶点间距离小于预定阈值。
[0176]
点云网络模型训练。包括构建搜索空间和图网络架构搜索，搜索空间包括不限于使用均值聚合函数、最大池化聚合函数、局部图卷积聚合函数、注意力聚合函数、高维聚合函数以及链式聚合函数；图网络架构搜索通过逐层寻找最优的优化函数，搜索出最适合当前任务的图神经网络架构，完成网络模型的训练。
[0177]
点云特征提取。使用训练得到的图神经网络模型对多个点云采样图进行聚合处理，得到每个待训练副点云的中各节点的特征值，将副点云特征进行融合后得到原始点云的特征。
[0178]
三维视觉应用场景。在实际的环境中，训练出来的图网络可以进行包括但不限于以下任务：语义分割、实例分割、目标识别、目标检测。
[0179]
请参见图12，图12是本技术提供的终端设备一实施例的结构示意图。本技术实施例的终端设备500包括处理器51、存储器52。
[0180]
该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的图神经网络训练方法和/或点云特征提取方法。
[0181]
在本技术实施例中，处理器51还可以称为cpu(central processing unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(dsp，digital signal process)、专用集成电路(asic，application specific integrated circuit)、现场可编程门阵列(fpga，field programmable gate array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
[0182]
本技术还提供一种计算机存储介质，请继续参阅图13，图13是本技术提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有程序数据61，该程序数据61在被处理器执行时，用以实现上述实施例的图神经网络训练方法和/或点云特征提取方法。
[0183]
本技术的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0184]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，方式利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。