一种基于伪标签的3d点云数据半自动标注方法及装置
技术领域：
：1.本发明涉及半自动标注领域，尤其涉及一种基于伪标签的3d点云数据半自动标注方法及装置。
背景技术：
：：2.随着人工智能技术的发展，涌现出越来越多性能优越的机器学习模型，但其中多数机器学习模型都是需要大量的人工标注的数据，这对于人工智能技术的实际应用带来了极大挑战。模型的训练需要大量的标注数据，并且标注数据的准确率和正确率直接影响了模型训练的好坏。在计算机视觉领域，基于强监督的3d点云语义理解模型准确率已相对成熟，这也对于有标注数据的依赖性越来越大，对于如此大量的强监督标注数据一般都是需要花费大量的人力物力以及资源成本才可以获得，并且3d点云数据的标注在时间成本和金钱成本上都远远高于图像数据。3.因此，只利用少量标注3d点云数据便可对大量未标记3d点云数据进行标注，实现3d点云数据的半自动标注。技术实现要素：4.本发明提供了一种基于伪标签的3d点云数据半自动标注方法及装置，本发明前期使用一定量的3d点云标注数据，然后结合伪标签和无标签损失改善了模型，从而在使用少量标注数据的同时，保证了精度；本发明设计了一种转换方式，使得强监督训练模型可以在使用少量强监督信息、多数弱监督信息及大量无监督信息的情况下对模型有很好的训练，详见下文描述：5.第一方面，一种基于伪标签的3d点云数据半自动标注方法，所述方法包括：6.使用标注后的点云数据对3d点云语义理解模型进行训练，将训练后的模型记作初语义理解模型，所述初语义理解模型对剩余未标注数据进行语义理解，得到伪标签点云；7.根据不确定性度量阈值和伪标签阈值将伪标签点云分为高信度伪标签点云和低信度伪标签点云；8.使用所述标注后的点云数据和高信度伪标签点云数据重新对初语义理解模型进行训练，将训练后的模型记作伪标签语义理解模型；9.使用所述标注后点云数据和初始未标注数据对所述伪标签语义理解模型继续训练，将再次更新后的模型记作强伪标签语义理解模型，并用该最终的模型对初始未标注数据进行标注。10.在一种实施方式中，所述方法在对伪标签点云进行高信度和低信度分类的过程中，所述不确定性度量阈值利用了边缘采样法。11.在一种实施方式中，所述方法在训练伪标签语义理解模型的过程中，采用了标注点云数据和高信度伪标签点云数据的等权混合训练。12.在一种实施方式中，所述方法在对所述伪标签语义理解模型继续训练的过程中，在损失函数中加入了无标签损失函数香农熵。13.其中，所述使用标注后的点云数据对3d点云语义理解模型进行训练具体为：14.使用标注后的点云数据训练3d点云语义理解模型，并用该模型对初始伪标签数据打上伪标签，并用脚本从shapenet数据集中将伪标签的原始数据选出，分别存储于高信度伪标签数据和低信度伪标签数据中。15.优选地，所述方法通过一映射函数d1＝x1-x2计算点不确定性度量，其中x1为特征向量中的最大值，x2为特征向量中的第二大值，将计算出的点不确定性度量和不确定性度量阈值进行比较，高于称为高信度点hp，反之称为低信度点lp；16.通过映射函数p＝hp/(hp lp)计算点云伪标签信度，并将点云伪标签信度和伪标签阈值进行比较，高于称为高信度伪标签点云。17.第二方面，一种基于伪标签的3d点云数据半自动标注装置，所述装置包括：18.标注模块，用于对所收集到的初始3d点云数据进行标注，提供监督信息；19.强监督模块，用于通过有标注的3d点云强监督信息对3d点云网络结构进行训练，产生具有3d点云语义理解能力的初语义理解模型；20.伪标签模块，用于对收集到的初始3d点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3d点云数据；21.不确定性模块，用于对伪标签标注的3d点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；22.弱监督模块，用于通过初始有标注和高信度伪标签3d点云数据对3d点云网络结构进行训练，产生具有3d点云语义理解能力的伪标签语义理解模型；23.半监督模块，用于通过初始有标注和未标注3d点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；24.重标注模块，用于对初始未标注3d点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。25.其中，所述不确定性模块包括：26.点不确定性度量阈值子模块，用于计算3d点云数据中每个点的不确定性度量，并对每个点做出分类，包括点不确定性层；27.点云伪标签阈值子模块，用于判断3d点云数据是高信度伪标签点云还是低信度伪标签点云，包括点云伪标签层；28.其中，点不确定层采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；29.通过映射函数d1＝x1-x2，计算点不确定性度量d1，x1为特征向量中的最大值，x2为特征向量中的最小值，并将点不确定性度d1和不确定性阈值进行比较，高于称为高信度点；30.其中，点云伪标签层采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；31.通过映射函数pl＝hp/(hp lp)计算点云伪标签信度pl，并将pl和伪标签阈值进行比较，高于则称为高信度伪标签点云。32.第三方面，一种基于伪标签的3d点云数据半自动标注装置，所述装置包括处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。33.第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。34.本发明提供的技术方案的有益效果是：35.1、本发明将含弱监督信度的伪标签数据和无监督信息的无标注数据应用到强监督3d点云语义理解模型中，提出了一种可以用少量含强监督信息的有标注数据、多数含弱监督信息的伪标签数据和大量含无监督信息的无标注数据，在现有强监督3d点云语义理解模型的基础上训练的方法，打破了强监督学习、弱监督学习和无监督学习的界限，使得三者之间可以更好的协同联系，共同促进模型精度的提升；36.2、本发明只使用少量含强监督信息的有标注数据对3d点云语义理解模型进行初始化，可以使用更少的人工标注信息，节省人力成本；对于强监督模型来说，只使用少量有标注数据会使得模型检测精度低，但是，由于打破了强监督学习、弱监督学习和无监督学习之间的界限，通过伪标签数据和无标注数据对强监督模型进行信息补充，提高模型最终的精度，从而使模型在实际应用中更具意义；37.3、本发明使用该种模型辅助人工标注，可以更好的提高人工效率，并且会逐步提高模型的准确率和泛化性能。附图说明38.图1为3d点云语义理解模型的示意图；39.图2为3d点云数据标注方法的流程图；40.图3为airplane类别的折线图；41.图4为chair类别的折线图；42.图5为lamp类别的折线图；43.图6为table类别的折线图；44.图7为一种基于伪标签的3d点云数据半自动标注装置的结构示意图；45.图8为不确定性模块的结构示意图；46.图9为一种基于伪标签的3d点云数据半自动标注装置的另一结构示意图。47.表1示出了shapenet数据集的airplane类别作为实验数据集时各方法的模型精度；48.表2示出了shapenet数据集的chair类别作为实验数据集时各方法的模型精度；49.表3示出了shapenet数据集的lamp类别作为实验数据集时各方法的模型精度；50.表4示出了shapenet数据集的table类别作为实验数据集时各方法的模型精度。具体实施方式51.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。52.第一方面，本发明实施例提供了一种基于伪标签的3d点云数据半自动标注方法，该方法包括以下几个步骤：53.101：对部分未标注的3d点云数据进行标注；54.其中，本发明实施例对于没有任何标注信息的3d点云数据利用开源工具semantic-segmentation-editor进行人工标注，也即手动将点云中的各点归属于某一类别，该步骤为本领域技术人员所公知，本发明实施例对此不做赘述。55.102：使用步骤101中的标注点云数据对图1中的3d点云语义理解模型进行训练，将此模型称为初语义理解模型，并用该初语义理解模型对剩余未标注数据进行语义理解，得到伪标签点云；56.其中，图1所示的模型为输入n*3维向量，经过t-net(矩阵变换)网络对输入向量进行旋转、平移等几何变换，实现输入的无序性，后经过多个多层感知机进行特征提取，得到n*1024维向量，再经过最大池化层得到一个1*1024维向量，并继续用多层感知机进行特征提取，最终得到一个1*k维的特征向量，k为类别数。57.具体实现时，使用上一步的标注点云数据对强监督3d点云语义理解模型进行训练，之所以采用此模型，是因为在大量的强监督信息下，该模型相比于其他模型能达到更好的效果，这有利于与使用少量强监督信息训练的结果进行对比。58.该模型的损失函数只包含有标签损失函数，常采用多标签多值交叉熵损失：[0059][0060]其中，为模型预测值，y为样本真实值，n为样本总数，c为样本维度，m为某一具体样本，i为样本的某一具体维度，ll(,)为损失函数。[0061]利用得到的这个模型对原始未标注数据进行语义理解，得到这些3d点云数据的伪标签。伪标签是指将特征向量中数值最大的维度所代表的类别作为该数据的标签值，即：[0062][0063]其中，y'i为伪标签，fi'(x)为模型的输出向量，x为输入样本。[0064]103：根据不确定性度量阈值和伪标签阈值将伪标签点云分为高信度伪标签点云和低信度伪标签点云，分别存储；[0065]该步骤首先是将每个点的特征向量利用边缘采样法计算出该点的不确定性度量，边缘采样法即计算特征向量的最大值与第二大值之间的差值，将该差值作为该点的不确定性量。本发明实施例通过一个映射函数d1＝x1-x2来计算点不确定性度量d1，其中x1为特征向量中的最大值，x2为特征向量中的第二大值，并将计算出的点不确定性度量d1和不确定性阈值进行比较，高于称为高信度点，记为hp，反之称为低信度点，记为lp，其中不确定性度量阈值根据点云中点类别的种类数进行设定。[0066]最后通过占比法计算点云中高信度点在所有点云中的比值，并将该占比值与伪标签阈值进行比较，大于伪标签阈值的点云记为高信度伪标签点云，反之记为低信度伪标签点云。即可以通过映射函数pl＝hp/(hp lp)计算点云伪标签信度pl，并将pl和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为hpc，反之称为低信度伪标签点云，记为lpc，其中伪标签阈值一般设定为固定常值。[0067]例如：在shapenet数据集的airplane类别上进行实验时，由于该类别只包含：机身、机翼、机尾，机轮四个小类别，经过多次调参实验，对比实验结果，最终将airplane类别上的不确定性度量阈值设为0.7，伪标签阈值设为0.95，本发明实施例对此不做限制。[0068]104：使用步骤101中的标注点云数据和高信度伪标签点云数据重新对图1中的初语义理解模型进行训练，将训练后的模型作为伪标签语义理解模型；[0069]将伪标签点云数据分类后，将初始标注点云数据和高信度伪标签点云数据重新对图1中的模型进行训练，并将此模型称为伪标签语义理解模型。将初始标注点云数据和高信度伪标签点云数据进行等权混合训练，能减轻模型对于学习高信度伪标签点云数据时其中错误伪标签带来的影响，并且充分利用了大量伪标签数据，提升了模型效果。[0070]其中，该步骤中将初始标注点云数据和高信度伪标签点云数据的混合方式为等权混合：若初始标注3d点云数据数量为num_label，高信度伪标签3d点云数据数量为num_pseudo，则重复采样初始标注3d点云数据集，使其数量达到num_pseudo。[0071]之所以采取等权混合，是因为高信度伪标签3d点云数据数量常远多于初始有标注3d点云数据，这样会加重伪标签数据中错误标签带来的坏影响，而采用等权混合，能保证在每次训练时两者数目的相当，在充分利用大量高信度伪标签3d点云数据的同时提升了模型性能。[0072]105：使用步骤101中的标注点云数据和初始未标注数据对伪标签语义理解模型继续训练，将再次更新后的模型作为强伪标签语义理解模型，并用该最终的模型对初始未标注数据进行标注。[0073]其中，该步骤使用初始标注点云数据和初始未标注点云数据对伪标签语义理解模型继续训练，得到最终的模型，称为强伪标签语义理解模型。之所以要在伪标签语义理解模型的基础上继续训练，是因为要增强高信度伪标签点云数据和减轻无标注数据对于模型的影响。除此之外，在此训练过程中，在损失函数中加入了无标签损失函数香农熵：[0074][0075]其中，x'为输入样本，n'为样本总数，lu(·)为无标签损失函数，p(yim＝1|x'm)为模型输出的各类别条件概率值。[0076]然后利用该最终的模型重新对初始未标注数据进行语义理解，完成对这些数据的标注。[0077]综上所述，本发明实施例通过上述步骤101-步骤105使用一定量的3d点云标注数据，然后结合伪标签和无标签损失改善了模型，从而在使用少量标注数据的同时，保证了精度。[0078]实施例2[0079]下面结合具体实例、算例对实施例1中的方案进行进一步地介绍，详见下文描述：[0080]201：对少量未标注的3d点云数据进行标注，具体做法是从shapenet数据集中挑选出部分数据作为标注点云数据；[0081]202：使用上述部分标注点云数据训练3d点云语义理解模型，并用该模型对初始伪标签数据打上伪标签，并用步骤103中的两个映射函数从shapenet数据集中将这些伪标签的原始数据选出，分别存储于高信度伪标签数据和低信度伪标签数据两个文件夹中，便于后续步骤中对高低信度伪标签的提取。[0082]此3d点云语义理解模型主要由三个模块构成：[0083]第一个模块(即maxpool)是基于无序输入的对称函数模块，其能保证无论输入点云中的点顺序如何变换，点云经过模型特征提取后得到的特征向量都一样，并且该对称函数由非对称函数f来近似点集上的一般函数：[0084]f({x1,...,xn})≈g(h(x1),...,h(xn))ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(4)[0085]其中，x1,...,xn为n维输入向量，h(x1),...,h(xn)为rn→rk函数映射，f({x1,...,xn})为非对称函数，g(h(x1),...,h(xn))为rk×l×rk→r实值对称函数。[0086]第二个模块(即n*1088)是局部信息和全局信息融合模块，其能将全局特征与每个点的点特征进行结合，使点云中的点同时具备全局信息和局部信息，提高模型语义理解的能力。[0087]第三个模块(即t-net)是对齐网络模块，由于数据经过旋转、平移等几何变换后其语义标记必须是不变的，因此通过对齐网络t-net使学习到的特征对于上述几何变换也是不变的。[0088]这三个模块共同构成了3d点云语义理解模型，再利用多标签多值交叉熵损失反向传播训练。在训练过程中，根据shapenet数据集的大小，只选取点云中的2500个点，若某点云中点数多于2500则随机采样2500个点，反之则重复采样2500个点。[0089]其中，shapenet数据集为本领域技术人员所公知，本发明实施例对此不做赘述。[0090]203：对于上述伪标签数据，通过不确定性度量阈值和伪标签阈值进行高低信度伪标签分类；[0091]以shapenet数据集中的airplane类别为例：该类别共有机身、机翼、机尾和涡轮四个部分，设定不确定性阈值为0.7，即若该点云经过初语义理解模型进行特征提取后，其中的某一点的特征向量的最大值和第二大值的差值大于0.7，则将该点认定为高信度伪标签点。而若整个点云中高信度伪标签点的比例高于伪标签阈值0.95，则认为该点云是一个高信度伪标签点云，并用于下一步中。[0092]204：将上述得到的高信度伪标签点云数据与初始标注点云数据进行等权混合，重新对3d点云语义理解模型进行训练，训练方法同步骤202；[0093]205：将初始标注点云数据和初始未标注点云数据混合，对经过步骤204训练后的模型继续进行训练，在此训练中将初始训练学习率调整为0.0001，其余训练方法同步骤202，得到最终的强伪标签语义理解模型，并利用该模型重新对初始未标注数据打上伪标签，作为该数据的标注结果。[0094]综上所述，本发明实施例通过上述步骤201-步骤205使得强监督训练模型可以在使用少量强监督信息、多数弱监督信息及大量无监督信息的情况下对模型有很好的训练。[0095]实施例3[0096]下面结合具体的试验对实施例1和2中的方案进行可行性验证，详见下文描述：[0097]测试使用的是shapenet数据集。shapenet数据集共有16个类别16881种形状，50个零件数，大多数类别对象的零件数为2-5个。为了保证数据量对实验过程无影响，本发明实施例只选取shapenet数据集中的airplane、chair、lamp、table四个类别进行实验，分别含有2690个数据，其中训练数据2152个、测试数据538个、初始标注数据215个、无标注数据1937个；3746个数据，其中训练数据2996个、测试数据750个、初始标注数据299个、无标注数据2697个；1546个数据，其中训练数据1236个、测试数据310个、初始标注数据123个、无标注数据1113个；5266个数据，其中训练数据4739个、测试数据527个、初始标注数据474个、无标注数据4265个。[0098]以airplane为例，在训练初语义理解模型中共用了215个初始标注点云数据对模型进行训练；在训练伪标签语义理解模型中，共用了215个初始标注点云数据和558个高信度伪标签点云数据进行训练；在训练高伪标签语义理解模型中，共用了215个初始标注点云数据和1937个无标注数据在伪标签语义理解模型的基础上继续训练。[0099]本发明实施例使用miou值作为衡量模型精度的标准，在airplane、chair、lamp、table四个类别上做了如下实验来说明本方法的可靠性，各方法的实验数据和选取模型如下，其中方法g是本发明提出的方法。[0100]a.数据：100％的标注数据[0101]模型：3d点云语义理解模型[0102]b.数据：10％的标注数据[0103]模型：3d点云语义理解模型[0104]c.数据：10％的标注数据 高信度伪标签数据[0105]模型：初语义理解模型[0106]d.数据：10％的标注数据 高信度伪标签数据(有标注) 低信度伪标签数据(无标注)[0107]模型：初语义理解模型(继续训练)[0108]e.数据：10％的标注数据 高信度伪标签数据(有标注) 低信度伪标签数据(无标注)[0109]模型：伪标签语义理解模型(继续训练)[0110]f.数据：10％的标注数据 90％无标注数据[0111]模型：初语义理解模型(继续训练)[0112]g.数据：10％的标注数据 90％无标注数据[0113]模型：伪标签语义理解模型(继续训练)[0114]表1示出了shapenet数据集的airplane类别作为实验数据集时方法a、b、c、d、e、f、g下的模型精度(对应图3折线图)。[0115]表1[0116]方法abcdefgairplane82.3％76.2％74.7％73.6％75.7％76.2％78.2％[0117]表2示出了shapenet数据集的chair类别作为实验数据集时方法a、b、c、d、e、f、g下的模型精度(对应图4折线图)。[0118]表2[0119]方法abcdefgchair88.9％84.9％85.4％86.1％86.4％84.5％86.8％[0120]表3示出了shapenet数据集的lamp类别作为实验数据集时方法a、b、c、d、e、f、g下的模型精度(对应图5折线图)。[0121]表3[0122]方法abcdefglamp79.8％72.9％75.3％75.3％75.6％72.1％77.5％[0123]表4示出了shapenet数据集的table类别作为实验数据集时方法a、b、c、d、e、f、g下的模型精度(对应图6折线图)。[0124]表4[0125]方法abcdefgtable83.8％82.7％82.9％83.2％83.3％83.5％83.6％[0126]通过3d点云数据集shapenet上airplane、chair、lamp、table四个类别进行多组对比实验，可以得出本发明实施例提出的一种基于伪标签的3d点云数据半自动标注方法g在只利用少量标注数据(10％)和大量无标注数据(90％)的情况下模型性能远高于只利用少量标注数据(10％)的方法b，且在table类别上能逼近于利用100％标注数据的全监督学习方法a。除此之外，通过方法d与方法e、方法f与方法g两两进行对比，可以得出本发明实施例提出的在伪标签语义理解模型上继续训练的方法是有效的。[0127]第二方面，本发明实施例提供了一种基于伪标签的3d点云数据半自动标注装置，参见图7，该装置包括：[0128]标注模块1，用于对所收集到的初始3d点云数据进行标注，提供监督信息；[0129]强监督模块2，用于通过有标注的3d点云强监督信息对3d点云网络结构进行训练，产生具有3d点云语义理解能力的初语义理解模型；[0130]伪标签模块3，用于对收集到的初始3d点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3d点云数据；[0131]不确定性模块4，用于对伪标签标注的3d点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；[0132]弱监督模块5，用于通过初始有标注和高信度伪标签3d点云数据对3d点云网络结构进行训练，产生具有3d点云语义理解能力的伪标签语义理解模型；[0133]半监督模块6，用于通过初始有标注和未标注3d点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；[0134]重标注模块7，用于对初始未标注3d点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。[0135]在一种实施方式中，参见图8，该不确定性模块4包括：[0136]点不确定性度量阈值子模块41，用于计算3d点云数据中每个点的不确定性度量，并对每个点做出分类，该子模块41包括点不确定性层；[0137]点云伪标签阈值子模块42，用于判断3d点云数据是高信度伪标签点云还是低信度伪标签点云，该子模块42包括点云伪标签层；[0138]其中，点不确定层采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；[0139]通过映射函数d1＝x1-x2，计算点不确定性度量d1，x1为特征向量中的最大值，x2为特征向量中的最小值，并将点不确定性度d1和不确定性阈值进行比较，高于称为高信度点，记为hp，反之称为低信度点，记为lp。[0140]其中，点云伪标签层采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；[0141]通过映射函数pl＝hp/(hp lp)计算点云伪标签信度pl，并将pl和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为hpc，反之称为低信度伪标签点云，记为lpc。[0142]这里需要指出的是，以上实施例中的装置描述是与上述方法实施例描述相对应的，本发明实施例在此不做赘述。[0143]上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。[0144]基于同一发明构思，本发明实施例还提供了一种基于伪标签的3d点云数据半自动标注装置，参加图9，该装置包括处理器8和存储器9，存储器9中存储有程序指令，处理器8调用存储器9中存储的程序指令以使装置执行实施例中的以下方法步骤：[0145]对所收集到的初始3d点云数据进行标注，提供监督信息；[0146]通过有标注的3d点云强监督信息对3d点云网络结构进行训练，产生具有3d点云语义理解能力的初语义理解模型；[0147]对收集到的初始3d点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3d点云数据；[0148]对伪标签标注的3d点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；[0149]通过初始有标注和高信度伪标签3d点云数据对3d点云网络结构进行训练，产生具有3d点云语义理解能力的伪标签语义理解模型；[0150]通过初始有标注和未标注3d点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；[0151]对初始未标注3d点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。[0152]在一种实施方式中，点不确定性层为：[0153]采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；[0154]通过映射函数d1＝x1-x2，计算点不确定性度量d1，x1为特征向量中的最大值，x2为特征向量中的最小值，并将点不确定性度d1和不确定性阈值进行比较，高于称为高信度点，记为hp，反之称为低信度点，记为lp。[0155]在一种实施方式中，点云伪标签层为：[0156]采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；[0157]通过映射函数pl＝hp/(hp lp)计算点云伪标签信度pl，并将pl和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为hpc，反之称为低信度伪标签点云，记为lpc。[0158]这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。[0159]上述的处理器8和存储器9的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。[0160]存储器9和处理器8之间通过总线10传输数据信号，本发明实施例对此不做赘述。[0161]基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。[0162]该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。[0163]这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述想对应的，本发明实施例在此不做赘述。[0164]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。[0165]计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。[0166]本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。[0167]本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。[0168]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
技术领域：
：1.本发明涉及半自动标注领域，尤其涉及一种基于伪标签的3d点云数据半自动标注方法及装置。
背景技术：
：：2.随着人工智能技术的发展，涌现出越来越多性能优越的机器学习模型，但其中多数机器学习模型都是需要大量的人工标注的数据，这对于人工智能技术的实际应用带来了极大挑战。模型的训练需要大量的标注数据，并且标注数据的准确率和正确率直接影响了模型训练的好坏。在计算机视觉领域，基于强监督的3d点云语义理解模型准确率已相对成熟，这也对于有标注数据的依赖性越来越大，对于如此大量的强监督标注数据一般都是需要花费大量的人力物力以及资源成本才可以获得，并且3d点云数据的标注在时间成本和金钱成本上都远远高于图像数据。3.因此，只利用少量标注3d点云数据便可对大量未标记3d点云数据进行标注，实现3d点云数据的半自动标注。技术实现要素：4.本发明提供了一种基于伪标签的3d点云数据半自动标注方法及装置，本发明前期使用一定量的3d点云标注数据，然后结合伪标签和无标签损失改善了模型，从而在使用少量标注数据的同时，保证了精度；本发明设计了一种转换方式，使得强监督训练模型可以在使用少量强监督信息、多数弱监督信息及大量无监督信息的情况下对模型有很好的训练，详见下文描述：5.第一方面，一种基于伪标签的3d点云数据半自动标注方法，所述方法包括：6.使用标注后的点云数据对3d点云语义理解模型进行训练，将训练后的模型记作初语义理解模型，所述初语义理解模型对剩余未标注数据进行语义理解，得到伪标签点云；7.根据不确定性度量阈值和伪标签阈值将伪标签点云分为高信度伪标签点云和低信度伪标签点云；8.使用所述标注后的点云数据和高信度伪标签点云数据重新对初语义理解模型进行训练，将训练后的模型记作伪标签语义理解模型；9.使用所述标注后点云数据和初始未标注数据对所述伪标签语义理解模型继续训练，将再次更新后的模型记作强伪标签语义理解模型，并用该最终的模型对初始未标注数据进行标注。10.在一种实施方式中，所述方法在对伪标签点云进行高信度和低信度分类的过程中，所述不确定性度量阈值利用了边缘采样法。11.在一种实施方式中，所述方法在训练伪标签语义理解模型的过程中，采用了标注点云数据和高信度伪标签点云数据的等权混合训练。12.在一种实施方式中，所述方法在对所述伪标签语义理解模型继续训练的过程中，在损失函数中加入了无标签损失函数香农熵。13.其中，所述使用标注后的点云数据对3d点云语义理解模型进行训练具体为：14.使用标注后的点云数据训练3d点云语义理解模型，并用该模型对初始伪标签数据打上伪标签，并用脚本从shapenet数据集中将伪标签的原始数据选出，分别存储于高信度伪标签数据和低信度伪标签数据中。15.优选地，所述方法通过一映射函数d1＝x1-x2计算点不确定性度量，其中x1为特征向量中的最大值，x2为特征向量中的第二大值，将计算出的点不确定性度量和不确定性度量阈值进行比较，高于称为高信度点hp，反之称为低信度点lp；16.通过映射函数p＝hp/(hp lp)计算点云伪标签信度，并将点云伪标签信度和伪标签阈值进行比较，高于称为高信度伪标签点云。17.第二方面，一种基于伪标签的3d点云数据半自动标注装置，所述装置包括：18.标注模块，用于对所收集到的初始3d点云数据进行标注，提供监督信息；19.强监督模块，用于通过有标注的3d点云强监督信息对3d点云网络结构进行训练，产生具有3d点云语义理解能力的初语义理解模型；20.伪标签模块，用于对收集到的初始3d点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3d点云数据；21.不确定性模块，用于对伪标签标注的3d点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；22.弱监督模块，用于通过初始有标注和高信度伪标签3d点云数据对3d点云网络结构进行训练，产生具有3d点云语义理解能力的伪标签语义理解模型；23.半监督模块，用于通过初始有标注和未标注3d点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；24.重标注模块，用于对初始未标注3d点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。25.其中，所述不确定性模块包括：26.点不确定性度量阈值子模块，用于计算3d点云数据中每个点的不确定性度量，并对每个点做出分类，包括点不确定性层；27.点云伪标签阈值子模块，用于判断3d点云数据是高信度伪标签点云还是低信度伪标签点云，包括点云伪标签层；28.其中，点不确定层采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；29.通过映射函数d1＝x1-x2，计算点不确定性度量d1，x1为特征向量中的最大值，x2为特征向量中的最小值，并将点不确定性度d1和不确定性阈值进行比较，高于称为高信度点；30.其中，点云伪标签层采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；31.通过映射函数pl＝hp/(hp lp)计算点云伪标签信度pl，并将pl和伪标签阈值进行比较，高于则称为高信度伪标签点云。32.第三方面，一种基于伪标签的3d点云数据半自动标注装置，所述装置包括处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。33.第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。34.本发明提供的技术方案的有益效果是：35.1、本发明将含弱监督信度的伪标签数据和无监督信息的无标注数据应用到强监督3d点云语义理解模型中，提出了一种可以用少量含强监督信息的有标注数据、多数含弱监督信息的伪标签数据和大量含无监督信息的无标注数据，在现有强监督3d点云语义理解模型的基础上训练的方法，打破了强监督学习、弱监督学习和无监督学习的界限，使得三者之间可以更好的协同联系，共同促进模型精度的提升；36.2、本发明只使用少量含强监督信息的有标注数据对3d点云语义理解模型进行初始化，可以使用更少的人工标注信息，节省人力成本；对于强监督模型来说，只使用少量有标注数据会使得模型检测精度低，但是，由于打破了强监督学习、弱监督学习和无监督学习之间的界限，通过伪标签数据和无标注数据对强监督模型进行信息补充，提高模型最终的精度，从而使模型在实际应用中更具意义；37.3、本发明使用该种模型辅助人工标注，可以更好的提高人工效率，并且会逐步提高模型的准确率和泛化性能。附图说明38.图1为3d点云语义理解模型的示意图；39.图2为3d点云数据标注方法的流程图；40.图3为airplane类别的折线图；41.图4为chair类别的折线图；42.图5为lamp类别的折线图；43.图6为table类别的折线图；44.图7为一种基于伪标签的3d点云数据半自动标注装置的结构示意图；45.图8为不确定性模块的结构示意图；46.图9为一种基于伪标签的3d点云数据半自动标注装置的另一结构示意图。47.表1示出了shapenet数据集的airplane类别作为实验数据集时各方法的模型精度；48.表2示出了shapenet数据集的chair类别作为实验数据集时各方法的模型精度；49.表3示出了shapenet数据集的lamp类别作为实验数据集时各方法的模型精度；50.表4示出了shapenet数据集的table类别作为实验数据集时各方法的模型精度。具体实施方式51.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。52.第一方面，本发明实施例提供了一种基于伪标签的3d点云数据半自动标注方法，该方法包括以下几个步骤：53.101：对部分未标注的3d点云数据进行标注；54.其中，本发明实施例对于没有任何标注信息的3d点云数据利用开源工具semantic-segmentation-editor进行人工标注，也即手动将点云中的各点归属于某一类别，该步骤为本领域技术人员所公知，本发明实施例对此不做赘述。55.102：使用步骤101中的标注点云数据对图1中的3d点云语义理解模型进行训练，将此模型称为初语义理解模型，并用该初语义理解模型对剩余未标注数据进行语义理解，得到伪标签点云；56.其中，图1所示的模型为输入n*3维向量，经过t-net(矩阵变换)网络对输入向量进行旋转、平移等几何变换，实现输入的无序性，后经过多个多层感知机进行特征提取，得到n*1024维向量，再经过最大池化层得到一个1*1024维向量，并继续用多层感知机进行特征提取，最终得到一个1*k维的特征向量，k为类别数。57.具体实现时，使用上一步的标注点云数据对强监督3d点云语义理解模型进行训练，之所以采用此模型，是因为在大量的强监督信息下，该模型相比于其他模型能达到更好的效果，这有利于与使用少量强监督信息训练的结果进行对比。58.该模型的损失函数只包含有标签损失函数，常采用多标签多值交叉熵损失：[0059][0060]其中，为模型预测值，y为样本真实值，n为样本总数，c为样本维度，m为某一具体样本，i为样本的某一具体维度，ll(,)为损失函数。[0061]利用得到的这个模型对原始未标注数据进行语义理解，得到这些3d点云数据的伪标签。伪标签是指将特征向量中数值最大的维度所代表的类别作为该数据的标签值，即：[0062][0063]其中，y'i为伪标签，fi'(x)为模型的输出向量，x为输入样本。[0064]103：根据不确定性度量阈值和伪标签阈值将伪标签点云分为高信度伪标签点云和低信度伪标签点云，分别存储；[0065]该步骤首先是将每个点的特征向量利用边缘采样法计算出该点的不确定性度量，边缘采样法即计算特征向量的最大值与第二大值之间的差值，将该差值作为该点的不确定性量。本发明实施例通过一个映射函数d1＝x1-x2来计算点不确定性度量d1，其中x1为特征向量中的最大值，x2为特征向量中的第二大值，并将计算出的点不确定性度量d1和不确定性阈值进行比较，高于称为高信度点，记为hp，反之称为低信度点，记为lp，其中不确定性度量阈值根据点云中点类别的种类数进行设定。[0066]最后通过占比法计算点云中高信度点在所有点云中的比值，并将该占比值与伪标签阈值进行比较，大于伪标签阈值的点云记为高信度伪标签点云，反之记为低信度伪标签点云。即可以通过映射函数pl＝hp/(hp lp)计算点云伪标签信度pl，并将pl和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为hpc，反之称为低信度伪标签点云，记为lpc，其中伪标签阈值一般设定为固定常值。[0067]例如：在shapenet数据集的airplane类别上进行实验时，由于该类别只包含：机身、机翼、机尾，机轮四个小类别，经过多次调参实验，对比实验结果，最终将airplane类别上的不确定性度量阈值设为0.7，伪标签阈值设为0.95，本发明实施例对此不做限制。[0068]104：使用步骤101中的标注点云数据和高信度伪标签点云数据重新对图1中的初语义理解模型进行训练，将训练后的模型作为伪标签语义理解模型；[0069]将伪标签点云数据分类后，将初始标注点云数据和高信度伪标签点云数据重新对图1中的模型进行训练，并将此模型称为伪标签语义理解模型。将初始标注点云数据和高信度伪标签点云数据进行等权混合训练，能减轻模型对于学习高信度伪标签点云数据时其中错误伪标签带来的影响，并且充分利用了大量伪标签数据，提升了模型效果。[0070]其中，该步骤中将初始标注点云数据和高信度伪标签点云数据的混合方式为等权混合：若初始标注3d点云数据数量为num_label，高信度伪标签3d点云数据数量为num_pseudo，则重复采样初始标注3d点云数据集，使其数量达到num_pseudo。[0071]之所以采取等权混合，是因为高信度伪标签3d点云数据数量常远多于初始有标注3d点云数据，这样会加重伪标签数据中错误标签带来的坏影响，而采用等权混合，能保证在每次训练时两者数目的相当，在充分利用大量高信度伪标签3d点云数据的同时提升了模型性能。[0072]105：使用步骤101中的标注点云数据和初始未标注数据对伪标签语义理解模型继续训练，将再次更新后的模型作为强伪标签语义理解模型，并用该最终的模型对初始未标注数据进行标注。[0073]其中，该步骤使用初始标注点云数据和初始未标注点云数据对伪标签语义理解模型继续训练，得到最终的模型，称为强伪标签语义理解模型。之所以要在伪标签语义理解模型的基础上继续训练，是因为要增强高信度伪标签点云数据和减轻无标注数据对于模型的影响。除此之外，在此训练过程中，在损失函数中加入了无标签损失函数香农熵：[0074][0075]其中，x'为输入样本，n'为样本总数，lu(·)为无标签损失函数，p(yim＝1|x'm)为模型输出的各类别条件概率值。[0076]然后利用该最终的模型重新对初始未标注数据进行语义理解，完成对这些数据的标注。[0077]综上所述，本发明实施例通过上述步骤101-步骤105使用一定量的3d点云标注数据，然后结合伪标签和无标签损失改善了模型，从而在使用少量标注数据的同时，保证了精度。[0078]实施例2[0079]下面结合具体实例、算例对实施例1中的方案进行进一步地介绍，详见下文描述：[0080]201：对少量未标注的3d点云数据进行标注，具体做法是从shapenet数据集中挑选出部分数据作为标注点云数据；[0081]202：使用上述部分标注点云数据训练3d点云语义理解模型，并用该模型对初始伪标签数据打上伪标签，并用步骤103中的两个映射函数从shapenet数据集中将这些伪标签的原始数据选出，分别存储于高信度伪标签数据和低信度伪标签数据两个文件夹中，便于后续步骤中对高低信度伪标签的提取。[0082]此3d点云语义理解模型主要由三个模块构成：[0083]第一个模块(即maxpool)是基于无序输入的对称函数模块，其能保证无论输入点云中的点顺序如何变换，点云经过模型特征提取后得到的特征向量都一样，并且该对称函数由非对称函数f来近似点集上的一般函数：[0084]f({x1,...,xn})≈g(h(x1),...,h(xn))ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(4)[0085]其中，x1,...,xn为n维输入向量，h(x1),...,h(xn)为rn→rk函数映射，f({x1,...,xn})为非对称函数，g(h(x1),...,h(xn))为rk×l×rk→r实值对称函数。[0086]第二个模块(即n*1088)是局部信息和全局信息融合模块，其能将全局特征与每个点的点特征进行结合，使点云中的点同时具备全局信息和局部信息，提高模型语义理解的能力。[0087]第三个模块(即t-net)是对齐网络模块，由于数据经过旋转、平移等几何变换后其语义标记必须是不变的，因此通过对齐网络t-net使学习到的特征对于上述几何变换也是不变的。[0088]这三个模块共同构成了3d点云语义理解模型，再利用多标签多值交叉熵损失反向传播训练。在训练过程中，根据shapenet数据集的大小，只选取点云中的2500个点，若某点云中点数多于2500则随机采样2500个点，反之则重复采样2500个点。[0089]其中，shapenet数据集为本领域技术人员所公知，本发明实施例对此不做赘述。[0090]203：对于上述伪标签数据，通过不确定性度量阈值和伪标签阈值进行高低信度伪标签分类；[0091]以shapenet数据集中的airplane类别为例：该类别共有机身、机翼、机尾和涡轮四个部分，设定不确定性阈值为0.7，即若该点云经过初语义理解模型进行特征提取后，其中的某一点的特征向量的最大值和第二大值的差值大于0.7，则将该点认定为高信度伪标签点。而若整个点云中高信度伪标签点的比例高于伪标签阈值0.95，则认为该点云是一个高信度伪标签点云，并用于下一步中。[0092]204：将上述得到的高信度伪标签点云数据与初始标注点云数据进行等权混合，重新对3d点云语义理解模型进行训练，训练方法同步骤202；[0093]205：将初始标注点云数据和初始未标注点云数据混合，对经过步骤204训练后的模型继续进行训练，在此训练中将初始训练学习率调整为0.0001，其余训练方法同步骤202，得到最终的强伪标签语义理解模型，并利用该模型重新对初始未标注数据打上伪标签，作为该数据的标注结果。[0094]综上所述，本发明实施例通过上述步骤201-步骤205使得强监督训练模型可以在使用少量强监督信息、多数弱监督信息及大量无监督信息的情况下对模型有很好的训练。[0095]实施例3[0096]下面结合具体的试验对实施例1和2中的方案进行可行性验证，详见下文描述：[0097]测试使用的是shapenet数据集。shapenet数据集共有16个类别16881种形状，50个零件数，大多数类别对象的零件数为2-5个。为了保证数据量对实验过程无影响，本发明实施例只选取shapenet数据集中的airplane、chair、lamp、table四个类别进行实验，分别含有2690个数据，其中训练数据2152个、测试数据538个、初始标注数据215个、无标注数据1937个；3746个数据，其中训练数据2996个、测试数据750个、初始标注数据299个、无标注数据2697个；1546个数据，其中训练数据1236个、测试数据310个、初始标注数据123个、无标注数据1113个；5266个数据，其中训练数据4739个、测试数据527个、初始标注数据474个、无标注数据4265个。[0098]以airplane为例，在训练初语义理解模型中共用了215个初始标注点云数据对模型进行训练；在训练伪标签语义理解模型中，共用了215个初始标注点云数据和558个高信度伪标签点云数据进行训练；在训练高伪标签语义理解模型中，共用了215个初始标注点云数据和1937个无标注数据在伪标签语义理解模型的基础上继续训练。[0099]本发明实施例使用miou值作为衡量模型精度的标准，在airplane、chair、lamp、table四个类别上做了如下实验来说明本方法的可靠性，各方法的实验数据和选取模型如下，其中方法g是本发明提出的方法。[0100]a.数据：100％的标注数据[0101]模型：3d点云语义理解模型[0102]b.数据：10％的标注数据[0103]模型：3d点云语义理解模型[0104]c.数据：10％的标注数据 高信度伪标签数据[0105]模型：初语义理解模型[0106]d.数据：10％的标注数据 高信度伪标签数据(有标注) 低信度伪标签数据(无标注)[0107]模型：初语义理解模型(继续训练)[0108]e.数据：10％的标注数据 高信度伪标签数据(有标注) 低信度伪标签数据(无标注)[0109]模型：伪标签语义理解模型(继续训练)[0110]f.数据：10％的标注数据 90％无标注数据[0111]模型：初语义理解模型(继续训练)[0112]g.数据：10％的标注数据 90％无标注数据[0113]模型：伪标签语义理解模型(继续训练)[0114]表1示出了shapenet数据集的airplane类别作为实验数据集时方法a、b、c、d、e、f、g下的模型精度(对应图3折线图)。[0115]表1[0116]方法abcdefgairplane82.3％76.2％74.7％73.6％75.7％76.2％78.2％[0117]表2示出了shapenet数据集的chair类别作为实验数据集时方法a、b、c、d、e、f、g下的模型精度(对应图4折线图)。[0118]表2[0119]方法abcdefgchair88.9％84.9％85.4％86.1％86.4％84.5％86.8％[0120]表3示出了shapenet数据集的lamp类别作为实验数据集时方法a、b、c、d、e、f、g下的模型精度(对应图5折线图)。[0121]表3[0122]方法abcdefglamp79.8％72.9％75.3％75.3％75.6％72.1％77.5％[0123]表4示出了shapenet数据集的table类别作为实验数据集时方法a、b、c、d、e、f、g下的模型精度(对应图6折线图)。[0124]表4[0125]方法abcdefgtable83.8％82.7％82.9％83.2％83.3％83.5％83.6％[0126]通过3d点云数据集shapenet上airplane、chair、lamp、table四个类别进行多组对比实验，可以得出本发明实施例提出的一种基于伪标签的3d点云数据半自动标注方法g在只利用少量标注数据(10％)和大量无标注数据(90％)的情况下模型性能远高于只利用少量标注数据(10％)的方法b，且在table类别上能逼近于利用100％标注数据的全监督学习方法a。除此之外，通过方法d与方法e、方法f与方法g两两进行对比，可以得出本发明实施例提出的在伪标签语义理解模型上继续训练的方法是有效的。[0127]第二方面，本发明实施例提供了一种基于伪标签的3d点云数据半自动标注装置，参见图7，该装置包括：[0128]标注模块1，用于对所收集到的初始3d点云数据进行标注，提供监督信息；[0129]强监督模块2，用于通过有标注的3d点云强监督信息对3d点云网络结构进行训练，产生具有3d点云语义理解能力的初语义理解模型；[0130]伪标签模块3，用于对收集到的初始3d点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3d点云数据；[0131]不确定性模块4，用于对伪标签标注的3d点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；[0132]弱监督模块5，用于通过初始有标注和高信度伪标签3d点云数据对3d点云网络结构进行训练，产生具有3d点云语义理解能力的伪标签语义理解模型；[0133]半监督模块6，用于通过初始有标注和未标注3d点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；[0134]重标注模块7，用于对初始未标注3d点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。[0135]在一种实施方式中，参见图8，该不确定性模块4包括：[0136]点不确定性度量阈值子模块41，用于计算3d点云数据中每个点的不确定性度量，并对每个点做出分类，该子模块41包括点不确定性层；[0137]点云伪标签阈值子模块42，用于判断3d点云数据是高信度伪标签点云还是低信度伪标签点云，该子模块42包括点云伪标签层；[0138]其中，点不确定层采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；[0139]通过映射函数d1＝x1-x2，计算点不确定性度量d1，x1为特征向量中的最大值，x2为特征向量中的最小值，并将点不确定性度d1和不确定性阈值进行比较，高于称为高信度点，记为hp，反之称为低信度点，记为lp。[0140]其中，点云伪标签层采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；[0141]通过映射函数pl＝hp/(hp lp)计算点云伪标签信度pl，并将pl和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为hpc，反之称为低信度伪标签点云，记为lpc。[0142]这里需要指出的是，以上实施例中的装置描述是与上述方法实施例描述相对应的，本发明实施例在此不做赘述。[0143]上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。[0144]基于同一发明构思，本发明实施例还提供了一种基于伪标签的3d点云数据半自动标注装置，参加图9，该装置包括处理器8和存储器9，存储器9中存储有程序指令，处理器8调用存储器9中存储的程序指令以使装置执行实施例中的以下方法步骤：[0145]对所收集到的初始3d点云数据进行标注，提供监督信息；[0146]通过有标注的3d点云强监督信息对3d点云网络结构进行训练，产生具有3d点云语义理解能力的初语义理解模型；[0147]对收集到的初始3d点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3d点云数据；[0148]对伪标签标注的3d点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；[0149]通过初始有标注和高信度伪标签3d点云数据对3d点云网络结构进行训练，产生具有3d点云语义理解能力的伪标签语义理解模型；[0150]通过初始有标注和未标注3d点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；[0151]对初始未标注3d点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。[0152]在一种实施方式中，点不确定性层为：[0153]采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；[0154]通过映射函数d1＝x1-x2，计算点不确定性度量d1，x1为特征向量中的最大值，x2为特征向量中的最小值，并将点不确定性度d1和不确定性阈值进行比较，高于称为高信度点，记为hp，反之称为低信度点，记为lp。[0155]在一种实施方式中，点云伪标签层为：[0156]采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；[0157]通过映射函数pl＝hp/(hp lp)计算点云伪标签信度pl，并将pl和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为hpc，反之称为低信度伪标签点云，记为lpc。[0158]这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。[0159]上述的处理器8和存储器9的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。[0160]存储器9和处理器8之间通过总线10传输数据信号，本发明实施例对此不做赘述。[0161]基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。[0162]该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。[0163]这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述想对应的，本发明实施例在此不做赘述。[0164]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。[0165]计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。[0166]本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。[0167]本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。[0168]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
