一种语义实例重建方法、装置、设备及介质与流程

1.本发明涉及三维视觉领域，特别涉及一种语义实例重建方法、装置、设备及介质。


背景技术：

2.深度相机等设备扫描三维真实场景时，由于遮挡、视角限制、光线不好等原因，扫描结果存在缺失。语义实例重建任务将三维语义理解与三维重建进行耦合，目的在于修复不完整的场景扫描结果，重建得到物体的完整几何形状、姿态以及类别信息，为三维场景理解提供基础，广泛应用于智能驾驶、机器人、虚拟现实、增强现实等领域。当前的语义实例重建方法大多是基于单模态的，主要可以分为两类：基于rgb图和基于三维点云。在基于rgb图的语义实例重建方法中，利用rgb图进行目标检测和实例重建，例如mesh r-cnn框架通过改进实例分割框架mask r-cnn，以增加网格预测分支来生成物体的重建网格，可以用rgb图实现目标检测、实例分割和物体网格预测，但是仅利用rgb图，会产生深度歧义，导致目标定位错误等情况。在基于三维点云的语义实例重建方法中，通过利用点云提供的几何信息可以提高物体检测以及重建的质量。如najibi等人提出的dops模型，首次在点云上实现了语义实例重建，但是将点云进行网格化处理，限制了实例重建的分辨率。此后，nie等人提出rfd-net框架，可以直接从原始点云中学习物体的语义信息，并重建物体的几何形状。尽管上述方法取得了不错的效果，但是上述方法依然存在物体位置定位的准确率较低以及语义实例重建结果较低的问题。
3.综上，在语义实例重建任务中，如何准确定位物体位置并提高语义实例重建结果的质量是目前有待解决的问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种语义实例重建方法、装置、设备及介质，能够在语义实例重建任务中准确定位物体位置并提高语义实例重建结果的质量。其具体方案如下：第一方面，本技术公开了一种语义实例重建方法，包括：利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
5.可选的，所述利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，包括：
利用faster r-cnn网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息。
6.可选的，所述利用faster r-cnn网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，包括：利用faster r-cnn网络的卷积层对目标场景的原始图像进行特征提取，并通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息。
7.可选的，所述基于所述第一特征信息预测所述目标物体的第一粗糙点云，包括：基于所述位置信息和所述语义类别信息，利用点生成网络预测所述目标物体的第一粗糙点云。
8.可选的，所述语义实例重建方法，还包括：基于三维目标检测网络和三维物体重建网络构建包括所述第一目标检测网络、所述第二目标检测网络、所述点生成网络和所述预设形状生成网络的语义实例重建网络。
9.可选的，所述语义实例重建方法，还包括：构建总损失函数，并利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。
10.可选的，所述利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息，包括：利用votenet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息。
11.可选的，所述利用votenet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息，包括：利用votenet网络的pointnet网络对所述目标场景的三维点云进行特征提取得到三维点云特征；基于所述三维点云特征和三维点云坐标，并通过多层感知机网络得到所述目标物体的中心点坐标；基于所述中心点坐标和和所述三维点云特征，并通过多层感知机网络输出第二预设数量个包括所述目标物体的物体类别信息的三维特征信息。
12.可选的，所述利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果，包括：基于所述三维特征信息和所述初始点云得到所述目标物体的第三特征信息；利用pointnet网络对所述第三特征信息进行特征提取得到第四特征信息，并基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格；利用移动立方体算法对所述目标占有网格进行处理以得到所述目标物体的语义实例重建结果。
13.可选的，所述基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格，包括：基于所述第四特征信息、初始占有网络和所述初始点云，并利用占有网络预测算法中的隐式编码器预测所述目标物体的概率分布；对所述概率分布进行采样得到隐式变量，基于所述隐式变量和所述初始点云预测
所述目标物体的目标占有网格。
14.可选的，所述构建总损失函数，包括：基于所述概率分布和所述目标占有网格构建形状损失函数；基于所述形状损失函数和检测损失函数构建总损失函数；其中，所述检测损失函数包括中心点回归损失函数、航向角损失回归函数、检测框大小交叉熵损失函数、物体语义类别交叉熵损失函数。
15.可选的，所述基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云，包括：基于所述第一特征信息和所述第二特征信息，并利用边界框回归网络预测所述目标物体的三维检测边框；基于所述三维检测边框从所述三维点云中提取所述目标物体的点云信息，以得到第二粗糙点云。
16.第二方面，本技术公开了一种语义实例重建装置，包括：特征提取模块，用于利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；预测模块，用于基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；重建结果获取模块，用于基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
17.第三方面，本技术公开了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现前述公开的语义实例重建方法的步骤。
18.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的语义实例重建方法的步骤。
19.可见，本技术利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。由此可见，本技术获取目标场景的原始图像和三维点云，并利用第一目标检测网络和第二目标检测网络对分别对原始图像和三维点云进行处理，以获取对应的第一特征信息和第二特征信息，然后根据第一特征信息预测目标物体的第一粗糙点云，其次，通过结合第一特征信息和第二特征信息预测目标物体的三维检测结果，能够使得三维检测结果更加准确，也即物体定位更加准确，从而基于三维检测结果得到第二粗糙点云的质量更高，再融合第一粗糙点云和第二粗糙点云得到目标物体的
初始点云，以利用预设形状生成网络对该初始点云进行处理以得到语义实例重建结果，如此一来，通过结合原始图像的第一特征信息和三维点云的第二特征信息，能够准确定位物体位置并提高语义实例重建结果的质量。
附图说明
20.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
21.图1为本技术公开的一种语义实例重建方法流程图；图2为本技术公开的一种具体的语义实例重建方法流程图；图3为本技术公开的一种具体的语义实例重建方法的实现过程图；图4为本技术公开的一种具体的语义实例重建方法流程图；图5为本技术公开的一种具体的语义实例重建方法流程图；图6为本技术公开的一种具体的语义实例重建方法流程图；图7为本技术公开的一种语义实例重建结果示意图；图8为本技术公开的一种语义实例重建装置结构示意图；图9为本技术公开的一种电子设备结构图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.当前的语义实例重建方法大多是基于单模态的，主要可以分为两类：基于rgb图和基于三维点云。如果仅利用rgb图，会产生深度歧义，导致目标定位错误等情况，而仅利用三维点云进行处理，会限制实例重建的分辨率。为此，本技术实施例公开了一种语义实例重建方法、装置、设备及介质，能够在语义实例重建任务中准确定位物体位置并提高语义实例重建结果的质量。
24.参见图1所示，本技术实施例公开了一种语义实例重建方法，该方法包括：步骤s11：利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息。
25.本实施例中，首先需要获取目标场景的原始图像和三维点云，该原始图像具体可以为rgb图像，并分别利用第一目标检测网络和第二目标检测网络对原始图像和三维点云进行处理，以得到与目标场景中目标物体对应的第一特征信息和第二特征信息。
26.需要指出的是，本实施例中目标场景的原始图像和三维点云来源于scannet数据集，scannet数据集一共包含1513个实际场景，同时提供具有实例级标注的场景三维点云。scan2cad软件将shapenet数据集中物体的三维模型与scannet数据集中的物体实例对齐，
cnn网络和votenet网络，也可以为其他的目标检测网络，此处不做限制。具体的，因为目标场景的原始图像也即rgb图像为二维图像，那么将faster r-cnn网络作为二维目标检测网络，得到的特征信息则为二维特征信息；而三维点云是三维图像，那么将votenet网络作为三维目标检测网络，得到的特征信息则为三维特征信息。
34.进一步的，上述利用faster r-cnn网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，包括：利用faster r-cnn网络的卷积层对目标场景的原始图像进行特征提取，并通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息。可以理解的是，faster r-cnn网络可以包括图片特征提取模块和候选生成模块，其中，图片特征提取模块，用于利用多个卷积层对目标场景的原始图像进行特征提取，也即提取场景rgb图像的特征表示；候选生成模块，用于通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息，也即利用softmax层生成物体候选。那么，给定目标场景的rgb图图像，二维目标检测网络会输出k个物体候选，表示为，其中为物体的二维特征信息，包含目标物体的位置信息和语义类别信息。
35.上述利用votenet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息，包括：利用votenet网络的pointnet网络对所述目标场景的三维点云进行特征提取得到三维点云特征；基于所述三维点云特征和三维点云坐标，并通过多层感知机网络得到所述目标物体的中心点坐标；基于所述中心点坐标和和所述三维点云特征，并通过多层感知机网络输出第二预设数量个包括所述目标物体的物体类别信息的三维特征信息。可以理解的是，votenet网络可以包括点云特征提取模块、投票生成模块和候选生成模块。其中，特征提取模块用于利用pointnet网络对目标场景的三维点云进行特征提取得到三维点云特征，也即从输入的三维点云中提取场景的点云特征表示；投票生成模块，用于融合三维点云特征和三维点云坐标，并通过多层感知机网络生成投票，表示物体的中心点坐标。候选生成模块，用于融合中心点坐标和和附近的三维点云特征，利用多层感知机生成物体候选，并预测物体类别信息。那么，给定目标场景的三维点云，三维目标检测网络会输出k个物体候选，表示为，其中为物体的三维特征信息。
36.步骤s22：基于位置信息和语义类别信息，利用点生成网络预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息，并利用边界框回归网络预测所述目标物体的三维检测边框。
37.本实施例中，根据目标物体的位置信息和语义类别信息，利用点生成网络和多层感知机，预测目标物体的第一粗糙点云，记为。再基于目标物体的第一特征信息和第二特征信息，也即融合二维特征信息和三维特征信息得到物体的特征表示；基于此特征，三维边界框回归网络利用多层感知机，预测物体的三维检测边框。
38.步骤s23：基于所述三维检测边框从所述三维点云中提取所述目标物体的点云信息，以得到第二粗糙点云。
39.本实施例中，基于目标物体的三维检测边框，实例提取网络从目标场景的三维点云中提取物体的点云信息，并利用多层感知机预测点云信息是否真实属于当前物体，得到
目标物体的第二粗糙点云，记为。
40.步骤s24：基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
41.本实施例中，基于第一粗糙点云和第二粗糙点云得到目标物体的初始点云。利用预设形状生成网络对初始点云进行处理得到目标物体的语义实例重建结果，也即得到完整的物体形状。
42.可见，本技术实施例中的第一目标检测网络和第二目标检测网络具体可以分别为faster r-cnn网络和votenet网络，通过利用faster r-cnn网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，并利用votenet网络对目标场景的三维点云进行处理以得到目标物体的三维特征信息。在基于第一特征信息和第二特征信息预测目标物体的第二粗糙点云时，需要基于第一特征信息和第二特征信息，并利用边界框回归网络预测目标物体的三维检测边框；基于三维检测边框从三维点云中提取目标物体的点云信息，以得到第二粗糙点云。通过利用基于rgb图像的二维目标检测来优化基于三维点云的三维目标检测，能够准确定位并提取场景中的目标物体。
43.参见图4所示，本技术实施例公开了一种具体的语义实例重建方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：步骤s31：利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息。
44.步骤s32：基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云。
45.步骤s33：基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并基于所述第二特征信息和所述初始点云得到所述目标物体的第三特征信息。
46.本实施例中，在得到目标物体的初始点云后，需要再次融合物体的第二特征信息，也即三维特征信息得到物体的第三特征信息，记为。
47.步骤s34：利用pointnet网络对所述第三特征信息进行特征提取得到第四特征信息，并基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格。
48.本实施例中，利用pointnet网络对第三特征信息进一步进行特征提取得到第四特征信息，记为。其次，基于第四特征信息利用已有的占有网格预测算法预测目标物体的目标占有网格。具体的，上述基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格，包括：基于所述第四特征信息、初始占有网络和所述初始点云，并利用占有网络预测算法中的隐式编码器预测所述目标物体的概率分布；对所述概率分布进行采样得到隐式变量，基于所述隐式变量和所述初始点云预测所述目标物体的目标占有网格。可以理解的是，将形状生成网络构建为概率生成模型，基于第四特征信息、初
始占有网络和初始点云，利用占有网络预测算法中的隐式编码器，预测所述目标物体的概率分布，包括均值和标准差也即，使得其值近似标准正态分布，从得到的分布中采样得到隐式变量z，并融合物体的初始点云，预测物体的目标占有网格。
49.步骤s35：利用移动立方体算法对所述目标占有网格进行处理以得到所述目标物体的语义实例重建结果。
50.本实施例中，利用移动立方体算法从目标物体的目标占有网格中生成物体的语义实例重建结果，也即重建网格表面。其中，初始时设置隐式变量z=0。
51.其中，关于上述步骤s31和s32更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
52.可见，本技术实施例中在利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果时，具体为基于三维特征信息和初始点云得到目标物体的第三特征信息；利用pointnet网络对第三特征信息进行特征提取得到第四特征信息，并基于第四特征信息利用占有网格预测算法预测目标物体的目标占有网格；利用移动立方体算法对目标占有网格进行处理以得到目标物体的语义实例重建结果。也即，通过利用形状生成网络对得到的初始点云进一步进行补全优化，能够重建物体的完整形状，通过重建网格表面表示。
53.参见图5所示，本技术实施例的语义实例重建方法，还包括：步骤s41：基于三维目标检测网络和三维物体重建网络构建包括所述第一目标检测网络、所述第二目标检测网络、所述点生成网络和所述预设形状生成网络的语义实例重建网络。
54.本实施例中，可以理解的是，语义实例重建网络包括三维目标检测网络和三维物体重建网络两个部分，而三维目标检测网络包括但不限于第一目标检测网络和第二目标检测网络，三维物体重建网络包括但不限于点生成网络和预设形状生成网络。也即参见图6所示，将场景的三维点云和场景的rgb图输入语义实例重建网络中的三维目标检测网络和三维物体重建网络，分别进行多模态三维目标检测和多模态三维物体重建，最终输出语义实例重建结果，也即完整的物体形状。
55.步骤s42：构建总损失函数，并利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。
56.本实施例中，需要构建总损失函数，并利用总损失函数对语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。进一步的，上述构建总损失函数，包括：基于所述概率分布和所述目标占有网格构建形状损失函数；基于所述形状损失函数和检测损失函数构建总损失函数；其中，所述检测损失函数包括中心点回归损失函数、航向角损失回归函数、检测框大小交叉熵损失函数、物体语义类别交叉熵损失函数。需要指出的是，总损失函数包括两个部分，分别是检测损失函数和形状损失函数；其中，检测损失函数采用目标检测任务中常见的形式，包括：物体中心点的l1回归损失lc、航向角l1回归损失、检测框大小交叉熵损失ls、物体语义类别交叉熵损失lz；也即。形状损失函数是基于概率分布和目标占有网格构建的，也即对于每个物体实例，形状损失函数的计算公式为：
；其中，表示形状损失函数，和kl分别表示交叉熵和kl散度，和分别表示第i个物体的第j个点的预测占有网格和真值占有网格，预测占有网格也即上述预测的目标占有网格，真值占有网格指数据集提供的真实的占有网格；和分别表示预测的概率分布和标准正太分布；k和m分别表示初始点云的维度信息。因此，总损失函数为：。
57.构建好总损失函数后，则利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。具体的训练过程为，首先分别在给定目标场景的原始图像和三维点云上，预训练二维目标检测网络和三维目标检测网络；固定网络参数，训练语义实例重建网络时，二维目标检测网络和三维目标检测网络不再训练。将scan2cad提供的物体重建网格作为监督信息训练网络，利用梯度下降最小化的总损失函数训练语义实例重建网络，预测完整的三维物体形状。当网络的训练误差达到一个指定的较小值或者满足预设迭代次数时，训练结束，得到训练后语义实例重建网络。
58.进一步的，将测试集输入训练后语义实例重建网络，以测试网络。具体的，将scannet测试集中某个场景的rgb图和三维点云输入到已训练好的语义实例重建网络中，输出语义实例重建结果，以重建网格形式表示。图7为本技术公开的语义实例重建结果示意图，图7中第一列是语义实例重建结果，第二列是对应的真值。
59.可见，本技术实施例中的语义实例重建网络包括三维目标检测网络和三维物体重建网络两个部分，因此提供了一种多模态的两阶段语义实例重建方法，而三维目标检测网络又包括第一目标检测网络、第二目标检测网络等，三维物体重建网络包括点生成网络、预设形状生成网络等，能够通过利用场景的rgb图和三维点云所提供的二维语义信息和三维几何信息，提高语义实例重建的质量。并且在构建总损失函数时是基于检测损失函数和形状损失函数构建，以利用构建好的总损失函数对语义实例重建网络进行训练，以得到训练后语义实例重建网络。
60.参见图8所示，本技术实施例公开了一种语义实例重建装置，该装置包括：特征提取模块11，用于利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；预测模块12，用于基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；重建结果获取模块13，用于基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
61.可见，本技术利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。由此可见，本技术获取目标场景的原始图像和三维点云，并利用第一目标检测网络和第二目标检测网络对分别对原始图像和三维点云进行处理，以获取对应的第一特征信息和第二特征信息，然后根据第一特征信息预测目标物体的第一粗糙点云，其次，通过结合第一特征信息和第二特征信息预测目标物体的三维检测结果，能够使得三维检测结果更加准确，也即物体定位更加准确，从而基于三维检测结果得到第二粗糙点云的质量更高，再融合第一粗糙点云和第二粗糙点云得到目标物体的初始点云，以利用预设形状生成网络对该初始点云进行处理以得到语义实例重建结果，如此一来，通过结合原始图像的第一特征信息和三维点云的第二特征信息，能够准确定位物体位置并提高语义实例重建结果的质量。
62.在一些具体实施例中，所述特征提取模块11，具体可以包括：第一特征提取子模块，用于利用faster r-cnn网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息。
63.在一些具体实施例中，所述第一特征提取子模块，具体可以包括：二维特征提取单元，用于利用faster r-cnn网络的卷积层对目标场景的原始图像进行特征提取，并通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息。
64.在一些具体实施例中，所述预测模块12，具体可以包括：第一粗糙点云预测单元，用于基于所述位置信息和所述语义类别信息，利用点生成网络预测所述目标物体的第一粗糙点云。
65.在一些具体实施例中，所述语义实例重建装置，还可以包括：网络构建模块，用于基于三维目标检测网络和三维物体重建网络构建包括所述第一目标检测网络、所述第二目标检测网络、所述点生成网络和所述预设形状生成网络的语义实例重建网络。
66.在一些具体实施例中，所述语义实例重建装置，还可以包括：网络训练模块，用于构建总损失函数，并利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。
67.在一些具体实施例中，所述特征提取模块11，具体可以包括：第二特征提取子模块，用于利用votenet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息。
68.在一些具体实施例中，所述第二特征提取子模块，具体可以包括：三维点云特征提取单元，用于利用votenet网络的pointnet网络对所述目标场景的三维点云进行特征提取得到三维点云特征；中心点坐标获取单元，用于基于所述三维点云特征和三维点云坐标，并通过多层
感知机网络得到所述目标物体的中心点坐标；三维特征提取单元，用于基于所述中心点坐标和和所述三维点云特征，并通过多层感知机网络输出第二预设数量个包括所述目标物体的物体类别信息的三维特征信息。
69.在一些具体实施例中，所述重建结果获取模块13，具体可以包括：第三特征信息获取单元，用于基于所述三维特征信息和所述初始点云得到所述目标物体的第三特征信息；占有网格预测子模块，用于利用pointnet网络对所述第三特征信息进行特征提取得到第四特征信息，并基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格；占有网格处理单元，用于利用移动立方体算法对所述目标占有网格进行处理以得到所述目标物体的语义实例重建结果。
70.在一些具体实施例中，所述占有网格预测子模块，具体可以包括：概率分布预测单元，用于基于所述第四特征信息、初始占有网络和所述初始点云，并利用占有网络预测算法中的隐式编码器预测所述目标物体的概率分布；预测单元，用于对所述概率分布进行采样得到隐式变量，基于所述隐式变量和所述初始点云预测所述目标物体的目标占有网格。
71.在一些具体实施例中，所述网络训练模块，具体可以包括：形状损失函数构建单元，用于基于所述概率分布和所述目标占有网格构建形状损失函数；总损失函数构建单元，用于基于所述形状损失函数和检测损失函数构建总损失函数；其中，所述检测损失函数包括中心点回归损失函数、航向角损失回归函数、检测框大小交叉熵损失函数、物体语义类别交叉熵损失函数。
72.在一些具体实施例中，所述预测模块12，具体可以包括：三维检测边框预测单元，用于基于所述第一特征信息和所述第二特征信息，并利用边界框回归网络预测所述目标物体的三维检测边框；第二粗糙点云获取单元，用于基于所述三维检测边框从所述三维点云中提取所述目标物体的点云信息，以得到第二粗糙点云。
73.图9为本技术实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的语义实例重建方法中的相关步骤。
74.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
75.其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程
逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
76.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
77.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的语义实例重建方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
78.进一步的，本技术实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由语义实例重建过程中执行的方法步骤。
79.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
80.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
81.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
82.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排
除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
83.以上对本发明所提供的一种语义实例重建方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。