一种基于图像与点云数据融合的三维重建方法与流程

1.本技术涉及计算机视觉和计算机图形学领域，特别涉及一种基于图像与点云数据融合的三维重建方法。


背景技术：

2.人工建立三维模型的成本很高，这项工作不仅需要很强的专业技能，并且是很耗时的。在虚拟现实中，需要海量的具有较高几何精度和复杂色彩、纹理的人物、物体和场景等的三维模型，所以三维重建技术在ar、vr、以及元宇宙中扮演了十分关键的角色。如何快速，高质量的重建或者生成三维模型是计算机视觉和计算机图形学的关键技术。
3.点云是一组数据点，它们是三维测量设备对被检测物体表面的测量。目前，随着点云数据的获取方式越来越便捷，进一步使得点云成为了一种非常重要的三维数据形式。利用深度学习技术进行多视角点云配准与融合，可以快速而准确的重建场景的几何模型。
4.目前基于点云数据的三维重建技术集中在三维几何结构的重构上，往往包含以下步骤：点云数据获取，点云预处理，点云配准与融合，三维表面生成。其中，点云配准与融合后，就得到了原始的三维模型，此时的三维模型由一批离散的点构成的，三维表面生成是让三维物体的表面都由一个个平面组成，即在表面处成为连续状态。以上的三维重建步骤实现了三维物体或者场景的几何重构，但是重建得到的三维模型缺乏纹理和色彩信息，导致重建结果不够真实。


技术实现要素：

5.为了解决目前的三维重建方法得到的三维模型缺乏纹理和色彩信息，导致重建结果不够真实的问题，本技术通过以下方面提供一种基于图像与点云数据融合的三维重建方法、终端装置以及计算机可读存储介质。
6.本技术第一方面提供一种基于图像与点云数据融合的三维重建方法，包括：获取被测对象的点云序列以及图像序列，其中，被测对象的点云序列包括被测对象的多个依次相邻的点云数据，且点云序列覆盖被测对象的全景区域；图像序列包括多个图像数据，图像数据分别与点云数据一一对应；对点云序列中的多个点云数据进行配准和融合处理，得到被测对象的全景点云；对图像序列中的多个图像数据分别进行显著性特征提取和多尺度聚合特征描述，得到全景点云中每个点对应的显著性特征向量和多尺度聚合特征向量；根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到目标点相对于待观察点的观察特征向量，其中，目标点为全景点云中除待观察点之外的任意一个点；根据距离待观察点最近的k个点的相对于待观察点的观察特征向量、以及显著性特征向量进行聚合计算，得到待观察点的外观描述向量；将目标点相对于待观察点的观察特征向量，使用第二全连接网络进行计算，得到
目标点相对于待观察点的观察密度向量；根据距离待观察点最近的k个点的相对于待观察点的观察密度向量、以及显著性特征向量进行聚合计算，得到待观察点的体密度信息；根据观察采样点的位置信息、待观察点的位置信息进行位置编码计算，得到待观察点相对于观察采样点的高维位置向量；根据待观察点的高维位置向量和待观察点的外观描述向量，使用第三全连接网络进行计算，得到待观察点相对于观察采样点的辐射信息。
7.在一些实施例中，根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到目标点相对于待观察点的观察特征向量，包括：使用待观察点的位置信息减去目标点的位置信息，得到目标点相对于待观察点的相对位置信息；将目标点相对于待观察点的相对位置信息与目标点的多尺度聚合特征向量进行拼接，得到拼接后的多尺度聚合特征向量；使用第一全连接网络对拼接后的多尺度聚合特征向量进行计算，得到目标点相对于待观察点的观察特征向量。
8.在一些实施例中，按照如下公式进行聚合计算，得到所述待观察点的外观描述向量：其中，fx表示所述待观察点的外观描述向量，，i表示第i个目标点，ai表示第i个目标点对应的显著性特征向量，，其中，为第i个目标点的位置信息，x为所述待观察点的位置信息，表示第i个所述目标点相对于所述待观察点的观察特征向量；按照如下公式进行聚合计算，得到所述待观察点的体密度信息：其中，表示所述待观察点的体密度信息，表示第i个所述目标点相对于所述待观察点的观察密度向量。
9.在一些实施例中，根据观察采样点的位置信息、待观察点的位置信息进行位置编码计算，得到待观察点相对于观察采样点的高维位置向量，包括：使用观察采样点的位置信息减去待观察点的位置信息，得到待观察点相对于观察采样点的相对位置信息；将待观察点相对于观察采样点的相对位置信息映射到32维空间中，得到待观察点相对于观察采样点的高维位置向量。
10.在一些实施例中，对图像数据进行显著性提取，包括：使用多尺度特征提取卷积网络对图像数据进行多尺度特征提取，得到第一层次特
征图、第二层次特征图和第三层次特征图，其中第一层次特征图的通道数为8，第二层次特征图的通道数为16，第三层次特征图的通道数为32；使用显著性提取网络对第一层次特征图、第二层次特征图和第三层次特征图进行处理，对应得到第一中间特征图、第二中间特征图和第三中间特征图，其中，显著性提取网络的输出通道数为1；将第一中间特征图、第二中间特征图和第三中间特征图分别乘以对应的显著性权重然后相加，得到图像数据的显著性特征图。
11.在一些实施例中，对图像数据进行多尺度聚合特征描述，包括：将第一层次特征图、第二层次特征图和第三层次特征图分别成乘以对应的聚合权重，得到第一多尺度特征图、第二多尺度特征图和第三多尺度特征图；将第一多尺度特征图、第二多尺度特征图和第三多尺度特征图按照通道维度堆叠，得到图像数据的多尺度聚合特征图。
12.在一些实施例中，的对点云序列中的多个点云数据进行配准和融合处理，得到被测对象的全景点云；包括：依次对点云序列中的两个相邻点云数据进行配准，得到两个相邻点云数据对应的旋转矩阵和平移向量；根据两个相邻点云数据对应的旋转矩阵和平移向量，依次融合两个相邻点云数据，得到新的点云序列；将新的点云序列作为被测对象的点云序列，重复上述得到新的点云序列的过程，指导新的点云序列中包含的点云数据的数量为1；得到被测对象的全景点云。
13.在一些实施例中，依次对点云序列中的两个相邻点云数据进行配准，得到两个相邻点云数据对应的旋转矩阵的平移向量，包括：使用基于fcgf的点云编码器，得到第一初始几何特征、第二初始几何特征，其中，第一初始几何特征对应于两个相邻点云数据中的一个，第二初始几何特征对应于两个相邻点云数据中的另一个；使用基于fcgf的点云解码器，得到第一初始几何特征对应的第一目标几何特征、第二初始几何特征对应的第二目标几何特征；使用ransac算法，得到第一目标几何特征和第二目标几何特征的旋转矩阵和平移向量。
14.本技术第二方面提供一种终端装置，包括：至少一个处理器和存储器；存储器，用于存储程序指令；处理器，用于调用并执行存储器中存储的程序指令，以使终端装置执行如本技术第一方面提供的三维重建方法。
15.本技术第三方面一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本技术第一方面提供的三维重建方法。
16.本技术提供的基于图像与点云数据融合的三维重建方法，包括：获取被测对象的点云序列以及图像序列；根据三维的点云数据配准融合，得到被测对象的全景点云；根据二
维的图像数据得到每个点对应的显著性特征向量和多尺度聚合特征向量；根据待观察点的位置信息、目标点的位置信息和多尺度聚合特征向量，得到目标点相对于待观察点的观察特征向量；根据最近的k个点的相对于待观察点的观察特征向量和显著性特征向量聚合，得到待观察点的外观描述向量和体密度信息；根据待观察点的外观描述向量和位置信息及观察采样点的位置信息，得到待观察点相对于观察采样点的辐射信息。所述三维重建方法通过点云配准和融合，生成初始三维模型，再根据图像数据进行显著性特征提取和多尺度聚合特征提取，得到全景点云中每个点的显著性特征向量和多尺度聚合特征向量，并根据神经辐射场进行基于点的体渲染，得到具有接近真实的色彩和纹理信息的三维模型。
附图说明
17.图1为本技术实施例提供的一种基于图像与点云数据融合的三维重建方法的工作流程示意图；图2示例性给出得到两个相邻点云之间的坐标表换关系的过程示意图；图3示例性给出获取图像数据的显著性特征朱和多尺度聚合特征图的过程示意图。
具体实施方式
18.为了解决目前的三维重建方法得到的三维模型缺乏纹理和色彩信息，导致重建结果不够真实的问题，本技术通过以下实施例提供一种基于图像与点云数据融合的三维重建方法。
19.参见图1，本技术实施例提供的一种基于图像与点云数据融合的三维重建方法，包括步骤101-步骤109。
20.步骤101，获取被测对象的点云序列以及图像序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的点云数据，且所述点云序列覆盖所述被测对象的全景区域；所述图像序列包括多个图像数据，所述图像数据分别与所述点云数据一一对应。
21.选定待建模的被测对象（物体或者是场景），采用结构光或者其他的方法获取被侧对象的多视角序列点云数据以及相同位置和方向上的彩色图像数据。所采集的数据要求能覆盖这些物体或者场景的全部表面。
22.步骤102，对所述点云序列中的多个所述点云数据进行配准和融合处理，得到所述被测对象的全景点云。
23.在本领域中，所述图像数据分别与所述点云数据一一对应是指，所述图像数据与对应的点云数据在同一视角下获取得到，二者的位置信息相互对应；其中，图像数据的位置信息经过反投影即可得到对应的点云数据的位置信息，对应的，点云数据的位置信息经过投影即可得到对应的图像数据的二维位置信息。由此可知，对点云数据进行配准和融合处理，得到所述被测对象的全景点云，同时，也可以确定各个所述图像数据之间的坐标配准和融合关系。
24.点云配准是指找到两个点云之间的旋转矩阵和平移向量，点云融合指示根据上述旋转矩阵和平移向量，将两个点云融合成一个新的点云。在一些实施例中，所述步骤102包括步骤201-步骤204。
25.参见图2，示例性给出得到两个相邻点云之间的坐标表换关系的过程示意图。
26.步骤201，依次对所述点云序列中的两个相邻点云数据进行配准，得到所述两个相邻点云数据对应的旋转矩阵的平移向量。
27.步骤202，根据所述两个相邻点云数据对应的旋转矩阵和平移向量，依次融合所述两个相邻点云数据，得到新的点云序列。
28.步骤203，将所述新的点云序列作为所述被测对象的点云序列，重复上述得到新的点云序列的过程，指导新的点云序列中包含的点云数据的数量为1。
29.步骤204，得到所述被测对象的全景点云。
30.示例性的，对于一个待建模的物体或者场景下的多视角n（n》2，在此以n=6为例进行说明）个点云，使用上述步骤201-步骤204提供的方法不断地对两帧相邻的点云进行配准及合并。具体操作如下：输入第1个点云和第2个点云到两两点云配准网络，得到点云之间的坐标变换关系（即旋转矩阵和平移向量），并使用这个关系将他们合并为新的点云序列的第1个点云，第3个点云和第4个点云配准合并为新的点云序列的第2个点云，以此类推，直到全部点云被合并为3个新的点云。并继续对这3个点云执行上述两两点云配准与融合，直到全部的点云配准与合并到一个完整的全景点云，配准融合完毕。得到的全景点云是一个由离散的点构成的初始三维模型。
31.其中，为了保证配准进度，可以采用深度学习的方式，得到两个相邻点云数据对应的旋转矩阵和平移向量。如此，在一些实施例中，所述步骤201包括步骤301-步骤303。
32.步骤301，使用基于fcgf（fully-convolutional geometric features，全卷积几何特征）点云编码器，得到第一初始几何特征、第二初始几何特征，其中，所述第一初始几何特征对应于所述两个相邻点云数据中的一个，所述第二初始几何特征对应于所述两个相邻点云数据中的另一个。
33.步骤302，使用基于fcgf的点云解码器，得到所述第一初始几何特征对应的所述第一目标几何特征、所述第二初始几何特征对应的所述第二目标几何特征。
34.步骤303，使用ransac算法，得到第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。
35.为了本领域技术人员清晰的理解这些实施例中提供的获取两个点云数据对应的旋转矩阵和平移向量的方法，以下通过一个示例来说明这些实施例中步骤301-303提供的方法。
36.获取第一点云x和第二点云y。其中，点云x包含的点数为n，点云y包含的点数为m。与前面步骤201相对应的，第一点云x为两个相邻点云数据中的一个，第二点云y为两个相邻点云数据中的另一个。
37.使用基于fcgf的点云编码器中包含的卷积核为7
×7×
7的3d卷积层抽取输入点云x和y的大的局部上下文信息，得到点云特征，。然后使用三个层次的带有剩余块的跨步卷积层聚合更丰富的局部上下文信息；具体过程如下：对于第一层次，点云特征，经过两层卷积核都为3
×3×
3，步长分别为1和2，通道数为别为32和64的3d卷积层，得到特征和，其中，和的点云点数分别为n/2和m/2，特征通道数为64。然后再经过第一层次的剩余块卷积层处理，得到特征
和。
38.对于第二层次，将和输入基于fcgf网络的点云编码器的第二层次，经过一层卷积核为3
×3×
3，步长为2，通道数为128的3d卷积层后，得到特征和，和的点云点数分别为n/4和m/4，特征通道数为128。然后经过第二层次的剩余块卷积层后，得到特征和。
39.对于第三层次，将和输入基于fcgf网络的点云编码器的第三层次，经过一层卷积核为3
×3×
3，步长为2，通道数为256的3d卷积层后，得到特征和，和的点云点数分别为n/8和m/8，特征通道数为256。然后经过第二层次的剩余块卷积层后，得到第一初始几何特征和第二初始几何特征 。
40.经过基于fcgf网络的点云编码器之后，第一点云x和第二点云y的点云特征分别为第一初始几何特征和第二初始几何特征。本实施例使用基于fcgf网络的点云解码器进行特征上采样，总共分为三个层次，具体过程如下：对于第一层次，分别输入第一加强自注意特征和第二加强自注意特征，经过一层卷积核为3
×3×
3，步长分别为2，输出通道数为128的3d上采样卷积层，然后再经过第一层次的输出通道数为128的剩余块卷积层处理，得到特征与。
41.对于第二层次，将与拼接后，和与拼接后的特征分别输入点云解码器的第二层次，经过一层卷积核为3
×3×
3，步长为2，输出通道数为64的3d上采样卷积层，然后经过第二层次的剩余块卷积层后，得到特征与。
42.对于第三层次，将与拼接后，和与拼接后的特征分别输入点云解码器的第三层次，经过一层卷积核为3
×3×
3，步长为2，输出通道数为64的3d上采样卷积层，得到特征与。
43.最后，与分别经过一层卷积核为1
×1×
1，输出通道数为32的3d卷积层，得到点云x和y最终的第一目标几何特征和第二目标几何特征。
44.在本实施例中，使用ransac算法寻找点云之间的坐标变换关系，即旋转矩阵和平移向量，以便于完成后续的点云配准融合。使用ransac算法寻找点云之间的坐标变换关系的过程如下：输入第一目标几何特征和第二目标几何特征，以及第一点云x和第二点云y，根据描述子（任意一个点x在中的32位描述向量和任意一个点y在中的32维描述向量）做匹配，得到两个描述子对应的点的坐标关系，计算初始旋转矩阵和初始平移向量。然后最小化投影误差，得到最终的坐标变换关系，即旋转矩阵和平移向量。
45.由于收集用于点云配准的坐标变换关系是十分困难的。一些实施例中，使用现有方法生成用于训练的数据集中的坐标变换关系。首先对每个场景下的点云数据进行降采样和降噪。具体方式为对每个原始点云数据进行均匀下采样，以及删除离群点。再依次使用基于ransac方法得到每个场景下的两两点云数据之间的初始变换关系，最后使用点对面的
icp算法生成更加精细的变换关系。从而以该精细化的变换关系作为坐标变换关系，得到用于点云配准和融合的坐标变换关系，以训练基于fcgf的点云编码器和点云解码器，得到精准的坐标变换关系，从而构建初始点云三维模型。同时，点云对应的图像之间的坐标变换关系也是如此。
46.步骤103，对所述图像序列中的多个所述图像数据分别进行显著性特征提取和多尺度聚合特征描述，得到所述全景点云中每个点对应的显著性特征向量和多尺度聚合特征向量。
47.在一些实施例中，对所述图像序列中的多个所述图像数据分别进行显著性特征提取和多尺度聚合特征描述，得到所述全景点云中每个点对应的显著性特征向量和多尺度聚合特征向量，包括步骤401-步骤405。
48.步骤401，使用多尺度特征提取卷积网络对所述图像数据进行多尺度特征提取，得到第一层次特征图、第二层次特征图和第三层次特征图，其中第一层次特征图的通道数为8，第二层次特征图的通道数为16，第三层次特征图的通道数为32。
49.步骤402，使用显著性提取网络对所述第一层次特征图、第二层次特征图和第三层次特征图进行处理，对应得到第一中间特征图、第二中间特征图和第三中间特征图，其中，所述显著性提取网络的输出通道数为1。
50.步骤403，将所述第一中间特征图、所述第二中间特征图和所述第三中间特征图分别乘以对应的显著性权重然后相加，得到所述图像数据的显著性特征图。
51.步骤404，将所述第一层次特征图、所述第二层次特征图和所述第三层次特征图分别成乘以对应的聚合权重，得到第一多尺度特征图、第二多尺度特征图和第三多尺度特征图.步骤405，将所述第一多尺度特征图、所述第二多尺度特征图和所述第三多尺度特征图按照通道维度堆叠，得到所述图像数据的所述多尺度聚合特征图。
52.参考前述步骤201中对所述点云数据进行配准和融合处理得到被测对象的全景点云的过程中，可以得知对应的图像数据配准需要的坐标变换关系，结合得到的所述图像数据的显著性特征图和多尺度聚合特征图，得到全景点云中每个点对应的显著性特征向量和多尺度聚合特征向量。
53.为了本领域技术人员清晰的理解这些实施例中提供的获取图像数据的显著性特征图和多尺度聚合特征图的方法，以下通过一个示例来说明这些实施例中步骤401-405提供的方法。
54.参见图3，为这些实施例中提供的获取图像数据的显著性特征图和多尺度聚合特征图的过程示意图示例。
55.第一部分，主干多层次特征提取。输入一张图片，大小为h
×w×
3，经过主干多尺度特征提取卷积网络得到第一层次特征图、第二层次特征图和第三层次特征图。具体的，对于第一层次，图像首先经过3层（图3中的conv1/2/3）大小为3
×3×
8像素，步长为1像素的卷积层，得到h
×w×
8像素的第一层次特征图。
56.对于第二层次，然后再经过1层（图3中的conv4）大小为3
×3×
16像素，步长为2像素的卷积层，再经过2层（图3中的conv5/6），大小为3
×3×
16像素，步长为1像素的卷积核，
得到尺寸为
××
16像素的第二层次特征图。
57.对于第三层次，经过1层（图3中的conv7）大小为3
×3×
32像素，步长为2卷积核，再经过2层（图3中的conv8/9），大小为3
×3×
32像素，步长为1像素的卷积层，得到尺寸为
××
32的第三层次特征图。
58.对这三层特征图全部进行双线性插值上采样到原图分辨率，即后两个层次的特征图分别进行2倍和4倍上采样，最终得到三个层次的特征图：即s1（第一层次特征图）:h
×w×
8，s2（第二层次特征图）:h
×w×
16和s3（第三层次特征图）:h
×w×
32。
59.第二部分，显著性提取。对于显著性提取部分，将这三个层次的特征图分别经过1层大小为3
×3×
1像素，步长为1的卷积核，得到三个尺寸都为h
×w×
1像素的特征图；然后考虑到浅层特征容易受到噪声的影响，为了降低噪声的影响，对于这三层由浅到深的特征图，分别乘以系数：0.17, 0.33和0.5，然后进行累加，得到大小为h
×w×
1的显著性特征图。
60.显著性特征图中位于(x,y)处的值代表了该点的显著性a，即显著性a越大的点，是与周围点越不同的点，通常是颜色变化明显或者结构变化剧烈的点。自然而然地，这些点对应的在三维模型处的空间点的重建结果对最终三维重建的质量影响较大。
61.第三部分，多尺度聚合特征描述。对于特征描述部分，将主干多尺度特征提取网络得到的三层由浅到深的特征图在分别乘以权重系数（1，2，3）后按通道维度堆叠到一起，得到大小为h
×w×
32的多尺度聚合特征图。
62.相较于直接以(r,g,b)信息作为点云的色彩信息为输入，经过多层次特征融合，随着通道数增加，单个颜色信息映射到高维向量，差异更大，神经网络能够更好的学习。
63.步骤104，根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到所述目标点相对于所述待观察点的观察特征向量，其中，所述目标点为所述全景点云中除所述待观察点之外的任意一个点。其中待观察点可以是全景点云中的任意一个点。
64.步骤105，根据距离所述待观察点最近的k个点的相对于所述待观察点的观察特征向量、以及显著性特征向量进行聚合计算，得到所述待观察点的外观描述向量。
65.因为用于描述全景点云中一个点的外观信息的多尺度聚合特征向量是由指定观察位置得到的，并且同一个点在不同观察位置上观察得到的外观特征不一定相同。为了回归这种差异，使用步骤104和步骤105的方法得到所述待观察点的外观描述向量。
66.进一步的，使用所述待观察点的位置信息减去所述目标点的位置信息，得到所述目标点相对于所述待观察点的相对位置信息；将所述目标点相对于所述待观察点的相对位置信息与所述目标点的多尺度聚合特征向量进行拼接，得到拼接后的多尺度聚合特征向量；使用所述第一全连接网络对所述拼接后的多尺度聚合特征向量进行计算，得到所述目标点相对于所述待观察点的观察特征向量。
67.示例性的，对于一个待观察点，目标点相对于待观察点的观察特征向量为，其中，f
p
为目标点的多尺度聚合特征向量，p为目标点的位置信息（三维向量形式表示），x用于表示待观察点的位置信息（三维向量形式表示），函数w用于表示将向量与进行拼接后输入至第一全连接网络来模拟这种差异，其中第一全连接网络
包括三个全连接层，尺寸分别为35
×
128，128
×
256和256
×
128，从而得到p处的目标点相对于x处的待观察点的观察特征向量。其中，使用相对位置p
−
x使网络对点平移保持不变，从而更好地泛化。
68.在本技术实施例中，使用待观察点周边k个距离最近的目标点的相对于待观察点的观察特征向量组合而成。示例性的，x处的待观察点的k个最邻近的点为，，i表示第i个目标点，则x处的待观察点的外观描述向量用如下公式聚合计算得到： ，其中，ai表示第i个目标点对应的显著性特征向量，，为第i个目标点的位置信息。使用反距离权值作为的权重，用来聚合神经特征，使得更接近待观察点的目标点对外观描述向量的计算贡献更多，同时显著性ai越大的目标点，是与周围目标点越不同的点，通常是颜色变化明显或者结构变化剧烈的点，将其考虑其中，使得具有特异性的目标点对待观察点的外观描述向量的计算贡献也更多。
69.步骤106，根据所述目标点相对于所述待观察点的观察特征向量，使用第二全连接网络进行计算，得到所述目标点相对于所述待观察点的观察密度向量。
70.步骤107，根据距离所述待观察点最近的k个点的相对于所述待观察点的观察密度向量、以及显著性特征向量进行聚合计算，得到所述待观察点的体密度信息。
71.本实施例中，第二全连接网络包括三层全连接层，尺寸分别为160
×
256，256
×
128，128
×
1。本技术实施例使用待观察点的k个最邻近的目标点处相对于待观察点的观察密度向量聚合得到待观察点的体密度信息。如下面两个公式所示：，，其中，函数d表示将第i个目标点相对于待观察点的观察特征向量输入至第二全连接网络进行计算。
72.步骤108，根据观察采样点的位置信息、所述待观察点的位置信息进行位置编码计算，得到所述待观察点相对于所述观察采样点的高维位置向量。
73.由于待观察点的辐射信息与观察方向有关，因此，本技术实施例先使用所述观察采样点的位置信息减去所述待观察点的位置信息，得到所述待观察点相对于所述观察采样点的相对位置信息；再将所述待观察点相对于所述观察采样点的相对位置信息映射到32维空间中，得到所述待观察点相对于所述观察采样点的高维位置向量。
74.示例性的，将s处的观察采样点的位置信息与x处的待观察点的位置信息的坐标差视为观察方向。因随着通道数增加，单个位置信息映射到高维向量，差异更大，神经网络能够更好的学习。在本实施例中，将观察方向映射成高维位置向量。
75.步骤109，根据所述待观察点相对于所述观察采样点的高维位置向量和所述待观察点的外观描述向量，使用第三全连接网络进行计算，得到所述待观察点相对于所述观察采样点的辐射信息。
76.所述待观察点相对于所述观察采样点的高维位置向量和所述待观察点的外观描述向量进行拼接，得到。使用第三全连接网络对进行计算，得到所述待观察点相对于所述观察采样点的辐射（颜色）信息。其中，第三全连接网络包括三层全连接层，尺寸分别为160
×
256，256
×
128和128
×
3。
77.步骤107和步骤109分别得到待观察点的体密度信息和相对于观察采样点的辐射信息，即完成3d模型的重建。
78.其中第二全连接网络和第三全连接网络可以看成是一个nerf（neural radiance fields，神经辐射场）网络模型。在nerf网络模型的训练过程中，通过最小化每个观察到的图像和从模型重建中呈现的相应视图之间的误差来优化nerf网络模型。
79.本技术实施例提供一种基于图像与点云数据融合的三维重建方法，包括：获取被测对象的点云序列以及图像序列；对所述点云序列中的多个所述点云数据进行配准和融合处理，得到所述被测对象的全景点云；对所述图像序列中的多个所述图像数据分别进行显著性特征提取和多尺度聚合特征描述，得到所述全景点云中每个点对应的显著性特征向量和多尺度聚合特征向量；根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到所述目标点相对于所述待观察点的观察特征向量；根据距离所述待观察点最近的k个点的相对于所述待观察点的观察特征向量、以及显著性特征向量进行聚合计算，得到所述待观察点的外观描述向量；将所述目标点相对于所述待观察点的观察特征向量，使用第二全连接网络进行计算，得到所述目标点相对于所述待观察点的观察密度向量；根据距离所述待观察点最近的k个点的相对于所述待观察点的观察密度向量、以及显著性特征向量进行聚合计算，得到所述待观察点的体密度信息；根据观察采样点的位置信息、所述待观察点的位置信息进行位置编码计算，得到所述待观察点相对于所述观察采样点的高维位置向量；根据所述待观察点的高维位置向量和所述待观察点的外观描述向量，使用第三全连接网络进行计算，得到所述待观察点相对于所述观察采样点的辐射信息。所述三维重建方法通过点云配准和融合，生成初始三维模型，再根据图像数据进行显著性特征提取和多尺度聚合特征提取，得到全景点云中每个点的显著性特征向量和多尺度聚合特征向量，并根据神经辐射场进行基于点的体渲染，得到具有接近真实的色彩和纹理信息的三维模型。
80.本技术实施例还提供一种终端装置，包括：至少一个处理器和存储器；所述存储器，用于存储程序指令；所述处理器，用于调用并执行所述存储器中存储的程序指令，以使所述终端装置执行如前述实施例提供的三维重建方法。
81.本技术实施例还提供一种计算机可读存储介质。所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得所述计算机执行如前述实施例提供的三维重建方法。
82.本技术实施例中所描述的方法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于ue中。可选地，处理器和存储媒介也可以设置于ue中的不同的部件中。
83.应理解，在本技术的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
84.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（dsl））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质（例如固态硬盘solid state disk (ssd)）等。
85.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
86.以上所述的本技术实施方式并不构成对本技术保护范围的限定。