基于跳跃流蒸馏与置信度联合优化的点云到参数化模型生成方法与流程

本技术涉及三维点云处理与计算机图形学三维建模，具体而言，涉及一种基于跳跃流蒸馏与置信度联合优化的点云到参数化模型生成方法。

背景技术：

1、随着激光扫描、影像重建以及三维感知设备在既有建筑测绘、数字化改造和空间信息重建场景中的应用，三维点云所包含的构件数量持续增加，点云观测完整程度、点云分布状态及构件形状复杂程度之间的差异也更加明显。如何从大规模三维点云中形成能够表征各构件位置、尺寸和朝向的参数化三维模型，已成为三维点云建模中的重要技术需求。

2、现有点云参数化建模方案通常先从三维点云中识别不同构件对应的点集，再按照构件类别调用预先配置的几何模板，对各构件点集分别进行参数拟合。对于点云缺失的构件，可以采用邻域点插值、同类构件模板替换或者多轮生成推断的方式补充构件形状。各构件的参数结果生成后，通常按照统一坐标位置进行排列，并直接输出参数化三维模型。

3、然而，上述技术方案对不同构件的点云观测状态采用相对固定的建模方式，当构件点云覆盖较充分时，复杂的形状补充过程会增加不必要的计算量；当构件点云覆盖不足时，单纯依靠几何模板拟合又容易因观测约束不足而产生较大的形状偏差。采用多轮生成推断补充构件形状时，还会随着构件数量增加而累积较长的推断耗时，难以适应大规模点云的批量参数化建模。同时，各构件的拟合结果或生成结果通常分别形成，缺少结合构件空间关系进行联合检验和反馈调整的过程，局部构件形状即使能够单独匹配点云，也可能与相邻构件发生连接错位或者包含关系不匹配；当特定构件类型持续出现生成偏差时，既有生成模型还缺少针对该构件类型进行适应性更新的技术路径。因此，现有技术难以兼顾不同点云覆盖状态下的建模质量、生成推断效率以及构件间形状接续一致性。

技术实现思路

1、本技术提供一种基于跳跃流蒸馏与置信度联合优化的点云到参数化模型生成方法，以至少缓解上述技术问题。

2、一种基于跳跃流蒸馏与置信度联合优化的点云到参数化模型生成方法，包括：

3、获取三维点云和构件空间邻接关系，分割三维点云生成构件点云单元，基于构件点云单元确定点云覆盖置信度，按点云覆盖置信度将构件点云单元划分为几何拟合点云单元和生成推断点云单元；

4、拟合几何拟合点云单元生成拟合三维形状参数；由教师多步流模型针对生成推断点云单元生成三维形状状态变换轨迹，基于三维形状状态变换轨迹执行跳跃流蒸馏以生成三维形状生成网络，由三维形状生成网络确定生成式三维形状参数；

5、按构件空间邻接关系联合校验拟合三维形状参数和生成式三维形状参数以生成形状接续校验结果，依据形状接续校验结果调整校验失败构件点云单元的处理路径，按构件类型生成构件类型失败状态，并依据构件类型失败状态更新三维形状生成网络；

6、由更新后的三维形状生成网络生成校验失败构件点云单元的更新三维形状参数，迭代校验更新三维形状参数生成校验确认三维形状参数集合，按构件空间邻接关系接续校验确认三维形状参数集合以生成点云参数化三维模型。

7、可选地，所述分割三维点云生成构件点云单元，包括：

8、利用构件语义分割网络从三维点云提取各点云点对应的点云语义特征，根据各点云点在三维点云中的空间位置确定点云空间邻接关系；

9、按照点云空间邻接关系聚合点云语义特征相同且空间相邻的点云点，生成构件点云单元；

10、由构件点云单元所包含的点云语义特征生成构件类型置信度，依据构件类型置信度确定构件点云单元对应的构件类型；

11、当构件类型置信度不能唯一确定构件点云单元对应的构件类型时，依据构件类型置信度生成候选构件类型集合，将候选构件类型集合与对应的构件点云单元关联，以供确定构件点云单元对应的构件类型。

12、可选地，所述基于构件点云单元确定点云覆盖置信度，包括：

13、依据构件点云单元对应的构件类型读取构件形状先验；

14、比对构件点云单元与构件形状先验以生成点云表面覆盖状态、点云分布状态和形状特征支撑状态；

15、融合点云表面覆盖状态、点云分布状态和形状特征支撑状态以生成点云覆盖状态，进而基于点云覆盖状态确定构件点云单元对应的点云覆盖置信度。

16、可选地，所述按点云覆盖置信度将构件点云单元划分为几何拟合点云单元和生成推断点云单元，包括：

17、获取针对待生成的点云参数化三维模型配置的三维形状重建精度要求，依据构件点云单元对应的构件类型和三维形状重建精度要求生成点云覆盖置信度阈值；

18、将构件点云单元对应的点云覆盖置信度与点云覆盖置信度阈值进行比对，以生成置信度比对结果；

19、依据置信度比对结果，将点云覆盖置信度达到点云覆盖置信度阈值的构件点云单元确定为几何拟合点云单元，将点云覆盖置信度未达到点云覆盖置信度阈值的构件点云单元确定为生成推断点云单元。

20、可选地，所述拟合几何拟合点云单元生成拟合三维形状参数，包括：

21、依据几何拟合点云单元对应的构件类型和三维形状重建精度要求确定构件形状基元和形状拟合容差；

22、将构件形状基元拟合至几何拟合点云单元，以生成形状基元参数，进而基于形状基元参数确定拟合三维形状参数；

23、计算拟合三维形状参数与对应的几何拟合点云单元之间的形状拟合残差，将形状拟合残差与形状拟合容差进行比对，以生成拟合残差比对结果；

24、依据拟合残差比对结果，将形状拟合残差超出形状拟合容差的几何拟合点云单元重新确定为生成推断点云单元，以使重新确定的生成推断点云单元参与生成式三维形状参数的确定。

25、可选地，所述由教师多步流模型针对生成推断点云单元生成三维形状状态变换轨迹，包括：

26、编码生成推断点云单元，以生成点云条件特征，依据生成推断点云单元对应的构件类型读取构件形状先验；

27、融合点云条件特征和构件形状先验，以生成三维形状生成条件；

28、生成三维形状初始状态，将三维形状初始状态和三维形状生成条件输入教师多步流模型，以使教师多步流模型逐步更新三维形状初始状态并生成多个三维形状状态；

29、按照多个三维形状状态的更新次序排列多个三维形状状态，以生成生成推断点云单元对应的三维形状状态变换轨迹。

30、可选地，所述由教师多步流模型逐步更新三维形状初始状态并生成多个三维形状状态，包括：

31、针对同一生成推断点云单元生成多个三维形状初始状态，利用教师多步流模型分别根据各三维形状初始状态和三维形状生成条件进行状态变换，以生成候选三维形状状态变换轨迹；

32、将各候选三维形状状态变换轨迹的终止状态转换为候选三维形状参数，依据候选三维形状参数重建候选三维表面点云；

33、基于三维点云确定点云坐标域，将各候选三维表面点云映射至点云坐标域，以计算各候选三维表面点云与对应的生成推断点云单元之间的点云重投影残差；

34、依据点云重投影残差筛选候选三维形状状态变换轨迹，进而将点云重投影残差最小的候选三维形状状态变换轨迹确定为生成推断点云单元对应的三维形状状态变换轨迹。

35、可选地，所述基于三维形状状态变换轨迹执行跳跃流蒸馏以生成三维形状生成网络，包括：

36、比对三维形状状态变换轨迹中的相邻三维形状状态，以生成轨迹变化状态；

37、依据生成推断点云单元对应的构件类型确定形状参数维度，并依据构件形状先验确定构件形状变化程度，融合形状参数维度和构件形状变化程度，以生成构件类型复杂度；

38、依据轨迹变化状态和构件类型复杂度对三维形状状态变换轨迹进行划分，以生成跳跃流区间；

39、依据跳跃流区间确定跳跃起始状态和跳跃终止状态，关联跳跃起始状态和跳跃终止状态，以生成跳跃流蒸馏监督数据，使跳跃流蒸馏监督数据参与三维形状生成网络的跳跃流蒸馏训练。

40、可选地，所述跳跃流蒸馏监督数据参与三维形状生成网络的跳跃流蒸馏训练，包括：

41、构建初始三维形状生成网络，组合跳跃起始状态、点云条件特征和生成推断点云单元对应的构件类型，以生成跳跃流蒸馏输入，并将跳跃终止状态确定为跳跃流蒸馏目标；

42、将跳跃流蒸馏输入传入初始三维形状生成网络，以生成跳跃状态预测结果，比对跳跃状态预测结果和跳跃流蒸馏目标，以生成形状重建误差；

43、按照三维形状状态变换轨迹的状态变换次序接续相邻跳跃流区间对应的跳跃状态预测结果，以生成跨区间预测轨迹，进而比对跨区间预测轨迹和三维形状状态变换轨迹，以生成流匹配一致性误差；

44、结合形状重建误差和流匹配一致性误差，以生成跳跃流蒸馏损失，依据跳跃流蒸馏损失更新初始三维形状生成网络，以生成三维形状生成网络。

45、可选地，所述初始三维形状生成网络包括共享形状解码主干和分别与各构件类型对应的构件类型专属确定头，依据跳跃流蒸馏损失更新初始三维形状生成网络后生成的三维形状生成网络保留共享形状解码主干和构件类型专属确定头；

46、所述由三维形状生成网络确定生成式三维形状参数，包括：利用共享形状解码主干根据点云条件特征进行形状解码，以生成共享三维形状表征，依据生成推断点云单元对应的构件类型确定目标构件类型专属确定头；

47、将共享三维形状表征输入目标构件类型专属确定头，以生成生成推断点云单元对应的生成式三维形状参数。

48、可选地，所述按构件空间邻接关系联合校验拟合三维形状参数和生成式三维形状参数以生成形状接续校验结果，包括：

49、依据构件空间邻接关系，从拟合三维形状参数和生成式三维形状参数对应的构件中确定待校验构件对，进而确定待校验构件对对应的构件连接类型；

50、从待校验构件对两侧对应的拟合三维形状参数或生成式三维形状参数中分别提取形状接续特征；

51、依据构件连接类型确定形状接续比对规则和形状接续容差，按照形状接续比对规则比对待校验构件对两侧的形状接续特征，以生成形状接续残差；

52、将形状接续残差与形状接续容差进行比对，以生成形状接续状态，进而汇总各待校验构件对对应的形状接续状态，以生成形状接续校验结果。

53、可选地，所述依据形状接续校验结果调整校验失败构件点云单元的处理路径，包括：

54、依据形状接续校验结果识别未通过形状接续校验的拟合三维形状参数，进而追溯与未通过形状接续校验的拟合三维形状参数对应的构件点云单元，以生成拟合校验失败构件点云单元；

55、将拟合校验失败构件点云单元的处理路径由几何拟合路径调整为生成推断路径，以生成拟合分支调整结果；

56、依据形状接续校验结果识别未通过形状接续校验的生成式三维形状参数，进而追溯与未通过形状接续校验的生成式三维形状参数对应的构件点云单元，以生成生成校验失败构件点云单元；

57、维持生成校验失败构件点云单元对应的生成推断路径，以生成生成分支保持结果，组合拟合分支调整结果和生成分支保持结果，以生成处理路径调整结果，使处理路径调整结果参与更新三维形状参数的生成。

58、可选地，所述将候选构件类型集合与对应的构件点云单元关联，以供确定构件点云单元对应的构件类型，包括：

59、按照候选构件类型集合中的各候选构件类型分别拟合对应的构件点云单元，以生成候选拟合三维形状参数，并利用三维形状生成网络根据各候选构件类型处理对应的构件点云单元，以生成候选生成式三维形状参数；

60、组合候选拟合三维形状参数和候选生成式三维形状参数，以生成候选三维形状参数集合；

61、依据候选三维形状参数集合中的各候选三维形状参数重建候选三维表面点云，比对候选三维表面点云与对应的构件点云单元，以生成候选点云重建一致性，并依据构件空间邻接关系校验各候选三维形状参数，以生成候选形状接续一致性；

62、结合候选点云重建一致性和候选形状接续一致性，对候选三维形状参数集合中的各候选三维形状参数进行筛选，将筛选出的候选三维形状参数确定为类别确认三维形状参数，并根据类别确认三维形状参数对应的候选构件类型确定类别确认构件类型，进而利用类别确认构件类型更新构件点云单元对应的构件类型。

63、可选地，所述按构件类型生成构件类型失败状态，并依据构件类型失败状态更新三维形状生成网络，包括：

64、依据形状接续校验结果识别未通过形状接续校验的生成式三维形状参数，进而追溯与未通过形状接续校验的生成式三维形状参数对应的生成推断点云单元，以生成生成校验失败构件点云单元；

65、按照构件类型统计生成校验失败构件点云单元的校验失败频次，以生成构件类型失败状态，依据构件类型失败状态确定主动蒸馏构件类型；

66、从预先构建的历史点云样本库提取与主动蒸馏构件类型对应的历史同类型构件点云单元，组合主动蒸馏构件类型对应的生成校验失败构件点云单元和历史同类型构件点云单元，以生成主动蒸馏样本；

67、利用教师多步流模型根据主动蒸馏样本进行状态变换，以生成补充三维形状状态变换轨迹，依据补充三维形状状态变换轨迹更新主动蒸馏构件类型对应的构件类型专属确定头，以生成更新三维形状生成网络。

68、可选地，所述由更新后的三维形状生成网络生成校验失败构件点云单元的更新三维形状参数，迭代校验更新三维形状参数生成校验确认三维形状参数集合，按构件空间邻接关系接续校验确认三维形状参数集合以生成点云参数化三维模型，包括：

69、依据处理路径调整结果确定拟合校验失败构件点云单元和生成校验失败构件点云单元，将拟合校验失败构件点云单元和生成校验失败构件点云单元输入更新后的三维形状生成网络，以生成更新三维形状参数；

70、利用更新三维形状参数替换与拟合校验失败构件点云单元对应的拟合三维形状参数以及与生成校验失败构件点云单元对应的生成式三维形状参数，以生成更新待校验三维形状参数集合；

71、对更新待校验三维形状参数集合重复执行形状接续校验，直至更新待校验三维形状参数集合满足校验终止条件，以生成校验确认三维形状参数集合；

72、基于三维点云确定点云坐标域，将校验确认三维形状参数集合转换至点云坐标域，以生成坐标统一三维形状参数集合，按照构件空间邻接关系接续坐标统一三维形状参数集合，以生成点云参数化三维模型。

73、本技术提供的技术方案的技术好处

74、本技术提供的点云到参数化模型生成方法，针对现有方案对点云观测状态不同的构件采用相对固定的建模方式，导致观测充分构件承担不必要计算量、观测不足构件又难以获得适宜形状参数的技术缺陷，先分割三维点云生成构件点云单元，再基于构件点云单元确定点云覆盖置信度，并按点云覆盖置信度将构件点云单元划分为几何拟合点云单元和生成推断点云单元。由此，点云覆盖状态不同的构件进入与其观测条件相适应的处理路径，几何拟合点云单元通过拟合形成拟合三维形状参数，生成推断点云单元则通过三维形状生成网络形成生成式三维形状参数。相较于对全部构件统一采用几何拟合或者统一采用生成推断的处理方式，该差异化处理能够减少对观测充分构件执行复杂生成计算的需要，并降低观测不足构件因缺少点云约束而直接进行几何拟合所产生的形状偏差。

75、针对多轮生成推断在大规模构件建模过程中推断耗时容易累积的技术缺陷，本技术由教师多步流模型针对生成推断点云单元生成三维形状状态变换轨迹，再基于三维形状状态变换轨迹执行跳跃流蒸馏以生成三维形状生成网络。三维形状状态变换轨迹包含教师多步流模型逐步形成三维形状参数的状态演进信息，跳跃流蒸馏将该状态演进信息用于三维形状生成网络的生成能力训练，使三维形状生成网络能够根据生成推断点云单元确定生成式三维形状参数。相较于在每个构件的实际建模过程中均执行教师多步流模型的完整多步状态变换，将多步状态变换能力转移至三维形状生成网络，可以降低生成推断阶段对连续多轮计算的依赖，从而缩短大量生成推断点云单元依次生成三维形状参数所需的总体处理时间。

76、针对现有方案分别形成各构件形状参数、难以及时发现相邻构件连接错位或者包含关系不匹配的技术缺陷，本技术按照构件空间邻接关系联合校验拟合三维形状参数和生成式三维形状参数，以生成形状接续校验结果。构件空间邻接关系使各构件的三维形状参数不再仅以单个构件与其点云之间的匹配状态作为评价依据，而是进一步接受相邻构件间形状接续关系的约束。依据形状接续校验结果调整校验失败构件点云单元的处理路径，能够使原处理路径生成的三维形状参数不符合构件间接续要求时，重新选择处理路径并生成新的三维形状参数，从而降低局部构件参数单独成立但在整体模型中无法合理接续的情况，提高点云参数化三维模型中构件间的形状接续一致性。

77、针对既有生成模型保持固定、特定构件类型持续出现生成偏差时难以进行适应性修正的技术缺陷，本技术按构件类型生成构件类型失败状态，并依据构件类型失败状态更新三维形状生成网络。构件类型失败状态将形状接续校验中发现的生成失败情况与对应构件类型相关联，使三维形状生成网络的更新对象能够围绕持续出现校验失败的构件类型确定，而非对全部构件类型进行无差别更新。由更新后的三维形状生成网络生成校验失败构件点云单元的更新三维形状参数，可以使生成能力的调整与实际校验中暴露的构件类型偏差形成对应关系，从而提高模型更新的针对性，并减少与校验失败无关的构件类型受到更新过程影响的可能。

78、在此基础上，本技术迭代校验更新三维形状参数以生成校验确认三维形状参数集合，并按照构件空间邻接关系接续校验确认三维形状参数集合以生成点云参数化三维模型。更新三维形状参数需要重新进入联合校验，使处理路径调整和三维形状生成网络更新所形成的结果均受到构件空间邻接关系的再次约束，避免更新结果未经整体接续检验即直接进入最终模型。由此形成由点云覆盖置信度分支、拟合与生成、形状接续校验、处理路径调整、网络更新及迭代校验依次承接的闭环技术过程，能够兼顾大规模点云参数化建模中的处理效率、局部构件形状恢复能力以及整体构件接续状态。