一种三维积木模型生成方法、装置、设备及存储介质与流程

本技术属于计算机图形，尤其涉及一种三维积木模型生成方法、装置、设备及存储介质。

背景技术：

1、近年来，定制化积木产品与积木ip衍生品迅速兴起，用户希望将照片中的真实建筑立面、人物头像等场景，转换为可线下购买、可按图纸拼搭的实物积木模型。这就要求三维积木模型生成系统不仅要在视觉上还原参考图像中的主体结构、装饰细节与颜色，还要在物理上保证零件之间的可装配性（不穿模、不悬浮、可被普通用户依照拼搭说明书顺序完成装配）。

2、然而，现有三维积木模型生成方法中多存在零件多属性表征缺失、位置量化存在矛盾、缺少装配几何约束等缺陷，导致积木模型生成准确率低。

技术实现思路

1、本技术实施例提供了一种三维积木模型生成方法、装置、设备及存储介质，可以解决现有三维积木模型生成方法由于存在零件多属性表征缺失、位置量化存在矛盾、缺少装配几何约束等缺陷，而导致积木模型生成准确率低的问题。

2、第一方面，本技术实施例提供了一种三维积木模型生成方法，包括：

3、获取积木产品的参考图像；

4、对所述参考图像中的图像特征进行编码处理，得到图像词元序列，其中，所述图像词元序列包括多个图像词元，所述图像词元用于表征所述参考图像的视觉特征信息；

5、以所述图像词元序列作为条件引导序列，通过自回归方式逐个生成积木词元，并拼接得到与所述参考图像对应的积木整型词元序列，其中，所述积木整型词元序列包括多个所述积木词元，所述积木词元用于表征单积木构件的几何与装配属性信息；

6、基于预设积木总词表，对所述积木整型词元序列中的积木词元进行解析，生成所述积木产品的产品工程文件，其中，所述预设积木总词表用于表征所述单积木构件的几何与装配属性信息和整型编码之间的映射关系；

7、根据所述积木产品的产品工程文件，生成与所述积木产品对应的三维积木模型。

8、在第一方面的一种可能的实现方式中，所述对所述参考图像中的图像特征进行编码处理，得到图像词元序列，包括：

9、将所述参考图像中的全局图像特征，编码为全局图像词元，其中，所述全局图像特征用于表征所述积木产品的整体轮廓、全局色调和全局结构摘要信息；

10、将所述参考图像中的多个分块图像特征，编码为多个局部图像词元，其中，所述分块图像特征用于表征所述积木产品的局部区域纹理、局部色彩和局部轮廓细节；

11、将所述全局图像词元作为序列首位，并将所述多个局部图像词元置于所述全局图像词元之后，得到所述图像词元序列。

12、在第一方面的一种可能的实现方式中，所述预设积木总词表采用多个子词集并集构造得到，其中，所述多个子词集包括零件类型词集、颜色词集、三维朝向词集、坐标位置词集和特殊控制符词集，所述特殊控制符词集包括序列起始符、序列终止符和填充符。

13、在第一方面的一种可能的实现方式中，所述积木整型词元序列还包括起始特殊词元、终止特殊词元；

14、所述以所述图像词元序列作为条件引导序列，通过自回归方式逐个生成积木词元，并拼接得到与所述参考图像对应的积木整型词元序列，包括：

15、将所述图像词元序列作为固定前缀，与所述起始特殊词元进行拼接，得到初始上下文序列；

16、将所述初始上下文序列输入到预训练因果解码网络中，采用因果掩码约束解码视野，输出当前解码步对应的隐藏特征；其中，所述解码步的自注意力机制用于关联所述图像词元序列中的多个图像词元，以使所述图像词元携带信息与所述参考图像的空间区域对齐；

17、将所述隐藏特征映射至所述预设积木总词表中，预测当前解码步对应的积木词元的概率分布；

18、将基于预设采样策略从所述概率分布中采样得到的当前积木词元，添加至所述初始上下文序列的尾部，得到更新上下文序列；

19、重复执行逐词元预测过程，扩充上下文序列，直至采样得到所述终止特殊词元时停止，得到目标上下文序列；

20、将所述目标上下文序列中的所述图像词元序列去除，得到所述积木整型词元序列。

21、在第一方面的一种可能的实现方式中，在所述将基于预设采样策略从所述概率分布中采样得到的当前积木词元，添加至所述初始上下文序列的尾部，得到更新上下文序列的过程中，所述方法包括：

22、在累计生成预设数量的积木词元之后，根据所述预设积木总词表，将所述预设数量的积木词元解析为当前单积木构件对应的三维网络实体；

23、基于校验通过的历史单积木构件对应的三维网络实体，对所述当前单积木构件的三维网络实体进行装配冲突校验，其中，所述装配冲突校验至少包括几何穿模校验、悬浮装配校验；

24、若检测存在装配冲突，则将所述当前单积木构件内违例积木词元进行掩码屏蔽并进行重采样，得到修正后积木词元。

25、在第一方面的一种可能的实现方式中，所述基于预设积木总词表，对所述积木整型词元序列中的积木词元进行解析，生成所述积木产品的产品工程文件，包括：

26、基于所述预设积木总词表，对所述积木整型词元序列中的所述积木词元进行解析，得到每个单积木构件对应的元数据信息；

27、根据所述单积木构件的元数据信息，按照预设空间维度优先级将所有单积木构件进行排序，生成所述积木产品的产品工程文件。

28、在第一方面的一种可能的实现方式中，所述根据所述单积木构件的元数据信息，按照预设空间维度优先级将所有单积木构件进行排序，生成所述积木产品的产品工程文件，包括：

29、以z轴为第一优先级、y轴为第二优先级、x轴为第三优先级，对所有单积木构件进行升序排序，生成拼装序列；

30、按照z轴分层将所有单积木构件进行拼装分组，得到每个所述单积木构件的分组标号；

31、根据所述拼装序列，为每个所述单积木构件分配拼装次序编号；

32、整合所有单积木构件的元数据信息、所述分组标号与所述拼装次序编号，得到所述产品工程文件。

33、第二方面，本技术实施例提供了一种三维积木模型生成装置，包括：

34、获取模块，用于获取积木产品的参考图像；

35、编码模块，用于对所述参考图像中的图像特征进行编码处理，得到图像词元序列，其中，所述图像词元序列包括多个图像词元，所述图像词元用于表征所述参考图像的视觉特征信息；

36、预测模块，用于以所述图像词元序列作为条件引导序列，通过自回归方式逐个生成积木词元，并拼接得到与所述参考图像对应的积木整型词元序列，其中，所述积木整型词元序列包括多个所述积木词元，所述积木词元用于表征单积木构件的几何与装配属性信息；

37、生成模块，用于基于预设积木总词表，对所述积木整型词元序列中的积木词元进行解析，生成所述积木产品的产品工程文件，其中，所述预设积木总词表用于表征所述单积木构件的几何与装配属性信息和整型编码之间的映射关系；

38、构建模块，用于根据所述积木产品的产品工程文件，生成与所述积木产品对应的三维积木模型。

39、第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种三维积木模型生成方法。

40、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种三维积木模型生成方法。

41、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的一种三维积木模型生成方法。

42、本技术实施例与现有技术相比存在的有益效果是：

43、本技术实施例提供一种三维积木模型生成方法，包括：首先，获取积木产品的参考图像。对参考图像中的图像特征进行编码处理，得到图像词元序列，其中，图像词元序列包括多个图像词元，图像词元用于表征参考图像的视觉特征信息。之后，以图像词元序列作为条件引导序列，通过自回归方式逐个生成积木词元，并拼接得到与参考图像对应的积木整型词元序列，其中，积木整型词元序列包括多个积木词元，积木词元用于表征单积木构件的几何与装配属性信息。然后，基于预设积木总词表，对积木整型词元序列中的积木词元进行解析，生成积木产品的产品工程文件，其中，预设积木总词表用于表征单积木构件的几何与装配属性信息和整型编码之间的映射关系。最后，根据积木产品的产品工程文件，生成与积木产品对应的三维积木模型。该方法通过图像词元序列引导自回归生成积木词元序列，采用多词元联合表征单个积木构件完整几何及装配属性，并依托统一词表解析得到标准化工程文件，有效克服了现有三维积木模型生成方法中存在的零件属性表征缺失、位置量化冲突、缺乏装配几何约束的弊端，显著提升了三维积木模型的生成准确率与结构装配合理性。