基于单图的三维铰链资产高效重建方法及系统

摘要: 本技术涉及人工智能,尤其涉及一种基于单图的三维铰链资产高效重建方法及系统。背景技术:1、随着数字化建模需求不断增加,基于二维图像实现三维铰链资产重建,凭借采集便...
基于单图的三维铰链资产高效重建方法及系统

本技术涉及人工智能,尤其涉及一种基于单图的三维铰链资产高效重建方法及系统。

背景技术:

1、随着数字化建模需求不断增加,基于二维图像实现三维铰链资产重建,凭借采集便捷、成本低廉的优势,成为轻量化三维建模的重要研究方向。

2、现有铰链重建技术主要分为迭代优化与单图前馈预测两类,但是均存在明显缺陷。其中,迭代优化类方法,需依托多视角、多姿态密集图像输入,通过可微渲染联合优化三维结构与铰链参数。然而,该方案对观测数据需求量大,而多角度、多姿态图像采集耗时耗力、流程繁琐,整体成本偏高。在轻量化、大批量建模场景中,充足采集条件很难满足,该类重建方案的落地使用与拓展范围因此受到明显限制。

3、单图前馈预测方法,具备推理效率高,部署门槛低的优点。但受限于单视图固有缺陷,图像提供的几何、结构关联与运动约束信息稀疏,无法精准约束铰接结构形态与部件相对运动关系,容易导致三维模型结构失真、铰链运动参数偏差较大。同时,现有单图方案的三维空间理解能力不足,进一步降低了铰链参数的预测精度与重建稳定性。

4、综上,当前三维铰链重建技术普遍存在多图方案采集成本高、实用性差,单图方案约束不足、重建精度低、参数估算不准的问题。因此,难以兼顾建模效率、应用成本与重建质量。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种基于单图的三维铰链资产高效重建方法及系统,以解决上述现有技术中存在的至少一个问题。

2、第一方面,提供了一种基于单图的三维铰链资产高效重建方法,包括:

3、获取目标铰链物体在第一运动状态下对应的第一状态图;

4、基于所述第一状态图构建初始含噪隐变量,选取所述初始含噪隐变量或者由所述初始含噪隐变量拼接铰链参数可学习标记形成的融合隐变量作为目标隐变量,对所述目标隐变量迭代去噪得到去噪隐变量;基于所述去噪隐变量得到部件稀疏体素及铰链参数,所述部件稀疏体素用于表征所述目标铰链物体各部件对应的局部几何状态;

5、基于所述部件稀疏体素以及所述铰链参数,进行三维铰接结构重建,得到所述目标铰链物体对应的三维铰链资产。

6、在一可能的实施方式中,所述基于所述第一状态图构建初始含噪隐变量,选取所述初始含噪隐变量或者由所述初始含噪隐变量拼接铰链参数可学习标记形成的融合隐变量作为目标隐变量,对所述目标隐变量迭代去噪得到去噪隐变量;基于所述去噪隐变量得到部件稀疏体素及铰链参数,包括:

7、基于所述第一状态图构建初始含噪隐变量,对所述初始含噪隐变量进行迭代去噪得到部件体素隐变量,基于所述部件体素隐变量生成所述目标铰链物体在不同运动状态下各部件对应的部件稀疏体素,并基于所述部件稀疏体素估算铰链参数;或

8、在所述初始含噪隐变量中拼接铰链参数可学习标记形成融合隐变量,将融合隐变量迭代去噪得到特征隐变量,并基于所述特征隐变量生成所述目标铰链物体在所述第一运动状态下各部件对应的部件稀疏体素及铰链参数。

9、在一可能的实施方式中,所述基于所述第一状态图构建初始含噪隐变量,对所述初始含噪隐变量进行迭代去噪得到部件体素隐变量之前,还包括:

10、对所述第一状态图进行铰链结构解析与信息补全处理,得到所述目标铰链物体对应的部件分割图以及所述目标铰链物体在第二运动状态下对应的第二状态图;

11、基于所述第一状态图进行空间网格化采样处理,生成所述目标铰链物体对应的整体稀疏体素,所述整体稀疏体素用于表征所述目标铰链物体的全局几何状态;

12、所述基于所述第一状态图构建初始含噪隐变量,对所述初始含噪隐变量进行迭代去噪得到部件体素隐变量,基于所述部件体素隐变量生成所述目标铰链物体在不同运动状态下各部件对应的部件稀疏体素,包括:

13、基于所述第一状态图及第二状态图,构建双状态初始含噪隐变量,将所述部件分割图、整体稀疏体素、第一状态图与第二状态图作为条件信息,对所述双状态初始含噪隐变量进行迭代去噪得到双状态部件体素隐变量,并基于所述双状态部件体素隐变量生成所述目标铰链物体在不同运动状态下各部件对应的部件稀疏体素。

14、在一可能的实施方式中,所述对所述第一状态图进行铰链结构解析与信息补全处理,得到所述目标铰链物体对应的部件分割图以及所述目标铰链物体在第二运动状态下对应的第二状态图,包括:

15、基于预设提示信息以及所述第一状态图,生成部件掩码分割图,所述部件掩码分割图包括至少一个可动部件所在区域;

16、基于所述部件掩码分割图,确定所述目标铰链物体对应的有效部件数量;

17、基于所述有效部件数量,将所述部件掩码分割图转换为部件标签分割图;

18、按照预设状态约束条件,对可动部件进行状态转换,得到所述第二状态图。

19、在一可能的实施方式中,所述基于所述部件稀疏体素估算铰链参数,包括:

20、将第一运动状态对应的部件稀疏体素转换为源点集,将第二运动状态对应的部件稀疏体素转换为目标点集;

21、确定所述源点集与目标点集之间的双向最近邻距离,作为初始基准误差;

22、采样匹配点对并计算对应的平移参量,通过所述平移参量对所述源点集进行平移校正,基于平移后源点集与目标点集的双向最近邻距离,求解得到最优平移参数及平移基准误差;

23、基于所述源点集与目标点集的点云整体特征及接触区域约束,进行旋转参数的初始定位与优化校正,基于旋转后源点集与目标点集之间的双向最近邻距离,求解得到最优旋转参数及旋转基准误差;

24、基于所述初始基准误差、平移基准误差、旋转基准误差、最优平移参数以及最优旋转参数,确定所述目标铰链物体对应的铰链参数。

25、在一可能的实施方式中,所述采样匹配点对并计算对应平移参量,对所述源点集进行平移校正,基于平移后源点集与目标点集的双向最近邻距离,求解得到最优平移参数及平移基准误差,包括:

26、在所述源点集与所述目标点集中进行随机采样并构建匹配点对;

27、基于匹配点对之间的坐标差值,生成候选平移向量;

28、选取双向最近邻距离最小的候选平移向量作为初始平移参数;

29、基于所述初始平移参数对所述源点集进行平移,得到平移点集;

30、基于所述平移点集与目标点集的双向最近邻距离构建残差函数,通过非线性最小二乘迭代优化求解,得到最优平移参数与平移基准误差。

31、在一可能的实施方式中,所述基于所述源点集与目标点集的点云整体特征及接触区域约束,进行旋转参数的初始定位与优化校正,基于旋转后源点集与目标点集之间的双向最近邻距离,求解得到最优旋转参数及旋转基准误差,包括:

32、基于所述源点集与目标点集各点之间双向最近邻距离,构建接触区域点集;

33、分别对所述接触区域点集以及源点集进行主成分分析,提取若干候选旋转轴;

34、以接触区域中心作为旋转轴初始位置,结合所述接触区域所有点位到各候选旋转轴的垂直距离,筛选得到有效候选旋转轴;

35、在预设转动区间内对各有效候选转轴均匀采样旋转角度,并根据双向最近邻距离选取最优角度作为旋转角初值;

36、基于所述有效候选旋转轴与旋转角初值构建残差函数,通过非线性最小二乘算法进行迭代求解,得到最优旋转参数及旋转基准误差。

37、在一可能的实施方式中,所述在所述初始含噪隐变量中拼接铰链参数可学习标记形成融合隐变量,将融合隐变量迭代去噪得到特征隐变量,并基于所述特征隐变量生成所述目标铰链物体在第一运动状态下各部件对应的部件稀疏体素及铰链参数,包括:

38、基于所述第一状态图,对第一运动状态下各部件分别进行采样,得到所述初始含噪隐变量;

39、将所述初始含噪隐变量与所述铰链参数可学习标记进行拼接,形成所述融合隐变量;

40、将所述第一状态图对应的图像特征作为约束条件,对所述融合隐变量进行流匹配采样,得到所述特征隐变量,所述特征隐变量包括第一状态下各部件对应的体素隐变量及各部件对应的铰链参数特征;

41、对所述体素隐变量进行解码,并映射至三维稀疏体素空间,得到第一运动状态下各部件对应的部件稀疏体素;

42、基于所述铰链参数特征进行预测,得到所述铰链参数。

43、在一可能的实施方式中,所述基于所述部件稀疏体素以及所述铰链参数,进行三维铰接结构重建,得到所述目标铰链物体对应的三维铰链资产,包括:

44、对所述部件稀疏体素进行重构,生成表面细节完整的高分辨率三维网格模型;

45、基于所述第一状态图对应的纹理信息,在所述高分辨率三维网格模型的表面生成与所述第一状态图匹配一致的纹理贴图;

46、对所述高分辨率三维网格模型、纹理贴图以及铰链参数进行整合,得到所述三维铰链资产。

47、第二方面,提供了一种基于单图的三维铰链资产高效重建系统,包括:

48、第一状态图获取单元,用于获取目标铰链物体在第一运动状态下对应的第一状态图;

49、部件重建及铰链参数生成单元,用于基于所述第一状态图构建初始含噪隐变量,选取所述初始含噪隐变量或者由所述初始含噪隐变量拼接铰链参数可学习标记形成的融合隐变量作为目标隐变量,对所述目标隐变量迭代去噪得到去噪隐变量;基于所述去噪隐变量得到部件稀疏体素及铰链参数,所述部件稀疏体素用于表征所述目标铰链物体各部件对应的局部几何状态;

50、三维铰链资产生成单元,用于基于所述部件稀疏体素以及所述铰链参数,进行三维铰接结构重建,得到所述目标铰链物体对应的三维铰链资产。

51、上述基于单图的三维铰链资产高效重建方法及系统,其方法实现,包括:获取目标铰链物体在第一运动状态下对应的第一状态图;基于所述第一状态图构建初始含噪隐变量,选取所述初始含噪隐变量或者由所述初始含噪隐变量拼接铰链参数可学习标记形成的融合隐变量作为目标隐变量,对所述目标隐变量迭代去噪得到去噪隐变量;基于所述去噪隐变量得到部件稀疏体素及铰链参数,所述部件稀疏体素用于表征所述目标铰链物体各部件对应的局部几何状态;基于所述部件稀疏体素以及所述铰链参数,进行三维铰接结构重建,得到所述目标铰链物体对应的三维铰链资产。在本技术实施例中,提供了两种可选择的重建路径:第一种路径通过对初始含噪隐变量迭代去噪,并解码生成部件稀疏体素,再通过点云配准求解铰链参数;第二种路径通过在初始含噪隐变量中引入铰链参数可学习标记构建融合隐变量,联合生成部件稀疏体素与铰链参数,可根据算力、重建精度需求灵活选用。可有效降低单图观测信息稀疏的难题,实现从单张图片到完整三维铰链资产的端到端重建;此外,针对铰链标注数据稀缺问题,将铰链结构推理转化为体素生成任务,充分复用预训练三维生成模型的先验能力,仅通过微调即可完成模型适配,无需从零训练,有效降低训练数据需求与训练成本,并可提高重建效率与铰接结构推理准确度。