图像重建方法、装置、电子设备及计算机可读存储介质与流程

技术特征：
1.一种图像重建方法，其特征在于，包括：获取目标对象对应的待处理图像；获取所述待处理图像的初始图像信息，所述初始图像信息包括第一纹理信息和第一几何信息；基于所述待处理图像和所述第一纹理信息，通过训练好的图像重建模型执行以下操作，得到第二纹理信息：对所述待处理图像进行风格特征提取，得到所述待处理图像的第一风格特征；采用所述第一风格特征对所述第一纹理信息进行修复，得到第二纹理信息；基于所述第二纹理信息和所述第一几何信息进行图像重建，得到所述待处理图像对应的目标图像，其中，所述目标图像的图像质量高于所述待处理图像的图像质量。2.根据权利要求1所述的方法，所述基于所述第二纹理信息和所述第一几何信息进行图像重建，得到目标图像，包括：采用所述第二纹理信息，通过所述图像重建模型对所述第一几何信息进行修复，得到第二几何信息；基于所述第二纹理信息和所述第二几何信息进行图像重建，得到所述目标图像。3.根据权利要求2所述的方法，其特征在于，所述第一几何信息包括所述待处理图像的初始表面法向量图，所述采用所述第二纹理信息，通过所述图像重建模型对所述第一几何信息进行修复，得到第二几何信息，包括：基于所述第二纹理信息和所述第一几何信息进行图像重建，得到第一重建图像；根据所述第一重建图像和所述待处理图像，获取所述初始表面法向量图对应的第一位移特征图；采用所述第一位移特征图对所述初始的表面法向量图进行修正，得到目标表面法向量图，所述第二几何信息为所述目标表面法向量图。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一重建图像和所述待处理图像获取所述初始表面法向量图对应的第一位移特征图，包括：对所述第一重建图像进行位移特征提取，得到第二位移特征图；对所述待处理图像进行位移特征提取，得到第三位移特征图；将所述第二位移特征图与所述第三位移特征图进行融合，得到第四位移特征图；对所述第四位移特征图进行位移特征图重构，得到所述第一位移图。5.根据权利要求3所述的方法，其特征在于，所述初始图像信息还包括图像附加信息，所述图像附加信息包括所述待处理图像对应的采集环境信息或所述目标对象对应的第一姿态信息中的至少一项，所述基于所述第二纹理信息和所述第一几何信息进行图像重建，得到第一重建图像，包括：基于所述第二纹理信息、所述第一几何信息和所述图像附加信息进行图像重建，得到所述第一重建图像。6.根据权利要求1所述的方法，其特征在于，所述采用所述第一风格特征对所述第一纹理信息进行修复，得到第二纹理信息，包括：对所述第一纹理信息进行特征提取，得到第一纹理特征；根据所述第一风格特征对所述第一纹理特征进行修正，得到第二纹理特征；
对所述第二纹理特征进行纹理重构，得到所述第二纹理信息。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：获取随机噪声；所述根据所述第一风格特征对所述第一纹理特征进行修正，得到第二纹理特征，包括：将所述随机噪声与所述第一纹理特征进行融合，得到带有噪声的第一纹理特征；将所述第一风格特征与所述带有噪声的第一纹理特征进行融合，得到所述第二纹理特征。8.根据权利要求1所述的方法，其特征在于，所述初始图像信息还包括图像附加信息，所述图像附加信息包括所述待处理图像对应的采集环境信息或所述目标对象对应的第一姿态信息中的至少一项，所述基于所述第二纹理信息和所述第一几何信息进行图像重建，得到目标图像，包括：基于所述第二纹理信息、所述第一几何信息和所述图像附加信息进行图像重建，得到所述目标图像。9.根据权利要求2所述的方法，其特征在于，所述图像重建模型是由模型训练设备通过以下方式训练得到的：获取训练数据集，所述训练数据集中包括多个图像对，每个所述图像对包括图像内容相同的第一样本图像和第二样本图像，一个所述图像对中的第二样本图像的图像质量高于第一样本图像的图像质量；对于每个所述图像对，获取该图像对中第一样本图像的第一图像信息，以及第二样本图像的第二图像信息，其中，所述第一图像信息包括第三纹理信息和第三几何信息，所述第二图像信息包括第四纹理信息和第四几何信息；基于各所述图像对、以及对应的第三纹理信息和第四纹理信息，对初始纹理修复网络重复执行第一训练操作，直至满足第一条件，得到第一纹理修复网络，所述第一训练操作包括：对于每个所述图像对，将该图像对中的第一样本图像和对应的第三纹理信息输入至初始纹理修复网络，得到第五纹理信息；基于各所述图像对对应的第五纹理信息和第四纹理信息，确定第一训练损失，基于所述第一训练损失对所述初始纹理修复网络的网络参数进行调整；对于每个所述第一样本图像，基于该第一样本图像对应的第三几何信息，以及通过所述第一纹理修复网络得到的该第一样本图像的第五纹理信息进行图像重建，得到第二重建图像；基于各所述图像对、以及对应的第二重建图像和第四几何信息，对初始几何修复网络重复执行第二训练操作，直至满足第二条件，得到第二纹理修复网络，其中，所述第二训练操作包括：对于每个所述图像对，将该图像对中的第一样本图像和对应的第二重建图像输入至初始几何修复网络，得到第五几何信息；基于各所述图像对对应的第五几何信息和第四几何信息，确定第二训练损失，基于所述第二训练损失对所述初始几何修复网络的网络参数进行调整；基于各所述图像对、以及对应的第一图像信息和第二图像信息，对中间神经网络执行
第三训练操作，直至满足第三条件，得到所述图像重建模型，所述中间神经网络包括级联的所述第一纹理修复网络和所述第一几何修复网络。10.一种图像重建装置，其特征在于，所述装置包括图像获取模块、图像信息获取模块、纹理修复模块和图像重建模块，其中：图像获取模块，用于获取目标对象对应的待处理图像；图像信息获取模块，用于获取所述待处理图像的初始图像信息，所述初始图像信息包括第一纹理信息和第一几何信息；纹理修复模块，用于基于所述待处理图像和所述第一纹理信息，通过训练好的图像重建模型执行以下操作，得到第二纹理信息：对所述待处理图像进行风格特征提取，得到所述待处理图像的第一风格特征；采用所述第一风格特征对所述第一纹理信息进行修复，得到第二纹理信息；图像重建模块，用于基于所述第二纹理信息和所述第一几何信息进行图像重建，得到所述待处理图像对应的目标图像，其中，所述目标图像的图像质量高于所述待处理图像的图像质量。11.一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-9任一项所述方法的步骤。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。

技术总结
本申请实施例提供了一种图像重建方法、装置、电子设备及计算机可读存储介质，涉及人工智能、计算机视觉技术、智慧交通和云技术领域。该方法包括：获取目标对象对应的待处理图像，获取待处理图像的第一纹理信息和第一几何信息。对待处理图像进行风格特征提取，得到待处理图像的第一风格特征。采用第一风格特征对第一纹理信息进行修复，得到第二纹理信息；基于第二纹理信息和第一几何信息进行图像重建，得到重建后的目标图像。该方法基于对待处理图像进行风格特征提取所得到第一风格特征，对第一纹理信息进行修复，得到第二纹理信息。并根据该第二纹理信息和第一几何信息进行图像重建，可以得到纹理信息更加丰富的目标图像。可以得到纹理信息更加丰富的目标图像。可以得到纹理信息更加丰富的目标图像。


技术研发人员：张振宇 葛彦昊 汪铖杰
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2022.02.22
技术公布日：2022/5/25