基于纹理映射的纹理图像前置置换方法、装置和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及基于纹理映射的纹理图像前置置换方法、装置和存储介质。


背景技术：

2.三维扫描仪在实时扫描过程中，以自带的相机获取物体图像作为二维纹理图像，通过纹理贴图算法实现物体网格模型的纹理映射，以重建出具有真实感纹理的三维数字模型。由于在相机获取物体图像的过程中，不同拍摄视角因补光不同会造成的纹理图像存在反光区域和色彩差异，导致贴图呈现的三维数字模型效果差。
3.对此，目前的做法是前置获取每个位置拍摄多幅图像纹理，后置对多幅图像纹理进行融合和拼接优化，来消除纹理色差和反光区域，实现平滑的无缝隙纹理映射。但是这种方案存在后置处理运算复杂，对三维扫描仪的配置需求高，且处理效率低的问题。
4.针对相关技术中存在后置处理运算复杂，对三维扫描仪的配置需求高，且处理效率低的问题，目前还没有提出有效的解决方案。


技术实现要素：

5.在本实施例中提供了一种基于纹理映射的纹理图像前置置换方法、装置和存储介质，以解决相关技术中存在后置处理运算复杂，对三维扫描仪的配置需求高，且处理效率低的问题。
6.第一个方面，在本实施例中提供了一种基于纹理映射的纹理图像前置置换方法，包括：基于三维扫描仪扫描目标物体，获取第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息；所述第一纹理映射关系信息为基于第一纹理图像数据集对物体网格模型进行纹理映射的关系信息；将所述第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定所述第一纹理图像与所述第二纹理图像之间的第一匹配关系；根据所述第一匹配关系、所述第一纹理图像数据集、所述物体网格模型以及所述第一纹理映射关系信息，确定所述物体网格模型与所述第二纹理图像数据对应的第二纹理映射关系信息。
7.在其中的一些实施例中，所述第一纹理映射关系信息包括第一相机参数集和第一转换矩阵集；所述第一相机参数集为第一相机参数的集合；所述第一相机参数与所述第一纹理图像数据集中的第一纹理图像一一对应；所述第一转换矩阵集为在相机坐标系下的所述第一纹理图像与在世界坐标系下的物体网格模型之间的第一转换矩阵的集合。
8.在其中的一些实施例中，所述根据所述第一匹配关系、所述第一纹理图像数据集、所述物体网格模型以及所述第一纹理映射关系信息，确定与所述第二纹理图像数据对应的第二纹理映射关系信息，包括：根据第一特征集、所述第一转换矩阵集、所述物体网格模型以及所述第一相机参数集，确定与所述第一特征集中特征点对应的三维坐标集；所述三维坐标集在所述世界坐标系下；所述第一特征集为对所述第一纹理图像数据集中的每个第一纹理图像进行特征检测得到；以具有所述第一匹配关系的两幅纹理图像为一组，确定所述第二纹理图像与所述三维坐标集所在坐标系之间的第二转换矩阵，及与所述第二纹理图像对应的第二相机参数；遍历所有具有所述第一匹配关系的两幅纹理图像，集合对应的所述第二转换矩阵，得到第二转换矩阵集；集合对应的所述第二相机参数，得到第二相机参数集。
9.在其中的一些实施例中，所述根据第一特征集、所述第一转换矩阵集、所述物体网格模型以及所述第一相机参数集，确定与所述第一特征集中特征点对应的三维坐标集，包括：根据所述第一转换矩阵集和所述第一相机参数集，在各相机坐标系下构建所述三维扫描仪的相机光心至所述第一特征集中的每个特征点的射线；将所述物体网格模型转换到所述射线对应的相机坐标系下；以所述射线与所述物体网格模型的交点为筛选条件，确定与所述第一特征集中特征点对应的三维坐标集；基于所述第一转换矩阵集将所述三维坐标集转换到世界坐标系下。
10.在其中的一些实施例中，所述根据所述第一匹配关系、所述第一纹理图像数据集、所述物体网格模型以及所述第一纹理映射关系信息，确定与所述第二纹理图像数据对应的第二纹理映射关系信息，包括：根据第一特征集、所述第一转换矩阵集以及所述第一相机参数集，确定与所述第一特征集中特征点对应的三维坐标集；所述第一特征集为对所述第一纹理图像数据集中的每个第一纹理图像进行特征检测得到；以具有所述第一匹配关系的两幅纹理图像为一组，确定所述第二纹理图像与所述三维坐标集所在坐标系之间的第三转换矩阵，及与所述第二纹理图像对应的第二相机参数；遍历所有具有所述第一匹配关系的两幅纹理图像，集合对应的所述第三转换矩阵，得到第三转换矩阵集；集合对应的所述第二相机参数，得到第二相机参数集；基于三维坐标集与物体网格模型所在坐标系之间的第四转换矩阵，对所述第三转换矩阵集中的第三转换矩阵进行处理，得到第二转换矩阵集。
11.在其中的一些实施例中，所述根据第一特征集、所述第一转换矩阵集以及所述第一相机参数集，确定与所述第一特征集中特征点对应的三维坐标集，包括：根据所述第一转换矩阵集和所述第一相机参数集，在各相机坐标系下对所述第一特征集中的每个特征点进行三维重建，确定与所述第一特征集中特征点对应的三维坐标集。
12.在其中的一些实施例中，所述第二纹理图像的分辨率比所述第一纹理图像的分辨率高。
13.在其中的一些实施例中，所述将所述第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定所述第一纹理图像与所述第二纹理图像之间的第一匹配关系，包括：对所述第一纹理图像数据集中的每个第一纹理图像进行特征检测，得到第一特征集；对所述第二纹理图像数据集中的每个第二纹理图像进行特征检测，得到第二特征集；对所述第一特征集和所述第二特征集进行特征匹配，确定所述第一纹理图像与所述第二纹理图像之间的第一匹配关系。
14.在其中的一些实施例中，所述方法还包括：在将所述第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理之前，对所述第一纹理图像数据集和所述第二纹理图像数据集中的纹理图像进行相似度检测；筛选相似度大于相似度阈值的所述纹理图像作为处理的对象。
15.在其中的一些实施例中，所述方法还包括：利用纹理贴图算法，根据所述第二纹理图像数据集和所述第二纹理映射关系信息对所述物体网格模型进行纹理映射。
16.第二个方面，在本实施例中提供了一种基于纹理映射的纹理图像前置置换方法，包括：基于三维扫描仪扫描目标物体，获取物体网格模型、所述物体网格模型的模型皮肤展开图以及所述物体网格模型与所述模型皮肤展开图对应的第三纹理映射关系信息；将所述模型皮肤展开图和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定所述模型皮肤展开图与所述第二纹理图像之间的第二匹配关系；根据所述第二匹配关系、所述模型皮肤展开图、所述物体网格模型以及所述第三纹理映射关系信息，确定所述物体网格模型与所述第二纹理图像数据对应的第二纹理映射关系信息。
17.第三个方面，在本实施例中提供了一种基于纹理映射的纹理图像前置置换装置，包括：第一扫描模块、第一处理模块以及第一置换模块；所述第一扫描模块，用于基于三维扫描仪扫描目标物体，获取第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息；所述第一纹理映射关系信息为基于第一纹理图像数据集对物体网格模型进行纹理映射的关系信息；所述第一处理模块，用于将所述第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定所述第一纹理图像与所述第二纹理图像之间的第二匹配关系；所述第一置换模块，用于根据所述第二匹配关系、所述第一纹理图像数据集、所述物体网格模型以及所述第一纹理映射关系信息，确定所述物体网格模型与所述第二纹理图像数据对应的第二纹理映射关系信息。
18.第四个方面，在本实施例中提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面，或第二个方面所述的基于纹理映射的纹理图像前置置换方法。
19.第五个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面，或第二个方面所述的基于纹理映射的纹理图像前置置换方法。
20.与相关技术相比，在本实施例中提供的基于纹理映射的纹理图像前置置换方法、装置和存储介质，通过基于三维扫描仪扫描目标物体，获取第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息；第一纹理映射关系信息为基于第一纹理图像数据集对物体网格模型进行纹理映射的关系信息；将第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定第一纹理图像与第二纹理图像之间的第一匹配关系；根据第一匹配关系、第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息，确定物体网格模型与第二纹理图像数据对应的第二纹理映射关系信息，以将纹理映射中的第一纹理图像数据集置换为第二纹理图像数据集，完成纹理图像前置置换，解决了存在后置处理运算复杂，对三维扫描仪的配置需求高，且处理效率低的问题，实现了自动完成纹理映射中纹理图像的前置置换，提高处理效率。
21.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
22.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是本技术一实施例提供的基于纹理映射的纹理图像前置置换方法的终端设备的硬件结构框图；图2是本技术一实施例提供的基于纹理映射的纹理图像前置置换方法的流程图；图3是本技术一优选实施例提供的基于纹理映射的纹理图像前置置换方法的流程图；图4是本技术另一实施例提供的基于纹理映射的纹理图像前置置换方法的流程图；图5是本技术一实施例提供的基于纹理映射的纹理图像前置置换装置的结构框图；图6是本技术另一实施例提供的基于纹理映射的纹理图像前置置换装置的结构框图。
23.图中：102、处理器；104、存储器；106、传输设备；108、输入输出设备；210、第一扫描模块；220、第一处理模块；230、第一置换模块；410、第二扫描模块；420、第二处理模块；430、第二置换模块。
具体实施方式
24.为更清楚地理解本技术的目的、技术方案和优点，下面结合附图和实施例，对本申
请进行了描述和说明。
25.除另作定义外，本技术所涉及的技术术语或者科学术语应具有本技术所属技术领域具备一般技能的人所理解的一般含义。在本技术中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本技术中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本技术中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本技术中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本技术中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
26.在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的基于纹理映射的纹理图像前置置换方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
27.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于纹理映射的纹理图像前置置换方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网格连接至终端。上述网格的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
28.传输设备106用于经由一个网格接收或者发送数据。上述的网格包括终端的通信供应商提供的无线网格。在一个实例中，传输设备106包括一个网格适配器（network interface controller，简称为nic），其可通过基站与其他网格设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
29.在本实施例中提供了一种基于纹理映射的纹理图像前置置换方法，图2是本实施例的基于纹理映射的纹理图像前置置换方法的流程图，如图2所示，该流程包括如下步骤：步骤s210，基于三维扫描仪扫描目标物体，获取第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息；第一纹理映射关系信息为基于第一纹理图像数据集对物体网格模型进行纹理映射的关系信息；步骤s220，将第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据
集中的第二纹理图像进行处理，确定第一纹理图像与第二纹理图像之间的第一匹配关系；步骤s230，根据第一匹配关系、第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息，确定物体网格模型与第二纹理图像数据对应的第二纹理映射关系信息。
30.具体的，三维扫描仪包括但不限于手持式三维扫描仪、跟踪式三维扫描仪等。其内置有相机，能够在三维扫描仪扫描目标物体时，实时获取到目标物体的第一纹理图像数据集。在扫描过程中，相机在每个对应的第一相机参数下拍摄一张或多种第一纹理图像；集合所有第一纹理图像即为第一纹理图像数据集。
31.物体网格模型是建模扫描的数据得到的，物体网格模型在世界坐标系下其上每个点的坐标也能够得到。第一纹理映射关系信息是扫描后生成的；可以认为根据第一纹理映射关系信息能将第一纹理图像数据集对物体网格模型进行纹理映射，完成贴图。受限于不同第一相机参数下因补光不同会造成的第一纹理图像存在反光区域和色彩差异，因此在本技术中在贴图的前置数据处理中会对第一纹理图像进行置换。
32.第二纹理图像数据集是基于目标物体预先处理得到。比如：采用高分辨率的彩色相机，对目标物体从不同角度进行全方面的拍摄，得到高分辨率且无缺陷的高质量第二纹理图像数据集。可以认为第二纹理图像的分辨率比第一纹理图像的分辨率高。当然也可以采用其他方式获取到第二纹理图像数据集，第二纹理图像数据集中的第二纹理图像的分辨率比第一纹理图像数据集中的第一纹理图像的分辨率相近，但是不存在反光点等缺陷。
33.由于第一纹理图像数据集和第二纹理图像数据集中的纹理图像都是目标物体的纹理图像；因此可以对这两个数据集的纹理图像进行处理，如果第一纹理图像x与第二纹理图像y中相同的特征点越多，那么认为第一纹理图像x与第二纹理图像y之间具有优选的匹配关系；集合所有具有优选的匹配关系的两个纹理图像，即可确定第一纹理图像与第二纹理图像之间的第一匹配关系。在其他实施例中，可以根据两个纹理图像之间的相似度来确定第一匹配关系。
34.根据上述确定的第一匹配关系、第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息；可以计算出物体网格模型与第二纹理图像数据对应的第二纹理映射关系信息；从而完成纹理图像前置置换；在后置处理中，可以直接使第二纹理图像数据根据第二纹理映射关系信息对物体网格模型进行纹理映射，提高整体处理效率。
35.在现有技术中，需要去除后置处理中对获取的多幅图像纹理进行融合和拼接优化，来消除纹理色差和反光区域，实现平滑的无缝隙纹理映射；导致后置处理运算复杂，对三维扫描仪的配置需求高，且处理效率低的问题。而本技术通过上述步骤，以第一纹理图像数据集和第一纹理映射关系信息为基础，结合匹配关系，从而快速计算出与第二纹理图像数据对应的第二纹理映射关系信息；以将纹理映射中的第一纹理图像数据集置换为第二纹理图像数据集，完成纹理图像前置置换，实现了自动完成纹理映射中纹理图像的前置置换，简化计算流程，提高处理效率。
36.在其中的一些实施例中，第一纹理映射关系信息包括第一相机参数集和第一转换矩阵集；第一相机参数集为第一相机参数的集合；第一相机参数与第一纹理图像数据集中的第一纹理图像一一对应；第一转换矩阵集为在相机坐标系下的第一纹理图像与在世界坐标系下的物体网格模型之间的第一转换矩阵的集合。
37.具体的，能够利用纹理映射算法，根据第一纹理映射关系信息和第一纹理图像数
据集对物体网格模型进行纹理映射，第一纹理映射关系信息包括第一相机参数集和第一转换矩阵集。每个第一相机参数表征在对应第一相机参数（相机内参和畸变）下相机拍摄的第一纹理图像。因此每个第一纹理图像都对应有一个第一相机参数。如果在同一个第一相机参数下获取多张第一纹理图像，则可以选取其中一张作为第一纹理图像。其中，第一相机参数的相机内参是与第一相机自身特性相关的参数，比如第一相机的焦距、像素大小等。第一相机参数的畸变是第一相机镜头的畸变，包括径向畸变和切向畸变。第一相机为三维扫描仪中实际存在的真实的相机。
38.第一转换矩阵是在相机坐标系下的第一纹理图像与在世界坐标系下的物体网格模型之间转换矩阵；集合所有的第一转换矩阵得到第一转换矩阵集；通过第一转换矩阵即可关联第一转换矩阵与物体网格模型。其中，第一转换矩阵包括旋转矩阵和平移矩阵。旋转矩阵为第一相机的相机坐标系的坐标轴相对于世界坐标系的坐标轴的方向。平移矩阵为在第一相机的相机坐标系下，空间原点的位置。
39.在其中的一些实施例中，步骤s220中的将第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定第一纹理图像与第二纹理图像之间的第一匹配关系，包括如下步骤：对第一纹理图像数据集中的每个第一纹理图像进行特征检测，得到第一特征集；对第二纹理图像数据集中的每个第二纹理图像进行特征检测，得到第二特征集；对第一特征集和第二特征集进行特征匹配，确定第一纹理图像与第二纹理图像之间的第一匹配关系。
40.具体的，先利用特征检测算法，对第一纹理图像数据集和第二纹理图像数据集中纹理图像分别进行特征检测，每类纹理图像在特征检测后，均会检测出特征点和对应的特征信息；特征信息能够描述特征点的位置、像素、向量等相关信息。可以认为第一特征集包括特征点和特征信息；第二特征集包括特征点和特征信息。
41.再利用特征匹配算法，对第一特征集和第二特征集进行特征匹配，确定第一纹理图像与第二纹理图像之间的第一匹配关系。具体可以为：将第一特征集中的特征信息和第二特征集中的特征信息进行匹配，筛选出第一特征集与第二特征点中相同的特征点；若第一纹理图像a与第二纹理图像b中相同的特征点数量最多，那么认为这两幅纹理图像最匹配，从而关联这两幅纹理图像，以构建两幅纹理图像之间的第一匹配关系。在本实施例中，能够快速准确的关联各个具有第一匹配关系的第一纹理图像与第二纹理图像，剔除其他纹理图像的干扰，简化处理步骤。
42.其中，特征检测算法包括但不限于harris角点检测算法、sift斑点检测算法、orb特征检测算法等，对此并不进行限制。特征匹配算法包括但不限于基于flann的匹配算法、暴力匹配算法等，对此并不进行限制。
43.在其中的一些实施例中，为了进一步提高匹配关系的计算效率。在将第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理之前，先对第一纹理图像数据集和第二纹理图像数据集中的纹理图像进行相似度检测；筛选相似度大于相似度阈值的纹理图像作为处理的对象。
44.具体的，采用相似度检测算法，对第一纹理图像数据集和第二纹理图像数据集中的纹理图像进行相似度检测；检测出每一种第一纹理图像与所有第二纹理图像之间的相似
度。将其中相似度小于相似度阈值的纹理图像剔除；筛选出相似度大于相似度阈值的纹理图像作为处理的对象；能够大量减少纹理图像的数量，进而大幅度提高特征检测算法和特征匹配算法的处理效率。
45.对于确定与第二纹理图像数据对应的第二纹理映射关系信息可以由多种实现方式：第一种为转换到统一到世界坐标系下进行处理。第二种为先处理，再转换到统一到世界坐标系下。
46.对于第一种实现方式：在其中的一些实施例中，步骤s230中的根据第一匹配关系、第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息，确定与第二纹理图像数据对应的第二纹理映射关系信息，包括如下步骤：步骤s2311，根据第一特征集、第一转换矩阵集、物体网格模型以及第一相机参数集，确定与第一特征集中特征点对应的三维坐标集；三维坐标集在世界坐标系下；第一特征集为对第一纹理图像数据集中的每个第一纹理图像进行特征检测得到；步骤s2312，以具有第一匹配关系的两幅纹理图像为一组，确定第二纹理图像与三维坐标集所在坐标系之间的第二转换矩阵，及与第二纹理图像对应的第二相机参数；步骤s2313，遍历所有具有第一匹配关系的两幅纹理图像，集合对应的第二转换矩阵，得到第二转换矩阵集；集合对应的第二相机参数，得到第二相机参数集。
47.具体的，根据第一特征集、第一转换矩阵集、物体网格模型以及第一相机参数集，在世界坐标系下确定与第一特征集中特征点对应的三维坐标，集合所有的三维坐标得到三维坐标集。每张第一纹理图像上的二维特征点就建立了与三维空间中物体网格模型之间的关系；知道第一特征集中特征点在物体网格模型中对应的位置。
48.再根据第一匹配关系，筛选出最匹配的两幅纹理图像，此时已知第一纹理图像上特征点与三维坐标集中的对应关系；可以求得第二纹理图像中相应特征点与三维坐标集中的对应关系；即得到第二纹理图像与三维坐标集所在坐标系之间的第二转换矩阵和对应的第二相机参数。最后遍历所有具有第一匹配关系的两幅纹理图像，求出所有的第二转换矩阵和对应的第二相机参数，进而得到第二转换矩阵集和第二相机参数集。在本实施例中，以具有第一匹配关系的两幅纹理图像为一组的计算方式能够降低计算冗余，且计算精度高。
49.在其中的一些实施例中，步骤s2311中的根据第一特征集、第一转换矩阵集、物体网格模型以及第一相机参数集，确定与第一特征集中特征点对应的三维坐标集，包括如下步骤：根据第一转换矩阵集和第一相机参数集，在各相机坐标系下构建三维扫描仪的相机光心至第一特征集中的每个特征点的射线；将物体网格模型转换到射线对应的相机坐标系下；以射线与物体网格模型的交点为筛选条件，确定与第一特征集中特征点对应的三维坐标集；基于第一转换矩阵集将三维坐标集转换到世界坐标系下。
50.具体的，每一幅第一纹理图像都对应有一个相机坐标系，将物体网格模型和射线统一相同的相机坐标系下进行处理。比如：对于某一幅第一纹理图像中的特征点pa，该第一纹理图像所在的相机光心为oa来说：相机光心oa至该特征点pa的射线在相机坐标系l，基于
第一转换矩阵集将处于世界坐标系的物体网络模型转换到相机坐标系l下，该射线与物体网格模型相交于空间中的三维点p1,p2,p3...；计算p1,p2,p3...在相机坐标系下的z方向的值，最值最小的三维点作为特征点pa所对应的三维点，得到对应的三维坐标。进而基于第一转换矩阵集中对应的第一转换矩阵将三维坐标转换到世界坐标系下。基于上述步骤计算所有特征点对应的三维坐标即得到在世界坐标系下的三维坐标集。在本实施例中，以射线与物体网格模型的交点为筛选条件，来确定三维坐标集，能够提高三维坐标集的准确率。
51.在其他实施例中，步骤s2311中的根据第一特征集、第一转换矩阵集、物体网格模型以及第一相机参数集，确定与第一特征集中特征点对应的三维坐标集，包括如下步骤：根据第一转换矩阵集和第一相机参数集，在各相机坐标系下构建三维扫描仪的相机光心至第一特征集中的每个特征点的射线；将射线转换到世界坐标系下；以射线与物体网格模型的交点为筛选条件，确定与第一特征集中特征点对应的三维坐标集。
52.具体的，每一幅第一纹理图像都对应有一个相机坐标系，物体网格模型在世界坐标系下，将构建的各相机坐标系下射线转换到世界坐标系，以世界坐标系为统一的坐标系，以射线与物体网格模型的交点为筛选条件，确定与第一特征集中特征点对应的三维坐标集。
53.当然，也可以采用三维重建来确定与第一特征集中特征点对应的三维坐标集，在此不展开阐述。
54.对于第二种实现方式：在其中的一些实施例中，步骤s230中的根据第一匹配关系、第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息，确定与第二纹理图像数据对应的第二纹理映射关系信息，包括如下步骤：步骤s2321，根据第一特征集、第一转换矩阵集以及第一相机参数集，确定与第一特征集中特征点对应的三维坐标集；第一特征集为对第一纹理图像数据集中的每个第一纹理图像进行特征检测得到；步骤s2322，以具有第一匹配关系的两幅纹理图像为一组，确定第二纹理图像与三维坐标集所在坐标系之间的第三转换矩阵，及与第二纹理图像对应的第二相机参数；步骤s2323，遍历所有具有第一匹配关系的两幅纹理图像，集合对应的第三转换矩阵，得到第三转换矩阵集；集合对应的第二相机参数，得到第二相机参数集；步骤s2324，基于三维坐标集与物体网格模型所在坐标系之间的第四转换矩阵，对第三转换矩阵集中的第三转换矩阵进行处理，得到第二转换矩阵集。
55.具体的，根据第一特征集、第一转换矩阵集以及第一相机参数集在相机坐标系下进行三维重建，确定与第一特征集中特征点对应的三维坐标，集合所有的三维坐标得到三维坐标集。再根据第一匹配关系，筛选出最匹配的两幅纹理图像，此时已知第一纹理图像上特征点与三维坐标集中的对应关系；可以求得第二纹理图像中相应特征点与三维坐标集中的对应关系；即得到第二纹理图像与三维坐标集所在坐标系之间的第三转换矩阵和对应的第二相机参数。遍历所有具有第一匹配关系的两幅纹理图像，求出所有的第三转换矩阵和对应的第二相机参数，进而得到第三转换矩阵集和第二相机参数集。由于三维坐标集与物
体网格模型的转换矩阵为单位矩阵，既三维坐标集与物体网格模型所在坐标系之间的第四转换矩阵为单位矩阵；从而可以基于单位矩阵，对第三转换矩阵集中的第三转换矩阵进行处理，得到第二转换矩阵集。在本实施例中，先处理，再转换到统一到世界坐标系下，也能够准确的得到第二转换矩阵集和第二相机参数集。
56.通过上述步骤，第二纹理映射关系信息可以表示为：。其中， 为第二相机参数集；为第二转换矩阵集中的旋转矩阵集；为第二转换矩阵集中的平移矩阵。可以认为：每个第二纹理图像都对应有一个第二相机参数。其中，第二相机参数的相机内参是与第二相机自身特性相关的参数，比如第二相机的焦距、像素大小等。第二相机参数的畸变是第二相机镜头的畸变，包括径向畸变和切向畸变。第二相机可以认为是抽象出来的虚拟的相机，不是真实存在的相机。第二转换矩阵是在相机坐标系下的第二纹理图像与在世界坐标系下的物体网格模型之间转换矩阵；集合所有的第二转换矩阵得到第二转换矩阵集；通过第二转换矩阵即可关联第二转换矩阵与物体网格模型。其中，第二转换矩阵包括旋转矩阵和平移矩阵。旋转矩阵为第一相机的相机坐标系的坐标轴相对于世界坐标系的坐标轴的方向。平移矩阵为在第二相机的相机坐标系下，空间原点的位置。
57.在其中的一些实施例中，步骤s2321中的根据第一特征集、第一转换矩阵集以及第一相机参数集，确定与第一特征集中特征点对应的三维坐标集，包括如下步骤：根据第一转换矩阵集和第一相机参数集，在各相机坐标系下对第一特征集中的每个特征点进行三维重建，确定与第一特征集中特征点对应的三维坐标集。
58.具体的，根据第一转换矩阵集和第一相机参数集，将第一特征集中的每个特征点转换到各自相机坐标系下，对每个特征点进行三维重建得到对应的三维点，进而确定该三维点的三维坐标。基于上述步骤计算所有特征点对应的三维坐标即得到相机坐标系下的三维坐标集。在本实施例中，利用三维重建来确定三维坐标集，能够提高三维坐标集的计算效率。当然，也可以利用构建相机光心至第一特征集中的每个特征点的射线来确定与第一特征集中特征点对应的三维坐标集，在此不展开阐述。
59.在其中的一些实施例中，如图3所示，基于纹理映射的纹理图像前置置换方法，还包括：步骤s240，利用纹理贴图算法，根据第二纹理图像数据集和第二纹理映射关系信息对物体网格模型进行纹理映射。
60.在本实施例中，可以利用纹理贴图算法，直接根据第二纹理图像数据集和第二纹理映射关系信息对物体网格模型进行纹理映射，不再需要第一纹理图像数据的进入，快速完成贴图，保障贴图的效率和准确率。
61.下面对纹理贴图算法的过程进行说明：对物体网格模型进行分块，并选取物体网格模型上的某一块区域u，从第二纹理图像数据集中筛选出与该区域u对应的第二纹理图像；比如：对第一纹理图像数据集中的第一纹理图像进行图像排序，确定图像序列为；从第一纹理图像数据集中寻找一幅与该区域u最匹配的第一纹理图像，其帧号；通过第一匹配关系再确定与该第一纹理图像对应的第二纹理图像，那么第二纹理图像即为与该区域u对应的第二纹理图像。
62.根据对应的第二纹理映射关系信息，将第二纹理图像中的纹理映射到区域u中，重复执行上述步骤，完成物体网格模型中所有的分块的纹理映射。
63.在本实施例中还提供了一种基于纹理映射的纹理图像前置置换方法，如图4所示，包括如下步骤：步骤s410，基于三维扫描仪扫描目标物体，获取物体网格模型、物体网格模型的模型皮肤展开图以及物体网格模型与模型皮肤展开图对应的第三纹理映射关系信息；步骤s420，将模型皮肤展开图和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定模型皮肤展开图与第二纹理图像之间的第二匹配关系；步骤s430，根据第二匹配关系、模型皮肤展开图、物体网格模型以及第三纹理映射关系信息，确定物体网格模型与第二纹理图像数据对应的第二纹理映射关系信息。
64.需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
65.需要强调的是，物体网格模型的模型皮肤展开图指的是第一纹理图像数据集对物体网格模型贴图后得到的；即基于第一纹理图像数据集对物体网格模型进行纹理映射得到物体网格模型上模型皮肤的展开图。而且在扫描后，三维扫描仪会自动生成第三纹理映射关系信息，不需要额外的算法来处理。模型皮肤展开图上的每个特征点都是有效的特征点，能够有效降低确定第二匹配关系的计算量。
66.通过上述方法，解决了存在后置处理运算复杂，对三维扫描仪的配置需求高，且处理效率低的问题，实现了自动完成纹理映射中纹理图像的前置置换，提高处理效率。
67.在其中的一些实施例中，基于纹理映射的纹理图像前置置换方法，还包括：利用纹理贴图算法，根据第二纹理图像数据集和第二纹理映射关系信息对物体网格模型进行纹理映射。
68.在本实施例中，采用类似上述的纹理贴图算法，在此不展开阐述。
69.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
70.在本实施例中还提供了一种基于纹理映射的纹理图像前置置换装置，该装置用于实现上述实施例及实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
71.图5是本实施例的基于纹理映射的纹理图像前置置换装置的结构框图，如图5所示，该装置包括：第一扫描模块210、第一处理模块220以及第一置换模块230；第一扫描模块210，用于基于三维扫描仪扫描目标物体，获取第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息；第一纹理映射关系信息为基于第一纹理图像数据集对物体网格模型进行纹理映射的关系信息；第一处理模块220，用于将第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定第一纹理图像与第二纹理图像之间的第二匹配关系；
第一置换模块230，用于根据第二匹配关系、第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息，确定物体网格模型与第二纹理图像数据对应的第二纹理映射关系信息。
72.通过上述装置，解决了存在后置处理运算复杂，对三维扫描仪的配置需求高，且处理效率低的问题，实现了自动完成纹理映射中纹理图像的前置置换，提高处理效率。
73.在其中的一些实施例中，第一纹理映射关系信息包括第一相机参数集和第一转换矩阵集；第一相机参数集为第一相机参数的集合；第一相机参数与第一纹理图像数据集中的第一纹理图像一一对应；第一转换矩阵集为在相机坐标系下的第一纹理图像与在世界坐标系下的物体网格模型之间的第一转换矩阵的集合。
74.在其中的一些实施例中，第一置换模块230，还用于根据第一特征集、第一转换矩阵集、物体网格模型以及第一相机参数集，确定与第一特征集中特征点对应的三维坐标集；三维坐标集在世界坐标系下；第一特征集为对第一纹理图像数据集中的每个第一纹理图像进行特征检测得到；以具有第一匹配关系的两幅纹理图像为一组，确定第二纹理图像与三维坐标集所在坐标系之间的第二转换矩阵，及与第二纹理图像对应的第二相机参数；遍历所有具有第一匹配关系的两幅纹理图像，集合对应的第二转换矩阵，得到第二转换矩阵集；集合对应的第二相机参数，得到第二相机参数集。
75.在其中的一些实施例中，第一置换模块230，还用于根据第一转换矩阵集和第一相机参数集，对第一特征集中的每个特征点进行三维重建，并在相机坐标系下构建三维扫描仪的相机光心至特征点的射线；以射线与物体网格模型的交点为筛选条件，从三维重建结果中确定与第一特征集中特征点对应的三维坐标集；基于第一转换矩阵集将三维坐标集转换到世界坐标系下。
76.在其中的一些实施例中，第一置换模块230，还用于根据第一特征集、第一转换矩阵集以及第一相机参数集，确定与第一特征集中特征点对应的三维坐标集；第一特征集为对第一纹理图像数据集中的每个第一纹理图像进行特征检测得到；以具有第一匹配关系的两幅纹理图像为一组，确定第二纹理图像与三维坐标集所在坐标系之间的第三转换矩阵，及与第二纹理图像对应的第二相机参数；遍历所有具有第一匹配关系的两幅纹理图像，集合对应的第三转换矩阵，得到第三转换矩阵集；集合对应的第二相机参数，得到第二相机参数集；基于三维坐标集与物体网格模型所在坐标系之间的第四转换矩阵，对第三转换矩阵集中的第三转换矩阵进行处理，得到第二转换矩阵集。
77.在其中的一些实施例中，第一置换模块230，还用于根据第一转换矩阵集和第一相机参数集，对第一特征集中的每个特征点进行三维重建，并在相机坐标系下构建三维扫描仪的相机光心至特征点的射线；以射线与物体网格模型的交点为筛选条件，从三维重建结果中确定与第一特征集中特征点对应的三维坐标集。
78.在其中的一些实施例中，第二纹理图像的分辨率比第一纹理图像的分辨率高。
79.在其中的一些实施例中，第一处理模块220，还用于对第一纹理图像数据集中的每个第一纹理图像进行特征检测，得到第一特征集；对第二纹理图像数据集中的每个第二纹理图像进行特征检测，得到第二特征集；对第一特征集和第二特征集进行特征匹配，确定第一纹理图像与第二纹理图像之间的第一匹配关系。
80.在其中的一些实施例中，第一处理模块220，还用于在将第一纹理图像数据集中的
第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理之前，对第一纹理图像数据集和第二纹理图像数据集中的纹理图像进行相似度检测；筛选相似度大于相似度阈值的纹理图像作为处理的对象。
81.在其中的一些实施例中，基于纹理映射的纹理图像前置置换装置，还包括第一贴图模块；第一贴图模块，用于利用纹理贴图算法，根据第二纹理图像数据集和第二纹理映射关系信息对物体网格模型进行纹理映射。
82.在本实施例中还提供了一种基于纹理映射的纹理图像前置置换装置，如图6所示，包括：第二扫描模块410、第二处理模块420以及第二置换模块430；第二扫描模块410，用于基于三维扫描仪扫描目标物体，获取物体网格模型、物体网格模型的模型皮肤展开图以及物体网格模型与模型皮肤展开图对应的第三纹理映射关系信息；第二处理模块420，用于将模型皮肤展开图和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定模型皮肤展开图与第二纹理图像之间的第二匹配关系；第二置换模块430，用于根据第二匹配关系、模型皮肤展开图、物体网格模型以及第三纹理映射关系信息，确定物体网格模型与第二纹理图像数据对应的第二纹理映射关系信息。
83.通过上述装置，解决了存在后置处理运算复杂，对三维扫描仪的配置需求高，且处理效率低的问题，实现了自动完成纹理映射中纹理图像的前置置换，提高处理效率。
84.在其中的一些实施例中，基于纹理映射的纹理图像前置置换装置，还包括第二贴图模块；第二贴图模块，用于利用纹理贴图算法，根据第二纹理图像数据集和第二纹理映射关系信息对物体网格模型进行纹理映射。
85.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
86.在本实施例中还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
87.可选地，上述计算机设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
88.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：s1，基于三维扫描仪扫描目标物体，获取第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息；第一纹理映射关系信息为基于第一纹理图像数据集对物体网格模型进行纹理映射的关系信息；s2，将第一纹理图像数据集中的第一纹理图像和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定第一纹理图像与第二纹理图像之间的第一匹配关系；s3，根据第一匹配关系、第一纹理图像数据集、物体网格模型以及第一纹理映射关系信息，确定物体网格模型与第二纹理图像数据对应的第二纹理映射关系信息。
89.或，s4，基于三维扫描仪扫描目标物体，获取物体网格模型、物体网格模型的模型
皮肤展开图以及物体网格模型与模型皮肤展开图对应的第三纹理映射关系信息；s5，将模型皮肤展开图和预设的第二纹理图像数据集中的第二纹理图像进行处理，确定模型皮肤展开图与第二纹理图像之间的第二匹配关系；s6，根据第二匹配关系、模型皮肤展开图、物体网格模型以及第三纹理映射关系信息，确定物体网格模型与第二纹理图像数据对应的第二纹理映射关系信息。
90.需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
91.此外，结合上述实施例中提供的基于纹理映射的纹理图像前置置换方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于纹理映射的纹理图像前置置换方法。
92.应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本技术提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本技术保护范围。
93.显然，附图只是本技术的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本技术适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本技术公开的内容不足。
[0094]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本技术中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
[0095]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。