一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于二维关键点的三维模型建立方法、计算机及存储介质与流程

2022-11-23 16:10:12 来源:中国专利 TAG:


1.本发明实施例涉及但不限于人工智能数字医疗技术领域,尤其涉及一种基于二维关键点的三维模型建立方法、计算机及存储介质。


背景技术:

2.二维人脸关键点检测是目前计算机视觉和图像处理的一大热门方向,广泛应用于金融身份认证、门禁、智能视频监控、活体识别、美图娱乐等诸多领域,极大程度上代替了人工资源,有效提高了生产力。而作为二维人脸关键点检测算法的“原料”:二维人脸关键点的标注数据的质与量,一直困扰着工业界与学术界。当点的个数较多时,很难保证标注的准确性与标注速度。同时,当人脸出现遮挡,大姿态时,不同的标注人员标注关键点的标准也不统一,最终导致数据标签的歧义性。针对数据难以标注的情况,目前业界普遍的处理方式为,在二维空间进行数据增广来获取更多数据,如对图像进行缩放、旋转、平移、遮挡、图像增强,同时对关键点做相应的变换。然而人脸在真实世界中是三维的,因此仅二维空间中的数据增广不足以模拟覆盖实际应用场景。


技术实现要素:

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.本发明实施例的主要目的在于提出一种基于二维关键点的三维模型建立方法、计算机及存储介质,能够提高绑定三维人脸模型中对应的点位的准确性,使得建立的三维人脸模型更加贴近真实使用场景。
5.第一方面,本发明实施例提供了一种基于二维关键点的三维模型建立方法,包括:
6.获取目标二维人脸图像;
7.通过目标二维人脸关键点识别模型对所述目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像,所述目标关键点的坐标信息与所述目标二维人脸图像中的目标关键点的坐标信息对应;
8.将所述目标二维人脸图像进行三维重建处理,得到三维纹理图像;
9.根据所述三维纹理图像的纹理贴图坐标数据对第一关键点图像中的关键点坐标进行坐标转换处理,得到基于所述纹理贴图坐标数据的第二关键点图像;
10.根据所述第二关键点图像和所述三维纹理图像建立得到目标三维人脸模型。
11.在一实施例中,所述通过二维人脸关键点识别模型对所述目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像之前,包括:
12.获取二维人脸图像的关键点公开数据集;
13.根据所述目标二维人脸图像的关键点公开数据集对所述二维人脸关键点识别模型进行训练,得到所述目标二维人脸关键点识别模型。
14.在一实施例中,所述获取目标二维人脸图像之前,所述方法包括:
15.获取二维图像,所述二维图像包括若干个人像信息;
16.通过人脸生成模块对所述二维图像进行人脸提取处理,得到目标二维人脸图像。
17.在一实施例中,所述通过人脸生成模块对所述二维图像进行人脸提取处理,得到目标二维人脸图像,包括:
18.通过人脸生成模块对所述二维图像进行人脸提取处理,得到二维人脸图像;
19.对所述二维人脸图像进行识别处理,得到正脸无遮挡的目标二维人脸图像。
20.在一实施例中,所述根据所述第二关键点图像和所述三维纹理图像建立得到目标三维人脸模型包括:
21.将所述第二关键点图像贴至所述第一三维人脸模型,得到第二三维人脸模型;
22.从所述第二三维人脸模型确定所述目标关键点;
23.根据所述第二三维人脸模型上的目标关键点将所述三维纹理图像贴至所述第二三维人脸模型,得到目标三维人脸模型。
24.在一实施例中,所述通过目标二维人脸关键点识别模型对所述目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像包括:
25.将所述目标二维人脸图像输入至目标二维人脸关键点识别模型,得到由所述目标二维人脸关键点识别模型输出的目标关键点;
26.在与所述目标二维人脸图像的坐标一致的全黑图像中将所述目标关键点进行涂白处理,得到第一关键点图像。
27.在一实施例中,所述根据所述第二关键点图像和所述三维纹理图像建立得到目标三维人脸模型包括:
28.将所述第二关键点图像贴至所述第一三维人脸模型,得到第二三维人脸模型;
29.将所述第二三维人脸模型中rgb值最大的点确定所述目标关键点;
30.根据所述第二三维人脸模型上的目标关键点将所述三维纹理图像贴至所述第二三维人脸模型,得到目标三维人脸模型
31.第二方面,本发明实施例提供了一种基于二维关键点的三维模型建立装置,包括:
32.获取模块,用于获取目标二维人脸图像;
33.预测模块,用于通过目标二维人脸关键点识别模型对所述目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像,所述目标关键点的坐标信息与所述目标二维人脸图像中的目标关键点的坐标信息对应;
34.重建模块,用于将所述目标二维人脸图像进行三维重建处理,得到三维纹理图像;
35.转换模块,用于根据所述三维纹理图像的纹理贴图坐标数据对第一关键点图像中的关键点坐标进行坐标转换处理,得到基于所述纹理贴图坐标数据的第二关键点图像;
36.建立模块,用于根据所述第二关键点图像和所述三维纹理图像建立得到目标三维人脸模型。
37.在一实施例中,还包括训练模块,训练模块用于获取二维人脸图像的关键点公开数据集;根据所述目标二维人脸图像的关键点公开数据集对所述二维人脸关键点识别模型进行训练,得到所述目标二维人脸关键点识别模型。
38.在一实施例中,还包括提取模块,提取模块用于获取二维图像,所述二维图像包括若干个人像信息;通过人脸生成模块对所述二维图像进行人脸提取处理,得到目标二维人
脸图像。
39.在一实施例中,提取模块还用于通过人脸生成模块对所述二维图像进行人脸提取处理,得到二维人脸图像;对所述二维人脸图像进行识别处理,得到正脸无遮挡的目标二维人脸图像。
40.在一实施例中,建立模块还用于将所述第二关键点图像贴至所述第一三维人脸模型,得到第二三维人脸模型;从所述第二三维人脸模型确定所述目标关键点;根据所述第二三维人脸模型上的目标关键点将所述三维纹理图像贴至所述第二三维人脸模型,得到目标三维人脸模型。
41.在一实施例中,预测模块还用于将所述目标二维人脸图像输入至目标二维人脸关键点识别模型,得到由所述目标二维人脸关键点识别模型输出的目标关键点;在与所述目标二维人脸图像的坐标一致的全黑图像中将所述目标关键点进行涂白处理,得到第一关键点图像。
42.在一实施例中建立模块还用于将所述第二关键点图像贴至所述第一三维人脸模型,得到第二三维人脸模型;将所述第二三维人脸模型中rgb值最大的点确定所述目标关键点;根据所述第二三维人脸模型上的目标关键点将所述三维纹理图像贴至所述第二三维人脸模型,得到目标三维人脸模型。
43.第三方面,本发明实施例提供了一种计算机,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于二维关键点的三维模型建立方法。
44.第四方面,一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行第一方面所述的基于二维关键点的三维模型建立方法。
45.本发明实施例包括:基于二维关键点的三维模型建立方法包括以下步骤:获取目标二维人脸图像;通过目标二维人脸关键点识别模型对所述目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像,所述目标关键点的坐标信息与所述目标二维人脸图像中的目标关键点的坐标信息对应;将所述目标二维人脸图像进行三维重建处理,得到三维纹理图像;根据所述三维纹理图像的纹理贴图坐标数据对第一关键点图像中的关键点坐标进行坐标转换处理,得到基于所述纹理贴图坐标数据的第二关键点图像;根据所述第二关键点图像和所述三维纹理图像建立得到目标三维人脸模型。本实施例的技术方案,通过二维关键点和三维纹理图像的映射关系进行绑定,能够提高绑定三维人脸模型中对应的点位的准确性,使得建立的三维人脸模型更加贴近真实使用场景。
46.本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
47.图1是本发明一个实施例提供的用于执行基于二维关键点的三维模型建立方法的系统架构平台的示意图;
48.图2是本发明一个实施例提供的基于二维关键点的三维模型建立方法的流程图;
49.图3是本发明一个实施例提供的基于二维关键点的三维模型建立方法中的目标二
维人脸图像的示意图;
50.图4是本发明一个实施例提供的基于二维关键点的三维模型建立方法中的第一关键点图像的示意图;
51.图5是本发明一个实施例提供的基于二维关键点的三维模型建立方法中的三维纹理图像的示意图;
52.图6是本发明一个实施例提供的基于二维关键点的三维模型建立方法中的第二关键点图像的示意图;
53.图7是本发明一个实施例提供的基于二维关键点的三维模型建立方法中的训练二维人脸关键点识别模型的流程图;
54.图8是本发明一个实施例提供的基于二维关键点的三维模型建立方法中的生成目标三维人脸模型的流程图;
55.图9是本发明一个实施例提供的基于二维关键点的三维模型建立装置的示意图。
具体实施方式
56.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
57.需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
58.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
59.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
60.二维人脸关键点检测是目前计算机视觉和图像处理的一大热门方向,广泛应用于金融身份认证、门禁、智能视频监控、活体识别、美图娱乐等诸多领域,极大程度上代替了人工资源,有效提高了生产力。而作为二维人脸关键点检测算法的“原料”:二维人脸关键点的标注数据的质与量,一直困扰着工业界与学术界。当点的个数较多时,很难保证标注的准确性与标注速度。同时,当人脸出现遮挡,大姿态时,不同的标注人员标注关键点的标准也不统一,最终导致数据标签的歧义性。针对数据难以标注的情况,目前业界普遍的处理方式为,在二维空间进行数据增广来获取更多数据,如对图像进行缩放、旋转、平移、遮挡、图像增强,同时对关键点做相应的变换。然而人脸在真实世界中是三维的,因此仅二维空间中的数据增广不足以模拟覆盖实际应用场景。
61.为解决以上存在的问题,本发明实施例提供了一种基于二维关键点的三维模型建
立方法、计算机及存储介质,其中该基于二维关键点的三维模型建立方法包括以下步骤:获取目标二维人脸图像;通过目标二维人脸关键点识别模型对目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像,目标关键点的坐标信息与目标二维人脸图像中的目标关键点的坐标信息对应;将目标二维人脸图像进行三维重建处理,得到三维纹理图像;根据三维纹理图像的纹理贴图坐标数据对第一关键点图像中的关键点坐标进行坐标转换处理,得到基于纹理贴图坐标数据的第二关键点图像;根据第二关键点图像和三维纹理图像建立得到目标三维人脸模型。本实施例的技术方案,通过二维关键点和三维纹理图像的映射关系进行绑定,能够提高绑定三维人脸模型中对应的点位的准确性,使得建立的三维人脸模型更加贴近真实使用场景。
62.下面结合附图,对本发明实施例作进一步阐述。
63.如图1所示,图1是本发明一个实施例提供的用于执行基于二维关键点的三维模型建立方法的系统架构平台100的示意图。
64.在图1的示例中,该系统架构平台100设置有处理器110和存储器120,其中,处理器110和存储器120可以通过总线或者其他方式连接,图1中以通过总线连接为例。
65.存储器120作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器120可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器120可选包括相对于处理器110远程设置的存储器,这些远程存储器可以通过网络连接至该系统架构平台。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
66.本领域技术人员可以理解的是,该系统架构平台可以应用于现有的通信网络系统以及后续演进的移动通信网络系统等,本实施例对此并不作具体限定。
67.本领域技术人员可以理解的是,图1中示出的系统架构平台并不构成对本发明实施例的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
68.系统架构平台100可以是独立的系统架构平台,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云系统架构平台100。
69.基于上述系统架构平台,下面提出本发明的基于二维关键点的三维模型建立方法的各个实施例。
70.如图2所示,图2是本发明一个实施例提供的基于二维关键点的三维模型建立方法的流程图,该基于二维关键点的三维模型建立方法应用于上述架构平台,并且该基于二维关键点的三维模型建立方法包括但不限于有步骤s100、步骤s200、步骤s300、步骤s400和步骤s500。
71.步骤s100,获取目标二维人脸图像。
72.具体地,参照图3,为了解决3d人脸重建效果不佳,尤其是在大姿态,遮挡,不清晰人脸情况,这将导致后续步骤中在三维中取到对应关键点,与真实图片上的关键点相差很大,导致无法使用,因此输入的目标二维人脸图像可以是正面无遮挡的人脸图像。
73.需要说明的是,目标二维人脸图像可以是经过预处理后的待处理图片,也可以是直接拍摄的人脸图像,本实施例对其不作具体限定。
74.在一实施例中,可以获取二维图像,二维图像包括若干个人像信息,然后通过人脸生成模块对二维图像进行人脸提取处理,得到目标二维人脸图像。
75.在一实施例中,可以获取包括若干个人像信息二维图像,然后通过人脸生成模块对二维图像进行人脸提取处理的到二维图像中的所有二维人脸图像,然后再对二维人脸图像进行识别处理,得到正脸无遮挡的目标二维人脸图像。
76.需要说明的是,人脸生成模块可以是高清人脸生成器,可以是stylegan人脸生成器,本实施例对其不作具体限定。
77.步骤s200,通过目标二维人脸关键点识别模型对目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像,目标关键点的坐标信息与目标二维人脸图像中的目标关键点的坐标信息对应。
78.具体地,在获取目标二维人脸图像之后,可以将目标二维人脸图像输入至目标二维人脸关键点识别模型进行预测处理,得到包括目标关键点的第一关键点图像,其中目标关键点的坐标信息与目标二维人脸图像中的目标关键点的坐标信息对应,即从目标二维人脸图像中确定目标关键点,然后获取目标关键点在目标二维人脸图像中的坐标信息,再目标关键点和其坐标信息生成第一关键点图像。
79.在一实施例中,参照图4,将目标二维人脸图像输入至目标二维人脸关键点识别模型,得到由目标二维人脸关键点识别模型输出的目标关键点(图3人脸左侧的眼睛),然后在与目标二维人脸图像的坐标一致的全黑图像中将目标关键点进行涂白处理,从而得到第一关键点图像,第一关键点图像中的目标关键点的坐标信息与目标二维人脸图像中目标关键点的坐标信息相同。
80.步骤s300,将目标二维人脸图像进行三维重建处理,得到三维纹理图像。
81.具体地,在生成目标关键点的同时,将目标二维人脸图像进行三维重建,得到目标二维人脸图像所对应的3dmm参数、3d点云和三维纹理图像,其中本实施例中需要使用到的三维纹理图像如图5所示,可以理解的是,三维纹理图像的坐标系与目标二维人脸图像的坐标系不同,因此后续步骤需要进行坐标转换处理。
82.步骤s400,根据三维纹理图像的纹理贴图坐标数据对第一关键点图像中的关键点坐标进行坐标转换处理,得到基于纹理贴图坐标数据的第二关键点图像。
83.具体地,在完成第一关键点图像和三维纹理图像之后,以三维纹理图像的纹理贴图坐标数据为基准,对第一关键点图像的坐标进行转换处理,以使得目标关键点的坐标信息能够从目标二维人脸图像的坐标系中准确地转换到三维纹理图像的坐标系中,并根据转换坐标信息后的目标关键点生成基于纹理贴图坐标数据的第二关键点图像,第二关键点图像如图6所示。
84.步骤s500,根据第二关键点图像和三维纹理图像建立得到目标三维人脸模型。
85.具体地,在得到第二关键点图像之后,可以利用第二关键点图像建立三维纹理图像对应的目标三维人脸模型,即通过二维关键点和三维纹理图像的映射关系进行绑定,能够提高绑定三维人脸模型中对应的点位的准确性,使得建立的三维人脸模型更加贴近真实使用场景。
86.在一实施例中,首先获取正脸无遮挡的目标二维人脸图像,然后通过目标二维人脸关键点识别模型对目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像,其中目标关键点的坐标信息与目标二维人脸图像中的目标关键点的坐标信息对应,同时将目标二维人脸图像进行三维重建处理得到三维纹理图像,接着根据三维纹理图像的纹理贴图坐标数据对第一关键点图像中的关键点坐标进行坐标转换处理得到基于纹理贴图坐标数据的第二关键点图像,最后根据第二关键点图像和三维纹理图像建立得到目标三维人脸模型。本实施例的技术方案,通过二维关键点和三维纹理图像的映射关系进行绑定,能够提高绑定三维人脸模型中对应的点位的准确性,使得建立的三维人脸模型更加贴近真实使用场景。
87.可以理解的是,由于建立的目标三维人脸模型已经准确地绑定三维人脸中对应的点位,因此在三维空间中对目标三维人脸模型的旋转、缩放、平移等变换,更贴近真实使用场景,还可以通过3dmm形状、表情参数来控制人脸五官、轮廓变换处理,能够增广的内容比二维空间更丰富,本实施例的建立的目标三维人脸模型,不限于使用在2d关键点在3d空间中的增广的场景,还应包含任意2d人脸相关识别、检测、生成任务,如人脸识别,人脸性别识别,角度识别,人脸遮挡检测,人脸生成,人脸遮挡恢复,人脸矫正等场景,本实施例对其不作具体限定。
88.参照图7,在一实施例中,步骤s200包括但不限于步骤s710和步骤s720。
89.步骤s710,获取二维人脸图像的关键点公开数据集;
90.步骤s720,根据目标二维人脸图像的关键点公开数据集对二维人脸关键点识别模型进行训练,得到目标二维人脸关键点识别模型。
91.在一实施例中,可以通过互联网收集二维人脸的关键点公开数据集,然后根据搭建并训练二维人脸关键点识别模型,得到目标二维人脸关键点识别模型,需要说明的是,二维人脸关键点识别模型应选择较大模型(如hrnet),确保该模型在正脸无遮挡人脸图片的准确率。
92.可以理解的,本实施例用于训练二维人脸关键点识别模型的数据除了公开数据集外,可以无需额外收集标注数据集,能够有效地节省人力物力。
93.需要说明的是,二维人脸关键点识别模型可以是hrnet,还可以是其他网络模型,本实施例对其不作唯一限定,可以根据实际情况设定。
94.参照图8,在一实施例中,步骤s500包括但不限于步骤s810、步骤s820和步骤s830。
95.步骤s810,将第二关键点图像贴至第一三维人脸模型,得到第二三维人脸模型;
96.步骤s820,从第二三维人脸模型确定目标关键点;
97.步骤s830,根据第二三维人脸模型上的目标关键点将三维纹理图像贴至第二三维人脸模型,得到目标三维人脸模型。
98.具体地,在生成三维纹理图像和与三维纹理图像的坐标系相同的第二关键点图像之后,首先将将第二关键点图像贴至第一三维人脸模型,得到第二三维人脸模型,然后从第二三维人脸模型确定目标关键点,以完成二维图像中的目标关键点与三维纹理图像的纹理映射关系绑定操作,最后根据第二三维人脸模型上的目标关键点将三维纹理图像贴至第二三维人脸模型,得到目标三维人脸模型。本实施例的技术方案,通过二维关键点和三维纹理图像的映射关系进行绑定,能够提高绑定三维人脸模型中对应的点位的准确性,使得建立
的三维人脸模型更加贴近真实使用场景。
99.在一实施例中,首先将获取到的目标二维人脸图像输入至目标二维人脸关键点识别模型,得到由目标二维人脸关键点识别模型输出的目标关键点,然后在与目标二维人脸图像的坐标一致的全黑图像中将目标关键点进行涂白处理,得到第一关键点图像,接着将第二关键点图像贴至第一三维人脸模型,得到第二三维人脸模型,再将第二三维人脸模型中rgb值最大的点确定目标关键点,以完成二维图像中的目标关键点与三维纹理图像的纹理映射关系绑定操作,最后根据第二三维人脸模型上的目标关键点将三维纹理图像贴至第二三维人脸模型,得到目标三维人脸模型。本实施例的技术方案,通过二维关键点和三维纹理图像的映射关系进行绑定,能够提高绑定三维人脸模型中对应的点位的准确性,使得建立的三维人脸模型更加贴近真实使用场景。
100.根据第二三维人脸模型上的目标关键点将三维纹理图像贴至第二三维人脸模型,得到目标三维人脸模型。
101.基于上述基于二维关键点的三维模型建立方法,下面分别提出本发明的基于二维关键点的三维模型建立装置、计算机和计算机可读存储介质的各个实施例。
102.参照图9,本发明的一个实施例还提供了基于二维关键点的三维模型建立装置,包括:
103.获取模块910,用于获取目标二维人脸图像;
104.预测模块920,用于通过目标二维人脸关键点识别模型对目标二维人脸图像进行预测处理,得到包括目标关键点的第一关键点图像,目标关键点的坐标信息与目标二维人脸图像中的目标关键点的坐标信息对应;
105.重建模块930,用于将目标二维人脸图像进行三维重建处理,得到三维纹理图像;
106.转换模块940,用于根据三维纹理图像的纹理贴图坐标数据对第一关键点图像中的关键点坐标进行坐标转换处理,得到基于纹理贴图坐标数据的第二关键点图像;
107.建立模块950,用于根据第二关键点图像和三维纹理图像建立得到目标三维人脸模型。
108.在一实施例中,还包括训练模块,训练模块用于获取二维人脸图像的关键点公开数据集;根据目标二维人脸图像的关键点公开数据集对二维人脸关键点识别模型进行训练,得到目标二维人脸关键点识别模型。
109.在一实施例中,还包括提取模块,提取模块用于获取二维图像,二维图像包括若干个人像信息;通过人脸生成模块对二维图像进行人脸提取处理,得到目标二维人脸图像。
110.在一实施例中,提取模块还用于通过人脸生成模块对二维图像进行人脸提取处理,得到二维人脸图像;对二维人脸图像进行识别处理,得到正脸无遮挡的目标二维人脸图像。
111.在一实施例中,建立模块950还用于将第二关键点图像贴至第一三维人脸模型,得到第二三维人脸模型;从第二三维人脸模型确定目标关键点;根据第二三维人脸模型上的目标关键点将三维纹理图像贴至第二三维人脸模型,得到目标三维人脸模型。
112.在一实施例中,预测模块920还用于将目标二维人脸图像输入至目标二维人脸关键点识别模型,得到由目标二维人脸关键点识别模型输出的目标关键点;在与目标二维人脸图像的坐标一致的全黑图像中将目标关键点进行涂白处理,得到第一关键点图像。
113.在一实施例中建立模块950还用于将第二关键点图像贴至第一三维人脸模型,得到第二三维人脸模型;将第二三维人脸模型中rgb值最大的点确定目标关键点;根据第二三维人脸模型上的目标关键点将三维纹理图像贴至第二三维人脸模型,得到目标三维人脸模型。
114.需要说明的是,上述基于二维关键点的三维模型建立装置的各个实施例与基于二维关键点的三维模型建立方法的实施例中所使用的技术手段、解决的技术问题以及达到的技术效果一致,此处不作具体赘述,详见基于二维关键点的三维模型建立方法的实施例。
115.另外,本发明的一个实施例提供了一种计算机,该设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
116.处理器和存储器可以通过总线或者其他方式连接。
117.需要说明的是,本实施例中的计算机,可以对应为包括有如图1所示实施例中的存储器和处理器,能够构成图1所示实施例中的系统架构平台的一部分,两者属于相同的发明构思,因此两者具有相同的实现原理以及有益效果,此处不再详述。
118.实现上述实施例的基于二维关键点的三维模型建立方法所需的非暂态软件程序以及指令存储在存储器中,当被处理器执行时,执行上述实施例的基于二维关键点的三维模型建立方法,例如,执行以上描述的图2中的方法步骤s100至s500、图7中的方法步骤s710至s720和图8中的方法步骤s810至s830。
119.计算机包括:射频(radio frequency,简称rf)电路、存储器、输入单元、显示单元、传感器、音频电路、无线保真(wireless fidelity,简称wifi)模块、处理器、以及电源等部件。本领域技术人员可以理解,本实施例不对计算机的结构进行唯一限定,可以包括比本实施例更多或更少的部件,或者组合某些部件,或者不同的部件布置。
120.rf电路可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器处理;另外,将设计上行的数据发送给基站。通常,rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,简称lna)、双工器等。此外,rf电路还可以通过无线通信与网络和其他装置通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobile communication,简称gsm)、通用分组无线服务(general packet radio service,简称gprs)、码分多址(code division multiple access,简称cdma)、宽带码分多址(wideband code division multiple access,简称wcdma)、长期演进(long term evolution,简称lte)、电子邮件、短消息服务(short messaging service,简称sms)等。
121.存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行计算机的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
122.输入单元可用于接收输入的数字或字符信息,以及产生与计算机的设置以及功能控制有关的键信号输入。具体地,输入单元可包括触控面板以及其他输入装置。触控面板,也称为触摸屏,可收集在其上或附近的触摸操作(比如使用手指、触笔等任何适合的物体或
附件在触控面板上或在触控面板附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器,并能接收处理器发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类别实现触控面板。除了触控面板,输入单元还可以包括其他输入装置。具体地,其他输入装置可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
123.显示单元可用于显示输入的信息或提供的信息以及计算机的各种菜单。显示单元可包括显示面板,可选的,可以采用液晶显示器(liquid crystal display,简称lcd)、有机发光二极管(organic light-emitting diode,简称oled)等形式来配置显示面板。进一步的,触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器以确定触摸事件的类别,随后处理器根据触摸事件的类别在显示面板上提供相应的视觉输出。虽然触控面板与显示面板是作为两个独立的部件来实现计算机的输入和输入功能,但是在某些实施例中,可以将触控面板与显示面板集成而实现计算机的输入和输出功能。
124.计算机还可包括至少一种传感器,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在计算机移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于分割计算机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动分割相关功能(比如计步器、敲击)等;至于计算机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
125.音频电路、扬声器、传声器可提供音频接口。音频电路可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路接收后转换为音频数据,再将音频数据输出处理器处理后,经rf电路以发送给比如另一计算机,或者将音频数据输出至存储器以便进一步处理。
126.wifi属于短距离无线传输技术,计算机通过wifi模块可以收发电子邮件、浏览网页和访问流式媒体等,它提供了无线的宽带互联网访问。wifi模块并不属于计算机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
127.处理器是计算机的控制中心,利用各种接口和线路连接整个计算机的各个部分,通过运行或执行存储在存储器内的软件程序和/或模块,以及调用存储在存储器内的数据,执行计算机的各种功能和处理数据,从而对计算机进行整体监控。可选的,处理器可包括一个或多个处理单元;优选的,处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、操作界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
128.计算机还包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理系统与处理器逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
129.此外,本发明的一个实施例还提供了一种计算机可读存储介质,该计算机可读存
储介质存储有计算机可执行指令,当计算机可执行指令用于执行上述终端侧的基于二维关键点的三维模型建立方法,例如,执行以上描述的图2中的方法步骤s100至s500、图7中的方法步骤s710至s720和图8中的方法步骤s810至s830。
130.本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
131.以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换,这些等同的变形或替换均包括在本发明权利要求所限定的范围内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献