一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、装置、电子设备和计算机可读存储介质与流程

2021-12-12 23:29:00 来源:中国专利 TAG:


1.本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。


背景技术:

2.在短视频、直播等应用中美妆特效的应用非常普遍,由于美妆特效是将修饰素材贴到图像中相应修饰部位,因此,美妆特效也可以叫做贴妆。
3.以眉毛贴妆为例,目标是将眉毛素材贴到图像中人脸的眉毛位置处,相关技术中,直接将眉毛素材贴到图像中的眉毛位置处,但图像中的眉毛与眉毛素材的眉形通常不一致,所以很容易造成眉毛素材与图像中的眉毛不贴合的问题。其它美妆特效也存在着类似的问题。


技术实现要素:

4.本公开提供一种图像处理方法、装置、电子设备和计算机可读存储介质,以至少解决相关技术中修饰素材的修饰效果比较差的问题。本公开的技术方案如下:
5.根据本公开实施例的第一方面,提供一种图像处理方法,包括:
6.获取图像中目标对象的修饰素材信息,所述修饰素材信息包括修饰素材和所述修饰素材的关键点位置信息;
7.基于所述目标对象的关键点位置信息和所述修饰素材的关键点位置信息,确定所述修饰素材到所述目标对象之间的位置变换关系;
8.基于所述位置变换关系,对所述修饰素材的关键点位置信息进行位置变换处理,得到目标关键点位置信息;
9.以所述目标关键点位置信息为所述目标对象新的关键点位置信息,调整所述目标对象的形状;
10.将所述修饰素材贴到形状调整后的所述目标对象上,得到处理后的图像。
11.在一些可能的实施方式中,基于所述目标对象的关键点位置信息和所述修饰素材的关键点位置信息,确定所述修饰素材到所述目标对象之间的位置变换关系,包括:
12.基于所述目标对象的关键点位置信息,确定n个第一预设关键点,基于所述n个第一预设关键点进行区域划分,得到至少两个第一区域,n为不小于4的整数;
13.基于所述修饰素材的关键点位置信息,确定n个第二预设关键点,基于所述n个第二预设关键点进行区域划分,得到至少两个第二区域,所述至少两个第二区域与所述至少两个第一区域一一对应;
14.确定每个第二区域到对应第一区域之间的位置变换关系;
15.将各第二区域到对应第一区域之间的位置变换关系,确定为所述修饰素材到所述目标对象之间的位置变换关系。
16.在一些可能的实施方式中,基于所述位置变换关系,对所述修饰素材的关键点位
置信息进行位置变换处理,得到目标关键点位置信息,包括:
17.确定所述修饰素材的每个关键点信息对应的第二区域;
18.基于所述第二区域到对应第一区域之间的位置变换关系,对所述关键点信息进行位置变换处理,得到目标关键点位置信息。
19.在一些可能的实施方式中,基于所述目标对象的关键点位置信息和所述修饰素材的关键点位置信息,确定所述修饰素材到所述目标对象之间的位置变换关系,包括:
20.基于所述目标对象的关键点位置信息,确定m个第三预设关键点,基于所述m个第三预设关键点进行区域构建,得到一个第三区域,m为不小于3的整数;
21.基于所述修饰素材的关键点位置信息,确定m个第四预设关键点,基于所述m个第四预设关键点进行区域构建,得到一个第四区域;
22.将所述第四区域到所述第三区域之间的位置变换关系,确定为所述修饰素材到所述目标对象之间的位置变换关系。
23.在一些可能的实施方式中,以所述目标关键点位置信息为所述目标对象新的关键点位置信息,调整所述目标对象的形状,包括:
24.基于所述目标对象的每个剖分网格与所述目标对象的关键点之间的对应关系,从所述目标对象的关键点位置信息中选择所述剖分网格对应的第一关键点位置信息,从所述目标关键点位置信息中选择所述剖分网格对应的第二关键点位置信息;
25.基于所述第一关键点位置信息,生成所述剖分网格对应的第一网格,基于所述第二关键点位置信息,生成所述剖分网格对应的第二网格;
26.将所述第一网格对应的部分目标对象贴到所述第二网格上,得到调整形状后的所述目标对象。
27.根据本公开实施例的第二方面,提供一种图像处理装置,包括:
28.获取单元,被配置为执行获取图像中目标对象的修饰素材信息,所述修饰素材信息包括修饰素材和所述修饰素材的关键点位置信息;
29.确定单元,被配置为执行基于所述目标对象的关键点位置信息和所述修饰素材的关键点位置信息,确定所述修饰素材到所述目标对象之间的位置变换关系;
30.变换单元,被配置为执行基于所述位置变换关系,对所述修饰素材的关键点位置信息进行位置变换处理,得到目标关键点位置信息;
31.调整单元,被配置为执行以所述目标关键点位置信息为所述目标对象新的关键点位置信息,调整所述目标对象的形状;
32.贴图单元,被配置为执行将所述修饰素材贴到形状调整后的所述目标对象上,得到处理后的图像。
33.在一些可能的实施方式中,所述确定单元被具体配置为执行:
34.基于所述目标对象的关键点位置信息,确定n个第一预设关键点,基于所述n个第一预设关键点进行区域划分,得到至少两个第一区域,n为不小于4的整数;
35.基于所述修饰素材的关键点位置信息,确定n个第二预设关键点,基于所述n个第二预设关键点进行区域划分,得到至少两个第二区域,所述至少两个第二区域与所述至少两个第一区域一一对应;
36.确定每个第二区域到对应第一区域之间的位置变换关系;
37.将各第二区域到对应第一区域之间的位置变换关系,确定为所述修饰素材到所述目标对象之间的位置变换关系。
38.在一些可能的实施方式中,所述变换单元被具体配置为执行:
39.确定所述修饰素材的每个关键点信息对应的第二区域;
40.基于所述第二区域到对应第一区域之间的位置变换关系,对所述关键点信息进行位置变换处理,得到目标关键点位置信息。
41.在一些可能的实施方式中,所述确定单元被具体配置为执行:
42.基于所述目标对象的关键点位置信息,确定m个第三预设关键点,基于所述m个第三预设关键点进行区域构建,得到一个第三区域,m为不小于3的整数;
43.基于所述修饰素材的关键点位置信息,确定m个第四预设关键点,基于所述m个第四预设关键点进行区域构建,得到一个第四区域;
44.将所述第四区域到所述第三区域之间的位置变换关系,确定为所述修饰素材到所述目标对象之间的位置变换关系。
45.在一些可能的实施方式中,所述调整单元被具体配置为执行:
46.基于所述目标对象的每个剖分网格与所述目标对象的关键点之间的对应关系,从所述目标对象的关键点位置信息中选择所述剖分网格对应的第一关键点位置信息,从所述目标关键点位置信息中选择所述剖分网格对应的第二关键点位置信息;
47.基于所述第一关键点位置信息,生成所述剖分网格对应的第一网格,基于所述第二关键点位置信息,生成所述剖分网格对应的第二网格;
48.将所述第一网格对应的部分目标对象贴到所述第二网格上,得到调整形状后的所述目标对象。
49.根据本公开实施例的第三方面,提供一种电子设备,包括:
50.处理器;
51.用于存储所述处理器可执行指令的存储器;
52.其中,所述处理器被配置为执行所述指令,以实现上述任一图像处理方法。
53.根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行上述任一图像处理方法。
54.根据本公开实施例的第五方面,提供一种计算机程序产品,计算机程序产品中包括有程序代码,当所述程序代码在电子设备上运行时,所述程序代码用于使所述电子设备执行上述任一图像处理方法。
55.本公开的实施例提供的技术方案至少带来以下有益效果:
56.获取图像中目标对象的修饰素材信息,修饰素材信息包括修饰素材和修饰素材的关键点位置信息,基于目标对象的关键点位置信息和修饰素材的关键点位置信息,确定修饰素材到目标对象之间的位置变换关系,基于该位置变换关系,对修饰素材的关键点位置信息进行位置变换处理,得到目标关键点位置信息,以目标关键点位置信息为目标对象新的关键点位置信息,调整目标对象的形状,然后,将修饰素材贴到形状调整后的目标对象上,得到处理后的图像。这样,先调整目标对象的形状使目标对象的形状与修饰素材的形状一致,再将修饰素材贴到目标对象上,不但可较好地保持修饰素材的形状,而且可提升修饰
素材与目标对象的贴合效果。
57.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
58.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
59.图1是根据一示例性实施例示出的一种图像处理方法的流程图。
60.图2是根据一示例性实施例示出的一种确定修饰素材到目标对象之间的位置变换关系的方法流程图。
61.图3为本公开实施例提供的一种眉毛的区域划分示意图。
62.图4是根据一示例性实施例示出的又一种确定修饰素材到目标对象之间的位置变换关系的方法流程图。
63.图5为本公开实施例提供的又一种眉毛的区域划分示意图。
64.图6是根据一示例性实施例示出的一种调整目标对象的形状的方法流程图。
65.图7为本公开实施例提供的一种眉毛的剖分网格的示意图。
66.图8是根据一示例性实施例示出的一种眉毛素材的示意图。
67.图9是根据一示例性实施例示出的一种图像中眉毛的示意图。
68.图10是根据一示例性实施例示出的一种图像中眉毛的关键点的示意图。
69.图11a是根据一示例性实施例示出的一种图像中眉毛的区域划分示意图。
70.图11b是根据一示例性实施例示出的一种眉毛素材的区域划分示意图。
71.图12是根据一示例性实施例示出的一种眉毛的关键点的位置示意图。
72.图13为本公开实施例提供的一种图像中的眉毛调整形状后的示意图。
73.图14为本公开实施例提供的一种使用图8的眉毛素材对图9的眉毛进行贴图后的效果示意图。
74.图15是根据一示例性实施例示出的一种图像处理装置的框图。
75.图16是根据一示例性实施例示出的一种用于实现图像处理方法的电子设备的示意图。
具体实施方式
76.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
77.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
78.本公开实施例的方案既适用于用户在拍摄图像或视频时使用美妆特效的场景,也
适用于技术人员在后台测试美妆特效的美化效果的场景。
79.接下来结合具体实施例对本公开的方案进行介绍。
80.图1是根据一示例性实施例示出的一种图像处理方法的流程图,该方法的流程图包括以下步骤。
81.s101:获取图像中目标对象的修饰素材信息,修饰素材信息包括修饰素材和修饰素材的关键点位置信息。
82.其中,修饰素材是指对目标对象起美化作用的素材。比如,目标对象为眉毛时,修饰素材为眉毛素材;目标对象为唇部时,修饰素材为唇部素材;目标对象为指甲时,修饰素材为指甲素材。
83.s102:基于目标对象的关键点位置信息和修饰素材的关键点位置信息,确定修饰素材到目标对象之间的位置变换关系。
84.在一些实施例中,可按照图2所示的流程确定修饰素材到目标对象之间的位置变换关系,该流程包括以下步骤。
85.s201a:基于目标对象的关键点位置信息,确定n个第一预设关键点,基于这n个第一预设关键点进行区域划分,得到至少两个第一区域,n为不小于4的整数。
86.以目标对象为眉毛、修饰素材为眉毛素材为例,图3为本公开实施例提供的一种眉毛的区域划分示意图,在图3中,小圆点表示眉毛的关键点(眉头和眉尾的关键点被大圆点覆盖),单侧眉毛共有10个关键点。
87.具体实施时,对单侧眉毛而言,可从该侧眉毛的10个关键点中选择出6个关键点(即6个第一预设关键点):眉头的1个关键点、眉中周围的4个关键点,以及眉尾的1个关键点,然后,可基于这6个关键点进行区域划分,得到该侧眉毛对应的两个第一区域。
88.具体地,可基于眉中上方2个关键点确定出一个顶点(比如将眉中上方2个关键点的坐标平均值作为该顶点的坐标),基于眉中下方2个关键点确定出一个顶点(比如将眉中下方2个关键点的坐标平均值作为该顶点的坐标),将眉头和眉尾的关键点分别作为一个顶点,从而确定出4个顶点(图3中单侧眉毛的4个大圆点),然后,将这4个顶点所构成的区域划分成左右两个区域(即两个第一区域)。
89.需要说明的是,图3中单侧眉毛的关键点仅为示例,若可直接检测出图3所示的单侧眉毛的4个大圆点位置处的关键点,则可直接选取相应关键点,即最少可选择4个第一预设关键点。
90.s202a:基于修饰素材的关键点位置信息,确定n个第二预设关键点,基于这n个第二预设关键点进行区域划分,得到至少两个第二区域,这至少两个第二区域与上述至少两个第一区域一一对应。
91.具体实施时,从修饰素材中确定的第二预设关键点与从目标对象中确定的第一预设关键点可以是一一对应的,并且,对第二预设关键点和第一预设关键点可使用相同的区域划分规则,所以最终得到的第二区域与第一区域也是一一对应的。
92.另外,对修饰素材的区域划分方式与对目标对象的区域划分方式类似,在此不再赘述。
93.s203a:确定每个第二区域到对应第一区域之间的位置变换关系。
94.比如,确定每个第二区域到对应第一区域之间的位置变换矩阵。
95.s204a:将各第二区域到对应第一区域之间的位置变换关系,确定为修饰素材到目标对象之间的位置变换关系。
96.这样,将目标对象和修饰素材划分成一一对应的至少两个区域,然后,逐区域地确定修饰素材到目标对象之间的位置变换关系,可使后续对修饰素材中不同位置的关键点采用不同的位置变换关系进行位置调整,尽可能地保持修饰素材的形状,从而提升修饰素材对目标对象的修饰效果。
97.在一些实施例中,可按照图4所示的流程确定修饰素材到目标对象之间的位置变换关系,该流程包括以下步骤。
98.s401a:基于目标对象的关键点位置信息,确定m个第三预设关键点,基于m个第三预设关键点进行区域构建,得到一个第三区域,m为不小于3的整数。
99.以目标对象为眉毛、修饰素材为眉毛素材为例,图5为本公开实施例提供的又一种眉毛的区域划分示意图,在图5中,小圆点表示眉毛的关键点(眉头和眉尾的关键点被大圆点覆盖),单侧眉毛共有10个关键点。
100.具体实施时,对单侧眉毛而言,可从该侧眉毛的10个关键点中选择出6个关键点(即6个第三预设关键点):眉头的1个关键点、眉中周围的4个关键点,以及眉尾的1个关键点,然后,可基于这6个关键点进行区域构建,得到该侧眉毛对应的一个第三区域。
101.具体地,可基于眉中周围的4个关键点确定出一个顶点(比如将眉中周围的4个关键点的坐标平均值作为该顶点的坐标),将眉头和眉尾的关键点分别作为一个顶点,从而确定出3个顶点(图5中单侧眉毛的3个大圆点),然后,将这3个顶点构成的区域作为第三区域。
102.需要说明的是,图5中单侧眉毛的关键点仅为示例,若可直接检测出图5所示的单侧眉毛的3个大圆点处的关键点,则可直接选取相应关键点,即最少可选择3个第三预设关键点。
103.s402a:基于修饰素材的关键点位置信息,确定m个第四预设关键点,基于m个第四预设关键点进行区域构建,得到一个第四区域。
104.具体实施时,从修饰素材中确定的第四预设关键点与从目标对象中确定的第三预设关键点可以是一一对应的,并且,对修饰素材的区域构建方式与对目标对象的区域构建方式类似,在此不再赘述。
105.s403a:将第四区域到第三区域之间的位置变换关系,确定为修饰素材到目标对象之间的位置变换关系。
106.这样,目标对象和修饰素材分别构建一个区域,将修饰素材对应的区域到目标对象对应的区域之间的位置变换关系,确定为修饰素材到目标对象之间的位置变换关系,可使后续对修饰素材中不同位置的关键点采用相同的位置变换关系进行位置调整,利于提升位置变换速度,从而提升修饰素材对目标对象的修饰速度。
107.s103:基于位置变换关系,对修饰素材的关键点位置信息进行位置变换处理,得到目标关键点位置信息。
108.在一些实施例中,修饰素材到目标对象之间的位置变换关系有多个,此时,可确定修饰素材的每个关键点信息对应的第二区域,然后,基于该第二区域到对应第一区域之间的位置变换关系,对关键点信息进行位置变换处理,以得到目标关键点位置信息。
109.这样,对修饰素材中不同位置处的关键点采用不同的位置变换关系进行位置变换
处理,利于最大程度地保持修饰素材的形状,提升修饰素材对目标对象的修饰效果。
110.在一些实施例中,修饰素材到目标对象之间的位置变换关系有1个,此时,直接使用这1个位置变换关系对修饰素材的关键点位置信息进行位置变换处理,以得到目标关键点位置信息。
111.这样,对修饰素材中不同位置的关键点采用相同的位置变换关系进行位置调整,利于提升位置变换速度,从而提升修饰素材对目标对象的修饰速度。
112.s104:以目标关键点位置信息为目标对象新的关键点位置信息,调整目标对象的形状。
113.具体实施时,可按照图6所示的流程调整目标对象的形状,该流程包括以下步骤:
114.s601a:基于目标对象的每个剖分网格与目标对象的关键点之间的对应关系,从目标对象的关键点位置信息中选择剖分网格对应的第一关键点位置信息,从目标关键点位置信息中选择剖分网格对应的第二关键点位置信息。
115.以目标对象为眉毛为例,图7为本公开实施例提供的一种眉毛的剖分网格的示意图,其中,每个三角形为一个剖分网格,每个剖分网格有至少一个顶点为眉毛的关键点,每个剖分网格中不为关键点的顶点与为关键点的顶点之间的位置关系可由技术人员预先设定,所以对于三个顶点不全为关键点的剖分网格而言,基于剖分网格对应的一个或两个关键点也可成功确定出另一个缺失顶点的坐标。
116.对图7中的每个剖分网格,可基于预先建立的该剖分网格与目标对象的关键点之间的对应关系,从目标对象的关键点位置信息中选择该剖分网格对应的第一关键点位置信息,从目标关键点位置信息中选择该剖分网格对应的第二关键点位置信息。
117.s602a:基于第一关键点位置信息,生成剖分网格对应的第一网格,基于第二关键点位置信息,生成剖分网格对应的第二网格。
118.具体实施时,基于第一关键点位置信息和对应剖分网格的构建规则,即可生成该剖分网格对应的第一网格,类似地,基于第二关键点位置信息和该剖分网格的构建规则,即可生成该剖分网格对应的第二网格。
119.s603a:将第一网格对应的部分目标对象贴到第二网格上,得到调整形状后的目标对象。
120.这样,分别从目标对象原有的关键点和新的关键点中选择每个剖分网格对应的关键点,并将原有的关键点所构成网格对应的部分目标对象贴到新的关键点所构成的网格上,相当于使用形状调整前的目标对象逐网格地对形状调整后的目标对象对应的网格区域进行贴图处理,利于提升形状调整后得到的目标对象的真实效果和自然效果。
121.s105:将修饰素材贴到形状调整后的目标对象上,得到处理后的图像。
122.鉴于经过以上步骤处理后目标对象与修饰素材的形状一致(比如,形状相似度高于预设值如85%),所以在步骤s105中可将修饰素材整体贴到形状调整后的目标对象上,以提升修饰素材对目标对象的修饰速度。
123.本公开实施例中,先调整目标对象的形状使目标对象的形状与修饰素材的形状一致,再将修饰素材贴到形状调整后的目标对象上,不但可较好地保持修饰素材的形状,而且可提升修饰素材与目标对象的贴合效果。另外,本公开实施例的方案比较简单,对执行主体的运算性能要求比较低,所以对在移动端实时采集图像的场景也比较友好。
124.下面以目标对象为眉毛、修饰素材为眉毛素材为例,对本公开实施例的方案进行说明。
125.图8是本公开实施例提供的一种眉毛素材的示意图,图9是本公开实施例提供的一种图像中眉毛的示意图。具体实施时,可按照以下步骤将图8所示的眉毛素材贴到图9中的眉毛位置处:
126.第一步:对图像中的眉毛进行关键点检测,得到关键点集合p0,参见图10,图10中的10个白色点(眉头和眉尾处的白色点被黑色点覆盖)即为关键点集合p0。为方便后续说明,将眉毛素材图内置的关键点集合记为p1。
127.第二步:确定眉毛素材到图像中眉毛的仿射变换关系。
128.对单侧眉毛分别执行,从关键点集合p0中选择出如图11a所示的6个关键点:关键点1~关键点6,其中,关键点1和关键点6可直接作为顶点,基于关键点3和关键点4生成一个顶点,比如将关键点3和关键点4的坐标平均值作为该顶点的坐标,基于关键点2和关键点5生成一个顶点,比如将关键点2和关键点5的坐标平均值作为该顶点的坐标,之后,对这4个顶点(图11a中的4个黑色点)所构成的区域进行划分,从而得到两个三角形区域:区域1(左边三角形区域)和区域2(右边三角形区域)。
129.类似地,从关键点集合p1中选择出如图11b所示的6个关键点:关键点1'~关键点6',其中,关键点1'和关键点6'可直接作为顶点,基于关键点3'和关键点4'生成一个顶点,比如将关键点3'和关键点4'的坐标平均值作为该顶点的坐标,基于关键点2'和关键点5'生成一个顶点,比如将关键点2'和关键点5'的坐标平均值作为该顶点的坐标,之后,对这4个顶点所构成的区域进行划分,从而得到两个三角形区域:区域1'(左边三角形区域)和区域2'(右边三角形区域)。
130.由于图像中眉毛和眉毛素材的关键点数量是相同的,且各关键点所表示的位置也是相同的,所以上述过程中对目标对象和修饰素材划分得到的区域也是一一对应的,即区域1对应区域1'、区域2对应区域2'。
131.进一步地,基于区域1'的顶点的位置信息和区域1的顶点的位置信息,计算区域1'到区域1之间的仿射变换矩阵m1(m1用于表征区域1'到区域1之间的仿射变换关系),基于区域2'的顶点的位置信息和区域2的顶点的位置信息,计算区域2'到区域2之间的仿射变换矩阵m2(m2用于表征区域2'到区域2之间的仿射变换关系)。
132.经过以上步骤,可得到左右两侧眉毛各自对应的两个仿射变换矩阵。
133.第三步:基于眉毛素材到图像中眉毛之间的仿射变换关系,计算图像中眉毛新的关键点集合p2。
134.具体实施时,对图11b中区域1'对应的关键点(即左侧眉毛左半部分的5个关键点),可使用仿射变换矩阵m1进行仿射变换,对图11b中区域2'对应的关键点(即左侧眉毛右半部分的5个关键点),可使用仿射变换矩阵m2进行仿射变换,将放射变换后得到的关键点作为图像中眉毛新的关键点集合p2。
135.这样,使用不同的仿射变换矩阵对眉毛素材中不同位置处的关键点进行仿射变换,并以放射变换后的关键点为眉毛新的关键点,可尽可能地保持眉毛的眉头、眉尾位置不变,并保持眉毛的宽度基本不变,使得后续眉毛素材能够更好地贴到图像中的眉毛位置处。
136.图12为本公开实施提供的一种眉毛的关键点的位置示意图,其中,白色点表示图
像中眉毛原始的关键点,黑色点表示仿射变换后得到的图像中眉毛新的关键点。
137.第四步:基于关键点集合p0、关键点集合p2,调整图像中眉毛的形状,使图像中眉毛的形状与眉毛素材的形状一致。
138.具体实施时,可基于图7中眉毛的每个剖分网格与眉毛的关键点之间的对应关系,从关键点集合p0中选择与该剖分网格对应的第一关键点,从关键点集合p2中选择与该剖分网格对应的第二关键点,基于第一关键点的位置信息,生成与该剖分网格对应的第一网格,基于第二关键点的位置信息,生成与该剖分网格对应的第二网格,然后,将第一网格对应的部分目标对象贴到第二网格上,从而完成对图像中眉毛形状的调整。
139.图13为本公开实施例提供的一种图像中的眉毛调整形状后的示意图,对比图13和图9可见,图像中眉毛的形状已经发生了较大变化,且与眉毛素材的眉形一致。
140.第五步:将眉毛素材贴到图像中的眉毛位置处。
141.鉴于图像中眉毛的形状调整之后已与眉毛素材的形状一致,所以可直接将眉毛素材整体贴到图像中的眉毛位置处,以在保证修饰效果的前提下提升修饰速度。
142.图14为本公开实施例提供的一种使用图8的眉毛素材对图9的眉毛进行贴图后的效果示意图,可见,图像中眉毛的形状与眉毛素材的形状是一致的,并且,眉毛素材与图像中眉毛的贴合效果也比较好。
143.本公开实施例中,在眉毛贴妆前,逐区域地对图中眉毛的形状进行调整,使图像中眉毛的形状与眉毛素材的形状一致,然后,再将眉毛素材贴到图像中的眉毛位置处,即可使图像中的眉毛保持眉毛素材的形状又可使眉毛素材与图像中的眉毛较好地贴合。另外,本公开实施例的方案比较简单,对执行主体的运算性能要求比较低,所以也适于在移动端实施拍摄的场景。
144.图15是根据一示例性实施例示出的一种图像处理装置的框图,包括获取单元1501、确定单元1502、变换单元1503、调整单元1504和贴图单元1505。
145.获取单元1501,被配置为执行获取图像中目标对象的修饰素材信息,所述修饰素材信息包括修饰素材和所述修饰素材的关键点位置信息;
146.确定单元1502,被配置为执行基于所述目标对象的关键点位置信息和所述修饰素材的关键点位置信息,确定所述修饰素材到所述目标对象之间的位置变换关系;
147.变换单元1503,被配置为执行基于所述位置变换关系,对所述修饰素材的关键点位置信息进行位置变换处理,得到目标关键点位置信息;
148.调整单元1504,被配置为执行以所述目标关键点位置信息为所述目标对象新的关键点位置信息,调整所述目标对象的形状;
149.贴图单元1505,被配置为执行将所述修饰素材贴到形状调整后的所述目标对象上,得到处理后的图像。
150.在一些可能的实施方式中,所述确定单元1502被具体配置为执行:
151.基于所述目标对象的关键点位置信息,确定n个第一预设关键点,基于所述n个第一预设关键点进行区域划分,得到至少两个第一区域,n为不小于4的整数;
152.基于所述修饰素材的关键点位置信息,确定n个第二预设关键点,基于所述n个第二预设关键点进行区域划分,得到至少两个第二区域,所述至少两个第二区域与所述至少两个第一区域一一对应;
153.确定每个第二区域到对应第一区域之间的位置变换关系;
154.将各第二区域到对应第一区域之间的位置变换关系,确定为所述修饰素材到所述目标对象之间的位置变换关系。
155.在一些可能的实施方式中,所述变换单元1503被具体配置为执行:
156.确定所述修饰素材的每个关键点信息对应的第二区域;
157.基于所述第二区域到对应第一区域之间的位置变换关系,对所述关键点信息进行位置变换处理,得到目标关键点位置信息。
158.在一些可能的实施方式中,所述确定单元1502被具体配置为执行:
159.基于所述目标对象的关键点位置信息,确定m个第三预设关键点,基于所述m个第三预设关键点进行区域构建,得到一个第三区域,m为不小于3的整数;
160.基于所述修饰素材的关键点位置信息,确定m个第四预设关键点,基于所述m个第四预设关键点进行区域构建,得到一个第四区域;
161.将所述第四区域到所述第三区域之间的位置变换关系,确定为所述修饰素材到所述目标对象之间的位置变换关系。
162.在一些可能的实施方式中,所述调整单元1504被具体配置为执行:
163.基于所述目标对象的每个剖分网格与所述目标对象的关键点之间的对应关系,从所述目标对象的关键点位置信息中选择所述剖分网格对应的第一关键点位置信息,从所述目标关键点位置信息中选择所述剖分网格对应的第二关键点位置信息;
164.基于所述第一关键点位置信息,生成所述剖分网格对应的第一网格,基于所述第二关键点位置信息,生成所述剖分网格对应的第二网格;
165.将所述第一网格对应的部分目标对象贴到所述第二网格上,得到调整形状后的所述目标对象。
166.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关方法的实施例中进行了详细描述,此处将不做详细阐述说明。
167.图16为本公开实施例提供的一种电子设备1600的结构示意图,包括收发器1601以及处理器1602等物理器件,其中,处理器1602可以是一个中央处理单元(central processing unit,cpu)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器1601用于电子设备和其他设备进行数据收发。
168.电子设备还可以包括存储器1603用于存储处理器1602执行的软件指令,当然还可以存储电子设备需要的一些其他数据,如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器1603可以是易失性存储器(volatile memory),例如随机存取存储器(random

access memory,ram);存储器1603也可以是非易失性存储器(non

volatile memory),例如只读存储器(read

only memory,rom),快闪存储器(flash memory),硬盘(hard disk drive,hdd)或固态硬盘(solid

state drive,ssd)、或者存储器1603是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器1603可以是上述存储器的组合。
169.本公开实施例中不限定上述处理器1602、存储器1603以及收发器1601之间的具体连接介质。本公开实施例在图16中仅以存储器1603、处理器1602以及收发器1601之间通过总线1604连接为例进行说明,总线在图16中以粗线表示,其它部件之间的连接方式,仅是进
行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图16中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
170.处理器1602可以是专用硬件或运行软件的处理器,当处理器1602可以运行软件时,处理器1602读取存储器1603存储的软件指令,并在所述软件指令的驱动下,执行前述实施例中涉及的图像处理方法。
171.在示例性实施例中,本公开还提供一种计算机可读存储介质,当计算机可读存储介质中的指令由处理器如电子设备1600的处理器1602执行时,能够执行上述任一图像处理方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd

rom、磁带、软盘和光数据存储设备等。
172.在一些可能的实施方式中,本公开提供的图像处理方法的各个方面还可以实现为一种程序产品的形式,程序产品中包括有程序代码,当程序产品在电子设备上运行时,可使电子设备执行前述实施例中涉及的图像处理方法。
173.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
174.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献