一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

特效处理方法、装置、电子设备和存储介质与流程

2023-01-15 12:29:37 来源:中国专利 TAG:


1.本公开实施例涉及特效处理技术,尤其涉及一种特效处理方法、装置、电子设备和存储介质。


背景技术:

2.在当今社会中,越来越多的用户采用图像特效来展示图像,以通过图像特效可以生动形象的展示图像内容,提高图像的表现能力,使图像更加逼真。
3.在实际应用中,因为受限于毛发数量多、体积小等特点,进行毛发等丝状对象的实时渲染相对困难,现有采用的多面片渲染形式,需要保证多个面片距离足够近。
4.然而,现有渲染方式存在下述问题:毛发渲染计算量巨大,由于性能限制很难实现长毛特效的有效渲染,降低了毛发渲染性能;同时,由于毛发的生长形态、材质相对多样化,使得制作成本较高,很难达到任意设计的效果;此外渲染手段较为粗糙,无法实现特效材质的精致渲染,降低了渲染效果。


技术实现要素:

5.本公开提供一种特效处理方法、装置、电子设备和存储介质,以实现对特效中丝状对象的快速精致渲染。
6.第一方面,本公开实施例提供了一种特效处理方法,该特效处理方法包括:
7.响应于针对目标特效的特效触发操作;
8.当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线;
9.对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。
10.第二方面,本公开实施例还提供了一种特效处理装置,该特效处理装置包括:
11.响应模块,用于响应于针对目标特效的特效触发操作;
12.引导图确定模块,用于当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线;
13.处理显示模块,用于对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。
14.第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
15.一个或多个处理器;
16.存储装置,用于存储一个或多个程序,
17.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开任一实施例所述的特效处理方法。
18.第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,其特
征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开任一实施例所述的特效处理方法。
19.本公开实施例的技术方案,先响应于针对目标特效的特效触发操作;当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线;然后对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。本公开实施例的技术方案,引入了特效引导图,可以在所触发的特效包含丝状对象渲染时,首先确定出包含特效主体基础模型信息以及丝状对象关键信息的特效引导图,作为特效的粗渲染,后续可直接对特效引导图进行渲染,获得实现丝状对象精确渲染的目标特效画面。上述技术方案,区别于现有对特效中丝状对象的渲染实现,将对丝状对象的渲染简化为基于丝状对象的关键引导线进行精致渲染,在保证丝状对象渲染精度的同时,有效减少了渲染计算量,保证了丝状对象的渲染速度;同时,本技术方案的丝状对象渲染主要依赖于包含表征丝状对象关键引导线的特效引导图,而特效引导图的确定过程简单易实现,也有效降低了丝状对象设计的制作成本,降低了丝状对象多样化设计的实现难度。
附图说明
20.结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
21.图1为本公开实施例所提供的一种特效处理方法的流程示意图;
22.图2a为本公开实施例所提供的一种特效处理方法中关于特效主体包含粗渲染信息的效果呈现示例图;
23.图2b为本公开实施例所提供的一种特效处理方法中关于特效主体的基础模型和关键引导线渲染的效果呈现示例图;
24.图2c为本公开实施例所提供的一种特效处理方法中关于特效主体的目标特效画面的示例图;
25.图3为本公开实施例所提供的另一种特效处理方法的流程示意图;
26.图4为本公开实施例所提供的一种特效处理装置结构示意图;
27.图5为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
28.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
29.应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
30.本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
31.需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
32.需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
33.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
34.可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
35.例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
36.作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
37.可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其它满足相关法律法规的方式也可应用于本公开的实现方式中。
38.可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
39.图1为本公开实施例所提供的一种特效处理方法流程示意图,本公开实施例适用于存在丝状对象特效处理渲染的情形,该方法可以由特效处理装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、个人计算机(personalcomputer,pc)端或服务器等。
40.如图1所示,本公开实施例的方法具体可包括:
41.s110、响应于针对目标特效的特效触发操作。
42.可以清楚的是,越来越多的用户采用图像特效来展示图像,以通过图像特效可以生动形象的展示图像内容,提高图像的表现能力,使图像更加逼真。特效渲染处理方法可以集成在移动终端、pc端等电子设备中,当接收到特效触发操作时,电子设备可以将特效画面进行相应的展示。其中,特效触发操作可以理解为用于触发后启动特效处理这一功能的操作。目标特效可以理解为待应用的特效。优选的,本实施例中的特效画面为三维图像特效。具体的,目标特效可以是待应用的且包括特效主体的特效。
43.在本公开实施例中,响应于特效处理操作之前,还可以包括:接收针对目标特效的特效触发操作。特效触发操作的触发方式可以有多种。可选地,所述接收特效触发操作可以
包括但不仅限于:接收作用于预设的特效触发控件的特效触发操作,其中,特效触发控件可以是设置于应用程序界面上的虚拟控制元件,例如虚拟控制元件至少包括特效触发按钮、特效触发选择菜单和特效触发滑块至少一种;或者,接收基于声音采集装置采集的用于启用特效的声音信息;又或者,接收用于启用特效的动作信息(如手部动作信息、头部动作信息或肢体动作信息等);亦或者,接收用于启用特效的特效启用命令等。
44.具体的,响应于针对目标特效的特效触发操作,确定待应用目标特效的特主体。示例性的,想要实现狼的特效画面的展示,则狼的特效画面可以记为目标特效。
45.s120、当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线。
46.考虑到在实际应用中,有的目标特效中包含有毛发,因为受限于毛发数量多、体积小等特点,进行毛发等丝状对象的实时渲染相对困难,本实施例提供的技术方案主要用来实现如何对丝状对象进行精致渲染,以得到目标特效的特效画面。
47.在本实施例中,需要先确定出目标特效,根据接收到的目标特效的特效触发操作,确定想要呈现的特效到底是怎样的,其中应该包含特效主体等信息。当进行特效触发操作时,可以知道即将要呈现的是一个什么特效画面,也就是对目标特效是有一个预判的,基于该预判能够提取出来要达到这个预判需要先清楚特效主体是什么。确定特效主体之后,可以确定特效主体要以目标特效的形式进行展示。同样,根据特效主体要以目标特效进行展示时,展示的对象都包括哪些,是否存在丝状对象。
48.其中,特效主体可以理解为目标特效作用的对象。目标特效中得有一个要实现或者要展示特效的特效主体,换言之,目标特效可以包括但不仅限于包括特效主体。目标特效还可以包括除特效主体之外的其他特效元素。目标特效中是否将存在用于组成特效主体的丝状对象。
49.需要说明的是,在本公开实施例中,并不对目标特效的具体内容进行限定。只要目标特效中包括特效主体,且特效主体包括丝状对象即可。示例性地,目标特效可以是包含有多根发丝组成的虚拟头发的特效、包含有多根拂尘丝组成的拂尘的特效或者包含有多根丝线组成的流苏等。优选的,所述丝状对象为毛发。
50.需要知道的是,在响应于针对目标特效的特效触发操作之后,还需要确定特效主体上是否存在丝状对象渲染。当存在丝状对象渲染需求时,要进一步确定特效主体的特效引导图。示例性的,若渲染后的画面中需要呈现狼的逼真三维渲染图,则该想要实现的最终效果可以理解为目标特效,其中,狼可以作为目标特效所对应的特效主体,狼的毛发可以理解为是特效主体存在丝状对象需要渲染,可以认为目标特效所对应特效主体存在丝状对象渲染。
51.在本实施例中,特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线。其中,特效主体的基础模型可以理解为由表征特效主体基础参数获得的特效主体的模型,例如,基础模型可以包括特效主体的轮廓、结构等。由于特效主体存在对丝状对象的渲染,因此,需要有表征丝状对象的关键引导线,示例性的,关键引导线可以理解为特效主体的关键毛发、线条等粗渲染得到的引导线。在获取基础模型和关键引导线的情况下,可以在此基础上结合粗渲染参数对基础模型进行粗渲染,得到特效引导图。根据基础模型和关
键引导线以及对特效主体预先配置的粗渲染参数,对特效主体进行了粗渲染,获得了特效引导图。
52.其中,生成特效主体的特效引导图的过程相当于对特效主体进行粗渲染的过程,通过对特效主体的粗渲染可以得到特效引导图。需要知道的是,当接收到特效触发操作时,在终端设备上是能够快速实时对特效主体进行粗渲染,可以快速得到特效引导图。在本实施例中,当目标特效中存在丝状对象渲染需求时,可以将特效引导图输入预先训练的丝状对象渲染模型,输出目标特效画面。在对模型输入之前,需要先得到一个特效引导图作为输入信息。特效引导图包括毛发引导图和分割引导图。其中,毛发引导图可以根据预先设置好的毛发关键引导线信息结合基础模型得到。分割引导图可以基于形变参数、光参数、仿真参数结合基础模型得到。示例性的,假设特效主体是狼,形变参数可以是特效主体张大嘴巴,睁大眼睛等。毛发引导图和分割引导图共同构成特效引导图,作为模型的输入信息。
53.本实施例中,当终端设备进行特效渲染的时候,能够从素材库中获取特效主体的三维基础模型。例如,要实现一个狼的真实渲染,先要有一个狼的三维模型,在狼的三维模型的前提下结合简单的材质,如一些线条的信息,然后将线条信息和三维模型渲染后形成毛发引导图。同样的,分割图是指在有了最基础的模型后,眼睛、轮廓、牙齿等不同区域特征以不同颜色、形态呈现出来,该图称为分割引导图。该分割引导图是基于一些参数在基础模型上进行渲染得到的。在获取三维模型后,还可以根据其他参数信息,比如要知道牙的位置在哪里,牙以什么样的形态呈现,将这些形变参数结合三维模型,形成分割引导图。假设想要形成狼张着嘴巴的画面,模型可能是闭着嘴巴的狼模型,将狼张着嘴巴的形变参数给到三维模型,通过这些形变参数对模型进行调整,实现狼以张着嘴巴的形式呈现,形成的图可以记为分割引导图。
54.具体的,在接收到针对目标特效的特效触发操作后,需要确定目标特效对应的特效主体,并进一步确定特效主体是否存在丝状对象渲染。若目标特效所对应特效主体上存在丝状对象渲染时,根据参数信息、基础模型等进行粗渲染确定特效主体的特效引导图。
55.s130、对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。
56.在本实施例中,本步骤相当于在特效引导图的基础上对特效主体进行精确渲染。原始特效引导图中已经包含了基础模型以及关键引导线信息,基于此再对丝状对象进行丰富化,具体可以体现以更多更细密更细致的毛线在特效主体上进行渲染。特效引导图可以理解为根据关键引导线信息对基础模型进行粗渲染得到的图像,目标特效画面可以理解为在特效引导图的基础上,包含对特效主体的关键引导线进行进一步精确渲染形成的丝状对象。示例性的,特效引导图可以体现特效主体的显示颜色、显示形态和显示位置以及表征丝状对象的关键引导线。对特效引导图进行进一步渲染,可以理解为对关键引导线进一步渲染,使关键引导线更加丰富细密。
57.示例性的,对所述特效引导图进行渲染处理,获得目标特效的目标特效画面一种实现方式可以是:基于预先训练好的丝状对象渲染模型,将特效引导图输入丝状对象渲染模型,输出目标特效画面。当有目标特效中存在丝状对象渲染需求时,为了能够实时快速的渲染出特效画面,渲染所需时间短、渲染效果好,通过将原本离线做到的渲染效果很好的方式,以一个模型的形式进行体现,通过对该模型进行不断的训练,训练出能够很生动实现渲
染的模型,将该模型直接应用在终端上。
58.示例性的,当有丝状对象渲染需求时将一些信息直接输入该训练好的模型中,就可以得到想要的特效画面。本实施例中,该训练的模型可以为神经网络模型,需要预先通过训练得到,将训练好的神经网络模型记为丝状对象渲染模型。本实施例中,对丝状对象渲染模型的具体模型结构以及训练方式不作具体限制。可以理解的是,特效画面中除丝状对象外的其他对象是可以通过直接在特效引导图中体现的,对于丝状对象需要结合丝状对象渲染模型更真实的体现出来。在获取目标特效画面后,可以将目标特效画面进行显示。
59.本公开实施例的技术方案,先响应于针对目标特效的特效触发操作;当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线;然后对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。本公开实施例的技术方案,引入了特效引导图,可以在所触发的特效包含丝状对象渲染时,首先确定出包含特效主体基础模型信息以及丝状对象关键信息的特效引导图,作为特效的粗渲染,后续可直接对特效引导图进行渲染,获得实现丝状对象精确渲染的目标特效画面。上述技术方案,区别于现有对特效中丝状对象的渲染实现,将对丝状对象的渲染简化为基于丝状对象的关键引导线进行精致渲染,在保证丝状对象渲染精度的同时,有效减少了渲染计算量,保证了丝状对象的渲染速度;同时,本技术方案的丝状对象渲染主要依赖于包含表征丝状对象关键引导线的特效引导图,而特效引导图的确定过程简单易实现,也有效降低了丝状对象设计的制作成本,降低了丝状对象多样化设计的实现难度。
60.示例性的,为了更清楚的表述本公开实施例提供的特效处理方法,下述为特效处理流程的具体实现。图2a为本公开实施例所提供的一种特效处理方法中关于特效主体包含粗渲染信息的效果呈现示例图。如图2a所示,可以看出,图2a中展示了特效主体为狼的粗渲染呈现效果,主要体现在形态参数的展示,如特效主体的轮廓、眼睛睁开状态的渲染,牙齿轮廓的勾勒以及鼻子形态等粗渲染信息。
61.图2b为本公开实施例所提供的一种特效处理方法中关于特效主体的基础模型和关键引导线渲染的效果呈现示例图。如图2b所示,图中包含了特效主体的基础模型和关键引导线所构成的效果图,该效果图可以认为是结合基础模型和关键引导线的渲染就可以形成的。该图中主要包含了关键引导线信息,具体体现为关键引导线所在位置、长度、形状等信息。结合图2a和2b所示包含的相关信息可以进行初渲染获得一个特效引导图,
62.图2c为本公开实施例所提供的一种特效处理方法中关于特效主体的目标特效画面的示例图。如图2c所示,在特效引导图的基础上再进一步渲染处理后所形成的效果展示图。可以看出,最终形成的特效画面中不仅包含特效主体的形态、毛发等效果,还对毛发进行了丰富,毛发浓密且多样,所呈现的效果更为逼真。
63.图3为本公开实施例所提供的另一种特效处理方法流程示意图,本公开实施例对所述特效主体的特效引导图的确定步骤以及目标特效画面的确定步骤进一步说明,如图3所示,所述方法包括:
64.s310、响应于针对目标特效的特效触发操作。
65.s320、确定所述目标特效对应的特效主体。
66.在本实施例中,需要先确定出目标特效,根据接收到的目标特效的特效触发操作,确定想要呈现的特效到底是怎样的,其中应该包含特效主体等信息。当进行特效触发操作时,可以知道即将要呈现的是一个什么特效画面,也就是对目标特效是有一个预判的,基于该预判能够提取出来要达到这个预判需要先清楚特效主体是什么。确定特效主体之后,可以确定特效主体要以目标特效的形式进行展示。
67.s330、如果所述特效主体的展示对象中包括丝状对象,则确定所述特效主体上存在丝状对象渲染。
68.本步骤中,根据特效主体要以目标特效进行展示时,需要确定展示的对象都包括哪些,是否存在丝状对象。示例性的,若特效主体是狼,就可以确定特效主体狼呈现出来的当前形态,如张开嘴巴、睁大眼睛等。另外,当确定特效主体是狼时,就可以清楚的知道对狼所配置的材质属性里面就有毛发这一项。即,要展示特效主体所对应的目标特效时,就知道展示的特效中是否包含丝状对象这一特效,当其中一个特效包含丝状对象这一特效时,确定特效主体上存在丝状对象渲染,即特效主体上存在特效渲染需求。
69.s340、根据所述特效主体的关键引导线信息及基础模型,生成所述特效主体的特效引导图,所述关键引导线信息包括所述关键引导线的位置和/或长度。
70.在本实施例中,当确定特效主体上存在丝状对象渲染时,即当存在丝状对象渲染需求时,需要根据特效主体的关键引导线信息及基础模型,生成特效主体的特效引导图。要得到特效引导图,就需要获取关键引导线信息和基础模型。其中,基础模型是指不同的特效主体进行渲染时需要以三维的形式进行呈现的模型,此处需要一个基础的三维模型。关键引导线信息是指后续要有丝状渲染的话,需要获取基础的或关键的引导线信息作为丝状渲染的基础的丝状信息,即线的信息。关键引导线的信息可以包括丝状对象呈现长度,要呈现在特效主体上位置信息等。特效引导图可以理解为根据引导线信息对基础模型进行粗渲染得到的图像,可以体现特效主体的显示颜色、显示形态和显示位置等信息。
71.进一步的,根据所述特效主体的基础模型及关键引导线信息,生成所述特效主体的特效引导图,包括:
72.a1)获取所述特效主体用于三维建模的基础模型,并提取相对所述特效主体预先设定的关键引导线信息以及粗渲染参数。
73.可以理解的是,特效引导图是粗渲染得到的图像,想要生成特效主体的特效引导图,需要先获取特效主体用于三维建模的基础模型和粗渲染参数。粗渲染参数包括关键引导线信息,以及材质参数、形变参数、光照参数等属性相关的粗渲染参数。关键引导线信息可以包括线的呈现长度,要呈现在特效主体上位置信息等。提取关键引导线信息以及粗渲染参数、基础模型的具体内容与实际要展现的应用场景有关。例如,在移动端或者用户端想要进行特效效果的呈现,效果呈现之前所需的这些参数在设计阶段,也可以理解为在特效素材收集或者创建阶段,这些信息可以作为一个已知信息预先存储起来。当确定目标特效以及特效主体后,可以获取针对于这个特效所需要的数据信息。
74.b1)通过所述粗渲染参数及关键引导线信息,对所述基础模型进行贴片渲染,获得所述特效主体的特效引导图。
75.具体的,当有了上述参数之后,可以在基础模型上以贴片的形式把这些参数进行渲染出来。根据粗渲染参数以及基础模型,可以得到分割引导图。例如,粗渲染里有一个形
变,可以基于形变的位置信息实现模型位置的调整。根据关键引导线信息以及基础模型,可以得到毛发引导图。毛发引导图可以理解为包含对丝状对象进行初步粗渲染的图像。将分割引导图和毛发引导图组合作为特效主体的特效引导图。
76.上述技术方案具体化了根据所述特效主体的基础模型及关键引导线信息,生成特效主体的特效引导图的步骤。当确定存在丝状对象渲染需求时,先获取特效主体用于三维建模的基础模型,并提取特效主体的关键引导线信息以及粗渲染参数;然后通过粗渲染参数及关键引导线信息,对基础模型进行贴片渲染,获得特效主体的特效引导图。通过粗渲染参数对基础模型进行贴片渲染得到分割引导图,通过关键引导线信息对基础模型进行贴片渲染得到毛发引导图,利用分割引导图和毛发引导图融合得到的特效引导图渲染效果较好,采用引导线结合光照白模结合语义分割图作为模型输入,关键引导线信息可以作为监督信息引导基础模型进行发丝的生成,光照白膜可以引入光照和轮廓的信息,语义分割图可以提升边缘和细节的生成效果。并基于丝状对象渲染模型实现丝状对象的更真实的体现。支持基于物理仿真的毛发抖动和光照变换。相比于其他方式得到引导图,本技术方案中的特效引导图渲染质量更佳、效果更逼真。为后续目标特效画面的渲染提供的更为精准的输入图像。
77.s350、将所述特效引导图输入预先训练的丝状对象渲染模型,输出目标特效画面,所述丝状对象渲染模型通过预先确定的引导图-渲染图样本图像对训练获得。
78.在本实施例中,当有目标特效中存在丝状对象渲染需求时,为了能够实时快速的渲染出特效画面,渲染所需时间短、渲染效果好,通过将原本离线做到的渲染效果很好的方式,以一个模型的形式进行体现,通过对该模型进行不断的训练,训练出能够很生动实现渲染的模型,将该模型直接应用在终端上。当有丝状对象渲染需求时将一些信息直接输入该训练好的模型中,就可以得到想要的特效画面。本实施例中,该训练的模型可以为神经网络模型,需要预先通过训练得到,将训练好的神经网络模型记为丝状对象渲染模型。
79.需要知道的是,丝状对象渲染模型通过预先确定的引导图-渲染图样本图像对训练获得。引导图-渲染图样本图像对中包括引导图样本和渲染图样本,渲染图样本可以理解为逼真图,通过将引导图样本输入至神经网络模型中,并结合渲染图样本,可以得到丝状对象渲染模型。本实施例中,对丝状对象渲染模型的训练方式不作具体限制。可以理解的是,特效画面中除丝状对象外的其他对象是可以通过直接在特效引导图中体现的,对于丝状对象需要结合丝状对象渲染模型更真实的体现出来。
80.s360、显示所述目标特效的目标特效画面。
81.具体的,将上述步骤生成的目标特效的目标特效画面进行显示。
82.在本公开实施例中,具体化了特效主体的特效引导图的确定步骤。当接收到针对目标特效的特效触发操作时,先确定目标特效对应的特效主体,然后确定特效主体上的展示对象是否包含丝状对象,若包含则可以确定特效主体上存在丝状对象渲染需求,并进一步根据特效主体的关键引导线信息及基础模型,生成所述特效主体的特效引导图。本实施例提供的技术方案可以快速实现特效引导图的渲染,提高了特效渲染的实时性。
83.作为本公开实施例的可选实施例,在上述实施例的基础上,进一步优化所述丝状对象渲染模型的训练步骤包括:
84.a2)构建初始的条件生成对抗网络模型,所述条件生成对抗网络模型包括:生成器
以及多尺度判别器。
85.在本实施例中,利用对抗网络思想,在对丝状对象渲染模型进行训练的时候采用的是条件生成对抗网络思想,先构建出初始的条件生成对抗网络模型。条件生成对抗网络模型包括生成器和判别器。生成器是基于预先已有的一些信息能够生成一张图,判别器判断这个图是真图还是假图。通过判别出来的结果调整生成器的参数,使得生成器的输出结果越来越逼真,不断调整判别器参数,能够使输入的图越来越精准判断出来是假。
86.可以理解的是,本步骤中条件生成对抗网络模型是改进后的模型,其输入信息不是多维度数字,而是图像。在本实施例中,利用图像翻译的判别器进行训练,图像翻译的判别器采用的策略是,用重建来解决低频成分,生成式对抗网络用来解决高频成分。一方面,使用传统的损失值来让生成的图片跟训练的图片尽量相似,用生成式对抗网络来构建高频部分的细节。其思想是,既然生成式对抗网络只用于构建高频信息,那么就不需要将整张图片输入到判别器中,先随机在图片范围内进行裁剪,得到若干个大小不同的图片块,判别器图片的真假。
87.本实施例中采用多尺度判别器,该多尺度判别器是基于三个尺度构建的。三个尺度的判别器分别为一个独立判别器,共同构成多尺度判别器。多尺度判别器可以理解为进行了三次判别。原图在输入到判别器之前,先随机在图片范围内进行裁剪,得到若干个大小不同的图片块,维护三个层数分别为3,2,1的判别器。每输入到一个层数更少的判别器中时,图片会进行降采样,示例性的,使用降采样函数函数对图片进行降采样。3层判别器直接输入原图,2层判别器输入1/2大小的图片,1层判别器输入1/4大小的图片。将各尺寸图片下输入到判别器中,每一层的判别器都有一个输出,并将一张图片的所有尺度对应的输出结果的均值作为输出结果,并可以计算对应的损失值。示例性的,损失值计算可以与交换编码器的实现类似,此处不做具体限制。
88.b2)获取训练样本集,所述训练样本集中包括至少一组样本图像对,每组样本图像对中包括样本引导图和样本渲染图。
89.本在步骤中,基于训练样本集才能对条件生成对抗网络模型进行训练。其中,条件对抗训练样本集并不是随机的,训练样本集中包括的样本图像对是由样本引导图和样本渲染图构成的。一个样本图像对中的样本引导图和样本渲染图是针对相同主体进行渲染的。其中样本引导图与样本渲染图可以理解为对同一主体进行不同程度的渲染得到的。样本引导图是粗渲染得到的,样本渲染图是采用其他引擎工具进行更好效果的精渲染得到的,样本渲染图可以理解为真实图。
90.c2)根据所述样本图像对,训练所述生成器和多尺度判别器,获得所述丝状对象渲染模型。
91.在本步骤中,样本图像对包含样本引导图和样本渲染图,将样本引导图输入至生成器中,可以得到生成器的输出结果。再将生成器的输出结果和样本引导图以及样本渲染图共同作为判别器的输入,根据判别器的输出结果调整生成器和判别器的参数,实现对生成器和判别器的训练,以使生成器和判别器满足精度要求,将训练后满足精度要求的生成器作为丝状对象渲染模型。
92.本可选实施例,在结构相似性指标损失和生成对抗网络损失的基础上,引入了多尺度判别器,基于以上三种类型尺度的图对判别器进行训练使判别器更为精准。对于毛发
的细节表现有提升,因为输入的维度大大降低,所以参数量少,运算速度也比直接输入一张快,并且可以计算任意大小的图。
93.进一步的,所述根据所述样本图像对,训练所述生成器和多尺度判别器,获得所述丝状对象渲染模型的步骤可以表述为:
94.c21)将所述样本图像对中的样本引导图作为所述生成器的输入数据。
95.具体的,把样本图像对中的样本引导图作为生成器的输入数据,生成器可以对样本引导图进行渲染,得到生成器的输出结果。
96.c22)基于所述生成器的输出结果及所述样本图像对中的样本引导图和样本渲染图构成所述多尺度判别器的两组输入数据。
97.具体的,将生成器的输出结果与样本引导图作为一组数据,将样本图像对中的样本渲染图以及样本引导图作为另一组数据,将两组数据共同构成多尺度判别器的两组输入数据,分别输入至多尺度判别器中。
98.c23)根据所述多尺度判别器相对所述两组输入数据的输出结果,结合预先给定的损失函数,分别对所述生成器和多尺度判别器进行参数调整。
99.具体的,把上述两组输入数据作为判别器的输入,只要运行之后就会有输出结果,根据损失函数的损失结果能够对这些参数进行调整。需要知道的是,预先给定的损失函数是会调整生成器参数和多尺度判别器参数的。条件生成对抗网络模型中对抗思想的目的是,使生成器生成的渲染图更逼近真实图,使得判别器将判别出来的图的真假更准确。预先给定的损失函数是应用到生成器和判别器中的,两者要达到的目标不一样,参数达到的结果也不一样。本步骤中,采用多个损失函数去介入进行参数调整。
100.c24)在满足训练迭代结束条件后,将训练后的生成器作为所述丝状对象渲染模型。
101.其中,迭代结束条件可以理解为将信息输入至生成器中,得到的输出图片达到设定精度以得到逼真的渲染图像,将渲染图像和特效引导图输入到判别器中判别结果达到设定精度,可以精准的判别出渲染图像的真假。若生成器和判别器分别达到设定精度,就可以将训练好的生成器作为丝状对象渲染模型,用于后续对丝状对象的渲染。
102.本可选实施例,具体化了丝状对象渲染模型的训练步骤。在高分辨率网络结构的场景下,引入群组归一化,增强了模型表现的稳定性,减少发丝渲染这种高频场景下的闪烁现象。
103.进一步的,所述生成器以给定第一网络结构表示,所述多尺度判别器以给定的第二网络结构表示;所述损失函数包括:生成对抗损失函数、学习感知图像块相似度损失函数和随机图像块损失函数。
104.其中,针对二维人体姿态估计任务提出的高分辨率网络结构称为hrnet结构,u型网络结构称为unet结构。第一网络结构可以是hrnet结构,也可以是unet结构。在不同场景下,分别采用这两类不同的网络结构。两种结构具有不同的特点,hrnet计算量较大,效果更好,适用于电脑上加速渲染即时交互等场景,hdnet结构相对复杂精度更有保证,真实性更好,对移动终端就不太适合;unet可以压缩到较小的计算量,适用于手机端上部署实时版本。
105.本实施例中,模型采用了图像翻译模式,该模式本质为条件生成对抗网络模型,具
体的原理如下:训练一个条件生成对抗网络模型将轮廓图映射为照片。鉴别器学习对假图片(由生成器合成)和真实图片组进行分类。生成器,学会欺骗鉴别器。与普通生成对抗网络模型不同,生成器和鉴别器都观察输入的轮廓图与生成图片或真实图片,普通生成对抗网络模型直接输入生成图片或真实图片。
106.本可选实施例,具体化了丝状对象渲染模型的训练步骤。在结构相似性指标损失和生成对抗网络损失的基础上,引入了多尺度判别器,基于以上三种类型尺度的图对判别器进行训练使判别器更为精准。对于毛发的细节表现有提升。在hrnet场景下,引入群组归一化,增强了模型表现的稳定性,减少发丝渲染这种高频场景下的闪烁现象。
107.可选的,所述样本图像对中的样本引导图和样本渲染图基于相同的渲染参数分别通过预先给定的渲染引擎工具渲染确定。
108.本步骤中,在离线的渲染引擎工具上进行渲染得到更精准的渲染。其中,渲染参数可以包括相机参数、光照参数、物理参数等。为了保证渲染一致性,需要对基础模型基于相同的渲染参数进行渲染,分别得到样本引导图和样本渲染图。采用相同的参数,即属性、形态、光等的呈现上要保证一致,实现样本引导图和样本渲染图是对齐的。将相同参数对应的样本引导图和样本渲染图组成样本图像对。示例性的,假设狼的特效渲染中狼是张着嘴巴的,则样本引导图和样本渲染图上狼也是张着嘴巴的,且张开的形态是相同的。
109.考虑到想要实现图像的精准渲染,其实现的过程时间相对较长,不是实时能达到的。本步骤中以时间换取渲染效果,从而得到精准的样本渲染图。由于特效引导图可以快速实时的生成,不占用太多时间,基于特效引导图直接输入至预先训练的丝状对象渲染模型中,不用耗费太长时间就可以直接得到一个目标特效画面,可以实现丝状对象的快速实时渲染,提高了特效渲染性能。
110.进一步的,所述样本图像对中样本引导图和样本渲染图的确定步骤包括:
111.a3)获取包含丝状对象的样本主体以及样本渲染参数,所述样本渲染参数包括相机参数、光照参数以及物理仿真形变参数。
112.具体的,找到关于包含丝状对象的样本主体,并获取样本渲染参数,样本渲染参数包括相机参数、光照参数以及物理仿真形变参数等。
113.b3)通过所述样本主体的样本关键引导线信息结合所述样本渲染参数,对所述样本主体的样本建模模型进行贴片渲染,获得所述样本主体的样本引导图。
114.其中,一个样本图像中的样本引导图和样本渲染图是对同一样本主体,同一要求进行渲染得到的。两种图的呈现形式不同,但渲染出来的形态属性是一样的。具体的,通过所述样本主体的样本关键引导线信息结合样本渲染参数,对样本主体的样本建模模型进行贴片渲染,得到样本毛发引导图和样本分割引导图共同组成样本引导图。毛发引导图主要在图中体现样本主体的丝状对象的特征。分割引导图呈现样本主体的形态、形变、区域位置、光参数等内容。
115.c3)在给定的离线渲染引擎工具上,通过所述样本渲染参数对所述样本建模模型进行离线渲染,获得所述样本主体的样本渲染图。
116.其中,给定的离线渲染引擎工具可以是渲染引擎函数。通过样本渲染参数对样本建模模型进行离线渲染,在离线渲染引擎工具上进行渲染,将一些参数配置到离线渲染引擎工具上,基于工具渲染的特效可以实现更真实更逼真的一个渲染图,作为样本主体的样
本渲染图。
117.上述技术方案,考虑到想要实现图像的精准渲染,其实现的过程时间相对较长,不是实时能达到的。本步骤中以时间换取渲染效果,使用传统图形学渲染算法生成,从而得到精准的样本渲染图。基于本技术方案生成的样本图像对用来训练神经网络模型获得丝状对象渲染模型,可以直接将丝状对象渲染模型应用到终端设备上,从而实现渲染效果较好的实时丝状对象渲染功能,提高了包含丝状对象的特效渲染的性能。
118.图4为本公开实施例所提供的一种特效处理装置结构示意图,如图4所示,所述装置包括:响应模块410、引导图确定模块420以及处理显示模块430。
119.其中,响应模块410,用于响应于针对目标特效的特效触发操作;引导图确定模块420,用于当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线;处理显示模块430,用于对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。
120.本公开实施例的技术方案,先响应于针对目标特效的特效触发操作;当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线;然后对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。本公开实施例的技术方案,引入了特效引导图,可以在所触发的特效包含丝状对象渲染时,首先确定出包含特效主体基础模型信息以及丝状对象关键信息的特效引导图,作为特效的粗渲染,后续可直接对特效引导图进行渲染,获得实现丝状对象精确渲染的目标特效画面。上述技术方案,区别于现有对特效中丝状对象的渲染实现,将对丝状对象的渲染简化为基于丝状对象的关键引导线进行精致渲染,在保证丝状对象渲染精度的同时,有效减少了渲染计算量,保证了丝状对象的渲染速度;同时,本技术方案的丝状对象渲染主要依赖于包含表征丝状对象关键引导线的特效引导图,而特效引导图的确定过程简单易实现,也有效降低了丝状对象设计的制作成本,降低了丝状对象多样化设计的实现难度。
121.可选的,引导图确定模块420,具体包括:
122.第一确定单元,用于确定所述目标特效对应的特效主体;
123.第二确定单元,用于如果所述特效主体的展示对象中包括丝状对象,则确定所述特效主体上存在丝状对象渲染;
124.引导图生成单元,用于根据所述特效主体的关键引导线信息及基础模型,生成所述特效主体的特效引导图。
125.可选的,引导图生成单元具体用于:
126.获取所述特效主体用于三维建模的基础模型,并提取相对所述特效主体预先设定的关键引导线信息以及粗渲染参数;
127.通过所述粗渲染参数及关键引导线信息,对所述基础模型进行贴片渲染,获得所述特效主体的特效引导图。
128.可选的,处理显示模块430,具体用于:
129.将所述特效引导图输入预先训练的丝状对象渲染模型,输出目标特效画面,所述
丝状对象渲染模型通过预先确定的引导图-渲染图样本图像对训练获得;
130.显示所述目标特效的目标特效画面。
131.可选的,该装置还包括模型训练模块,所述模型训练模块具体包括:
132.初始构建单元,用于构建初始的条件生成对抗网络模型,所述条件生成对抗网络模型包括:生成器以及多尺度判别器;
133.样本获取单元,用于获取训练样本集,所述训练样本集中包括至少一组样本图像对,每组样本图像对中包括样本引导图和样本渲染图;
134.训练单元,用于根据所述样本图像对,训练所述生成器和多尺度判别器,获得所述丝状对象渲染模型。
135.可选的,训练单元,具体可以用于:
136.将所述样本图像对中的样本引导图作为所述生成器的输入数据;
137.基于所述生成器的输出结果及所述样本图像对中的样本引导图和样本渲染图构成所述多尺度判别器的两组输入数据;
138.根据所述多尺度判别器相对所述两组输入数据的输出结果,结合预先给定的损失函数,分别对所述生成器和多尺度判别器进行参数调整;
139.在满足训练迭代结束条件后,将训练后的生成器作为所述丝状对象渲染模型。
140.可选的,所述生成器以给定第一网络结构表示,所述多尺度判别器以给定的第二网络结构表示;
141.所述损失函数包括:生成对抗损失函数、学习感知图像块相似度损失函数和随机图像块损失函数。
142.可选的,所述样本图像对中的样本引导图和样本渲染图基于相同的渲染参数分别通过预先给定的渲染引擎工具渲染确定。
143.可选的,所述丝状对象为毛发。
144.本公开实施例所提供的特效处理装置可执行本公开任意实施例所提供的特效处理方法,具备执行方法相应的功能模块和有益效果。
145.值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
146.图5为本公开实施例所提供的一种电子设备的结构示意图。下面参考图5,其示出了适于用来实现本公开实施例的电子设备(例如图5中的终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
147.如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom502以及ram503通过总线504彼此相连。编辑/输出(i/o)接口505也连接至总线504。
148.通常,以下装置可以连接至i/o接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
149.特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从rom502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
150.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
151.本公开实施例提供的电子设备与上述实施例提供的特效处理方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
152.本公开实施例提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的特效处理方法。
153.需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
154.在一些实施方式中,客户端、服务器可以利用诸如http(hypertext transfer protocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,adhoc端对端网络),以及任何当前已知或未来研发的网络。
155.上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
156.上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于针对目标特效的特效触发操作;
157.当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线;
158.对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。
159.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
160.附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
161.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
162.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
163.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或
上述内容的任何合适组合。
164.根据本公开的一个或多个实施例,【示例一】提供了一种特效处理方法,该方法包括:
165.响应于针对目标特效的特效触发操作;
166.当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对象的关键引导线;
167.对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。
168.根据本公开的一个或多个实施例,【示例二】提供了一种特效处理方法,该方法包括:
169.可选的,所述当所述目标特效所对应特效主体上存在丝状渲染对象时,确定所述特效主体的特效引导图,包括:
170.确定所述目标特效对应的特效主体;
171.如果所述特效主体的展示对象中包括丝状对象,则确定所述特效主体上存在丝状对象渲染;
172.根据所述特效主体的关键引导线信息及基础模型,生成所述特效主体的特效引导图,所述关键引导线信息包括所述关键引导线的位置和/或长度。
173.根据本公开的一个或多个实施例,【示例三】提供了一种特效处理方法,该方法包括:
174.可选的,所述根据所述特效主体的基础模型及关键引导线信息,生成所述特效主体的特效引导图,包括:
175.获取所述特效主体用于三维建模的基础模型,并提取相对所述特效主体预先设定的关键引导线信息以及粗渲染参数;
176.通过所述粗渲染参数及关键引导线信息,对所述基础模型进行贴片渲染,获得所述特效主体的特效引导图。
177.根据本公开的一个或多个实施例,【示例四】提供了一种特效处理方法,该方法包括:
178.可选的,所述对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,包括:
179.将所述特效引导图输入预先训练的丝状对象渲染模型,输出目标特效画面,所述丝状对象渲染模型通过预先确定的引导图-渲染图样本图像对训练获得;
180.显示所述目标特效的目标特效画面。
181.根据本公开的一个或多个实施例,【示例五】提供了一种特效处理方法,该方法包括:
182.可选的,所述丝状对象渲染模型的训练步骤包括,包括:
183.构建初始的条件生成对抗网络模型,所述条件生成对抗网络模型包括:生成器以及多尺度判别器;
184.获取训练样本集,所述训练样本集中包括至少一组样本图像对,每组样本图像对中包括样本引导图和样本渲染图;
185.根据所述样本图像对,训练所述生成器和多尺度判别器,获得所述丝状对象渲染模型。
186.根据本公开的一个或多个实施例,【示例六】提供了一种特效处理方法,该方法包括:
187.可选的,所述根据所述样本图像对,训练所述生成器和多尺度判别器,获得所述丝状对象渲染模型,包括:
188.将所述样本图像对中的样本引导图作为所述生成器的输入数据;
189.基于所述生成器的输出结果及所述样本图像对中的样本引导图和样本渲染图构成所述多尺度判别器的两组输入数据;
190.根据所述多尺度判别器相对所述两组输入数据的输出结果,结合预先给定的损失函数,分别对所述生成器和多尺度判别器进行参数调整;
191.在满足训练迭代结束条件后,将训练后的生成器作为所述丝状对象渲染模型。
192.根据本公开的一个或多个实施例,【示例七】提供了一种特效处理方法,该方法包括:
193.可选的,所述生成器以给定第一网络结构表示,所述多尺度判别器以给定的第二网络结构表示;
194.所述损失函数包括:生成对抗损失函数、学习感知图像块相似度损失函数和随机图像块损失函数。
195.根据本公开的一个或多个实施例,【示例八】提供了一种特效处理方法,该方法包括:
196.可选的,所述样本图像对中的样本引导图和样本渲染图基于相同的渲染参数分别通过预先给定的渲染引擎工具渲染确定。
197.根据本公开的一个或多个实施例,【示例九】提供了一种特效处理方法,该方法包括:
198.可选的,所述样本图像对中样本引导图和样本渲染图的确定步骤包括:
199.获取包含丝状对象的样本主体以及样本渲染参数,所述样本渲染参数包括相机参数、光照参数以及物理仿真形变参数;
200.通过所述样本主体的样本关键引导线信息结合所述样本渲染参数,对所述样本主体的样本建模模型进行贴片渲染,获得所述样本主体的样本引导图;
201.在给定的离线渲染引擎工具上,通过所述样本渲染参数对所述样本建模模型进行离线渲染,获得所述样本主体的样本渲染图。
202.根据本公开的一个或多个实施例,【示例十】提供了一种特效处理方法,该方法包括:
203.可选的,所述丝状对象为毛发。
204.根据本公开的一个或多个实施例,【示例十一】提供了一种特效处理装置,该装置包括:
205.响应模块,用于响应于针对目标特效的特效触发操作;
206.引导图确定模块,用于当所述目标特效所对应特效主体存在丝状对象渲染时,确定所述特效主体的特效引导图,所述特效引导图包括特效主体的基础模型以及表征丝状对
象的关键引导线;
207.处理显示模块,用于对所述特效引导图进行渲染处理,获得所述目标特效的目标特效画面并显示,其中,所述目标特效画面中包含对关键引导线渲染后形成的丝状对象。
208.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
209.此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
210.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献