一种文件风格化方法、装置、设备及存储介质与流程

1.本发明涉及计算机视觉的技术领域，尤其涉及一种文件风格化方法、装置、设备及存储介质。


背景技术：

2.在拍照、制作社交消息、录制短视频等场景中，用户会制作各种不同的图像数据、视频数据，为了提升图像数据、视频数据的质量，用户在采集图像数据、视频数据之后，通常会对视频数据进行后期处理。
3.其中一种常用的后期处理是变换画面的风格，不同用户对风格的偏向是有所不同的，除了诸如动漫、油画、描边等传统的风格较为稳定之外，某些风格是随着不同业务的兴起而短期内成为热点，例如，改编自某款热门游戏的动画上映，其主题曲流行度高，使得该动画画面的风格在短期内成为热点，某款治愈系的手机游戏下载量高，使得该手机游戏画面的风格在短期内成为热点，等等。
4.目前，多使用神经网络对图像数据、视频数据实现风格化，但如果每新增一种风格，则针对该画面的风格训练一个独立的神经网络，不仅开发量较高，耗时较长，存在一定的滞后性，并且，在累积不同风格的过程中，神经网络的数量不断累积，神经网络的结构通常较为庞大，数量众多的神经网络不仅占据大量的存储资源，在运行时会对处理器、内存等资源造成较大的负担。


技术实现要素：

5.本发明提供了一种文件风格化方法、装置、设备及存储介质，以解决如何提高新增画面的风格的时效性并降低对各种资源的负担。
6.根据本发明的一方面，提供了一种文件风格化方法，包括：加载固定结构的生成对抗网络；查询与所述生成对抗网络均适配的多份配置文件，每份所述配置文件均记录有以重构某一图像风格为目标、对所述生成对抗网络训练得到的参数；为所述生成对抗网络分别加载每份所述配置文件；接收第一客户端针对原始数据对象调用风格化服务发送的风格化请求；响应于所述风格化请求，确定所述原始数据对象待重构的图像风格，作为目标风格；查找已加载目标文件的所述生成对抗网络，作为图像风格重构网络，所述目标文件为记录有以重构所述目标风格为目标、对所述生成对抗网络训练得到的参数的所述配置文件；将所述原始数据对象输入所述图像风格重构网络中重构为目标数据对象，所述目标数据对象维持所述原始数据对象的内容、且具备所述目标风格。
7.根据本发明的另一方面，提供了一种文件风格化装置，包括：
生成对抗网络加载模块，用于加载固定结构的生成对抗网络；配置文件查询模块，用于查询与所述生成对抗网络均适配的多份配置文件，每份所述配置文件均记录有以重构某一图像风格为目标、对所述生成对抗网络训练得到的参数；配置文件加载模块，用于为所述生成对抗网络分别加载每份所述配置文件；风格化请求接收模块，用于接收第一客户端针对原始数据对象调用风格化服务发送的风格化请求；目标风格确定模块，用于响应于所述风格化请求，确定所述原始数据对象待重构的图像风格，作为目标风格；图像风格重构网络查找模块，用于查找已加载目标文件的所述生成对抗网络，作为图像风格重构网络，所述目标文件为记录有以重构所述目标风格为目标、对所述生成对抗网络训练得到的参数的所述配置文件；目标数据对象重构模块，用于将所述原始数据对象输入所述图像风格重构网络中重构为目标数据对象，所述目标数据对象维持所述原始数据对象的内容、且具备所述目标风格。
8.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的文件风格化方法。
9.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的文件风格化方法。
10.在本实施例中，加载固定结构的生成对抗网络；查询与生成对抗网络均适配的多份配置文件，每份配置文件均记录有以重构某一图像风格为目标、对生成对抗网络训练得到的参数；为生成对抗网络分别加载每份配置文件；接收第一客户端针对原始数据对象调用风格化服务发送的风格化请求；响应于风格化请求，确定原始数据对象待重构的图像风格，作为目标风格；查找已加载目标文件的生成对抗网络，作为图像风格重构网络，目标文件为记录有以重构目标风格为目标、对生成对抗网络训练得到的参数的配置文件；将原始数据对象输入图像风格重构网络中重构为目标数据对象，目标数据对象维持原始数据对象的内容、且具备目标风格。本实施例提供统一结构的生成对抗网络实现各种图像风格，生成对抗网络中的对抗机制具有普适性，其判别器是学习判断图像数据的图像风格，可以减少设计衡量风格化好坏的目标函数等操作，在新增图像风格时，可以继承在先图像风格的工程，减少重复开发的工作，大大降低了开发的技术门槛，降低了开发的工作量，减少开发的耗时，提高开发的时效性，并且，在不断累积图像风格的过程中，生成对抗网络的结构固定为一种，主要累积的是配置文件，便于管理，扩展性强，按需加载配置文件至生成对抗网络中即可实现风格化，可以大量减少对存储资源的占据，在运行时会可减少对处理器、内存等资源的负担。
11.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1是根据本发明实施例一提供的一种文件风格化方法的流程图；图2是根据本发明实施例一提供的一种风格化的架构图；图3是根据本发明实施例二提供的一种文件风格化方法的流程图；图4是根据本发明实施例三提供的一种文件风格化方法的流程图；图5是根据本发明实施例四提供的一种文件风格化装置的结构示意图；图6是实现本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
14.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
15.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
16.实施例一图1为本发明实施例一提供的一种文件风格化方法的流程图，本实施例可适用于使用统一结构的生成对抗网络（generative adversarial network，gan）训练实现不同风格的参数、从而按业务加载参数进行风格化的情况，该方法可以由文件风格化装置来执行，该文件风格化装置可以采用硬件和/或软件的形式实现，该文件风格化装置可配置于电子设备中。如图1所示，该方法包括：步骤101、加载固定结构的生成对抗网络。
17.在本实施例中，如图2所示，可以预先针对不同图像风格（即画面的风格）构建一个生成对抗网络210，即，生成对抗网络210的结构固定。
18.针对多种图像风格统一训练该结构固定的生成对抗网络，可以得到多份适用于该结构固定的生成对抗网络的参数。
19.一般情况下，生成对抗网络包括生成器和判别器。其中，生成器负责依据随机向量产生内容，在本实施例中，该内容为图像数据，尤其为具有由游戏改编的动画的风格的图像数据；判别器负责判别接收的内容是否是真实的，判别器通常会给出一个概率，代表内容的真实度。
20.生成器和判别器可以使用不同的结构，对于处理图像数据的功能，这些结构不局限于人工设计的神经网络，如卷积层（convolutional layer）、全连接层（fully connected layers）等，也可以通过模型量化方法优化的神经网络，通过nas（neural architecture search，神经网络结构搜索）方法针对风格化搜索的神经网络，等等，本实施例对此不加以限制。
21.针对不同结构的生成器和判别器，可以将生成对抗网络划分为如下类型：dcgan（深度卷积生成对抗网络）、cgan（条件生成对抗网络）、cyclegan（周期生成对抗网络）、cogan（耦合生成对抗网络）、progan（生成对抗网络的渐进式增长）、wgan（wasserstein 生成对抗网络）、sagan（自注意力生成对抗网络）、biggan（大生成对抗性网络）、stylegan（基于风格的生成对抗网络）。
22.生成器和判别器存在对抗，所谓对抗，可以指在生成对抗网络交替训练的过程，以生成具有指定风格的图像数据为例，让生成器生成一些假的图像数据和真的图像数据，一起交给判别器判别，让它学习区分两者，给真的图像数据（即具有指定风格的图像数据）评高分，给假的图像数据（即不具有指定风格的图像数据）评低分，当判别器能够熟练判断现有的图像数据后，让生成器以从判别器处获得高分为目标，不断生成更好的假的图像数据，直到能骗过判别器，重复这一过程，直到判别器对任何图像数据的预测概率都接近0.5，也就是无法判别图像数据的真假，即可停止训练了。
23.进一步而言，训练生成对抗网络的样本可选为成对数据（paired data），这样子可以提高生成对抗网络的性能，考虑到某些情况下收集成对数据较为困难，例如，如果图像风格为动漫风格，训练生成对抗网络的图像风格来源（样本）为描绘动漫的图像数据，为了保持成对数据，训练生成对抗网络的内容来源（样本）为成对数据包含动漫对应真实世界的图像数据，等等，因此，针对某些图像风格，训练生成对抗网络的样本为非成对数据（unpaired data）训练，即，生成对抗网络支持非成对数据训练，例如，cyclegan、stylegan，等等。
24.生成对抗网络引入了判别器，其对抗机制的普适性，降低了设计生成对抗网络的难度，尤其是一些难以直接用数学公式衡量风格化好坏的目标函数，为了支持重构多种图像风格。
25.针对不同的图像风格，如果要用基于范数的损失函数则需求大量的成对数据，而生成对抗网络中是让判别器来学习判断图像数据的图像风格，判别器学习的是图像风格而不是图像数据里的物体，所以，符合同一种图像风格的图像数据即可支持训练，不依赖对应图像数据中的物体。
26.以learning to cartoonize using white-box cartoon representations（学习使用白盒卡通表示法进行卡通化网络）作为生成对抗网络的示例，该网络包含三个模块，可将原始的图像数据和风格化后的图像数据分为三个表征：1、surface（表面）表征提取表面表征来表示图像数据的光滑表面。给定图像数据，可提取加权低频分量，
其中颜色成分和表面纹理被保留，边缘、纹理和细节被忽略，可用于实现平滑表面的灵活和可学习的特征表示。
27.2、structure（结构）表征结构表征可有效抓住赛璐珞卡通风格中的全局结构信息和稀疏色块从输入的图像数据中提取分割区域，对每个分割区域应用自适应着色算法以生成结构表征。结构表征可模仿赛璐珞卡通风格，其特点是边界清晰，色块稀疏。
28.3、texture（纹理）表征纹理表征包含绘制的细节和边缘。输入的图像数据被转换为单通道强度图，其中去除了颜色和亮度，并保留了相对像素强度。纹理表征可引导网络独立学习高频纹理细节，排除颜色和亮度模式。
29.在训练时，通过平衡表面表征、结构表征、纹理表征的权重来控制图像数据输出的风格。
30.在应用风格化服务可读取生成对抗网络的结构，将生成对抗网络加载至内存进行运行。
31.步骤102、查询与生成对抗网络均适配的多份配置文件。
32.在本实施例中，如图2所示，离线针对多种图像风格统一训练该结构固定的生成对抗网络210，可以得到多份适用于该结构固定的生成对抗网络的参数，每份参数均可存储在生成对抗网络的配置文件config 212中，存储在本地的数据库中，即，每份配置文件config 212均记录有以重构某一图像风格为目标、对生成对抗网络训练得到的参数。
33.在应用风格化服务时，从本地的数据库中读取与生成对抗网络均适配的多份配置文件。
34.步骤103、为生成对抗网络分别加载每份配置文件。
35.在本实施例中，将每份配置文件中加载至该生成对抗网络的实例中，即，将为某种图像风格训练的参数加载至该生成对抗网络中，使得该生成对抗网络具备实现重构与该份参数相应的图像风格的能力。
36.将生成对抗网络封装为一个主类，生成对抗网络通常以实例（即一个实例化的对象）的形式运行，而在电子设备中，因电子设备的类型、风格化服务的优先级等因素，分配给生成对抗网络的资源可能有所不同，对生成对抗网络创建实例的数量也有所不同。
37.在资源较为充足的情况下，如图2所示，可以为生成对抗网络210生成多个实例211，其中，实例211的数量与配置文件config212的数量相同，即，针对每种图像风格创建一个实例211。
38.进一步而言，可以创建多个进程，进程是一个程序在一个数据集上的一次动态执行过程，其中，进程的数量与配置文件的数量相同，即，针对每种图像风格创建一个进程，在每个进程中为生成对抗网络创建一个实例。
39.从而将每份配置文件分别加载至每个实例中，从而针对每个图像风格构建一个具备重构该图像风格的能力的生成对抗网络（即实例）。
40.需要说明的是，生成对抗网络并不一定同时加载所有图像风格的配置文件，可以根据业务的需求加载相应图像风格的配置文件，在空闲时释放相应图像风格的配置文件，降低资源的占用。
41.在资源较为紧缺的情况下，可以为生成对抗网络生成一个或多个实例，其中，实例的数量小于配置文件的数量，即，部分图像风格共用一个实例，按照某种调度的顺序切换加载不同图像风格的配置文件。
42.进一步而言，可以创建一个或多个进程，其中，进程的数量小于配置文件的数量，在该进程中为生成对抗网络创建一个实例。
43.针对当前部分图像风格共用的实例，可以按照该调度的顺序查询下一位待重构的图像风格，作为样本风格。
44.若样本风格与当前的图像风格不同，则针对样本风格遍历各个配置文件。
45.若某个配置文件记录有以样本风格为重构的目标、对生成对抗网络训练得到的参数，则将该配置文件加载至该实例中。
46.若样本风格与当前的图像风格相同，则在该实例中维持当前的配置文件，并不更换配置文件。
47.步骤104、接收第一客户端针对原始数据对象调用风格化服务发送的风格化请求。
48.一般情况下，生成对抗网络的结构、参数均较为庞大，占用的资源较多，通常部署在服务器，服务器可将生成对抗网络封装api（application programming interface，应用程序编程接口），面向局域网或公网的用户提供风格化服务，用户可以登录第一客户端，第一客户端调用该接口将待重构图像风格的原始数据对象传输至服务器，向服务器发送风格化请求。
49.其中，从格式区分，原始数据对象可以包括图像数据、视频数据，为便于区分，分别记为原始图像数据、原始视频数据。
50.从场景区分，在局域网的用户上传的原始数据对象可以包括与业务相关的图像数据、视频数据，例如，美术人员（用户）为推广某款游戏而设计的海报、短视频，等等，在公网的用户上传的原始数据对象多为与用户的生活、娱乐、工作相关的图像数据、视频数据，例如，用户的自拍照、用户录制的短视频，等等。
51.步骤105、响应于风格化请求，确定原始数据对象待重构的图像风格，作为目标风格。
52.用户可以根据业务等需求，选择对原始数据对象重构的图像风格，该图像风格以特定的标志位记录、封装在风格化请求中，那么，在接收到风格化请求时，可从风格化请求中读取特定的标志位上的数据，得到原始数据对象待重构的图像风格，记为目标风格。
53.步骤106、查找已加载目标文件的生成对抗网络，作为图像风格重构网络。
54.在本实施例中，可以针对目标风格定义目标文件，该目标文件为记录有以重构目标风格为目标、对生成对抗网络训练得到的参数的配置文件。
55.在已加载配置文件的生成对抗网络（即实例）中，查找已加载目标文件的生成对抗网络，记为图像风格重构网络。
56.步骤107、将原始数据对象输入图像风格重构网络中重构为目标数据对象。
57.在本实施例中，将原始数据对象输入至图像风格重构网络中，图像风格重构网络其结构对原始数据对象进行处理，将原始数据对象重构为目标数据对象，其中，目标数据对象维持原始数据对象的内容、且其内容具备目标风格。
58.若原始数据对象为原始图像数据，则可以将该原始图像数据输入至图像风格重构
网络中，图像风格重构网络其结构对原始图像数据进行处理，将原始图像数据重构为目标图像数据（目标数据对象）。
59.若原始数据对象为原始视频数据，则可以提取原始视频数据中的每帧原始图像数据，将每帧原始图像数据分别输入至图像风格重构网络中，图像风格重构网络其结构对每帧原始图像数据进行处理，将每帧原始图像数据重构为目标图像数据，在原始视频数据中，将每帧目标图像数据替换原始图像数据，得到目标视频数据（目标数据对象）。
60.在具体实现中，如图2所示，可以在内存中针对生成对抗网络210的各个实例211配置任务队列220，使得每个生成对抗网络210的各个实例211均配置有任务队列220，该任务队列220用于存储应用该生成对抗网络210的各个实例211实现风格化的风格化任务。
61.在资源较为充足的情况下，该任务队列中的风格化任务可以统一图像风格。
62.在资源较为紧缺的情况下，该任务队列中的风格化任务可以包含至少两种图像风格。
63.一般情况下，该任务队列为fifo（first input first output，先进先出）队列，使得生成对抗网络的实例按照时间顺序执行风格化任务。
64.在某些情况下，可以按照风格化任务的优先级、风格化任务的预估耗时等因素对风格化任务的顺序进行调度，提高生成对抗网络的实例执行风格化任务的效率，尤其为在资源较为紧缺的情况下，聚合一定范围相同图像风格化的风格化任务，减少切换配置文件的操作，降低切换配置文件的频率。
65.那么，如图2所示，针对当前的原始数据对象230创建风格化任务，即，风格化任务中具有指向原始数据对象的标识（如id、地址等），以便读取原始数据对象本身。
66.在所有的任务队列中查询为图像风格重构网络对应的实例所配置的任务队列，作为目标队列，从而将风格化任务写入目标队列中，等待执行。
67.对于图像风格重构网络而言，按照既定的顺序从目标队列中读取风格化任务，以及，执行该风格化任务、以将原始数据对象230输入生成对抗网络210（即图像风格重构网络）对应的实例211中重构为目标数据对象240。
68.针对某些可控的生成对抗网络，风格化任务除了指向原始数据对象的标识（如id、地址等）之外，还可以写入控制生成对抗网络的风格化参数，如风格化的强度等。
69.那么，在执行风格化任务时，可以从风格化任务中读取原始数据对象、风格化参数，将原始数据对象输入图像风格重构网络对应的实例中，按照风格化参数重构为目标数据对象，提高了风格化的灵活度。
70.在本实施例中，加载固定结构的生成对抗网络；查询与生成对抗网络均适配的多份配置文件，每份配置文件均记录有以重构某一图像风格为目标、对生成对抗网络训练得到的参数；为生成对抗网络分别加载每份配置文件；接收第一客户端针对原始数据对象调用风格化服务发送的风格化请求；响应于风格化请求，确定原始数据对象待重构的图像风格，作为目标风格；查找已加载目标文件的生成对抗网络，作为图像风格重构网络，目标文件为记录有以重构目标风格为目标、对生成对抗网络训练得到的参数的配置文件；将原始数据对象输入图像风格重构网络中重构为目标数据对象，目标数据对象维持原始数据对象的内容、且具备目标风格。本实施例提供统一结构的生成对抗网络实现各种图像风格，生成对抗网络中的对抗机制具有普适性，其判别器是学习判断图像数据的图像风格，可以减少
设计衡量风格化好坏的目标函数等操作，在新增图像风格时，可以继承在先图像风格的工程，减少重复开发的工作，大大降低了开发的技术门槛，降低了开发的工作量，减少开发的耗时，提高开发的时效性，并且，在不断累积图像风格的过程中，生成对抗网络的结构固定为一种，主要累积的是配置文件，便于管理，扩展性强，按需加载配置文件至生成对抗网络中即可实现风格化，可以大量减少对存储资源的占据，在运行时会可减少对处理器、内存等资源的负担。
71.实施例二图3为本发明实施例二提供的一种文件风格化方法的流程图，本实施例在上述实施例的基础上增加了后处理的操作。如图3所示，该方法包括：步骤301、加载固定结构的生成对抗网络。
72.步骤302、查询与生成对抗网络均适配的多份配置文件。
73.其中，每份配置文件均记录有以重构某一图像风格为目标、对生成对抗网络训练得到的参数。
74.步骤303、为生成对抗网络分别加载每份配置文件。
75.步骤304、接收第一客户端针对原始数据对象调用风格化服务发送的风格化请求。
76.步骤305、响应于风格化请求，确定原始数据对象待重构的图像风格，作为目标风格。
77.步骤306、查找已加载目标文件的生成对抗网络，作为图像风格重构网络。
78.其中，目标文件为记录有以重构目标风格为目标、对生成对抗网络训练得到的参数的配置文件。
79.步骤307、将原始数据对象输入图像风格重构网络中重构为目标数据对象。
80.其中，目标数据对象维持原始数据对象的内容、且具备目标风格。
81.步骤308、加载为一种或多种图像风格配置的图像处理程序。
82.在实际应用中，生成对抗网络可以在整体上重构图像风格，而在可能在某些图像风格的细节上存在缺失，针对此情况，本实施例可以对某些图像风格配置图像处理程序，这些图像处理程序可以实现一个或多个功能，这些功能通常在图像数据的像素点的基础上进行图像处理，例如，人脸检测、边缘检测、ocr（optical character recognition，光学字符识别），等等。
83.这些图像处理程序可以封装在独立于生成对抗网络的文件中，如dll（dynamic link library，动态链接库）文件。
84.不同的图像风格可能会使用同一种图像处理程序，因而图像处理程序实现的功能可以依据其复用程度划分，本实施例对此不加以限制。
85.一般情况下，划分图像处理程序实现的功能的粒度越小，越有利于被不同的图像风格所复用，尤其为被未来可能新增的图像风格所复用，可有效降低开发成本。
86.步骤309、查询与目标风格适配的图像处理程序，作为目标处理程序。
87.在本实施例中，技术人员已预先根据业务上的适配程度对每种图像风格配置一个或多个图像处理程序，每个图像处理程序之间具有调用顺序。
88.如图2所示，在确定目标风格时，可查询为目标风格配置的一个或多个图像处理程序，作为目标处理程序250。
89.步骤310、调用目标处理程序对目标数据对象执行后处理。
90.在本实施例中，如图2所示，可以按照目标处理程序250的调用顺序、依次调用目标处理程序对目标数据对象执行图像处理，相对于重构图像风格而言，该图像处理属于后处理。
91.其中，首个目标处理程序的输入（目标对象数据）为风格化网络的输出（目标对象数据），非首个目标处理程序的输入（目标对象数据）为前一个目标处理程序的输出（目标对象数据），末尾目标处理程序输出最终的目标对象数据。
92.若目标数据对象为目标图像数据，则可以按照目标处理程序的调用顺序、依次调用目标处理程序对目标图像数据执行后处理。
93.若目标数据对象为目标视频数据，则可以提取目标视频数据中的每帧目标图像数据，按照目标处理程序的调用顺序、依次调用目标处理程序对目标图像数据执行后处理，在目标视频数据中，将每帧后处理之后的目标图像数据替换后处理之前的目标图像数据。
94.针对不同业务的需求，不同目标处理程序组合而成的后处理有所不同，本实施例对此不加以限制。
95.在一个示例中，可以在原始数据对象中检测目标元素，其中，目标元素不适于重构为目标风格，其在画面上表现的效果与业务不适配，从而对目标元素执行如下任一项调整：1、将目标元素映射回目标数据对象中。
96.考虑到重构图像风格一般不会对原始数据对象中的内容造成明显的位置迁移，并且，某些图像风格会对一些内容造成较为明显的模糊，尤其为一些小体积的内容，如人脸数据、字幕数据等，这些内容可作为目标元素。
97.在本项调整中，可以以目标元素作为掩膜mask，在目标数据对象中检测位于掩膜下的候选元素，即，候选元素与目标元素的位置相同，此时，在目标数据对象中，将目标元素替换候选元素。
98.2、在目标数据对象中删除位于目标元素内的内容。
99.某些图像风格会对一些内容构建多余的数据，对该内容造成影响，例如，对于素描、描边等图像风格，可能在人脸数据上产生一些多余的线条，即，位于人脸数据内、五官外的线条，这些内容可作为目标元素。
100.在本项调整中，以目标元素作为掩膜mask，在目标数据对象中检测位于掩膜下的候选元素，即，候选元素与目标元素的位置相同，此时，在目标数据对象中删除位于目标元素内的数据，若完成删除，则将目标数据对象叠加在原始数据对象上，作为新的目标数据对象。
101.3、将目标元素融合至目标数据对象中。
102.考虑到重构图像风格一般不会对原始数据对象中的内容造成明显的位置迁移，并且，某些图像风格会对一些内容造成较为一定的模糊，如人脸数据等，这些内容可作为目标元素。
103.在本项调整中，可以以目标元素作为掩膜mask，在目标数据对象中检测位于掩膜下的候选元素，即，候选元素与目标元素的位置相同，此时，在目标数据对象中，将目标元素融合至候选元素，即，使用线性（即加权求和）等方式将目标元素的像素点的颜色与候选元素的像素点的颜色融合，在保留一定图像风格的情况下，提高其清晰度。
104.在另一个示例中，由于某些样本的图像风格构成较为复杂，某些风格占据主要地位（即主体风格），可以在短时间内让用户的注意力集中在主体风格上，某些图像风格占据属于细节、占据非主要地位（即非主体风格），但用户也会在某些时候将注意力集中在这些非主体风格上，例如，某款治愈系的手机游戏的主体风格为偏暖色（如浅黄绿色）的油画风格，该手机游戏内的各个元素设计得较为精致，可体现出温馨治愈的感觉，非主体风格可以体现在边缘明显且为褐色、光影变化较为圆润等方面。
105.主体风格的学习难度较低，非主体风格的学习难度较高，针对该图像风格训练的生成对抗网络可实现该图像风格中主体风格的重构。
106.在本示例中，目标风格可表征为第一风格特征、第二风格特征，第一风格特征为目标风格的主体风格，第二风格特征为目标风格的非主体风格。
107.那么，若目标数据对象具备第一风格特征，则可以按照目标处理程序的调用顺序、依次调用目标处理程序对目标数据对象执行图像处理，以对目标数据对象添加第二风格特征，使得目标数据对象具备完整的目标风格。
108.当然，上述后处理只是作为示例，在实施本实施例时，可以根据实际情况设置其它后处理，本实施例对此不加以限制。另外，除了上述后处理外，本领域技术人员还可以根据实际需要采用其它后处理，本实施例对此也不加以限制。
109.实施例三图4为本发明实施例二提供的一种文件风格化方法的流程图，本实施例在上述实施例的基础上增加了业务操作。如图4所示，该方法包括：步骤401、加载固定结构的生成对抗网络。
110.步骤402、查询与生成对抗网络均适配的多份配置文件。
111.其中，每份配置文件均记录有以重构某一图像风格为目标、对生成对抗网络训练得到的参数。
112.步骤403、为生成对抗网络分别加载每份配置文件。
113.步骤404、接收第一客户端针对原始数据对象调用风格化服务发送的风格化请求。
114.步骤405、查询在第一客户端中登录的用户的用户信息。
115.步骤406、根据用户信息校验风格化请求的合法性。
116.针对公网的用户，其调用风格化服务是具有一定权限限制的，因此，在接收到第一客户端调用调用风格化服务发送的风格化请求时，可以从风格化请求中读取当前在第一客户端登录的用户的用户标识（如id等），依据该用户标识在数据库中船该用户的用户信息，从而使用这些用户信息校验风格化请求的合法性，从而保证风格化服务的安全性，保证风格化服务的正常开展。
117.在一个示例中，在推广风格化服务的阶段，为降低用户调用风格化服务的次数、降低资源的消耗，可以根据用户的等级等信息对用户配置试用风格化服务的次数，限制试用时风格化的对象为图像数据。
118.那么，在本示例中，可以从用户信息中读取用户剩余试用风格化服务的次数，并检测原始数据对象的格式。
119.若剩余试用风格化服务的次数大于0、且原始数据对象的格式为图像数据，则确定风格化请求的合法性为合法。
120.若剩余试用风格化服务的次数等于0，或者，原始数据对象的格式为视频数据，则确定风格化请求的合法性为非法。
121.在另一个示例中，用户可以通过直接购置风格化服务、购置会员等方式订阅风格化服务，订阅风格化服务的方式按照次数和/或时间使用风格化服务，那么，在本示例中，可以从用户信息中读取用户订阅风格化服务的总次数和/或时间范围、用户累积调用风格化服务的次数；若累计调用风格化服务的次数小于总次数和/或当前的时间位于时间范围内，则确定风格化请求的合法性为合法。
122.若累计调用风格化服务的次数等于总次数和/或当前的时间位于时间范围外，则确定风格化请求的合法性为非法。
123.在又一个示例中，可以统计原始数据对象的帧数，将帧数乘以预设的单位权限数据，从而将帧数映射为调用风格化服务消耗的第一权限数据。
124.从用户信息中读取用户具有的第二权限数据，并将第一权限数据与第二权限数据进行比较。
125.若第二权限数据大于或等于第一权限数据，则确定风格化请求的合法性为合法。
126.若第二权限数据小于第一权限数据，则确定风格化请求的合法性为非法。
127.其中，单位权限数据、第一权限数据与第二权限数据均为虚拟的权限数据，如网站提供的虚拟增值数据。
128.当然，上述校验合法性的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其它校验合法性的方式，本实施例对此不加以限制。另外，除了上述校验合法性的方式外，本领域技术人员还可以根据实际需要采用其它校验合法性的方式，本实施例对此也不加以限制。
129.步骤407、若风格化请求合法，则响应于风格化请求，确定原始数据对象待重构的图像风格，作为目标风格。
130.如果确认第一客户端的风格化请求合法，则可以响应于风格化请求，对原始对象数据风格化。
131.如果确认第一客户端的风格化请求非法，则生成提示信息，并将提示信息发送至第一客户端进行显示，向用户提示此次调用风格化服务非法、并提出非法的原因，此时，并不响应于风格化请求，禁止对原始对象数据风格化。
132.步骤408、查找已加载目标文件的生成对抗网络，作为图像风格重构网络。
133.其中，目标文件为记录有以重构目标风格为目标、对生成对抗网络训练得到的参数的配置文件。
134.步骤409、将原始数据对象输入图像风格重构网络中重构为目标数据对象。
135.其中，目标数据对象维持原始数据对象的内容、且具备目标风格。
136.步骤410、若原始数据对象为内容介绍游戏的视频数据，则在目标数据对象中添加与游戏相关的推广元素。
137.在本实施例中，如果原始数据对象的格式为视频数据、且业务的用途为内容介绍游戏，则可以在目标数据对象中添加与该游戏相关的推广元素，其中，推广元素为推广该游戏的数据，例如，分发游戏的平台的logo（图标）、banner（横幅信息）、ec（endingcard，结束
片段），等等。
138.步骤411、在指定的渠道发布已添加推广元素的目标数据对象，以在第二客户端访问渠道时，将目标数据对象推送至第二客户端进行播放。
139.在目标数据对象添加推广元素的情况下，可以在指定的渠道（如新闻资讯、短视频、小说阅读、运动健康等）发布目标数据对象，在第二客户端访问该渠道时，可以将已添加推广元素的目标数据对象推送至第二客户端，第二客户端播放已添加推广元素的目标数据对象，若用户浏览已添加推广元素的目标数据对象的过程中对该游戏产生兴趣，则可以依据从推广元素从分发游戏的平台中搜索并下载游戏。
140.实施例四图5为本发明实施例四提供的一种文件风格化装置的结构示意图。如图5所示，该装置包括：生成对抗网络加载模块501，用于加载固定结构的生成对抗网络；配置文件查询模块502，用于查询与所述生成对抗网络均适配的多份配置文件，每份所述配置文件均记录有以重构某一图像风格为目标、对所述生成对抗网络训练得到的参数；配置文件加载模块503，用于为所述生成对抗网络分别加载每份所述配置文件；风格化请求接收模块504，用于接收第一客户端针对原始数据对象调用风格化服务发送的风格化请求；目标风格确定模块505，用于响应于所述风格化请求，确定所述原始数据对象待重构的图像风格，作为目标风格；图像风格重构网络查找模块506，用于查找已加载目标文件的所述生成对抗网络，作为图像风格重构网络，所述目标文件为记录有以重构所述目标风格为目标、对所述生成对抗网络训练得到的参数的所述配置文件；目标数据对象重构模块507，用于将所述原始数据对象输入所述图像风格重构网络中重构为目标数据对象，所述目标数据对象维持所述原始数据对象的内容、且具备所述目标风格。
141.在本发明的一个实施例中，所述配置文件加载模块503还用于：为所述生成对抗网络生成多个实例，所述实例的数量与所述配置文件的数量相同；将每份所述配置文件中的参数分别加载至每个所述实例中。
142.在本发明的一个实施例中，所述配置文件加载模块503还用于：创建多个进程，所述进程的数量与所述配置文件的数量相同；在每个所述进程中为所述生成对抗网络创建一个实例。
143.在本发明的一个实施例中，每个所述实例均配置有任务队列；所述目标数据对象重构模块507还用于：针对所述原始数据对象创建风格化任务；查询为所述图像风格重构网络对应的所述实例所配置的所述任务队列，作为目标队列；将所述风格化任务写入所述目标队列中；
按照顺序从所述目标队列中读取所述风格化任务；执行所述风格化任务、以将所述原始数据对象输入所述图像风格重构网络对应的所述实例中重构为目标数据对象。
144.在本发明的一个实施例中，所述目标数据对象重构模块507还用于：从所述风格化任务中读取所述原始数据对象、风格化参数；将所述原始数据对象输入所述图像风格重构网络对应的所述实例中，按照所述风格化参数重构为目标数据对象。
145.在本发明的另一个实施例中，所述配置文件加载模块503还用于：为所述生成对抗网络生成实例，所述实例的数量小于所述配置文件的数量；针对当前所述实例，查询下一位待重构的图像风格，作为样本风格；若某个配置文件记录有以所述样本风格为重构的目标、对所述生成对抗网络训练得到的参数，则将所述配置文件加载至所述实例中。
146.在本发明的一个实施例中，还包括：图像处理程序加载模块，用于加载为一种或多种所述图像风格配置的图像处理程序；目标处理程序查询模块，用于查询与所述目标风格适配的所述图像处理程序，作为目标处理程序；后处理执行模块，用于调用所述目标处理程序对所述目标数据对象执行后处理。
147.在本发明的一个实施例中，所述后处理执行模块还用于：在所述原始数据对象中检测目标元素，所述目标元素不适于重构为所述目标风格；对所述目标元素执行如下任一项调整：以所述目标元素作为掩膜，在所述目标数据对象中检测位于所述掩膜下的候选元素，在所述目标数据对象中，将所述目标元素替换所述候选元素；以所述目标元素作为掩膜，在所述目标数据对象中检测位于所述掩膜下的候选元素，在所述目标数据对象中，删除位于所述目标元素内的数据，若完成删除，则将所述目标数据对象叠加在所述原始数据对象上，作为新的目标数据对象；以所述目标元素作为掩膜，在所述目标数据对象中检测位于所述掩膜下的候选元素，在所述目标数据对象中，将所述目标元素融合至所述候选元素。
148.在本发明的另一个实施例中，所述目标风格表征为第一风格特征、第二风格特征，所述后处理执行模块还用于：若所述目标数据对象具备所述第一风格特征，则调用所述目标处理程序对所述目标数据对象执行图像处理，以对所述目标数据对象添加所述第二风格特征。
149.在本发明的一个实施例中，还包括：用户信息查询模块，用于查询在所述第一客户端中登录的用户的用户信息；合法性校验模块，用于根据所述用户信息校验所述风格化请求的合法性；若所述风格化请求合法，则调用所述目标风格确定模块505。
150.在本发明的一个实施例中，所述合法性校验模块还用于：从所述用户信息中读取所述用户剩余试用所述风格化服务的次数；
若剩余试用所述风格化服务的次数大于0、且所述原始数据对象为图像数据，则确定所述风格化请求合法；或者，从所述用户信息中读取所述用户订阅所述风格化服务的总次数和/或时间范围、所述用户累积调用所述风格化服务的次数；若累积调用所述风格化服务的次数小于所述总次数和/或当前的时间位于所述时间范围内，则确定所述风格化请求合法；或者，统计所述原始数据对象的帧数；将所述帧数映射为调用所述风格化服务消耗的第一权限数据从所述用户信息中读取所述用户具有的第二权限数据；若所述第二权限数据大于或等于所述第一权限数据，则确定所述风格化请求合法。
151.在本发明的一个实施例中，还包括：推广元素添加模块，用于若所述原始数据对象为内容介绍游戏的视频数据，则在所述目标数据对象中添加与所述游戏相关的推广元素；目标数据对象发布模块，用于在指定的渠道发布已添加所述推广元素的所述目标数据对象，以在第二客户端访问所述渠道时，将所述目标数据对象推送至所述第二客户端进行播放。
152.本发明实施例所提供的文件风格化装置可执行本发明任意实施例所提供的文件风格化方法，具备执行文件风格化方法相应的功能模块和有益效果。
153.实施例五图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
154.如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（rom）12、随机访问存储器（ram）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（rom）12中的计算机程序或者从存储单元18加载到随机访问存储器（ram）13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出（i/o）接口15也连接至总线14。
155.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
156.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11
的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如文件风格化方法。
157.在一些实施例中，文件风格化方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的文件风格化方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行文件风格化方法。
158.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
159.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
160.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
161.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
162.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算
系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）、区块链网络和互联网。
163.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
164.实施例六本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的文件风格化方法。
165.计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（lan）或广域网（wan）—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
166.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
167.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。