一种基于Puppeteer和CGAN的海报自主生成系统的制作方法

一种基于puppeteer和cgan的海报自主生成系统
技术领域
1.本技术属于视觉传达设计领域，具体涉及一种基于puppeteer和cgan的海报自主生成系统。


背景技术：

2.海报作为视觉传达的途径之一，相比于传统的图片或者文字，能够更加生动直观的展现宣传意图，加强宣传的渲染力。
3.早期的海报主要依靠ui设计师手工设计，不仅对ui设计师的设计经验和专业知识具有一定要求，导致海报设计门槛较高，而且，海报设计工作存在机械单调的特点，使得ui设计师们的设计工作变得枯燥乏味，缺乏创造性。
4.随着 web 技术的发展，出现了由前端来生成一张又一张的海报图片，这样，ui设计师只需要设计一张模版图片，剩余的交给前端来完成，但还是存在许多无法解决的难点：对于远程图片，可能会由于跨域和兼容的问题，造成绘制失败；同一张模板图片可能会多次绘制，导致用户体验感差；更换海报样式需要直接修改客户端和业务服务端的代码，代码耦合度高；模板图片内容单调，且设计模板图片需要丰富的设计经验和专业的设计知识。


技术实现要素：

5.针对上述海报设计时存在的难点，本发明提供了一种基于puppeteer和cgan的海报自主生成系统。
6.一种基于puppeteer和cgan的海报自主生成系统，由客户端、业务服务端、cgan推理服务器组成，工作流程包括以下步骤：步骤1，所述客户端用于和客户进行交互，接收客户指令输入，并和所述业务服务端保持连接，进一步地，向所述业务服务端发送消息a，具体地，包含以下子步骤：步骤1.1，在linux服务器上部署所述业务服务端，并配置进程数量等于puppeteer控制的headlesschrome个数；步骤1.2，所述业务服务端开启web服务，接收外部的连接请求；步骤1.3，所述客户端接收用户指令输入，并将输入的指令编译成消息a，具体地，消息a为json格式，其结构为：{"webpage":"url","clip":{"x":0,"y":0,"width":375,"height":667},"encoding":"encoding"} 其中，webpage表示网页地址，clip表示生成海报的大小，width和height表示生成海报的宽和高，encoding表示生成海报的方式。
7.步骤1.4，将编译后的消息a通过连接发送给所述业务服务端。
8.步骤2，所述业务服务端用于执行截图操作，从所述客户端接收消息a，对消息a进行解析，并将解析的图片a发送给所述cgan推理服务器，具体地，包含以下子步骤：步骤2.1，所述业务服务端接收消息a，并对消息a进行解析，具体地，解析出消息a
中的网页地址；步骤2.2，通过调用 puppeteer库来控制headlesschrome，打开网页地址并进行屏幕截图；步骤2.3，将屏幕截图作为图片a，通过连接发送给所述cgan推理服务器。
9.步骤3，所述cgan推理服务器用于将屏幕截图转换成特定类型的海报图片，从所述业务服务端接收图片a，执行相应的操作，并将操作后的图片b返回给所述业务服务端，具体地，包含以下子步骤：步骤3.1，收集特定风格的海报图片，按照一定比例划分训练集和验证集；如图2所示，cgan推理服务器，由生成器g和判别器d组成，生成器g和判别器d在图片生成过程中进行极大极小博弈， cgan通过优化目标函数来学习初始图像i到真实图像j的映射，其目标函数为：的映射，其目标函数为：其中，
ꢀꢀ
是判别器部分的目标函数，
ꢀꢀ
是生成器部分的目标函数，i是初始图像，j是真实图像，g(i)是生成器生成的图像。
10.步骤3.2，在gpu服务器上，设置最优权重值
ꢀꢀꢀ
=8，
ꢀꢀ
=1，
ꢀꢀ
=7，选择adam 优化器，设置学习率=0.0001，β1=0.5，β2=0.999，并且批处理大小设置为 6，迭代次数设置50，进行 cgan模型训练；步骤3.3，对训练好的模型，以生成的数据和真实的数据进行对比分析，并根据分析的结果对训练参数进行调优，以及更新训练的数据，直到训练的模型达到效果最优；步骤3.4，cgan模型训练完成后，部署在业务服务端所在的同一台linux服务器上，并对模型进行转换来实现推理服务，具体地，接收所述业务服务端传输的图片a，作为cgan推理模型的数据输入，进一步地，由cgan推理模型根据学习到的生成图像到训练数据的映射，将屏幕截图转换成特定风格的海报图片模板，最后将图片b返回给业务服务端。
11.步骤4，所述业务服务端还用于渲染海报图片，从所述cgan推理服务器接收图片b，执行相应的操作，并将操作后的消息b通过连接返回给所述客户端，具体地，包含以下子步骤：步骤4.1，所述业务服务端接收从所述cgan推理服务器传输的图片b；步骤4.2，将图片b按照设定的海报结构，渲染成海报图片；步骤 4.3，通过oss对象存储提供接口将海报图片存储到cdnoss对象存储中，然后返回海报图片在oss对象存储的url地址，并将图片名称和图片地址编译成消息b，具体地，消息b为json格式，其结构为：{"name": "图片名称","path": "图片的cdn地址"}在本发明提供的海报存储方式中，步骤4.3可以替换为下列步骤：步骤 4.3，将海报图片按照base64进行编码，并将图片名称和图片转成base64后的字符串编译成消息b，具体地，消息b为json格式，其结构为：{"name": "图片名称","path": "base64的字符串"}步骤 4.4，将消息b通过连接返回给所述客户端。
12.本发明提出了一种基于二维迭代最近点的异源图像配准方法，与现有的技术相比，具有以下有益效果：本发明通过由业务服务端解析客户端消息中的网页地址，调用puppeteer进行屏幕截图，将屏幕截图作为此次海报绘制的模板，解决了同一张相同图片会多次绘制，用户体验差的问题。
13.本发明通过引入cgan模型，使得cgan推理模型能够根据学习到的初始图像到真实图像的映射，将输入图片转换成特定风格的海报模板，解决了模板图片内容单调，且依靠屏幕截图作为海报模板，又引入的屏幕截图色彩固定、存在文字标签等干扰，达不到海报素材要求的问题。
14.本发明通过将客户端和业务服务端进行分离，客户端负责同用户进行交互，业务服务端负责截取屏幕截图和渲染海报图片，解决了因为兼容或跨域，导致海报绘制失败，且更换海报样式需要直接修改客户端和业务服务端的代码，代码耦合度高的问题。
附图说明
15.图1是本发明的结构总图；图2是本发明的cgan模型结构图；图3是本发明的海报结构图。
具体实施方式
16.为了使本发明的目的、特征能够更加的明显和易懂，下面通过实施例并结合附图对本技术方案进行详细说明。
17.如图1所示，一种基于puppeteer和cgan的海报自主生成系统，由客户端、业务服务端、cgan推理服务器组成，工作流程包括以下步骤：步骤1，所述客户端用于和客户进行交互，接收客户指令输入，并和所述业务服务端保持连接，进一步地，向所述业务服务端发送消息a，具体地，包含以下子步骤：步骤1.1，在linux服务器上部署所述业务服务端，并配置进程数量等于puppeteer控制的headlesschrome个数；优选地，在编写html页面的时候指定了某一个远程字体库，来防止打开网页地址后可能出现的中文字体乱码；步骤1.2，所述业务服务端开启web服务，接收外部的连接请求；步骤1.3，所述客户端接收用户指令输入，并将输入的指令编译成消息a，具体地，消息a为json格式，其结构为：{"webpage":"url","clip":{"x":0,"y":0,"width":375,"height":667},"encoding":"encoding"} 其中，webpage表示网页地址，clip表示生成海报的大小，width和height表示生成海报的宽和高，encoding表示生成海报的方式。
18.步骤1.4，将编译后的消息a通过连接发送给所述业务服务端。
19.步骤2，所述业务服务端用于执行截图操作，从所述客户端接收消息a，对消息a进行解析，并将解析的图片a发送给所述cgan推理服务器，具体地，包含以下子步骤：
步骤2.1，所述业务服务端接收消息a，并对消息a进行解析，具体地，解析出消息a中的网页地址；步骤2.2，通过调用 puppeteer库来控制headlesschrome，打开网页地址并进行屏幕截图；步骤2.3，将屏幕截图作为图片a，通过连接发送给所述cgan推理服务器。
20.步骤3，所述cgan推理服务器用于将屏幕截图转换成特定类型的海报图片，从所述业务服务端接收图片a，执行相应的操作，并将操作后的图片b返回给所述业务服务端，具体地，包含以下子步骤：步骤3.1，收集特定风格的海报图片，按照一定比例划分训练集和验证集；步骤3.2，在gpu服务器上，设置最优权重值
ꢀꢀꢀ
=8，
ꢀꢀ
=1，
ꢀꢀ
=7，选择adam 优化器，设置学习率=0.0001，β1=0.5，β2=0.999，并且批处理大小设置为 6，迭代次数设置50，进行 cgan模型训练；步骤3.3，对训练好的模型，以生成的数据和真实的数据进行对比分析，并根据分析的结果对训练参数进行调优，以及更新训练的数据，直到训练的模型达到效果最优；步骤3.4，cgan模型训练完成后，部署在业务服务端所在的同一台linux服务器上，并对模型进行转换来实现推理服务，具体地，接收所述业务服务端传输的图片a，作为cgan推理模型的数据输入，进一步地，由cgan推理模型根据学习到的生成图像到训练数据的映射，将屏幕截图转换成特定风格的海报图片模板，最后将图片b返回给业务服务端。
21.步骤4，所述业务服务端还用于渲染海报图片，从所述cgan推理服务器接收图片b，执行相应的操作，并将操作后的消息b通过连接返回给所述客户端，具体地，包含以下子步骤：步骤4.1，所述业务服务端接收从所述cgan推理服务器传输的图片b；步骤4.2，将图片b按照设定的海报结构，渲染成海报图片；如图3所示，海报结构，是指把海报模板图片，划分为头部、主体、底部三个部分优选地，头部的高为海报模板图片的五分之一，内容为固定的logo，优选地，主体的高为海报模板图片的五分之三，内容为宣传文字，优选地，底部的高为海报模板图片的五分之一，内容为固定的二维码；步骤 4.3，通过oss对象存储提供接口将海报图片存储到cdnoss对象存储中，然后返回海报图片在oss对象存储的url地址，并将图片名称和图片地址编译成消息b，具体地，消息b为json格式，其结构为：{"name": "图片名称","path": "图片的cdn地址"}在本发明海报图片存储的另一种实施方式中，步骤 4.3可以由下列步骤进行替换：步骤 4.3，将海报图片按照base64进行编码，并将图片名称和图片转成base64后的字符串编译成消息b，具体地，消息b为json格式，其结构为：{"name": "图片名称","path": "base64的字符串"}步骤 4.4，将消息b通过连接返回给所述客户端。
22.至此，按照本发明公开的方法，已详细说明了基于puppeteer和cgan的海报自主生成系统的工作流程。
23.虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。