一种绘画作品的自动生成方法、平台及存储介质与流程

1.本发明涉及图形处理技术领域，更具体地说，涉及一种绘画作品的自动生成方法、平台及存储介质。


背景技术：

2.日常接触的纸质实体或电脑手机中的绘画作品都是美术美工人员一幅一幅通过画纸画笔手绘或计算机绘画工具画出来的，类型涉及娱乐类、教育类、公益类、故事类、漫画说明书、公益海报、宣传海报等等方面。其中的人物设计、动作设计、场景设计等都是通过人工绘制而来。其中的重要元素如人物(主角、配角)、角色特点、绘画风格、角色动作、场景及场景转换、排版等都需要大量辛苦的劳动手工完成。当前绘画工作者已经慢慢的从纸质实体绘画创作转移到了计算机绘画上。但是电脑绘画工具只是提供了白纸板(电子纸板)、各种各样的笔触、调色板(颜色选取)、橡皮等专业绘画工具，通过手工一点一点的绘制图形图像等内容，对于相似图形会重复绘制，工作量大，用户体验不佳。


技术实现要素：

3.本发明要解决的技术问题在于现有的绘画作品由绘画工作人员手动绘制，对于相似图形会重复绘制，工作量大的问题，针对该技术问题，提供一种绘画作品的自动生成方法、平台及存储介质。
4.为解决上述技术问题，本发明提供一种绘画作品的自动生成方法，包括：
5.接收绘画指令，所述绘画指令中包含绘画内容信息；
6.根据所述绘画内容信息确定每一画框单元中目标图形元素的图形标签；
7.将所述图形标签输入预设的图形内容生成模型生成对应的目标图形元素；
8.将各所述目标图形元素进行组合生成对应画框单元的图形内容，并将所述图形内容填入对应的画框单元中。
9.可选的，所述绘画内容指令为语音绘画指令或文本绘画指令。
10.可选的，所述根据所述绘画内容信息确定每一画框单元中目标图形元素的图形标签包括：
11.根据所述绘画内容信息确定每一画框单元对应的故事情节信息；
12.根据所述故事情节信息确定每一画框单元中目标图形元素的图形标签。
13.可选的，所述根据所述绘画内容信息确定每一画框单元对应的故事情节信息包括：
14.根据所述绘画内容信息以及预设的画框单元布局，确定每一画框单元对应的故事情节信息；
15.或，
16.接收画框单元布局指令，根据所述绘画内容信息以及所述画框单元布局指令，确定每一画框单元对应的故事情节信息。
17.可选的，所述图形标签包括角色标签，所述根据所述故事情节信息确定每一画框单元中目标图形元素的图形标签包括：
18.通过语义分析技术和情绪分析技术对所述故事情节信息进行分析，确定相应故事情节中的角色以及每一角色的情绪；
19.根据所述情绪以及语义分析结果确定相应角色的角色标签；
20.将所述角色标签输入所述图形内容生成模型生成对应的目标图形元素。
21.可选的，所述角色标签包括角色表情标签、角色图形大小标签、角色动作标签以及角色道具标签中的至少一种。
22.可选的，所述图形标签还包括角色所处场景的场景标签，所述根据所述故事情节信息确定每一画框单元中目标图形元素的图形标签包括：
23.通过语义分析技术对所述故事情节信息进行分析，直接确定对应的场景标签。
24.可选的，在所述将各所述目标图形元素进行组合生成对应画框单元中的图形内容之前还包括：
25.接收针对所述目标图形元素的修改指令；
26.根据所述修改指令对相应的目标图形元素进行修改生成新的目标图形元素；
27.所述将各所述目标图形元素进行组合生成对应画框单元中的图形内容包括：
28.根据所述新的目标图形元素生成对应画框单元的图形内容。
29.进一步地，本发明还提供一种绘画作品的自动生成平台，包括：
30.处理器、存储器及通信总线；
31.所述通信总线用于实现所述处理器和所述存储器之间的连接通信；
32.所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如上述任一所述的绘画作品的自动生成方法的步骤。
33.进一步地，本发明还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任一所述的绘画作品的自动生成方法的步骤。
34.有益效果
35.本发明提供一种绘画作品的自动生成方法、平台及存储介质，本发明通过接收包含有绘画内容信息的绘画指令，根据绘画内容信息确定每一画框单元中目标图形元素的图形标签，然后将图形标签输入预设的图形内容生成模型生成对应的目标图形元素；将各目标图形元素进行组合生成对应画框单元的图形内容，并将图形内容填入对应的画框单元中。通过自动化、智能化生成绘画作品，可以有效降低绘画工作的时间成本、社会成本、降低投入的资金成本、简化绘画项目的复杂性、减少了绘画工作者的工作量、提升了绘画工作者的工作效率。
附图说明
36.下面将结合附图及实施例对本发明作进一步说明，附图中：
37.图1为本发明实施例提供的绘画作品的自动生成方法的流程示意图；
38.图2为本发明实施例提供的将目标图形元素放入画框单元的示意图；
39.图3为本发明实施例提供的画框单元布局的第一示意图；
40.图4为本发明实施例提供的画框单元布局的第二示意图；
41.图5为本发明实施例提供的画框单元布局的第三示意图；
42.图6为本发明实施例提供的绘画指令的第一信息结构示意图；
43.图7为本发明实施例提供的绘画指令的第一信息结构示意图。
具体实施方式
44.实施例一：
45.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
46.为解决现有的绘画作品由绘画工作人员手动绘制，对于相似图形会重复绘制，工作量大的问题，本实施例提供一种绘画作品的自动生成方法，可以应用于绘画作品的自动生成平台，该方法流程请参见图1所示，包括如下步骤：
47.s101：接收绘画指令，绘画指令中包含绘画内容信息。
48.应当说明的是，本实施例中的绘画指令可以是语音绘画指令也可以文本绘画指令。
49.s102：根据绘画内容信息确定每一画框单元中目标图形元素的图形标签。
50.本实施例中的画框单元为展示所述绘画作品的页面中的结构单元。具体来说，可以根据绘画内容信息确定每一画框单元对应的故事情节信息，然后根据故事情节信息确定每一画框单元中目标图形元素的图形标签。
51.s103：将图形标签输入预设的图形内容生成模型生成对应的目标图形元素。
52.可以理解的是，本实施例中的图形标签可以是角色标签，也可以是角色所处场景的场景标签。应当说明的是，在一些示例中，可以直接通过语义分析技术对故事情节信息进行分析确定相应故事情节中的角色以及每一角色的情绪。
53.在另外一些示例中可以通过情绪分析技术对故事情节信息进行分析，以此确定角色的情绪。本实施例中的角色标签包括但不限于角色表情标签、角色图形大小标签、角色动作标签、角色道具标签、角色画面位置标签中的至少一种。具体来说，可以通过语义分析技术和情绪分析技术对故事情节信息进行分析，确定故事情节中的角色以及每一角色的情绪；根据情绪以及语义分析结果确定相应角色的角色标签；将角色标签输入图形内容生成模型生成对应的目标图形元素。在一些实施例中，绘画指令中还可以包括各角色之间的对话内容文本，将各目标图形元素进行组合生成对应画框单元的图形内容包括：
54.将各所述目标图形元素进行组合得到角色图形；
55.将所述对话内容文本展示在与对应的角色图形所处的画面位置相关联的画面区域中。
56.可以理解的是，本实施例中可以基于语义理解技术定位图形标签，简单来说可以是通过对文字内容的理解选择出匹配度最高的图形标签，匹配度由高到底排序，自动选择匹配度最高的图形标签，图形内容生成模型可以基于预设的图形元素库生成对应的目标图形元素，图形元素库里的每一图形元素可能会有很多图形标签，例如：性别、年龄段、学历、国籍、生活环境、社会环境、情绪、疾病、爱好、原生家庭、父母性格等等各种基本元素属性标签、生物属性标签、延伸出社会因素标签等等，这些标签都可以影响目标图形元素的选择。比如：抗战题材类，正面人物偏消瘦、但人物精干积极有上进心，所有的文字因素都会影响
目标图形元素的选择，反面叛徒人物，慵懒、肥胖、软弱、穿着讲究、体态微微鞠躬状
……
。另外，在经过海量训练后，本实施例提供的平台可以通过原创创作的方式绘制生成场景、气候、生态环境、人物、体态、甚至对话故事内容等
57.本实施例中的图形标签还可以包括角色所处场景的场景标签，根据故事情节信息确定目标图形元素的图形标签包括：通过语义分析技术对故事情节信息进行分析，直接确定对应的的场景标签。这里的场景标签指角色所处背景场景中的任意背景图形元素对应的标签，包括但不限于天气标签、环境标签等等。
58.本实施例中预设的图形内容生成模型是预先根据众多的图形标签样本数据进行训练得到的模型，图形标签样本数据包括图形素材(即图形内容)以及对应的图形标签，可以理解的是，一个图形素材可以对应多个图形标签，在进行模型训练时针对不同类别的图形元素进行分类训练，且应当理解的是，为了训练得到的模型更精确、输出结果多样性更高，优选的，可以将图形素材划分至最小类别进行训练，例如可以将角色的上身穿着和下身穿着分类进行训练，而不是将角色的整体装扮进行训练，这样根据该模型输出的目标图形元素也是最小图形元素。本实施例中的图形标签样本包括但不限于角色表情标签样本数据、角色图形大小标签样本数据、角色动作标签样本数据、角色道具标签样本数据、角色画面位置标签样本数据中的至少一种。比如，在训练时，用户可以上传角色名称、角色性别、角色方向、角色上肢体动作、角色下肢体动作、角色表情、角色上身服饰、角色下身服饰、角色鞋子、角色首饰、角色道具、不同场合下角色的形象、关联角色等进行训练。
59.为便于理解，这里对图形内容生成模型进行具体的介绍，该模型可以包括以下模块：
60.图形素材库模块：其中图形素材库模块的基本构成是图形内容(包含矢量图及像素图)、文字简介、文字标签、关联图形(父级节点)、分类、色系、风格、被机器学习状态(次数及时间)、入库时间、上传者信息(含自动生成)。
61.绘画语义理解库模块：多元网络结构记录的文本信息，记录内容为文本、关联文本、分类、属性、时间戳。体现的是文字与图形标签关联关系的说明和描述。如：冬天、冰雪、寒冷、凛冽与发抖、寒颤、鼻涕、被冻红的双手或脸颊。
62.画笔模块：包含画笔图样、分类、标签、上传者、时间戳。用于平台自动绘画时选择使用。
63.匹配度计算模块：图形素材库中存储有高可用图形素材，匹配度计算模块基于对所上传文本或语音的语义理解选择高匹配度的图形素材直接选取使用。通过多元神经递归算法为图形素材打分，即匹配度分值。筛选条件由大到小，由粗略到细节，筛选内容根据匹配度由高到低排序。优先筛选分类、色系、风格，再根据文字标签及文字简介筛选，然后根据关联图形关联关系遍历父节点匹配度。最终筛选出匹配度最高的图形素材返回结果。如果匹配度低于所设定的匹配阈值(平台设定)时，也就是匹配不到更好的内容时，平台可以根据学习的内容进行原创创作，自动绘制相关内容输出返回图形素材结果。自动绘制基于深度学习模型(生成式对抗网络模型)建立判别模型和生成模型。判别模型用于学习判断图形内容进行分类归纳，其中的数据已经经过匹配度算法筛选。生成模型用于生成所需绘制的内容。学习和绘画过程是判别模型和生成模型之间不断重复校验的过程，生成模型依据图形素材库的多维度内容不断生成与样本偏差的绘制内容，判别模型接收绘制内容与被选出
的素材库进行对比并返回样本差异度给生成模型，生成模型和判别模型不断重复上述循环使得平台绘画水平不断提升，对于产生的绘画能力被保存到素材库中并做好标记。训练过程及训练成果均被分类保存到存储设备中供后续使用。训练后的生成模型是一个高质量的自动生成器。对于不同类型、风格的素材需要经过不同阶段的训练和学习，也就是不断的重复生成模型和判别模型的对抗训练当中。
64.本实施例提供的方法是通过对文字或语音的理解进行自动绘画，而不是通过绘画者绘制的简笔画内容进行重新绘制生成内容。
65.绘画作品的自动生成平台上可以预先存储有根据角色情绪及语义分析结果选择角色标签的角色标签选择规则，可以定义语义分析结果的优先级高于角色情绪优先级，比如该选择规则可以规定：若语义分析结果中无角色表情、角色动作标签的信息，则直接根据情绪分析结果确定角色表情标签及角色动作标签，例如开心情绪对应“开心”表情标签，“开心”动作；若语义分析结果中有角色表情、角色动作标签的信息，则根据语音分析结果确定角色的表情及动作。
66.为便于理解，这里以一个具体的示例进行说明，当故事情节是“今天天气真好，小明去郊外游玩，高兴极了！”通过语义分析技术和情绪分析技术可以确定角色是“小明”，角色情绪及语义分析结果是“高兴”，由此可以直接确定出角色的表情标签和动作标签是“高兴”，通过语义分析技术分析“天气真好”、“郊外”关键词可以确定角色所处场景的场景标签，将确定的角色标签和场景标签输入预设的图形内容生成模型得到对应的目标图形元素。
67.s104：将各目标图形元素进行组合生成对应画框单元的图形内容，并将该图形内容填入对应的画框单元中。
68.本实施例中根据绘画内容信息确定每一画框单元对应的故事情节信息的方式有两种：
69.方式一：根据绘画内容信息以及预设的画框单元布局，确定每一画框单元对应的故事情节信息，具体来说，可以根据正向时间顺序确定每一画框单元对应的故事情节，本方式中可以根据绘画内容信息以及预设的画框单元的数量、大小确定每一画框单元对应的故事情节信息。平台中可以预先定义画框单元在相应的页面下从左到右、从上至下均匀或非均匀排列，平台可以按照故事情节将相应的目标图形元素组合后放入对应的画框单元，比如如图2所示。
70.方式二：接收画框单元布局指令，根据绘画内容信息以及画框单元布局指令，确定每一画框单元对应的故事情节信息。
71.在将各目标图形元素进行组合生成对应画框单元的图形内容之前可以先将生成的各目标图形元素展示在平台上，以供绘画工作者确认或修改，用户可以通过拖拽形状工具添加画框页面布局结构。可以设置普通布局、突出角色布局、多边形布局等常见的画框单元布局结构，具体的可以参见图3、图4以及图5所示，左侧是可以拖拽到右侧画框内的目标图形元素，右侧是可以拖拽大小和改变的各个画框单元。具体的，在一些实施例中，在将各目标图形元素进行组合生成对应的绘画作品之前还可以包括以下步骤：
72.接收针对目标图形元素的修改指令；
73.根据修改指令对相应的目标图形元素进行修改生成新的目标图形元素；
74.此时将各目标图形元素进行组合生成对应的画框单元中的图形内容包括：
75.根据的新的目标图形元素生成对应画框单元的图形内容。
76.本实施例中的图形内容生成模型可以按照匹配度匹配出最适合的目标图形元素，然后将目标图形元素放置到对应位置。
77.用户的绘画指令中还可以包括绘画作品的基础素材信息，例如可以上传角色素材，用户可以在相应的角色素材上进行标注，比如可以指定上传素材的脸部、肢体等身体部位的位置进行标注。以便于平台根据故事情节信息确定该角色的表情后，将相应的表情图形元素放置到画布中的相应位置。如表情选中后，会根据角色的位置放置到指定的脸部位置。
78.实施例二：
79.为了更好的理解本发明提供的方案，本实施例提供一种具体的绘画作品的自动生成方法，该方法应用于绘画作品的自动生成平台，本实施例以故事型漫画为例进行具体说明。
80.该平台包括绘画指令接收模块、图形标签生成模块、目标图形元素生成模块以及绘画作品生成模块。
81.绘画指令接收模块用于接收绘画指令，用户可以通过文字文本录入工具或语音录入工具或图形素材上传工具向平台输入绘画指令。上传格式可以为标准表格格式，绘画指令可以包含角色标签的信息，例如角色名字、性别、年龄段、地域、爱好、品性、脾气、衣着打扮、外貌特征等，具体的可以参见图6所示，在一些实施例中，若用户需要使用自定义的角色形象，用户可以上传角色图，比如上传角色正面图、角色侧面图、角色背面图，平台可以根据接收到的角色图以及角色标签的信息对角色图中相应的图形元素进行调整。绘画指令中还可以包含角色所处场景的场景标签的信息，具体的可以参见图7所示，平台可以通过上传的素材、选定的会话风格、配置内容自动选择电子笔触、粗细、颜色、光线阴影、配色方案等内容进行绘画内容生成。自动绘制相应风格的绘画作品，其中包括场景配色风格、作品风格、线条粗细、线条变化、线条起笔收尾风格、断线(残线)比率、填充色渐变、填色技巧等细化绘画能力。
82.图形标签生成模块，绘画内容信息上传导入完成之后，平台可以利用语义分析技术基于“故事标题”、“故事梗概”、“角色”确定每一画框单元对应的故事情节信息，然后根据故事情节信息确定每一画框单元中需要呈现的目标图形元素的图形标签。
83.目标图形元素生成模块，用于将图形标签输入预设的图形内容生成模型生成对应的目标图形元素，生成的每一目标图形元素是独立且分层的，用户可以进行点选修改，或重新上传新的图形素材替换当前智能化生成的图形素材。
84.本实施例中的目标图形元素生成模块还可以根据用户的绘制图形自动匹配绘画素材库中的元素，通过自动化功能匹配出与用户的绘画匹配度最高的元素内容供用户选择。
85.绘画作品生成模块，用于将各目标图形元素进行组合生成对应画框单元的图形内容，并将图形内容填入对应的画框单元中得到绘画作品。
86.本实施例自动绘画内容涉及除自动选择画笔绘画以外，还可以包含画框选择、场景、人物绘制选择等八个大维度的自动选择和绘制。自动绘画功能不仅限于自动绘画技术，
还会根据已有素材进行选择使用或模仿绘制。
87.八大维度：
88.(1)场景：包含位置(室内、室外等)、布景内容、季节、气候、配合场景的天气情况等内容)。
89.(2)人物：包含性别、年龄段、学历、国籍、生活环境、社会环境、情绪、疾病、爱好、原生家庭、父母性格等属性；
90.(3)对话：提取上传的文字内容自动选择置前气泡放置到对话主角适合的位置上；
91.(4)动作：提供人物动作素材库，可以供平台通过文本识别语义理解选择使用，也可以通过上传的图形素材及对应的文字标签，各个部位的衔接基于画笔笔触的选择自动绘制内容或绘制部件与身体的连接(对抗模型功能之一)；
92.(5)表情：表情是表达塑造角色、是否生动形象的重要内容，表情内容有：图形、名称、类型、文字标签、关联图形等内容；
93.(6)道具：道具图形素材，不同角度、颜色等；
94.(7)光影关系：场景内可以设定光源位置及亮度，方位可以设置场景内位置、图层前后位置(可以放在角色前或后、可以放在场景前等)，光源决定了阴影的位置和颜色深度；
95.(8)目的：每一个场景的故事内容解析，终极目标或目的等。
96.本实施例提供的绘画作品的自动生成方法通过自动化、智能化的手段可以有效降低绘画工作的时间成本、社会成本、降低投入的资金成本、简化绘画项目的复杂性、提升绘画工作者的工作效率、提升绘画工作者的专注力和创造力。可以协助绘画工作者自动应用可以重复使用的绘画元素(如表情、动作、道具等)绘画工作通过智能化自动生成结构化、分层、元素化绘画作品,便于绘画工作者随时修改其中的任意单元。自动化应用有训练和学习功能，可以通过人工配置和导入图形样例，并配置相关类型、名称、标签等内容让自动化程序了解图形。也可以通过上传基础素材让自动化程序自主学习。训练量决定绘画的水平，训练越多质量越高。自动绘画模块通过深度神经网络提取诸多素材绘画艺术的风格，通过计算机的gpu(显卡核心处理计算单元)根据故事文本内容等条件自动生成相应艺术风格的绘画结果。
97.实施例三：
98.为了更好的理解本实施例提供的方案，本实施例以一个更加具体的示例进行说明，例如绘画者输入的绘画指令是：妈妈一脸严肃的指责着小明没有完成作业就去玩游戏。
99.平台通过语义分析技术确定到有两个角色，角色分别是“妈妈”和“小明”，所处场景为“家”。自动根据角色的情绪确定角色的表情、大小、画面位置、动作、所需道具等相关图形标签，并将该图形标签输入预设的图形内容生成模型生成对应的目标图形元素。本例中：基于话术的内容妈妈处于情绪激动时刻，需要突出表现，所以摘取妈妈角色放到画框单元中的主要位置，并配备“严肃”的表情到指定位置，根据故事情节自动选择突出特定角色的画框(特定角色的画框在当前页面内的占比最高，也可能占满完整的一张画布。)。第二角色本页中属于辅助角色，自动被分配画框单元的次要位置并选择被训斥的角色动作和表情。
100.实施例四：
101.本实施例提供一种绘画作品的自动生成平台，包括：处理器、存储器及通信总线；通信总线用于实现处理器和存储器之间的连接通信；处理器用于执行所述存储器中存储的
一个或者多个程序，以实现如上述实施例中任一所述的绘画作品的自动生成方法的步骤。
102.本实施例还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任一所述的绘画作品的自动生成方法的步骤。
103.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
104.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
105.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
106.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。