动画场景的自动生成系统的制作方法

1.本发明涉及的是一种电脑图像处理领域的技术，具体是一种动画场景的自动生成系统。


背景技术：

2.现有动画场景自动生成技术一般需要对动画场景训练集合中的每一个样本，进行动画元素标注，因此构造出的场景无法根据具体输入动态变化。


技术实现要素：

3.本发明针对现有技术存在的上述不足，提出一种动画场景的自动生成系统，对自然环境和人造环境进行统计分类，依此选择最符合情节的场景并定义不同时间的约束规则，依此展现同一场景在不同时间下的变化；定义不同实体的方位关系，依此将场景细化，通过拼接各实体共同生成整个背景，解决素材库没有完整满足情节需求的问题，本发明能够在素材缺失、不完备的情况下自动生成场景的方案。
4.本发明是通过以下技术方案实现的：
5.本发明涉及一种动画场景的自动生成系统，包括：数据预处理单元、知识图谱构建单元、文本解析单元以及场景生成单元，其中：数据预处理单元根据原始数据集中的文本信息，利用语义分析技术，抽取出文本中的场景、时间和动作，对不同场景进行聚类得到场景分类结果并定义不同时间对场景的约束规则和动作与场景间的固定联系；知识图谱构建单元根据实体和关系的定义以及场景分类结果，对图谱的实体信息进行补足并根据图像数据集的标注信息中的实例和坐标属性扩充图谱的关系数据；文本解析单元根据系统输入的文本，依次进行依存句法分析、句式转换和语义角色标注，得到文本中每一个动作相关的属性，生成动作序列；场景生成单元根据动作序列，从图谱中推理出相关的场景信息，结合素材库自动生成最终的场景。
6.本发明涉及上述系统的动画场景生成方法，包括以下步骤：
7.步骤1)生成数据集并根据数据特征进行不同方面的规则定义，具体为：对故事文本中的自然环境以及人造环境进行统计，对不同场景进行分类并使用语义分析抽取文本中的时间信息，定义不同时间对场景的约束规则；根据常识定义不同动作与场景间的固定联系，抽取提取文本中的事件信息，根据抽取得到的关键信息，从素材库中选择合适的图片进行场景的构建。
8.步骤2)构建知识图谱，定义无方向类别的位置关系和绝对方向类别的位置关系；对数据集进行标注处理，根据标注中的实例、坐标等属性对知识图谱进行扩充。
9.步骤3)原始文本进行转换并生成语法树，经优化后从语法树中抽取出构建场景需要的关键信息；
10.步骤4)根据抽取得到的关键信息，生成三元组列表从素材库中选择合适的图片进行场景的构建。
技术效果
11.本发明利用图像数据集的标注信息扩充图谱，将图像数据集的实例名称作为图谱的实体数据，将图像数据集的实例坐标作为位置信息进行计算，得到不同实例彼此的相对关系，作为图谱的关系数据；通过句式转换，将文本中具有多个动作的句子看作复杂句式，根据中文的句法规则，将这些复杂句式按照不同算法转换为简单句，可以提升后续语义角色标注的效果。
12.与现有技术相比，本发明可以实现从文本到动画场景的自动生成，可以识别出文本中每个动作所处的场景，根据文本描述自动生成并适当做出合理的扩充。
附图说明
13.图1为本发明的实施例的运行流程示意图；
14.图2为本发明的实施例的文本解析模块的依存句法示意图；
15.图3为本发明的实施例的文本解析模块的语义标注示意图；
16.图4为本发明的实施例的文本解析模块的场景图谱示意图。
具体实施方式
17.如图1所示，为本实施例涉及一种动画场景的自动生成方法，包括以下步骤：
18.步骤1、数据集预处理：生成数据集并根据数据特征进行不同方面的规则定义，具体包括：
19.1.1)获取国内外童话故事数据集，得到纯文本形式的数据：本实施例采用《安徒生童话》、《格林童话》以及《中国经典童话故事》
20.1.2)统计自然环境和人造环境，通过hownet语义相似度的聚类算法，对场景进行分类：语义相似度sim(w1，w2)＝max
i＝1，...，n，j＝1，...，m
sim(s1，s2)，其中：w1和w2分别代表两个词语，s1和s2表示两个不同的义原；相似度d为s1和s2在层次体系树中的路径距离，a是可调节的参数。
21.本实施例中的场景包括：水面，具体包括海面、海底、湖面、湖底、河面、河底等；天空；陆地，具体包括村庄、城镇、野外、河边、湖边、海边、田野等。
22.1.3)通过语义分析抽取文本中出现的时间信息，将其分为具体时间和抽象时间。
23.本实施例中的时间约束包括：具体时间，包括清晨、上午、中午、下午、黄昏、晚上、午夜等；抽象时间，包括春、夏、秋、冬。
24.当语义分析抽取文本中没有明确指明几点钟，对于室外场景，按照清晨、中午、黄昏时间段将天空背景色分别设为#0090ce、#fffacd、#ff4500，对于晚上和午夜则将场景的亮度设为75％和50％。
25.当语义分析抽取文本中明确指明时间，若是白天则转换成时间段设置天空背景色，若是夜晚则根据公式进行亮度设置：0＝0.5 abs(24-time)*8，其中：0为亮度，time为具体时间。
26.对于抽象时间中的春夏秋冬，将分别根据场景的类别添加属于各个季节特征的对象，例如春天刚发芽的树枝、夏天的烈日、秋天的落叶和冬天的雪。
27.步骤2、构建并完善知识图谱，具体包括：考虑到场景内容的复杂性，在定义知识图谱实体时将实体分类为场景、组合物和场景单元，其中：分类为场景的实体包括多个子实体，每一个子实体具体为组合物或场景单元，比如森林可以由树林和草地组成；组合物进一步包括至少一个场景单元，比如树林可以由多颗树木组成，即场景单元则是场景中的最小单位，比如树木可以作为一个场景单元。
28.本实施例中构建得到的知识图谱包括：实体类型：场景和场景单元；关系类型：合成、上、下、左、右、前、后、里、外和附近。
29.所述的完善是指：为清晰描述实体间的位置关系，本实施例在知识图谱中定义两个层面的关系，并通过计算各实体坐标间的距离以及相对方位，可以得到实体间的位置关系，将结果以《实体1,位置关系,实体2》的形式存入知识图谱中。
30.所述的两个层面的关系，包括：组合物与场景单元的关系，包括合成、排列和堆叠，排列意味着场景单元的摆放是有序的、铺开的，堆叠则意味着场景单元彼此可以重叠且可以错乱，若无明显的摆放规则，则用合成关系表示。场景和其子节点的关系则按照九宫格的方式分为左上、上、右上、左、中、右、左下、下和右下。组合物或场景单元之间的关系则分为上、下、左、右、前、后和附近。
31.本实施例对图像识别数据集进行标注处理，首先将数据集中每张图片的主题作为知识图谱中的场景实体，然后标注中的每个实例作为场景单元，由于数据集的特性，无法处理组合物的类别。
32.步骤3、关键信息抽取：将原始文本转换为更利于模型处理的数据，并从中抽取出构建场景需要的关键信息，具体包括：
33.3.1)由于中文里存在很多语气词或者助词，需要在最开始的时候去除这些无意义的词语。
34.3.2)通过依存句法分析模型得到文本中的句法结构，得到以谓语为中心的语法树。对于同时存在多个谓语的复杂句式，需要将其转换为简单句，以提高后续步骤的效果。本实施例针对中文语句特性，构造并列句、把字句、被动句的转换规则。
35.3.3)对于并列句，首先需要将并列词(当有的话)移出语法树，然后将除第一个谓语以外的后续谓语标记为新的语法树的根，并且视情况将第一个谓语的主语或者宾语补足给新的语法树。
36.3.4)对于把字句，需要将把字从语法树中去除并重新连接语法树。
37.3.5)对于被动句，则需要视情况将语法树中的主语和谓语进行翻转，并将表示被动的词语从语法树中移除。
38.3.6)通过命名实体识别模型抽取出文本中人物、地点、时间等因素。考虑到童话故事中角色命名方式的特殊性，抽取人物时需要结合自定义规则。
39.3.7)通过语义角色标注识别出句法树中各个成分的角色，结合自然语言处理的结果可以得到每一个动作对应的发起方、接收方、状态、时间、地点等要素。
40.步骤4、场景生成：根据抽取得到的关键信息，从素材库中选择合适的图片进行场景的构建，具体包括：
41.4.1)当文本中存在对上一步中场景的描述时，需要从语言信息中计算并推理出场景中各实体的摆放位置。首先对描述文本进行分析，建立关系依赖树，用于描述句中实体与
实体间的相互关系，其中依赖树的根结点是表示方位的介词，介词的左右结点则是两个实体。
42.4.2)建立依赖关系树后，本实施例采用三元组《实体，方位词，参照物》来描述一组实体的空间关系。比如沙发上有个抱枕，可以描述为《抱枕，上，沙发》。
43.4.3)当文本中不存在场景描述或者想要补充场景内容时，则可以根据知识图谱中的数据，从当前场景对应的根节点依次向下层遍历，每两个结点之间的边即这两个实体的相对位置，为保持数据描述的一致，这里也采用三元组《实体1，关系，实体2》的形式表达。
44.4.4)根据三元组列表从素材库中选择符合每个实体的图片。考虑到素材库的不完备性，当找不到某个实体的对应图片，则可以结合知识图谱的特性，通过组合子结点的素材得到当前结点。
45.经过具体实际实验，在输入“母亲叫小红帽给住在森林的外婆送食物”，能够得到的实验数据是：1)依存句法分析结果：[(1,2,'sbv'),(2,0,'hed'),(3,2,'vob'),(4,10,'adv'),(5,9,'att'),(6,5,'cmp'),(7,6,'pob'),(8,5,'rad'),(9,4,'pob'),(10,2,'coo'),(11,10,'vob')]。2)句式转换结果：[“母亲嘱咐小红帽”,“小红帽给外婆送食物”,“外婆住在森林里”]。3)语义角色标注结果：[{'action':'嘱咐','a0':'母亲','a1':'小红帽',
‘
loc’:
‘
家中’},{'action':'送','a0':'小红帽','a1':'外婆',
‘
a2’:
‘
食物’},{action':'居住','a0':'外婆',
‘
loc’:
‘
森林’}]。4)根据图谱推理可得场景：[(
‘
家中’,[(
‘
家中’,
‘
底部’,
‘
地毯’),(
‘
家中’,
‘
顶部’,
‘
壁画’),(
‘
地毯’,
‘
上方’,
‘
沙发’),(
‘
沙发’,
‘
上方’,
‘
靠枕’)]),(
‘
森林’,[(
‘
森林’,
‘
两侧’,
‘
树林’),(
‘
森林’,
‘
底部’,
‘
花丛’),(
‘
树林’,
‘
排列’,
‘
树木’),(
‘
花丛’,
‘
堆叠’,
‘
花朵’)])]。
[0046]
综上，与现有技术相比，本发明所需要的文本标注量较少，对输入文本的描述性文字需求量极少，最终生成的场景贴合度较高，可扩展性较强。
[0047]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。