一种终端设备及插画生成方法与流程

本技术涉及终端设备，尤其涉及一种终端设备及插画生成方法。

背景技术：

1、终端设备是指能够实现特定功能的设备，可以是智能电视、通信终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

2、终端设备可基于ai驱动实现绘本生成和插画创作，用户可以通过输入原作图像和对应的叙事文本，终端设备借助图像生成模型快速生成一系列与叙事文本相匹配的插画图像，从而提升视觉内容的创作效率。

3、然而，在处理多幕生成任务时，通常为每一幕独立构造提示词并调用模型生成。由于图像生成模型对每一幕的生成过程相互独立，缺乏跨幕共享的视觉约束机制，在生成多幕插画时，图像生成模型可能会根据单幕文本自由发挥，导致不同幕次中的主体和关键元素出现漂移，如角色物种改变、衣着或道具丢失，使得多幕插画之间无法保持视觉一致性。

技术实现思路

1、本技术提供一种终端设备及插画生成方法，以解决多幕插画之间无法保持视觉一致性的问题。

2、第一方面，本技术提供一种终端设备，包括：

3、存储器，被配置为存储图像生成模型；

4、控制器，被配置为：

5、获取用户输入的原作图像与叙事文本；

6、对所述原作图像进行多模态语义分析，提取原作语义特征数据；

7、根据所述原作语义特征数据和所述叙事文本，生成视觉契约；其中，所述视觉契约包括主体身份字段、主体外观字段、必保留元素字段、场景规则、构图规则、连续性规则和负向漂移词；

8、根据所述叙事文本，生成分幕列表；所述分幕列表包括多个分幕；每个所述分幕包括动作信息；

9、将所述分幕列表中各分幕的动作信息与所述视觉契约进行合并，得到对应分幕的插画提示词；

10、将各分幕的插画提示词输入所述图像生成模型，得到所述图像生成模型生成的各分幕的预览插画；

11、根据所述视觉契约对各分幕的预览插画进行一致性校验；

12、若一致性校验未通过，则更新所述视觉契约中的负向漂移词和/或所述视觉契约的权重分配，并基于更新后的所述视觉契约重新生成对应分幕的插画提示词。

13、上述技术方案具有以下有益效果或优点：

14、通过构建视觉契约机制，将用户原作图像的视觉特征转化为跨幕共享的结构化约束，从根本上解决多幕插画生成中的跨幕视觉漂移问题。通过对原作图像进行多模态语义分析提取原作语义特征数据，并结合叙事文本生成包含主体身份、主体外观、必保留元素、场景规则、构图规则、连续性规则和负向漂移词在内的视觉契约，可实现对每一幕插画生成过程的系统性约束。在此基础上，通过将各分幕的动作信息与视觉契约合并构造插画提示词，确保每一幕的生成都在统一的视觉规范指导下进行。更进一步，通过引入一致性校验和负向漂移词/权重分配的动态更新机制，可形成生成、校验、修正、重生成的闭环控制，使得系统能够在无人干预的情况下自动检测并修复视觉漂移，提升多幕插画生成的一致性和可靠性。

15、在本技术的一些实施例中，所述原作语义特征数据包括主体身份、主体外观特征、必保留元素、场景关系和构图关系；所述控制器对所述原作图像进行多模态语义分析，提取原作语义特征数据，具体被配置为：

16、对所述原作图像进行主体识别处理，确定所述原作图像中的主体身份；

17、对所述原作图像中所述主体身份进行外观特征提取处理，确定所述主体身份对应的主体外观特征；

18、根据所述叙事文本，对所述原作图像进行关键元素检测处理，确定所述原作图像中的必保留元素；

19、解析所述原作图像的场景关系和构图关系。

20、上述技术方案具有以下有益效果或优点：

21、通过主体识别处理确定主体身份，通过外观特征提取确定主体外观特征，通过关键元素检测确定必保留元素，并通过解析处理确定场景关系和构图关系，使得原作图像的语义信息被结构化地提取出来，为后续视觉契约的生成提供完整准确的输入数据。

22、在本技术的一些实施例中，所述控制器根据所述原作语义特征数据，生成视觉契约，具体被配置为：

23、将所述原作语义特征数据中的所述主体身份、所述主体外观特征和所述必保留元素，分别映射为所述视觉契约中的所述主体身份字段、所述主体外观字段和所述必保留元素字段；

24、根据所述原作语义特征数据中的所述场景关系和所述构图关系，提炼生成所述视觉契约中的所述场景规则和所述构图规则；

25、根据所述原作语义特征数据，反向推导生成所述负向漂移词；所述负向漂移词包括多个漂移抑制描述，所述漂移抑制描述用于约束不生成与所述主体身份、所述主体外观特征、所述必保留元素、所述场景关系和所述构图关系相背离的图像内容；

26、根据所述原作语义特征数据和所述叙事文本，设置所述视觉契约中的所述连续性规则；其中，所述连续性规则用于约束多幕插画之间保持不变的视觉属性。

27、上述技术方案具有以下有益效果或优点：

28、通过将主体身份、主体外观特征和必保留元素直接映射为视觉契约中的对应字段，确保原作核心视觉特征的完整传承。通过从场景关系和构图关系中提炼生成场景规则和构图规则，将原作的具体场景和构图抽象为可跨幕执行的通用约束。通过反向推导生成负向漂移词，预先识别并记录模型最容易出现的漂移方向。通过结合叙事文本设置连续性规则，确保多幕之间视觉属性的连贯性。这种多维度的生成方式使得视觉契约既忠实于原作，又具备跨幕约束的通用性和适应性。

29、在本技术的一些实施例中，所述控制器根据所述叙事文本，生成分幕列表，具体被配置为：

30、对所述叙事文本进行故事结构分析，确定所述叙事文本的多个场景边界；

31、根据所述多个场景边界，将所述叙事文本划分为多个分幕，以得到所述分幕列表；每个所述分幕包括视觉焦点、动作信息、旁白文本和展示时长。

32、上述技术方案具有以下有益效果或优点：

33、该种分幕方式将连续的叙事文本分解为结构化的可独立处理的单元，使得每一幕的插画生成都具有明确的内容指引和时间控制。同时，每个分幕包含的视觉焦点和动作信息为后续的插画提示词构造提供关键的变化部分，使得每一幕的插画既能保持视觉一致性，又能体现故事情节的推进。

34、在本技术的一些实施例中，所述控制器将所述分幕列表中各分幕的动作信息与所述视觉契约进行合并，得到对应分幕的插画提示词，具体被配置为：

35、将所述视觉契约中的所述主体身份、所述主体外观和所述必保留元素作为强约束字段写入各分幕的插画提示词；

36、将所述视觉契约中的所述负向漂移词作为负向约束字段写入各分幕的插画提示词；

37、将所述分幕列表中各分幕的所述动作信息作为局部状态变量写入对应分幕的插画提示词，并保持所述强约束字段和所述负向约束字段在各分幕的插画提示词中不变。

38、上述技术方案具有以下有益效果或优点：

39、将视觉契约中的主体身份、主体外观和必保留元素作为强约束字段、负向漂移词作为负向约束字段写入各分幕的插画提示词，同时将各分幕的动作信息作为局部状态变量写入对应分幕的提示词，并保持强约束字段和负向约束字段在各分幕中不变。这种提示词构造方式，可实现对图像生成模型的双向约束，正向强约束确保核心视觉特征跨幕一致，负向约束阻止模型向错误方向偏移，而动作信息则驱动故事情节的推进。

40、在本技术的一些实施例中，所述控制器根据所述视觉契约对各分幕的预览插画进行一致性校验，具体被配置为：

41、在所述预览插画中检测预览主体身份、预览主体外观和预览必保留元素；

42、将所述预览主体身份与所述视觉契约中的所述主体身份字段进行比对，得到主体身份一致性结果；

43、将所述预览主体外观与所述视觉契约中的所述主体外观字段进行比对，得到主体外观一致性结果；

44、将所述预览必保留元素与所述视觉契约中的所述必保留元素字段进行比对，得到元素完整性结果；

45、根据所述主体身份一致性结果、所述主体外观一致性结果和所述元素完整性结果，确定对所述预览插画的一致性校验是否通过。

46、上述技术方案具有以下有益效果或优点：

47、通过在预览插画中检测预览主体身份、预览主体外观和预览必保留元素，并与视觉契约中的对应字段进行逐项比对，得到主体身份一致性结果、主体外观一致性结果和元素完整性结果，最终综合确定校验是否通过。通过将校验结果细化到具体的维度，为后续的漂移修复提供精准的定位信息。

48、在本技术的一些实施例中，所述控制器更新所述视觉契约中的负向漂移词，具体被配置为：

49、定位所述原作图像中发生漂移的目标图像内容；

50、在所述负向漂移词中添加所述目标图像内容对应的漂移抑制描述；

51、和/或，提高所述视觉契约中所述目标图像内容对应的字段在所述插画提示词中的权重。

52、上述技术方案具有以下有益效果或优点：

53、当一致性校验发现漂移时，首先定位发生漂移的目标图像内容，然后在负向漂移词中添加对应的漂移抑制描述，和/或提高视觉契约中对应字段在插画提示词中的权重。这种修复策略可形成对图像生成模型的双向约束，负向抑制词将模型从错误方向上推开，正向权重增强将模型向正确方向上拉近。

54、在本技术的一些实施例中，所述控制器还被配置为：

55、获取合格插画图像；所述合格插画图像为通过一致性校验的预览插画；

56、将所述分幕列表和所述合格插画图像组合为动态绘本作品，并为所述动态绘本作品配置版本信息；

57、存储配置有所述版本信息的所述动态绘本作品。

58、上述技术方案具有以下有益效果或优点：

59、通过将分幕列表和通过一致性校验的合格插画图像组合为动态绘本作品，并为作品配置版本信息后进行存储。这种持久化方式解决现有技术中预览插画依赖临时统一资源定位符（uniform resource locator，url），一旦链接失效作品便不可恢复的问题。通过将插画从临时url下载并存储为本地资源，同时保存分镜结构、视觉契约、旁白文本和版本状态，使得作品具备可保存、可恢复、可迭代的特性。版本信息的配置还为作品的多次创作和迭代提供基础，用户可以基于某个版本进行二次创作，生成新的版本，而不必从头开始。

60、在本技术的一些实施例中，所述控制器更新所述视觉契约中的负向漂移词和/或所述视觉契约的权重分配之前，还被配置为：

61、检测所述视觉契约的当前更新次数；

62、若所述当前更新次数小于或等于预设最大更新次数，则更新所述视觉契约中的负向漂移词和/或所述视觉契约的权重分配；

63、若所述当前更新次数大于所述预设最大更新次数，则输出校验失败提示信息。

64、上述技术方案具有以下有益效果或优点：

65、引入更新次数限制机制，通过在更新负向漂移词和/或权重分配之前检测当前更新次数，并在超出预设最大更新次数时输出校验失败提示信息，避免系统陷入无限重试的死循环。

66、第二方面，本技术提供一种插画生成方法，包括：

67、获取用户输入的原作图像与叙事文本；

68、对所述原作图像进行多模态语义分析，提取原作语义特征数据；

69、根据所述原作语义特征数据和所述叙事文本，生成视觉契约；其中，所述视觉契约包括主体身份字段、主体外观字段、必保留元素字段、场景规则、构图规则、连续性规则和负向漂移词；

70、根据所述叙事文本，生成分幕列表；所述分幕列表包括多个分幕；每个所述分幕包括动作信息；

71、将所述分幕列表中各分幕的动作信息与所述视觉契约进行合并，得到对应分幕的插画提示词；

72、将各分幕的插画提示词输入图像生成模型，得到所述图像生成模型生成的各分幕的预览插画；

73、根据所述视觉契约对各分幕的预览插画进行一致性校验；

74、若一致性校验未通过，则更新所述视觉契约中的负向漂移词和/或所述视觉契约的权重分配，并基于更新后的所述视觉契约重新生成对应分幕的插画提示词。

75、上述技术方案具有以下有益效果或优点：

76、通过构建视觉契约机制，将用户原作图像的视觉特征转化为跨幕共享的结构化约束，从根本上解决多幕插画生成中的跨幕视觉漂移问题。通过对原作图像进行多模态语义分析提取原作语义特征数据，并结合叙事文本生成包含主体身份、主体外观、必保留元素、场景规则、构图规则、连续性规则和负向漂移词在内的视觉契约，可实现对每一幕插画生成过程的系统性约束。在此基础上，通过将各分幕的动作信息与视觉契约合并构造插画提示词，确保每一幕的生成都在统一的视觉规范指导下进行。更进一步，通过引入一致性校验和负向漂移词/权重分配的动态更新机制，可形成生成、校验、修正、重生成的闭环控制，使得系统能够在无人干预的情况下自动检测并修复视觉漂移，提升多幕插画生成的一致性和可靠性。