一种面向古诗词文本的语义闭环可控图像生成方法与装置

本发明涉及人工智能图像生成、自然语言处理和计算机视觉，尤其涉及一种面向古诗词文本的语义闭环可控图像生成方法与装置。

背景技术：

1、中国古诗词是中华文明的瑰宝，也是语文教育和传统文化教育中的重要内容。学习者在理解诗句时往往需要借助图像、画面描述。传统古诗词教学资源通常依赖人工绘制插图、人工整理意象说明或人工制作课件，制作周期长、成本高，质量差异较大。近年来，文本生成图像技术能够根据自然语言提示生成具有较高视觉质量的图像，为古诗词教学插图和多媒体资源构建提供了新的技术途径。

2、然而，古诗词文本通常具有语言凝练、意象密集、修辞含蓄和情感表达抽象等特点，难以被图像生成系统稳定识别和约束，生成结果容易与原文本语义发生偏差。现有文本生成图像方法在普通描述性文本中能够取得一定效果，但面对古诗词这类高度凝练文本时，常出现可视化实体缺失、数量错误、属性错配、动作关系未呈现、空间关系偏移以及整体场景与文本不一致等问题。特别是古诗词中存在省略、借喻、典故和抽象情感时，原文中隐含的视觉对象和空间关系需要先被结构化解析，才能成为图像生成模型可执行的控制条件。

3、为改善图像生成效果，现有技术中已有提示改写、区域可控生成以及图文一致性评价等方法。提示改写方法可以将简短文本扩展为更适合图像生成模型识别的描述性提示，但多数方法仍停留在一次性提示构造阶段，缺乏联动生成与重绘全过程、可经验证与修复的稳定语义依据。区域可控生成方法可以利用对象位置或布局信息提高图像生成的空间可控性，但通常依赖预先显式给定的对象类别和区域布局。图文一致性评价方法可以对生成图像与文本之间的整体匹配程度进行判断后反馈，但其评价结果多表现为整体相似度或整体问答得分，难以定位到具体失败的对象、属性或关系，也难以直接转化为可执行的局部图像修复指令。

4、因此，现有技术至少存在以下技术问题：第一，凝练文本中的实体槽位、属性槽位和空间关系槽位不明确，导致文本到图像生成模型难以稳定绑定语义与区域；第二，生成控制条件与验证条件通常来源不一致，导致评价结果难以回溯至生成阶段使用的具体语义单元；第三，生成失败往往只表现为整体不匹配，难以定位为具体实体缺失、属性错误或空间关系偏差；第四，局部重绘若缺少门控机制，容易在修复目标区域的同时破坏非目标区域、整体构图或全局语义一致性。

5、基于上述问题，有必要提供一种能够将古诗词文本中的隐含视觉语义转换为机器可读结构化语义信息，并使该结构化语义信息贯穿生成控制、一致性验证、失败定位和局部重绘门控全过程的自动化生成方案。

技术实现思路

1、为解决现有技术中凝练文本导致图像生成语义槽位不明确、生成控制和一致性验证相互割裂、生成失败难以定位以及局部修复容易破坏非目标区域的问题，本发明提供一种面向古诗词文本的语义闭环可控图像生成方法与装置。该方案不以提示词扩写作为单一技术手段，而是构建面向图像生成的结构化语义信息，并以该结构化语义信息作为生成、验证、失败定位和修复门控的统一数据基础。

2、一方面，为实现上述目的，本发明提供了一种面向古诗词文本的语义闭环可控图像生成方法，包括：

3、获取待可视化的古诗词文本；

4、对所述待可视化的古诗词文本进行视觉语义解析，生成结构化语义信息，所述结构化语义信息包括视觉语义要素以及与各所述视觉语义要素对应的语义槽位标识；

5、基于同一所述结构化语义信息分别生成图像生成控制信息和一致性验证信息，其中，所述图像生成控制信息至少包括用于约束生成图像内容的提示信息和用于约束图像空间布局的空间约束信息；所述一致性验证信息包括与所述语义槽位标识关联的原子验证问题集；

6、根据所述图像生成控制信息，生成候选图像，并根据所述原子验证问题集对所述候选图像进行一致性评估，获得各所述语义槽位标识对应的评估结果；

7、根据所述评估结果和所述语义槽位标识，将失败语义单元定位至所述结构化语义信息中对应的实体、属性或关系；

8、根据定位出的所述失败语义单元，在所述候选图像中确定目标编辑区域，并对所述目标编辑区域执行局部图像编辑，得到编辑后图像；

9、在所述编辑后图像满足预设门控条件时，接受并输出所述编辑后图像，输出古诗词文本的可视化图像。

10、优选地，所述结构化语义信息为机器可读的语义槽位表、图结构、json结构或向量化槽位集合；每一语义槽位至少包括槽位标识、槽位类型、可视化标志、实体类别或关系类型、空间先验以及验证问题指针；所述空间先验用于限定对应的视觉语义要素在图像平面中的候选区域、相对位置或层级优先级。

11、优选地，对所述待可视化的古诗词文本进行视觉语义解析，包括：

12、对所述待可视化的古诗词文本进行初始解析，得到初始语义解析结果；

13、对所述初始语义解析结果进行语义检查，识别对象遗漏、属性缺失、关系缺失、文化语义偏差、空间关系不完整或不可视化抽象概念误入实体集合中的至少一种问题，生成包含问题类型、问题槽位和修订建议的语义检查结果；

14、根据所述语义检查结果修订所述初始语义解析结果，生成所述结构化语义信息。

15、优选地，基于同一所述结构化语义信息分别生成图像生成控制信息和一致性验证信息，包括：

16、从所述结构化语义信息中的实体信息、属性信息、关系信息和场景信息生成所述提示信息；

17、从所述结构化语义信息中的空间先验生成所述空间约束信息；

18、从所述结构化语义信息中的语义槽位标识生成所述原子验证问题集；

19、其中，所述空间约束信息和所述原子验证问题集分别携带有指向同一语义槽位集合的语义槽位标识，用于建立所述评估结果向所述图像生成控制信息所依据的语义要素的追溯路径。

20、优选地，根据所述图像生成控制信息，生成候选图像，包括：

21、将所述提示信息输入至图像生成模型；

22、在图像生成的前预设数量去噪步或时间步大于预设时间步阈值的阶段，根据所述空间约束信息中的区域掩码，将目标实体对应的局部潜变量与全局潜变量进行融合，建立所述目标实体与图像区域之间的空间绑定关系。

23、优选地，根据所述原子验证问题集对所述候选图像进行一致性评估，包括全局一致性评估和局部一致性评估；

24、其中，所述全局一致性评估基于古诗词文本或由所述结构化语义信息生成的画面描述构建全局验证问题，并通过多模态评价模型计算所述候选图像的全局一致性得分；

25、所述局部一致性评估用于将候选图像和所述原子验证问题集输入多模态评价模型，得到各原子验证问题的答复概率，并根据各答复概率与相应期望答案进行对齐后，计算同一语义槽位或同一区域关联的原子验证问题的局部一致性得分，其中，各所述原子验证问题的期望答案包括肯定答案或否定答案。

26、优选地，根据所述评估结果和所述语义槽位标识，将失败语义单元定位至所述结构化语义信息中对应的实体、属性或关系，包括：

27、将低于预设局部一致性阈值的局部一致性得分、低于同组候选图像中对应语义槽位平均得分的局部一致性得分、或由正反向原子验证问题得到的对比验证失败结果，确定为失败语义证据；

28、根据所述失败语义证据对应的语义槽位标识，将所述失败语义证据映射至所述结构化语义信息中的实体、属性或关系，确定待修复的失败语义单元及对应的修复路径类型；

29、其中，所述修复路径类型包括对象缺失修复、属性纠错修复、空间关系修复、过程约束修复或混合修复。

30、优选地，所述预设门控条件包括：

31、所述失败语义单元对应的局部一致性提升量达到预设提升阈值；

32、全局一致性下降量未超过预设容差；

33、且所述目标编辑区域外部的非目标区域图像差异未超过预设保持阈值；

34、所述非目标区域图像差异包括所述编辑后图像与所述候选图像在所述目标编辑区域外部的像素差异、结构相似度差异或感知特征距离中的至少一种。

35、优选地，得到所述编辑后图像，包括：

36、根据所述失败语义单元和对应的空间先验生成局部修复控制信息，所述局部修复控制信息包括目标实体或目标关系、修复路径类型、局部编辑提示、负向修复提示、目标区域软掩码和局部重绘过程参数；

37、基于所述目标区域软掩码，对所述候选图像的对应区域进行噪声重注入或图像编辑，并在编辑过程中保持所述目标区域软掩码外部区域的图像内容或潜变量不变。

38、另一方面，为实现上述目的，本发明还提供一种面向古诗词文本的语义闭环可控图像生成装置，包括：

39、文本获取模块，用于获取待可视化的古诗词文本；

40、语义解析模块，用于对所述待可视化的古诗词文本进行视觉语义解析，生成结构化语义信息，所述结构化语义信息包括视觉语义要素以及与各所述视觉语义要素对应的语义槽位标识；

41、控制与验证构建模块，用于基于同一所述结构化语义信息分别生成图像生成控制信息和一致性验证信息，其中，所述图像生成控制信息至少包括用于约束生成图像内容的提示信息和用于约束图像空间布局的空间约束信息；所述一致性验证信息包括与所述语义槽位标识关联的原子验证问题集；

42、候选图像生成模块，用于根据所述图像生成控制信息生成候选图像；

43、一致性评估模块，用于根据所述原子验证问题集对所述候选图像进行一致性评估，获得各所述语义槽位标识对应的评估结果；

44、失败定位模块，用于根据所述评估结果和所述语义槽位标识，将失败语义单元定位至所述结构化语义信息中对应的实体、属性或关系；

45、局部编辑与门控模块，用于根据定位出的所述失败语义单元，在所述候选图像中确定目标编辑区域，并对所述目标编辑区域执行局部图像编辑，得到编辑后图像，以及在所述编辑后图像满足预设门控条件时，接受所述编辑后图像；

46、输出模块，用于输出所述古诗词文本的可视化图像。

47、与现有技术相比，本发明具有如下优点和技术效果：

48、（1）语义忠实度提升：通过构建统一的结构化语义信息并以此为基础同步派生生成控制信息与一致性验证信息，利用语义槽位指针实现评价结果向语义单元的可追溯定位，有效降低了语义槽位与图像区域的绑定错误，显著提高了图像内容对古诗词文本的还原准确度。

49、（2）空间可控性与区域稳定性增强：通过区域规划信息对实体空间布局进行约束，并在扩散生成过程中融合局部与全局潜变量，建立了实体语义与图像区域之间的稳定绑定关系，提升了生成图像的空间可控性。

50、（3）失败定位精度提高：通过原子验证问题集对候选图像进行细粒度的一致性评估，能够将生成失败从整体不匹配精确归因至具体的实体缺失、属性错误或空间关系偏差，为后续局部修复提供精准靶向。

51、（4）局部重绘扰动可控：通过预设门控条件同时要求局部语义提升、全局一致性不显著下降以及非目标区域稳定保持，避免了无约束重绘导致的新偏差，保证了图像的整体协调性和编辑稳定性。

52、（5）输出结果可解释性强：能够同步输出包含图像、语义映射、评价结果和修复记录的可视化教育资源包，提升了生成过程的透明度和结果的可用性，便于教学、审核及二次编辑。