基于多模态特征融合的结构化内容自动化生成方法及系统与流程
本发明涉及人工智能内容生成,具体涉及基于多模态特征融合的结构化内容自动化生成方法及系统。
背景技术:
1、随着人工智能生成内容技术的快速发展,基于深度学习的自动生成方法已广泛应用。具体地,现有技术主要分为两类:一类基于纯文本语言模型,仅能处理文本输入,无法利用图像、视频等视觉素材中的信息;另一类采用先文后图的匹配方式,将文本生成与视觉元素选取割裂为两个独立步骤,图像选取仅依赖关键词匹配,缺乏对图文语义的深层统一理解,导致图文逻辑脱节、语义不一致。此外,现有方法缺乏对不同体裁篇章结构的适配能力,统一生成策略难以满足新闻报道、产品评测等不同体裁的结构化需求;端到端的单级生成模式导致长文本的篇章逻辑和上下文一致性难以保证;同时缺乏对图文语义一致性的量化评估机制,无法根据内容质量动态调整生成策略。
2、因此,亟需一种能够融合多模态输入、适配不同体裁结构、通过层次化生成保证逻辑一致、并具备质量评估与反馈调整能力的内容自动化生成方法。
技术实现思路
1、本发明针对现有技术中多模态输入素材难以深度融合、图文生成割裂导致语义不一致、缺乏体裁结构化适配能力,以及单级生成模式难以保证长文本逻辑一致性的技术问题,提供基于多模态特征融合的结构化内容自动化生成方法及系统。
2、本发明解决上述技术问题的技术方案如下:
3、第一方面,本发明提供了基于多模态特征融合的结构化内容自动化生成方法,包括:
4、获取多模态输入素材,通过跨模态语义理解引擎提取语义要素,并构建输入素材的内容关联图谱,所述内容关联图谱包括实体节点、事件节点及其语义关系边;
5、根据目标体裁类型,从体裁模板库中匹配对应的篇章结构模板,并根据所述篇章结构模板预选与各结构区域关联的视觉元素,建立视觉元素与所述内容关联图谱中实体节点的事件映射关系;
6、以所述内容关联图谱为数据源,基于所述篇章结构模板,通过层次化生成架构逐层生成文章内容,并根据事件映射关系动态嵌入关联的视觉元素;
7、对生成的文章内容执行多维质量评估,所述多维质量评估至少包括上下文连贯性评分、图文语义一致性评分与体裁适配度评分,并根据所述多维质量评估执行分级输出控制。
8、第二方面,本发明提供了基于多模态特征融合的结构化内容自动化生成系统,包括:
9、图谱构建模块,用于获取多模态输入素材,通过跨模态语义理解引擎提取语义要素,并构建输入素材的内容关联图谱,所述内容关联图谱包括实体节点、事件节点及其语义关系边;
10、模板匹配模块,用于根据目标体裁类型,从体裁模板库中匹配对应的篇章结构模板,并根据所述篇章结构模板预选与各结构区域关联的视觉元素,建立视觉元素与所述内容关联图谱中实体节点的事件映射关系;
11、逐层生成模块,用于以所述内容关联图谱为数据源,基于所述篇章结构模板,通过层次化生成架构逐层生成文章内容,并根据事件映射关系动态嵌入关联的视觉元素;
12、质量评估模块,用于对生成的文章内容执行多维质量评估,所述多维质量评估至少包括上下文连贯性评分、图文语义一致性评分与体裁适配度评分,并根据所述多维质量评估执行分级输出控制。
13、本发明的有益效果是:
14、本发明首先通过跨模态语义理解引擎提取多模态输入素材的语义要素,构建包含实体节点、事件节点及其语义关系的内容关联图谱,将异构多模态数据统一到相同的语义向量空间中,解决了图像、视频、音频与文本之间难以深度融合的问题。其次,根据目标体裁类型从体裁模板库中匹配对应的篇章结构模板,并建立视觉元素与内容关联图谱中实体节点的映射关系,使视觉元素的选取与文章内容在语义层面建立深层关联,克服了传统方法中图文生成割裂、语义不一致的缺陷。
15、再次,以内容关联图谱为数据源,基于篇章结构模板,通过层次化生成架构逐层生成文章内容,从章节级大纲到段落级主旨再到语句级文本,层层递进,保证了长文本的篇章逻辑连贯性和上下文一致性。最后,对生成内容执行上下文连贯性、图文语义一致性与体裁适配度等多维质量评估,并根据评估结果执行分级输出控制,实现了生成质量的量化把控与自动优化。本发明解决了现有技术中多模态融合不充分、图文逻辑脱节、长文本一致性差以及缺乏质量评估机制的技术问题。
1.基于多模态特征融合的结构化内容自动化生成方法,其特征在于,包括:
2.根据权利要求1所述的基于多模态特征融合的结构化内容自动化生成方法,其特征在于,获取多模态输入素材,通过跨模态语义理解引擎提取语义要素,并构建输入素材的内容关联图谱,包括:
3.根据权利要求1所述的基于多模态特征融合的结构化内容自动化生成方法,其特征在于,根据目标体裁类型,从体裁模板库中匹配对应的篇章结构模板,并根据所述篇章结构模板预选与各结构区域关联的视觉元素,建立视觉元素与所述内容关联图谱中实体节点的事件映射关系,包括:
4.根据权利要求3所述的基于多模态特征融合的结构化内容自动化生成方法,其特征在于,体裁模板库的构建步骤包括:
5.根据权利要求1所述的基于多模态特征融合的结构化内容自动化生成方法,其特征在于,以所述内容关联图谱为数据源,基于所述篇章结构模板,通过层次化生成架构逐层生成文章内容,并根据事件映射关系动态嵌入关联的视觉元素,包括:
6.根据权利要求5所述的基于多模态特征融合的结构化内容自动化生成方法,其特征在于,通过层次化生成架构逐层生成文章内容,还包括:
7.根据权利要求1所述的基于多模态特征融合的结构化内容自动化生成方法,其特征在于,对生成的文章内容执行多维质量评估,所述多维质量评估至少包括上下文连贯性评分、图文语义一致性评分与体裁适配度评分,包括:
8.根据权利要求7所述的基于多模态特征融合的结构化内容自动化生成方法,其特征在于,还包括:
9.根据权利要求7所述的基于多模态特征融合的结构化内容自动化生成方法,其特征在于,根据所述多维质量评估执行分级输出控制,包括:
10.基于多模态特征融合的结构化内容自动化生成系统,其特征在于,用于执行权利要求1至9任一项所述的基于多模态特征融合的结构化内容自动化生成方法,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com