基于知识状态驱动与视觉语义导航的连续多模态内容生成方法及系统与流程

摘要: 本发明涉及人工智能与多模态信息处理,具体而言,涉及一种基于知识状态驱动与视觉语义导航的连续多模态内容生成方法及系统。背景技术:1、现有基于生成式人工智能的科普内...
基于知识状态驱动与视觉语义导航的连续多模态内容生成方法及系统与流程

本发明涉及人工智能与多模态信息处理,具体而言,涉及一种基于知识状态驱动与视觉语义导航的连续多模态内容生成方法及系统。

背景技术:

1、现有基于生成式人工智能的科普内容生成方法,大多采用两种模式:一是用户输入问题后由大语言模型生成文本、再由图像模型生成配图;二是用户输入主题后自动生成多页内容并按预定顺序展示。上述方案虽能降低内容生产成本,但其核心仍属于一次性内容生成。

2、现有技术主要存在以下问题:生成过程缺少显式的结构化知识状态,多轮生成之间容易出现上下文漂移、知识主题跳变和事实重复;用户交互仅被作为界面翻页事件处理,无法将用户在图像中的点击位置理解为“用户正在关注什么知识对象”;大语言模型、视觉语言模型、图像生成模型各自独立调用,彼此之间缺少统一的中间状态约束,难以保证语义、知识、视觉和空间的连续一致;缺少面向用户认知状态的下一内容决策机制,生成内容无法适配不同年龄段用户的认知水平;以及缺少生成结果的闭环评价与修正机制,科普内容的事实准确性难以得到可靠保障。

技术实现思路

1、鉴于上述问题,本发明提供一种基于知识状态驱动与视觉语义导航的连续多模态内容生成方法,所述方法包括:

2、获取用户输入信息及初始用户状态,基于所述用户输入信息构建结构化知识空间,所述知识空间包含多个知识节点及节点间的语义关系;

3、基于当前知识状态调用多模态生成模型生成当前多模态内容,并对所述当前多模态内容执行视觉语义解析,获得视觉实体集合,建立各所述视觉实体与所述知识空间中知识节点之间的映射关系;

4、获取用户针对所述当前多模态内容执行的视觉交互行为,将所述视觉交互行为与所述当前知识状态共同输入视觉语言模型,识别用户当前关注对象并推断真实探索意图;

5、根据所述关注对象和所述真实探索意图,从所述结构化知识空间中检索候选知识节点集合,结合所述初始用户状态及所述当前知识状态对所述候选知识节点进行综合评分,确定下一目标知识节点;

6、根据所述下一目标知识节点及所述当前知识状态构建多模态生成条件,调用至少一个生成模型生成下一多模态内容;

7、对所述下一多模态内容执行多维一致性评价,当评价结果满足预设条件时,根据当前交互结果和生成结果更新所述知识状态,并将所述下一多模态内容提供给用户进行后续交互;当评价结果不满足预设条件时,根据失败类型修正所述多模态生成条件并重新生成。

8、此外,本发明还提供一种基于知识状态驱动与视觉语义导航的连续多模态内容生成系统,该系统用于存储并执行上述方法。

9、基于以上内容,本发明与现有技术相比,具有以下有益效果。

10、第一,本发明通过构建显式的结构化知识状态作为核心中间变量,消除了多轮生成之间的上下文漂移与知识重复。现有方案中各生成模型仅依赖独立提示词工作,多轮生成缺乏共享记忆,容易发生主题跳变或事实前后矛盾。本发明将当前知识节点、知识上下文、历史探索路径等信息统一纳入状态管理,保证了连续生成过程中知识逻辑的自洽性与演进的有序性。

11、第二,本发明将用户点击、圈选等视觉交互行为转化为知识空间中的语义导航信号。现有方案中用户点击仅被作为界面翻页事件处理,无法体现用户的知识探索需求。本发明通过视觉语言模型解析交互坐标对应的视觉实体,并通过两阶段解耦算法(对象识别加意图推断)将“用户点了什么”转化为“用户想知道什么”,使每一次交互都成为在知识空间中的一次确定性语义跳转,实现了从被动翻页到主动探索的交互范式升级。

12、第三,本发明通过多模态生成条件编排器将知识决策与模型调用解耦,并以视觉风格状态和空间状态的迭代约束保证跨页面的视觉与空间连续性,克服了多模型独立调用导致的风格漂移和场景错乱问题。

13、第四,本发明通过候选知识节点的八因子综合评分机制,同时兼顾语义相关度、知识增益、兴趣匹配、年龄适配、连续性、好奇心价值、难度惩罚与重复惩罚,并依据用户认知状态自适应调整内容难度,实现了“相关且适合”的内容推送,避免了现有方案中“相关但不适龄”的生成缺陷。

14、第五,本发明通过多维一致性评价与失败类型驱动的条件修正机制,实现了生成结果的闭环校验与定向修复,显著提升了科普内容的科学事实准确性,克服了现有方案中“生成即展示”所带来的事实错误风险。

15、综上所述,本发明将传统的一次性人工智能内容生成转变为状态驱动的连续生成过程,在内容连贯性、交互智能性、认知适配性和生成可靠性方面均取得了显著的技术进步。

1.一种基于知识状态驱动与视觉语义导航的连续多模态内容生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述结构化知识空间的构建具体包括:

3.根据权利要求1所述的方法,其特征在于,建立视觉实体与知识节点之间的映射关系具体包括:

4.根据权利要求1所述的方法,其特征在于,识别用户当前关注对象具体包括:

5.根据权利要求1所述的方法,其特征在于,推断真实探索意图具体包括:

6.根据权利要求1所述的方法,其特征在于,对候选知识节点进行综合评分具体包括:

7.根据权利要求1所述的方法,其特征在于,构建多模态生成条件还包括跨页视觉连续性的显式控制:

8.根据权利要求1所述的方法,其特征在于,执行多维一致性评价及失败驱动重生成具体包括:

9.根据权利要求1所述的方法,其特征在于,生成当前多模态内容之后还包括预推理缓存步骤:

10.一种基于知识状态驱动与视觉语义导航的连续多模态内容生成系统,其特征在于,包括: