一种自适应多模态富文本智能生成方法及系统与流程

摘要: 本发明涉及文本智能开发,尤其涉及一种自适应多模态富文本智能生成方法及系统。背景技术:1、近年来大语言模型(llm)技术快速发展(如gpt-4、deepseek等...
一种自适应多模态富文本智能生成方法及系统与流程

本发明涉及文本智能开发,尤其涉及一种自适应多模态富文本智能生成方法及系统。

背景技术:

1、近年来大语言模型(llm)技术快速发展(如gpt-4、deepseek等),其在文本生成领域的应用也日益广泛。然而,现有大模型的核心能力仍局限于纯文本输出,尽管部分模型尝试引入图片等非结构化数据的描述,但生成内容仍以线性文字为主,缺乏与多模态数据的深度融合。

2、在用户端,富文本(如含图文混排)已成为信息表达的主流形式。例如,在教育、医疗、商业分析等场景中,用户需要结合视觉化数据和结构化信息辅助决策。而现有大模型的纯文字输出模式存在显著局限性,包括:文搜图过程依赖手动操作,降低效率;图文逻辑割裂,容易引发内容幻觉风险,生成不准确或虚假信息;图片引用来源不可追溯,影响可信度。

技术实现思路

1、本发明主要目的是提供一种自适应多模态富文本智能生成方法及系统,通过动态融合领域多模态知识,实现图文结构化内容的自动生成与溯源。

2、本发明所采用的技术方案是:一种自适应多模态富文本智能生成方法,包括:

3、从用户问题的相关领域采集原始数据并提取其中的文本片段和图片,进行分别处理,利用文本片段及对其处理得到的文本向量建立文本知识库,利用图片及对其处理得到的图片向量建立图片知识库;

4、通过向量化模型将用户问题向量化,在文本知识库和图片知识库中检索与用户问题最相关的文本向量和图片向及对应文档,对所有文档进行编号,并组合为提示词模板;

5、将提示词模板输入大语言模型,接收流式输出的答案;对答案进行及时拼接,之后检测其中是否存在预定义的图片标记;若存在预定义的图片标记,追溯该图片标记对应的原始数据并查找最邻近的图片,若存在最邻近的图片,将图片标记替换为最邻近的图片的实际地址重新输出答案,否则获取最接近图片标记的内容块并进行向量化处理,从图片知识库搜索最接近的图片,将图片标记替换为最接近的图片的实际地址重新输出答案;若不存在预定义的图片标记,立即输出已处理的部分答案。

6、按上述技术方案,对文本片段进行处理的方法具体包括:通过xpath或正则方式去除文本片段中的html标签和广告,提取文本片段的纯文本;

7、使用textrank算法对提取到的纯文本进行语义分析,将文档分割成多个具有独立意义的语义单元;

8、通过文本向量化模型对语义单元进行编码,生成高维的文本向量;所述文本向量化模型包括bge-large模型;

9、将文本向量及对应的原始文本片段构建为文本知识库。

10、按上述技术方案,所述textrank算法为通过公式计算纯文本中的句子权重;其中,表示句子的权重;是阻尼系数,表示随机跳转的概率;是所有指向句子的句子集合;是从句子指向的所有句子集合;表示句子和句子之间的相似度。

11、按上述技术方案,对图片进行处理的方法具体包括:通过xpath或正则方式提取原始数据中的图片;

12、使用图片向量化模型对提取出的图片进行编码,转为数值化的向量;所述图片向量化模型包括bge-m3模型;

13、将图片向量及对应的原始图片构建为图片知识库。

14、按上述技术方案,在文本知识库和图片知识库中检索与用户问题最相关的文本向量和图片向量的方法包括:比较用户问题向量分别文本知识库中各文本向量、图片知识库中各图片向量的余弦相似度;计算公式包括:

15、

16、其中,a表示用户问题向量,b表示文本知识库中的文本向量或图片知识库中的图片向量;表示a和b的余弦相似度;和分别表示向量a和b在第i个维度上的值;

17、分别取余弦相似度最高时对应的文本向量和图片向量,作为与用户问题最相关文本向量和图片向量。

18、按上述技术方案,所述追溯该图片标记对应的原始数据的方法具体包括:使用正则表达式从图片标记中提取文档编号;根据该编号定位至图片标记所属的文档,并利用该文档的元数据追溯至对应的原始数据。

19、按上述技术方案,所述查找最邻近的图片的方法具体包括:

20、根据图片标记的位置向前对答案进行语义切割,获取最接近图片标记的内容块;

21、使用向量化模型对该内容块进行向量化处理;

22、从图片知识库中检索与内容块向量余弦相似度最高的图片向量,将其对应的图片作为最接近的图片。

23、本发明的另一方面提供一种自适应多模态富文本智能生成系统,包括领域知识库构建模块、提示词模板构建模块和富文本答案生成模块;其中,

24、领域知识库构建模块,用于从相关领域采集原始数据并提取其中的文本片段和图片,进行分别处理,利用文本片段及对其处理得到的文本向量建立文本知识库,利用图片及对其处理得到的图片向量建立图片知识库;

25、提示词模板构建模块,用于通过向量化模型将用户问题向量化,在文本知识库和图片知识库中检索与用户问题最相关的文本向量和图片向量,组合为提示词模板;

26、富文本答案生成模块,用于将提示词模板输入大语言模型,接收流式输出的答案;对答案进行及时拼接,之后检测其中是否存在预定义的图片标记;若存在预定义的图片标记,追溯该图片标记对应的原始数据并查找最邻近的图片,若存在最邻近的图片,将图片标记替换为最邻近的图片的实际地址重新输出答案,否则获取最接近图片标记的内容块并进行向量化处理,从图片知识库搜索最接近的图片,将图片标记替换为最接近的图片的实际地址重新输出答案;若不存在预定义的图片标记,立即输出已处理的部分答案。

27、本发明的另一方面提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的自适应多模态富文本智能生成方法的步骤。

28、本发明的另一方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的自适应多模态富文本智能生成方法的步骤。

29、本发明产生的有益效果是:本发明提供一种自适应多模态富文本智能生成方法及系统,通过分离构建文本与图片向量知识库并跨模态动态检索,实现了多模态领域知识的高效融合与精准调用;通过流式输出实时拼接与预定义图片标记追溯机制,解决了图文位置割裂问题并保障数据来源可溯性;通过语义切割向量化与跨库图片检索的互补机制,确保了复杂场景下富文本生成的鲁棒性与资源准确性。

30、进一步地,本发明还通过采用textrank算法实现无监督语义分割与权重计算,实现了文本知识库的高精度结构化存储,显著提升后续检索的语义匹配效率;

31、进一步地,本发明还通过基于余弦相似度的跨模态向量比对机制,解决了图文资源与用户意图的精准对齐问题,降低多模态关联的误差传播风险;

32、进一步地,本发明还通过文档编号定位与语义切割双路径溯源机制,构建了图片资源的闭环验证体系,降低图片引用来源不可靠的风险。

33、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。