一种基于多模态知识解析的教育智能问答方法及系统

摘要: 本申请属于计算机,具体涉及一种基于多模态知识解析的教育智能问答方法及系统。背景技术:1、随着大语言模型与智能体技术的进步,人工智能在教育领域的应用已从传统的知识...
一种基于多模态知识解析的教育智能问答方法及系统

本申请属于计算机,具体涉及一种基于多模态知识解析的教育智能问答方法及系统。

背景技术:

1、随着大语言模型与智能体技术的进步,人工智能在教育领域的应用已从传统的知识问答,逐步扩展到学习反馈、内容生成、个性化辅导与学习过程支持等多元化场景。

2、然而,目前的教育智能问答系统通常直接依赖大语言模型生成内容,导致生成结果与教材原文之间缺乏稳定关联,以致答案依据不清且难以追溯;同时,目前的系统通常仅处理文本内容(比如教材正文的文字内容),对图像、表格等多模态教学资源缺乏有效的处理方式,导致教材知识难以得到充分利用,以致答案质量不佳。

技术实现思路

1、本申请实施例的目的是提供一种基于多模态知识解析的教育智能问答方法及系统,能够解决相关技术中教育智能问答系统所存在的答案依据不清、难以追溯且质量不佳的问题。

2、为了解决上述技术问题,本申请是这样实现的:

3、第一方面,本申请实施例提供了一种基于多模态知识解析的教育智能问答方法,该方法包括:

4、响应于接收到用户上传的教材资料,对所述教材资料进行结构化解析,得到解析结果,所述解析结果包含:多模态的教材内容信息,以及教材版面与位置类信息;

5、根据所述解析结果中各个第一类型元素各自的教材内容信息和上下文信息,生成所述各个第一类型元素各自的语义描述,其中,不同类型的元素对应不同的模态,所述各个第一类型元素为非文本类型元素;

6、将所述解析结果以及所述各个第一类型元素各自的语义描述,按元素组织为统一内容元素列表;

7、对所述统一内容元素列表进行结构化切块,得到多个知识块;

8、根据所述多个知识块,构建多模态教材知识库;

9、响应于检测到用户提问所关联的待检索的查询文本,基于所述多模态教材知识库,检索所述查询文本所关联的各个知识块;

10、在对所述用户提问所关联的所有查询文本完成检索之后,根据检索到的所有查询文本所关联的知识块,生成携带教材引用信息的回答。

11、第二方面,本申请实施例提供了一种基于多模态知识解析的教育智能问答系统,所述系统包括:

12、多模态教材知识组织模块,用于响应于接收到用户上传的教材资料,对所述教材资料进行结构化解析,得到解析结果,所述解析结果包含:多模态的教材内容信息,以及教材版面与位置类信息;以及根据所述解析结果中各个第一类型元素各自的教材内容信息和上下文信息,生成所述各个第一类型元素各自的语义描述,其中,不同类型的元素对应不同的模态,所述各个第一类型元素为非文本类型元素;以及将所述解析结果以及所述各个第一类型元素各自的语义描述,按元素组织为统一内容元素列表;以及对所述统一内容元素列表进行结构化切块,得到多个知识块;以及根据所述多个知识块,构建多模态教材知识库;

13、教材证据检索模块,用于响应于检测到用户提问所关联的待检索的查询文本,基于所述多模态教材知识库,检索所述查询文本所关联的各个知识块;

14、回答生成模块,用于在对所述用户提问所关联的所有查询文本完成检索之后,根据检索到的所有查询文本所关联的知识块,生成携带教材引用信息的回答。

15、第三方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的基于多模态知识解析的教育智能问答方法的步骤。

16、第四方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的基于多模态知识解析的教育智能问答方法。

17、在本申请实施例中,提供了针对多模态教学资源的有效处理方式,首先对教材资料进行结构化解析,并依据解析结果对各个第一类型元素生成语义描述以使相关模态的教材内容信息具有可索引性,由此将教材资料中的多模态教材内容信息转化为可索引的知识表达,并结合其教材版面与位置类信息,生成统一内容元素列表,以兼顾教材原始结构保留与多模态知识利用,从而确保后续生成结果与教材原文之间的稳定关联性;然后,对统一内容元素列表进行结构化切块以保证知识块的可引用性与可溯源性,进而基于知识块构建多模态教材知识库以支持后续的检索及带引用的回答生成流程,由此可以有效解决教育智能问答系统所存在的答案依据不清、难以追溯且质量不佳的问题。

1.一种基于多模态知识解析的教育智能问答方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述多模态教材知识库包括结构化数据库和向量数据库;所述根据所述多个知识块,构建多模态教材知识库,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述向量检索结果和所述全文检索结果,确定所述查询文本所关联的各个知识块,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述解析结果中各个第一类型元素各自的教材内容信息和上下文信息,生成所述各个第一类型元素各自的语义描述,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述统一内容元素列表进行结构化切块,得到多个知识块,包括:

6.根据权利要求5所述的方法,其特征在于,所述标题树通过以下步骤进行构建:

7.根据权利要求1-6任一所述的方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.根据权利要求7所述的方法,其特征在于,所述方法还包括:

10.一种基于多模态知识解析的教育智能问答系统,其特征在于,所述系统包括: