基于多模态融合与分层检索增强的智能问答方法、装置与流程

摘要: 本发明属于大模型与知识关联,具体涉及一种基于多模态融合与分层检索增强的智能问答方法、装置。背景技术:1、随着企业知识资产逐步从结构化数据库转移到文档、图片、表格...
基于多模态融合与分层检索增强的智能问答方法、装置与流程

本发明属于大模型与知识关联,具体涉及一种基于多模态融合与分层检索增强的智能问答方法、装置。

背景技术:

1、随着企业知识资产逐步从结构化数据库转移到文档、图片、表格、会议录音及混合格式资料之中,传统基于纯文本检索的知识问答系统已经难以覆盖真实业务场景。大量关键信息并非以线性文字形式存在,而是分散在表格单元格、截图批注、流程图、示意图、扫描页眉页脚、版面布局、页内跨栏关系、附件嵌套关系以及音视频的时序片段中。

2、现有rag方案大多围绕“文本抽取+向量召回+大模型生成”的单一路径构建,其默认前提是文件可被稳定还原为连续文本。但是在多模态文件处理中,上述前提往往不成立。例如,合同类pdf中的盖章页、参数说明书中的图表、测试报告中的截图、项目周报中的嵌入式excel表以及会议纪要中的语音片段,均携带强语义信息,若在预处理阶段被压缩为普通文本,则会导致语义失真、证据缺失和答案错误。

3、现有技术主要存在如下不足:

4、一是解析链路割裂。不同文件类型通常采用独立解析器处理,文本、图像、表格和音频的输出结果缺乏统一的语义坐标系,导致后续检索无法建立跨模态对应关系。

5、二是切片策略粗糙。多数系统按固定字数或段落进行切分,无法保留表格结构、图文邻接关系、页码位置、标题层级及附件来源,导致召回片段缺少完整语义边界。

6、三是索引粒度单一。很多方案仅建立文本向量索引,未对图像描述、版面区域、表格结构、ocr块、音频时间轴和文件元数据构建分层索引,造成召回结果覆盖面不足。

7、四是查询理解能力弱。用户问题往往天然包含跨模态约束,如“第3章里的架构图说明了什么”“报价单里税率最高的物料在哪一页”“会议录音里谁提出延期建议并附带截图依据”,传统纯文本rag难以对这类问题进行稳定响应。

8、五是结果不可验证。现有系统通常仅返回一段自然语言答案,缺乏可定位至文件页码、区域坐标、表格行列、图片框及音频时间段的证据链,无法满足审计、法务、研发及质量场景对可追溯性的要求。

9、因此,亟需一种能够统一处理多模态文件、在保留原始结构与视觉关系的基础上进行高质量检索增强生成,并可输出细粒度证据定位结果的技术方案。

技术实现思路

1、为解决背景技术提出的问题,在本发明的第一方面提供了一种基于多模态融合与分层检索增强的智能问答方法,包括:获取待处理的多模态文件,对所述多模态文件执行跨模态解析与结构重建;将重建后的多模态文件映射至统一的文档坐标体系中;基于对象边界与文件层级,将映射后的多模态文件切分为多层级知识单元;对所述多层级知识单元进行多通道特征编码,构建与所述多层级知识单元关联的多维分层索引;接收查询请求并生成检索计划,并依据所述检索计划在所述多维分层索引中执行混合召回与重排,获得目标证据集合;基于所述目标证据集合构造受控上下文,生成与所述目标证据集合显式绑定的问答结果,并输出所述问答结果及关联的溯源定位参数。

2、在本发明的一些实施例中,所述跨模态解析与结构重建包括:识别所述多模态文件中的文本、图像、表格及音视频内容;针对不同模态的内容分别执行对应的特征抽取与版面结构提取,获取各内容的语义信息及在所述多模态文件中的原始位置属性;将所述语义信息与所述原始位置属性对齐,形成带边界坐标或时间边界的对象节点。

3、在本发明的一些实施例中,所述多层级知识单元至少包含以下层级之一或其组合:文档级知识单元、页面级知识单元、包含特定模态块的对象级知识单元,以及包含原始位置和摘要文本的证据级知识单元。

4、在本发明的一些实施例中,所述多维分层索引至少包括以下索引中的两种:文本语义向量索引、关键词倒排索引、结构路径索引、视觉描述向量索引、表格专属检索索引或时间序列索引;其中,各所述索引通过统一的知识单元标识符进行关联。

5、在本发明的一些实施例中,所述接收查询请求并生成检索计划包括:抽取所述查询请求中的主题实体、模态偏好、位置约束、时间约束及验证要求;依据抽取结果动态确定目标索引的选择、召回执行顺序以及跨模态聚合策略,生成多阶段的所述检索计划。

6、在本发明的一些实施例中,所述依据所述检索计划在所述多维分层索引中执行混合召回与重排,获得目标证据集合包括:并行调用多个召回器获取候选知识单元集合;基于语义相似度分值、结构邻近分值、模态匹配分值以及证据完整度分值的联合评分函数,对所述候选知识单元集合进行跨模态重排,筛选出所述目标证据集合。

7、本发明的二方面,提供了一种基于多模态融合与分层检索增强的智能问答装置,包括:获取模块,用于获取待处理的多模态文件,对所述多模态文件执行跨模态解析与结构重建;将重建后的多模态文件映射至统一的文档坐标体系中;切分模块,用于基于对象边界与文件层级,将映射后的多模态文件切分为多层级知识单元;构建模块,用于对所述多层级知识单元进行多通道特征编码,构建与所述多层级知识单元关联的多维分层索引;重排模块,用于接收查询请求并生成检索计划,并依据所述检索计划在所述多维分层索引中执行混合召回与重排,获得目标证据集合;输出模块,用于基于所述目标证据集合构造受控上下文,生成与所述目标证据集合显式绑定的问答结果,并输出所述问答结果及关联的溯源定位参数。

8、本发明的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明在第一方面提供的种基于多模态融合与分层检索增强的智能问答方法。

9、本发明的第四方面,提供了一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现本发明在第一方面提供的种基于多模态融合与分层检索增强的智能问答方法。

10、本发明的有益效果是:

11、本发明将文本、图像、表格、扫描件和音视频纳入同一知识建模框架,避免不同模态各自处理、各自检索所导致的结果割裂问题。证据保持能力强。通过页面级、对象级和证据级的分层知识单元构建方式,能够保留标题归属、图文邻接、表头映射、页码位置及时间片段关系,从源头降低语义丢失。

12、召回精度高。多索引联合召回与跨模态重排机制能够同时兼顾全文语义相关性和局部结构命中率,对于“找某页某图某表某段录音”的复杂问题仍具备较高稳定性。

13、生成结果可信。答案必须绑定证据集合,并可进一步定位到原始文件中的具体页面或区域,便于审计、复核和人工确认,适用于法务、研发、质量和项目管理场景。

14、扩展能力好。本发明采用统一的知识单元标识与索引接口,可平滑扩展新的文件类型、视觉模型、ocr引擎、向量模型和重排模型,不依赖某一种固定厂商能力。适应复杂企业文档场景。对于扫描文件、混排文档、嵌套附件、图表密集报告以及多语言资料,本发明可通过递进式检索与证据回补机制提高可用性,优于传统纯文本rag方案。

1.一种基于多模态融合与分层检索增强的智能问答方法,其特征在于,包括:

2.根据权利要求1所述的基于多模态融合与分层检索增强的智能问答方法,其特征在于,所述跨模态解析与结构重建包括:

3.根据权利要求1所述的基于多模态融合与分层检索增强的智能问答方法,其特征在于,所述多层级知识单元至少包含以下层级之一或其组合:

4.根据权利要求1所述的基于多模态融合与分层检索增强的智能问答方法,其特征在于,所述多维分层索引至少包括以下索引中的两种:

5.根据权利要求1所述的基于多模态融合与分层检索增强的智能问答方法,其特征在于,所述接收查询请求并生成检索计划包括:

6.根据权利要求1所述的基于多模态融合与分层检索增强的智能问答方法,其特征在于,所述依据所述检索计划在所述多维分层索引中执行混合召回与重排,获得目标证据集合包括:

7.一种基于多模态融合与分层检索增强的智能问答装置,其特征在于,包括:

8.根据权利要求7所述的基于多模态融合与分层检索增强的智能问答装置,其特征在于,所述获取模块包括:

9.一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至6任一项所述的基于多模态融合与分层检索增强的智能问答方法。

10.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于多模态融合与分层检索增强的智能问答方法。