一种面向企业级异构知识的多模态检索增强生成系统和方法

本发明涉及一种面向企业级异构知识的多模态检索增强生成系统和方法，属于信息，特别是属于检索增强生成和多模态信息处理。

背景技术：

1、检索增强生成（rag）技术通过在大语言模型生成过程中引入外部知识库，以缓解模型知识滞后、企业私有知识缺失和事实幻觉问题。在企业级应用场景中，知识源通常包含pdf、word、excel、图片、音频和视频等异构数据，如何完成多模态知识解析、统一检索、候选重排序及可信生成是当前研究的重点。目前，以下六项专利公开了相关的技术方案：

2、公开号为cn117725183a的专利提出了提升ai大语言模型检索性能的重排序方法和装置。具体流程是：首先将用户问题向量化并在向量数据库中扩大初始召回范围；随后提取候选文本的嵌入特征、词频特征和语义相似度等信息，对候选文本进行重新评分；最后选取排序靠前的文本作为大语言模型的上下文，以提高检索结果与用户问题的匹配程度。

3、公开号为cn119646192a的专利提出了基于摘要辅助认知增强的多模态科学数据检索方法及系统。具体流程是：首先将文本、表格和结构图等科学数据转换为统一特征表示，并生成对应的结构化摘要；随后依据摘要构建关键词实体树，通过多步动态推理扩展检索范围；最后利用语义匹配模型计算问题与候选数据之间的相关程度，并对召回结果进行重排序。

4、公开号为cn120705275a的专利提出了基于rag和多模态知识图谱的文档智能解析与问答方法及系统。具体流程是：首先利用文档解析工具和多模态大模型提取文档中的文本及图像信息；随后分别构建文本知识图谱和图像知识图谱，并对两类知识图谱进行融合；最后将图谱实体向量化后用于用户问题检索，并基于检索结果生成回答。

5、公开号为cn118885627a的专利提出了一种基于rag与知识图谱的多轮对话处理方法和系统。具体流程是：首先根据专有知识图谱识别用户问题中的关联实体并构建推理链路；随后检索与用户问题相关的文本、图片和音频数据；最后将多模态数据、知识图谱推理结果以及历史对话内容共同输入多模态大模型，生成多轮对话回答。

6、公开号为cn118193714a的专利提出了一种基于层级结构和检索增强的动态适应问答系统及方法。具体流程是：首先建立层级化知识表示并通过检索增强生成机制完成问答；随后分析用户反馈和历史交互，对知识表示、检索策略及模型参数进行调整；最后通过模型微调和跨领域知识整合，使问答系统能够随业务数据和用户需求变化持续更新。

7、公开号为cn118013020a的专利提出了一种基于检索生成联合式训练的专利查询方法及系统。具体流程是：首先利用问题生成模型对原始查询进行细化；随后由文档检索模型从专利数据库中召回候选专利文档，并将语义相关但不满足查询意图的文档作为困难负样本；最后联合优化问题生成模型和文档检索模型，以提升专利文档检索的区分能力。

8、尽管上述现有技术在检索增强生成、多模态知识处理和候选重排序方面取得了一定进展，但各方案通常分别侧重语义相关性、统一表示、知识图谱问答或模型长期适应，尚未围绕企业级复杂问答形成从检索触发、证据补全、证据排序到答案核验的完整处理闭环，具体不足如下：

9、上述专利cn117725183a通过扩大候选召回范围并融合文本嵌入、词频和语义相似度进行重排序，其评分结果主要反映候选文本与查询之间的相关程度。该方案处理对象以文本为主，未刻画候选证据加入前后对答案正确性、完整性和确定性的实际提升，也未根据模型当前知识是否充分决定是否启动检索。

10、上述专利cn119646192a通过统一特征表示、结构化摘要和多步动态推理实现多模态科学数据检索，其候选排序仍主要依据问题与数据之间的语义匹配程度。该方案未针对企业问答将问题拆分为可核验的事实槽位，难以判断当前证据具体缺少哪些数值、时间、原因、版本或来源信息，也未利用证据对生成结果的实际贡献进行排序。

11、上述专利cn120705275a通过构建并融合文本知识图谱和图像知识图谱实现文档问答，重点在于多模态知识图谱的构建及图谱实体检索。该方案未充分处理企业报表中的合并单元格、多级表头、统计单位和单元格坐标，也未覆盖音视频语义切片及时间定位；其问答流程缺少基于模型自知边界的检索门控和基于证据缺口的多轮补充检索。

12、上述专利cn118885627a利用知识图谱推理链路和多模态数据支持多轮对话，重点在于对话意图对齐和图谱推理。该方案未建立事实槽位覆盖度、证据冲突和新增证据价值的统一检查机制，难以根据当前证据状态明确控制继续检索或结束检索；其候选筛选也未公开以答案质量差构造生成增益标签并训练重排序模型。

13、上述专利cn118193714a通过用户反馈、模型微调和跨领域知识整合实现问答系统的持续适应，其动态性主要体现为长期更新知识表示和模型参数。该方案未针对单次查询先判断模型知识边界，再围绕未覆盖事实执行有限轮次的定向检索，也未建立保留表格坐标、图像区域、音视频时间戳、版本和权限信息的统一知识单元。

14、上述专利cn118013020a通过细化查询、构造困难负样本和联合训练提高专利文档检索能力，其训练目标仍是区分相关文档与不满足查询意图的文档。该方案未比较加入候选证据前后生成答案的质量变化，未涉及文本、表格、图像及音视频证据的统一排序，也未建立检索结果与答案事实核验之间的反馈关系。

15、综上所述，如何解决现有企业级多模态rag技术仍存在的知识结构和来源信息难以完整保留、检索时机与检索深度缺少控制、复杂问题的证据缺口难以诊断、候选排序目标与最终答案质量不一致、生成结果缺少逐项核验等问题成为目前面向企业级异构知识的多模态检索增强生成技术领域急需解决的技术难题。

技术实现思路

1、有鉴于此，本发明的目的是发明一种系统和方法，实现企业异构知识的统一解析、按需检索和可核验生成。

2、为了达到上述目的，本发明提出了一种面向企业级异构知识的多模态检索增强生成系统，所述系统包括如下模块：

3、知识资源构建模块m1：该模块的功能是用于接入企业内部的pdf、word、网页、excel、图片、音频和视频等异构知识源，对所述异构知识源执行版本登记、权限登记和结构保持型解析，并建立可供在线检索的统一知识单元及混合索引；该模块的输入为企业知识源文件、媒体流以及与知识源关联的版本信息和访问控制信息，输出为统一知识单元、关键词索引、向量索引和元数据索引；所述输出被写入共享知识存储区，并作为迭代检索模块m4的检索基础；该模块包括资源接入与版本权限登记单元、结构保持解析单元、统一知识单元、封装单元和混合索引构建单元；

4、查询结构化模块m2：该模块的功能是用于将用户当前问题、历史对话、历史证据以及用户选中的图表或媒体对象转换为能够直接执行检索和证据完整性判断的结构化查询；该模块的输入为当前用户问题、预设窗口内的历史消息、历史证据对象、当前界面选中对象和企业术语表，输出为结构化查询对象q；该结构化查询对象q作为检索门控模块m3和迭代检索模块m4的输入；该模块包括上下文对象定位单元、术语与时空约束规范化单元、事实槽位分解单元和结构化查询生成单元；

5、检索门控模块m3：该模块的功能是用于判断当前问题是否必须访问企业知识库，并在需要检索时生成检索计划；该模块的输入为查询结构化模块m2输出的结构化查询对象q、强制检索规则以及内部候选答案的知识充分度评估结果，输出为检索决策d(q)、检索触发原因、待覆盖事实槽位、优先检索模态和过滤条件；当d(q)=1时，该模块的输出作为迭代检索模块m4的初始输入，当d(q)=0时，该模块的输出作为证据组织与答案生成模块m6的直接回答约束；该模块包括强制检索判定单元、知识充分度评估单元和检索计划生成单元；

6、迭代检索模块m4：该模块的功能是用于围绕结构化查询中的事实槽位执行一轮或多轮检索，并依据证据覆盖情况、证据冲突情况、检索轮次和剩余预算确定继续检索、完成检索或停止检索；该模块的输入为检索门控模块m3输出的检索计划、共享知识存储区中的索引和统一知识单元以及答案核验与反馈控制模块m7返回的缺口信息，输出为当前候选统一知识单元集合、检索状态对象和最终证据集合；所述的当前候选统一知识单元集合发送至生成增益重排序模块m5，所述的最终证据集合发送至证据组织与答案生成模块m6；该模块包括检索状态维护单元、子查询规划与混合召回单元、候选统一知识单元合并过滤单元、证据缺口与冲突诊断单元以及状态迁移与补检索单元；

7、生成增益重排序模块m5：该模块的功能是用于评价由知识资源构建模块m1构建并由迭代检索模块m4召回的候选统一知识单元加入当前证据集合后对最终答案质量所产生的实际增益，并据此完成多模态候选统一知识单元排序；该模块的输入为结构化查询对象q、当前已选证据集合和当前候选统一知识单元集合，输出为每个候选统一知识单元的预测生成增益、综合排序得分和建议证据集合；该输出返回迭代检索模块m4，由迭代检索模块m4用于证据选择、事实槽位覆盖判断和下一状态判定；该模块包括训练样本与增益标签构建单元、生成增益预测单元、模态适配与综合评分单元和证据选择单元；

8、证据组织与答案生成模块m6：该模块的功能是用于将最终证据集合转换为以事实槽位为中心、保留来源锚点的结构化上下文，并生成关键结论能够逐项绑定证据的初始答案；该模块的输入为结构化查询对象q、最终证据集合以及答案结构要求，输出为初始答案和结论—证据映射关系；该输出作为答案核验与反馈控制模块m7的输入；该模块包括证据对象构建单元、结构化上下文组装单元和事实锚定生成单元；

9、答案核验与反馈控制模块m7：该模块的功能是用于对初始答案中的来源、访问权限、文档版本、数值、单位、时间、语义支持关系和证据冲突进行逐结论核验，并根据核验结果控制答案修正、补充检索或最终输出；该模块的输入为初始答案、结论—证据映射关系、最终证据集合和检索状态对象，输出为最终答案、证据来源、未覆盖事实、冲突说明和核验状态；当关键结论缺少证据且仍有检索预算时，该模块还输出缺失槽位和冲突原因并返回迭代检索模块m4；该模块包括来源权限版本核验单元、数值语义冲突核验单元、答案修正与回检控制单元和最终输出单元；

10、在在线问答过程中，查询结构化模块m2输出的结构化查询对象经检索门控模块m3形成检索决策；需要检索时，迭代检索模块m4基于知识资源构建模块m1形成的混合索引执行召回，并在每一轮调用生成增益重排序模块m5完成候选统一知识单元排序；检索完成后，证据组织与答案生成模块m6依据最终证据生成初始答案，答案核验与反馈控制模块m7对答案及结论—证据映射进行核验；m7发现关键证据缺失或存在未解决冲突且仍有检索预算时，将缺口信息返回m4执行补检索；核验通过或预算耗尽时输出最终结果，由此形成“检索—重排序—生成—核验—补检索”的闭环；

11、知识资源构建模块m1与共享知识存储区构成知识构建链路，模块m2至模块m7构成在线问答链路。在线问答链路根据检索决策选择直接回答路径或企业知识库检索路径，并通过答案核验结果向迭代检索模块m4反馈缺失事实槽位和冲突原因。

12、所述知识资源构建模块m1按照“资源登记—分模态解析—统一知识单元封装—混合索引构建”的顺序处理企业知识源，使关键词索引、向量索引和元数据索引共同指向同一统一知识单元，并保留版本、权限和来源定位信息；

13、所述知识资源构建模块m1中：

14、所述资源接入与版本权限登记单元由连接器适配子单元、文档主键生成子单元、版本关系子单元和权限映射子单元构成；连接器适配子单元用于从文件系统、文档管理平台、对象存储、数据库或媒体平台取得源文件或媒体流；文档主键生成子单元用于根据文件标识、内容摘要、版本号和修改时间生成文档主键，以识别重复文件；版本关系子单元用于记录不同版本之间的继承、替代和失效关系，并将已失效版本标记为非默认召回；权限映射子单元用于把用户、部门、角色、文档和字段级访问控制规则转换为可检索的权限元数据。所述资源接入与版本权限登记单元输出带有文档主键、来源路径、版本状态、有效期和访问权限的资源登记对象；

15、所述结构保持解析单元包括文本版面解析子单元、复杂表格解析子单元、图像解析子单元和音视频解析子单元；

16、所述文本版面解析子单元用于识别标题、正文、列表、页眉、页脚、脚注、图片和表格等版面区域，按照阅读顺序恢复区域关系，去除重复页眉页脚、水印和空白区域，并按照章节、段落、列表项和语义转折执行分块；当单个语义块超过预设最大长度l时，再采用带重叠窗口的二次切分，并记录前驱块、后继块、章节路径、页码和段落序号，其中l为大于零的整数，用于限定单个文本块的最大字符数或最大词元数；

17、所述复杂表格解析子单元用于依次执行合并单元格展开、表格方向识别、多级表头压缩、单位和主键识别、多粒度切分以及来源定位；合并单元格展开是将跨行或跨列的原值传播至其覆盖的基础单元格，并保留原始合并区域坐标；表格方向识别是根据首行和首列的文本比例、数值比例、重复模式和数据类型分布判断记录方向，必要时执行行列转置；多级表头压缩是根据表头的父子层级形成唯一列名；单位和主键识别是将金额、比例、数量、日期、地区和产品等统计口径与对应数值绑定；多粒度切分形成整表摘要、子表块和行块；来源定位记录表号、工作表名称、页码、行列范围和单元格坐标。结构识别置信度低于预设阈值时，同时保留ocr文本、原始表格图片和原文件引用，避免因结构化失败而丢失原始证据；

18、所述图像解析子单元包括ocr处理、版面区域检测和视觉语义描述，用于提取流程图、设备图、仪表盘和截图中的文字、主要对象、对象关系、坐标轴、图例、关键数值、变化趋势和能够直接得到的结论，并记录图像页码、区域坐标和解析置信度；

19、所述音视频解析子单元用于执行带时间戳语音识别、说话人分段、场景切换检测、关键帧提取和音画对齐；对于音频，该子单元按照主题变化或静音间隔形成带说话人和起止时间的语义片段；对于视频，该子单元将关键帧ocr结果、视觉描述和同一时间窗口内的语音转写合并为时空切片，并记录媒体文件标识、开始时间、结束时间、说话人和关键帧编号；

20、所述统一知识单元封装单元用于把文本块、表格块、图像语义代理、音频片段和视频时空切片封装为统一知识单元；第i个统一知识单元ui表示为：

21、

22、上式中，i为统一知识单元的索引，i取1至nu中的任一正整数，nu为系统中统一知识单元的总数量；idi为第i个统一知识单元的唯一标识；mi为模态类型，取值为text、table、image、audio或video中的一种；xi为原始内容、原始数据片段或指向原文件的引用；pi为用于关键词检索和向量检索的语义代理文本；si为结构信息，对于文本包括章节路径、页码和段落序号，对于表格包括表头、主键、单位和行列坐标，对于图像包括区域坐标和对象关系，对于音视频包括说话人和关键帧信息；ti为业务时间或媒体时间信息，能够表示单一时间点或由开始时间和结束时间构成的时间区间；ri为来源锚点，包括文档名称、文件路径、页码、表格坐标、图像区域或媒体时间区间；vi为版本号、版本状态和有效期；ai为访问权限集合；ei为第i个统一知识单元的向量表示，ei属于d维实数向量空间rd，d为嵌入模型的输出维度；

23、所述混合索引构建单元由关键词索引子单元、向量索引子单元和元数据索引子单元构成；关键词索引子单元针对语义代理、表头、单位、实体和企业术语建立倒排索引；向量索引子单元在语义代理前加入模态标识和结构摘要后，通过嵌入模型生成向量并建立向量索引；元数据索引子单元针对权限、版本、有效期、部门、文档类型、时间范围、页码和媒体时间戳建立过滤索引。在线召回时，系统先执行元数据过滤，再并行执行关键词检索和向量检索，并按下式计算第i个候选统一知识单元的初始召回得分bi：

24、

25、上式中，i为候选统一知识单元的索引；bi为第i个候选统一知识单元的初始召回综合得分，bi位于0至1之间；bikw为第i个候选统一知识单元的关键词匹配得分，bivec为第i个候选统一知识单元的向量相似度得分，bimeta为第i个候选统一知识单元的元数据匹配得分，三类得分在加权前均归一化至0至1；η1、η2和η3分别为关键词得分、向量得分和元数据得分的权重，三者均位于0至1之间且满足η1+η2+η3=1。对于数值和统计类查询，提高η1以及表头、指标名和单位对应的关键词权重；对于时效性查询，提高η3以及版本和时间条件对应的元数据权重。

26、所述查询结构化模块m2中：

27、所述上下文对象定位单元用于从历史消息、历史证据对象和用户当前选中的图表或媒体对象中确定指代表达对应的对象标识和来源锚点；例如，将“这张图”定位为当前界面中被选中的仪表盘截图，将“上一张表”定位为最近一次问答中引用的表格证据，将“昨天的会议”定位为查询发生日前一日的会议音视频区间；存在多个候选对象且最高匹配置信度低于预设阈值时，系统保留多个候选对象分别检索，或者输出澄清请求；

28、所述术语与时空约束规范化单元用于依据企业术语表把部门简称、产品代号、指标别名和文档简称映射为标准名称，并把“最新”“现行”“本季度”“昨天”等相对时间转换为明确的时间点或时间范围，同时提取部门、地区、版本、权限、所需模态和答案形式等约束；

29、所述事实槽位分解单元用于根据查询意图将复杂问题拆分为能够独立检索和独立核验的事实槽位；每个事实槽位至少包括槽位名称、目标实体、时间条件、期望数据类型、优先模态和槽位重要度；

30、所述结构化查询生成单元用于把上述处理结果封装为结构化查询对象q；结构化查询对象q至少包括标准查询qstd、查询意图intent、标准化实体entities、约束条件constraints、优先模态modalities、时效要求freshness、事实槽位集合slots和答案结构answerschema；其中，qstd为补全省略实体和时间后形成的语义自包含问题，answerschema用于限定答案应包含的结论、对比数据、原因、条件和来源形式。

31、所述检索门控模块m3中：

32、所述强制检索判定单元设置强制检索标志fq；当结构化查询涉及企业内部制度、企业业务数据、未公开信息、最新或指定版本、指定来源、页码、表格坐标、媒体时间戳、必须依据图像或音视频回答的事实，或者属于预设的财务、合规和安全等高风险业务时，令fq=1；其他情况下令fq=0；fq=1时，无论大语言模型是否能够生成候选答案，系统均进入企业知识库检索路径；

33、当fq=0时，所述知识充分度评估单元生成仅供内部评估使用的候选答案，并计算回答置信度cq、事实槽位完整度pq和不确定性风险uq，进而按照下式计算模型对查询q的知识充分度kq：

34、

35、上式中，q表示当前结构化查询；kq为模型对查询q的知识充分度，kq位于0至1之间，数值越大表示无需外部证据即可正确、完整回答的可能性越高；cq为内部候选答案的回答置信度，pq为内部候选答案对事实槽位的完整覆盖程度，uq为内部候选答案的不确定性风险，cq、pq和uq均位于0至1之间；1-uq用于把不确定性风险转换为确定性贡献；λ1、λ2和λ3分别为回答置信度、事实槽位完整度和确定性贡献的权重，三者均位于0至1之间且满足λ1+λ2+λ3=1；

36、所述检索门控模块m3根据fq和kq按下式得到检索决策d(q)：

37、

38、上式中，d(q)为查询q的检索决策，d(q)取0或1；d(q)=0表示不进入企业知识库检索，由证据组织与答案生成模块m6按照直接回答约束生成答案；d(q)=1表示进入迭代检索模块m4；fq为强制检索标志，取0或1；kq为计算得到的知识充分度；θk为知识充分度阈值，θk位于0至1之间；符号“∧”表示逻辑与。当且仅当fq=0且kq不低于θk时，d(q)=0；其余情况，包括fq=1或者kq低于θk，均令d(q)=1；

39、当d(q)=1时，所述检索计划生成单元根据事实槽位、优先模态、时间范围、版本、权限和来源要求生成初始检索计划；数值、统计口径和对比数据优先分配至表格索引，制度条款和定义优先分配至文本索引，结构和趋势优先分配至图像索引，会议决定、发言内容和操作过程优先分配至音视频索引。

40、所述迭代检索模块m4中：

41、所述检索状态维护单元维护第t轮检索状态对象rt；rt至少记录当前轮次t、结构化查询对象q、事实槽位集合、当前已选证据集合et、当前候选统一知识单元集合ct、未覆盖槽位、冲突信息、已使用检索条件、最大检索轮次tmax、剩余可执行预算bt和当前状态；其中，t为非负整数，tmax为预设的最大检索轮次且tmax大于零，bt能够以剩余检索次数、剩余计算时长、剩余令牌数或其组合表示。检索状态在plan、search、rerank、check、refine、done和stop之间迁移；

42、所述子查询规划与混合召回单元在plan状态下针对每个未覆盖事实槽位生成一个或多个子查询，每个子查询至少包括目标实体、时间条件、关键词、优先模态和元数据过滤条件；在search状态下先按照权限、版本、时间、部门和文档类型过滤知识单元，再并行执行关键词检索和向量检索，每个子查询取得前k0个候选统一知识单元，其中k0为大于零的整数。所述候选统一知识单元合并过滤单元按照统一知识单元标识、来源位置和内容相似度对多路候选统一知识单元合并去重，并过滤无访问权限、版本失效或解析置信度低于最低阈值的候选统一知识单元；

43、所述证据缺口与冲突诊断单元在check状态下逐一判断每个事实槽位是否得到证据支持。对于第t轮的第j个事实槽位，获得能够直接、完整支持该槽位的证据时令hj,t=1，仅获得部分信息时令hj,t=0.5，未获得证据或存在未解决的关键冲突时令hj,t=0；第t轮事实槽位覆盖度covt按照下式计算：

44、

45、上式中，t为当前检索轮次；j为事实槽位索引；j为事实槽位总数，j为大于零的整数；wj为第j个事实槽位的重要度权重，wj大于零，关键结论、关键数值、统计口径和来源依据能够设置更大的wj；hj,t为第t轮证据对第j个事实槽位的支持程度，取值为0、0.5或1；covt为第t轮事实槽位覆盖度，covt位于0至1之间，数值越大表示当前证据集合对待回答事实的覆盖越完整；

46、所述证据缺口与冲突诊断单元还生成关键冲突标志xt；当两个或多个证据针对相同实体、相同指标和相同时间给出不同数值、不同有效版本或相反结论，并且不能依据来源等级、审批状态或版本有效期消解时，令xt=1；否则令xt=0。该单元同时记录本轮新增证据中的最大预测生成增益gt以及本轮新增覆盖的事实槽位数量；当gt低于预设增益阈值θg时，下一轮不得重复使用相同检索条件，而应当改变查询词、模态或检索范围；

47、所述状态迁移与补检索单元依据覆盖度、冲突标志、当前轮次和剩余预算，按照下式确定下一状态：

48、

49、上式中，statet+1为第t+1轮的状态，取done、refine或stop中的一种；covt为得到的第t轮事实槽位覆盖度；θc为证据覆盖阈值，θc位于0至1之间；xt为第t轮关键冲突标志，取0或1；t为当前检索轮次；tmax为最大检索轮次；bt为第t轮结束后的剩余可执行预算；符号“∧”表示逻辑与，符号“∨”表示逻辑或；当covt不低于θc且xt=0时进入done状态；当covt低于θc或xt=1，并且t小于tmax且bt大于0时进入refine状态；其他情况进入stop状态；

50、进入refine状态时，所述状态迁移与补检索单元仅围绕未覆盖事实槽位或冲突原因生成新的子查询；已经获得指标数值但缺少下降原因时，仅检索经营分析报告和会议记录；存在制度版本冲突时，增加“最新有效版本”“审批通过”和明确生效日期等过滤条件；表格已有数值但缺少单位时，检索表头、附注或相邻表格块。进入done状态时输出最终证据集合和已覆盖事实槽位；进入stop状态时输出已确认事实、未覆盖事实和未解决冲突。

51、所述生成增益重排序模块m5中：

52、所述训练样本与增益标签构建单元用于构造候选统一知识单元的生成增益训练标签；在相同生成模型、相同提示模板和相同解码参数下，系统先根据查询q和当前已有证据集合生成基线答案a0，再在已有证据集合中加入第i个候选统一知识单元后生成增强答案ai；系统从事实正确性、事实槽位完整度、证据一致性和不确定性四个维度计算答案质量q(a)：

53、

54、上式中，a表示待评价答案；q(a)为答案a的综合质量得分，q(a)位于0至1之间；acc(a)为答案a的事实正确性得分，comp(a)为答案a对事实槽位的完整度得分，cons(a)为答案a与给定证据的一致性得分，unc(a)为答案a的不确定性得分，四项指标均位于0至1之间；1-unc(a)表示确定性贡献；ω1、ω2、ω3和ω4分别为事实正确性、槽位完整度、证据一致性和确定性贡献的权重，四个权重均位于0至1之间且满足ω1+ω2+ω3+ω4=1；

55、第i个候选统一知识单元的生成增益标签δgi按照下式计算：

56、

57、上式中，i为候选统一知识单元索引；ai为加入第i个候选统一知识单元后生成的增强答案；a0为未加入该候选统一知识单元时生成的基线答案；q(ai)和q(a0)分别为根据式（7）得到的增强答案质量和基线答案质量；δgi为第i个候选统一知识单元的真实生成增益标签，δgi位于-1至1之间；δgi大于0表示该候选统一知识单元能够提高答案质量，δgi接近0表示该候选统一知识单元与已有证据重复或帮助较小，δgi小于0表示该候选统一知识单元可能无关、过期、包含冲突信息或导致答案质量下降；

58、所述生成增益预测单元采用交叉编码重排序模型，将标准查询、查询意图、事实槽位、候选统一知识单元的模态、候选统一知识单元的语义代理、结构信息、版本信息和来源信息组合为联合输入，输出第i个候选统一知识单元的预测生成增益。模型采用均方误差损失进行训练：

59、

60、上式中，lgain为生成增益预测模型的训练损失，lgain大于或等于0；m为训练样本数量，m为大于0的整数；i为训练样本索引；为模型对第i个训练样本预测的生成增益，优选限制在-1至1之间；δgi为计算得到的真实生成增益标签；模型训练的目标是最小化lgain，使预测生成增益接近真实生成增益；

61、在线阶段，所述模态适配与综合评分单元根据查询意图计算第i个候选统一知识单元的模态适配度modi，并将语义相关性、预测生成增益、模态适配度、来源及版本有效性和与已有证据的重复程度融合为综合排序得分si：

62、

63、上式中，si为第i个候选统一知识单元的综合排序得分，si为实数，用于候选统一知识单元之间的相对排序；reli为第i个候选统一知识单元与结构化查询的语义相关性，modi为第i个候选统一知识单元与查询意图的模态适配度，vali为第i个候选统一知识单元的来源可靠性和版本有效性，dupi为第i个候选统一知识单元与当前已选证据集合之间的重复程度，reli、modi、vali和dupi均归一化至0至1；为第i个候选统一知识单元的预测生成增益，优选位于-1至1；α、β、γ、κ和δ分别为语义相关性、预测生成增益、模态适配度、来源版本有效性和重复惩罚的非负权重；由于si仅用于相对排序，所述五个权重不要求和为1；其中，重复程度项前设置负号，使重复程度越高，综合排序得分越低；

64、所述证据选择单元按照综合排序得分si从高到低选择前n个候选统一知识单元，n为大于零的整数；在综合得分接近时，优先选择能够新增关键事实槽位、来源有效、解析可靠且能够精确定位原始位置的候选统一知识单元，并将排序结果、预测生成增益和建议证据集合返回迭代检索模块m4；

65、迭代检索模块m4在plan、search、rerank、check、refine、done和stop状态之间迁移，并在rerank状态调用生成增益重排序模块m5；check状态依据事实槽位覆盖度、关键冲突标志、检索轮次和剩余预算确定后续状态。

66、所述证据组织与答案生成模块m6中：

67、所述证据对象构建单元用于为最终证据集合中的每条证据分配证据编号，并记录该证据支持的事实槽位、模态类型、来源名称、版本、页码或时间戳、语义内容和原始位置；对于表格证据，证据对象保留表头、主键、单位和单元格坐标；对于图像证据，证据对象保留对象关系、关键区域和ocr结果；对于音视频证据，证据对象保留说话人、转写片段、开始时间和结束时间；

68、所述结构化上下文组装单元按照“事实槽位—证据编号—模态—来源位置—证据内容”的顺序组织生成上下文，而不是按照召回顺序直接拼接候选统一知识单元。对于同一事实槽位的多个证据，先排列用于直接支撑结论的主证据，再排列用于交叉验证的辅助证据；当上下文长度超过生成模型的输入预算时，优先保留重要度较高的事实槽位和预测生成增益较高的证据；

69、所述事实锚定生成单元根据结构化查询对象q中的answerschema形成提示模板，要求生成模型仅依据给定证据作答，并在每个关键数值、条款、原因和结论后标注对应证据编号；对于d(q)=0的直接回答路径，仅允许回答不涉及企业私有事实、时效性事实、指定来源和高风险业务的问题；证据不足或证据冲突时，生成模型必须明确说明缺失项或冲突项，不得自行补写没有来源支持的企业事实。

70、所述答案核验与反馈控制模块m7中：

71、所述来源权限版本核验单元用于检查初始答案引用的证据编号是否存在、当前用户是否具有访问权限、来源锚点是否有效以及对应文档版本是否处于有效期。所述数值语义冲突核验单元用于把答案中的数值、单位、时间和计算关系回溯至表格单元格、ocr区域或原文片段，判断证据是否直接支持对应结论，并检查同一结论是否引用相互矛盾的来源；

72、所述答案修正与回检控制单元在发现引用不存在、数值不一致、结论缺乏直接支持或关键证据冲突时，先依据已有证据删除、降级或改写相关结论；若缺失结论属于关键事实且检索状态对象中的剩余预算bt大于0，则将缺失事实槽位、冲突原因和已有证据状态返回迭代检索模块m4执行补充检索；若剩余预算为0，则保留已经确认的事实并输出证据不足状态；

73、所述最终输出单元在核验完成后输出面向用户的答案、各关键结论对应的证据编号、文档名称、页码、表格坐标、图像区域或音视频时间戳、已覆盖事实、未覆盖事实以及仍存在的冲突说明；

74、证据组织、事实锚定生成和答案核验形成闭环；当核验发现关键证据不足或存在未解决冲突且仍有预算时，答案核验与反馈控制模块m7将缺失事实槽位和冲突原因返回迭代检索模块m4；无剩余预算时输出已确认事实及证据不足状态。

75、基于前述的系统的一种面向企业级异构知识的多模态检索增强生成方法，所述方法包括如下操作步骤：

76、步骤s100，通过知识资源构建模块m1，接入企业异构知识源，登记知识源的文档主键、版本和访问权限，对不同模态的知识源执行结构保持型解析，构建统一知识单元以及关键词索引、向量索引和元数据索引；

77、步骤s200，通过生成增益重排序模块m5，基于历史问答、人工测试问题和业务案例构建训练样本，比较加入候选统一知识单元前后的答案质量变化以生成候选统一知识单元的生成增益标签，训练用于在线候选统一知识单元排序的生成增益预测模型；

78、步骤s300，通过查询结构化模块m2，对当前用户问题、历史消息、历史证据和用户选中的图表或媒体对象执行指代消解、术语规范化、时空约束提取和事实槽位分解，输出结构化查询对象；

79、步骤s400，通过检索门控模块m3，根据强制检索条件和模型知识充分度计算结果判断是否启动企业知识库检索；若检索决策为不检索，则转至步骤s600；若检索决策为检索，则生成检索计划并转至步骤s500；

80、步骤s500，通过迭代检索模块m4和生成增益重排序模块m5，围绕待覆盖事实槽位执行混合召回、候选统一知识单元合并过滤、生成增益预测、模态感知重排序、证据覆盖检查、证据冲突诊断和缺口补检索，直至满足完成条件或达到停止条件；

81、步骤s600，通过证据组织与答案生成模块m6以及答案核验与反馈控制模块m7，将最终证据组织为保留来源锚点的结构化上下文，生成事实锚定答案，对答案中的来源、权限、版本、数值、单位、时间、语义支持关系和证据冲突进行逐结论核验；当关键证据不足且仍有检索预算时返回步骤s500执行补充检索，否则输出最终答案及对应证据来源。

82、所述步骤s100具体包括如下操作步骤：

83、步骤s110，通过资源接入与版本权限登记单元接收pdf、word、网页、excel、图片、音频和视频等企业知识源，取得文件标识、内容摘要、版本号、修改时间、来源路径和访问控制信息；根据文件标识、内容摘要、版本号和修改时间生成文档主键；当文档主键和内容摘要均相同时判定为重复资源并跳过重复入库；当检测到新版本时建立新旧版本之间的继承或替代关系，并将已失效版本标记为非默认召回；将用户、部门、角色、文档和字段级权限转换为权限元数据；

84、步骤s120，通过结构保持解析单元根据知识源模态执行对应解析：对于pdf、word、网页和扫描文档，识别标题、正文、列表、页眉页脚、脚注、图片和表格等版面区域，恢复阅读顺序并按章节、段落、列表项和语义转折分块；对于复杂表格，依次执行合并单元格展开、记录方向识别、必要时的行列转置、多级表头压缩、单位和主键绑定、多粒度切分以及单元格坐标记录；对于图像，执行ocr、区域检测和视觉语义描述；对于音频和视频，执行带时间戳语音识别、说话人分段、场景切换检测、关键帧提取和音画对齐。解析置信度低于预设阈值时，同时保留简化语义代理和原始图片、原始文件引用或原媒体时间区间；

85、步骤s130，通过统一知识单元封装单元，将文本块、表格块、图像语义代理、音频片段和视频时空切片封装为统一知识单元，并为每个统一知识单元写入唯一标识、模态类型、原始内容或原文件引用、语义代理、结构信息、业务时间或媒体时间、来源锚点、版本有效期、访问权限和向量表示；

86、步骤s140，通过混合索引构建单元，针对统一知识单元的语义代理、表头、单位、实体和企业术语建立关键词倒排索引，通过嵌入模型生成向量并建立向量索引，针对权限、版本、有效期、部门、文档类型、时间范围、页码和媒体时间戳建立元数据索引；三类索引共同指向同一统一知识单元标识，在线召回时计算初始召回得分并对多路结果合并去重。

87、所述步骤s200具体包括如下操作步骤：

88、步骤s210，从企业历史问答、人工测试问题和业务案例中获取训练问题，通过查询结构化模块m2形成结构化查询和事实槽位，并通过迭代检索模块m4召回文本、表格、图像、音频和视频模态的候选统一知识单元；每条训练样本至少包括结构化查询、事实槽位、当前已有证据、候选统一知识单元的语义代理、候选统一知识单元的模态、结构信息、来源位置、版本信息和时间信息；将高相似度但不包含答案、与已有证据重复、版本过期或存在事实冲突的候选统一知识单元保留为困难负样本；

89、步骤s220，在相同生成模型、相同提示模板和相同解码参数下，根据训练问题和当前已有证据生成基线答案a0，再将第i个候选统一知识单元加入当前已有证据后生成增强答案ai；分别计算基线答案质量q(a0)和增强答案质量q(ai)，再计算第i个候选统一知识单元的生成增益标签δgi；事实正确性由标准答案、知识库规则或人工核验结果确定，事实槽位完整度根据结构化查询中的事实槽位确定，证据一致性根据候选统一知识单元是否直接支持答案结论确定，不确定性根据模糊表达、答案内部矛盾和来源冲突确定；

90、步骤s230，将标准查询、查询意图、事实槽位、候选统一知识单元的模态、候选统一知识单元的语义代理、结构信息、来源信息和版本信息组合为生成增益预测模型的联合输入，使所述模型输出候选统一知识单元的预测生成增益；计算训练损失并更新模型参数，直至达到预设收敛条件；在验证集上选择生成增益预测误差较小且候选统一知识单元排序效果较好的模型参数，并将所选模型参数写入模型参数存储区；

91、步骤s240，将步骤s230训练完成的生成增益预测模型部署至生成增益重排序模块m5，供步骤s530在线调用；将人工审核结果、答案核验结果和新增业务数据作为新的训练样本，按照预设周期对同一生成增益预测模型执行增量训练或重新训练。更新后的模型参数替换模型参数存储区中的原模型参数，并供后续步骤s530调用。

92、所述步骤s300具体包括如下操作步骤：

93、步骤s310，通过上下文对象定位单元，从历史消息、历史证据对象和用户当前选中的图表或媒体对象中确定“这张图”“上一张表”“该产品”“昨天的会议”等指代表达对应的对象标识和来源锚点；存在多个候选对象且最高匹配置信度低于预设阈值时，保留多个候选对象分别处理或输出澄清请求；

94、步骤s320，通过术语与时空约束规范化单元，依据企业术语表将部门简称、产品代号、指标别名和文档简称映射为标准名称，把“最新”“现行”“本季度”“昨天”等相对时间转换为明确时间点或时间范围，并提取部门、地区、版本、权限、所需模态和答案形式等约束；

95、步骤s330，通过事实槽位分解单元，根据查询意图将复杂问题拆分为能够独立检索和独立核验的事实槽位；每个事实槽位至少包括槽位名称、目标实体、时间条件、期望数据类型、优先模态和槽位重要度；

96、步骤s340，通过结构化查询生成单元，将标准查询、查询意图、标准化实体、约束条件、优先模态、时效要求、事实槽位集合和答案结构封装为结构化查询对象q，并将该结构化查询对象发送至检索门控模块m3。

97、所述步骤s400具体包括如下操作步骤：

98、步骤s410，通过强制检索判定单元判断结构化查询是否涉及企业内部制度、企业业务数据、未公开信息、最新或指定版本、指定来源、页码、表格坐标、媒体时间戳、必须依据图像或音视频回答的事实，或者预设的财务、合规和安全等高风险业务；命中任一条件时令强制检索标志fq=1，否则令fq=0；

99、步骤s420，当fq=0时，生成仅用于内部评估的候选答案，分别计算回答置信度cq、事实槽位完整度pq和不确定性风险uq，并计算知识充分度kq；当fq=1时，不依赖内部候选答案是否能够生成，直接保留强制检索状态；

100、步骤s430，计算检索决策d(q)；当fq=0且kq不低于知识充分度阈值θk时，令d(q)=0并转至步骤s600；其余情况下令d(q)=1，通过检索计划生成单元生成检索触发原因、待覆盖事实槽位、优先模态、检索范围和过滤条件，初始化检索状态对象r0并转至步骤s500。

101、所述步骤s500具体包括如下操作步骤：

102、步骤s510，通过检索状态维护单元建立第t轮检索状态对象rt，记录当前轮次t、结构化查询对象q、事实槽位集合、已选证据集合et、候选统一知识单元集合ct、未覆盖槽位、冲突信息、已使用检索条件、最大检索轮次tmax、剩余可执行预算bt和当前状态；初始状态设置为plan；

103、步骤s520，在plan状态下针对每个未覆盖事实槽位生成一个或多个子查询，每个子查询至少包括目标实体、时间条件、关键词、优先模态和元数据过滤条件；随后进入search状态，先按照权限、版本、时间、部门和文档类型过滤统一知识单元，再并行执行关键词检索和向量检索，计算初始召回得分；每个子查询取得前k0个候选统一知识单元，并按照统一知识单元标识、来源位置和内容相似度合并去重，过滤无访问权限、版本失效或解析置信度低于最低阈值的候选统一知识单元，形成第t轮候选统一知识单元集合ct；

104、步骤s530，将结构化查询对象q、上一轮已选证据集合et-1和第t轮候选统一知识单元集合ct输入生成增益重排序模块m5，通过步骤s200训练完成的生成增益预测模型输出每个候选统一知识单元的预测生成增益；计算候选统一知识单元的语义相关性、模态适配度、来源及版本有效性和与已有证据的重复程度，计算综合排序得分si；按照综合排序得分从高到低选择前n个候选统一知识单元，优先保留能够新增关键事实槽位、来源有效、解析可靠且能够精确定位原始位置的候选统一知识单元；

105、步骤s540，进入check状态，对第t轮的第j个事实槽位确定支持程度hj,t，其中完整证据对应hj,t=1，部分证据对应hj,t=0.5，未获得证据或存在未解决关键冲突对应hj,t=0；计算第t轮事实槽位覆盖度covt；当两个或多个证据针对相同实体、相同指标和相同时间给出不同数值、不同有效版本或相反结论，且不能根据来源等级、审批状态或版本有效期消解时，令关键冲突标志xt=1，否则令xt=0；

106、步骤s550，记录本轮新增证据中的最大预测生成增益和新增覆盖事实槽位的数量；当最大预测生成增益低于预设增益阈值θg时，下一轮不得重复使用相同检索条件，而应改变检索关键词、检索模态或检索范围；当连续出现低增益且没有新增事实槽位时，将剩余可执行预算bt置为0；随后确定下一状态；

107、步骤s560，当下一状态为refine时，仅围绕未覆盖事实槽位或证据冲突原因生成新的子查询并返回步骤s520；当下一状态为done时，输出最终证据集合、已覆盖事实槽位和来源锚点并转至步骤s600；当下一状态为stop时，输出已经确认的事实、未覆盖事实和未解决冲突，并以保守方式转至步骤s600。

108、所述步骤s600具体包括如下操作步骤：

109、步骤s610，通过证据对象构建单元为最终证据集合中的每条证据分配证据编号，记录证据支持的事实槽位、模态类型、来源名称、版本、页码或时间戳、语义内容和原始位置；表格证据保留表头、主键、单位和单元格坐标，图像证据保留对象关系、关键区域和ocr结果，音视频证据保留说话人、转写片段以及开始时间和结束时间；

110、步骤s620，通过结构化上下文组装单元按照“事实槽位—证据编号—模态—来源位置—证据内容”的顺序组织上下文；同一事实槽位下先排列直接支撑结论的主证据，再排列用于交叉验证的辅助证据；根据结构化查询对象q中的答案结构要求生成提示模板，要求生成模型仅依据给定证据回答，并在每个关键数值、条款、原因和结论后标注对应证据编号，从而生成初始答案；d(q)=0时，仅对不涉及企业私有事实、时效性事实、指定来源和高风险业务的问题执行直接回答；

111、步骤s630，将初始答案拆分为若干关键结论并建立结论—证据编号映射，依次执行来源存在性核验、访问权限核验、版本有效性核验、数值与单位核验、时间核验、语义支持核验和证据冲突核验；对于引用不存在、数值不一致、结论缺乏直接支持或证据冲突的非关键结论，依据已有证据删除、降级或改写；

112、步骤s640，当缺失或冲突结论属于关键事实且剩余可执行预算bt大于0时，将缺失事实槽位、冲突原因和已有证据状态返回步骤s500执行补充检索；当剩余预算为0或者不存在需要补检索的关键事实时，停止检索反馈；

113、步骤s650，输出面向用户的最终答案、各关键结论对应的证据编号、文档名称、页码、表格坐标、图像区域或音视频时间戳、已覆盖事实、未覆盖事实以及仍存在的冲突说明；将人工审核结果和本步骤产生的核验状态记录为后续执行步骤s240时可使用的更新样本。

114、解析失败处理：表格结构识别、图像ocr或语音识别置信度低于预设阈值时，知识资源构建模块m1同时保留原始文件、原始图片或原始音视频区间和简化语义代理，并降低解析可靠度，不直接删除该证据；

115、模态缺失处理：查询明确要求某种模态而共享知识存储区不存在该模态时，迭代检索模块m4输出模态缺口；能够检索其他模态作为辅助证据，但不得把文本推测表述为不存在的视觉事实或音视频事实；

116、空召回处理：初始召回为空时，迭代检索模块m4依次扩大实体别名、同义词和允许时间范围，并改变检索模态或索引组合；仍未获得候选统一知识单元时进入stop状态并输出未检索到足够证据；

117、证据冲突处理：优先采用有效期更新、审批状态明确、来源等级更高且能够被其他来源验证的证据；仍无法消解时，并列展示冲突内容和对应来源，并降低结论确定性；

118、权限和预算处理：访问权限过滤在召回前执行，最终答案仅展示当前用户有权访问的内容和来源；最大检索轮次或计算预算耗尽时，根据当前事实槽位覆盖度输出已确认结论、未覆盖事实和未解决冲突，并停止继续调用；

119、模型或工具异常处理：当嵌入模型、ocr工具、语音识别工具、重排序模型或生成模型调用失败时，优先调用同类型备用模型或采用对应的降级处理；备用模型仍不可用时，保留当前检索状态和已确认事实，输出异常原因、未完成环节和可重试标志，不生成未经证据支持的结论。

120、本发明的有益效果在于：与主要依据语义相似度进行一次召回并直接生成答案的现有技术相比，本发明保持异构知识结构并实现了来源回溯，控制检索时机并降低了无证据生成，提高了复杂问题的证据完备性，使候选排序目标与答案质量一致，提高了答案可信性和可审计性。