一种基于双源检索的可溯源知识库问答系统及方法与流程

本发明属于机器问答，尤其涉及一种基于双源检索的可溯源知识库问答系统及方法。

背景技术：

1、目前，知识库问答系统通常先对私有文档进行切分，将各文本片段的向量存入向量数据库，再根据用户提问进行相似度检索，并把召回的私有资料片段作为上下文交给大语言模型生成回答，这类方案能够补充大语言模型未掌握的私有知识，已应用于企业规章咨询、文书审核等场景。

2、随着应用不断深入，现有方案在文档切分、检索判断和回答溯源等环节仍存在不足，在文档切分阶段，传统方法多按固定字符数或标点符号切分文本，没有充分考虑长段落和结构化表格前后内容的语义连续性，容易割裂上下文，并造成实体指代关系丢失，在检索阶段，现有方案通常只设置一个固定的相似度阈值，无法通过候选文档片段集合的语义熵判断检索结果的分散程度，致使系统对局部词语重复但整体语义不一致的片段产生相关性误判，进而将其用于构建上下文；在私有知识不足时，也可能因判断失准而误触发公网检索，引入噪声较大的外部数据，在知识融合阶段，现有方案缺少依据文献发布时间设置时间衰减系数，并结合来源可信度权重进行判断的机制，难以将回答中的各个句子准确绑定到原始出处，当新旧政策内容发生冲突，或者私有资料与公网资料的事实表述不一致时，系统也难以作出客观判断，进而可能生成参考资料中没有依据的内容，例如，公开号为cn120353880a的中国发明专利申请公开了一种基于rag的文本块动态切分方法及系统，该方案虽调整了分块长度，但未建立动态话题连续性监测机制，在长文本语义密度变化时易丢失上下文关联，且其仅凭表层字符数调整切分尺度，难以适应复杂变动的文本切分需求。

3、因此，现有知识库问答技术仍需解决以下问题：在私有文档切分时保持语义连续，准确判断私有知识是否足以回答提问并据此联动公网检索，以及建立能够结合时间衰减系数和来源可信度权重的句子级溯源关系。

技术实现思路

1、为解决背景技术中的问题，本发明的技术方案如下：一种基于双源检索的可溯源知识库问答系统，包括：

2、文档解析入库模块，用于提取待入库文档文本，依据相邻句子向量的余弦距离梯度确定语义断块点，并在语义断块点配置随余弦距离梯度增大而线性扩张的动态重叠字符窗口，生成文档切片向量并构建私有知识库；

3、模型调度模块，用于在隔离状态下激活本地离线推理通道，在公网连通且硬件负荷超限时切换至第三方在线接口通道；

4、私有知识检索模块，用于获取对话提问向量，召回候选文档片段，计算候选文档片段与对话提问向量的平均余弦相似度及候选文档片段集合的语义熵，确定信息残差比率；

5、公网辅助检索模块，用于在信息残差比率大于预设激活阈值时，重构对话提问生成标准检索词，抓取外部公开网页过滤生成结构化公网知识片段；

6、对话溯源输出模块，用于融合候选文档片段与结构化公网知识片段构建上下文提示词，提取候选文档片段与结构化公网知识片段组成参考句集合，调用目标大模型生成问答文本并拆分为生成文本句，结合来源可信度权重与时间衰减系数计算加权溯源判定矩阵，依据最大得分项绑定知识来源标识并输出溯源清单。

7、优选的，文档解析入库模块提取待入库文档文本时，采用统一解析层读取不同格式的办公文档，集成本地离线字符识别引擎提取扫描文档及图像附件中的字符，将表格内容转换为包含表头前缀的键值对文本段落，按章节标题与自然段落划分初始文本块；调用本地中文嵌入模型生成768维稠密语义向量，存入本地向量数据库并建立层级可导航小世界索引，将生成的稠密语义向量映射绑定包含文档唯一编号、原始文件名、文件类型、上传时间戳、分类标签以及页码行号的元数据表。

8、优选的，模型调度模块以5s为周期发送心跳探测信号，获取网络响应时延以及本地显存占用率和计算负荷率；在网络连接中断或接收到隔离指令时关闭外网传输接口，调用本地部署的开源大语言模型，并依据本地显存剩余空间自适应切换半精度浮点、8位整型以及4位整型量化等级；在网络连通且本地显存占用率持续高于预设负荷门限30s时触发弹性分流，通过加密传输通道将并发请求路由至云端接口。

9、优选的，私有知识检索模块获取对话提问向量后，在私有知识库中召回语义向量相似度最高的20个候选片段，并通过关键词检索算法在全文索引中召回10个文本匹配片段；对两路召回结果去重后输入交叉编码器重排序模型，输出语义最相关的5个候选文档片段用于计算平均余弦相似度及语义熵。

10、优选的，公网辅助检索模块启动后，调用轻量语言模型提取对话提问中的实体与时间参数，去除口语助词生成标准化检索词；根据标准化检索词调用外部搜索接口，抓取顶级域名为政务与组织白名单内的网页摘要；依据网页发布时间与提问时间限定词剔除过期页面，并计算网页摘要之间的语义重复度，对语义相似度高于0.9的网页摘要仅保留发布时间最新的单一节点，生成包含网页标题、来源地址、发布时间及核心摘要的结构化公网知识片段。

11、优选的，对话溯源输出模块组装上下文提示词时，注入针对目标大模型的门控指令；门控指令限定目标大模型生成的结论完全基于输入的候选文档片段及结构化公网知识片段，并在上下文资料不足以解答提问时输出表达无法解答的声明。

12、优选的，对话溯源输出模块计算加权溯源判定矩阵时，加权溯源判定矩阵中的各元素计算为生成文本句与参考句的原始余弦相似度、参考句所属来源的可信度权重以及按时间差指数衰减的时间衰减系数三者的乘积；来源可信度权重基于私有知识库的设定值高于公网网页，对于私有静态文档时间差对应的计算结果设定为1；在最大得分项大于或等于预设绑定阈值且对应参考句来自私有知识库时绑定包含文件名及页码的本地私有文档标识，在最大得分项大于或等于预设绑定阈值且对应参考句来自公网网页时绑定包含网页标题及源地址的公网来源标识，在最大得分项小于预设绑定阈值时标记为模型推理生成状态。

13、优选的，系统还包括数据持久化与缓存隔离模块，用于将用户的对话提问、检索向量、问答文本及溯源清单存入本地数据库；公网辅助检索模块抓取的结构化公网知识片段仅在临时缓存数据库中保留7d后自动清理，禁止写入私有知识库，阻断外部数据对私有向量空间的污染。

14、一种基于双源检索的可溯源知识库问答方法，其用于运行一种基于双源检索的可溯源知识库问答系统，包括以下步骤：

15、步骤s1，提取待入库文档文本，依据相邻句子向量的余弦距离梯度确定语义断块点，并在语义断块点配置随余弦距离梯度增大而线性扩张的动态重叠字符窗口，生成文档切片向量并构建私有知识库；

16、步骤s2，在隔离状态下激活本地离线推理通道，在公网连通且硬件负荷超限时切换至第三方在线接口通道；

17、步骤s3，获取对话提问向量，召回候选文档片段，计算候选文档片段与对话提问向量的平均余弦相似度及候选文档片段集合的语义熵，确定信息残差比率；

18、步骤s4，在信息残差比率大于预设激活阈值时，重构对话提问生成标准检索词，抓取外部公开网页过滤生成结构化公网知识片段；

19、步骤s5，融合候选文档片段与结构化公网知识片段构建上下文提示词，提取候选文档片段与结构化公网知识片段组成参考句集合，调用目标大模型生成问答文本并拆分为生成文本句，结合来源可信度权重与时间衰减系数计算加权溯源判定矩阵，依据最大得分项绑定知识来源标识并输出溯源清单。

20、相对于现有技术，本发明一种基于双源检索的可溯源知识库问答系统及方法，具有以下优势：

21、1、在双源检索的可溯源知识库问答中，依据相邻句子向量的余弦距离梯度确定语义断块点，并配置动态重叠字符窗口，使文档切分能够随语义变化进行调整，对于长段落和结构化表格，切分后的相邻片段仍能保留必要的上下文联系，从而减少语义割裂和实体指代丢失，降低由切分不当造成的检索偏差，提高私有文档切片及向量匹配的准确性。

22、2、通过候选文档片段的平均余弦相似度和语义熵确定信息残差比率，能够同时判断检索结果与提问的相关程度以及候选结果的分散程度，减少对局部词语相似但整体语义不符的片段作出误判，在私有知识足以回答提问时，可以避免不必要的公网数据请求；在私有知识不足时，则能够及时补充外部公开信息，从而兼顾私有数据隔离和问答所需的知识覆盖，提高检索判断和问答生成的客观性。

23、3、结合来源可信度权重和时间衰减系数，对问答文本中的各个生成文本句进行知识来源绑定，使回答内容能够对应到具体的本地文档或公网网页，当不同来源的资料存在矛盾时，可以优先采用可信度较高、时效性较强的内容；当生成文本句缺少足够的资料依据时，则将其标记为模型推理生成状态，由此能够减少无依据生成内容，并形成包含本地文件名、页码或公网网页标题、来源地址的句子级溯源清单，便于对回答出处进行核对，提高问答结果的可核验性与事实依据支撑强度。