全本地离线标书知识库系统及构建方法、检索方法与流程

本发明属于信息检索、自然语言处理与知识库构建，尤其涉及一种全本地离线标书知识库系统及构建方法、检索方法。

背景技术：

1、投标企业在多年经营中积累了大量历史标书，包括商务类、技术类、资信类、施工组织类和答辩述标类文件。这些文件格式横跨文字文档、启用宏的文字文档、老式电子表格、新式电子表格、演示文稿和可移植文档，其中大量可移植文档包含盖章扫描页。标书工程师和资料员需要快速找到可复用的方案段落、历史报价和资质业绩素材，并在日常阅读中记录个人经验。然而，现有技术存在以下问题。

2、现有技术方向一为面向标书生成的知识库检索。例如，公开号cn122285862a的方案解析招标文件生成结构化数据，用大语言模型提取核心需求并自动生成标书目录，事实型章节从历史标书知识库中检索匹配段落进行内容填充，论述型章节基于模板库和大语言模型生成。根据招标项目条件在标书知识库中按分类标签筛选初级匹配内容，再用动态排序模型排序并组合生成投标书。该方案服务于编制新标书的生成环节，历史标书知识库仅是内容素材来源，未涉及标书库自身的构建质量维护、增量更新一致性、批注知识沉淀与文档关联网络。未解决高相似标书库的检索精度衰减、扫描件解析与库级增量维护问题。

3、现有技术方向二为基于知识图谱的文档关联。公开号cn119474261a的方案结合知识库目录树、文档篇章结构、文档内部目录结构与文档标签，建立文档之间、文档内部篇章段落之间的关联关系，构建知识库网络并进行关联搜索。该方案的关联依据为目录、结构、标签等静态属性，未融合语义相似边，未区分机器推测的关联与人工确认的关联两类可信度不同的边，关联网络也不能收窄到某子树聚焦浏览。

4、现有技术方向三为文档批注处理。公开号cn115859909a的方案从协作文档元数据中获取批注权属属性，筛选当前用户具有查看权限的可见批注，并调整可见批注标识符。该方案解决的是协同场景下批注的显示权限与可读性，批注仅为显示对象，批注文本不参与全文检索，无法通过检索词命中批注并回溯到文档段落。

5、综上，现有技术中，标书类方案把历史标书当作生成新标书的素材库；通用知识库方案在特定领域做单一路径检索问答；文档关联方案依赖静态属性建网；批注方案把批注当作显示对象而非可检索资产。没有任何一件现有技术同时覆盖本案的完整链路：多格式标书文档统一解析，含扫描页自适应识别与ocr补齐；统一段落块结构入库并建立全文倒排索引与块级、文档级双粒度向量索引；关键词路与语义路倒数排名融合加词法四因子重排的两阶段混合检索；批注独立建全文索引并与文档检索同询联动；语义边、概念枢纽边、人写引用边三类分层的知识图谱；文件级增量更新下的索引一致性维护；且全部环节在无任何外部网络依赖的单机离线环境中完成。

6、现有技术存在的缺点包括：第一，标书资产的检索与沉淀割裂，现有标书类技术只把历史标书当作生成素材，标书库自身的资产化管理缺失；第二，标书文档组合特点无人应对，真实标书文件夹同时包含多种格式和扫描页，现有方案要么只支持单一格式，要么对扫描页整档降级处理；第三，高相似库上检索精度衰减，同一单位标书大量复用模板，纯关键词检索和纯向量检索单独使用精度都随库增长而衰减；第四，增量更新引发索引失配，文档被修改替换后内部标识改变，旧向量未同步清理会成为失配向量，使语义检索命中已不存在的文档；第五，批注与检索割裂、人工知识与机器推测混淆，批注不可检索，文档关联中机器推测与人工确认混在一起。

技术实现思路

1、本发明所要解决的技术问题包括：如何在不依赖任何网络服务与外部组件的前提下，把多格式混杂、含扫描页的标书文档库统一解析为同一套段落块结构，使扫描件内容可检索、全部内容可索引；如何在高相似标书库上持续保持检索精度，让关键词精确匹配与语义换说法匹配互相补位，并在融合排序后按标书库特点二次重排；如何保证文件增删改时库的一致性，使全文索引、双粒度向量索引、批注、版本快照在单文档替换粒度上不产生失配残留；如何把人的经验沉淀为可检索资产，使批注参与全文检索并在命中时回溯展示，人写关联边与机器计算关联边在知识图谱中分层区分。

2、本发明的技术解决方案是所述全本地离线标书知识库的构建方法，用于在无外部网络依赖的单机环境中构建标书知识库，其特殊之处在于，包括：

3、响应于一个或多个标书根目录的挂载，通过目录监听捕获所述标书根目录及附加目录中的文件事件，对所述文件事件进行防抖处理，并排除办公软件锁文件和不受支持格式的文件事件；

4、在待处理文件写入稳定后，按扩展名将待处理文件分发至对应的解析器，将多格式标书文档解析为统一段落块结构，所述统一段落块结构至少包括块类型、页码、章节路径和文本；当存在与标书文件同名存放的旁车解析文件时，优先采用所述旁车解析文件的版面解析结果；

5、对解析得到的页面逐页统计可提取文本字符数，将可提取文本字符数低于预设阈值的页面确定为扫描页，将所述扫描页渲染为图像并进行ocr识别，以ocr识别文本替换所述扫描页对应的段落块；

6、在将新解析文档替换入库之前，根据旧文档标识删除向量索引中所述旧文档标识对应的全部旧向量；

7、将所述统一段落块写入段落块存储并同步更新全文倒排索引，对所述统一段落块进行嵌入推理得到块级向量，并基于同一文档的块级向量生成文档级向量，将所述块级向量和所述文档级向量写入向量索引；

8、发布文件变更通知，以触发检索与应用层更新。

9、作为优选：所述防抖处理包括：设置防抖信号量，使同一时刻仅处理一个文件事件；所述排除办公软件锁文件包括：排除文件名以办公软件临时文件约定前缀开头的文件；所述写入稳定包括：轮询待处理文件的大小和最后写入时间，在连续两次观测到文件大小和最后写入时间均未变化且文件非空时，判定文件写入稳定；

10、所述多格式标书文档包括文字文档、启用宏的文字文档、老式电子表格、新式电子表格、演示文稿和可移植文档；对于老式电子表格，解析得到的行级段落块携带所属工作表名和表头信息，以使表格行能够参与语义检索；

11、所述预设阈值处于10至100个字符的范围内；对扫描页进行ocr识别时，过滤异常置信度的识别区域，并记录该扫描页的平均置信度；根据文档中扫描页的占比，将文档自动标记为文本型、扫描型或混合型；

12、所述文件事件包括文件的创建、修改、删除和重命名；对于删除事件，删除对应文档标识下的全文索引、块级向量、文档级向量和文档级衍生数据；所述文档级衍生数据包括文档级向量、自动标签、文档统计信息；对于重命名事件，按新路径更新文档标识及索引关联关系；

13、所述基于同一文档的块级向量生成文档级向量包括：对同一文档中参与向量化的块级向量求算术平均，得到平均向量，并对所述平均向量进行l2归一化，得到文档级向量；其中，参与向量化的段落块满足最小长度阈值且不超过单文档向量化块数上限，文档级向量与块级向量维度相同。

14、作为优选：还包括：将批注以独立批注表存储，所述独立批注表至少包括文档路径、块标识、锚文本和笔记正文；通过插入、删除和更新触发器，将所述独立批注表与独立批注全文索引同步，使批注文本能够与文档正文在同一查询中被检索；当块标识失配时，以锚文本兜底定位批注所属段落；

15、还包括：根据文件名、标题和文本前段中的关键词命中计数，将文档归入商务类、技术类、资信类、施工组织类和答辩述标类中的至少一类，并将归入结果写入自动标签，所述自动标签用于后续知识图谱中的概念枢纽建图。

16、在将新解析文档替换入库之前，还包括：将替换前的旧文档存储为历史版本快照；在系统运行期间，将索引数据库在线备份为单文件快照，所述单文件快照至少包括批注、人写关联、用户评分和版本快照数据；所述用户评分是指用户对文档、段落块、批注或知识问答证据卡中的至少一种对象赋予的本地评价数据，至少包括评分对象标识和评分值；由用户在阅读文档或批注时手动打分；用于检索结果排序、文档推荐、知识图谱节点大小显示或资产管理优先级排序中的至少一种；在系统下次启动时，通过原子替换方式恢复所述单文件快照。

17、本发明的另一技术解决方案是所述全本地离线标书知识库的检索方法，用于对前述任一项构建方法构建的标书知识库进行检索，其特征在于，包括：

18、接收用户查询，对所述用户查询进行拼音首字母展开和领域同义词扩展；

19、并行执行关键词路和语义路：所述关键词路基于全文倒排索引对统一段落块进行检索，所述语义路将用户查询嵌入为查询向量，并在块级向量索引中进行近邻检索；当向量索引为空或嵌入模型缺失时，跳过所述语义路；当跳过语义路时，仅基于关键词路排名输出，或按单路融合方式处理；

20、按照倒数排名融合公式对所述关键词路的排名和所述语义路的排名进行融合，得到融合结果；

21、对所述融合结果按照词法四因子重排公式进行重排，所述词法四因子包括查询词覆盖率、完整查询短语命中、标题命中和原融合排名归一化分；

22、在同一查询下并行检索批注全文索引，得到命中批注；

23、输出文档命中列表和命中批注，所述文档命中列表至少包括文档标题、路径、页码、章节路径和高亮片段，所述命中批注至少包括笔记正文、锚文本和所属文档，并支持从命中批注回溯至原文段落。

24、作为优选：所述倒数排名融合公式为：

25、(1)

26、式中，为候选段落块，为候选段落块在关键词路中的排名，为候选段落块在语义路中的排名，当和/或未命中时，分别取大于对应路结果总数的补偿排名值；即若未命中，则取大于关键词路结果总数的补偿排名值，若未命中，则取大于语义路结果总数的补偿排名值；为关键词路融合权重，为语义路融合权重，与之和为1；为融合平滑常数，处于50至100的范围内，处于0.5至0.7的范围内，处于0.3至0.5的范围内。

27、作为优选：所述词法四因子重排公式为：

28、 (2)

29、式中，为融合后的候选段落块，为查询词覆盖率，为完整查询短语命中指示值，为查询词命中候选段落块所属文档标题的指示值，为原融合排名归一化分；、、、为四因子权重，处于0.3至0.6的范围内，处于0.15至0.35的范围内，处于0.05至0.25的范围内，处于0.05至0.25的范围内，且。

30、作为优选：还包括构建知识图谱并以知识图谱辅助检索和浏览，所述知识图谱以文档为节点，并包括三类分层边：

31、语义边，根据文档级向量之间的余弦相似度达到语义边相似度阈值建立，且每篇文档保留的语义近邻数不超过近邻上限；

32、概念枢纽边，将文档连接至共享标签达到概念枢纽挂载门槛的标签枢纽节点；

33、人写引用边，根据用户手动建立的两份文档之间的关联关系生成，并对双向互引去重后以单边呈现；

34、其中，三类边在显示时以不同线型、颜色或标记区分显示，且建图范围能够按目录子树前缀收窄。

35、所述语义路中，查询向量与块级向量均为l2归一化向量，余弦相似度按照向量点积计算；

36、所述关键词路在查询词之间采用逻辑与进行检索，当逻辑与检索无命中时自动放宽为逻辑或；所述同义词扩展包括将标书领域查询词扩展为招标文件和/或投标文件。

37、作为优选：还包括知识问答：以所述关键词路和所述语义路的混合检索结果为证据基础，按文档聚合证据并每篇文档仅保留最高分块，输出带文档名、页码和章节路径的证据卡；当检测到本机大语言模型服务时，叠加生成式摘要；当生成式摘要失败时，静默回退至抽取式摘要，且全程不进行外部网络请求。

38、本发明的再一技术解决方案是所述全本地离线标书知识库系统，其特殊之处在于，包括：

39、标书入库构建层，包括目录监听模块、多格式解析模块、扫描页识别模块和业务打标模块；所述目录监听模块用于捕获标书根目录及附加目录中的文件事件并进行防抖和锁文件排除；所述多格式解析模块用于将多格式标书文档解析为统一段落块结构，并优先采用同名旁车解析文件；所述扫描页识别模块用于逐页识别扫描页并对扫描页进行ocr识别和文本替换；所述业务打标模块用于为文档分配业务标签；

40、索引存储层，包括全文倒排索引、块级向量索引、文档级向量索引、批注全文索引以及版本快照与备份模块；所述全文倒排索引以统一段落块为粒度；所述块级向量索引和所述文档级向量索引分别存储块级向量和文档级向量；所述批注全文索引独立于文档正文索引并与批注存储同步；所述版本快照与备份模块用于存储历史版本快照并支持在线备份和原子恢复；

41、检索与应用层，包括混合检索与词法重排模块、批注回检索模块、知识图谱模块和知识问答模块；所述混合检索与词法重排模块用于并行执行关键词路和语义路，并进行倒数排名融合和词法四因子重排；所述批注回检索模块用于在同一查询下检索批注全文索引并回溯展示命中批注；所述知识图谱模块用于构建语义边、概念枢纽边和人写引用边三类分层边；所述知识问答模块用于基于混合检索结果输出带出处的证据卡；

42、所述系统在无外部网络依赖的单机环境中运行，并用于执行前述任一项的方法。

43、本发明的第四技术解决方案是所述非易失性计算机可读存储介质，其上存储有计算机程序指令，其特殊之处在于，所述计算机程序指令被处理器执行时实现前述任一项的方法。

44、与现有技术相比，本发明的有益效果：

45、⑴标书资产全生命周期沉淀，批注、人写关联、版本快照、重复检测、整库备份构成完整的资产管理闭环。

46、⑵扫描件与多格式全量可检索，逐页字符计数自动识别扫描页、按页ocr替换、混合型文档分型打标，配合多格式统一段落块解析与旁车解析优先通道，使盖章页、资质证书扫描件等高价值内容全部进入检索范围，且全程单机离线、零网络请求。

47、⑶高相似库上的检索精度，关键词路与语义路倒数排名融合保证两路都认可的块优先，词法四因子重排针对标书模板雷同的特点把完整短语命中与标题命中提权，两阶段结构使精度不随库增长而快速衰减。

48、⑷单文档粒度的索引一致性，锁文件排除、写入稳定等待、旧标识向量清理、版本快照、触发器同步在单个文件被替换这一粒度上保证全文索引、向量索引与衍生数据的一致，杜绝失配向量导致的语义路命中死文档。

49、⑸人的经验成为可检索资产，批注独立建全文索引并与文档检索同询联动，知识图谱把语义边、概念枢纽边、人写引用边分层以不同线型、颜色或标记区分显示。