一种融合生成式思维链与聚类压缩的领域知识树形结构构建方法及系统与流程
本发明涉及人工智能、自然语言处理、知识工程、信息检索和大规模非结构化文本数据处理,更具体的说是涉及一种融合生成式思维链与聚类压缩的领域知识树形结构构建方法及系统。
背景技术:
1、随着政策文件、学术论文、行业报告、专利文献和企业知识资料等领域文档数量不断增加,领域知识通常分散存在于大量非结构化或半结构化文本中。这些文档具有篇幅长、来源多、概念关系复杂、表达方式不统一等特点,直接依靠人工阅读、整理和维护知识结构,效率较低,且难以保证知识来源可追溯、结构关系稳定和后续复用一致。
2、现有技术中,文献聚类方法通常通过关键词提取、文本相似度计算、主题建模或聚类算法对文档进行分组,其主要输出为文献簇、主题标签或索引结构;知识萃取方法通常通过实体识别、关系抽取、知识图谱构建或大语言模型生成等方式,从文本中抽取概念、实体、属性或关系;长文本摘要、提示词压缩和事实核查等技术则分别用于摘要生成、输入压缩和证据验证。
3、上述技术虽然能够分别解决文档分组、知识抽取、摘要压缩或证据检索等问题,但大多只覆盖领域知识处理流程中的单一环节,尚不能同时完成多源文档的语义压缩、证据约束、树形层级构建以及推理路径复用。特别是在大规模领域文档场景下,现有方法容易出现知识节点重复、层级关系不稳定、知识来源不清晰、模型生成内容缺乏证据支撑、相似问题需要重复推理等问题。
4、因此,需要一种面向多源领域文档的知识树形结构构建方法,能够将文档聚类压缩、递归摘要、证据链约束、层级关系识别和生成式思维链路径沉淀进行协同处理,从而生成可追溯、结构稳定且可复用的领域知识树形结构。
技术实现思路
1、鉴于上述现有技术中难以在大规模、多源、非结构化领域文档场景下,同时实现语义压缩、证据可追溯、树形结构稳定和推理路径复用的问题,本发明提出了一种克服上述问题或者至少部分地解决上述问题的一种融合生成式思维链与聚类压缩的领域知识树形结构构建方法及系统。
2、为了实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明实施例提供一种融合生成式思维链与聚类压缩的领域知识树形结构构建方法,包括以下步骤:
4、获取多源领域文档,对所述文档进行解析、清洗和切片,得到切片对象集合;
5、对所述切片对象集合进行语义向量化,得到切片向量矩阵;
6、对所述切片向量矩阵执行两阶段聚类压缩,得到语义一致的社区单元;
7、对每个社区单元生成社区摘要,构建文档级递归摘要树;
8、基于所述递归摘要树及生成式思维链,将每条候选推理路径拆解为候选边;所述候选边表示为 e=(u,r,v),其中 u 为起始知识节点,v 为终止知识节点,r 为候选关系类型;
9、将所述候选边中的节点 u 和 v 分别映射至所述递归摘要树中的最优锚点,计算节点锚定分数、层级覆盖分数、关系证据一致性分数和路径连续性分数,并计算候选边接受分数;
10、根据所述候选边接受分数对候选边执行接受、重挂载或删除处理,将通过校验的候选边并入候选关系图;
11、基于所述候选关系图,通过根节点评分、父子关系分配、结构修正和证据剪枝,生成领域知识树。
12、第二方面,本发明实施例提供一种融合生成式思维链与聚类压缩的领域知识树形结构构建系统,实现如第一方面所述的融合生成式思维链与聚类压缩的领域知识树形结构构建方法,该系统包括:
13、文档预处理模块,用于获取多源领域文档,进行解析、清洗和切片,得到切片对象集合;
14、语义向量化模块,用于对所述切片对象集合进行语义向量化,得到切片向量矩阵;
15、聚类压缩模块,用于对所述切片向量矩阵执行两阶段聚类压缩,得到社区单元;
16、递归摘要模块,用于对每个社区单元生成社区摘要,构建文档级递归摘要树;
17、思维链处理模块,用于基于所述递归摘要树及生成式思维链,将每条候选推理路径拆解为候选边;
18、校验模块,用于将所述候选边中的节点映射至所述递归摘要树中的最优锚点,并计算节点锚定分数、层级覆盖分数、关系证据一致性分数和路径连续性分数,进而计算候选边接受分数,并根据所述候选边接受分数对候选边执行接受、重挂载或删除处理;
19、知识树生成模块,用于将通过校验的候选边并入候选关系图,基于所述候选关系图通过根节点评分、父子关系分配、结构修正和证据剪枝生成领域知识树。
20、经由上述的技术方案可知,与现有技术相比,本发明公开具有如下技术优势:
21、1.通过两阶段聚类压缩和递归摘要树,实现了多源文档的高效语义压缩和层级化组织;
22、2.通过生成式思维链与摘要树锚定校验的结合,避免了无依据关系进入知识树,提高了知识节点的可追溯性和可靠性;
23、3.通过候选边接受、重挂载、删除的多级处理机制,保证了知识树结构的稳定性和合理性;
24、4.通过结构修正和证据剪枝,进一步提升了知识树的拓扑质量和可读性;
25、5.支持增量更新和推理路径复用,适合长期领域知识资产管理。
26、此外,本发明其核心实现不是直接从原始文本一次性生成知识树,而是先通过文档解析、切片、语义向量化、两阶段聚类压缩和递归摘要构建摘要树,再由生成式思维链生成候选概念、候选关系和候选推理路径,并利用摘要树和原始切片证据对候选关系进行锚定、评分、重挂载和剪枝,最终形成带有证据支撑的领域知识树。由此,本发明解决了原始长文档难以直接结构化、跨文档知识关系难以稳定表达、生成式推理路径难以沉淀复用以及最终结果难以验证来源的问题。
27、与现有的单次关键词抽取、单次聚类或直接大模型摘要方案相比,本发明的优越性主要体现在以下几个方面。第一,本发明采用“两阶段聚类压缩 + 聚类摘要树”的多层压缩机制,能够先在语义空间中完成主题级分离,再在单文档内部形成层次化摘要结构,从而有效降低主题混杂并控制知识抽象粒度。第二,本发明将生成式思维链限定为候选概念、候选关系和候选推理路径的生成来源,并通过摘要树锚定、关系证据一致性评分和路径连续性评分对其进行约束,避免将未经证据校验的大模型推理结果直接写入知识树。第三,本发明在知识树构建阶段引入证据约束机制,使知识节点和层级关系能够回溯到对应的摘要节点及原始切片证据,提高了结果的可解释性和可验证性。第四,本发明通过根节点选择、父子评分、去环、去拥挤、词面一致性修正、上下文锚定修正、度量去中心化修正及弱桥接节点剪枝等结构修正规则,提高了最终知识树的拓扑稳定性与可读性。第五,本发明在工程实现上引入阶段检查点、缓存复用和结构缓存机制,使系统不仅能够完成一次性构建,还能够支持增量更新和长期知识维护。
28、因此,本发明不仅能够实现原始领域文档的知识压缩,还能够将可验证的生成式推理路径沉淀为经证据约束的候选关系,并最终形成具备证据支撑、层级清晰、结构稳定、可持续维护和可复用推理路径的领域知识树结构,适用于政策研究、技术调研、行业分析、专利梳理和企业知识管理等应用场景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com