一种基于大语言模型的分类树构建与检索方法及系统

本发明属于自然语言处理与信息检索，具体涉及一种基于大语言模型的分类树构建与检索方法及系统。

背景技术：

1、层级化文本分类是将无标注文本自动划分到树状分类体系中的关键技术，广泛应用于学术文献管理、专利导航、企业知识管理等领域。传统的分类树构建方法主要依赖人工编制分类体系或基于统计模型的聚类分析，前者维护成本高、跨领域迁移困难，后者则难以生成具有语义层次的树形结构。近年来，预训练语言模型虽具备一定的语义理解能力，但现有方案多采用“自上而下、逐层分类”的固定架构，层级深度受限于预设层数，难以适应不同领域文档的语义粒度差异。

2、现有技术中，基于大语言模型的分类树生成方法通常采用单层初始分类树生成后迭代扩展的策略，但其扩展过程缺乏对已生成树结构的全局修正能力，无法对分类树进行合并、拆分或节点迁移等事后调整，导致分类树结构固化、粒度极化严重。此外，现有方法在处理超出模型预训练知识范围的专业领域文档时，被迫大量创建新节点或产生循环分类路径，且计算开销随文档量和层级数呈乘法级增长。上述缺陷使得分类树在结构合理性、粒度均匀性和计算效率方面均难以满足实际应用需求。

技术实现思路

1、鉴于现有技术中的上述缺陷或不足，本发明第一方面提供一种基于大语言模型的分类树构建与优化方法，包括：

2、获取初始分类树的层级结构快照，所述快照记录各层级节点的名称信息；

3、基于所述快照和待处理文档的文本内容，调用大语言模型生成从根节点至叶节点的分类路径，将所述分类路径中的各节点与当前分类树进行匹配，对于匹配成功的节点复用已有节点，对于匹配失败的节点创建新节点，并将所述待处理文档挂载至所述分类路径中的各节点；其中，首次执行时所述当前分类树为所述初始分类树；

4、确定所述当前分类树中待进行结构优化的局部视野；

5、在所述局部视野内，调用大语言模型基于父节点和孙节点信息推断缺失的中间层节点结构，并根据推断结果对所述局部视野中的节点执行结构重组；

6、重复执行文档挂载与局部视野结构优化，直至满足预设的终止条件，生成目标分类树。

7、根据本发明提供的技术方案，所述基于所述快照和待处理文档的文本内容，调用大语言模型生成从根节点至叶节点的分类路径，包括：

8、构造第一提示词，所述第一提示词要求大语言模型优先使用所述快照中已有的节点名称，仅在无合适节点时允许创建新节点名称，且新节点名称与同层级节点的抽象层次保持一致；

9、所述将所述待处理文档挂载至所述分类路径中的各节点，包括：

10、将所述待处理文档挂载至所述分类路径中的叶节点及其所有祖先节点。

11、根据本发明提供的技术方案，所述确定所述当前分类树中待进行结构优化的局部视野，包括：

12、在所述当前分类树中选取在当前处理轮次中有新增节点的父节点，且所述父节点的子节点数量不少于两个，且至少两个子节点具有孙节点。

13、根据本发明提供的技术方案，所述根据推断结果对所述局部视野中的节点执行结构重组，包括：

14、当所述父节点的子节点数量超过预设的分支阈值时，为每一个子节点插入一个冗余中间层节点；

15、调用大语言模型将每个孙节点分配至一个或多个推断出的中间子节点下；

16、将所述推断出的中间子节点结构与当前实际存在的中间层节点进行对比，执行同级合并、同级拆分、向上合并、向下合并和向下拆分五种节点运动；

17、合并所述局部视野中满足同名条件的父子节点对或子孙节点对。

18、根据本发明提供的技术方案，所述调用大语言模型基于父节点和孙节点信息推断缺失的中间层节点结构，包括：

19、构造第二提示词，所述第二提示词仅提供父节点名称和所有孙节点名称集合，不提供当前中间层节点的名称信息，且要求大语言模型为每个孙节点分配至唯一一个推断出的中间子节点下。

20、根据本发明提供的技术方案，所述生成目标分类树之后，还包括：

21、获取独立于训练集的验证集文档；

22、对验证集文档执行所述生成分类路径的步骤并统计需新建的节点数量；

23、计算被迫新建节点数量与所述当前分类树总节点数量的比例；

24、若所述比例超过预设阈值，则重新执行获取初始分类树的层级结构快照的步骤。

25、根据本发明提供的技术方案，所述生成目标分类树之后，还包括：

26、保存所述目标分类树的备份副本并重置所有节点的文档挂载记录；

27、将全量文档划分为多个批次，每批包含预设数量的文档；

28、对每一批次文档，依次执行所述基于所述快照和待处理文档的文本内容，调用大语言模型生成从根节点至叶节点的分类路径，以及所述根据推断结果对所述局部视野中的节点执行结构重组；

29、循环处理所有批次后输出最终优化的目标分类树。

30、一种基于分类树的文档检索方法，基于如上所述分类树构建与优化方法得到的目标分类树，包括：

31、接收检索请求，所述检索请求包括目标文档或检索路径；

32、当所述检索请求为目标文档时，基于所述目标文档的分类路径与其他文档的分类路径计算路径重叠度，所述路径重叠度基于最长公共前缀长度与两条分类路径长度最大值的比值确定；

33、返回与所述目标文档路径重叠度最高的预设数量的文档。

34、根据本发明提供的技术方案，所述检索请求还包括路径导航检索、路径精确检索或文档回溯检索中的至少一种；所述路径导航检索为从根节点开始逐级下钻获取目标节点下的文档，所述路径精确检索为输入完整节点名称序列定位节点并返回该节点下的所有文档，所述文档回溯检索为输入文档标识符返回该文档所属的全部分类路径并基于路径共现推荐相似文档。

35、一种基于大语言模型的分类树构建与优化系统，用于执行如上所述的分类树构建与优化方法，包括：

36、快照获取模块，配置用于获取初始分类树的层级结构快照，所述快照记录各层级节点的名称信息；

37、路径生成与挂载模块，配置用于基于所述快照和待处理文档的文本内容，调用大语言模型生成从根节点至叶节点的分类路径，将所述分类路径中的各节点与当前分类树进行匹配，对于匹配成功的节点复用已有节点，对于匹配失败的节点创建新节点，并将所述待处理文档挂载至所述分类路径中的各节点；其中，首次执行时所述当前分类树为所述初始分类树

38、视野确定模块，配置用于确定所述当前分类树中待进行结构优化的局部视野；

39、结构优化模块，配置用于在所述局部视野内，调用大语言模型基于父节点和孙节点信息推断缺失的中间层节点结构，并根据推断结果对所述局部视野中的节点执行结构重组；

40、迭代控制模块，配置用于重复执行文档挂载与局部视野结构优化，直至满足预设的终止条件，生成目标分类树。

41、与现有技术相比，本发明的有益效果在于：通过获取层级结构快照，使大语言模型能够理解当前分类树的整体形态，避免依赖外部知识导致的知识疆界固化问题。基于快照和文档内容生成完整分类路径并复用或创建节点，使分类树能够动态适应不同专业领域的文档语义，克服了因预训练知识范围受限而被迫大量创建新节点或产生循环分类路径的缺陷，同时每篇文档仅需一次调用即可生成完整路径，避免了逐层分类带来的计算资源膨胀。通过确定局部视野并在局部范围内基于父节点与孙节点信息推断中间层结构并执行结构重组，使分类树具备事后自我修正能力，系统性地解决结构固化、粒度极化等问题，且局部化操作将计算开销控制在局部而非全局。重复执行文档挂载与结构优化直至终止，使分类树在覆盖文档语义的同时保持层级均匀，层级深度由文档语义动态决定而非预设限制，从而克服层级固化与深度性能断崖的缺陷。综上，本发明实现了无需人工标注、层级深度自适应、结构可塑、计算开销线性增长的全自动分类树构建。