一种具备功能可解释性的层次上下文感知关键词提取方法及系统

本发明属于自然语言处理与文本挖掘，涉及层次上下文感知关键词提取方法，具体涉及一种具备功能可解释性的层次上下文感知关键词提取方法及系统。

背景技术：

1、关键词提取是连接非结构化科技文本与结构化知识情报的核心环节，广泛应用于科技情报挖掘、技术趋势分析和信息检索等下游任务。

2、基于深度学习的监督序列标注方案是当前高精度关键词抽取的主流范式，其利用预训练语言模型（pre-trained language model，在大规模语料上预训练、可提取词元深层语义表示的神经网络模型，如bert、deberta等）获取词元（token，文本经分词后得到的基本语言单元）的深层上下文表示，并结合混合专家模型（mixture-of-experts，moe，由门控路由与多个专家子网络组成、按输入动态激活部分专家的神经网络结构）或条件随机场（conditional random field，crf，可对相邻标签间转移关系建模的序列标注统计模型）捕获特定的名词短语与句法结构，将关键词抽取建模为bio序列标注任务（即为每个词元标注b-begin词首、i-inside词中/词尾、o-outside非关键词三类标签），一定程度上缓解了传统统计方法语义理解能力不足的问题；然而，此类方案本质上依赖局部上下文窗口，难以从宏观上建模“文档-句子-词元”的层次关联，导致模型往往只能提取局部显著的词汇，而遗漏贯穿全文但局部不突出的全局核心概念，难以准确评估长尾词汇在全篇逻辑中的全局重要性。

3、另有方案通过显式建模文档的层次结构来缓解长文本关键词遗漏问题，在一定程度上解决了传统扁平序列视角下全局核心概念缺失的问题；然而，该类方案多采用无监督范式，无法识别词汇在文章逻辑中承担的具体功能角色（如“核心方法”“研究任务”“实验数据集”等），提取出的关键词仅为离散的符号，难以直接用于构建高质量的异构知识图谱，且方案效果依赖于特定无监督假设，难以稳定适配工业级应用。

4、随着gpt等大语言模型（large language model，llm，基于海量文本训练、具备强大语言理解与生成能力的巨型神经网络模型）的出现，部分方案通过设计提示词（prompt，输入给语言模型的指令文本）让大模型直接阅读文档并生成具有解释性的关键词列表。然而，现有的直接调用超大参数量大语言模型进行提取的方案，不仅存在严重的“幻觉”现象（即模型生成原文中不存在的似是而非的术语），而且在面对百万级学术论文库时，其高昂的算力成本和数十秒的推理延迟是工业系统无法接受的；同时大模型的随机生成特性导致输出格式不稳定，难以被自动化脚本精确解析。

5、综上，现有技术方案均未能同时解决长文本全局结构感知不足、提取结果缺乏功能语义角色、以及直接应用大语言模型成本高且易生幻觉这三个技术问题，此即本发明所要解决的技术问题。

技术实现思路

1、为了克服上述现有技术存在的缺陷，本发明的目的在于提供一种具备功能可解释性的层次上下文感知关键词提取方法及系统，以解决长文本长尾关键词难以提取、提取结果缺乏语义角色、以及直接应用大语言模型成本高且易产生幻觉中的至少一个技术问题。

2、为了解决上述问题，本发明采取如下技术方案：

3、第一方面，一种具备功能可解释性的层次上下文感知关键词提取方法，包括以下步骤：

4、s1、将待提取文档进行分词处理并编码为词元初始上下文向量表示；

5、s2、对初始上下文向量表示并行执行双通道上下文特征增强，得到局部特征向量与层次上下文结构特征；

6、s3、基于所述局部特征向量与所述层次上下文结构特征，经序列建模、逐词元调制与序列标注解码，生成候选关键词集合；

7、s4、构建监督微调数据集，基于所述监督微调数据集对轻量级学生模型执行模型微调处理；

8、s5、将候选关键词与待提取文档拼接为提示词输入经s4微调后的轻量级学生模型，执行功能语义分类并输出结构化功能关键词知识字典。

9、进一步的，所述s1具体为，将待提取文档进行分词处理，依据句子边界生成句子编号，并生成注意力掩码以屏蔽填充位得到输入词元序列；采用预训练语言模型作为基础编码器，对输入词元序列进行编码，取最后一层隐藏状态作为每个词元的初始上下文向量表示。

10、进一步的，所述预训练语言模型为deberta-v3-base、roberta、bert、scibert中的一种；所述分词处理采用预训练语言模型配套的分词器执行。

11、进一步的，所述双通道包括局部模式捕获通道与全局层次信息评估通道，所述局部模式捕获通道由局部模式混合专家模块实现，用于捕获包括名词短语、专有名词在内的局部细粒度模式，得到局部特征向量；所述全局层次信息评估通道由层次上下文打分模块实现，为每个词元计算显式层次上下文得分，得到层次上下文结构特征。

12、进一步的，所述局部模式混合专家模块包括路由网络与若干并行专家网络，所述路由网络包括两个线性投影，第一线性投影将词元的初始上下文向量映射得到路由分数，第二线性投影生成噪声参数；训练阶段在路由分数上叠加高斯噪声执行noisytop-k路由，推理阶段不叠加噪声；对每个词元选取路由分数最高的k个专家，未选中专家的路由分数置负无穷，经softmax归一化得到稀疏路由权重向量；所述专家网络为两层非线性前馈网络，各专家网络并行处理被路由到自身的词元，输出按照稀疏路由权重向量加权求和，得到词元的局部特征向量。

13、进一步的，所述层次上下文打分模块针对每个词元同时输出两路结果：其一为层次上下文得分，所述得分由主题性特征、层次性特征、新颖性特征、位置先验特征四类层次上下文结构特征求取几何平均，再经过z-score标准化与截断处理后得到；其二为层次上下文结构特征向量，所述结构特征向量由位置特征、语义特征与句子边界特征三部分拼接构成；

14、所述四类层次上下文结构特征由词元级表示向量与其所在的句子级表示向量的余弦相似度、句子级表示向量与文档级表示向量之间的余弦相似度、以及词元级表示向量与文档内全部有效词元表示平均方向之间的余弦相似度结合词元位置信息构造而成，表示为，

15、

16、

17、

18、

19、其中，cos(·,·)为余弦相似度，为词元级表示向量，即第t个词元的初始上下文向量表示，为句子级表示向量，为文档级表示向量，为文档内全部有效词元表示的平均方向，为第t个词元在文档中的位置序号，为文档的有效长度，为主题性特征，衡量词元在所在句子中的代表性；为层次性特征，衡量句子承载文档中心思想的程度；为新颖性特征，凸显词元携带的独特语义信息；为位置先验特征，刻画词元的位置显著性。

20、进一步的，所述s3具体为，首先，将所述局部特征向量输入双向循环神经网络进行序列建模；随后将所述层次上下文结构特征向量经层归一化后输入特征编码网络，依次经线性映射至32维、gelu激活、层归一化，再经两个线性投影分别生成每个词元的缩放参数与平移参数；两个线性投影的权重与偏置均以零初始化，使调制初始状态为恒等映射；利用缩放参数与平移参数对双向循环神经网络的输出特征进行调制，且调制仅在有效词元位置生效；将调制后的特征向量输入至线性分类头，投影到序列标签空间，生成基于全篇文档的每个标签的概率分布，采用基于跨度的解码策略确定最优标签序列，解码完成后，对候选关键词执行词干去重，按置信度与出现频次奖励加权降序排列，截断输出前若干个关键词作为候选关键词集合。

21、进一步的，步骤s4构建训练数据集时，从领域知识库获取文献的任务标签与领域标签，通过规则匹配从文献文本中提取数据集与评估指标实体，并利用大语言模型基于严格提示词推理提取文献核心方法信息，融合得到指令-输入-输出三元组训练数据；通过知识蒸馏将教师大语言模型的推理能力迁移至轻量级学生模型，以教师模型生成的标注数据为监督信号对学生模型进行监督微调，训练时采用低秩自适应lora参数高效微调方式，以自回归语言建模交叉熵损失为目标，并对提示词部分词元进行损失掩码，仅对模型输出部分词元计算损失。

22、进一步的，所述s5具体为，将待提取文档的标题、摘要与步骤s3输出的候选关键词集合按严格提示词模板拼接为提示词，输入经步骤s4微调的轻量级学生模型，由轻量级学生模型对各候选关键词进行功能维度划分，分别归类至任务、方法、领域、数据集、指标五大维度，并识别无法归入任一维度的干扰关键词；模型在结构化输出约束下生成分类结果，通过预设解析引擎按照结构化格式规则解析提取有效字段，剔除冗余解释文本，最终输出结构化的功能关键词知识字典。

23、第二方面，本发明还提供了一种具备功能可解释性的层次上下文感知关键词提取系统，所述系统用于实现第一方面任一项所述方法，包括基础编码模块、双通道上下文特征增强模块、特征融合与解码模块与轻量级学生模型功能分类模块；其中，所述基础编码模块用于将待提取文档转换为可供后续处理的高维上下文向量序列，由分词预处理子模块与预训练编码子模块构成；所述双通道上下文特征增强模块并行执行局部细粒度模式捕获与全局层次结构信息评估，由局部模式混合专家子模块与层次上下文打分子模块构成；所述轻量级学生模型功能分类模块用于构建训练数据并监督微调轻量级学生模型，对候选关键词集合执行五大功能维度的分类并判别干扰项，输出结构化功能关键词知识字典，由数据构建子模块、监督微调子模块与在线推理子模块构成。

24、与现有技术相比，本发明具备以下有益效果：

25、1、本发明采用层次上下文增强监督提取与功能语义分类的两阶段级联架构，先通过抽取模块锁定候选关键词范围，再由后置模型针对既定候选关键词完成分类判定。该架构规避了传统大模型直接生成关键词易出现的内容失真问题，有效提升了文献关键词提取结果的准确性与可解释性。

26、2、本发明设计了互补式数据构建与模型蒸馏方案，依托规则引擎保障实体抽取精度，结合大语言模型的逻辑推理能力完成训练数据合成，基于合成优质数据对轻量级学生模型进行微调。在大幅降低算力开销的前提下，让轻量化模型具备大语言模型的功能语义分类性能，实现了低成本高精度的关键词分类效果。

27、3、本发明采用提示词约束与结构化输出解析相结合的后置处理机制，通过结构化输出规范限定模型分类结果的输出格式，再配套专属解析引擎完成结果解析处理。有效解决了生成式模型输出格式杂乱、不可控的问题，保障了下游自动化解析流程的稳定、高效运行。

28、4、本发明可实现关键词与方法、任务、数据、指标、领域五大维度的精准映射，为关键词提取结果赋予明确的语义维度信息与解释价值，能够直接适配下游学术知识图谱的构建、梳理与应用场景。

29、5、本发明将大语言模型的深度推理能力蒸馏至参数规模十亿级以下的轻量化学生模型中，显著降低了模型推理的显存占用与计算能耗，将完整流水线的单篇文献平均处理时长降低至约1.7秒（按1000篇文档耗时1706.35秒折算），可适应大规模文献批量处理需求。

30、6、本发明的轻量化学生模型仅针对原文提取的候选关键词进行筛选与语义分类，摒弃了自由生成的工作模式，通过限定候选范围降低了模型生成原文不存在词汇的风险，并减少了关键词处理过程中的内容错误与信息安全风险。