基于抽取-链接解耦的文本标签标注及标签体系演进方法与流程

本发明涉及自然语言处理，尤其涉及基于抽取-链接解耦的文本标签标注及标签体系演进方法。

背景技术：

1、在文本标签标注领域，现有常规做法通常将抽取与链接两个环节耦合在一起完成。具体而言，构建预定义标准标签体系后，依据该体系中的标准标签值构造标注指令，驱动语言模型在待标注文本中检索与标准标签值形态匹配的片段并直接映射为标签。实际工程中，这一过程往往借助大规模预训练语言模型的语义理解能力，由模型同时完成候选指称的发现以及与标准标签值的对应关系判定。为提升稳定性，此类方案还会引入规则模板、词典匹配等辅助手段，对模型输出结果进行一致性校正。

2、抽取与链接的耦合导致模型在解码阶段同时承担两项任务，标准标签值在提示中的出现会干扰模型对原文片段的无偏识别，尤其当文本中存在与标准标签值形近但语义不同的表述时，模型倾向于直接输出预置标签值而非忠实提取原文真实指称，造成标签与原文内容偏离。预置标准标签体系一旦确定便处于静态固化的状态，当文本语料中出现未见于标准体系的新概念或新颖表述时，由于缺乏发现与接纳机制，此类新表达会被迫映射至语义相近的既有标签或直接丢弃，随着语料规模增长，标签体系的覆盖面与原有标签的实际语义边界逐渐失配，标注结果的粒度与准确性持续衰减，后续运维只能依赖人工定期审核并手动扩展标签表，难以适应动态变化的真实语料环境。

技术实现思路

1、本发明实施例提供基于抽取-链接解耦的文本标签标注及标签体系演进方法，能够解决现有技术中的问题。

2、本发明实施例的第一方面，提供基于抽取-链接解耦的文本标签标注及标签体系演进方法，包括：

3、获取待标注文本语料及待标注维度定义，构造抽取提示词，所述提示词不含该维度下的标准标签值；

4、基于抽取提示词对待标注文本语料执行语义解析，提取与待标注维度匹配的指称文本及各指称文本在待标注文本语料中的原文片段；

5、对每个指称文本，在对应维度内将其与该维度下各标准标签值的形态集合进行多信号匹配，依据最高得分与次高得分分差及预设的强阈值、中阈值和分差阈值，判定该指称文本为命中、模糊或无命中；

6、对命中指称文本赋予对应标准标签值，对无命中指称文本生成携带语料溯源标识的候选标签记录；

7、对候选标签记录按维度分组后进行近似聚类，将语义近似的指称文本归入同一候选簇，对各候选簇按贡献该簇的不同语料溯源标识数量计频，保留计频结果不低于预设晋升阈值的候选簇；

8、将保留的候选簇与对应维度下现有标准标签值进行语义比对分析，确定各候选簇归入现有标准值、新建标准值或驳回，经人工确认后更新标签体系并依据语料溯源标识对历史语料执行追溯补标。

9、多信号匹配，包括：

10、为各维度下每个标准标签值构建形态集合，所述形态集合包含标准名称、标准名称的拼音形态、全部别名以及各别名对应的拼音形态，将全部形态集合按维度建立索引；

11、对每个指称文本，在对应维度下遍历各候选标准标签值的形态集合，分别计算别名精确匹配得分，当指称文本与候选标准标签值形态集合中任一形态字面完全一致时赋予预设满分值；

12、计算拼音模糊相似度得分，将指称文本的拼音形态与候选标准标签值形态集合中各拼音形态进行编辑距离比对，以编辑距离归一化后的最大值作为该候选标准标签值的拼音模糊相似度得分；

13、计算核心子串重叠度得分，取指称文本与候选标准标签值形态集合中各形态的最长公共连续子串，以最长公共连续子串长度与指称文本长度和候选形态长度中较短者之比作为该候选标准标签值的核心子串重叠度得分；

14、对各候选标准标签值，取其别名精确匹配得分、拼音模糊相似度得分和核心子串重叠度得分三者中的最大值作为该候选标准标签值的综合匹配得分。

15、三态判定，包括：

16、将各候选标准标签值按综合匹配得分降序排列，取最高分作为第一得分，取次高分作为第二得分；

17、设置强命中阈值、中命中阈值和领先分差阈值，当第一得分不低于强命中阈值时，判定指称文本为命中并链接至第一得分对应标准标签值；

18、当第一得分不低于中命中阈值且低于强命中阈值，且第一得分与第二得分差值不低于领先分差阈值时，判定指称文本为命中并链接至第一得分对应标准标签值；

19、当第一得分低于中命中阈值时，判定指称文本为无命中并生成携带语料溯源标识的候选标签记录；

20、当第一得分不低于中命中阈值且低于强命中阈值，且第一得分与第二得分差值低于领先分差阈值时，判定指称文本为模糊，记录第一得分对应候选标准标签值集合并加入人工消歧队列；

21、对被判定为无命中的指称文本，将指称文本与综合匹配得分最高的前预设数量个候选标准标签值进行语义比对，判断指称文本是否为某一候选标准标签值的不同表述，若是则归入对应候选标准标签值，否则维持无命中判定。

22、近似聚类，包括：

23、对累积的候选标签记录按维度分组后，提取各候选标签记录中的候选指称文本，将各候选指称文本进行规范化处理后转换为拼音形态，去除首尾空白字符并统一转换为小写形式；

24、在同一维度内，将各候选指称文本的拼音形态两两计算编辑距离，以编辑距离除以两拼音形态中较长拼音形态的长度作为归一化距离，将归一化距离低于预设聚类阈值的两个候选指称文本之间建立连接关系；

25、采用连通分量算法遍历该维度内全部候选指称文本及其连接关系，将通过连接关系直接或间接可达的候选指称文本归入同一候选簇，对未建立连接关系的候选指称文本各自单独成簇；

26、对每个候选簇，收集该簇内各候选指称文本在候选标签记录中分别对应的原文片段和语料溯源标识；

27、对每个候选簇，统计该簇内各候选指称文本在全部候选标签记录中的出现频次，将出现频次最高的候选指称文本作为该候选簇的代表指称文本；

28、将代表指称文本与该簇对应的原文片段集合和语料溯源标识集合共同输出为聚类结果。

29、采用连通分量算法遍历该维度内全部候选指称文本及其连接关系，将通过连接关系直接或间接可达的候选指称文本归入同一候选簇，包括：

30、构建候选指称文本的无向图数据结构，将维度内每个候选指称文本作为无向图中的一个节点，将归一化距离低于预设聚类阈值的两个候选指称文本之间的连接关系作为无向图中连接对应两个节点的边，形成无向图；

31、初始化各节点均为未访问状态，从节点列表中按序选取首个未访问节点作为遍历起点，沿该起点的邻接边逐一探索相连的未访问节点，对每个新探索到的节点检查其全部邻接边，将可沿邻接边继续探索的未访问节点递归纳入当前连通分量的遍历路径，直至当前连通分量内所有节点均无新的未访问邻接节点；

32、将当前连通分量遍历路径中的全部节点标记为已访问，该已访问节点集合构成一个连通分量，将该连通分量内各节点各自对应的候选指称文本、原文片段和语料溯源标识汇总为该连通分量对应候选簇的构成数据；

33、从图中剩余未访问节点中选取下一个遍历起点，重复连通分量遍历过程，直至图中全部节点均被标记为已访问，输出全部连通分量一一对应的候选簇集合及各候选簇的构成数据。

34、语义比对分析，包括：

35、将保留的各候选簇的代表指称文本与对应维度下现有标准标签值的标准名称和全部别名进行语义相似度计算，对每个候选簇确定代表指称文本与各现有标准标签值的语义匹配得分，取最高得分对应的现有标准标签值；

36、当最高语义匹配得分不低于预设归入阈值时，判定候选簇归入该现有标准值，将候选簇中指称文本作为别名补充至该现有标准值；

37、当最高语义匹配得分低于预设归入阈值时，计算候选簇内各候选指称文本之间的语义内聚度，当语义内聚度不低于预设新建阈值时，判定候选簇为新建标准值，取代表指称文本为新标准值名称并构建别名集合；

38、当语义内聚度低于预设新建阈值时，判定候选簇为驳回；

39、对各候选簇判定结果以草稿形式写入标签体系，标记为待审核状态，经人工逐项审核确认后发布生效，对被驳回的候选簇，将其代表指称文本记入驳回清单；

40、对判定为归入现有标准值或新建标准值的候选簇，依据该候选簇语料溯源标识集合生成回填指令，对历史语料执行追溯补标。

41、本发明实施例的第二方面，提供一种电子设备，包括：

42、处理器；

43、用于存储处理器可执行指令的存储器；

44、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

45、本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

46、抽取与链接解耦，提示词不含标准标签值，避免先验标签误导，语义解析忠实原文语境，指称及原文片段完整保留。多信号匹配依据强阈值、中阈值与分差阈值分层判定，模糊样本不强行归类，降低误标。无命中指称生成携带语料溯源标识的候选标签记录，使未覆盖表达以可核查方式沉淀。

47、候选标签按维度分组近似聚类，语义近似的指称归入同一簇，依据语料溯源标识计频，仅保留达到晋升阈值的簇，规避低频噪声。对保留簇与现有标准值比对，确定归并、新建或驳回，经人工确认更新标签体系，使演进有据可循且风险可控。

48、历史语料依据溯源标识追溯补标，新标签值自动回填既有数据，无需重新解析全量语料，降低演进成本。人工仅处理模糊样本与候选簇确认，常规标注全自动完成，效率大幅提升。抽取与链接分离使各环节独立优化，模型替换、阈值调整或聚类策略变更互不干扰，维护性强。

49、整体方法实现从语料到标签、从候选到体系的闭环演进，标签集合随语料分布持续更新，提升对长尾表达的包容性与时效性。分差与阈值机制保证判定保守可控，模糊与无命中样本显式处理减少错误累积，标签质量在动态更新中保持稳定，适用于大规模标注与标签体系长期运营。