多尺度扩张卷积与原型对比学习的联合实体关系抽取方法

本发明属于自然语言处理的信息抽取，涉及多尺度扩张卷积与原型对比学习的联合实体关系抽取方法。

背景技术：

1、信息抽取是自然语言处理领域的核心任务之一，其目标是从非结构化文本中识别实体及实体间的语义关系，构建结构化的三元组（头实体，关系，尾实体），为知识图谱构建、智能问答、文本挖掘等下游应用提供基础支撑。信息抽取通常被分解为两个子任务：命名实体识别（named entity recognition，ner）和关系抽取（relation extraction，re）。

2、随着互联网的快速发展，网络舆情信息呈爆发式增长。在社会治理与舆情监控层面，舆情事件中的关键实体（如人物、组织、地点）及其关联关系的精准识别，是把握舆情演化态势、维护社会稳定的重要基础。若实体识别与关系抽取准确率下降，舆情预警和态势研判的可靠性将大打折扣。然而，真实的舆情文本往往具有实体类型多样、关系语义复杂、长距离依赖显著等特点，对信息抽取的精确率提出了极高要求。

3、传统的流水线方法将命名实体识别和关系抽取作为独立的两个阶段串行处理，先识别实体，再根据识别结果抽取关系。这种方式存在两个核心缺陷：其一是错误传播问题，上游实体识别的错误会级联放大至下游关系抽取；其二是任务割裂问题，两个子任务之间的语义依赖被忽视，实体识别阶段无法利用关系信息辅助判断，关系抽取阶段也无法反向修正实体边界，导致在复杂舆情文本中整体抽取精度受限。

技术实现思路

1、本发明的目的是提供多尺度扩张卷积与原型对比学习的联合实体关系抽取方法，解决了现有抽取方法存在的抽取精度低的问题。

2、本发明所采用的技术方案是，多尺度扩张卷积与原型对比学习的联合实体关系抽取方法，具体包括如下步骤：

3、步骤1，获取联合实体关系抽取数据集，对数据集进行预处理，并划分训练集、验证集和测试集；

4、步骤2，将文本序列输入预训练语言模型bert；

5、步骤3，将bert输出的隐状态序列输入多尺度扩张卷积模块，输出增强表示特征；

6、步骤4，提取候选实体span的融合表示；

7、步骤5，进行命名实体识别；

8、步骤6，构建关系表示并输入关系分类器进行关系类型预测；

9、步骤7，通过原型对比损失约束关系特征空间分布。

10、本发明的特点还在于：

11、步骤1的具体过程如下：

12、读取json格式标注文件，对每条句子枚举所有长度不超过10的候选span，构建实体标注矩阵和关系标注矩阵，随机采样负例实体span和负例关系对，生成批次化的编码序列、掩码矩阵和标注向量，按训练集、验证集、测试集划分数据。

13、步骤2的具体过程如下：

14、将输入句子通过bert wordpiece分词器进行子词分割，在序列首部和尾部分别添加[cls]和[sep]标记，将token id序列输入bert-base-cased预训练模型，bert模型包含12层双向transformer编码器，取最后一层的输出作为初步的token级上下文表示，l为序列长度，[cls]位置对应的输出向量包含整句的初步全局语义。

15、步骤3的具体过程如下：

16、步骤3.1，保存残差分支：对输入h进行线性变换保留原始语义信息用于残差连接；

17、步骤3.2，将h转置为卷积格式（batch, 768, l），通过扩张卷积层进行处理，使得输出序列长度与输入一致；

18、步骤3.3，每组卷积操作后依次进行relu激活和layernorm归一化；

19、步骤3.4，经过最后一组卷积输出后，将h转置为（batch, l, 768）格式，与残差分支h_res相加，经最终layernorm归一化，得到增强后的token表示。

20、步骤4的具体过程如下：

21、步骤4.1，对候选span的实体掩码矩阵，通过对掩码为0的位置施加极小值后取max-pool，以屏蔽span外部的无关token特征，得到span内部语义表示；

22、步骤4.2，通过位置索引运算从实体掩码中定位span的起始token位置start_idx和终止token位置end_idx，从h'中提取对应的token隐状态h_start和h_end；起始token通常包含实体的类型线索，终止token则标记实体的右边界；

23、步骤4.3，将h_start和h_end分别通过独立线性层投影：

24、（1）

25、步骤4.4，以span_pool、z_start、z_end的拼接为输入，通过门控层计算自适应权重：

26、（2）

27、步骤4.5，按门控权重加权融合两类语义表示，经layernorm归一化输出：

28、（3）

29、其中，⊙为逐元素乘法。

30、步骤5的具体过程如下：

31、步骤5.1，提取[cls] token对应的h'中第0位置隐状态作为全局上下文表示；

32、步骤5.2，根据span长度查询长度嵌入表，获取；

33、步骤5.3，将步骤4、步骤5.1、步骤5.2输出的特征进行拼接：

34、（4）

35、步骤5.4，经dropout（rate=0.1）正则化后，输入实体分类线性层（linear, 1561→|entity_types|），训练时计算交叉熵损失l_entity，推理时采用softmax计算类别概率并取argmax输出预测实体类型，类型为none（index=0）的span视为负例。

36、步骤6的具体过程如下：

37、步骤6.1，推理时从预测非none类的实体中枚举所有有序实体对；训练时使用标注的正例关系对以及步骤1中采样的负例关系对，使得模型能够学习识别无关系none；

38、步骤6.2，提取两类实体在步骤4中生成的边界感知融合表示fused并拼接，得到实体对表示；

39、步骤6.3，对两实体之间的上下文token区域，通过掩码max-pool得到关系上下文表示，对于相邻或重叠嵌套的实体对导致无中间词汇的空上下文区域，直接进行置零处理；

40、步骤6.4，拼接两实体的长度嵌入，得到；

41、步骤6.5，拼接rel_ctx、entity_pairs、size_pair形成关系表示；

42、步骤6.6，对rel_repr施加dropout后，输入关系分类器，训练时采用bcewithlogitsloss计算多标签分类损失l_relation，推理时sigmoid概率与阈值比较确定预测关系类型。

43、步骤7的具体过程如下：

44、步骤7.1，通过线性投影层将关系表示rel_repr投影到d=128维低维空间，经relu激活后l2归一化，得：

45、（5）

46、步骤7.2，对原型矩阵进行l2归一化处理；

47、步骤7.3，对批次内每种正例关系类型cls_id，index≥1，筛选对应正例样本，计算其对应类型k个子原型的余弦相似度，取最大值：

48、（6）

49、步骤7.4，对同批次内每种负例关系类型other_cls，计算正例样本与负例类型原型的余弦相似度；为适配多标签场景，若当前样本同时具有除cls_id外的其他正例关系，则将该样本从other_cls集合中掩码剔除，随后取所有有效负类中的全局最大值：

50、（7）

51、其中，s_neg为该样本与所有有效负例关系类型原型之间的最大余弦相似度，用于难负例挖掘；

52、步骤7.5，计算margin对比损失并取均值：

53、（8）

54、步骤7.6，联合三个损失函数进行加权求和，反向传播更新所有参数：

55、（9）

56、其中，l_entity负责实体分类的准确性，l_relation负责关系分类的准确性，l_pcl负责关系特征空间的类间分离性；

57、步骤7.7，采用差异化学习率策略，配合adamw优化器和线性学习率预热进行端到端训练。

58、本发明的有益效果如下：

59、（1）多尺度上下文建模能力显著提升，兼顾局部精细特征与全局长距离语义，有效应对舆情长文本的抽取需求： bert自注意力机制能够建立token间的全局依赖，为捕获舆情文本中人物与其所属组织、活动地点之间往往相隔数十个词甚至跨越多句话的长距离语义关联提供了基础；但自注意力在局部n-gram、短语级模式的刻画粒度上相对粗糙，容易弱化局部关键片段的表征强度。为此，本发明引入3组膨胀率逐层递增（d=1、2、4）的串行扩张卷积结构，以线性复杂度由局部词级（3个token）逐步扩展至短语级（7个token）、句级（15个token）感受野，对bert输出的全局表示进行局部特征的精细化增强，弥补自注意力在局部模式提取上的不足。通过全局自注意力与局部多尺度卷积的协同建模，模型既能保留对长距离实体关联的捕获能力，又能强化局部边界与短语级特征的辨识度，从而提升复杂舆情文本中实体识别和关系抽取的完整性与准确性。

60、（2）实体边界语义精确捕获，提升复杂舆情实体的识别精度：边界感知门控表示模块通过独立建模实体首尾边界的语义信息，并以自适应门控机制动态融合边界信息与内部信息，使得模型在处理舆情文本中常见的较长实体（如"xx市网络舆情应急处置工作领导小组办公室"等多词复合名称）时，能够精准定位实体边界，避免因边界模糊导致的截断或溢出现象。

61、（3）关系特征区分能力大幅增强，保障舆情关系研判的精准性：原型对比学习模块通过为每种关系类型维护多个可学习的子原型向量，以margin loss约束同类关系特征紧聚、异类关系特征分离。在舆情人物关系研判场景中，不同关系类型（如任职关系、合作关系、亲属关系）在语义上可能存在相近的表达方式，该模块通过显式优化特征空间的类间分布，有效降低了相似关系之间的混淆率，为舆情分析的准确性提供了保障。

62、（4）模块协同设计，端到端训练，便于舆情系统的实际工程部署：三个创新模块与bert骨干网络构成统一的端到端联合训练框架，无需额外的预训练阶段或复杂的多步训练流程。模型可直接嵌入现有舆情监控系统的文本分析流水线中，对输入文本完成实体抽取和关系构建，形成结构化的舆情知识图谱，具备良好的工程可集成性和实际应用价值。