一种面向电网设备的字词协同实体识别方法与流程

本发明涉及电网设备实体识别，尤其是一种面向电网设备的字词协同实体识别方法。

背景技术：

1、随着新型电力系统的持续推进，电网设备的规模不断扩大，设备类型日益复杂，运行维护过程中产生了大量文本数据，如调度日志、缺陷记录、运维报告及检修工单等。这些文本中蕴含着丰富的设备信息与运行状态信息，对电网安全运行分析与智能运维具有重要价值。因此，如何从海量非结构化文本中自动提取电网设备相关实体，成为电力信息化与智能化发展的关键问题之一。

2、电网设备实体识别属于命名实体识别任务在电力领域的具体应用，其目标是从文本中识别出具有特定语义类别的实体，如设备名称、设备类型、运行状态及地理位置等。然而，与通用领域相比，电网领域文本具有明显的专业性和复杂性，一方面，设备命名往往呈现出结构复杂、长度不一、组合灵活等特点，使得实体边界难以准确划分；另一方面，大量专业术语、缩写及符号混合出现，增加了语义理解难度。

3、近年来，随着深度学习技术的发展，基于神经网络的实体识别方法逐渐成为主流。例如，基于bilstm-crf结构的方法能够自动学习上下文特征，在一定程度上提升识别效果。然而，在中文电网文本中，由于缺乏显式词边界，单纯依赖字符级建模容易忽略词汇层面的语义信息；而依赖分词结果的方法又容易受到分词误差的影响，导致错误传播。此外，电网领域中存在大量由多个字符组合形成的专业词汇，其语义信息难以通过单一粒度建模充分表达。

技术实现思路

1、为解决传统词汇辅助机制中自匹配词与句子上下文联系不足，在词汇边界识别方面缺乏有效约束，容易产生边界模糊或拆分错误的问题，本发明的目的在于提供一种使得词汇能够与周围字符或其他词汇建立连续的上下文依赖关系，提升实体识别的精准度的面向电网设备的字词协同实体识别方法。

2、为实现上述目的，本发明采用了以下技术方案：一种面向电网设备的字词协同实体识别方法，该方法包括下列顺序的步骤：

3、（1）采集电网设备相关的非结构化文本数据并进行预处理，得到电力数据集；将电力数据集划分为训练集、验证集和测试集；

4、（2）构建电力设备命名实体识别模型，电力设备命名实体识别模型包括嵌入层、多层网络更新层和解码层，嵌入层输出字符向量序列h、自匹配词汇向量序列u、全局语义向量集合至多层网络更新层，多层网络更新层输出最终的字符向量序列r至解码层；

5、（3）将训练集输入电力设备命名实体识别模型中进行训练，得到训练后的模型；

6、（4）将待识别的非结构化文本数据输入训练后的模型，得到识别结果。

7、步骤（1）具体包括以下顺序的步骤：

8、（1a）收集电网设备相关的非结构化文本数据，所述非结构化文本数据包括巡视记录、缺陷报告、运维日志和技术规范；

9、（1b）对非结构化文本数据进行预处理，所述预处理包括清洗、去重和标注，经过清洗和去重后得到高质量的文本语料库，对文本语料库中文本的每个字符使用bmeo标签进行标注，得到相应的电力数据集，在bmeo标签中，b表示电网设备实体的起始字符，m表示电网设备实体的中间字符，e表示电网设备实体的结束字符，o表示非实体字符；

10、（1c）将电力数据集划分为训练集、验证集和测试集。

11、在步骤（2）中，所述嵌入层包括双向长短期记忆网络和字词组合序列构建模块，所述嵌入层的处理方法包括以下步骤：

12、（3a）取训练集中的字符序列作为输入，记为={,,…}，为字符序列，n是c中字符的数量，是c中最后一个字符；同时，在字符序列中进行子串匹配，提取所有能够与字符序列中连续子串完全匹配的词汇，并构建自匹配词汇序列={,,…}，m是自匹配词汇序列中自匹配词汇的数量，是l中最后一个自匹配词汇；分别通过字符嵌入查找表、词汇嵌入查找表，将字符序列中的每个字符、自匹配词汇序列中的每个词汇都映射为低维向量，分别得到字符向量和词汇向量：

13、；

14、；

15、其中，是c中第i个字符，是l中第j个自匹配词汇；

16、（3b）将字符向量输入双向长短期记忆网络提取上下文特征，双向长短期记忆网络包括前向长短期记忆网络和后向长短期记忆网络，通过前向长短期记忆网络、后向长短期记忆网络分别计算隐藏状态：

17、 = lstm1(,)；

18、 = lstm2(,)；

19、式中，lstm1是前向长短期记忆网络，lstm2是后向长短期记忆网络，是前向长短期记忆网络第个位置输出的字符向量的隐藏状态，是后向长短期记忆网络在第个位置输出的字符向量的隐藏状态，是前向长短期记忆网络中第个位置的字符向量的隐藏状态，是表示后向长短期记忆网络中第个位置的字符向量的隐藏状态；

20、将和进行拼接，得到第个位置的第一上下文特征向量：

21、；

22、式中，表示向量拼接；

23、最终得到字符向量序列h=(,,…,,…,)；

24、将词汇向量输入双向长短期记忆网络提取上下文特征，通过前向长短期记忆网络、后向长短期记忆网络分别计算隐藏状态：

25、 = lstm1(,)；

26、 = lstm2(,)；

27、式中，是前向长短期记忆网络第个位置输出的词汇向量的隐藏状态，是后向长短期记忆网络在第个位置输出的词汇向量的隐藏状态，是前向长短期记忆网络中第个位置的词汇向量的隐藏状态，是表示后向长短期记忆网络中第个位置的词汇向量的隐藏状态；

28、将和进行拼接，得到第个字符的第二上下文特征向量：

29、；

30、最终得到含有上下文特征的自匹配词汇向量序列u = (,,…,,…,)；

31、（3c）在字词组合序列构建模块中使用h和u构建字词组合向量序列v={,,…,,…,}，s≤n，s是v中元素的数量，是v中第个元素，其中，满足：当某一连续字符片段被自匹配词汇完全覆盖时，使用第二上下文特征向量替换这一连续字符片段，即=，否则仍保留原字符向量表示，即=；∈u，在保持原始顺序的同时，实现了不同粒度信息的融合表达。

32、将字词组合向量序列v输入双向长短期记忆网络提取上下文特征，先通过前向长短期记忆网络、后向长短期记忆网络分别计算隐藏状态：

33、 =lstm1(,)；

34、 =lstm2(,)；

35、式中，是前向长短期记忆网络第个位置输出的字词组合向量序列v的隐藏状态，是后向长短期记忆网络在第个位置输出的字词组合向量序列v的隐藏状态，是前向长短期记忆网络中第个位置的字词组合向量序列v的隐藏状态，是表示后向长短期记忆网络中第个位置的字词组合向量序列v的隐藏状态；

36、将和进行拼接得到第个位置的第三上下文特征向量：

37、；

38、根据第三上下文特征向量，最终得到新的字词组合向量序列z = (,,…,,…,)；

39、将新的字词组合向量序列z两端最终隐状态执行向量拼接操作，得到新的字词组合向量序列z的全局语义表示：

40、；

41、式中，是前向长短期记忆网络在新的字词组合向量序列z的最后时刻输出的隐藏状态，是后向长短期记忆网络在新的字词组合向量序列z的最后时刻输出的隐藏状态；

42、使用多个不同的构建全局语义向量集合，随后将h、u、一并输出到多层网络更新层。

43、所述多层网络更新层包括图卷积神经网络和图注意力神经网络，构建自匹配词汇和字词组合序列交互图邻接矩阵、自匹配词汇和字符的包含图邻接矩阵、转换图邻接矩阵和lattice图邻接矩阵；

44、在步骤（2）中，所述多层网络更新层的处理方法包括以下步骤：

45、（4a）将u和进行向量拼接，得到的初始节点特征：

46、=；

47、将u和作为图卷积神经网络的输入，通过图卷积神经网络得到完成特征提取与信息融合后的表示：

48、；

49、式中，为图卷积神经网络；

50、从中提取对应的自匹配词汇部分，得到新的自匹配词汇向量序列：

51、；

52、其中，m是自匹配词汇序列中自匹配词汇的数量；

53、（4b）将新的自匹配词汇向量序列与字符向量序列h拼接，得到自匹配词汇和字交互图节点输入特征node ：

54、node = (h,)；

55、使用3个独立的图注意力神经网络、和对3个不同的自匹配词汇和字符交互图节点信息进行融合，3个图初始节点输入均为node：

56、=(node，)；

57、=(node，)；

58、=(node，)；

59、其中，是图注意力神经网络输出的全节点表示，；是输出的节点表示，是输出的节点表示，是输出的节点表示；f是的向量维度大小，c是对应的自匹配词汇和字符的包含图，t是对应的自匹配词汇和字符的转换图，l是对应的自匹配词汇和字符的lattice图；e是c、t、的枚举标识；m是自匹配词汇序列中自匹配词汇的数量，n是字符序列c中字符的数量；

60、从中提取字符级表示：

61、；

62、（4c）引入融合机制对不同来源的信息进行统一建模，将和h，通过权重矩阵做多特征加权融合得到最终的字符向量序列，：

63、=h+++；

64、其中，、、和均为待学习的权重参数矩阵；是的字符表示，是的字符表示，是的字符表示；

65、随后将输出到解码层。

66、在步骤（2）中，所述解码层包括条件随机场，解码层的处理方法具体是指：

67、使用条件随机场对r进行标签解码，设输入字符序列={,,…}对应的目标标签序列为d = (,,…,)，则在给定输入条件下，d出现的条件概率表示为：

68、=；

69、其中，表示候选标签序列；是中第个标签对应的发射参数权重；是中从前一标签转移到当前标签的转移得分；是中第个标签对应的发射参数权重；是中从前一标签转移到当前标签的转移得分；是的全局整体整体特征表示；是指数函数；是中第个位置标签；是中第个位置标签；是中第个字符向量；

70、选取概率最大的标签序列，为每个字符标注bmeo标签，输出最终电网设备实体识别结果。

71、由上述技术方案可知，本发明具有以下有益效果：第一，本发明通过构建字词组合序列，将词汇直接嵌入到原有时序结构中，使得词汇能够与周围字符或其他词汇建立连续的上下文依赖关系，从而获得更加贴近实际语义环境的表示；第二，本发明提升了自匹配词的边界判定能力，多种字词组合形式通过不同粒度的构造方式，为词汇提供了多视角的边界信息支持，从而有助于模型更准确地确定实体范围；第三，本发明引入图卷积神经网络和图注意力神经网络，并搭建多种交互图结构，充分挖掘字符、自匹配词汇、字词组合序列三者之间的关联关系，实现多维度信息深度交互与融合，有效强化文本特征表达能力，让模型充分捕捉电网设备文本中复杂的语义关联与结构特征，进一步提升实体识别的精准度；第四，本发明采用多图协同提取特征的方式，分别从归属关系、邻域语义、多粒度结构等不同角度解析文本信息，结合可学习权重矩阵完成多源特征自适应融合，能够适配电网运维记录、缺陷报告、巡视日志等不同类型非结构化文本，具备良好的场景适用性与泛化能力。