一种耦合大模型与NER层的实体识别模型和数据贯通系统的制作方法

摘要: 本发明属于电力系统智能化与数据融合领域,特别涉及一种耦合大模型与ner层的实体识别模型和数据贯通系统。背景技术:1、随着新型电力系统的建设,分布式电源等多元调度...
一种耦合大模型与NER层的实体识别模型和数据贯通系统的制作方法

本发明属于电力系统智能化与数据融合领域,特别涉及一种耦合大模型与ner层的实体识别模型和数据贯通系统。

背景技术:

1、随着新型电力系统的建设,分布式电源等多元调度对象的信息广泛接入调度自动化系统中,电力系统的电压等级全面涵盖220kv至220v,配网设备和量测点位数量呈指数增长态势。然而,当前阶段,随着各种数据源接入,量测信息匹配和主配网设备拓扑连接校验仍然依赖大量人力进行,基础数据治理对基层工作造成了繁重的负担。

2、因此,迫切需要在简单的id匹配基础上挖掘更深层的关联关系,以提升数据匹配的完整度和拓扑连接的准确性。

技术实现思路

1、针对背景技术存在的问题,本发明提供一种耦合大模型与ner层的实体识别模型和数据贯通系统,具有数据处理精度高、实体识别准确率高、数据整合效率高的优点。

2、为解决上述技术问题,本发明采用一种耦合大模型与ner层的实体识别模型,包括大模型模块接收电力系统的主配网数据,并识别主配网数据内文本并替换成实体标签后输出标签序列,ner层通过基于实体标签与相关实体之间的相关程度识别电力系统内实体。

3、进一步的,所述ner层包括:基于函数将实体标签与相关实体之间的相关度转换为概率分布,并输出概率占比最大的相关实体,函数为:

4、,

5、其中,表示相关实体的数量,表示实体标签与第i个相关实体之间的映射度。

6、进一步的,所述实体识别模型包括优化微调策略:基于交叉熵损失函数衡量识别实体与真实实体之间的差异值,基于差异值反向微调ner层内参数,交叉熵损失函数为:

7、,

8、其中,为各类识别实体的预测占比,为各类真实实体的实际占比,为实体的类别数,为第i类实体的预测占比,为第i类实体的真实占比。

9、进一步的,所述主配网数据中非结构化的文本信息包括调度日志、运维记录、巡检报告、设备铭牌信息,所述主配网数据中结构化的数据信息包括scada量测数据、设备台账数据、电网拓扑连接数据。

10、进一步的,预处理所述主配网数据包括:去除文本信息内重复、不一致或不完整信息;过滤数据信息内异常值、填充数据信息内缺失值、统一数据信息的格式和量纲。

11、一种实体数据贯通系统,包括后端集成用于识别命名实体的实体识别模型、用于存储实体间上下游关系的知识图谱的数据库,所述数据贯通系统的应用程序通过数据接口与前端和后端通信。

12、进一步的,所述实体数据贯通系统使用web应用框架 django 。

13、进一步的,从主配网数据内获取被识别实体的实体信息、实体之间的位置关系信息、实体之间的连接关系信息、实体的属性信息以构建知识图谱。

14、与现有技术相比,本发明的有益效果:

15、本发明通过将预训练的大语言模型(大模型模块)与ner层耦合以构建实体识别模型,通过集合大语言模型的文字识别能力和ner层实体识别能力,能够更准确地识别主配网数据中的实体。

16、通过在数据贯通系统内构建知识图谱,能够更全面地展现电力系统内不同实体之间的上下层级关系,提高主配网数据内实体与对应数据的整合和管理效率。

17、通过在数据贯通系统内设置数据接口,可将整合好的主配网数据在不同系统、平台或组件之间的无障碍传递、共享和交流,提高主配网数据的利用效率和应用灵活性。

1.一种耦合大模型与ner层的实体识别模型,其特征在于,包括大模型模块接收电力系统的主配网数据,并识别主配网数据内文本并替换成实体标签后输出标签序列,ner层通过基于实体标签与相关实体之间的相关程度识别电力系统内实体。

2.根据权利要求1所述的一种耦合大语言模型与ner层的电力系统实体识别模型,其特征在于,所述ner层包括:基于函数将实体标签与相关实体之间的相关度转换为概率分布,并输出概率占比最大的相关实体,函数为:

3.根据权利要求1所述的一种耦合大模型与ner层的实体识别模型,其特征在于,所述实体识别模型包括优化微调策略:基于交叉熵损失函数衡量识别实体与真实实体之间的差异值,基于差异值反向微调ner层内参数,交叉熵损失函数为:

4.根据权利要求1所述的一种耦合大模型与ner层的实体识别模型,其特征在于,所述主配网数据中非结构化的文本信息包括调度日志、运维记录、巡检报告、设备铭牌信息,所述主配网数据中结构化的数据信息包括scada量测数据、设备台账数据、电网拓扑连接数据。

5.根据权利要求4所述的一种耦合大模型与ner层的实体识别模型,其特征在于,预处理所述主配网数据包括:去除文本信息内重复、不一致或不完整信息;

6.一种实体数据贯通系统,根据权利要求1-5任意一项所述的一种耦合大模型与ner层的实体识别模型,其特征在于,包括后端集成用于识别命名实体的实体识别模型、用于存储实体间上下游关系的知识图谱的数据库,所述数据贯通系统的应用程序通过数据接口与前端和后端通信。

7.根据权利要求6所述的一种实体数据贯通系统,其特征在于,所述实体数据贯通系统使用web应用框架 django 。

8.根据权利要求6所述的一种实体数据贯通系统,其特征在于,构建所述知识图谱包括:从主配网数据内获取被识别实体的实体信息、实体之间的位置关系信息、实体之间的连接关系信息、实体的属性信息以构建知识图谱。