一种面向多源异构通信网络的数据治理方法及系统与流程

本发明涉及通信网络数据治理，尤其涉及一种面向多源异构通信网络的数据治理方法及系统。

背景技术：

1、随着通信技术的飞速发展，光传送网（otn）、以太传输网络、分组传送网（ptn）以及同步数字体系（sdh）等各类通信网络已成为通信基础设施的核心组成部分，支撑着多元业务的稳定运行。然而，在长期的网络建设和运营过程中，上述通信网络通常由不同时期、不同厂商的设备构成，各自拥有独立的管理系统和数据采集接口，使得当前通信网络呈现出显著的多网融合、多源异构特征。

2、现有通信网络的数据管理方式较为分散，存在诸多缺点：

3、其一，数据存储孤立，共享困难。各类通信网络数据分散存储在不同网络管理系统或网元设备的本地数据库中，各数据源相互独立，缺乏统一的数据汇聚与交换机制，导致数据无法有效共享和关联。这种数据孤岛现象严重制约了跨网络、跨区的业务联动分析与综合运维管理，使得海量网络数据的潜在价值难以被充分挖掘和利用。

4、其二，数据标准不统一，质量参差不齐。由于不同通信网络及不同设备厂商的同一类数据在不同网络中的字段命名、数据格式、编码规则、计量单位乃至语义内涵均可能存在显著差异。同时，各网络系统中的数据普遍存在无效数据、冗余数据、异常数据等问题，缺乏标准化的清洗与校验流程，直接影响数据的准确性、一致性和可用性。

5、其三，缺乏统一的数据治理体系。现有的数据管理手段多为针对单一网络类型的定制化方案，无法适应多网络融合场景下的数据治理需求，导致在面对跨网络数据分析、统一资源视图构建、全网智能运维等高级应用需求时，往往面临底层数据基础薄弱、数据准备周期长、数据适配成本高等现实困境。

6、综上所述，亟需一种能够对多种通信网络数据进行集中管理、统一标准化处理并建立高效数据服务体系的方法，以解决现有通信网络数据存储孤立、标准不统一、质量参差不齐等技术问题，从而提升通信网络的整体管理水平，充分发挥网络数据的价值。

技术实现思路

1、针对上述存在的问题，本发明提供一种面向多源异构通信网络的数据治理方法及系统，解决了现有通信网络数据存储孤立、标准不统一、质量参差不齐等技术问题，从而实现了多源异构数据的统一治理和有效利用。

2、本发明提供一种面向多源异构通信网络的数据治理方法，所述方法包括：

3、通过边缘智能节点从多源异构通信网络数据源引接数据；所述边缘智能节点采用主服务加微服务组件的插座架构，所述边缘智能节点通过主服务智能适配加载对应的微服务组件以实现不同数据源的接入；

4、在云端数据中心对引接的数据进行抽取处理、转换处理和加载处理，剔除无效数据并统一数据格式，按网络类型分别加载至对应的贴源库；

5、基于所述贴源库的标准化数据，采用自下而上的分层构建方式，依次构建领域库和主题库；所述领域库包括基础支撑领域库和网络专业领域库，所述主题库按专业网络类型划分；

6、基于所述主题库构建业务服务层，提供数据资源服务和数据资产服务。

7、进一步的，所述边缘智能节点通过主服务智能适配加载对应的微服务组件以实现不同数据源的接入，具体包括：

8、所述边缘智能节点将全量通信协议拆解为独立的微服务组件；

9、所述主服务对接入设备进行主动识别，解析设备特征信息判断设备类型及应加载的协议类型；

10、所述主服务依据识别结果动态决策并从组件仓库中加载对应的微服务组件，建立与目标网络的数据通道；

11、所述主服务对已加载的微服务组件进行生命周期管理，监控运行状态并在连接中断时释放资源。

12、进一步的，所述转换处理包括数据清洗、数据格式统一、数据关联和数据补全；其中，所述数据清洗用于剔除无效数据，包括空值数据、异常值数据、重复数据，采用异常值检测算法识别并剔除异常数据，采用去重算法去除重复数据；所述数据格式统一用于将不同格式的数据转换为预设的标准json格式；所述数据关联用于建立不同数据源数据之间的关联关系；所述数据补全对缺失的关键数据进行补全，采用插值法或基于历史数据的预测算法填补缺失值。

13、进一步的，所述数据格式统一具体包括：

14、构建数据字典，建立各通信网络域的统一业务语义映射关系；

15、利用训练模型提取源字段的语义特征，与标准资源字典中的统一字段进行相似度比较，选出匹配的目标字段，得到字段映射关系；

16、基于字段映射关系生成转换表达式，将源数据转换为符合目标字段规范的数据。

17、进一步的，在得到字段映射关系之后，还包括：

18、检测源字段与目标字段在单位、精度、取值范围的差异，生成冲突列表，并根据内置规则库自动生成规格转换函数；

19、自动检测源数据的字符编码，若非utf-8编码则统一转换为utf-8，并构建统一代码映射表，将源系统的业务代码映射为统一的业务代码，得到编码转换规则；

20、整合所述字段映射关系、规格转换函数和编码转换规则，采用基于transformer的seq2seq模型生成完整的转换表达式。

21、进一步的，所述贴源库按网络类型分为otn传输通信网络贴源库、以太传输通信网络贴源库、ptn传输通信网络贴源库和sdh传输通信网络贴源库；所述贴源库采用关系型数据库与非关系型数据库结合的存储方式，其中，结构化数据存储在关系型数据库中，半结构化和非结构化数据存储在非关系型数据库中。

22、进一步的，所述基础支撑领域库用于存储网络运行的基础保障数据，包括设备基础配置信息、网络拓扑基础信息、运维支撑数据及系统基础数据；所述网络专业领域库用于存储专业传输通信网络的专业运行数据，按otn传输网络、以太传输网络、ptn传输网络和sdh传输网络的网络专业类型进行分类聚合。

23、进一步的，所述主题库包括otn传输主题库、以太传输网络主题库、ptn传输主题库和sdh传输主题库；各个主题库按业务场景进行分区存储，形成面向业务场景的数据模型。

24、进一步的，

25、所述otn传输主题库以网络专业领域库中的otn传输专业数据为核心，按业务需求构建的子主题包括光设备主题、光链路主题、光性能主题、光告警主题；

26、所述以太传输网络主题库以网络专业领域库中的以太网络专业数据为核心，融合以太网络标准化数据，按业务需求构建的子主题包括以太网设备主题、以太网路由主题、以太网流量主题、以太网告警主题；

27、所述ptn传输主题库以网络专业领域库中的ptn传输专业数据为核心，融合ptn传输网络标准化数据，按业务需求构建的子主题包括ptn设备主题、ptn标签主题、ptn性能主题、ptn告警主题；

28、所述sdh传输主题库以网络专业领域库中的sdh传输专业数据为核心，融合sdh传输网络标准化数据，按业务需求构建的子主题包括sdh设备主题、sdh链路主题、sdh性能主题、sdh告警主题。

29、另一方面，本发明还提供了一种面向多源异构通信网络的数据治理系统，包括存储器、处理器及存储在存储器上的计算机程序所述处理器执行所述计算机程序以实现上述任一项所述方法的步骤。

30、总体而言，本发明提供一种面向多源异构通信网络的数据治理方法及系统，与现有技术相比能够取得下列有益效果：

31、（1）本发明通过边缘智能节点采用主服务加微服务组件的插座架构，实现了多源异构通信网络数据的统一引接，并结合贴源库、领域库、主题库、业务服务层的分层治理体系，解决了现有通信网络中数据存储孤立、标准不统一、质量参差不齐、无法统一治理的技术问题。本发明将分散在不同网络和设备中的多源数据汇聚至云端数据中心，通过逐层精炼和聚合，形成标准化、体系化的数据资产，为跨网络综合分析、统一资源管理和智能运维等应用提供了高质量的数据底座，显著提升了通信网络数据的可用性和管理效率。

32、（2）本发明通过边缘智能节点的主服务对接入设备进行主动识别，并依据识别结果动态加载对应的微服务组件，实现了对不同通信网络协议的自适应适配，避免了传统方案中需要人工配置协议接口的繁琐过程，大幅降低了数据接入的人工成本和出错风险，提升了数据采集的自动化水平和灵活扩展能力。

33、（3）本发明通过在数据格式统一过程中引入基于智能体的字段语义映射与统一交换机制，利用训练模型自动识别源字段语义并与标准资源字典进行匹配，结合规格统一、编码转换和基于transformer的seq2seq模型自动生成转换表达式，实现了跨网络数据的智能化、自动化标准化转换。相比传统手工编写映射规则的方式，该方法能够自适应处理不同网络、不同厂商之间的字段差异，显著提升了数据标准化处理的效率和准确性，有效解决了多源异构通信网络数据难以融合的痛点。

34、（4）本发明通过构建按网络类型划分的贴源库、包含基础支撑和网络专业两大领域的领域库、以及按业务场景组织的主题库，形成了自下而上、层层递进的数据组织体系；既保留了原始数据的完整性和可追溯性，又实现了数据按专业和业务维度的分类聚合与关联，使得上层应用能够按需获取精准、高质量的数据，避免了传统方案中数据重复存储和冗余处理的问题，提升了数据治理体系的整体运行效率。