一种面向网络业务监测的多源数据关联分析方法与流程

摘要: 本发明涉及数据关联,更具体地说,本发明涉及一种面向网络业务监测的多源数据关联分析方法。背景技术:1、随着网络业务形态的复杂化与多样化发展,面向网络运行状态的监测...
一种面向网络业务监测的多源数据关联分析方法与流程

本发明涉及数据关联,更具体地说,本发明涉及一种面向网络业务监测的多源数据关联分析方法。

背景技术:

1、随着网络业务形态的复杂化与多样化发展,面向网络运行状态的监测技术逐渐由单一指标分析向多源数据融合分析演进,在现有技术体系中,通常通过采集网络进程运行过程中产生的多类数据源,在多源数据关联分析过程中,传统方法多采用固定特征建模方式,对各数据源进行统一编码,并通过相关性计算或相似度度量构建数据源之间的关联关系。

2、现有技术存在以下不足:

3、目前,现有技术依赖静态关联权重构建全局关联结构且采用固定阈值判定结构变化,缺乏对多源数据关联结构中局部重叠关系、结构扰动特征以及时序非平稳变化的联合刻画与自适应调节机制,导致在网络业务模式发生突变时无法准确识别关联结构失效区域,同时难以在结构更新过程中兼顾历史稳定关联关系的保留与异常关联关系的抑制,因此,提出一种面向网络业务监测的多源数据关联分析方法。

4、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了克服现有技术的上述缺陷,本发明的实施例提供一种面向网络业务监测的多源数据关联分析方法,通过运用基于多源数据关联权重构建的动态关联结构建模机制、面向结构重叠度的结构扰动特征量化方法、基于模式突变判定的自适应结构重构机制,以及结合时序变更率与关联记忆结构的权重反馈调节方法以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案,一种面向网络业务监测的多源数据关联分析方法,包括以下步骤:

3、步骤s1:对当前网络进程进行扫描,获取当前网络进程的多个数据生成源,采集各数据生成源的时序数据并构建数据源特征向量,根据数据源特征向量计算不同数据生成源的关联权重;

4、步骤s2:基于不同数据生成源的关联权重统计结构边信息,根据结构边信息生成关联结构图,利用关联结构图评估各数据生成源的结构重叠度并计算结构扰动特征;

5、步骤s3:根据结构扰动特征对各数据生成源的模式突变状态进行分类,基于分类结果判断是否触发结构重构机制,在结构重构机制中,对关联结构图执行区域重塑,检测重塑区域的时序变更率;

6、步骤s4:利用时序变更率对重塑区域进行筛选并标记,对标记重塑区域进行结构稀疏化处理后识别关联记忆结构,根据关联记忆结构对关联权重进行调整,基于调整后的关联权重重构关联结构图。

7、在一个优选的实施方式中,在步骤s1中,通过操作系统进程接口获取当前网络进程产生的所有数据,获取不同数据生成位置得到数据生成源;

8、在确定数据生成源后,按照预设采样周期对各数据生成源进行连续采样,在预设时间区间内获取各数据生成源的时序数据,时序数据为数据生成源在不同采样时刻的观测值;

9、在获得各数据生成源的时序数据后,对任意两个数据生成源执行同步对齐处理。

10、在一个优选的实施方式中,在步骤s1中,基于对齐后的时序数据,计算任意两个数据生成源的均值,计算任意两个数据生成源的标准差,将统计均值和标准差构建为数据源特征向量;

11、基于数据源特征向量计算两个数据生成源之间的皮尔逊相关系数,将皮尔逊相关系数进行归一化处理得到非负关联量;

12、将非负关联量作为数据生成源之间在各采样时刻的关联权重。

13、在一个优选的实施方式中,在步骤s2中,对任意两个数据生成源之间的关联权重进行筛选处理:设定预设关联阈值,当关联权重大于预设关联阈值时,判定数据生成源之间存在有效关联关系,将有效关联关系定义为一条结构边;

14、对所有结构边进行统计,形成结构边集合,对所有数据生成源进行统计,形成数据生成源集合,对所有判定为存在有效关联关系的关联权重进行统计,形成边权集合;

15、以数据生成源集合作为节点集合,以结构边集合作为边集合,构建关联结构图。

16、在一个优选的实施方式中,在步骤s2中,对相邻两个时刻的关联结构图进行对比,计算结构重叠度:;

17、其中,是时刻t和时刻t-1的关联结构图的结构重叠度,和分别是时刻t和时刻t-1的结构边集合,表示时刻t和时刻t-1共同存在的结构边数量,t是时刻的索引值;

18、对所有结构边的权重差异进行统计,计算结构权重变化率:

19、;

20、其中,是时刻t和时刻t-1关联结构图的结构权重变化率,和分别是时刻t和时刻t-1的结构边集合,和分别是时刻t和时刻t-1的关联权重,t是时刻的索引值,与分别表示不同的数据生成源的索引值;

21、基于结构重叠度与权重变化率,采用加权求和法构建结构扰动特征。

22、在一个优选的实施方式中,在步骤s3中,将结构扰动特征与预设结构扰动阈值进行比较,分析数据生成源的模式突变状态:

23、若结构扰动特征大于预设结构扰动阈值,则判定数据生成源的模式突变状态为结构失稳状态,并触发结构重构机制;

24、反之,则判定数据生成源的模式突变状态为结构稳定状态;

25、在结构重构机制中,对关联结构图执行区域重塑,具体地,对相邻时刻的结构边集合进行对比,选取在当前时刻存在而上一时刻不存在的结构边作为候选变化边;

26、将候选变化边所连接的数据生成源作为候选节点,以候选变化边作为连接关系,将具有共享候选节点的候选变化边进行合并,形成若干连通子图;

27、将每一连通子图中包含的各数据生成源进行汇集,得到连通子图对应的数据生成源子集,并将数据生成源子集定义为重塑区域。

28、在一个优选的实施方式中,在步骤s3中,基于重塑区域在当前时刻与上一时刻对应的数据生成源子集,提取数据生成源子集对应的结构边集合及其关联权重,将当前时刻与上一时刻的结构边集合进行对比,统计在当前时刻新增或消失的结构边数量,并将其与上一时刻结构边数量进行比值计算,得到结构边差异比例;

29、对当前时刻与上一时刻均存在的结构边,计算其关联权重在相邻时刻的差值,并对所有差值进行平均处理,得到区域权重变化率;

30、分别对结构边差异比例与区域权重变化率进行标准化处理后的乘积结果作为重塑区域的时序变更率。

31、在一个优选的实施方式中,在步骤s4中,将时序变更率与预设时序变更阈值进行比较,判断是否对重塑区域进行标记:

32、若时序变更率大于预设时序变更阈值,则对重塑区域进行标记;

33、反之,则不对重塑区域进行标记;

34、对标记重塑区域进行结构稀疏化处理,具体地,提取标记重塑区域在当前时刻对应结构边的关联权重,将关联权重与预设稀疏化阈值进行比较,当关联权重大于预设稀疏化阈值时,则保留对应结构边,当关联权重小于或等于预设稀疏化阈值时,则剔除对应结构边,得到稀疏化后的结构边集合。

35、在一个优选的实施方式中,在步骤s4中,在稀疏化后的结构边集合中,将当前时刻与上一时刻均存在的结构边定义为关联记忆结构;

36、对于关联记忆结构中的各结构边,提取结构边在当前时刻与上一时刻对应的关联权重,并对两者进行平均处理,得到记忆权重基准;

37、根据记忆权重基准对关联权重进行调整;

38、基于调整后的关联权重更新结构边对应的关联权重,并删除稀疏化处理中被剔除的结构边,以完成关联结构图的更新。

39、本发明的技术效果和优点:

40、本发明通过在业务模式发生非平稳突变时,识别关联结构失效并实现可控重构。通过对网络进程进行扫描,获取多类数据生成源并构建统一特征向量,通过相关性计算形成初始关联权重;在此基础上生成关联结构图,并通过结构重叠度与扰动特征量化关联结构的稳定性状态;进一步根据结构扰动特征判定业务模式是否发生突变,并在突变条件满足时触发结构重构机制,对关联结构图执行区域级重塑处理;随后结合时序变更率对重塑区域进行筛选与标记,通过结构稀疏化及关联记忆结构提取实现对历史稳定关系的保留与异常关系的抑制;最终基于调整后的关联权重完成关联结构图的重构,提升多源数据关联分析在复杂动态场景下的准确性,降低误判与漏判风险。