信息化数据处理方法及系统与流程

本技术涉及计算机系统，尤其涉及一种信息化数据处理方法及系统。

背景技术：

1、随着云服务计算的快速发展，platform-as-a-service（paas）平台作为连接软件开发者与底层基础设施的桥梁，其重要性日益凸显。

2、由于技术更新或用户需求更新，需要将部署在一个paas平台的软件系统搬迁到另一个paas平台。在进行服务搬迁之前时，通常需要人工在软件系统中布置监控工具，由监控工具监控各个服务的依赖关系。

3、然而，由于软件系统中包含的服务较多，需要考虑到众多服务之间相互影响确定监控工具的布置方式，如此会导致监控代码复杂度变高。

技术实现思路

1、本技术实施例提供的一种信息化数据处理方法及系统，用以达到减少监控代码复杂度的效果。

2、本技术实施例提供一种信息化数据处理方法，包括：

3、在运行布置于第一paas平台上的目标系统时，获取目标系统中多个服务在多个时间段的运行数据；

4、使用特征提取模型对目标系统中多个服务在多个时间段的运行数据进行特征提取获得每个服务的分组特征；

5、使用聚类算法对每个服务的分组特征进行处理，获得至少一个服务组；

6、针对每个服务组中，根据服务组中的各个服务的信息布置监控工具，获得监控工具监控到的服务组中的各服务的依赖关系；

7、根据至少一个服务组中的各服务的依赖关系生成搬迁策略，按照搬迁策略将目标系统从第一paas平台搬迁至第二paas平台。

8、在上述技术方案中，通过对服务的运行数据进行特征提取，从大数据量的运行数据中抓取出运行数据的特征，随后使用聚类算法对分组特征进行处理获得各个服务的分组，可以减少聚类算法的数据处理量，还可以提升聚类算法的准确率，使聚类算法输出的各个服务组之间没有关联，随后以每个分组为单元，在每个单元中布置监控代码。由于以每个分组为单元，根据每个分组中各个服务的信息布置监控代码，如此可以减少监控代码的复杂度。另外，由于聚类算法的准确率提升，使聚类算法输出的各个服务组之间没有关联，可以提升所获得依赖关系的准确性，减少系统迁移失败的概率。

9、在一种可能地实现方式中，运行数据包括资源使用数据和访问数据；

10、相应地，使用特征提取模型对目标系统中多个服务在多个时间段的运行数据进行特征提取获得每个服务的分组特征，具体包括：

11、使用第一提取模型对服务在多个时间段的资源使用数据进行特征提取，获得服务的第一特征；

12、使用第二提取模型对服务在多个时间段的访问数据进行特征提取，获得服务的第二特征；

13、将第一特征和第二特征进行融合获得分组特征；其中，第一提取模型的模型架构和第二提取模型的模型架构不同。

14、在上述技术方案中，获取目标系统在运行时的资源使用数据和访问数据，对资源使用数据和访问数据进行分析获得各个服务之间的关联关系，通过对资源使用数据和访问数据这两组数据进行分析，即使某个数据源存在一定的噪声或缺失，另一个数据源提供的高质量特征可以通过特征提取模块得以保留，从而使整个系统更加健壮。此外，由于资源使用数据和访问数据具有不同的分布特点，使用不同的提取模型对资源使用数据和访问数据分别处理，可以更加准提取特征，可以获得更加准确的分组，减少迁移失败的概率。

15、在一种可能地实现方式中，使用第一提取模型对服务在多个时间段的资源使用数据进行特征提取，获得服务的第一特征，具体包括：

16、使用局部提取模块对资源使用数据进行特征提取输出局部特征；

17、使用全局提取模块对局部特征进行特征提取输出全局特征；

18、使用融合模块对局部特征和全局特征进行融合获得融合特征；

19、将全局特征和融合特征拼接后作为第一特征输出。

20、在上述技术方案中，资源使用数据包含丰富的瞬时变化和局部模式，局部特征提取模块能够精确捕获这些细节，理解数据的即时状态。全局特征提取则关注数据的整体趋势和长期依赖，能够把握数据的长期周期性特征和整体行为，实现识别长期模式，融合模块将局部特征和全局特征进行融合，使融合特征中包含从即时状态和长期模式中提取出的更丰富的信息，随后将融合特征和全局特征拼接后输出，使拼接特征中包含更丰富的信息。另外，局部提取模块、全局提取模块和融合模块分别擅长不同类型的信息提取，即时其中一个模型出现偏差，其他模型也可以进行补充，提升所提取特征的准确性。

21、在一种可能地实现方式中，使用融合模块对局部特征和全局特征进行融合获得融合特征，具体包括：

22、针对每个局部特征，根据局部特征计算局部特征的第一融合分数，针对每个局部特征，根据全局特征计算全局特征的第二融合分数；

23、针对每个局部特征，对局部特征的第一融合分数进行归一化处理获得第一融合权重，针对每个局部特征，对全局特征的第二融合分数进行归一化处理获得第二融合权重；

24、使用第一融合权重对多个局部特征进行加权求和，获得局部加权向量，使用第二融合权重对多个全局特征进行加权求和，获得全局加权向量；

25、根据局部加权向量和全局加权向量获得融合特征。

26、在上述技术方案中，使用可学习的参数生成模块对局部特征进行处理获得局部特征的融合分数，使用可学习的参数生成模块对全局特征进行处理获得全局特征的融合分数，如此实现局部特征和全局特征的权重是动态可调整的，进而动态调整不同局部特征在局部权重向量的贡献比例，动态调整不同全局特征在全局权重向量的贡献比例，确保最重要的信息得到最大的重视，使特征提取模块能够准确抓取数据信息。

27、在一种可能地实现方式中，针对每个局部特征，根据局部特征计算局部特征的第一融合分数，针对每个局部特征，根据全局特征计算全局特征的第二融合分数，具体包括：对局部特征进行线性变换获得第一中间特征，使用非线性激活函数对第一中间特征进行处理获得第二中间特征，使用融合向量参数对第二中间特征进行处理获得第一融合分数；

28、对全局特征进行线性变换获得第三中间特征，使用非线性激活函数对第三中间特征进行处理获得第四中间特征，使用融合向量参数对第四中间特征进行处理获得第二融合分数。

29、在上述技术方案中，使用线性函数对全局特征或者局部特征进行处理，将全局特征或者局部特征映射到更合适的空间，随后使用非线性激活函数对经过线性处理后的特征进行处理，引入更多的变异性，随后使用融合向量参数对经过非线性激活函数处理的特征进行处理获得融合分数，使融合分数充分结合全局特征或者局部特征中的信息。

30、在一种可能地实现方式中，使用第二提取模型对服务在多个时间段的访问数据进行特征提取，获得服务的第二特征，具体包括：

31、将服务在每个时间段的访问数据进行向量化处理，获得每个时间段的访问向量；对每个时间段进行向量化获得每个时间段的时间向量；

32、根据每个时间段的访问向量和每个时间段的时间向量生成每个时间段的输入向量；

33、使用编码模块根据当前时间段的输入向量和其他时间段的输入向量进行编码输出当前时间段的编码特征；

34、使用多层感知层对编码特征进行特征提取获得第二特征。

35、在上述技术方案中，考虑到日志数据通常包含大量的事件记录，这些事件可能分布在较宽的时间范围内，具有随机性。首先，在生成输入向量时，除了基于日志数据进行编码，同时引入时间向量可以让模型区分相同事件发生在不同时间的意义，增强了对时间序列的理解能力。另外，使用编码模块对日志数据进行处理时，允许模型在处理当前时间段的数据时同时关注所有时间段的数据，而不是局限于当前时间段的数据，如此保证模型能够有效地捕捉这些广泛分散的数据特点。

36、在一种可能地实现方式中，使用编码模块根据当前时间段的输入向量和其他时间段的输入向量进行编码输出当前时间段的编码特征，具体包括：

37、针对每个输入向量，使用第一线性转换模块对输入向量进行线性处理获得输入向量的第一中间向量，使用第二线性转换模块对输入向量进行线性处理获得第二中间向量，使用第三线性转换模块对输入向量进行线性处理获得第三中间向量；

38、针对每个输入向量，计算输入向量的第一中间向量与其他输入向量的第二中间向量的相似度，对输入向量的第一中间向量与其他输入向量的第二中间向量的相似度进行归一化处理获得输入向量与其他输入向量的权重值；使用输入向量与其他输入向量的权重值对各个输入向量的第三中间向量进行加权求和获得一个时间段的编码特征。

39、在一些示例中，编码模块结合当前时间段的输入向量和其他时间段的输入向量进行编码，获得当前时间段的编码特征，使当前时间段的编码特征不仅仅有自生输入向量的特征的信息，还有其他时间段的输入向量的信息，使得编码模块不仅仅关注自身信息，还关注其他时间段的信息，实现对长时间段上的信息抓取。

40、在一种可能地实现方式中，访问数据包括：请求频率、响应时间以及对话持续时间；

41、相应地，将每个服务在每个时间段的访问数据进行向量化处理，获得每个时间段的访问向量，具体包括：

42、对请求频率进行归一化处理，并使用第一感知机对归一化的请求频率进行处理输出请求频率向量；

43、对响应时间进行归一化处理，并使用第二感知机对归一化的响应时间进行处理输出响应时间向量；

44、对对话持续时间进行归一化处理，并使用第三感知机对归一化的对话持续时间进行处理输出对话持续时间向量；

45、将请求频率向量、响应时间向量和对话持续时间向量进行拼接生成访问向量；

46、其中，第一感知机、第二感知机以及第三感知机结构相同，且共享参数。

47、在上述技术方案中，使用感知机将请求频率、响应时间以及对话持续时间映射为向量，使向量充分表达请求频率、响应时间和对话持续时间中的信息，且第一感知机、第二感知机以及第三感知机结构相同，且共享参数，通过共享参数，模型能够更好地识别和利用特征之间的相互依存关系，进而提取出更高层次的抽象特征，还可以减少训练参数的数量。

48、在一种可能地实现方式中，根据每个时间段的访问向量和每个时间段的时间向量生成每个时间段的输入向量，具体包括：

49、针对任意一个时间段，计算访问向量和时间向量之和，获得输入向量。

50、在一种可能地实现方式中，将第一特征和第二特征进行融合获得分组特征，具体包括：

51、对服务的第一特征和第二特征进行拼接，获得服务的拼接特征；

52、使用全连接层对服务的拼接特征进行处理获得服务的分组特征。

53、在一种可能地实现方式中，方法还包括：

54、构建损失函数，损失函数包括第一提取模型的重构损失、第二提取模型的重构损失、特征一致性损失以及聚类损失；

55、使用训练数据以最小化损失函数为目标对第一提取模型的参数、第二提取模型的参数和全连接层的参数进行优化。

56、在上述技术方案中，损失函数包括重构损失、一致性损失和聚类损失，两个提取模块的重构损失使得两个提取模块可以准确提取数据中的信息，使得两个特征一致性更高，特征一致性提高了特征的全面性和表达力，聚类损失促使提取模型生成的特征不仅在个体层面有效，还在群体分组层面具有一致性，从而增强了特征的整体有效性，三种损失相互影响，进而提升模型的准确率。

57、在一种可能地实现方式中，构建损失函数，损失函数包括第一提取模型的重构损失、第二提取模型的重构损失、特征一致性损失以及聚类损失，具体包括：

58、构建第一提取模型的解码器和第二提取模型的解码器；

59、将第一训练数据经过第一提取模型后输出第一训练特征，将第一训练特征输入至第一提取模型的解码器输出第一重构特征；

60、将第二训练数据经过编码器后输出第二训练特征，将第二训练特征输入至第二提取模型的解码器输出第二重构特征；

61、将融合模块输出的融合训练特征和第二训练特征经过全连接层后输出聚类训练特征，使用聚类算法输出每个训练数据属于各类的概率；

62、计算第一重构特征和第一训练数据的欧式距离作为第一提取模型的重构损失，计算第二重构特征和第二训练数据的欧式距离作为第二提取模型的重构损失；

63、计算融合训练特征和第二训练特征的欧式距离作为特征一致性损失；

64、根据每个训练数据的聚类训练特征和每个训练数据属于各分组的概率计算各个分组的聚类损失。

65、在上述技术方案中，通过重构第一提取模型的解码器和第二提取模型的解码器，基于解码器输出数据和提取模型的输入数据计算重构损失，确保提取模型可以准确抓取输入数据的信息。将第一训练特征和第二训练特征的欧式距离作为一致性损失，第一训练特征和第二训练特征接近，在聚类算法满足循环条件输出分组后，将各个分组后的损失值作为聚类损失，通过如此设计损失函数，保证在损失函数取值越小时，模型提取的特征最优。

66、在一种可能地实现方式中，根据至少一个服务组中的各服务的依赖关系生成搬迁策略，具体包括：

67、根据服务组中的各服务的依赖关系将各个服务分为多个批次并确定各个批次的先后顺序，获取单个批次中每个服务的数据量和重要等级；

68、根据单个批次中每个服务的数据量、各个服务的重要等级以及各个时刻的迁移带宽确定每个批次中各个服务的先后顺序；

69、根据各个批次的先后顺序和每个批次中各个服务的先后顺序迁移各个服务。

70、在上述技术方案中，根据各个服务的依赖关系将服务组中服务分多个批次进行迁移，在每个批次中，考虑到服务的重要等级、数据量以及迁移带宽因素，确定每个批次中的优先级，如此在迁移服务中，相较于对服务整体进行搬移，考虑服务的依赖关系、重要等级、数据量以及迁移带宽因素制定分批迁移策略，减少迁移过程中对用户影响，减少迁移过程中对系统的影响。

71、在一种可能地实现方式中，根据服务组中的各服务的依赖关系将各个服务分为多个批次并确定各个批次的先后顺序，具体包括：

72、根据服务组中的各服务的依赖关系生成依赖关系有向图，将依赖关系有向图中同一个层次的服务作为一个批次的服务；并根据服务在依赖关系有向图中的层次确定各个批次的服务的先后顺序；

73、相应地，根据单个批次中每个服务的数据量、各个服务的重要等级以及各个时刻的迁移带宽确定每个批次中各个服务的先后顺序，具体包括：

74、根据各个批次中服务的数据量和各个时刻的迁移带宽确定各个批次的迁移所覆盖时间段；

75、在每个批次的迁移所覆盖时间段中选择最大迁移带宽所对应的时间段迁移该批次中数据量最大的服务；在剩余时间段按照服务的重要等级从低到高对服务进行迁移。

76、在上述技术方案中，根据各个服务的依赖关系将服务组中服务分多个批次进行迁移，在每个批次中，考虑到服务的重要等级、数据量以及迁移带宽因素，确定每个批次中的优先级，如此在迁移服务中，服务所依赖的基础已经完成迁移，根据重要等级进行迁移，由重要等级低的服务确认第二paas平台是否已经具备迁移基础环境后再迁移重要等级高，减少迁移过程中对用户影响，减少迁移过程中对系统的影响。

77、本技术实施例提供一种电子设备，包括：存储器，处理器；

78、存储器存储计算机执行指令；

79、处理器执行存储器存储的计算机执行指令，使得处理器执行如上各种可能的实施方式。

80、本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上各种可能的实施方式。

81、本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上各种可能的实施方式。