数据集市异常检测方法、装置、计算机设备及存储介质与流程

1.本技术涉及基架运维以及大数据技术领域，尤其涉及一种数据集市异常检测方法、装置、计算机设备及存储介质。


背景技术：

2.数据集市(data mart)是满足特定部门或者用户的需求，按照多维的方式进行存储、生成面向决策分析需求的数据立方体。数据集市中可以包括多个应用，应用又可以由多个任务构成。任务在重复度、时效和成本等指标上的波动，都可能对应用或者数据集市产生影响，甚至发生生产事故。因此，数据集市的异常检测就显得尤为重要。
3.当前的数据集市异常检测技术通常是在集市发生异常后，自顶向下地进行排查，然而这时异常已经发生，数据集市以及其中的应用已经受到了影响，无法预先发现可能发生的异常并进行预警。


技术实现要素：

4.本技术实施例的目的在于提出一种数据集市异常检测方法、装置、计算机设备及存储介质，以预先发现数据集市中可能存在的异常。
5.为了解决上述技术问题，本技术实施例提供一种数据集市异常检测方法，采用了如下所述的技术方案：
6.获取数据集市的任务血缘关系信息；
7.对于所述数据集市中的每个应用，根据所述任务血缘关系信息确定所述应用的波动检测链路；
8.对于所述波动检测链路中的每个任务，根据所述任务血缘关系信息确定所述任务的任务权重以及重复度；
9.获取所述任务的任务日志，以从所述任务日志中提取所述任务的运行指标；
10.根据所述任务权重、所述重复度和所述运行指标，计算所述任务的任务波动值；
11.基于所述任务波动值计算所述应用的应用波动值，并根据所述应用波动值计算所述数据集市的集市波动值；
12.将所述集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果。
13.为了解决上述技术问题，本技术实施例还提供一种数据集市异常检测装置，采用了如下所述的技术方案：
14.血缘获取模块，用于获取数据集市的任务血缘关系信息；
15.链路确定模块，用于对于所述数据集市中的每个应用，根据所述任务血缘关系信息确定所述应用的波动检测链路；
16.任务确定模块，用于对于所述波动检测链路中的每个任务，根据所述任务血缘关系信息确定所述任务的任务权重以及重复度；
17.指标提取模块，用于获取所述任务的任务日志，以从所述任务日志中提取所述任务的运行指标；
18.任务计算模块，用于根据所述任务权重、所述重复度和所述运行指标，计算所述任务的任务波动值；
19.集市计算模块，用于基于所述任务波动值计算所述应用的应用波动值，并根据所述应用波动值计算所述数据集市的集市波动值；
20.结果生成模块，用于将所述集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果。
21.为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：
22.获取数据集市的任务血缘关系信息；
23.对于所述数据集市中的每个应用，根据所述任务血缘关系信息确定所述应用的波动检测链路；
24.对于所述波动检测链路中的每个任务，根据所述任务血缘关系信息确定所述任务的任务权重以及重复度；
25.获取所述任务的任务日志，以从所述任务日志中提取所述任务的运行指标；
26.根据所述任务权重、所述重复度和所述运行指标，计算所述任务的任务波动值；
27.基于所述任务波动值计算所述应用的应用波动值，并根据所述应用波动值计算所述数据集市的集市波动值；
28.将所述集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果。
29.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
30.获取数据集市的任务血缘关系信息；
31.对于所述数据集市中的每个应用，根据所述任务血缘关系信息确定所述应用的波动检测链路；
32.对于所述波动检测链路中的每个任务，根据所述任务血缘关系信息确定所述任务的任务权重以及重复度；
33.获取所述任务的任务日志，以从所述任务日志中提取所述任务的运行指标；
34.根据所述任务权重、所述重复度和所述运行指标，计算所述任务的任务波动值；
35.基于所述任务波动值计算所述应用的应用波动值，并根据所述应用波动值计算所述数据集市的集市波动值；
36.将所述集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果。
37.与现有技术相比，本技术实施例主要有以下有益效果：获取任务血缘关系信息，它记录数据集市中任务之间、任务与应用之间上下游的关联关系，基于任务血缘关系信息可以确定应用的波动检测链路；对于波动检测链路中的每个任务，根据任务血缘关系信息确定任务的任务权重以及重复度，其中，任务权重衡量任务对下游应用的支撑程度，可以反映任务的重要程度，重复度衡量任务在链路中的位置；再根据任务日志提取反映任务运行状
况的运行指标；根据任务权重、重复度和运行指标，可以计算任务的任务波动值，基于任务波动值可以计算应用的应用波动值，根据应用波动值可以计算数据集市的集市波动值，将集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果；本技术实现了波动的自动计算与检测，可以在异常放大之前预先发现波动异常，从而减少了数据集市异常的产生。
附图说明
38.为了更清楚地说明本技术中的方案，下面将对本技术实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本技术可以应用于其中的示例性系统架构图；
40.图2是根据本技术的数据集市异常检测方法的一个实施例的流程图；
41.图3是根据本技术的数据集市的一个示意图；
42.图4是根据本技术的数据集市异常检测装置的一个实施例的结构示意图；
43.图5是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
44.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
45.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
46.为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
47.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
48.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
49.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture expertsgroup audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving pictureexperts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上
型便携计算机和台式计算机等等。
50.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
51.需要说明的是，本技术实施例所提供的数据集市异常检测方法一般由服务器执行，相应地，数据集市异常检测装置一般设置于服务器中。
52.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
53.继续参考图2，示出了根据本技术的数据集市异常检测方法的一个实施例的流程图。所述的数据集市异常检测方法，包括以下步骤：
54.步骤s201，获取数据集市的任务血缘关系信息。
55.在本实施例中，数据集市异常检测方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式与终端进行通信。需要指出的是，上述无线连接方式可以包括但不限于3g/4g/5g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
56.具体地，首先获取数据集市的任务血缘关系信息。数据集市中包括多个应用，应用可以由多个任务构成；任务之间具有上下游关系或者依赖关系，这种关联关系类似于血缘关系，例如，任务a的处理结果输入任务b，则任务b依赖任务a，任务a是任务b的上游任务，任务b是任务a的下游任务。任务与应用也具有上下游关系或者依赖关系，例如，任务b的处理结果输入应用c，应用c依赖任务b，应用c处于任务b的下游。任务血缘关系信息记录数据集市中任务之间的关联关系，还可以记录任务与应用之间的关联关系。
57.图3是一个实施例中，数据集市的示意图，具体地，参照图3，数据集市中存在应用a和应用b，还存在任务1、任务2、任务3、任务4、任务5、任务6以及7，通过图3还可以获取到任务血缘关系信息。
58.步骤s202，对于数据集市中的每个应用，根据任务血缘关系信息确定应用的波动检测链路。
59.具体地，数据集市中的每个应用具有至少一条任务链路。任务链路是指从任务到应用的路径，该路径中的任务与应用具有血缘关系，因此可以通过任务血缘关系信息确定应用的任务链路。例如在图3中，任务1-任务4-任务6-应用a是应用a的一条任务链路；任务2-任务5-任务6-应用a是应用a的另一条任务链路；任务3-任务7-应用b是应用b的唯一任务链路。
60.通过预设的链路确定策略，可以从应用的任务链路中确定波动检测链路，基于波动检测链路进行应用、数据集市的波动性检测与预警。
61.步骤s203，对于波动检测链路中的每个任务，根据任务血缘关系信息确定任务的任务权重以及重复度。
62.具体地，应用的波动检测链路中包括至少一个任务。对于每个任务，需要确定任务的任务权重以及重复度。任务权重用于衡量任务对下游应用的支撑程度，任务所支撑的应用数量越多，即通过任务所能到达的应用数量越多，任务的任务权重越大。
63.重复度则与任务在波动检测链路中的位置有关。任务对下游应用的支撑程度以及任务在波动检测链路中的位置，都可以通过任务血缘关系获取，因此，通过任务血缘关系信
息可以确定任务的任务权重以及重复度。
64.步骤s204，获取任务的任务日志，以从任务日志中提取任务的运行指标。
65.具体地，获取任务的任务日志，任务日志对任务运行进行记录，因此从任务日志中可以提取出任务的运行指标。
66.运行指标可以是记录任务运行状况的指标。在一个实施例中，运行指标包括运行时效以及运行成本。运行时效表示任务或者应用计算出来的时间，是任务或者应用的运行时长，以图3中的任务1为例，从任务日志中获取到任务1的运行时效为1小时，表明任务1运行了1小时，并获取到任务1的运行成本为10核时，其中，1核时表示单个cpu(中央处理器)运行1小时，核时用于衡量任务所占用的cpu资源。
67.步骤s205，根据任务权重、重复度和运行指标，计算任务的任务波动值。
68.具体地，重复度和各运行指标均具有基期值和现期值，现期值可以是当前的取值，基期值可以是过去某个时间点的取值。根据重复度和各运行指标的基期值和现期值，可以先计算重复度和各运行指标的波动值。
69.然后根据任务权重、重复度的波动值和各运行指标的波动值计算任务的任务波动值；其中，重复度的波动值和各运行指标的波动值可以先进行计算，然后再与任务权重计算任务波动值。任务波动值用于衡量任务的波动情况。
70.步骤s206，基于任务波动值计算应用的应用波动值，并根据应用波动值计算数据集市的集市波动值。
71.具体地，波动检测链路中每个任务都计算任务波动值，然后基于波动检测链路中各任务的任务波动值可以计算出应用的应用波动值。数据集市中具有多个应用，根据每个应用的应用波动值可以计算出整个数据集市的集市波动值。
72.任务波动值用于衡量任务的波动情况，应用波动值用于衡量应用的波动情况；集市波动值用于衡量集市的波动情况；波动值数值越大，表示波动越大。
73.步骤s207，将集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果。
74.具体地，可以预先设置标准集市波动值，标准集市波动值有多个，组成多个评估区间，评估区间是将波动划分为若干个状态，例如，评估区间所对应的状态可以包括：轻微、正常、波动较大、波动异常。将集市波动值与各标准集市波动值相比较，确定集市波动值所在的评估区间，将评估区间对应的状态以及集市波动值作为数据集市异常检测结果；当集市波动值处于轻微、正常状态时，表明数据集市不存在异常，否则，表明数据集市存在异常。当检测到数据集市存在异常时，可以及时进行告警，以便及时发现数据集市中的问题并进行修正，避免异常放大到生产问题，影响数据集市的正常运行。
75.本实施例中，获取任务血缘关系信息，它记录数据集市中任务之间、任务与应用之间上下游的关联关系，基于任务血缘关系信息可以确定应用的波动检测链路；对于波动检测链路中的每个任务，根据任务血缘关系信息确定任务的任务权重以及重复度，其中，任务权重衡量任务对下游应用的支撑程度，可以反映任务的重要程度，重复度衡量任务在链路中的位置；再根据任务日志提取反映任务运行状况的运行指标；根据任务权重、重复度和运行指标，可以计算任务的任务波动值，基于任务波动值可以计算应用的应用波动值，根据应用波动值可以计算数据集市的集市波动值，将集市波动值与预设的标准集市波动值相比
较，得到数据集市异常检测结果；本技术实现了波动的自动计算与检测，可以在异常放大之前预先发现波动异常，从而减少了数据集市异常的产生。
76.进一步的，上述步骤s202可以包括：对于数据集市中的每个应用，根据任务血缘关系信息确定应用的各任务链路；统计各任务链路的链路长度；选取最大链路长度的任务链路作为应用的波动检测链路。
77.具体地，数据集市中的每个应用具有至少一条任务链路。任务链路是指从任务到应用的路径，该路径中的任务与应用具有血缘关系，通过任务血缘关系信息可以确定应用的任务链路。
78.任务链路具有链路长度，链路长度是指任务链路中任务的数量。例如在图3中，任务1-任务4-任务6-应用a是应用a的一条任务链路，其包含3个任务，链路长度为3。统计每条任务链路的链路长度，选取具有最大链路长度的任务链路作为应用的波动检测链路。
79.进一步的，上述选取最大链路长度的任务链路作为应用的波动检测链路的步骤可以包括：当具有最大链路长度的任务链路为一条时，将任务链路确定为波动检测链路；当具有最大链路长度的任务链路多于一条时，从具有最大链路长度的各任务链路中随机选取任务链路作为应用的波动检测链路。
80.具体地，统计各任务链路的链路长度后，选取具有最大链路长度的任务链路。如果具有最大链路长度的任务链路只有一条，则直接将该任务链路确定为波动检测链路。例如，如果应用具有3条任务链路，链路长度分别为4、5、6，则选取链路长度为6的任务链路作为波动检测链路。
81.如果具有最大链路长度的任务链路多于一条，例如在图3中，应用a具有“任务1-任务4-任务6-应用a”、“任务2-任务4-任务6-应用a”、“任务2-任务5-任务6-应用a”、“任务3-任务5-任务6-应用a”，共4条任务链路，且链路长度均为3，即具有最大链路长度的任务链路有4条。则从具有最大链路长度的任务链路中随机选取一条任务链路作为波动检测链路。
82.本实施例中，当具有最大链路长度的任务链路只有一条时，将该任务链路直接确定为波动检测链路；当具有最大链路长度的任务链路多于一条时，从具有最大链路长度的任务链路中以随机的方式确定波动检测链路，从而确保可以得到波动检测链路。
83.本实施例中，根据血缘关系信息得到应用的各条任务链路后，统计各任务链路的链路长度，从而根据链路长度从多条任务链路中确定波动检测链路。
84.进一步的，上述步骤s203可以包括：根据任务血缘关系信息，统计数据集市中各任务所关联应用的应用数量；根据应用数量，计算波动检测链路中每个任务的任务权重；根据任务在波动检测链路中的层级，确定任务的重复度。
85.具体地，对于数据集市中的每个任务，根据任务血缘关系信息，可以统计经过该任务最终可以到达多少个应用，从而得到任务所关联应用的应用数量。以图3为例，经过任务3，最终可以到达应用a和应用b两个应用，因此任务3关联应用的应用数量为2；对于任务1、任务2、任务4、任务5、任务6和任务7，它们所关联应用的应用数量为1。
86.任务所关联应用的应用数量是任务所支撑的应用的数量，它用于计算任务的任务权重，即任务权重是从整个数据集市的角度进行计算。在一个实施例中，任务权重可以表示为：
[0087][0088]
其中，wi表示任务权重，ni表示任务所关联应用的应用数量，n表示数据集市中任务的数量。结合图3和公式(1)，易得任务3的任务权重为2/8，任务1、任务2、任务4、任务5、任务6和任务7的任务权重为1/8。
[0089]
波动检测链路具有至少一个任务，根据任务在波动检测链路中的层级，可以确定任务的重复度。在图3中，假设应用a的波动检测链路为任务1-任务4-任务6-应用a，任务1处于第一层级，则其重复度取值为1；任务4处于第二层级，其重复度为2；任务6处于第三层级，其重复度为3。
[0090]
本实施例中，从数据集市的整体角度统计任务所关联应用的应用数量，从而计算得到任务的任务权重；根据任务在波动检测链路中的层级，可以确定任务的重复度，从而确保了后续任务波动值的计算。
[0091]
进一步的，重复度包括基期重复度和现期重复度，运行指标包括基期运行指标和现期运行指标，上述步骤s205可以包括：根据基期重复度和现期重复度计算重复度波动值，并根据基期运行指标和现期运行指标计算运行指标波动值；基于预设的权重算法，确定重复度波动值和运行指标波动值的指标权重；对任务权重以及带有指标权重的重复度波动值和运行指标波动值进行计算，得到任务的任务波动值。
[0092]
具体地，在获取重复度和运行指标时，实际上获取的是两个时间点的重复度和运行指标。重复度包括基期重复度和现期重复度，其中，基期重复度可以是过去某个时间点的重复度，或者预设的第一时间点的重复度；现期重复度可以是当前时间点的重复度，或者预设的第二时间点的重复度；且第二时间点晚于第一时间点。
[0093]
同样地，运行指标包括基期运行指标和现期运行指标，其中，基期运行指标可以是过去某个时间点的运行指标，或者预设的第一时间点的运行指标；现期运行指标可以是当前时间点的运行指标，或者预设的第二时间点的运行指标；且第二时间点晚于第一时间点。
[0094]
根据基期重复度和现期重复度可以计算重复度波动值，在一个实施例中，重复度波动值可以表示如下：
[0095][0096]
其中，δri％表示重复度波动值，表示现期重复度，表示基期重复度。
[0097]
同样地，根据基期运行指标和现期运行指标可以计算运行指标波动值。在一个实施例中，运行指标包括运行时效si和运行成本ci，则运行指标波动值包括时效波动值和成本波动值，其中，时效波动值可以表示如下：
[0098][0099]
其中，δsi％表示时效波动值，表示现期运行时效，表示基期运行时效。
[0100]
成本波动值可以表示如下：
[0101][0102]
其中，δci％表示成本波动值，表示现期运行成本，表示基期运行成本。
[0103]
本技术中，重复度或者重复度波动值、运行指标或者运行指标波动值具有指标权重，从而将其在任务波动值的计算中所发挥的重要性进行区分。指标权重的计算可以通过预设的权重算法来实现，例如，可以通过critic算法、层次分析法、relief算法等计算。
[0104]
在一个实施例中，权重算法是根据应用的优先级确定指标权重。获取应用的优先级，根据优先级查询预设的指标权重。例如，高优先级的应用更注重运行时效，可以弱化运行成本和重复度，则支撑高优先级应用的任务，其运行时效、运行成本、重复度等指标的权重比为6：2：2；对于中优先级应用的任务，运行时效、运行成本、重复度等指标的权重比为4：3：3；对于低优先级应用的任务，运行时效、运行成本、重复度等指标的权重比为1：6：3。
[0105]
然后，基于任务权重以及带有指标权重的重复度波动值和运行指标波动值(时效波动值和成本波动值)计算任务的任务波动值。在一个实施例中，任务波动值表示如下：
[0106][0107]
其中，c
ti
为任务波动值；wi为任务权重；δri％为重复度波动值，为重复度波动值的指标权重；δsi％为时效波动值，为时效波动值的指标权重；δci％为成本波动值，为成本波动值的指标权重。
[0108]
本实施例中，根据基期重复度和现期重复度计算重复度波动值，根据基期运行指标和现期运行指标计算运行指标波动值；基于权重算法，确定重复度波动值和运行指标波动值的指标权重，从而对重复度波动值和运行指标波动值的重要性加以区分；根据任务权重以及带有指标权重的重复度波动值和运行指标波动值计算任务波动值，实现了任务波动性的衡量。
[0109]
进一步的，上述步骤s206可以包括：将波动检测链路中各任务的任务波动值进行线性运算，得到应用的应用波动值；对数据集市中各应用的应用波动值进行线性运算，得到集市波动值。
[0110]
具体地，在得到波动检测链路中各任务的任务波动值后，将各任务的任务波动值做线性运算，即可得到应用的应用波动值。在一个实施例中，将波动检测链路中各任务的任务波动值进行累加，即可得到应用的应用波动值。
[0111]
在得到数据集市中各应用的应用波动值后，将各应用的应用波动值做线性运算，即可得到数据集市的集市波动值。在一个实施例中，将数据集市中各应用的应用波动值进行累加，即可得到数据集市的集市波动值。
[0112]
本实施例中，对波动检测链路中各任务的任务波动值进行线性运算即可得到应用波动值，对数据集市中各应用的应用波动值进行线性运算即可得到集市波动值，从而实现对应用波动和集市波动的衡量。
[0113]
进一步的，上述步骤s207之后，还可以包括：当根据数据集市异常检测结果确定数据集市处于波动异常状态时，对集市波动值进行下钻，得到异常诊断信息。
[0114]
具体地，当根据数据集市异常检测结果确定数据集市处于波动异常状态时，对集市波动值进行下钻，具体可以是获取每个应用的应用波动值，将应用波动值与预设的标准
应用波动值相比较，如果应用波动值大于标准应用波动值，则判断应用处于异常状态。再获取该应用相关联的任务波动值，将任务波动值与预设的标准任务波动值相比较，如果任务波动值大于预设的标准任务波动值，则判断任务处于异常状态。
[0115]
按照上述下钻策略，根据检测到的异常应用和异常任务生成异常诊断信息，以便相关的工作人员根据异常诊断信息对应用或者任务进行调整与修复。
[0116]
可以理解，本技术中检测到的异常，是指相较于正常水平的异常，但不一定影响到数据集市的运行，从而实现异常的预先发现与告警。
[0117]
本实施例中，当根据数据集市异常检测结果确定数据集市处于波动异常状态时，对集市波动值进行下钻，以逐层分析出现异常的应用或者任务并生成异常诊断信息，从而可以及时消除异常。
[0118]
需要强调的是，为进一步保证上述任务血缘关系信息和任务日志的私密和安全性，任务血缘关系信息和任务日志还可以存储于一区块链的节点中。
[0119]
本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0120]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。例如，通过人工智能对任务日志进行解析并提取需要的运行指标。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0121]
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0122]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0123]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0124]
进一步参考图3，作为对上述图2所示方法的实现，本技术提供了一种数据集市异常检测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0125]
如图4所示，本实施例所述的数据集市异常检测装置300包括：血缘获取模块301、链路确定模块302、任务确定模块303、指标提取模块304、任务计算模块305、集市计算模块306以及结果生成模块307，其中：
[0126]
血缘获取模块301，用于获取数据集市的任务血缘关系信息。
[0127]
链路确定模块302，用于对于数据集市中的每个应用，根据任务血缘关系信息确定应用的波动检测链路。
[0128]
任务确定模块303，用于对于波动检测链路中的每个任务，根据任务血缘关系信息确定任务的任务权重以及重复度。
[0129]
指标提取模块304，用于获取任务的任务日志，以从任务日志中提取任务的运行指标。
[0130]
任务计算模块305，用于根据任务权重、重复度和运行指标，计算任务的任务波动值。
[0131]
集市计算模块306，用于基于任务波动值计算应用的应用波动值，并根据应用波动值计算数据集市的集市波动值。
[0132]
结果生成模块307，用于将集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果。
[0133]
本实施例中，获取任务血缘关系信息，它记录数据集市中任务之间、任务与应用之间上下游的关联关系，基于任务血缘关系信息可以确定应用的波动检测链路；对于波动检测链路中的每个任务，根据任务血缘关系信息确定任务的任务权重以及重复度，其中，任务权重衡量任务对下游应用的支撑程度，可以反映任务的重要程度，重复度衡量任务在链路中的位置；再根据任务日志提取反映任务运行状况的运行指标；根据任务权重、重复度和运行指标，可以计算任务的任务波动值，基于任务波动值可以计算应用的应用波动值，根据应用波动值可以计算数据集市的集市波动值，将集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果；本技术实现了波动的自动计算与检测，可以在异常放大之前预先发现波动异常，从而减少了数据集市异常的产生。
[0134]
在本实施例的一些可选的实现方式中，链路确定模块302可以包括：链路确定子模块、长度统计子模块以及波动确定子模块，其中：
[0135]
链路确定子模块，用于对于数据集市中的每个应用，根据任务血缘关系信息确定应用的各任务链路。
[0136]
长度统计子模块，用于统计各任务链路的链路长度。
[0137]
波动确定子模块，用于选取最大链路长度的任务链路作为应用的波动检测链路。
[0138]
本实施例中，根据血缘关系信息得到应用的各条任务链路后，统计各任务链路的链路长度，从而根据链路长度从多条任务链路中确定波动检测链路。
[0139]
在本实施例的一些可选的实现方式中，波动确定子模块可以包括：链路确定单元以及随机选取单元，其中：
[0140]
链路确定单元，用于当具有最大链路长度的任务链路为一条时，将任务链路确定为波动检测链路。
[0141]
随机选取单元，用于当具有最大链路长度的任务链路多于一条时，从具有最大链路长度的各任务链路中随机选取任务链路作为应用的波动检测链路。
[0142]
本实施例中，当具有最大链路长度的任务链路只有一条时，将该任务链路直接确定为波动检测链路；当具有最大链路长度的任务链路多于一条时，从具有最大链路长度的任务链路中以随机的方式确定波动检测链路，从而确保可以得到波动检测链路。
[0143]
在本实施例的一些可选的实现方式中，任务确定模块303可以包括：数量确定子模块、权重计算子模块以及重复度确定子模块，其中：
[0144]
数量确定子模块，用于根据任务血缘关系信息，统计数据集市中各任务所关联应用的应用数量。
[0145]
权重计算子模块，用于根据应用数量，计算波动检测链路中每个任务的任务权重。
[0146]
重复度确定子模块，用于根据任务在波动检测链路中的层级，确定任务的重复度。
[0147]
本实施例中，从数据集市的整体角度统计任务所关联应用的应用数量，从而计算得到任务的任务权重；根据任务在波动检测链路中的层级，可以确定任务的重复度，从而确保了后续任务波动值的计算。
[0148]
在本实施例的一些可选的实现方式中，重复度包括基期重复度和现期重复度，运行指标包括基期运行指标和现期运行指标，则任务计算模块可以包括：波动计算子模块、权重确定子模块以及任务计算子模块，其中：
[0149]
波动计算子模块，用于根据基期重复度和现期重复度计算重复度波动值，并根据基期运行指标和现期运行指标计算运行指标波动值。
[0150]
权重确定子模块，用于基于预设的权重算法，确定重复度波动值和运行指标波动值的指标权重。
[0151]
任务计算子模块，用于对任务权重以及带有指标权重的重复度波动值和运行指标波动值进行计算，得到任务的任务波动值。
[0152]
本实施例中，根据基期重复度和现期重复度计算重复度波动值，根据基期运行指标和现期运行指标计算运行指标波动值；基于权重算法，确定重复度波动值和运行指标波动值的指标权重，从而对重复度波动值和运行指标波动值的重要性加以区分；根据任务权重以及带有指标权重的重复度波动值和运行指标波动值计算任务波动值，实现了任务波动性的衡量。
[0153]
在本实施例的一些可选的实现方式中，集市计算模块306可以包括：应用计算子模块以及集市计算子模块，其中：
[0154]
应用计算子模块，用于将波动检测链路中各任务的任务波动值进行线性运算，得到应用的应用波动值。
[0155]
集市计算子模块，用于对数据集市中各应用的应用波动值进行线性运算，得到集市波动值。
[0156]
本实施例中，对波动检测链路中各任务的任务波动值进行线性运算即可得到应用波动值，对数据集市中各应用的应用波动值进行线性运算即可得到集市波动值，从而实现对应用波动和集市波动的衡量。
[0157]
在本实施例的一些可选的实现方式中，数据集市异常检测装置300还可以包括：下钻模块，用于当根据数据集市异常检测结果确定数据集市处于波动异常状态时，对集市波动值进行下钻，得到异常诊断信息。
[0158]
本实施例中，当根据数据集市异常检测结果确定数据集市处于波动异常状态时，
对集市波动值进行下钻，以逐层分析出现异常的应用或者任务并生成异常诊断信息，从而可以及时消除异常。
[0159]
为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
[0160]
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0161]
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0162]
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如数据集市异常检测方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0163]
所述处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述数据集市异常检测方法的计算机可读指令。
[0164]
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
[0165]
本实施例中提供的计算机设备可以执行上述数据集市异常检测方法。此处数据集市异常检测方法可以是上述各个实施例的数据集市异常检测方法。
[0166]
本实施例中，获取任务血缘关系信息，它记录数据集市中任务之间、任务与应用之间上下游的关联关系，基于任务血缘关系信息可以确定应用的波动检测链路；对于波动检测链路中的每个任务，根据任务血缘关系信息确定任务的任务权重以及重复度，其中，任务权重衡量任务对下游应用的支撑程度，可以反映任务的重要程度，重复度衡量任务在链路中的位置；再根据任务日志提取反映任务运行状况的运行指标；根据任务权重、重复度和运行指标，可以计算任务的任务波动值，基于任务波动值可以计算应用的应用波动值，根据应
用波动值可以计算数据集市的集市波动值，将集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果；本技术实现了波动的自动计算与检测，可以在异常放大之前预先发现波动异常，从而减少了数据集市异常的产生。
[0167]
本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据集市异常检测方法的步骤。
[0168]
本实施例中，获取任务血缘关系信息，它记录数据集市中任务之间、任务与应用之间上下游的关联关系，基于任务血缘关系信息可以确定应用的波动检测链路；对于波动检测链路中的每个任务，根据任务血缘关系信息确定任务的任务权重以及重复度，其中，任务权重衡量任务对下游应用的支撑程度，可以反映任务的重要程度，重复度衡量任务在链路中的位置；再根据任务日志提取反映任务运行状况的运行指标；根据任务权重、重复度和运行指标，可以计算任务的任务波动值，基于任务波动值可以计算应用的应用波动值，根据应用波动值可以计算数据集市的集市波动值，将集市波动值与预设的标准集市波动值相比较，得到数据集市异常检测结果；本技术实现了波动的自动计算与检测，可以在异常放大之前预先发现波动异常，从而减少了数据集市异常的产生。
[0169]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0170]
显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。