基于大数据的设备应用日志关联分析系统及方法与流程

1.本发明涉及物联网大数据技术领域，具体为基于大数据的设备应用日志关联分析系统及方法。


背景技术：

2.在物联网中，海量不同的终端节点设备之间想要实现彼此间的互通，需要利用物联网网关实现协议转换，将目标设备产生的信息传送至远端需要这些数据信息的设备，使得信息数据在不同的网络实体之间传输。
3.目标设备在实际运行过程中需要执行不同的业务，并且与不同业务请求的相对应的是不同的响应设备；因传输的协议不同需要的网关设备也是不同的；同时目标设备在实际运行过程中需要执行业务在流程上是具有先后关系的，但是也有一些业务是不具有先后关系的，这也意味着当不具有先后关系的业务同时开展的时候，在网关设备的调用上，响应设备上的调用上是会出现重合的情况；且当同时开展的业务数量大的时候，就容易造成网关负载和响应设备负载大的情况，而在这种情况下，这些网关和响应设备就需要额外关注他们运行情况以防出现因负载过大受到实际运行时其他因素的加成影响导致运行故障。


技术实现要素：

4.本发明的目的在于提供基于大数据的设备应用日志关联分析系统及方法，以解决上述背景技术中提出的问题。
5.为了解决上述技术问题，本发明提供如下技术方案：基于大数据的设备应用日志关联分析方法，分析方法包括：
6.步骤s100：基于大数据分别提取不同设备的历史应用日志，对不同设备历史应用日志中的每一调用记录进行调用条的提取得到每一设备对应的调用条集合；分别对不同设备对应的调用条集合进行划分处理得到若干子调用条集合；
7.步骤s200：分别在不同设备的若干子调用条集合内进行调用条信息的整合和标识处理；得到不同设备中所有业务请求对应的标识情况；
8.步骤s300：分别在不同设备的所有业务请求中进行业务关联性的识别和判断；
9.步骤s400：系统分别对不同设备中各业务请求的运行情况进行实时监测，对总体请求的重合率进行计算；
10.步骤s500：当总体请求重合率大于重合率阈值时，提示系统向造成总体请求重合率的相关网关设备和相关响应设备进行运行线程的监测预警。
11.进一步的，步骤s100包括：
12.步骤s101：从不同设备的历史应用日志中提取每一次用户调用服务调用接口发起业务请求时的调用记录；分别从每一次调用记录中提取执行对应业务请求时的网关设备、与业务请求对应的响应设备得到不同设备每一次调用记录的调用条p
→g→
r；其中，p表示业务请求，g表示执行p时的网关设备，r表示与g对应的响应设备；
13.步骤s102：分别将不同设备的所有调用记录进行整理汇集成对应的调用条集合，一台设备对应一个调用条集合；记存在设备a对应的调用条集合为pa，将设备a对应的调用条集合pa内具有相同业务请求p的所有调用条进行合并得到若干子调用条集合，即pa包括的子调用条集合有{a
p1
,a
p2
,
…
,a
pn
}，其中，a
p1
、a
p2
、
…
、a
pn
分别表示在调用条集合pa内业务请求同为p1的所有调用条组成的子调用条集合、业务请求同为p2的所有调用条组成的子调用条集合、
…
、业务请求同为pn的所有调用条组成的子调用条集合；其中，p1、p2、
…
、pn之间互不相同；
14.上述步骤通过对调用记录进行调用条的提取方法是为了清晰的体现每一次调用记录涉及的业务请求的执行情况；对执行相同业务请求的调用条进行整合，可以看出对应相同的业务请求有多少种网关设备和响应设备的搭配情况，这也能查看出对于一种业务请求是否存在多个网关设备可以执行以及是否有多个响应设备可以执行响应。
15.进一步的，步骤s200包括：
16.步骤s201：记设备a对应的调用条集合pa内存在子调用条集合a
pi
，a
pi
∈{a
p1
,a
p2
,
…
,a
pn
}；对a
pi
内各调用条基于网关设备的不同进行划分归类得到对应不同网关设备的不同响应协调集，记a
pi
内存在的与同种网关设备gk相对应的响应协调集为其中，gk表示在a
pi
内存在的第k种网关设备，k表示自然数；
17.步骤s202：若响应协调集内包含的响应设备种类数为1，将标记属于pi的唯一标识；其中，表示与gk对应的响应设备；若响应协调集内包含的响应设备种类数大于等于2，将内出现的所有响应设备进行汇集得到响应设备集其中分别表示与gk对应的第一种、第二种、
…
、第v种响应设备，将标记属于pi的协同标识；
18.步骤s203：将不同设备的所有响应协调集均进行标识处理分别得到不同设备中所有业务请求对应的标识情况；
19.上述进行唯一标识的处理和协同标识的处理是为了对不同调用条的执行情况进行区别；具有唯一标识的调用条，代表这种调用条对应执行一种业务请求且在选用具有唯一标识的网关设备时对应只有唯一的响应设备，在业务请求量多的时候，不存在其他响应设备进行替换以保证业务的正常执行；具有协同标识的调用条，代表这种调用条对应执行一种业务请求且在选用具有协同标识的网关设备时存在多个响应设备，在业务请求量多的时候，存在多个响应设备可以进行替换以保证业务的正常执行；上述基于各业务请求的网关设备分配以及响应设备分配进行标识处理是为了后续当监测到业务请求量多时重点监测网关和响应设备的锁定；有利于对业务请求的执行情况实现精确的把控。
20.进一步的，步骤s300包括：
21.步骤s301：在不同设备的应用日志中获取不同业务请求的发起时间，以及响应业务请求的设备响应时间；记业务请求a的发起时间发生在业务请求b得到设备响应之后的关联记录为一次业务关联事件
22.步骤s302：计算业务关联事件的重复率其中，表示业务关联事件发生的总次数；m1表示业务请求a的总发起次数，m2表示业务请求b得到响应的总次数；当重复率大于重复率阈值时，判定业务请求a与业务请求b之间存在业务关联；
23.上述是对同一设备不同业务请求之间在时间前后上的关联性进行识别；将存在执行前后规律的业务请求识别出来，是因为这些业务请求在执行时间上都不是并行执行的，存在错开的时间查，类似于一个业务请求执行完毕是下一个业务请求执行开始的标记；所以这类业务请求若在同一时间线上存在发起执行指令时，对整体的运行造成堵塞和大负载的可能性小，上述步骤是为了后续对整体运行负载情况的分析和计算提供技术铺垫，减少计算负担，实现精准分析。
24.进一步的，步骤s400包括：
25.步骤s401：实时提取用户调用了服务调用接口对应的若干业务请求，在若干业务请求中将存在业务关联性的业务请求进行标记；
26.步骤s402：将剩余没有标记的业务请求作为目标业务请求集，将目标业务请求集中所有业务请求基于网关设备计算总体网关匹配集h＝l1∩l2∩
…
∩l
q1
；其中，l1、l2、
…
、l
q1
分别表示目标业务请求集中第一个、第二个、
…
、第q1个业务请求对应的网关设备种类集合；q1为自然数；计算总体网关匹配率其中，q表示目标业务请求集中所有业务请求的网关设备总种类数集；
27.步骤s403：在总体网关匹配集h内分别计算匹配网关hi对应的响应协调匹配集hi＝d1∩d2∩
…
∩d
q2
；其中，hi∈h；d1、d2、
…
、d
q2
分别表示目标业务请求集中第一个、第二个、
…
、第q2个含有匹配网关h的对应响应协调集；计算总体响应协调匹配率：其中，h1、h2、
…
、h
q3
分别表示总体网关匹配集h内的第一个、第二个、
…
、第q3个匹配网关，q3等于总体网关匹配集h内的总匹配网关数；d表示目标业务请求集中所有业务请求的响应设备总种类数集；计算总体请求重合率w＝w1×
w2；
28.上述总体网关匹配集得到的各匹配网关都是不同业务请求存在交叉的网关，说明这些网关可以分别在执行不同业务请求时都被调用，总体网关匹配率越高代表着当这些业务请求同时发起调用服务时，存在选中相同网关的几率越高，即代表着造成运行网关负载大的可能性也越高；同样，总体响应协调匹配率越高代表着当这些业务请求同时发起调用服务时，存在选中相同响应设备的几率越高，即代表着造成运行响应设备负载大的可能性也越高；总体请求重合率即代表着这些业务请求同时发起调用服务时造成运行高负载高重合度的几率。
29.进一步的，步骤s500包括：
30.步骤s501：当总体请求重合率大于重合率阈值时，提取总体网关匹配集内各匹配网关的标识；当总体网关匹配集内出现一匹配网关的标识中同时具有唯一标识和协同标识，监测具有协同标识的业务请求的网关设备和响应设备的具体调用情况；
31.步骤s502：当出现具有协同标识的业务请求的调用情况同唯一标识对应的业务请求的调用情况相同，且符合该种调用情况的业务请求个数大于个数阈值，对系统进行预警
提示，对唯一标识对应的业务请求调用的网关设备和响应设备进行运行线程的重点监测。
32.为更好的实现上述方法还提出了基于大数据的设备应用日志关联分析系统，系统包括：调用条提取处理模块、调用条信息整合标识模块、业务关联性分析模块、业务请求监测模块、预警提示模块；
33.调用条提取处理模块，用于提取不同设备的历史应用日志，对不同设备历史应用日志进行调用条的提取得到每一设备对应的调用条集合；分别对不同设备对应的调用条集合进行划分处理得到若干子调用条集合；
34.调用条信息整合标识模块，用于对不同设备的若干子调用条集合内的调用条信息进行整合，对不同设备的若干子调用条集合内的调用条进行唯一标识和协同标识的处理；
35.业务关联性分析模块，用于分别对不同设备的所有业务请求之间进行业务关联性的识别和判断；
36.业务请求监测模块，用于分别对不同设备中各业务请求的运行情况进行实时监测，对总体运行请求进行总体网关匹配率、总体响应协调匹配率、总体请求重合率的计算；
37.预警提示模块，用于接收业务请求监测模块中的数据，基于数据提示系统向相关网关设备和相关响应设备进行运行线程的监测预警。
38.进一步的，调用条信息整合标识模块包括：信息处理单元、标识处理单元；
39.信息处理单元，用于分别在不同设备的若干子调用条集合内基于网关设备的不同进行划分归类处理；
40.标识处理单元，用于接收信息处理单元中的数据，完成对所有调用条的标记识别和处理。
41.进一步的，业务请求监测模块包括业务请求监测获取单元、第一计算单元、第二计算单元、第三计算单元；
42.业务请求监测获取单元，用于分别对不同设备中各业务请求的运行情况进行实时监测和获取；
43.第一计算单元，用于接收业务请求监测获取单元中的信息，对总体运行请求进行总体网关匹配率的计算；
44.第二计算单元，用于接收业务请求监测获取单元中的信息，对总体运行请求进行总体响应协调匹配率的计算；
45.第三计算单元，用于接收业务请求监测获取单元中的信息，对总体运行请求进行总体请求重合率的计算。
46.与现有技术相比，本发明所达到的有益效果是：本发明可解决实际设备在执行不同业务请求的运行过程中，对因运行负载过大导致受实际运行时其他因素的加成影响导致运行出现故障的情况进行监测预警；在分析的过程中兼顾了对有些业务请求的执行在流程上具备先后规律的考量，在大量不具先后规律的业务同时开展的情况下，对执行过程中网关设备的重合调用和响应设备的重合调用情况进行计算分析得到精确的负载预警信息并对其进行重点设备的精准锁定监测，提高监测效率的同时减少劳动力。
附图说明
47.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实
施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
48.图1是本发明基于大数据的设备应用日志关联分析方法的流程示意图；
49.图2是本发明基于大数据的设备应用日志关联分析系统的结构示意图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.请参阅图1-图2，本发明提供技术方案：基于大数据的设备应用日志关联分析方法，其特征在于，分析方法包括：
52.步骤s100：基于大数据分别提取不同设备的历史应用日志，对不同设备历史应用日志中的每一调用记录进行调用条的提取得到每一设备对应的调用条集合；分别对不同设备对应的调用条集合进行划分处理得到若干子调用条集合；
53.其中，步骤s100包括：
54.步骤s101：从不同设备的历史应用日志中提取每一次用户调用服务调用接口发起业务请求时的调用记录；分别从每一次调用记录中提取执行对应业务请求时的网关设备、与业务请求对应的响应设备得到不同设备每一次调用记录的调用条p
→g→
r；其中，p表示业务请求，g表示执行p时的网关设备，r表示与g对应的响应设备；
55.步骤s102：分别将不同设备的所有调用记录进行整理汇集成对应的调用条集合，一台设备对应一个调用条集合；记存在设备a对应的调用条集合为pa，将设备a对应的调用条集合pa内具有相同业务请求p的所有调用条进行合并得到若干子调用条集合，即pa包括的子调用条集合有{a
p1
,a
p2
,
…
,a
pn
}，其中，a
p1
、a
p2
、
…
、a
pn
分别表示在调用条集合pa内业务请求同为p1的所有调用条组成的子调用条集合、业务请求同为p2的所有调用条组成的子调用条集合、
…
、业务请求同为pn的所有调用条组成的子调用条集合；其中，p1、p2、
…
、pn之间互不相同；
56.例如说，设备a存在任务1的调用条：任务1
→
网关1
→
响应1；任务1
→
网关1
→
响应2；任务1
→
网关2
→
响应2；任务2
→
网关1
→
响应1；任务1
→
网关2
→
响应2；任务1
→
网关3
→
响应2；任务2
→
网关1
→
响应2；
57.则设备1的调用条可以得到业务请求同为任务1的子调用条集合{任务1
→
网关1
→
响应1；任务1
→
网关3
→
响应2；任务1
→
网关2
→
响应2；任务1
→
网关3
→
响应2；任务1
→
网关1
→
响应2}；可以得到业务请求同为任务2的子调用条集合{任务2
→
网关1
→
响应1；任务2
→
网关1
→
响应2}；
58.步骤s200：分别在不同设备的若干子调用条集合内进行调用条信息的整合和标识处理；得到不同设备中所有业务请求对应的标识情况；
59.其中，步骤s200包括：
60.步骤s201：记设备a对应的调用条集合pa内存在子调用条集合a
pi
，a
pi
∈{a
p1
,a
p2
,
…
,a
pn
}；对a
pi
内各调用条基于网关设备的不同进行划分归类得到对应不同网关设备的
不同响应协调集，记a
pi
内存在的与同种网关设备gk相对应的响应协调集为其中，gk表示在a
pi
内存在的第k种网关设备，k表示自然数；
61.步骤s202：若响应协调集内包含的响应设备种类数为1，将标记属于pi的唯一标识；其中，表示与gk对应的响应设备；若响应协调集内包含的响应设备种类数大于等于2，将内出现的所有响应设备进行汇集得到响应设备集其中分别表示与gk对应的第一种、第二种、
…
、第v种响应设备，将标记属于pi的协同标识；
62.步骤s203：将不同设备的所有响应协调集均进行标识处理分别得到不同设备中所有业务请求对应的标识情况；
63.例如说，设备1的调用条有业务请求同为任务1的子调用条集合{任务1
→
网关1
→
响应1；任务1
→
网关3
→
响应2；任务1
→
网关2
→
响应2；任务1
→
网关1
→
响应2}；有业务请求同为任务2的子调用条集合{任务2
→
网关1
→
响应1；任务2
→
网关1
→
响应2}；
64.得到对应任务1的协同响应协调集{网关1
→
响应1；网关3
→
响应2；网关2
→
响应2；网关1
→
响应2}，得到对应网关1的协同响应设备为响应1和响应2；且对于网关3来说只具有唯一的响应2，对于网关2来说指具有唯一的响应2；
65.所以对任务1
→
网关3
→
响应2，任务1
→
网关2
→
响应2都进行唯一标识的标记；对任务1
→
网关1
→
响应1，任务1
→
网关1
→
响应2都进行协同标识的标记；
66.步骤s300：分别在不同设备的所有业务请求中进行业务关联性的识别和判断；
67.其中，步骤s300包括：
68.步骤s301：在不同设备的应用日志中获取不同业务请求的发起时间，以及响应业务请求的设备响应时间；记业务请求a的发起时间发生在业务请求b得到设备响应之后的关联记录为一次业务关联事件
69.步骤s302：计算业务关联事件的重复率其中，表示业务关联事件发生的总次数；m1表示业务请求a的总发起次数，m2表示业务请求b得到响应的总次数；当重复率大于重复率阈值时，判定业务请求a与业务请求b之间存在业务关联；
70.步骤s400：系统分别对不同设备中各业务请求的运行情况进行实时监测，对总体请求的重合率进行计算；
71.其中，步骤s400包括：
72.步骤s401：实时提取用户调用了服务调用接口对应的若干业务请求，在若干业务请求中将存在业务关联性的业务请求进行标记；
73.步骤s402：将剩余没有标记的业务请求作为目标业务请求集，将目标业务请求集中所有业务请求基于网关设备计算总体网关匹配集h＝l1∩l2∩
…
∩l
q1
；其中，l1、l2、
…
、l
q1
分别表示目标业务请求集中第一个、第二个、
…
、第q1个业务请求对应的网关设备种类集
合；q1为自然数；计算总体网关匹配率其中，q表示目标业务请求集中所有业务请求的网关设备总种类数集；
74.步骤s403：在总体网关匹配集h内分别计算匹配网关hi对应的响应协调匹配集hi＝d1∩d2∩
…
∩d
q2
；其中，hi∈h；d1、d2、
…
、d
q2
分别表示目标业务请求集中第一个、第二个、
…
、第q2个含有匹配网关h的对应响应协调集；计算总体响应协调匹配率：其中，h1、h2、
…
、h
q3
分别表示总体网关匹配集h内的第一个、第二个、
…
、第q3个匹配网关，q3等于总体网关匹配集h内的总匹配网关数；d表示目标业务请求集中所有业务请求的响应设备总种类数集；计算总体请求重合率w＝w1×
w2；
75.步骤s500：当总体请求重合率大于重合率阈值时，提示系统向造成总体请求重合率的相关网关设备和相关响应设备进行运行线程的监测预警；
76.例如说，存在业务请求1、业务请求2、业务请求3、业务请求4、业务请求5；业务请求2和业务请求3之间存在业务关联性，所以将业务请求1、业务请求4、业务请求5汇成的集合作为目标业务请求集；
77.业务请求1对应的网关设备种类集合为{网关1,网关2,网关3,网关4}；业务请求4对应的网关设备种类集合为{网关1,网关3,网关5,网关7}；业务请求5对应的网关设备种类集合为{网关1,网关3,网关5,网关6}；
78.则网关设备总种类数集为{网关1,网关2,网关3,网关4,网关5,网关6,网关7}；
79.则总体网关匹配集h＝{网关1,网关2,网关3,网关4}∩{网关1,网关3,网关5,网关7}∩{网关1,网关3,网关5,网关6}＝{网关1,网关3}；
80.总体网关匹配率
81.例如说，网关1在对应业务请求1时的响应协调匹配集为：
82.{响应设备1,响应设备2,响应设备3}；
83.网关1在对应业务请求2时的响应协调匹配集为：
84.{响应设备2,响应设备3,响应设备4}；
85.h1＝
86.{响应设备1,响应设备2,响应设备3}∩
87.{响应设备2,响应设备3,响应设备4}＝{响应设备2,响应设备3}；
88.则响应设备总种类数集为{响应设备1,响应设备2,响应设备3,响应设备4}
89.总体响应协调匹配率：
90.其中，步骤s500包括：
91.步骤s501：当总体请求重合率大于重合率阈值时，提取总体网关匹配集内各匹配网关的标识；当总体网关匹配集内出现一匹配网关的标识中同时具有唯一标识和协同标识，监测具有协同标识的业务请求的网关设备和响应设备的具体调用情况；
92.步骤s502：当出现具有协同标识的业务请求的调用情况同唯一标识对应的业务请求的调用情况相同，且符合该种调用情况的业务请求个数大于个数阈值，对系统进行预警提示，对唯一标识对应的业务请求调用的网关设备和响应设备进行运行线程的重点监测。
93.为更好的实现上述方法还提出了基于大数据的设备应用日志关联分析系统，系统包括：调用条提取处理模块、调用条信息整合标识模块、业务关联性分析模块、业务请求监测模块、预警提示模块；
94.调用条提取处理模块，用于提取不同设备的历史应用日志，对不同设备历史应用日志进行调用条的提取得到每一设备对应的调用条集合；分别对不同设备对应的调用条集合进行划分处理得到若干子调用条集合；
95.调用条信息整合标识模块，用于对不同设备的若干子调用条集合内的调用条信息进行整合，对不同设备的若干子调用条集合内的调用条进行唯一标识和协同标识的处理；
96.业务关联性分析模块，用于分别对不同设备的所有业务请求之间进行业务关联性的识别和判断；
97.业务请求监测模块，用于分别对不同设备中各业务请求的运行情况进行实时监测，对总体运行请求进行总体网关匹配率、总体响应协调匹配率、总体请求重合率的计算；
98.预警提示模块，用于接收业务请求监测模块中的数据，基于数据提示系统向相关网关设备和相关响应设备进行运行线程的监测预警。
99.其中，调用条信息整合标识模块包括：信息处理单元、标识处理单元；
100.信息处理单元，用于分别在不同设备的若干子调用条集合内基于网关设备的不同进行划分归类处理；
101.标识处理单元，用于接收信息处理单元中的数据，完成对所有调用条的标记识别和处理。
102.其中，业务请求监测模块包括业务请求监测获取单元、第一计算单元、第二计算单元、第三计算单元；
103.业务请求监测获取单元，用于分别对不同设备中各业务请求的运行情况进行实时监测和获取；
104.第一计算单元，用于接收业务请求监测获取单元中的信息，对总体运行请求进行总体网关匹配率的计算；
105.第二计算单元，用于接收业务请求监测获取单元中的信息，对总体运行请求进行总体响应协调匹配率的计算；
106.第三计算单元，用于接收业务请求监测获取单元中的信息，对总体运行请求进行总体请求重合率的计算。
107.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
108.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的
保护范围之内。