一种基于大数据的接口异常调用行为感知预警装置及方法与流程

1.本发明涉及接口异常调用行为感知预警技术，尤其涉及一种数据处理效率高的基于大数据的接口异常调用行为感知预警装置及方法。


背景技术：

2.伴随着大数据技术的使用日益广泛，很多业务平台提供的接口会越来越多的涉及到大数据场景，会有大量的数据通过接口的方式暴露给第三方平台使用。
3.目前市面上的一些监控产品都是基于非大数据场景建设的，无法存储目前公司大数据场景下的接口使用日志，在当前的大数据洪流中，相关大数据应用接口调用日志动辄tb甚至pb。面对这样的海量调用日志，现有监测方法是无法处理的，无法对大数据场景下的海量日志信息进行存储、分析、预警。并且，监控指标更改时，现有的监测产品无法对历史调用情况进行再次分析、预警；监控指标是通过预设埋点的方式实现，基本不具备扩展能力、备灵活性差。无法满足当前大数据场景的监控需求。
4.因此，有必要提出一种改善以克服现有技术缺陷。


技术实现要素：

5.本发明的目的是解决现有技术中的问题，提供一种基于大数据的接口异常调用行为感知预警装置及方法，对基于大数据场景开发的接口进行调用监控，出现风险时给出及时的预警，确保系统的数据安全及系统稳定。
6.本发明的技术方案是：
7.一种基于大数据的接口异常调用行为感知预警装置，包括规则设置模块、数据采集模块、数据存储模块、指标项数据清洗模块、指标数据分析模块、bi模块及预警通知模块；所述规则设置模块用于设定接口异常调用的指标项、接口异常调用指标项对应的指标项阈值以及接口异常调用指标项对应的指标项阈值突破时的预警规则；所述数据采集模块用于对接口调用行为信息进行采集；所述数据存储模块用于存储所述数据采集模块采集到的数据；所述指标项数据清洗模块用于对所述数据存储模块存储的所述数据采集模块采集到的数据，根据所述规则设置模块预设的指标项进行数据计算，获取到需要的接口异常调用指标数据；所述指标数据分析模块用于对所述指标项数据清洗模块获取到需要的接口异常调用指标数据与所述规则设置模块预设的指标项对应的指标项阈值进行比较分析，获取到接口异常调用的异常指标数据；所述bi模块用于对所述指标数据分析模块获取到的接口异常调用的异常指标数据进行展示；所述预警通知模块用于根据所述规则设置模块预设的接口异常调用指标项对应的指标项阈值突破时的预警规则对所述指标数据分析模块获取到的接口异常调用的异常指标数据进行预警通知。
8.作为一种优选的技术方案，所述数据采集模块采用大数据组件flume kafka进行数据采集。
9.作为一种优选的技术方案，所述数据存储模块使用大数据组件hbase进行数据存
储。
10.作为一种优选的技术方案，所述指标数据分析模块使用大数据组件spark进行数据清洗。
11.本发明还提供了一种应用以上基于大数据的接口异常调用行为感知预警装置的方法，包括以下步骤：s1、设置指标项、指标项阈值及预警规则：通过所述规则设置模块设定接口异常调用的指标项、接口异常调用的指标项对应的指标项阈值及突破所述指标项阈值时的预警规则；s2、采集接口调用行为信息：通过所述数据采集模块对接口调用行为信息进行采集；s3、存储接口调用行为信息：通过所述数据存储模块对步骤s2采集到的接口调用行为信息进行存储；s4、根据指标项进行数据清洗：通过所述指标项数据清洗模块根据步骤s1设置的指标项对接口调用行为信息进行数据清洗，并将清洗后的数据存储至所述数据存储模块；s5、获取异常指标数据：通过所述指标数据分析模块根据步骤s1设置的指标项阈值对步骤s4清洗后的数据进行比较分析，得到异常指标数据，并将异常指标数据存储至所述数据存储模块；s6、异常指标数据展示：通过所述bi模块对步骤s5中得到的异常指标数据进行展示；s7、异常数据预警通知：通过所述预警通知模块对步骤s5中得到的异常指标数据根据步骤s1中设置的预警规则进行判断，如需进行预警通知，则通过所述预警通知模块进行预警通知。
12.作为一种优选的技术方案，所述步骤s1中的指标项包括：1分钟内统一调用方调用的接口总次数、1秒内同一调用方调用的同一接口次数、1天内同一调用方获取的接口数据物理容量及1天内同一调用方获取的接口数据行数。
13.作为一种进一步优选的技术方案，所述步骤s1中的指标项阈值包括：1分钟内同一调用方调用的接口总次数不能超过10k、1秒内同一调用方调用的同一接口不能超过50次、1天内同一调用方获取的接口数据物理容量不得超过1g及1天内同一调用方获取的接口数据行不得超过1m。
14.作为一种更进一步优选的技术方案，所述步骤s1中的预警规则为：突破指标项阈值“1天内统一调用方获取的接口数据物理容量不得超过1g”时，向指定联系人发送预警信息。
15.作为一种优选的技术方案，所述步骤s1中的指标项、指标项阈值可进行变更；当指标项变更时，再次触发步骤s4及之后的步骤；当指标项阈值变更时，再次触发步骤s5及之后的步骤。
16.作为一种优选的技术方案，所述步骤s2中接口调用行为信息包括：api特征码、请求ip、请求时间、请求参数、访问耗时、请求用户或服务器信息、请求状态、返回数据物理容量、返回的数据行数及返回的具体数据。
17.本发明的一种基于大数据的接口异常调用行为感知预警装置及方法，使用大数据技术对大数据场景下的海量日志信息进行存储、分析、预警，指标项、指标项阈值及预警规则均是通过规则设置模块灵活设置，可以根据实际需要进行扩展和调整，灵活性高，通过大数据方式对接口调用行为信息进行处理，对于异常指标数据可以快速识别并进行展示预警，数据处理效率高，系统的数据安全及稳定性好。
附图说明
18.图1为本发明一种基于大数据的接口异常调用行为感知预警装置的系统框图；
19.图2为本发明基于大数据的接口异常调用行为感知预警方法流程框图。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
22.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
23.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
24.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
25.如图1所示为本发明的一种基于大数据的接口异常调用行为感知预警装置具体实施方式，本发明的一种基于大数据的接口异常调用行为感知预警装置，包括规则设置模块、数据采集模块、数据存储模块、指标项数据清洗模块、指标数据分析模块、bi模块及预警通知模块。其中：
26.规则设置模块用于设定接口异常调用的指标项、接口异常调用指标项对应的指标项阈值以及接口异常调用指标项对应的指标项阈值突破时的预警规则。
27.数据采集模块用于对接口调用行为信息进行采集；所述数据存储模块用于存储所述数据采集模块采集到的数据。
28.指标项数据清洗模块用于对所述数据存储模块存储的所述数据采集模块采集到的数据，根据所述规则设置模块预设的指标项进行数据计算，获取到需要的接口异常调用指标数据。
29.指标数据分析模块用于对所述指标项数据清洗模块获取到需要的接口异常调用指标数据与所述规则设置模块预设的指标项对应的指标项阈值进行比较分析，获取到接口异常调用的异常指标数据。
30.bi模块用于对所述指标数据分析模块获取到的接口异常调用的异常指标数据进行展示；所述预警通知模块用于根据所述规则设置模块预设的接口异常调用指标项对应的指标项阈值突破时的预警规则对所述指标数据分析模块获取到的接口异常调用的异常指标数据进行预警通知。
31.在实际应用时，为了应对海量的接口调用行为信息吞吐量，数据采集模块可以采用大数据组件flume kafka进行数据采集。
32.在实际应用时，为了应对海量接口调用行为信息的存储，数据存储模块可以使用大数据组件hbase进行数据存储。
33.在实际应用时，为了应对海量接口调用行为信息的清洗，指标数据分析模块可以使用大数据组件spark进行数据清洗。
34.本发明还提供了一种应用以上基于大数据的接口异常调用行为感知预警装置的方法，如图2所示，包括以下步骤：
35.s1、设置指标项、指标项阈值及预警规则：通过所述规则设置模块设定接口异常调用的指标项、接口异常调用的指标项对应的指标项阈值及突破所述指标项阈值时的预警规则。
36.s2、采集接口调用行为信息：通过所述数据采集模块对接口调用行为信息进行采集。在实际应用时，为应对海量的接口调用行为信息，数据采集模块可以使用大数据组件flume kafka进行数据采集。
37.s3、存储接口调用行为信息：通过所述数据存储模块对步骤s2采集到的接口调用行为信息进行存储。在实际应用时，为应对海量接口调用行为信息的存储，数据存储模块可以使用大数据组件hbase进行数据存储。
38.s4、根据指标项进行数据清洗：通过所述指标项数据清洗模块根据步骤s1设置的指标项对接口调用行为信息进行数据清洗，并将清洗后的数据存储至所述数据存储模块。在实际应用时，为应对海量接口调用行为信息的清洗，指标数据分析模块可以使用大数据组件spark进行数据清洗，清洗后的数据存入大数据组件hbase。
39.s5、获取异常指标数据：通过所述指标数据分析模块根据步骤s1设置的指标项阈值对步骤s4清洗后的数据进行比较分析，得到异常指标数据，并将异常指标数据存储至所述数据存储模块。异常指标数据可以存储至关系型数据库中，以对异常指标数据进行管理，便于后续信息处理及追溯。
40.s6、异常指标数据展示：通过所述bi模块对步骤s5中得到的异常指标数据进行展示。
41.s7、异常数据预警通知：通过所述预警通知模块对步骤s5中得到的异常指标数据根据步骤s1中设置的预警规则进行判断，如需进行预警通知，则通过所述预警通知模块进行预警通知。
42.其中，在实际应用中，步骤s1中的指标项包括：1分钟内统一调用方调用的接口总次数、1秒内同一调用方调用的同一接口次数、1天内同一调用方获取的接口数据物理容量及1天内同一调用方获取的接口数据行数。对应的，指标项阈值包括：1分钟内同一调用方调用的接口总次数不能超过10k、1秒内同一调用方调用的同一接口不能超过50次、1天内同一调用方获取的接口数据物理容量不得超过1g及1天内同一调用方获取的接口数据行不得超
过1m。对应的，预警规则为：突破指标项阈值“1天内统一调用方获取的接口数据物理容量不得超过1g”时，向指定联系人发送预警信息。其中，向指定联系人发送预警信息可以为向联系人的手机上发送预警短信，或向联系人预设的app软件发送预警提示信息。
43.本实施例的一种基于大数据的接口异常调用行为感知预警方法，步骤s1中的指标项、指标项阈值可进行变更；当指标项变更时，再次触发步骤s4及之后的步骤；当指标项阈值变更时，再次触发步骤s5及之后的步骤。也即，本发明的一种基于大数据的接口异常调用行为感知预警方法，可以根据实际需求调整监测指标，当指标变化时，可以对存量数据进行分析预警。
44.在实际应用时，步骤s2中接口调用行为信息包括：api特征码、请求ip、请求时间、请求参数、访问耗时、请求用户或服务器信息、请求状态、返回数据物理容量、返回的数据行数及返回的具体数据。
45.本发明的一种基于大数据的接口异常调用行为感知预警装置及方法，使用大数据技术对大数据场景下的海量日志信息进行存储、分析、预警，指标项、指标项阈值及预警规则均是通过规则设置模块灵活设置，可以根据实际需要进行扩展和调整，灵活性高，通过大数据方式对接口调用行为信息进行处理，对于异常指标数据可以快速识别并进行展示预警，数据处理效率高，系统的数据安全及稳定性好。并且，本发明还提出了一种优选方案，可以根据实际需求调整监测指标，当指标变化时，可以对存量数据进行分析预警。
46.综上所述仅为本发明较佳的实施例，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化及修饰，皆应属于本发明的技术范畴。