应用数据的流量监控方法、装置、计算机设备及介质与流程

1.本发明涉及数据处理领域，尤其涉及一种应用数据的流量监控方法、装置、计算机设备及介质。


背景技术：

2.随着计算机技术的快速发展，通过互联网来进行学习、工作、购物、信息查询和业务办理越来越便捷，一些大企业的互联网事务越来越多，为应对日益增长的用户访问需求，需要互联网企业采用集群的方式进行数据访问的响应，但集群涉及较多的节点服务器，每个节点服务器分管不同的应用业务，而由于应用业务的差异性，集群不同应用的流量管控方式无法统一标准，在应用的数据流量出现安全隐患时，如何及时发现并处理，成了一个亟待解决的难题。


技术实现要素：

3.本发明实施例提供一种应用数据的流量监控方法、装置、计算机设备和存储介质，以提高应用数据的流量监控的安全性。
4.为了解决上述技术问题，本技术实施例提供一种应用数据的流量监控方法，包括：
5.基于ip数据流信息输出协议ipfix，实时采集每个应用在预设周期的流量数据，作为基础性能数据；
6.对所述基础性能数据进行解析，得到应用对应的节点服务器的负载信息，作为当前负载信息；
7.针对每个应用，获取所述应用对应的历史负载信息，并将所述历史负载信息和所述当前负载信息，输入到强化学习模型中进行峰值预测，得到预测峰值；
8.判断所述预测峰值是否超过预设预警阈值，若所述预测峰值超过预设预警峰值，则执行预设的流量管控措施。
9.可选地，所述基础性能数据包括ip地址、访问端口、网络协议、吞吐量、访问时长、网络延时、网络抖动和2至7层协议中的一种或多种。
10.可选地，所述将所述历史负载信息和所述当前负载信息，强化学习模型中进行峰值预测，得到预测峰值包括：
11.将所述历史负载信息输入到所述强化学习模型中的预测单元中进行预测，得到第一负载峰值预测值，其中，所述预测单元为神经网络模型；
12.获取所述历史负载信息对应的真实峰值，作为第二负载峰值；
13.将所述第一负载峰值和所述第二负载峰值输入到所述强化学习模型中，基于所述强化学习模型的损失函数，计算得到所述第一负载峰值和所述第二负载峰值的差值，并将所述差值作为所述奖励函数；
14.基于梯度上升方法和所述奖励函数，更新所述强化学习模型；
15.将所述当前负载信息和所述奖励函数输入到更新后的所述强化学习模型中进行
决策，得到决策结果，将所述决策结果中的峰值作为所述预测峰值。
16.可选地，若所述预测峰值超过预设预警峰值，则执行预设的流量管控措施包括：
17.若所述预测峰值超过预设预警峰值处于第一预警范围，则发送预警信息；
18.若所述预测峰值超过预设预警峰值处于第二预警范围，则执行相应的应急预警措施，并对数据流量的访问进行限制处理。
19.可选地，在所述判断所述预测峰值是否超过预设预警阈值，若所述预测峰值超过预设预警峰值，则执行预设的流量管控措施之后，所述应用数据的流量监控方法还包括：
20.根据实时采集的流量数据和所述预测峰值，构建可视化图表，其中，所述可视化图表包括趋势图、频数图、比重图或数据表格中的至少一个；
21.在可视化界面中显示所述可视化图表。
22.为了解决上述技术问题，本技术实施例还提供一种应用数据的流量监控装置，包括：
23.数据采集模块，用于基于ip数据流信息输出协议ipfix，实时采集每个应用在预设周期的流量数据，作为基础性能数据；
24.数据解析模块，用于对所述基础性能数据进行解析，得到应用对应的节点服务器的负载信息，作为当前负载信息；
25.峰值预测模块，用于针对每个应用，获取所述应用对应的历史负载信息，并将所述历史负载信息和所述当前负载信息，输入到强化学习模型中进行峰值预测，得到预测峰值；
26.预警模块，用于判断所述预测峰值是否超过预设预警阈值，若所述预测峰值超过预设预警峰值，则执行预设的流量管控措施。
27.可选地，所述峰值预测模块包括：
28.第一峰值预测单元，用于将所述历史负载信息输入到所述强化学习模型中的预测单元中进行预测，得到第一负载峰值预测值，其中，所述预测单元为神经网络模型；
29.第二峰值获取单元，用于所述历史负载信息对应的真实峰值，作为第二负载峰值；
30.奖励函数计算单元，用于将所述第一负载峰值和所述第二负载峰值输入到所述强化学习模型中，基于所述强化学习模型的损失函数，计算得到所述第一负载峰值和所述第二负载峰值的差值，并将所述差值作为所述奖励函数；
31.模型更新单元，用于基于梯度上升方法和所述奖励函数，更新所述强化学习模型；
32.预测峰值确定单元，用于将所述当前负载信息和所述奖励函数输入到更新后的所述强化学习模型中进行决策，得到决策结果，将所述决策结果中的峰值作为所述预测峰值。
33.可选地，所述预警模块包括：
34.第一预警单元，用于若所述预测峰值超过预设预警峰值处于第一预警范围，则发送预警信息；
35.第二预警单元，用于若所述预测峰值超过预设预警峰值处于第二预警范围，则执行相应的应急预警措施，并对数据流量的访问进行限制处理。
36.可选地，所述应用数据的流量监控装置还包括：
37.可视化图表构建模块，用于根据实时采集的流量数据和所述预测峰值，构建可视化图表，其中，所述可视化图表包括趋势图、频数图、比重图或数据表格中的至少一个；
38.可视化图表显示模块，用于在可视化界面中显示所述可视化图表。
39.为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述应用数据的流量监控方法的步骤。
40.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述应用数据的流量监控方法的步骤。
41.本发明实施例提供的应用数据的流量监控方法、装置、计算机设备及存储介质，基于ip数据流信息输出协议ipfix，实时采集每个应用在预设周期的流量数据，作为基础性能数据，对基础性能数据进行解析，得到应用对应的节点服务器的负载信息，作为当前负载信息，针对每个应用，获取应用对应的历史负载信息，并将历史负载信息和当前负载信息，输入到强化学习模型中进行峰值预测，得到预测峰值，判断预测峰值是否超过预设预警阈值，若预测峰值超过预设预警峰值，则执行预设的流量管控措施，实现对数据流量的实时监控，提高数据流量响应的安全性以及预警的及时性。
附图说明
42.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1是本技术的应用环境示意图；
44.图2是本技术的应用数据的流量监控方法的一个实施例的流程图；
45.图3是根据本技术的应用数据的流量监控装置的一个实施例的结构示意图；
46.图4是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
47.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
48.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
51.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
52.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture eperts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture eperts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
53.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
54.需要说明的是，本技术实施例所提供的信息访问控制方法由服务器执行，相应地，信息访问控制装置设置于服务器中。
55.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本技术实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
56.请参阅图2，图2示出本发明实施例提供的一种应用数据的流量监控方法，详述如下：
57.s201：基于ip数据流信息输出协议ipfix，实时采集每个应用在预设周期的流量数据，作为基础性能数据。
58.其中，ipfix全称为ip flow information export，即ip数据流信息输出，它是由ietf公布的用于网络中的流信息测量的标准协议。
59.本一具体实施方式中，采用ipfix协议，只占实际吞吐的1/250，和常规的数据包抓取相比，提高了处理性能和效率。
60.可选地，基础性能数据包括ip地址、访问端口、网络协议、吞吐量、访问时长、网络延时、网络抖动和2至7层协议中的一种或多种。
61.s202：对基础性能数据进行解析，得到应用对应的节点服务器的负载信息，作为当前负载信息。
62.s203：针对每个应用，获取应用对应的历史负载信息，并将历史负载信息和当前负载信息，输入到强化学习模型中进行峰值预测，得到预测峰值。
63.在一具体可选实施方式中，步骤s203中，将历史负载信息和当前负载信息，强化学习模型中进行峰值预测，得到预测峰值包括：
64.将历史负载信息输入到强化学习模型中的预测单元中进行预测，得到第一负载峰值预测值，其中，预测单元为神经网络模型；
65.获取历史负载信息对应的真实峰值，作为第二负载峰值；
66.将第一负载峰值和第二负载峰值输入到强化学习模型中，基于强化学习模型的损失函数，计算得到第一负载峰值和第二负载峰值的差值，并将差值作为奖励函数；
67.基于梯度上升方法和奖励函数，更新强化学习模型；
68.将当前负载信息和奖励函数输入到更新后的强化学习模型中进行决策，得到决策结果，将决策结果中的峰值作为预测峰值。
69.其中，损失函数loss如公式(1)：
70.loss(y,y')＝-(ylog(y') (1-y)log(1-y'))
ꢀꢀꢀ
(1)
71.式中，y为第一负载峰值，y'为第二负载峰值。
72.其中，梯度上升方法梯度上升法是求函数的局部最大值，在本技术中，优化强化学习模型的优化公式为argmax(loss)。
73.其中，决策单元为感知机模型。
74.对由五层感知机构成的决策单元模型进行说明，具体如下：
75.由五层感知机构成的决策单元模型，包括输入层、隐层和输出层，每一层的单元与之相邻层的所有单元连接，同一层的单元之间没有连接，其中将负载信息输入输入层中，经过隐层，最后由输出层输出决策，具体计算过程如下：
76.输入xi＝(xi1,xi2,...,xin)，xi表示历史负载信息第i个预设周期的负载信息的特征向量，其中，n可根据实际应用场景进行设置，例如，n＝4，同一预设周期具有4个特征向量。
77.根据公式h1＝sigmoid(w1xi b1)输出第一个隐藏层的结果，其中h1表示第一个隐藏层的输出结果，w1表示第一个隐藏层的系数矩阵，b1表示第一个隐藏层的偏置。
78.将h1输入到第二个隐藏层，通过公式h2＝sigmoid(w2h1 b2)计算得到第二个隐藏层的结果，其中h2表示第二个隐藏层的输出结果，w2表示第二个隐藏层的系数矩阵，b2表示第二个隐藏层的偏置。
79.将h2和上一次经过预测单元的长短期记忆模型获得的预测结果y'
i-1
拼接输入到第三个隐藏层，通过公式(2)计算得到输出结果(a1,a2)，其中，a1，a2分别表示取值为0和1的概率，w3表示第三个隐藏层的系数矩阵，b3表示第三个隐藏层的偏置。
80.(a1,a2)＝soft(sigmoid(w3(h2⊕
y'
i-1
) b3))
ꢀꢀꢀ
(2)
81.根据输出的输出结果(a1,a2)进行采样得到最终的决策结果。
82.s204：判断预测峰值是否超过预设预警阈值，若预测峰值超过预设预警峰值，则执行预设的流量管控措施。
83.在一具体可选实施方式中，步骤s204中，若预测峰值超过预设预警峰值，则执行预设的流量管控措施包括：
84.若预测峰值超过预设预警峰值处于第一预警范围，则发送预警信息；
85.若预测峰值超过预设预警峰值处于第二预警范围，则执行相应的应急预警措施，并对数据流量的访问进行限制处理。
86.具体地，在预测峰值超过预设预警峰值的数值处于第一预警范围时，向监控端发送预警信息，以便监控端及时排查原因，在在预测峰值超过预设预警峰值的数值处于第二预警范围时，采取预设的应急措施和预警措施，确保数据访问的安全性。
87.应急预警措施包括但不限于：拒绝ip地址的访问请求、删除该应用对应的服务器节点等，预先为每种应用设置对应的预警措施。
88.应理解，第一预警范围和第二预警范围均为数值范围，且第二预警范围的数值比第一预警范围大，例如，第一预警范围为(0,10]，第二预警范围为(10,100)。
89.在一具体可选实施方式中，在判断预测峰值是否超过预设预警阈值，若预测峰值超过预设预警峰值，则执行预设的流量管控措施之后，应用数据的流量监控方法还包括：
90.根据实时采集的流量数据和预测峰值，构建可视化图表，其中，可视化图表包括趋势图、频数图、比重图或数据表格中的至少一个；
91.在可视化界面中显示可视化图表。
92.本年实施例中，基于ip数据流信息输出协议ipfix，实时采集每个应用在预设周期的流量数据，作为基础性能数据，对基础性能数据进行解析，得到应用对应的节点服务器的负载信息，作为当前负载信息，针对每个应用，获取应用对应的历史负载信息，并将历史负载信息和当前负载信息，输入到强化学习模型中进行峰值预测，得到预测峰值，判断预测峰值是否超过预设预警阈值，若预测峰值超过预设预警峰值，则执行预设的流量管控措施，实现对数据流量的实时监控，提高数据流量响应的安全性以及预警的及时性。
93.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
94.图3示出与上述实施例应用数据的流量监控方法一一对应的应用数据的流量监控装置的原理框图。如图3所示，该应用数据的流量监控装置包括数据采集模块31、数据解析模块32、峰值预测模块33和预警模块34。各功能模块详细说明如下：
95.数据采集模块31，用于基于ip数据流信息输出协议ipfix，实时采集每个应用在预设周期的流量数据，作为基础性能数据；
96.数据解析模块32，用于对基础性能数据进行解析，得到应用对应的节点服务器的负载信息，作为当前负载信息；
97.峰值预测模块33，用于针对每个应用，获取应用对应的历史负载信息，并将历史负载信息和当前负载信息，输入到强化学习模型中进行峰值预测，得到预测峰值；
98.预警模块34，用于判断预测峰值是否超过预设预警阈值，若预测峰值超过预设预警峰值，则执行预设的流量管控措施。
99.可选地，峰值预测模块33包括：
100.第一峰值预测单元，用于将历史负载信息输入到强化学习模型中的预测单元中进行预测，得到第一负载峰值预测值，其中，预测单元为神经网络模型；
101.第二峰值获取单元，用于历史负载信息对应的真实峰值，作为第二负载峰值；
102.奖励函数计算单元，用于将第一负载峰值和第二负载峰值输入到强化学习模型中，基于强化学习模型的损失函数，计算得到第一负载峰值和第二负载峰值的差值，并将差值作为奖励函数；
103.模型更新单元，用于基于梯度上升方法和奖励函数，更新强化学习模型；
104.预测峰值确定单元，用于将当前负载信息和奖励函数输入到更新后的强化学习模型中进行决策，得到决策结果，将决策结果中的峰值作为预测峰值。
105.可选地，预警模块34包括：
106.第一预警单元，用于若预测峰值超过预设预警峰值处于第一预警范围，则发送预警信息；
107.第二预警单元，用于若预测峰值超过预设预警峰值处于第二预警范围，则执行相
应的应急预警措施，并对数据流量的访问进行限制处理。
108.可选地，应用数据的流量监控装置还包括：
109.可视化图表构建模块，用于根据实时采集的流量数据和预测峰值，构建可视化图表，其中，可视化图表包括趋势图、频数图、比重图或数据表格中的至少一个；
110.可视化图表显示模块，用于在可视化界面中显示可视化图表。
111.关于应用数据的流量监控装置的具体限定可以参见上文中对于应用数据的流量监控方法的限定，在此不再赘述。上述应用数据的流量监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
112.为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
113.所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
114.所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
115.所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或d界面显示存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
116.所述处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行数据访问的程序代码。
117.所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在
所述计算机设备4与其他电子设备之间建立通信连接。
118.本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有数据访问程序，所述数据访问程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的应用数据的流量监控方法的步骤。
119.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
120.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
121.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
122.显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。