业务处理方法、装置及设备、介质、程序产品与流程
本技术涉及计算机,尤其涉及人工智能,具体涉及一种业务处理方法、一种业务处理装置、一种计算机设备、一种计算机可读存储介质以及一种计算机程序产品。
背景技术:
1、业务的流量检测是保障业务安全稳定运行的关键环节,它旨在通过对业务的流量数据的分析,识别出与正常流量模式存在显著差异的情况,以及时发现潜在的风险和问题。目前,业界主流的流量检测方案主要依赖于基于统计特征的规则组合,例如统计如请求包大小、包间隔时间分布等特征,然后设定相应的规则阈值,当统计的特征超过相应的规则阈值时,判定为业务出现流量异常,由于所使用的特征和规则较为基础,难以捕捉复杂的流量模式和动态变化,因此存在着流量检测的准确度较低的问题。
技术实现思路
1、本技术实施例提供了一种业务处理方法、装置及设备、介质、程序产品,可提升流量检测的准确度。
2、一方面,本技术实施例提供了一种业务处理方法,该方法包括:
3、获取业务的多粒度流量特征数据,多粒度流量特征数据包含m个流量特征序列,每个流量特征序列对应一种时间粒度,每个流量特征序列是按照对应的时间粒度对业务的流量数据进行统计排列处理得到的,m是大于1的整数;
4、对m个流量特征序列分别进行分块特征提取处理,得到每个流量特征序列的分块特征;
5、对m个流量特征序列的分块特征进行时空分析重构处理,重构出业务的重构流量特征数据;
6、基于多粒度流量特征数据与重构流量特征数据之间的差异,确定业务的流量检测结果,流量检测结果用于表征业务的流量异常度。
7、一方面,本技术实施例提供了一种业务处理装置,该装置包括:
8、获取单元,用于获取业务的多粒度流量特征数据,多粒度流量特征数据包含m个流量特征序列,每个流量特征序列对应一种时间粒度,每个流量特征序列是按照对应的时间粒度对业务的流量数据进行统计排列处理得到的,m是大于1的整数;
9、处理单元,用于对m个流量特征序列分别进行分块特征提取处理,得到每个流量特征序列的分块特征;
10、处理单元,还用于对m个流量特征序列的分块特征进行时空分析重构处理,重构出业务的重构流量特征数据;
11、处理单元,还用于基于多粒度流量特征数据与重构流量特征数据之间的差异,确定业务的流量检测结果,流量检测结果用于表征业务的流量异常度。
12、在一个实现方式中,不同种的时间粒度定义了不同的单位时长,所述m个流量特征序列的序列长度均为l,所述m个流量特征序列中任一流量特征序列表示为流量特征序列mi,所述流量特征序列mi对应时间粒度ti,i是小于或等于m的正整数,l是大于1的整数;
13、所述获取单元获取业务的多粒度流量特征数据,包括:
14、从预设检测时间点开始,根据所述时间粒度ti定义的单位时长及所述序列长度l,确定l个时间区间;
15、统计所述业务在每个所述时间区间的流量数据;
16、按照时间顺序对l个流量数据进行排列处理,得到所述时间粒度ti对应的流量特征序列mi。
17、在一个实现方式中,获取单元统计所述业务在每个所述时间区间的流量数据,包括以下步骤中的任一种;
18、统计所述业务在每个所述时间区间的业务请求量,并设置为所述业务在每个所述时间区间的流量数据;
19、统计所述业务在每个所述时间区间的业务请求频率,并设置为所述业务在每个所述时间区间的流量数据;
20、统计所述业务在每个所述时间区间的业务请求成功率,并设置为所述业务在每个所述时间区间的流量数据;
21、统计所述业务在每个所述时间区间的业务响应时间,并设置为所述业务在每个所述时间区间的流量数据;
22、统计所述业务在每个所述时间区间的业务请求包大小,并设置为所述业务在每个所述时间区间的流量数据。
23、在一个实现方式中,所述分块特征提取处理通过调用流量检测模型执行,所述流量检测模型包含m组提取网络架构,每组所述提取网络架构用于对一个所述流量特征序列进行分块特征提取处理,任一组所述提取网络架构包含一个分块模块和一个嵌入模块;所述m个流量特征序列中任一流量特征序列表示为流量特征序列mi;
24、所述处理单元对所述m个流量特征序列分别进行分块特征提取处理,得到每个所述流量特征序列的分块特征,包括:
25、调用所述流量检测模型的第i组提取网络架构中的分块模块对所述流量特征序列mi进行分块处理,得到所述流量特征序列mi的至少一个分块,所述第i组提取网络架构用于对所述流量特征序列mi进行分块特征提取处理;
26、调用所述第i组提取网络架构中的嵌入模块对所述流量特征序列mi的各个分块进行嵌入特征学习,得到所述流量特征序列mi的分块特征。
27、在一个实现方式中,所述第i组提取网络架构中的分块模块定义有时间窗的窗口长度和步长;
28、所述处理单元调用所述流量检测模型的第i组提取网络架构中的分块模块对所述流量特征序列mi进行分块处理,得到所述流量特征序列mi的至少一个分块,包括:
29、控制所述时间窗从所述流量特征序列mi的起始位置开始,按照所述步长在所述流量特征序列mi中移动,直至移动至所述流量特征序列mi的末尾位置;
30、在每次移动时,提取位于所述时间窗内的子序列并确定为所述流量特征序列mi的分块。
31、在一个实现方式中,所述时空分析处理通过调用流量检测模型执行,所述流量检测模型包含时空分析模块和数据重构模块;
32、所述处理单元对所述m个流量特征序列的分块特征进行时空分析重构处理,重构出所述业务的重构流量特征数据,包括:
33、对所述m个流量特征序列的分块特征进行组合处理,生成目标分块特征;调用所述时空分析模块对所述目标分块特征进行时空分析处理,得到时空分析特征,所述时空分析特征用于表征所述m个流量特征序列在时序和空间上的相关性;
34、调用所述数据重构模块对所述时空分析特征进行重构处理,得到所述业务的重构流量特征数据。
35、在一个实现方式中,所述处理单元对所述m个流量特征序列的分块特征进行组合处理,生成目标分块特征,包括:
36、获取所述m个流量特征序列的权重;其中,每个所述流量特征序列的权重与对应的时间粒度所定义的单位时长之间成反相关关系;
37、利用每个所述流量特征序列的权重,对每个所述流量特征序列的分块特征进行加权处理,得到每个所述流量特征序列的加权分块特征;
38、对所述m个流量特征序列的加权分块特征进行组合处理,生成目标分块特征。
39、在一个实现方式中,所述流量检测模型的训练方法,包括:
40、调用获取单元获取训练数据,所述训练数据包括所述业务的m个训练流量特征序列,每个所述训练流量特征序列对应一种所述时间粒度;
41、调用处理单元调用初始检测模型对所述m个训练流量特征序列进行分块特征提取处理,得到每个所述训练流量特征序列的分块特征;
42、调用处理单元调用所述初始检测模型对所述m个训练流量特征序列的分块特征进行时空分析重构处理,重构出所述业务的训练重构数据;
43、调用处理单元基于所述训练数据和所述训练重构数据之间的差异,对所述初始检测模型进行训练,得到所述流量检测模型。
44、在一个实现方式中,不同种的时间粒度定义了不同的单位时长;所述m个训练流量特征序列的序列长度均为l,所述m个训练流量特征序列中任一训练流量特征序列表示为训练流量特征序列mj,所述流量特征序列mj对应时间粒度tj,j是小于或等于m的正整数;
45、所述获取单元获取所述业务的训练多粒度流量特征数据,包括:
46、从预设训练时间点开始,根据所述时间粒度tj定义的单位时长及所述序列长度l,确定l个训练时间区间;所述业务在所述l个训练时间区间内处于流量正常状态;
47、获取所述业务在每个所述训练时间区间的训练流量数据;
48、按照时间顺序对l个训练流量数据进行排序处理,得到所述时间粒度tj对应的训练流量特征序列mj。
49、在一个实现方式中,每个所述流量特征序列包含l个流量数据,一个所述流量数据对应一个时间区间;所述重构流量特征数据包含所述m个流量特征序列中各个所述流量数据的重构流量数据;
50、所述处理单元基于所述多粒度流量特征数据与所述重构流量特征数据之间的差异,确定所述业务的流量检测结果,包括:
51、获取流量异常预警时间点,所述流量异常预警时间点为预设检测时间点的历史时间;
52、计算所述多粒度流量特征数据中第一流量数据与所述重构流量特征数据中第一重构流量数据之间的第一差异;所述第一流量数据对应的时间区间位于所述流量异常预警时间点之前或者包含所述流量异常预警时间点;所述第一重构流量数据是所述第一流量数据的重构流量数据;
53、计算所述多粒度流量特征数据中第二流量数据与所述重构流量特征数据中第二重构流量数据之间的第二差异,所述第二流量数据对应的时间区间位于所述流量异常预警时间点之后;所述第二重构流量数据是所述第二流量数据的重权流量数据;
54、获取所述第一差异对应的第一权重和所述第二差异对应的第二权重,所述第一权重小于所述第二权重;
55、按照所述第一权重和所述第二权重对所述第一差异和所述第二差异进行加权求和处理,得到所述业务的流量检测结果。
56、在一个实现方式中,处理单元还用于:
57、若所述业务的流量检测结果指示所述业务的流量异常度高于预设异常度阈值,则生成流量异常预警通知;
58、将所述流量异常预警通知发送至所述业务的运维端,所述流量异常预警通知用于预警所述业务处于流量异常状态。
59、在一个实现方式中,每个所述流量特征序列涵盖一个时间范围;所述重构流量特征数据包含每个所述流量特征序列的重构流量特征序列;
60、所述处理单元生成流量异常预警通知,包括:
61、若所述多粒度流量特征数据中第一流量特征序列与所述重构流量特征数据中的第一重构流量特征序列之间的差异大于预设差异阈值,则获取所述业务在所述第一流量特征序列所涵盖的时间范围内的业务日志信息,所述第一重构流量特征序列是所述第一流量特征序列的重构流量特征序列;
62、对所述业务日志信息进行解析,生成流量异常预警通知。
63、一方面,本技术实施例提供了一种计算机设备,该计算机设备包括:
64、处理器,用于加载并执行计算机程序;
65、计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时,实现上述业务处理方法。
66、一方面,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行上述业务处理方法。
67、一方面,本技术实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行时,实现上述业务处理方法。
68、本技术实施例,可获取业务的多粒度流量特征数据,多粒度流量特征数据包含m(该m是大于1的整数)个流量特征序列,每个流量特征序列对应一种时间粒度,每个流量特征序列是按照对应的时间粒度对业务的流量数据进行统计排列处理得到的;这样不同的流量特征序列可以反映业务的流量数据在不同时间尺度上的变化规律,例如,对应5分钟粒度的流量特征序列可以反映业务的流量数据的短期变化规律,对应1小时粒度的流量特征序列可以反映业务的流量数据的中期变化规律,对应24小时粒度的流量特征序列可以反映业务的流量数据的长期变化规律。对m个流量特征序列分别进行分块特征提取处理,得到每个流量特征序列的分块特征,一方面可以保证每个流量特征序列可以独立地进行分块特征提取处理,避免对业务的流量数据在不同时间尺度上所反映出来的特征产生特征混淆,另一方面可以更好地捕捉业务的流量数据在每个时间尺度上所反映出来的局部特征,同时降低流量特征序列的计算复杂度。对m个流量特征序列的分块特征进行时空分析重构处理,重构出业务的重构流量特征数据,也就是说,可以通过捕捉m个训练流量特征序列之间的空间相关性(反映了业务的流量数据在不同时间尺度上的关联程度),以及每个流量特征序列自身的时序相关性(反映了业务的流量数据在时序上的关联程度),重构出业务的重构流量特征数据,重构流量特征数据代表了业务在正常流量模式下的特征表现。基于多粒度流量特征数据与重构流量特征数据之间的差异,确定业务的流量检测结果,流量检测结果用于表征业务的流量异常度,例如当多粒度流量特征数据与重构流量特征数据之间存在显著差异(如大于一个预设的差异阈值)时,说明当前的业务流量模式偏离了正常流量模式,业务很可能出现了流量异常,业务的流量异常度可能较大(如大于一个预设的异常阈值)。综上所述,本技术通过综合运用多粒度数据获取技术、分块特征提取技术、时空分析重构技术,构建了一个能够准确地进行流量检测的方案,有利于保障业务的安全稳定运行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com