基于注意力机制学习网络的小区网络负荷指标预测方法与流程

1.本发明涉及机器学习技术领域，尤其涉及一种基于注意力机制学习网络的小区网络负荷指标预测方法。


背景技术：

2.随着移动无线网络的发展，尤其是4g、5g网络的不断演进，移动网络面临越来越严重的负荷问题，网络负荷区域性、时间性分布不均问题日益凸显，如何实现移动通信网络负荷指标精准快速预测是开展移动无线网络容量保障的重要前提。
3.现有技术方案中，使用较多的是通过lstm网络进行建模，首先获取一定历史时间段的负荷数据，然后进行归一化处理，将归一化处理后的数据输入lstm网络进行训练，通过循环迭代完成预测模型构建。现有技术中的基于多层lstm-rnn的通信能力开放负荷预测方法，通过获取通信能力开放平台在待预测时间段之前预设时间段内的负荷数据，对负荷数据进行归一化处理，将归一化处理后的负荷数据变换成适合lstm神经网络的形状，其中，负荷数据包括以小时为颗粒度的每小时api调用量和每小时峰值tps；将变换形状后的负荷数据输入预先构建的、训练好的多层lstm-rnn负荷预测模型，并将输出结果做反归一化处理，得到待预测时间段的负荷预测结果，多层lstm-rnn负荷预测模型包括输入层、输出层和至少两层堆叠的lstm隐藏层。但是，使用lstm网络进行建模预测的方案，网络结构单一，网络中的输入门和遗忘门是互补关系，具有一定的冗余性，未能根据移动通信网络负荷指标特点引入相关矫正与数据预处理加强，预测效果较差。
4.另外，现有技术中还有一类方法采用线性模型进行负荷指标数据预测，根据特定场景负荷变化特点，建立线性模型，对相似场景负荷数据进行预测。其中，现有的移动通信网络的业务量预测方法，其根据第一移动通信网络的寻呼信息，获取第一移动通信网络的寻呼量，以及根据第一移动通信网络的业务量信息，获取第一移动通信网络的业务量，根据第一移动通信网络的寻呼量和业务量，利用线性回归原理获取线性回归模型；根据第二移动通信网络的寻呼信息，获取第二移动通信网络的寻呼量，第一移动通信网络与第二移动通信网络不同，根据第二移动通信网络的寻呼量，以及寻呼量与业务量的线性关系模型，估计第二移动通信网络的业务量。上述采用线性建模预测的方法，需要根据不同场景分别建立模型，且线性模型只能应用于少数特定场景，适应性差，移动通信网络负荷指标变化复杂，影响因素众多，线性模型无法实现精确拟合。
5.因此，如何避免现有技术中进行移动通信网络负荷指标预测的精度低导致的场景适应性低的问题，如何使得移动通信网络负荷指标预测能达到高精度预测的需求，仍然是本领域技术人员亟待解决的问题。


技术实现要素：

6.本发明实施例提供一种于注意力机制学习网络的小区网络负荷指标预测方法和装置，用以解决现有技术中进行移动通信网络负荷指标预测的精度低的问题。
7.第一方面，本发明实施例提供一种于注意力机制学习网络的小区网络负荷指标预测方法，包括：
8.采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数；
9.将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；
10.其中，所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，m为正整数。
11.优选地，该方法中，所述将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，具体包括：
12.将所述待预测原始时间序列中的自然数转换成对数，得到待预测对数时间序列；
13.将所述待预测对数时间序列输入异常点检测模型，输出待预测正常对数时间序列；
14.将所述待预测正常对数时间序列输入补全模型，输出待预测补全时间序列；
15.将所述待预测补全时间序列进行归一化和标准化处理，得到待预测清洁时间序列；
16.其中，所述异常点检测模型是基于m个小区的前n天的样本对数时间序列使用one-class svm异常点检测算法得到的，所述补全模型是基于m个小区的前n天的样本正常对数时间序列使用随机森林分类器训练得到的。
17.优选地，该方法中，所述异常点检测模型是基于m个小区的前n天的样本对数时间序列使用one-class svm异常点检测算法得到的，具体包括：
18.构建如下最优化问题的目标函数和约束条件来求解采用了one-class svm异常点检测算法的异常点检测模型：
[0019][0020][0021][0022]
其中，a和r分别为基于n个正常样本对数数据构建的超球体的中心和半径，r》0，c为预设惩罚系数，为预设松弛变量，xi代表第i个移动通信网络负荷指标数据点到中心的距离，m个小区的前n天的样本对数时间序列中包含n个正常样本对数数据。
[0023]
优选地，该方法中，所述补全模型是基于m个小区的前n天的样本正常对数时间序列使用随机森林分类器训练得到的，具体包括：
[0024]
对于第t次迭代训练，
[0025]
拟合和得到拟合矩阵，训练当前迭代轮次随机森林模型rf
t
，将输入rf
t
，输出
[0026]
使用更新所述拟合矩阵，s＝1,2,
…
,k；
[0027]
其中，t＝1,2,
…
,γ,γ为预设最大迭代次数阈值，k为m个小区的前n天的样本正常对数时间序列中为缺失数据的小区个数，为缺失数据的第s个小区的样本正常对数时间序列的观测值，为缺失数据的第s个小区的样本正常对数时间序列的补全预测缺失值，为m个小区的样本正常对数时间序列中除开所述第s个小区的其他样本正常对数时间序列中对应于第s个小区的缺失数据以外的观测值，为m个小区的样本正常对数时间序列中除开所述第s个小区的其他样本正常对数时间序列中对应于第s个小区的缺失数据的观测值；
[0028]
第γ次迭代训练得到的随机森林模型rfγ为所述补全模型。
[0029]
优选地，该方法中，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，具体包括：
[0030]
所述预测模型训练时使用l层bigru网络层，将第l层bigru网络层的输出h
l
和所有bigru网络层的输出y输入attention机制层；
[0031]
所述attention机制层进行如下操作：
[0032]
基于h
l
和y确定各bigru网络层各时刻的注意力特征得分；
[0033]
基于所述各bigru网络层各时刻的注意力特征得分确定各bigru网络层当前时刻对应的权重值；
[0034]
基于所述各bigru网络层当前时刻对应的权重值确定所有bigru网络层输出的加权表达；
[0035]
基于所述所有bigru网络层输出的加权表达和h
l
确定attention机制层的输出。
[0036]
优选地，该方法中，所述基于h
l
和y确定各bigru网络层各时刻的注意力特征得分，具体包括：
[0037]
通过如下公式确定各bigru网络层各时刻的注意力特征得分mq:
[0038]
mq＝tanl(wy×
y (wh×hl
×el
))
[0039]
其中，l为bigru网络层的层数，h
l
∈r1×
l
第为第l层bigru网络层的输出，mq∈rf×
l
，f为各小区样本清洁时间序列中元素的个数，wy∈rf×f，wh∈rf×f，e
l
∈rf且wy、wh和e
l
分别为随机生成的可训练的矩阵、矩阵和向量，y∈rf×
l
且为所有bigru网络层的输出；
[0040]
对应地，所述基于所述各bigru网络层各时刻的注意力特征得分确定各bigru网络层当前时刻对应的权重值，具体包括：
[0041]
通过如下公式确定各bigru网络层当前时刻对应的权重值aa:
[0042]
aa＝softmax(ω
t
×
mq)
[0043]
其中，aa∈r
l
,ω∈rf且ω为随机生成的可训练的向量，softmax(
·
)为归一化指数函数；
[0044]
所述基于所述各bigru网络层当前时刻对应的权重值确定所有bigru网络层输出
的加权表达，具体包括：
[0045]
通过如下公式确定所有bigru网络层输出的加权表达rr:
[0046]
rr＝yaa
t
[0047]
其中，rr∈rf；
[0048]
所述基于所述所有bigru网络层输出的加权表达和h
l
确定attention机制层的输出，具体包括：
[0049]
通过如下公式确定attention机制层的输出h
*
:
[0050]h*
＝tanl(w
p
×
rr w
x
×hl
)
[0051]
其中，w
p
∈rf×f，w
x
∈rf×f，且w
p
和w
x
均为随机生成的可训练的矩阵。
[0052]
第二方面，本发明实施例提供一种基于注意力机制学习网络的小区网络负荷指标预测装置，包括：
[0053]
预处理单元，用于采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数；
[0054]
预测单元，用于将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；其中，所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，m为正整数。
[0055]
优选地，该装置中，所述将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，具体包括：
[0056]
将所述待预测原始时间序列中的自然数转换成对数，得到待预测对数时间序列；
[0057]
将所述待预测对数时间序列输入异常点检测模型，输出待预测正常对数时间序列；
[0058]
将所述待预测正常对数时间序列输入补全模型，输出待预测补全时间序列；
[0059]
将所述待预测补全时间序列进行归一化和标准化处理，得到待预测清洁时间序列；
[0060]
其中，所述异常点检测模型是基于m个小区的前n天的样本对数时间序列使用one-class svm异常点检测算法得到的，所述补全模型是基于m个小区的前n天的样本正常对数时间序列使用随机森林分类器训练得到的。
[0061]
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于注意力机制学习网络的小区网络负荷指标预测方法的步骤。
[0062]
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于注意力机制学习网络的小区网络负荷指标预测方法的步骤。
[0063]
本发明实施例提供的基于注意力机制学习网络的小区网络负荷指标预测方法和装置，采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测
历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数；将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；其中，所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，m为正整数。由于进行移动通信网络负荷指标预测的预测模型是通过深度学习动态生成的，并且用于模型训练的bigru网络引入了attention机制，在训练过程中利用attention机制筛选重要特征，过滤低价值特征，提高了预测模型对采集周期较长的时间段内的移动通信网络负荷指标数据的表达能力，通过循环迭代训练，可以更精确地拟合移动通信网络负荷指标数据的变化趋势。因此，本发明实施例提供的方法和装置，实现了小区移动通信网络负荷指标预测的精确性的提高。
附图说明
[0064]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0065]
图1为本发明实施例提供的基于注意力机制学习网络的小区网络负荷指标预测方法的流程示意图；
[0066]
图2为本发明实施例提供的多层bigru网络叠加的网络结构示意图；
[0067]
图3为本发明实施例提供的多层bigru加attention机制的网络模型的结构示意图；
[0068]
图4为本发明实施例提供的注意力机制学习网络的小区网络负荷指标预测装置的结构示意图；
[0069]
图5为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
[0070]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071]
现有技术中进行移动通信网络负荷指标预测的方法普遍存在预测结果不准确的问题。对此，本发明实施例提供了一种基于注意力机制学习网络的小区网络负荷指标预测方法。图1为本发明实施例提供的基于注意力机制学习网络的小区网络负荷指标预测方法的流程示意图，如图1所示，该方法包括：
[0072]
步骤110，采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数。
[0073]
具体地，本发明实施例提供的小区网络负荷指标预测方法是基于待预测测移动通信网络负荷指标小区的历史数据进过预处理后再输入到预测模型，预测模型输出的结果即为预测数据。而待预测移动通信网络负荷指标小区的历史数据的采集是将需要预测当天负荷指标的前n天的移动通信网络负荷指标的待预测历史数据，例如n＝30，即采集前一个月的历史数据，同时历史数据也可以是以单位时间的间隔进行采集，例如每隔一个小时采集一次即一天采集24个数据，因此，前30天的待预测历史数据即包含30
×
24个数据，然后将这30
×
24个数据按照时间顺序进行排列，即得到待预测原始时间序列。此处，n为正整数，考虑到预测精确性与计算复杂度之间的平衡，n通常取值30，而待预测历史数据对于每天的采集方法，优选每隔一个小时采集一次，即一天采集24个小区网络负荷指标数据，通过此每隔一个小时采集一次的历史数据进行预测，输出的当天的预测数据也是当天24个小时各个小时对应的小区网络负荷指标的数值。通常，小区网络负荷指标数据可以选用网络流量、prb利用率和rrc用户数等进行表示，优选地，小区网络负荷指标为网络流量大小。同时，待预测原始时间序列还要进行预设规则处理，所述预设规则处理即进行数据清洁，使得输入预测模型的数据保证无异常、完整以及方便模型计算，通常，所述预设规则包括数据格式转换、剔除异常点、缺失数据补全、归一化和标准化步骤。
[0074]
步骤120，将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；其中，所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，m为正整数。
[0075]
具体地，将步骤110处理好得到的待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标，而所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，其中，用于模型训练的m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列采用与步骤110中使用的预设规则同样的预处理方法进行处理得到的，即如果步骤110中的预设规则包括数据格式转换、剔除异常点、缺失数据补全、归一化和标准化步骤，那么步骤120中采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列也通过相同的数据格式转换、剔除异常点、缺失数据补全、归一化和标准化步骤来处理得到用于模型训练的m个小区的样本清洁时间序列。此处需要说明的是用于训练的样本清洁时间序列与模型使用时输入的待预测清洁时间序列中的元素的个数是相同的且一一对应，即各元素对应的时刻也相同，例如，训练模型时采用的样本清洁时间序列的维度为30
×
24，即采集的样本小区的前30天，每天24小时整点时刻的指标数据，那么模型使用时，输入的待预测清洁时间序列也包含同样的30
×
24个元素，且这30
×
24个元素也是待预测小区前30天每天24小时整点时刻的指标数据按时间顺序排列组成，并且使用模型后输出的预测结果，也是当天24个小时整点时刻的预测指标数值。同时，预测模型的训练过程中采用多层bigru网络构建训练网络，同时，在多层bigru网络中还加入注意力attention机制，如此，筛选重要特征，过滤低价值特征，提高了预测模型对小区长期移动通信网络负荷指标的表达能力，通过循环迭代训练，能够更精确的拟合
网络数据变化趋势。
[0076]
本发明实施例提供的方法，采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数；将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；其中，所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络。由于进行移动通信网络负荷指标预测的预测模型是通过深度学习动态生成的，并且用于模型训练的bigru网络引入了attention机制，在训练过程中利用attention机制筛选重要特征，过滤低价值特征，提高了预测模型对采集周期较长的时间段内的移动通信网络负荷指标数据的表达能力，通过循环迭代训练，可以更精确地拟合移动通信网络负荷指标数据的变化趋势。因此，本发明实施例提供的方法，实现了小区移动通信网络负荷指标预测的精确性的提高。
[0077]
基于上述实施例，该方法中，所述将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，具体包括：
[0078]
将所述待预测原始时间序列中的自然数转换成对数，得到待预测对数时间序列；
[0079]
将所述待预测对数时间序列输入异常点检测模型，输出待预测正常对数时间序列；
[0080]
将所述待预测正常对数时间序列输入补全模型，输出待预测补全时间序列；
[0081]
将所述待预测补全时间序列进行归一化和标准化处理，得到待预测清洁时间序列；
[0082]
其中，所述异常点检测模型是基于m个小区的前n天的样本对数时间序列使用one-class svm异常点检测算法得到的，所述补全模型是基于m个小区的前n天的样本正常对数时间序列使用随机森林分类器训练得到的。
[0083]
具体地，将所述待预测原始时间序列进行预设规则处理包括如上格式转换、异常点剔除、缺失数据补全、归一化和标准化五个步骤。
[0084]
其中，格式转化是将采集的数据从自然数域转换到对数域，即将原始网络负荷指标数据取十进制对数，得到对数数值，并形成待预测对数时间序列；
[0085]
异常点检测模型是基于m个小区的前n天的样本对数时间序列使用one-class svm异常点检测算法得到的；
[0086]
所述补全模型是基于m个小区的前n天的样本正常对数时间序列使用随机森林分类器训练得到的；
[0087]
对于异常点剔除完和缺失数据补全后的待预测补全时间序列在进行归一化处理，例如待预测移动通信网络负荷指标小区的前n天的待预测历史数据形成的待预测时间补全序列为x，x为维度为m的列向量，x＝{x1,x2,
…
,xm}，m＝n
×
q，其中，q为待预测移动通信网络负荷指标小区历史数据采集时每天需要采集数据的个数，通过如下公式获取归一到数值范围为(min,max)后的归一化时间序列x’＝{x1’
,x2’
,
…
,x
m’}：
[0088][0089]
其中，x.min为x向量中最小元素，x.max为x向量中最大元素,i＝1,2,
…
,m；优选地，max＝1,min＝0,即常用的讲所有元素的值缩放到0-1之间，对于方差非常小的x可以增强其稳定性，当移动通信网络负荷指标数据趋近于0时，可以维持稀疏矩阵中为0的条目；
[0090]
对于上述归一化处理后的归一化时间序列x’＝{x1’
,x2’
,
…
,x
m’}，进行标准化处理获取待预测准化时间序列x”＝{x
1”,x
2”,
…
,x
m”}，标准化处理公式如下：
[0091][0092]
其中，μ和σ分别为归一化时间序列x’中所有元素的均值和方差，j＝1,2,
…
,m。
[0093]
对应地，用于预测模型训练的m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列采用与本发明实施例具体限定的预设规则同样的预处理方法进行处理得到的，即本发明实施例提供的预设规则包括数据格式转换、剔除异常点、缺失数据补全、归一化和标准化的具体步骤，那么采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列也通过本发明实施例提供的相同的数据格式转换、剔除异常点、缺失数据补全、归一化和标准化的具体步骤来处理得到用于模型训练的m个小区的样本清洁时间序列。同时，通过以上预设规则处理得到的m个小区的样本清洁时间序列，还需要按照0.75:0.25的比例划分为训练集和验证集分别用于预测模型的训练和验证数据，优选地，m＝30k，即需要3万个小区的样本清洁时间序列来获取预测模型，同时，样本清洁时间序列中元素的个数优选30
×
24，即采集前一个月的历史数据，且每天采集24个指标数据(每隔一小时采集一次)，因此，第r个小区的历史数据构成的样本清洁时间序列和对应的标签yr通过如下公式表示：
[0094][0095][0096]
其中，r＝1,2,
…
,m,为第r个小区的前30天中的第a天b时的整点移动通信网络负荷指标的标准值，yr为对应于的标签，为第r个小区的当天c时的整点移动通信网络负荷指标的数值。
[0097]
本发明实施例提供的方法，通过把自然数转换到对数域，然后对数据进行异常点剔除、缺失点补全，最后将数据归一化和标准化，如此可以使输入模型的数据为有效数据，同时，用于模型训练的样本数据也经过了把自然数转换到对数域，然后对数据进行异常点剔除、缺失点补全，最后将数据归一化和标准化，可以让网络模型能够较好的拟合数据变化，同时，避免训练网络出现梯度消失或者梯度爆炸，加快网络收敛速度。
[0098]
基于上述任一实施例，该方法中，所述异常点检测模型是基于m个小区的前n天的样本对数时间序列使用one-class svm异常点检测算法得到的，具体包括：
[0099]
构建如下最优化问题的目标函数和约束条件来求解采用了one-class svm异常点检测算法的异常点检测模型：
[0100][0101][0102][0103]
其中，a和r分别为基于n个正常样本对数数据构建的超球体的中心和半径，r》0，c为预设惩罚系数，为预设松弛变量，xi代表第i个移动通信网络负荷指标数据点到中心的距离，m个小区的前n天的样本对数时间序列中包含n个正常样本对数数据。
[0104]
具体地，基于移动通信网络规模巨大，小区数量众多，不可避免的会产生一些负荷指标异常值，为了规避异常指标值对整个系统性能造成的影响，使用异常点检测方法，本发明实施例使用one-class svm作为异常点的监测方法，基于海量历史数据进行统计分析，通过对训练数据的正常数据进行拟合，获取对整个正常样本群的刻画，可选地，使用svdd(support vector data description)算法求解one-class svm，获取正常数据在算法特征空间中的球形边界，算法优化的过程即是超球体体积最小化的过程，同时是最小化异常点影响的过程。用公式表达如下：
[0105][0106][0107][0108]
其中，a和r分别为基于n个正常样本对数数据构建的超球体的中心和半径，r》0，c为预设惩罚系数，为预设松弛变量，xi代表第i个移动通信网络负荷指标数据点到中心的距离，m个小区的前n天的样本对数时间序列中包含n个正常样本对数数据。
[0109]
当采用训练完毕的超球体识别一个新的数据点时，如果这个数据点落在超球体内，就属于正常数据，否则，归为异常数据，可以将其剔除，剔除后以none标记原位置，表示缺失状态。
[0110]
基于上述任一实施例，该方法中，所述所述补全模型是基于m个小区的前n天的样本正常对数时间序列使用随机森林分类器训练得到的，具体包括：
[0111]
对于第t次迭代训练，
[0112]
拟合和得到拟合矩阵，训练当前迭代轮次随机森林模型rft，将输入rft，输出
[0113]
使用更新所述拟合矩阵，s＝1,2,
…
,k；
[0114]
其中，t＝1,2,
…
,γ,γ为预设最大迭代次数阈值，k为m个小区的前n天的样本正常对数时间序列中为缺失数据的小区个数，为缺失数据的第s个小区的样本正常对数
时间序列的观测值，为缺失数据的第s个小区的样本正常对数时间序列的补全预测缺失值，为m个小区的样本正常对数时间序列中除开所述第s个小区的其他样本正常对数时间序列中对应于第s个小区的缺失数据以外的观测值，为m个小区的样本正常对数时间序列中除开所述第s个小区的其他样本正常对数时间序列中对应于第s个小区的缺失数据的观测值；
[0115]
第γ次迭代训练得到的随机森林模型rfγ为所述补全模型。
[0116]
具体地，移动通信网络负荷指标预测，与时间轴强相关，时间轴的连续性是保障数据预测准确性的重要前提。然而在实际负荷指标统计过程中发现，单小区负荷指标缺失很常见，主要缺失原因包括小区异常退网、统计平台数据异常被剔除以及数据采集平台系统时间紊乱等。为了避免时间轴数据缺失对后期网络训练及预测造成影响，降低预测准确率及性能，需要对其进行智能补全。本发明实施例针对移动通信网络负荷指标数据的连续性变量特征，对数据集本身序列变化特征加以利用，拟合数据变化规律，进行回归预测，使用树模型算法—missforrest进行数据恢复，具体恢复流程：m个小区的样本正常时间序列集合g是一个m*m的特征矩阵，其中，m为每个小区的样本正常时间序列中的元素的个数，g代表输入数据，对于第s个小区的样本正常时间序列gs，s＝1,
……
，k，k为k为m个小区的前n天的样本正常对数时间序列中为缺失数据的小区个数；为了填充它的缺失值，我们可以将数据分成4部分：
[0117]
为缺失数据的第s个小区的样本正常对数时间序列的观测值；
[0118]
为缺失数据的第s个小区的样本正常对数时间序列的补全预测缺失值；
[0119]
为m个小区的样本正常对数时间序列中除开所述第s个小区的其他样本正常对数时间序列中对应于第s个小区的缺失数据以外的观测值；
[0120]
为m个小区的样本正常对数时间序列中除开所述第s个小区的其他样本正常对数时间序列中对应于第s个小区的缺失数据的观测值；
[0121]
然后设置最大迭代次数阈值γ，作为算法迭代停止条件；为补全过程的中间值，g
imp
为缺失值最终补全结果；
[0122]
通过如下算法，获取补全模型：
[0123]
缺失值随机初始化；
[0124]k←
g各列按照缺失数据量从小到大的顺序进行排列；
[0125][0126][0127]
最后输出的g
imp
为最终补全结果，最后一次迭代生成的随机森林模型rfγ为所述补全模型。
[0128]
基于上述任一实施例，该方法中，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，具体包括：
[0129]
所述预测模型训练时使用l层bigru网络层，将第l层bigru网络层的输出h
l
和所有bigru网络层的输出y输入attention机制层；
[0130]
所述attention机制层进行如下操作：
[0131]
基于h
l
和y确定各bigru网络层各时刻的注意力特征得分；
[0132]
基于所述各bigru网络层各时刻的注意力特征得分确定各bigru网络层当前时刻对应的权重值；
[0133]
基于所述各bigru网络层当前时刻对应的权重值确定所有bigru网络层输出的加权表达；
[0134]
基于所述所有bigru网络层输出的加权表达和h
l
确定attention机制层的输出。
[0135]
具体地，此处在预测模型训练时使用的训练网络中引入bigru网络，并加入attention机制。图2为本发明实施例提供的多层bigru网络叠加的网络结构示意图，如图2所示，图2中的bigru网络层一共有l层(图2左边标识的“l layers”)，对于每一层bigru网络层，都包含t个特征，因为输入的x＝(x1，x2，x3，
…
，x
t
)，序列x中有t个元素，当本发明实施例提供的预测模型的训练网络使用多层bigru网络层结构时，x即对应于本发明实施例提供的样本清洁时间序列，t即对应于本发明实施例提供的样本清洁时间序列中的元素的个数，所有bigru网络层的输出y＝(y1，y2，y3，
…
，y
t
)。然后再将bigru网络结合attention机制，具体地，基于第l层bigru网络层的输出h
l
和所有bigru网络层的输出y确定各bigru网络层各时刻的注意力特征得分；基于所述各bigru网络层各时刻的注意力特征得分确定各bigru网络层当前时刻对应的权重值；基于所述各bigru网络层当前时刻对应的权重值确定所有bigru网络层输出的加权表达；基于所述所有bigru网络层输出的加权表达和h
l
确定attention机制层的输出，其中，l表示bigru网络层的层数。
[0136]
基于上述任一实施例，该方法中，所述基于h
l
和y确定各bigru网络层各时刻的注意力特征得分，具体包括：
[0137]
通过如下公式确定各bigru网络层各时刻的注意力特征得分mq:
[0138]
mq＝tanl(wy×
y (wh×hl
×el
))
[0139]
其中，l为bigru网络层的层数，h
l
∈r1×
l
第为第l层bigru网络层的输出，mq∈rf×
l
，f为各小区样本清洁时间序列中元素的个数，wy∈rf×f，wh∈rf×f，e
l
∈rf且wy、wh和e
l
分别为随机生成的可训练的矩阵、矩阵和向量，y∈rf×
l
且为所有bigru网络层的输出；
[0140]
对应地，所述基于所述各bigru网络层各时刻的注意力特征得分确定各bigru网络层当前时刻对应的权重值，具体包括：
[0141]
通过如下公式确定各bigru网络层当前时刻对应的权重值aa:
[0142]
aa＝softmax(ω
t
×
mq)
[0143]
其中，aa∈r
l
,ω∈rf且ω为随机生成的可训练的向量，softmax(
·
)为归一化指数函数；
[0144]
所述基于所述各bigru网络层当前时刻对应的权重值确定所有bigru网络层输出的加权表达，具体包括：
[0145]
通过如下公式确定所有bigru网络层输出的加权表达rr:
[0146]
rr＝yaa
t
[0147]
其中，rr∈rf；
[0148]
所述基于所述所有bigru网络层输出的加权表达和h
l
确定attention机制层的输出，具体包括：
[0149]
通过如下公式确定attention机制层的输出h
*
:
[0150]h*
＝tanl(w
p
×
rr w
x
×hl
)
[0151]
其中，w
p
∈rf×f，w
x
∈rf×f，且w
p
和w
x
均为随机生成的可训练的矩阵。
[0152]
具体地，f为为各小区样本清洁时间序列中元素的个数，也相当于各bigru网络层提取到的特征的维度，l为bigru网络层的层数，即隐含层维度，wy、wh、w
p
、w
x
、ω和e
l
分别是随机生成的可训练的矩阵、矩阵、矩阵、矩阵、向量和向量，y(y∈rf×
l
)是所有bigru网络层的输出，即bigru网络所有隐藏层的输出，h
l
(h
l
∈r1×
l
)是第l层bigru网络层的输出，即最后一个隐藏层输出。mq表示各bigru网络层各时刻的注意力特征得分，此处需要说明的是，某一bigru网络层的各时刻一一对应于所述某一bigru网络层的各特征，注意力特征得分的数值越大，表示对应分配的注意力越大；aa(aa∈r
l
)表示各bigru网络层当前时刻对应的权重值；rr(rr∈rf)为所有bigru网络层输出的加权表达，即注意力表达式继承网络模型上一步中所涉及的内容；h
*
(h
*
∈rf)是最终输出的特征，由最后时刻的注意力表达特征和隐藏层特征最后输出的非线性组合构成，最终将h
*
输入到后续神经网络中。
[0153]
基于上述任一实施例，本发明实施例提供一种用于训练预测模型的attention-bigru网络模型。图3为本发明实施例提供的用于训练预测模型的attention-bigru网络模型的结构示意图，如图3所示，此处，优选bigru网络层的层数为128，所有bigru网络层的输出都进入attention机制层进行处理，然后输出继续进入压平层(flatten)，使多维数据一维化，然后再通过全连接层(dense)，最后进入激活层(activation)使用激活函数进行处理得到输出。提取前30天的用于预测模型训练的样本小区的负荷指标数据，且每天都提取每小时的整点负荷指标数据，即每个小区的样本清洁时间序列中包括30
×
24个元素，并以当天24个小时每个小时整点的负荷指标数值作为标签，选取预设范围内的具有代表性的3万
个小区，构成模型训练集和验证数据集，以0.75:0.25的比例划分为训练集和验证集。采用mse(均方误差)方法，训练8000个epoch，模型训练时使用momentum算法优化器，设置学习率为0.002，momentum＝0.8，global step＝200，通过循环迭代完成网络模型训练过程，训练的停止条件为达到预设最大迭代次数阈值。
[0154]
基于上述任一实施例，本发明实施例提供一种注意力机制学习网络的小区网络负荷指标预测装置，图4为本发明实施例提供的注意力机制学习网络的小区网络负荷指标预测装置的结构示意图。如图4所示，该装置包括预处理单元410和预测单元420，其中，
[0155]
所述预处理单元410，用于采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数；
[0156]
所述预测单元420，用于将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；其中，所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，m为正整数。
[0157]
本发明实施例提供的装置，采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数；将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；其中，所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络。由于进行移动通信网络负荷指标预测的预测模型是通过深度学习动态生成的，并且用于模型训练的bigru网络引入了attention机制，在训练过程中利用attention机制筛选重要特征，过滤低价值特征，提高了预测模型对采集周期较长的时间段内的移动通信网络负荷指标数据的表达能力，通过循环迭代训练，可以更精确地拟合移动通信网络负荷指标数据的变化趋势。因此，本发明实施例提供的装置，实现了小区移动通信网络负荷指标预测的精确性的提高。
[0158]
基于上述任一实施例，该装置中，所述将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，具体包括：
[0159]
将所述待预测原始时间序列中的自然数转换成对数，得到待预测对数时间序列；
[0160]
将所述待预测对数时间序列输入异常点检测模型，输出待预测正常对数时间序列；
[0161]
将所述待预测正常对数时间序列输入补全模型，输出待预测补全时间序列；
[0162]
将所述待预测补全时间序列进行归一化和标准化处理，得到待预测清洁时间序列；
[0163]
其中，所述异常点检测模型是基于m个小区的前n天的样本对数时间序列使用one-class svm异常点检测算法得到的，所述补全模型是基于m个小区的前n天的样本正常对数
时间序列使用随机森林分类器训练得到的。
[0164]
本发明实施例提供的装置，通过把自然数转换到对数域，然后对数据进行异常点剔除、缺失点补全，最后将数据归一化和标准化，如此可以使输入模型的数据为有效数据，同时，用于模型训练的样本数据也经过了把自然数转换到对数域，然后对数据进行异常点剔除、缺失点补全，最后将数据归一化和标准化，可以让网络模型能够较好的拟合数据变化，同时，避免训练网络出现梯度消失或者梯度爆炸，加快网络收敛速度。
[0165]
基于上述任一实施例，该装置中，所述异常点检测模型是基于m个小区的前n天的样本对数时间序列使用one-class svm异常点检测算法得到的，具体包括：
[0166]
构建如下最优化问题的目标函数和约束条件来求解采用了one-class svm异常点检测算法的异常点检测模型：
[0167][0168][0169][0170]
其中，a和r分别为基于n个正常样本对数数据构建的超球体的中心和半径，r》0，c为预设惩罚系数，为预设松弛变量，xi代表第i个移动通信网络负荷指标数据点到中心的距离，m个小区的前n天的样本对数时间序列中包含n个正常样本对数数据。
[0171]
基于上述任一实施例，该装置中，所述补全模型是基于m个小区的前n天的样本正常对数时间序列使用随机森林分类器训练得到的，具体包括：
[0172]
对于第t次迭代训练，
[0173]
拟合和得到拟合矩阵，训练当前迭代轮次随机森林模型rf
t
，将输入rf
t
，输出
[0174]
使用更新所述拟合矩阵，s＝1,2,
…
,k；
[0175]
其中，t＝1,2,
…
,γ,γ为预设最大迭代次数阈值，k为m个小区的前n天的样本正常对数时间序列中为缺失数据的小区个数，为缺失数据的第s个小区的样本正常对数时间序列的观测值，为缺失数据的第s个小区的样本正常对数时间序列的补全预测缺失值，为m个小区的样本正常对数时间序列中除开所述第s个小区的其他样本正常对数时间序列中对应于第s个小区的缺失数据以外的观测值，为m个小区的样本正常对数时间序列中除开所述第s个小区的其他样本正常对数时间序列中对应于第s个小区的缺失数据的观测值；
[0176]
第γ次迭代训练得到的随机森林模型rfγ为所述补全模型。
[0177]
基于上述任一实施例，该装置中，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，具体包括：
[0178]
所述预测模型训练时使用l层bigru网络层，将第l层bigru网络层的输出h
l
和所有bigru网络层的输出y输入attention机制层；
[0179]
所述attention机制层进行如下操作：
[0180]
基于h
l
和y确定各bigru网络层各时刻的注意力特征得分；
[0181]
基于所述各bigru网络层各时刻的注意力特征得分确定各bigru网络层当前时刻对应的权重值；
[0182]
基于所述各bigru网络层当前时刻对应的权重值确定所有bigru网络层输出的加权表达；
[0183]
基于所述所有bigru网络层输出的加权表达和h
l
确定attention机制层的输出。
[0184]
基于上述任一实施例，该装置中，所述基于h
l
和y确定各bigru网络层各时刻的注意力特征得分，具体包括：
[0185]
通过如下公式确定各bigru网络层各时刻的注意力特征得分mq:
[0186]
mq＝tanl(wy×
y (wh×hl
×el
))
[0187]
其中，l为bigru网络层的层数，h
l
∈r1×
l
第为第l层bigru网络层的输出，mq∈rf×
l
，f为各小区样本清洁时间序列中元素的个数，wy∈rf×f，wh∈rf×f，e
l
∈rf且wy、wh和e
l
分别为随机生成的可训练的矩阵、矩阵和向量，y∈rf×
l
且为所有bigru网络层的输出；
[0188]
对应地，所述基于所述各bigru网络层各时刻的注意力特征得分确定各bigru网络层当前时刻对应的权重值，具体包括：
[0189]
通过如下公式确定各bigru网络层当前时刻对应的权重值aa:
[0190]
aa＝softmax(ω
t
×
mq)
[0191]
其中，aa∈r
l
,ω∈rf且ω为随机生成的可训练的向量，softmax(
·
)为归一化指数函数；
[0192]
所述基于所述各bigru网络层当前时刻对应的权重值确定所有bigru网络层输出的加权表达，具体包括：
[0193]
通过如下公式确定所有bigru网络层输出的加权表达rr:
[0194]
rr＝yaa
t
[0195]
其中，rr∈rf；
[0196]
所述基于所述所有bigru网络层输出的加权表达和h
l
确定attention机制层的输出，具体包括：
[0197]
通过如下公式确定attention机制层的输出h
*
:
[0198]h*
＝tanl(w
p
×
rr w
x
×hl
)
[0199]
其中，w
p
∈rf×f，w
x
∈rf×f，且w
p
和w
x
均为随机生成的可训练的矩阵。
[0200]
图5为本发明实施例提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(communications interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储在存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的基于注意力机制学习网络的小区网络负荷指标预测方法，例如包括：采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数；将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；其中，所述预测模型是基于m个小区
的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，m为正整数。
[0201]
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0202]
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于注意力机制学习网络的小区网络负荷指标预测方法，例如包括：采集待预测移动通信网络负荷指标小区的前n天的移动通信网络负荷指标的待预测历史数据得到待预测原始时间序列，将所述待预测原始时间序列进行预设规则处理，得到待预测清洁时间序列，其中，n为正整数；将所述待预测清洁时间序列输入预测模型，输出预测的该小区当天的移动通信网络负荷指标；其中，所述预测模型是基于m个小区的样本清洁时间序列和对应于所述m个小区的当天移动通信网络负荷指标标签进行训练后得到的，所述m个小区的样本清洁时间序列是将采集的m个小区的前n天的移动通信网络负荷指标的样本历史数据得到样本原始时间序列进行所述预设规则处理得到的，所述预测模型训练时使用的网络结构为加入attention机制的bigru网络，m为正整数。
[0203]
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0204]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0205]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。