一种支持确定性应用的流量矩阵建模方法与流程

1.本发明涉及数据通信网络技术领域，尤其涉及一种支持确定性应用的流量矩阵建模方法。


背景技术：

2.网络运营商需要了解流量通过网络节点的状况，以便做出较佳的管理决策。流量通常由流量矩阵来描述，流量矩阵表达网络中每对入口点和出口点之间传输的流量，矩阵中的每个元素通常称为源-目的(od)对流量。大多数网络工程任务需要流量矩阵作为输入，例如故障管理、资源调配、流量工程、路由策略设计和负载均衡。目前现有的网络测量技术虽然支持流量矩阵的直接测量，但是网络开销极大，并不支持大规模流量矩阵的生成。因此，本发明仍然将snmp协议测量的链路负载作为主要的输入数据，同时将实测矩阵作为辅助手段提升拟合的精确度。
3.目前较为主流的流量矩阵建模基于重力模型拟合，将链路负载等信息作为输入，通过关联每一节点的出入度信息以及摩擦系数的设立，采用统计模型的思想拟合矩阵。也有基于arima拟合，将实测的真实矩阵作为输入，通过输入冷启动数据来确定ar和ma模型的参数，采用回归模型的思想来拟合矩阵。上述方法拟合的矩阵都可以较好的符合传统互联网流量的总体分布特征，因为模型主要针对互联网传统流量的自相似性、重尾分布以及长距离依赖等特征。但是，确定性流量：例如通信数据、远程工控流量与互联网传统流量特征并非完全相同，其小幅度变化的不规则周期性使得确定性流的时间相关性尤为明显。因此目前已有的建模方法对确定性流量的拟合精确度并不是很高。


技术实现要素：

4.本发明所要解决的技术问题是提供一种支持确定性应用的流量矩阵建模方法，克服现有的建模方法对确定性流量的拟合精确度并不高的不足。
5.为解决上述技术问题，本发明提供一种支持确定性应用的流量矩阵建模方法，包括以下步骤：
6.步骤1：测量通信网络的流量数据，建立网络拓扑模型；构建数据库，生成流量矩阵、链路负载信息、路由配置等具有一致性的信息。
7.步骤2：使用on/off模型，通过测量流量的持续发送时间定义符合指数分布的转换参数，决定流量发送的开始结束时间，以去除初始模型拟合体现的传统网络流量重尾分布效应。
8.步骤3：使用统计模型生成冷启动矩阵，作为流量慢启动的数据，不用于考虑流量尾部特征。
9.步骤4：将步骤3生成的冷启动矩阵序列作为输入，根据确定性流的分类和特征，确定回归模型的初始参数。
10.步骤5：根据步骤4确定的初始模型，生成的矩阵序列输入lstm神经网络，然后通过
softmin激活函数。具体的说，利用lstm计算输出预测的下一个时刻流量矩阵。
11.步骤6：基于步骤5的训练结果进行模型参数的优化，具体是通过定义真实值和预估值的均方根误差，对于模型中的参数进行一个优化。
12.优选地，步骤2包括以下子步骤：
13.步骤2-1：通过定义转换强度w和呼叫强度q决定流量的发送，转换强度和呼叫强度决定了各流量的时间分布概率p；
14.步骤2-2：测量各流量间持续时间得到时间分布占比r，计算呼叫强度的均值，最终确定转换参数；通过on/off的机制去除初始模型拟合体现的传统网络流量重尾分布效应。
15.优选地，步骤3包括以下子步骤：
16.步骤3-1：根据链路负载信息，计算得到进入和流出每个节点的流量大小；
17.步骤3-2：通过节点的出入度生成初始的预估流量矩阵，同时仅作为流量慢启动的数据，不用于考虑流量尾部特征。
18.优选地，步骤4包括以下子步骤：
19.步骤4-1：根据多个时刻的链路负载数据生成具有时间相关性的流量矩阵序列；
20.步骤4-2：根据生成的流量矩阵序列做变换保证矩阵时间上的平滑度；
21.步骤4-3：将变换后的矩阵作为输入，确定参数得到初始的模型。
22.优选地，步骤5包括以下子步骤：
23.步骤5-1：根据上述步骤生成的矩阵划分测试集和训练集，用于lstm网络的训练。
24.步骤5-2：确定lstm网络参数，预估下一时刻的矩阵。
25.优选地，步骤6包括以下子步骤：
26.步骤6-1：如图1所示，根据步骤5所提供的lstm网络层设置强化学习参数。
27.步骤6-2：定义奖励函数，对模型中的参数进行优化。
28.本方法在奖励函数的设置上更关注确定性流的时间相关性，有效的区分了确定性流和尽力而为流的特征，建模方法更符合确定性流的总体分布特征。
附图说明
29.下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。
30.图1为基于lstm的强化学习算法结构图。
31.图2支持确定性应用的流量矩阵建模方法流程图。
具体实施方式
32.本发明提供一种支持确定性应用的流量矩阵建模方法。包括以下步骤：
33.步骤1：测量通信网络的流量数据，建立网络拓扑模型。构建数据库，生成流量矩阵、链路负载信息、路由配置等具有一致性的信息。
34.步骤1包括以下子步骤：
35.步骤1-1：采集通信网络的数据，数据具体包含网络拓扑结构、当前路由配置，snmp协议测量的链路负载，直接测量的数据包信息。数据间隔10分钟测量一次，持续时间24小时，共144组数据。其中拓扑结构信息用无向图g＝(v,e)表示，v表示节点的集合并且|v|＝n；e表示链路的集合并且|e|＝l；
36.步骤1-2：对于数据信息进行预处理，去除不必要的数据，解析数据得到每个时刻的拓扑内所有节点间点对点的流量需求，生成共144个流量矩阵。t时刻的流量矩阵表示为x
t
，大小为n*n的二维数组，其行对应流量的接收节点，列对应流量的发送节点，每一元素的数值表示对应od对间发送的流量需求大小。x＝x1 x2 x3
…
xn表示流量矩阵的集合；
37.步骤1-3：解析路由配置信息，得到相对应的路由矩阵a，大小为l*n2的二维数组。a为零一矩阵，其行对应定向链路，列对应od对。每一个元素的数值表示链路是否在od对所需要经过的路径上，若是则为1，相反不是为0；
38.步骤1-4：解析snmp测量数据，得到t时刻链路负载信息表示y
t
，长度为l的向量，每一个元素的数值表示当前链路上的负载大小。y＝y1 y2 y3
…
yn表示链路负载的集合。流量矩阵x、路由矩阵a、链路负载y具有一致性，可以用下述高度欠约束的不适定性线性方程所表示,其中m表示可能存在的噪声。
39.y＝ax m。
40.步骤2：使用on/off模型，通过测量流量的持续发送时间定义符合指数分布的转换参数，决定流量发送的开始结束时间，以去除初始模型拟合体现的传统网络流量重尾分布效应。包括以下子步骤：
41.步骤2-1：通过定义转换强度w和呼叫强度q来规定各流量的发送开始结束时间，转换强度和呼叫强度决定了各流量的时间分布概率p；
[0042][0043]
流量的时间分布概率可以用式表示，取决于观测到的各流量的持续时间ti；
[0044]
步骤2-2：测量各流量的持续时间ti，可以得到其时间分布占比，可以得到其时间分布占比呼叫强度的均值如下所示：
[0045][0046]
ev(λ)＝r1λ1 r2λ2 r3λ3
…
rnλn[0047]
通过测量的流量持续时间确定转换参数。通过on/off的机制去除初始模型拟合体现的传统网络流量重尾分布效应。
[0048]
步骤3：使用统计模型生成冷启动矩阵，作为流量慢启动的数据，不用于考虑流量尾部特征。包括以下子步骤：
[0049]
步骤3-1：根据链路负载信息，计算得到进入和流出每个节点的流量大小。具体包括：根据t时刻的链路负载y
t
可以得到当前整个网络拓扑上的流量状况，计算流入每个节点i的流量和流出每个节点j的流量最终得到的矩阵t如下所示，大小为2*n，列表示流入流量或流出流量，行表示每一个节点；
[0050]
[0051]
步骤3-2：通过节点的出入度生成初始的预估流量矩阵，同时仅作为流量慢启动的数据，不用于考虑流量尾部特征。具体包括：通过节点的出入度生成初始的预估流量矩阵x，大小为n*n，其中列表示发送流量的节点，行表示接收流量的节点：
[0052][0053]
每一元素x的数值表示对应od对间发送的流量需求大小，数值大小由以下公式决定：其中分别表示所有节点流入网络和流出网络的总流量。
[0054][0055]
步骤4：将步骤3生成的冷启动矩阵序列作为输入，根据确定性流的分类和特征，确定回归模型的初始参数。包括以下子步骤：
[0056]
步骤4-1：根据多个时刻的链路负载数据生成具有时间相关性的流量矩阵序列；具体包括：根据步骤3所提供的方法，对采集的多个时刻的链路负载等信息进行处理，生成不同时刻的流量矩阵，最终得到具有时间相关性的流量矩阵序列；
[0057]
x＝x1 x2 x3
…
x
t
[0058]
步骤4-2：针对确定性流量的特征，根据下述公式对矩阵进行对数变换，进一步体现时间上的平滑度，提高模型预估的准确性；
[0059]vt
＝ln x
t
[0060]
步骤4-3：将变换后的矩阵作为输入，确定参数得到初始的模型。具体包括以下步骤：应用线性回归的思想，根据如下公式预估下一时刻的流量矩阵：
[0061][0062]
为进一步区分目前尽力而为的传统互联网流量，针对确定性流量的平稳性，以及体现确定性流量不同的分类，增加参数限制如下：其中ε
t
＝v
tzt
，z
t
为正态分布满足以下条件：e(z
t
)＝0，var(z
t
)＝1。
[0063][0064]
步骤5：根据步骤4确定的初始模型，生成的矩阵序列输入lstm神经网络，然后通过softmin激活函数。步骤5包括以下子步骤：
[0065]
步骤5-1：根据步骤4提供的初始模型生成的预估流量矩阵序列作为训练集，步骤1提供的测量真实矩阵序列作为测试集，用于lstm网络的训练；
[0066]
步骤5-2：确定lstm网络参数，预估下一时刻的矩阵。具体包括：确定lstm网络中的输入层单元个数m，输出层单元个数n，隐藏层单元个数l及其参数。设置网络输入为每批m个变量作为矩阵历史信息，n个变量作为输出的流量矩阵，隐藏层的单元个数通过输入实测矩
阵多次试探实验来决定。初步决定将m＝10，n＝1，即通过每批10个时刻的流量数据预测未来下一时刻的流量矩阵。
[0067]
步骤6：基于步骤5的训练结果进行模型参数的优化，具体是通过定义真实值和预估值的均方根误差，对于模型中的参数进行一个优化。包括以下子步骤：
[0068]
步骤6-1：根据步骤5所提供的lstm网络层设置强化学习参数。具体包括：如图1所示，环境为底层拓扑及其包含的链路负载，路由配置等信息，状态为通过模型预估的流量矩阵序列，环境向lstm层提供状态，lstm层根据步骤5所示预估下一时刻的流量矩阵作为输出，通过奖励函数反馈至网络层以及底层交互环境。
[0069]
步骤6-2：定义奖励函数，对模型中的参数进行优化。具体包括：模型训练过程中采用预估值和真实值的均方根误差，通过最小化两个分布的差距作为奖励函数，其一般表达式如下：
[0070][0071]
其中x
t
表示矩阵的真实值，表示矩阵的估计值。通过奖励函数的反馈优化模型的参数。
[0072]
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。