基于跨层的多维参数的5G网络带宽预测系统及方法与流程

基于跨层的多维参数的5g网络带宽预测系统及方法
技术领域
1.本发明属于移动通信技术领域，涉及一种基于跨层的多维参数的5g网络带宽预测系统及方法。


背景技术：

2.随着5g网络的发展和应用，移动终端和网络设备对带宽要求更为严格，用户体验质量(qoe)显得尤为重要。在5g高速高带宽的网络背景下，拥塞控制显得尤为重要，网络资源的合理分配更离不开精确的带宽预测。
3.传统的带宽预测方法是通过向网络内部注入探测包，分为主动探测和被动探测。利用传输过程中的探测包延时信息进行带宽预测。但在高速且带宽波动性强的5g网络下，单层的预测方法在面对突发流量时就显得捉襟见肘了。
4.现有技术中，包括：一种基于带宽预测的无线ad hoc网络实时视频传输方法，cn101345756a；一种基于rnn神经网络的rtt预测方法，cn111404751a；基于电力业务需求的通信带宽预测方法及装置，cn102938742a；基于电力业务需求的通信带宽预测方法及装置，cn102938742a；等方案虽然有考虑到采用预测模型或机器学习的方式对带宽进行处理，但仍有很大改进空间，且难以直接应用于5g高速高带宽的网络模型当中或效果不佳。


技术实现要素：

5.考虑到现有技术存在的空白和不足，本发明的目的在于提供一种基于跨层的多维参数的5g网络带宽预测系统及方法。
6.其搭建一个基于多维参数的5g网络带宽预测模型：发送端采集不同基站服务区数据集，并与接收端共同构建基于深度强化学习的带宽预测模型。借助多维参数，实现跨层预测有效带宽，避免了单层预测因突发流量而导致的预测失准。实时性好，应用范围较广。在5g网络高速高带宽情况下仍可保持较好的预测精度，对于视频会议，多路传输的拥塞控制以及在线游戏的高带宽低延迟的需求，可以提前估计未来带宽，应用设备可以利用该估计来调整其数据传输策略，并显著提高用户qoe。
7.在实现上是基于物理层的无线信号强度、基站距离，以及上层的数据发包量，采用深度强化学习，建立带宽预测模型。采集多元的数据集(该数据集的采集来自于各个带宽波动情况不同的服务区)，对预测模型进行训练。训练完成的带宽预测模型即可应用不同基站服务区的带宽预测。模型使用的多维参数，可以有效避免因位置切换出现突发流量，而导致带宽预测失准，并且模型的预测精度可以在不断的训练中愈发精确，更符合当今5g网络高速高带宽的应用背景。
8.其具体采用以下技术方案：
9.一种基于跨层的多维参数的5g网络带宽预测系统，其特征在于，包括：发送端、预测模型以及接收端；
10.所述发送端采集不同基站服务区的流量数据，进行分类，并选取一组数据发送至
预测模型；
11.所述预测模型训练神经网络进行误差梯度下降时，反馈最新的误差数据给发送端；发送端进行精度分析以确定模型的预测效果和当前的物理层信息，随后对所发数据进行校正；
12.所述接收端共有两个数据缓冲区，一个用于存储发送端发送给预测模型的实际流量数据，另一个用于存储预测模型所预测的数据；计算两者的mse大小，再通过查阅奖励值r表，根据mes的大小给出相应的r值，与新预测状态一同反馈给预测网络的神经网络训练部分。
13.进一步地，所述发送端传输至预测模型的数据包括：位置信息、无线信号强度以及数据发包量；
14.所述预测模型采用神经网络预测下一时刻的带宽值以及给出每个预测带宽值的预测价值；当记忆库的存储的数据达到训练条件时，神经网络根据记忆库的打包数据，对预测网络误差下降以及目标网络更新；并选取最优价值对应的预测带宽值报告给接收端；
15.所述接收端根据接收到的预测带宽值，提供新时刻的状态输入s’，并计算预测值与真实值的mse大小，根据mse的奖励规则，输出该预测带宽值mse所对应的奖励值r；
16.其中，新时刻的状态值s’用于更新旧状态的观测值s。
17.进一步地，在所述接收端中的具有存储功能的记忆库，负责存储前n时刻的预测带宽值，当存储数据满足训练条件(n，1)时，记忆库调用当前全部所存信息，打包输送给神经网络进行优化；并且，当下一时刻的数据输入时，新记忆挤掉旧记忆。
18.进一步地，所述神经网络接收来自记忆库的数据信息，同时根据状态s的物理层信息-基站距离和无线信号强度确定带宽区域，以避免因为位置切换出现突发流量而导致带宽预测失准；确定带宽区域后，确定目标网络的target q值，以保持强化学习的稳定性；新状态s’导入预测网络，获取预测值的q值；通过损失函数来不断降低预测误差，当迭代一定次数n时，满足目标网络更换条件，通过预测网络更新目标网络。
19.一种基于跨层的多维参数的5g网络带宽预测方法，其特征在于，基于如权利要求4所述的基于跨层的多维参数的5g网络带宽预测系统，包括以下步骤：
20.步骤s1：对神经网络的带宽区间预测部分设置初始区间；根据采集的数据为不同流量波动区域设置区间初始值；输入采集数据，初始状态值s设为采集数据首位；
21.步骤s2：预测网络根据所接收的数据预测下一时刻的带宽值，并反馈于接收端，与接收端数据存储区下一状态值的带宽值进行比较，计算mse数值大小；根据计算所得的mse大小，给出新奖励r；
22.步骤s3：新状态更新旧状态，同时记忆库存储新旧状态和奖励值；当存储的数据量满足训练条件，记忆库打包发送所存储的数据至神经网络；旧状态输入至预测网络，获取新一时刻的预测值和q值；其中q(s,a)
←
q(s,a) α(r γ*max q(s',a')-q(s,a))，γ为学习率；
23.目标网络得出的未来预测值和目标q值：target q＝r γ*max q(s',a')；
24.与预测值进行误差分析，计算其误差函数：l(θ)＝e[target q(s',a')-q(s,a)]；
[0025]
进行误差梯度下降，从而更新预测参数以训练得到新的预测网络；当训练次数达到n时，即可更新目标网络；
[0026]
步骤s4：多次输入采集数据，对模型进行训练，使预测网络与目标网络之间的误差函数降低，提高预测精度。
[0027]
进一步地，学习率γ设置为0.8。
[0028]
进一步地，在步骤s2中，根据mse大小设置奖励r值表，数值位于(0，10)设置为5；(10，30)设置为4；(30，60)设置为3；(60，80)设置为3；(80，90)设置为2；(90，100)设置为1；超过100的设置为0。
[0029]
与现有技术相比，本发明及其优选方案具有应用场景多、适用范围较大，能减少因位置变化造成突发流量而失准的优点。根据本地数据集进行训练的模型，在实际5g网络场景中多次训练亦可达到不错的效果。
附图说明
[0030]
下面结合附图和具体实施方式对本发明进一步详细的说明：
[0031]
图1为本发明实施例系统和模型整体框架示意图。
[0032]
图2为本发明实施例预测模型和接收端数据交互和工作流程示意图。
[0033]
图3为本发明实施例训练神经网络过程示意图。
[0034]
图4为本发明实施例整体工作流程示意图。
[0035]
图5为本发明实施例工作流程步骤一示意图。
[0036]
图6为本发明实施例工作流程步骤二示意图。
[0037]
图7为本发明实施例工作流程步骤三示意图。
[0038]
图8为本发明实施例神经网络结构简要示意图。
具体实施方式
[0039]
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
[0040]
如图1-图8所示，本实施例所包含的技术方案包括所构建的系统模型，分为三个部分：发送端、预测模型以及接收端。
[0041]
发送端：采集不同基站服务区的流量数据，进行分类，并选取一组数据发送至预测模型。预测模型中训练神经网络，再进行误差下降时，反馈最新的误差数据给发送端，发送端进行精度分析以确定模型的预测效果和当前的物理层信息。随后对所发数据进行校正更新，使得预测模型的范围确定更为合理。
[0042]
接收端：接收端共有两个数据缓冲区，一个用于存储发送端发送给预测模型的实际流量数据，另一个用于存储预测模型所预测的数据。计算两者的mse大小，再通过查阅奖励值r表，根据mes的大小给出相应的r值，与新预测状态一同反馈给预测网络的神经网络训练部分。
[0043]
本实施例预测模型和接收端数据交互和工作流程如图2所示，包括以下步骤和内容：
[0044]
1：初始状态值，包含位置信息、无线信号强度以及数据发包量。本地训练时，采用数据集的初始时刻数据。
[0045]
2：深度神经网络，用于预测下一时刻的带宽值以及给出每个预测带宽值的预测价值。当记忆库的存储的数据达到训练条件时，神经网络即可根据记忆库的打包数据，对预测
网络误差下降以及目标网络更新。
[0046]
3：根据预测网络所得的预测价值表，选取最优价值对应的预测带宽值报告给接收端。
[0047]
4：接收端根据接收到的预测带宽值，提供新时刻的状态输入s’，并计算预测值与真实值的mse大小，根据mse的奖励规则，输出该预测带宽值mse所对应的奖励值r。
[0048]
5：接收端接收信号，给出新时刻的新状态值s’。
[0049]
6：接收端接收信号，给出对上一时刻反馈值的奖励r。
[0050]
7：新时刻的状态值s’更新旧状态的观测值s。
[0051]
8：具有存储功能的记忆库，负责存储前n时刻的预测带宽值，当存储数据满足训练条件(n，1)时，记忆库调用当前全部所存信息，打包输送给9进行神经网络的优化。并且，当下一时刻的数据输入时，新记忆挤掉旧记忆。
[0052]
9：如图3所示，接收来自记忆库的数据信息，同时根据状态s的物理层信息-基站距离和无线信号强度确定带宽区域，以避免因为位置切换出现突发流量而导致带宽预测失准。确定带宽区域后，确定目标网络的target q值，以保持强化学习的稳定性。新状态s’导入预测网络，获取预测值的q值。通过损失函数来不断降低预测误差，当迭代一定次数n时，满足目标网络更换条件，通过预测网络更新目标网络。
[0053]
参照图4，基于以上模型设计，本实施例提供的基于跨层的多维参数的5g网络带宽预测方法，包括以下步骤：
[0054]
首先对该模型进行本地训练时，需要采集不同基站服务区的流量数据，其中包含学校、商场等公共场所以及地铁、公交等公共交通设施。还有网络覆盖相对较差的郊区地带。
[0055]
步骤一：如图5所示，设置对神经网络的带宽区间预测部分设置初始区间。根据采集的数据为不同流量波动区域设置合适的区间初始值。输入采集数据，初试状态值s设为采集数据首位。
[0056]
步骤二：如图6所示，预测网络根据接收数据，进行预测。预测下一时刻的带宽值。反馈于接收端，与接收端数据存储区下一状态值的带宽值进行比较，计算mse数值大小。环境根据计算所得的mse大小，给出新奖励r。根据mse大小设置奖励r值表，数值位于(0，10)设置为5；(10，30)设置为4；(30，60)设置为3；(60，80)设置为3；(80，90)设置为2；(90，100)设置为1；超过100的设置为0。
[0057]
步骤三：如图7所示，新状态更新旧状态，同时记忆库存储新旧状态和奖励值。当存储的数据量满足训练条件，记忆库打包发送所存储的数据至神经网络。旧状态输入至预测网络，获取新一时刻的预测值和q值。其中q(s,a)
←
q(s,a) α(r γ*max q(s',a')-q(s,a))，此处学习率γ设置为0.8。
[0058]
目标网络得出的未来预测值和目标q值target q＝r γ*max q(s',a')
[0059]
与预测值进行误差分析，计算其误差函数l(θ)＝e[target q(s',a')-q(s,a)]
[0060]
进行误差梯度下降，从而更新预测参数以训练得到新的预测网络。当训练次数达到n时，即可更新目标网络，从而获得更为稳定的目标网络和更稳定的学习过程。
[0061]
步骤四：多次输入采集数据，对模型进行训练，使得预测网络与目标网络之间的误差函数降低，不断提高预测精度。进一步的，将本地数据集训练完成的模型，即可放置在5g
网络中进行真实环境的数据训练。以提高模型的预测精度，来满足5g网络下的精准带宽预测要求。
[0062]
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于跨层的多维参数的5g网络带宽预测系统及方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。