5G无线接入网的切片调度方法、装置、设备及存储介质与流程

5g无线接入网的切片调度方法、装置、设备及存储介质
技术领域
1.本发明涉及移动通信技术领域，尤其是涉及5g无线接入网的切片调度方法、装置、设备及存储介质。


背景技术：

2.网络切片是将一个物理网络切割成多个虚拟的端到端的网络，每个虚拟网络之间，包括网络内的设备、接入、传输和核心网，均是逻辑独立的，任何一个虚拟网络发生故障都不会影响到其它虚拟网络。
3.随着终端设备和网络应用数量的增加，网络业务的流量在剧烈增长，如何合理地实现虚拟资源的配置，资源供需平衡关系的优化，保证端到端之间的业务qos的保障，提高业务分布预测的准确率，从而优化切片资源的决策与调度，是5g网络切片中资源管理和调度机制需解决的关键问题之一。


技术实现要素：

4.本发明提供一种5g无线接入网的切片调度方法、装置、设备及存储介质，以解决现有的5g无线接入网难以实现准确的业务预测，导致切片调度能力较差的技术问题，通过基于深度学习的业务预测策略与基于dqn强化学习的切片资源调度策略，提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。
5.为了解决上述技术问题，本发明实施例提供了一种5g无线接入网的切片调度方法，包括：
6.对5g无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
7.将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
8.将所述预测占比分布数据输入预置的dqn强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
9.作为其中一种优选方案，所述对5g无线接入网下的各个切片业务的历史数据进行重构，具体为：
10.获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
11.获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
12.根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
13.作为其中一种优选方案，所述将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据，具体为：
14.获取待训练切片业务数据样本集；
15.提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
16.将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
17.基于所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
18.作为其中一种优选方案，所述将所述预测占比分布数据输入预置的dqn强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度，具体为：
19.获取5g无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性；
20.基于dqn算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；
21.根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；
22.基于更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
23.本发明另一实施例提供了一种5g无线接入网的切片调度装置，包括：
24.重构模块，用于对5g无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
25.预测模块，用于将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
26.调度模块，用于将所述预测占比分布数据输入预置的dqn强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
27.作为其中一种优选方案，所述重构模块包括：
28.忙时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
29.闲时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
30.排序单元，用于根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
31.作为其中一种优选方案，所述预测模块包括：
32.样本集获取单元，用于获取待训练切片业务数据样本集；
33.特征提取单元，用于提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
34.训练单元，用于将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
35.预测单元，用于根据所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
36.作为其中一种优选方案，所述调度模块包括：
37.环境数据获取单元，用于获取5g无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性；
38.奖励函数构建单元，用于根据dqn算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；
39.更新单元，用于根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；
40.调度单元，用于根据更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
41.本发明又一实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的5g无线接入网的切片调度方法。
42.本发明再一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的5g无线接入网的切片调度方法。
43.相比于现有技术，本发明实施例的有益效果在于以下所述中的至少一点，从时间角度对切片业务进行纵向分析，获取各个切片业务的历史占比，充分考虑到资源之间的相互影响，提高了各个业务之间的关联性，从而为后续的调度策略提供准确的数据支撑；采用神经网络技术对未来业务进行预测，得到各个业务的占比情况；最后利用dqn强化学习模型，通过考虑长短期回报、用户活跃度、以及数据探索，分析了数据在时间上的延伸特征，进而能够实现业务占比分配的更新，从而提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。
附图说明
44.图1是本发明其中一种实施例中的5g无线接入网的切片调度方法的流程示意图；
45.图2是本发明其中一种实施例中的各个切片业务的历史占比分布数据图；
46.图3是本发明其中一种实施例中的各业务特征提取过程的流程示意图；
47.图4是本发明其中一种实施例中的5g无线接入网的切片调度装置的结构示意图；
48.图5是本发明其中一种实施例中的电子设备的结构示意图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.在本技术描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
51.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
52.在本技术的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
53.本发明一实施例提供了一种5g无线接入网的切片调度方法，具体的，请参见图1，图1示出为本发明其中一种实施例中的5g无线接入网的切片调度方法的流程示意图，其中包括：
54.s1、对5g无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
55.s2、将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
56.s3、将所述预测占比分布数据输入预置的dqn强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
57.应当说明的是，5g时代的切片方案解决了端到端的资源需求，在本发明实施例中，主要是针对无线接入网的资源调度问题，由于无线资源与核心网有一个很大的区别是用户的移动性以及信道状态会很大程度上影响无线资源的负载情况，因此，5g无线接入网切片的调度是一个动态的过程，需要根据业务qos需求、移动性预测、业务请求量以及信道状态进行动态调整；业务qos服务需求根据不同业务的丢包率、带宽、时延、速率的最低要求来设置阈值，实现端到端的qos保障；根据用户移动性预测，能够基于当前的用户接收到基站id集合与位置的对应约束关系来预测用户的现在位置，结合转移概率矩阵来预测用户未来的位置分布概率，基于位置分布概率来实现ran位置的接入，减少用户网络切换的次数，提高网络负载均衡的性能；当然，在本实施例中，业务请求可以结合历史数据流量预测和当前业务请求数量综合衡量，信道状态根据近邻几个时刻反馈的状态信息，迭代学习实现信道环境的对不同时刻的动态信道状态。本发明实施例提供的5g无线接入网的切片调度方法，通过基于深度学习的业务预测策略与基于dqn强化学习的切片资源调度策略，构建了深度学习和强化学习组合框架，进而实现无线接入网切片资源的调度策略，提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。
58.进一步地，在上述实施例中，所述对5g无线接入网下的各个切片业务的历史数据进行重构，具体为：
59.获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
60.获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
61.根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和
各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
62.具体的，请参见图2，本实施例中的各个切片业务的历史占比分布数据通过图像进行显示，图2显示了某一5g无线接入网络忙时20周的业务使用数量占比分布图，本实施例中的数据重构的意义是通过时间和数据分布的特性，将数据在时间和空间的分布占比情况进行一个某一个周期的观察，而在现有技术中大多数工作都只停留在解决单一调度周期上的资源调度问题，而忽略了在时间域上变化的业务请求引起数据的积累而产生的队列积压，这种处理方式在实际的场景中过于简化，因此，本实施例构建的20周的业务使用数量占比分布图，从时间角度对切片业务进行纵向分析，获取各个切片业务的历史占比，充分考虑到资源之间的相互影响，提高了各个业务之间的关联性，从而为后续的调度策略提供准确的数据支撑。
63.同理，闲时业务使用数量占比分布图可参考忙时进行重构。需要说明的是，本实施例中的忙时使用数量和闲时使用数量的划分只是考虑到多资源调度模式下的复杂情况，并不是每一接入网络都需要按照忙时和闲时两个时间段进行业务使用数量占比重构，针对业务变化波动比较大的区域，可以对时段进行更细颗粒度的划分。
64.进一步地，在上述实施例中，所述将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据，具体为：
65.获取待训练切片业务数据样本集；
66.提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
67.将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
68.基于所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
69.在本实施例中，具体的，请参见图3，图3示出为本发明其中一种实施例中的各业务特征提取过程的流程示意图，基于神经网络技术，采用特征提取的方式来评判每一业务(即图中c1、c2、c
n
)在每一周的特征的关联性，这种关联从横向来看是空间关联，也就是业务与业务的关联性，关联从纵向来看是时间上的关联，是业务在时间轴上的变动情况。基于上述提取的特征，将各周期业务特征放进bp神经网络中训练各业务占比预测模型，并基于预测模型实现未来一段时间各业务占比的情况。
70.由上可知，通过步骤s1和步骤s2，采用深度学习的方法来提取各业务在时间“切片”上的特征，借助bp神经网络预测未来的各业务的占比情况，基于上述的结果，实现大时间尺度上的资源分配，形成基于大时间尺度的无线接入网切片的预测占比分布数据。
71.进一步地，在上述实施例中，所述将所述预测占比分布数据输入预置的dqn强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度，具体为：
72.获取5g无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性；
73.基于dqn算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；
74.根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；
75.基于更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
76.在本实施例中，利用dnq算法来应对信道的动态变化，实现网络切片的在线调整，最终实现网络切片的调度资源。为便于理解，本实施例中的预置的dqn强化学习模型的工作原理如下：
77.获取5g无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性。用户属性：包括用户在1周内忙时(闲时)使用各业务数量，用户运动状态，用户所在的位置等。用户的位置是基于用户终端收到的基站id集合{cell1，cell1，
…
,celln}，在该区域划分n
×
n的网格，对每一个网格构建基站id库，基于用户当前收到的基站id集合{cell1，cell1，
…
,cell6}(本实施例算法取6个基站)，实现用户当前位置的预测。用户运动状态是结合用户上一个时刻的网格位置进行用户运动速度的估算；业务属性即为业务qos需求服务根据不同业务的丢包率、带宽、时延、速率的最低要求；信道质量属性，无线信道rscp和信道的ec/io。
78.结合环境属性实现深度强化学习dqn，主要通过当前的网络切片状态，采取某一action(接入用户某一种业务)，得到对应的回报值q，具体的，本实施例中的回报值q通过奖励函数计算得到，奖励函数如下所示：
79.q(s,a)＝r
immediate
γr
active
80.其中，r
imme
di
a
t
e
表示用户接入该切片的奖励，r
ac
ti
ve
为用户活跃度奖励，用户活跃度可以理解为用户在一段时间内使用该业务的频率(如果用户所在位置的无线网络质量很好，那么就会增加用户使用该业务的频率，因此，用户活跃度作为一个将回报指标)，s表示状态，a表示策略，γ表示用户活跃度的贡献系数，一般取值在0～1之间。
81.本发明另一实施例提供了一种5g无线接入网的切片调度装置，具体的，请参见图4，图4示出为本发明其中一种实施例中的5g无线接入网的切片调度装置的结构示意图，包括：
82.重构模块11，用于对5g无线接入网下的各个切片业务的历史数据进行重构，获得基于时间分布的各个切片业务的历史占比分布数据；
83.预测模块12，用于将各个切片业务的所述历史占比分布数据输入训练好的神经网络模型中，得到各个切片业务的预测占比分布数据；
84.调度模块13，用于将所述预测占比分布数据输入预置的dqn强化学习模型中，根据输出的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
85.进一步地，在上述实施例中，所述重构模块11包括：
86.忙时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的忙时使用数量，得到对应的同周期忙时使用占比；
87.闲时使用占比获取单元，用于获取同一时间周期内的各个所述切片业务的闲时使用数量，得到对应的同周期闲时使用占比；
88.排序单元，用于根据全周期内每一所述时间周期的先后顺序，对各个所述同周期忙时使用占比和各个所述闲时使用占比进行排序，得到对应的各个切片业务的历史占比分布数据。
89.进一步地，在上述实施例中，所述预测模块12包括：
90.样本集获取单元，用于获取待训练切片业务数据样本集；
91.特征提取单元，用于提取所述待训练切片业务数据样本集内每一切片业务数据的各个特征向量；
92.训练单元，用于将各个所述特征向量输入神经网络中进行训练，得到对应的训练结果；
93.预测单元，用于根据所述训练结果对各个切片业务的所述历史占比分布数据进行预测，得到各个切片业务的预测占比分布数据。
94.进一步地，在上述实施例中，所述调度模块13包括：
95.环境数据获取单元，用于获取5g无线接入网的环境数据，其中，所述环境数据至少包括用户属性数据、信道属性和业务属性；
96.奖励函数构建单元，用于根据dqn算法对所述环境数据和所述预测占比分布数据进行处理，构建切片业务的奖励函数；
97.更新单元，用于根据计算出的各个切片业务在所述奖励函数下的回报值，更新网络切片资源的分配方案；
98.调度单元，用于根据更新后的网络切片资源的分配方案对与所述分配方案相关的切片业务进行调度。
99.本发明又一实施例提供了一种电子设备，具体的，请参见图5，图5示出为本发明其中一种实施例中的电子设备的结构示意图，其包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的5g无线接入网的切片调度方法。
100.本发明再一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的5g无线接入网的切片调度方法。
101.相比于现有技术，本发明实施例的有益效果在于以下所述中的至少一点，从时间角度对切片业务进行纵向分析，获取各个切片业务的历史占比，充分考虑到资源之间的相互影响，提高了各个业务之间的关联性，从而为后续的调度策略提供准确的数据支撑；采用神经网络技术对未来业务进行预测，得到各个业务的占比情况；最后利用dqn强化学习模型，通过考虑长短期回报、用户活跃度、以及数据探索，分析了数据在时间上的延伸特征，进而能够实现业务占比分配的更新，从而提高了业务分布预测的准确率，优化了切片资源的决策与调度能力。
102.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。