大规模机器类通信基于机器学习的随机接入退避方法与流程

1.本发明涉及物联网通信技术领域，具体为一种大规模机器类通信基于机器学习的随机接入退避方法。


背景技术：

2.物联网技术作为面向未来的重要技术之一，其发展十分迅速，随着接入网络的设备爆发式增长，相关业务也与日俱增。随着通信技术的发展和生活中业务需求的提高，物联网大连接的时代已然到来，社会进入了5g时代。随着5g的发展，衍生了网络功能虚拟化(nfv)、虚拟现实技术(vr)等新思想和新技术，其中，网络功能虚拟化指的是通过使用x86等通用性硬件以及虚拟化技术来承载很多功能的软件处理，从而降低网络昂贵的设备成本；通过软硬件解耦及功能抽象，使网络设备功能不再依赖于专用硬件，资源可以充分灵活共享，实现新业务的快速开发和部署，并基于实际业务需求进行自动部署、弹性伸缩、故障隔离和自愈等。
3.为满足新时代网络需求，第三代合作伙伴计划(3gpp)提出了第五代移动通信技术(5g)的三大应用服务场景：增强移动宽带(embb)、超高可靠低时延通信(urllc)和大规模机器类通信(mmtc)，其中，embb主要面向移动互联网流量爆炸式增长，为移动互联网用户提供更加极致的应用体验，主要是追求人与人之间的通信体验；urllc主要面向工业控制、远程医疗、自动驾驶等对时延和可靠性具有极高要求的垂直行业应用需求，主要体现物与物之间的通信需求；mmtc主要面向智慧城市、智能家居、环境监测等以传感和数据采集为目标的应用需求，主要是人与物之间的信息交互。embb和urllc服务主要依靠新无线电(nr)接入技术处理，而mmtc服务主要依靠在地理覆盖范围方面已经成熟的长期演进技术(lte)蜂窝网络提供支持。
4.mmtc服务具有数据包小、传输频率低、业务特性多样、传输规模大等区别于传统通信的特点，在mmtc应用场景下，大规模机器类通信设备(mtcd)在同时进行随机接入过程中，网络拥塞情况是限制系统性能的主要原因，因此，在保证机器类通信(mtc)的各种业务完美实现的同时，解决大规模mtcd接入网络所造成的网络拥塞，是本领域技术人员亟需解决的一个难题。


技术实现要素：

5.本发明意在提供一种大规模机器类通信基于机器学习的随机接入退避方法，以解决现有技术大规模机器类通信设备(mtcd)随机接入网络所造成的网络拥塞的问题。
6.为了实现上述目的，本发明提供如下技术方案：
7.大规模机器类通信基于机器学习的随机接入退避方法，包括以下步骤：
8.s1：结合5g虚拟化思想，以地理位置或应用需求等各种依据动态划分虚拟小小区，虚拟小小区内的mtcd竞争同一个前导码，并根据业务特性的不同对mtcd进行类别的划分；
9.s2：mtcd的随机接入过程设置为接入请求队列和数据队列的双队列模型，将数据
队列的状态转移过程建模成一个马尔可夫决策过程(mdp)；
10.s3：利用层次分析法计算各类mtcd服务质量(qos)参数的权重，并据此构造加权的服务质量关键绩效指标(kpi)函数作为整体的奖励函数；
11.s4：采用误差反向传播(bp)的神经网络构建近似拟合状态值函数的评价网络critic和近似拟合策略函数的策略网络actor，并初始化两种网络参数；
12.s5：策略网络actor根据当前mtcd的qos状态和前导码占用状态生成退避接入决策，然后通过奖励函数求得一个回报值，同时得到mtcd前导码的下一个状态；
13.s6：采用梯度下降方法更新评价网络critic的神经网络参数，根据系统状态近似拟合状态值函数，以最小化时序差分(td)误差为优化目标，更新神经网络权重参数，并将td误差传递给策略网络actor以指导其改进策略；
14.s7：采用带权重的梯度下降方法更新策略网络actor的神经网络参数，将评价网络critic传递的td误差作为优势函数，根据训练结果更新策略网络actor参数，调整策略以改进回报；
15.s8：进行n次循环迭代，每次循环迭代从初始时刻开始，得到初始化网络状态，直至终止时刻，其中，在每个决策时刻进行s5
‑
s7的操作步骤，训练更新网络参数；
16.s9：根据训练好的策略网络确定最优退避接入策略，为mtcd选择最优的退避接入时隙。
17.进一步地，在s1中，将mtcd的业务划分为四大类：
18.第一类是对数据准确性十分敏感且有硬时延要求的业务，包括异常数据警报、车辆跟踪和资产跟踪；
19.第二类是有一定的容错率和延迟容忍，但对抖动敏感且有数据链路速率要求的业务，针对视频，包括远程监控、异常视频监控报告；
20.第三类是对数据准确性要求极高但有延迟容忍的业务，包括智能计量、网络指令和移动pos；
21.第四类是要求数据准确但容忍时延的周期性报告业务，包括环境监控、物流跟踪。
22.进一步地，在s2中，mtcd接入过程建模为马尔可夫决策过程的方法为：
23.先将mtcd的随机接入过程设置为接入请求队列和数据队列的双队列模型，在mtcd竞争同一个前导码发生随机接入碰撞后，再把符合马尔可夫链的无后效性的数据队列状态转移过程建模成一个四元组(s,a,p,r)构成的马尔可夫决策过程。
24.进一步地，在s3中，计算各类mtcd服务质量qos参数的权重的方法为：
25.采用层次分析法将决策方案分为三个层次：目标层、准则层、方案层，准则层的指标选取为影响qos的四个状态参数，四个状态参数包括时延(d)、丢包率(e)、数据链路速率(b)和抖动(j)；
26.首先，根据不同状态参数在退避接入决策中的重要程度，分别构四种业务类型的判断矩阵a＝(a
ij
)4×4，a
ij
的值利用saaty 1
‑
9标度法确定，体现同一层次下参数i相比较于参数j对目标层的重要程度，由参数两两进行比较获得，判断矩阵是正互反矩阵，满足a
ij
a
ji
＝1，且a
ii
＝1(i,j＝1,2,3,4)；
27.然后利用几何平均法，求取四个qos指标参数的权重因子：
[0028][0029]
其中，n为qos参数的数量(n＝4)；
[0030]
最后，对判断矩阵a进行一致性检验，计算一致性比例cr：
[0031][0032]
其中，λ
max
为判断矩阵的最大特征值，ri表示平均一致性指标，当cr＜0.1时，判决矩阵一致性为可以接受，否则需要重新构造并对其修正直到满足一致性检验。
[0033]
进一步地，在s3中，在s3中，构造奖励函数的方法为：
[0034]
构造加权的服务质量关键绩效指标(kpi)函数作为整体的奖励函数：
[0035]
r(s,a)＝ω
b
r
b
(s,a) ω
d
r
d
(s,a) ω
e
r
e
(s,a) ω
j
r
j
(s,a)
[0036]
其中，ω是各qos指标参数的权重因子，且满足0≤ω≤1；r
b
(s,a)、r
d
(s,a)、r
e
(s,a)、r
j
(s,a)分别为数据链路速率(b)、时延(d)、丢包率(e)、抖动(j)的奖励函数；
[0037]
参数值越大的参数为效益型参数，数据链路速率(b)的定义其奖励函数为：
[0038][0039]
其中，l
b
和u
b
分别为mtcd可提供的最小和最大数据链路速率，b
a
为在状态s下采取动作a后系统的能增加的数据链路速率值；
[0040]
参数值越小的参数为成本型参数，时延(d)、丢包率(e)、抖动(j)的相关参数的奖励函数定义为：
[0041][0042]
其中，l
x
和u
x
分别为mtcd退避接入时对于参数x(x＝d,e,j)可以接受的最小和最大值，x
a
为在状态s下采取动作a后系统所能得到的参数x的值。
[0043]
进一步地，在s4中，近似拟合状态值函数的评价网络critic和近似拟合策略函数的策略网络actor均由输入层、隐藏层和输出层构成，输入层和输出层的激活函数均为线性函数，隐藏层的激活函数为relu函数，其中策略网络actor利用softmax策略函数输出行为概率。
[0044]
进一步地，在s5中，策略网络actor生成退避接入决策的方法为：
[0045]
策略网络actor的策略函数为用于离散空间softmax函数，用描述状态和行为的特征与参数θ的线性组合来权衡一个行为发生的几率，根据包含mtcd的qos参数指标和前导码占用情况信息的当前状态s，选择行为以生成退避接入决策，最后通过奖励函数计算
出一个回报值，同时得到下一个状态的信息。
[0046]
进一步地，在s6中，更新评价网络critic神经网络参数的方法为：
[0047]
评价网络critic通过神经网络估计状态值函数，计算td误差得到估计值和真实值的偏差，为精确估计状态值函数，设置优化目标为最小化td误差，选择梯度下降法训练神经网络，构建常规的均方差损失函数更新网络权重参数，同时将td误差作为评价，传递给策略网络actor以指导其更新。
[0048]
进一步地，在s7中，更新策略网络actor参数的方法为：
[0049]
利用评价网络critic输出的td偏差作为优势函数来构造策略网络actor的策略梯度，采用自适应学习率优化的自适应矩估计adam梯度下降算法(adaptive moment estimation)训练神经网络，结合整体qos使得网络参数向着最大化累积回报期望的方向更新。
[0050]
与现有技术相比，本发明的有益效果是：
[0051]
1、根据实际应用场景，对不同业务进行分类，针对个性化服务质量需求，利用层次分析法构建目标函数，能够满足海量机器类通信终端的差异化qos需求；
[0052]
2、利用结合值函数迭代和策略迭代的深度强化学习算法求解mdp模型，与环境交互自适应地训练，学习如何得到最优接入退避策略，做出退避决策，有效地在满足个性化qos需求同时，提升终端接入成功率和系统资源利用率，降低平均接入时延和平均碰撞概率。
附图说明
[0053]
图1为本发明大规模机器类通信基于机器学习的随机接入退避方法的流程框图；
[0054]
图2为本发明大规模机器类通信基于机器学习的随机接入退避方法s3中确定qos参数权重的层次分析结构模型图；
[0055]
图3为本发明大规模机器类通信基于机器学习的随机接入退避方法s4
‑
s7中actor
‑
critic算法框图；
[0056]
图4为本发明大规模机器类通信基于机器学习的随机接入退避方法的系统模型图。
具体实施方式
[0057]
下面结合附图和实施方式对本发明作进一步的详细说明：
[0058]
如图1至图4所示，大规模机器类通信基于机器学习的随机接入退避方法，包括以下步骤：
[0059]
s1：结合5g虚拟化思想，以地理位置或应用需求等各种依据动态划分虚拟小小区，虚拟小小区内的mtcd竞争同一个前导码，参照3gpp协议和国内外文献，结合生活场景，根据业务特性的不同，将mtcd的业务主要划分成四大类：
[0060]
第一类是对数据准确性十分敏感且有硬时延要求的业务，包括异常数据警报、车辆跟踪和资产跟踪等；
[0061]
第二类是有一定的容错率和延迟容忍、但对抖动敏感且有数据链路速率要求的业务，主要针对视频应用，包括远程监控、异常视频监控报告等，这类业务在数据链路速率方
面有最低保证比特率的要求，对抖动比较敏感，抖动是重要的指标，但是在丢包率和时延方面具有一定的容错率和延迟容忍；
[0062]
第三类是对数据准确性要求极高但有延迟容忍的业务，包括智能计量、网络指令和移动pos等，这类业务一般通过请求
‑
响应的方式传输，数据量也相对较大，虽然强调数据准确性，但是对时延没有严格的要求，可以容忍延迟；
[0063]
第四类是要求数据准确但容忍时延的周期性报告业务，包括环境监控、物流跟踪等，这类业务的特性是频繁地传输上行数据，且数据量较小，不要求实时传输，但是要保证数据的准确性；
[0064]
s2：对问题进行系统建模，将mtcd的随机接入过程设置为接入请求队列和数据队列的双队列模型，因为某时刻访问请求只有一个，所以接入请求队列最多只有一个，在随机接入碰撞后，设备在数据队列进入退避状态，设备的下一状态只与当前状态和选择的退避窗口有关，符合马尔可夫链的无后效性，因此数据队列的状态转移过程可以建模成一个由四元组(s,a,p,r)构成的马尔可夫决策过程。
[0065]
s是状态空间，s∈s表示当前agent观察到的状态，定义系统状态由各mtcd的qos参数q和各退避时隙前导码占用状态l两部分组成，各mtcd间可以通过基站交互信息，设备i的状态可以表示为
[0066]
a是动作空间，a∈a表示智能体agent采取的动作，定义动作为设备所选择的退避时隙，a∈{1,2,
…
,slot}，即共有slot个时隙可以选择；
[0067]
r:s
×
a
→
r表示奖励函数，是agent在当前状态采取动作后获得的即时奖励，可以体现优化目标，本发明奖励函数定义为服务质量关键绩效指标(kpi)函数；
[0068]
表示状态转移概率集合；
[0069]
在mdp模型中，定义状态值函数表示当前状态下采取策略π:s
→
a获得的长期回报：
[0070][0071]
其中，γ为折扣因子，满足0≤γ≤1，反映未来奖励对于长期回报的重要程度。因此希望得到的退避接入策略就可以表示为：
[0072][0073]
s3：构造加权的服务质量关键绩效指标(kpi)函数作为整体的奖励函数，结合步骤s1中已经划分的四类业务，利用层次分析法计算各类mtcd服务质量qos参数的权重：
[0074]
首先，建立好层次结构模型，采用层次分析法将决策方案分为三个层次：目标层、准则层、方案层。准则层的指标选取为影响qos的四个状态参数，所述服务质量状态参数包括时延(d)、丢包率(e)、数据链路速率(b)和抖动(j)；
[0075]
其次，根据不同状态参数在退避接入决策中的重要程度，分别构四种业务类型的判断矩阵a＝(a
ij
)4×4，a
ij
的值通过saaty 1
‑
9标度法确定，取值如表1所示，体现同一层次下参数i相比较于参数j对目标层的重要程度，由参数两两进行比较获得，对比时采用相对尺度，以尽可能减少性质不同因素相互比较的困难，以提高准确度；判断矩阵是正互反矩阵，满足a
ij
a
ji
＝1，且a
ii
＝1(i,j＝1,2,3,4)；
[0076]
表1 saaty 1
‑
9标度法
[0077][0078]
表1中，在相同到绝对强每两个等级之间可依次使用2，4，6，8将其量化。
[0079]
第一类业务的判断矩阵：
[0080]
第二类业务的判断矩阵：
[0081]
第三类业务的判断矩阵：
[0082]
第四类业务的判断矩阵：
[0083]
然后利用几何平均法，求取四个qos指标参数的权重因子
[0084]
[0085]
其中，n为qos参数的数量(n＝4)；根据qos指标参数的数量n，通过查找表2获得对应的平均随机一致性指标ri；
[0086]
表2平均随机一致性指标对应表
[0087]
n123456789ri000.520.891.121.261.361.411.46
[0088]
最后，计算一致性比例cr:其中，λ
max
为判断矩阵的最大特征值。当cr＜0.1时，认为判决矩阵的一致性是可以接受的，否则需要重新构造并对其修正，直到满足一致性检验。最终得到四类业务终端的qos参数权重系数和一致性比例如表3所示；
[0089]
表3四类业务终端qos参数的权值及一致性比例cr
[0090][0091]
构造加权的服务质量关键绩效指标(kpi)函数作为整体的奖励函数：
[0092]
r(s,a)＝ω
b
r
b
(s,a) ω
d
r
d
(s,a) ω
e
r
e
(s,a) ω
j
r
j
(s,a)
[0093]
其中，ω是各qos指标参数的权重因子，且满足0≤ω≤1，已在表3中求出；r
b
(s,a)、r
d
(s,a)、r
e
(s,a)、r
j
(s,a)分别为数据链路速率(b)、时延(d)、丢包率(e)、抖动(j)的奖励函数；
[0094]
参数值越大的参数为效益型参数，数据链路速率(b)的定义其奖励函数为：
[0095][0096]
其中，l
b
和u
b
分别为mtcd可提供的最小和最大数据链路速率，b
a
为在状态s下采取动作a后系统的能增加的数据链路速率值；
[0097]
参数值越小的参数为成本型参数，时延(d)、丢包率(e)、抖动(j)的相关参数的奖励函数定义为：
[0098][0099]
其中，l
x
和u
x
分别为mtcd退避接入时对于参数x(x＝d,e,j)可以接受的最小和最大值，x
a
为在状态s下采取动作a后系统所能得到的参数x的值。
[0100]
s4：采用误差反向传播的bp神经网络构建近似拟合状态值函数的评价网络critic和近似拟合策略函数的策略网络actor，并初始化网络参数；
[0101]
近似拟合状态值函数的评价网络critic和近似拟合策略函数的策略网络actor均由输入层、隐藏层和输出层构成，输入层和输出层的激活函数均为线性函数，隐藏层的激活函数为relu函数；
[0102]
本发明基于机器学习的随机接入退避方法的总体目标是作为agent的mtcd在状态s下得到最优退避接入策略，考虑总体qos选择动作，最大化累积回报的期望，策略网络actor的作用就是生成当前的执行策略并根据critic反馈的评价不断改进；评价网络critic的作用是越加精确地估计状态值函数，并根据此评价策略的执行结果，指导策略网络actor的优化；
[0103]
s5：根据当前mtcd的qos状态和前导码占用状态，策略网络actor利用softmax策略函数输出行为概率，生成退避接入决策，然后通过奖励函数求得一个回报值，同时得到mtcd和前导码的下一个状态s
t 1
；
[0104]
s6：评价网络critic根据系统状态利用神经网络来近似拟合状态值函数，这样就可以通过网络参数的迭代更新来更新值函数。评价网络critic引入时序差分(td)误差作为优化目标：
[0105]
δ
t
＝v(s
t
)
‑
v
ξ
(s
t
)
[0106]
其中，v(s
t
)＝r
t 1
γv
ξ
(s
t 1
)。为了精确估计值函数，构建常规的均方差损失函数，采用梯度下降方法训练网络，最小化td误差，以此来更新神经网络权重参数：
[0107]
ξ
new
＝ξ
old
α
c
δ
t
▽
ξ
v
ξ
(s
t
)
[0108]
其中，α
c
为critic网络的学习速率。然后将td误差传递给策略网络actor以指导其改进策略；
[0109]
s7：策略网络actor将策略的调整转化为网络参数的更新，将评价网络critic输出的td误差作为优势函数来构造策略梯度，采用自适应学习率优化的自适应矩估计adam梯度下降算法(adaptive moment estimation)训练神经网络，结合整体qos使得网络参数向着最大化mdp长期回报的方向更新actor的网络参数：
[0110]
θ
new
＝θ
old
α
a
▽
θ
logπ
θ
(a
t
|s
t
)δ
t
[0111]
其中，α
a
为actor学习速率，为便于改进，应设置其小于critic网络的学习速率；
[0112]
s8：进行n次循环迭代，每次循环迭代从初始时刻开始，得到初始化网络状态，直至终止时刻；在每个决策时刻进行s5
‑
s7的操作步骤，训练更新网络参数；
[0113]
s9：根据训练好的策略网络确定最优退避接入策略π
θ
，为mtcd选择最优的退避接入时隙。
[0114]
以上所述的仅是本发明的实施例，方案中公知的具体技术方案或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明技术方案的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。