一种业务感知的智能信道接入控制方法

1.本发明属于无线网络领域，具体涉及一种基于强化学习的时隙分配技术。


背景技术：

2.无线自组织网络(ad hoc networks)具有可拓展性高、组网迅速、支持动态拓扑变化 和多跳传输等特点。ad hoc网络目前广泛应用于军事战略通信、灾后应急通信、个人组网 通信等方面。研究无线自组织网络需要重点关注的是其缺乏集中式管理、节点较强的可移 动性、分布式节点协商通信的特质。要想构建一个强健的无线自组网，需要有完善的mac 协议和移动管理算法，也需要对动态可变的网络环境自适应调整，同时由于其无线通信资 源有限，要尽量降低网络开销和减少资源浪费。
3.媒介访问控制(medium access control,mac)处在ad hoc网络模型的第二层，是自 组网通信中不可或缺的一部分，其决定何时发送数据和以何种策略发送，如对信道争用或 者预约；并且对信道资源进行管理分配，如共享信道或者划分时隙资源。目前ad hoc网络 mac协议可以根据对信道资源预约方式的不同划分为基于竞争与基于调度的mac协议， 基于竞争的mac协议最经典的是ieee802.11所用的csma/ca；基于调度的mac协议， 如时分多址tdma(time division multiple access，时分多路访问)，代表协议为fprp协 议与e-tdma协议。
4.使用强化学习来解决信道接入目前被成功证明能很好的提高网络性能，分布式网络节 点如何高效接入信道从而快速传输数据是当前关注度较高的问题。用户往往无法在分布式 结构中获得网络全局信息，而强化学习能在较大的状态空间和获取的局部特征中找到最佳 策略，将强化学习应用到分布式信道接入具有巨大的研究潜力。
5.传统的fprp协议机制中，节点一旦竞争接入信道，则占用对应信息时隙发送报文，随 机接入的方式导致节点对信息时隙的占用具有盲目性，且信道利用率也达不到理想水平。 实际网络场景中，不同节点会产生多类型业务，当节点存在紧急业务时，由于fprp协议未 考虑多类型业务节点对时隙资源和服务质量的不同需求，节点可能因无法及时接入信道而 导致紧急业务无法快速传达。分布式网络中节点考虑自身需求的同时也要权衡邻居节点的 需求，如何让节点从获知的邻居节点时隙预约情况、节点业务优先级来调整自身预约时隙 数量，合理高效分配有限链路资源，均衡各节点时隙占用比例为拟解决的关键问题。


技术实现要素：

6.为解决现有技术存在的上述问题，本发明提出一种业务感知的智能信道接入控制方法。
7.本发明具体的技术方案为：一种业务感知的智能信道接入控制方法，包括如下步骤：
8.s1、在自组织网环境中，节点在接入帧af(access frame)根据fprp五步握手机制
与基于优先级的随机接入算法praa(priority-basedrandomaccessalgorithm)竞争接入信道，每个节点在接入帧af一旦成功接入，则不再竞争其余接入时隙as，若节点竞争成功，则执行步骤s2；若节点竞争失败，则回到步骤s1；
9.s2、在抢占帧pf(preemptionframe)中处理邻居节点信息，若节点不在自己的抢占阶段，则监听邻居的抢占控制报文，以此更新信息时隙标记表，并提取邻居控制报文中的邻居信息进行存储；若节点在自己的抢占阶段，则节点根据邻居节点信息处理算法nnipa(neighbornodeinformationprocessingalgorithm)处理邻居信息，得到当前时刻状态，并通过基于dqn的时隙自适应预约算法dqn-tsara(dqn-basedtimeslotadaptivereservationalgorithm)获得当前时刻的决策预约时隙数目；根据所述决策预约时隙数目结合优先级抢占机制，更新信息时隙标记表，锁定预约的信息时隙，并发送抢占控制报文；
10.s3、若节点不在自己的通知阶段，则监听邻居通知控制报文，更新信息时隙标记表，存储相应邻居信息；若节点在自己的通知阶段，根据自己当前最新的信息时隙标记表信息发送通知控制报文；
11.s4、所有竞争接入节点在协商阶段最后，根据邻居节点信息处理算法nnipa处理邻居信息，并为时隙自适应预约算法dqn-tsara做出环境反馈；
12.s5、若节点在自己预约的信息时隙中，则发送数据报文，否则接收数据报文；
13.s6、节点在所有成功预约的信息时隙中发送完数据报文则结束流程。
14.进一步的，所述接入帧af包含n个接入时隙as(accessslot)，每个as由m个接入周期ac(accesscycle)组成，而每个接入周期ac有5轮交互过程，分别为：预约请求阶段、冲突报告阶段、预约确认阶段、预约通知阶段、打包/消除阶段；所述抢占帧有n个抢占时隙ps(preemptionslot)，每个抢占时隙分为抢占周期pc(preemptioncycle)和通知周期nc(notificationcycle)，抢占周期和通知周期分别包含n个抢占阶段pp(preemptionphase)和n个通知阶段np(notificationphase)；
15.所述接入时隙as个数与抢占周期pc和通知周期nc个数相同，且一一对应；在一个接入时隙as中，节点一旦在任意接入周期ac中竞争成功，则不再在本接入时隙as发起竞争，同样也不能再竞争别的接入时隙as；每节点在接入帧成功占用某接入时隙as，则获得对应编号抢占帧pp和np时隙。
16.进一步的，步骤s1所述的基于节点优先级随机接入算法的节点优先级计算方法为：
17.将数据缓存队列分为高中低3个优先级，节点优先级分为high-middle-low三段，共9级，其中，low∈[1,3],middle∈[4,6],high∈[7,9]，节点优先级按照以下规则划分优先级段：
[0018]
(1)只要高优先级队列存在数据包，则priority＝high。
[0019]
(2)若高优先级队列无包，而中优先级队列存在数据包，则priority＝middle。
[0020]
(3)若只有低优先级队列存在数据包，则priority＝low。
[0021]
节点首先根据划分的优先级段确定自己的初始节点优先级，其中，定段为high的节点初始优先级为8级，middle的节点初始优先级为5级，low的节点初始优先级为2级；在协议运行过程中，将当前节点队列存在的包的数量与上一帧周期节点发包的数量进行比
和通知周期分别包含n个抢占阶段pp和n个通知阶段np，每节点在接入帧成功占用某接 入时隙as，则获得对应编号抢占帧pp和np时隙。
[0036]
所述节点维护的信息时隙标记表如图2，存储了信息时隙状态信息与占用对应信息时隙 的节点信息；信息时隙状态包含空闲态(free)、锁定态(lock)、被1跳锁定态(one hoplock)、被2跳锁定态(two hop lock)共4种状态；信息时隙状态如图3信息时隙状态转 换示意图来维护。
[0037]
在抢占帧中按照时隙自适应预约算法dqn-tsara发起对多个信息时隙的预约，节点 在自己的抢占阶段pp中广播信息时隙的占用标记表，其余节点则监听控制报文获取邻居节 点对信息时隙的占用标记信息，以此更新自己保存的信息时隙占用标记表。节点收到来自 邻居的控制报文，解析报文过后对比信息时隙占用标记表，根据本节点优先级和负载情况 在优先级抢占机制下确定是否抢占时隙并更新信息时隙占用标记表，在自己的抢占阶段pp 将更新后的信息时隙占用标记表广播至邻居节点。
[0038]
具体的，本发明的方法流程如图4所示，包括如下步骤：
[0039]
s1、在自组织网环境中，节点在接入帧af根据fprp五步握手机制与基于优先级的随 机接入算法praa竞争接入信道，每个节点在接入帧af一旦成功接入，则不再竞争其余 接入时隙as，若节点竞争成功，则执行步骤s2；若节点竞争失败，则回到步骤s1；
[0040]
s2、在抢占帧pf中处理邻居节点信息，若节点不在自己的抢占阶段，则监听邻居的抢 占控制报文，以此更新信息时隙标记表，并提取邻居控制报文中的邻居信息进行存储；若 节点在自己的抢占阶段，则节点根据邻居节点信息处理算法nnipa处理邻居信息，得到当 前时刻状态，并通过基于dqn的时隙自适应预约算法dqn-tsara获得当前时刻的决策 预约时隙数目；根据所述决策预约时隙数目结合优先级抢占机制，更新信息时隙标记表， 锁定预约的信息时隙，并发送抢占控制报文；
[0041]
s3、若节点不在自己的通知阶段，则监听邻居通知控制报文，更新信息时隙标记表， 存储相应邻居信息；若节点在自己的通知阶段，根据自己当前最新的信息时隙标记表信息 发送通知控制报文；
[0042]
s4、所有竞争接入节点在协商阶段最后，根据邻居节点信息处理算法nnipa处理邻居 信息，并为时隙自适应预约算法dqn-tsara做出环境反馈；
[0043]
s5、若节点在自己预约的信息时隙中，则发送数据报文，否则接收数据报文；
[0044]
s6、节点在所有成功预约的信息时隙中发送完数据报文则结束流程。
[0045]
这里步骤s2中提出的优先级抢占机制，包括：
[0046]
s21：解析监听到的邻居控制报文，提取邻居信息时隙标记信息。根据邻居信息时隙标 记信息更新本节点信息时隙标记表。
[0047]
s22：顺序遍历本节点信息时隙标记表搜寻可用时隙，若为空闲则可直接占用，若为被 锁态则将本节点优先级与锁定每个信息时隙的节点的优先级比较，当被锁节点优先级小于 本节点时，可选中此时隙，将对应信息时隙标记信息更改为自己。
[0048]
s23：确认已锁定时隙个数是否满足本节点时隙数目需求，若不满足则继续遍历，若满 足则结束时隙占用。
[0049]
优先级抢占机制原理示意如图5，示意图假设前提如下：
[0050]
(1)将信息时隙标记表简化为只包含被锁节点优先级信息。
其中low∈[1,3],middle∈[4,6],high∈[7,9]。节点优先级按照以下规则划分优先级段：
[0061]
(1)只要高优先级队列存在数据包，则priority＝high。
[0062]
(2)若高优先级队列无包，而中优先级队列存在数据包，则priority＝middle。
[0063]
(3)若只有低优先级队列存在数据包，则priority＝low。
[0064]
节点优先级按照启发式节点优先级调整算法进行动态调整。在该算法中， last_sendpacketsize表示上一帧周期发包数，cur_sendpacketsize表示当前节点队列存在的包 的数量。
[0065][0066]
node_capacity字段生成方法：
[0067]
设节点高优先级队列报文总数为x，中优先级队列报文总数为y，低优先级报文总数为 z，节点所有缓存队列报文总数为sum，节点i的业务容量ci定义如下：
[0068][0069]
其中，w1,w2,w3表示高、中、低优先级队列所占权重。
[0070]
本发明实施例中邻居节点信息处理算法nnipa详细算法步骤，包括：
[0071][0072][0073]
其中，c
neigh_t
表示节点两跳范围内邻居节点的业务容量情况，np
neigh_t
表示节点两跳 范围内邻居节点的时隙需求压力，needslotnumi为节点i当前的需求时隙数目， lockedslotnumi为节点i已锁定时隙数目，stillneednumi为当前时刻节点i的实际仍需预约 的时隙数，minc为所有两跳范围内邻居的业务容量最小值，maxc为两跳范围内邻居的业务 容量最大值，c
neigh_i
为邻居节点i的标准化处理后的业务容量，min
still
为所有两跳范围内邻 居的仍需预约的信息时隙数目最小值，max
still
为两跳范围内邻居的仍需预约信息时隙数目 业务容量最大值，n表示两跳范围内邻居节点总数，stillneednum
neigh_i
为标准化处理后邻居 节点i的需求时隙数，prii为邻居节点i的节点优先级，m表示优先级影响因子。
[0074]
本发明中节点中优先级随机接入算法praa节点接入信道概率计算如下
[0075][0076]
其中，α＞1,p
max
＝1，nc表示2跳以内的竞争节点数，p
max
表示节点竞争接入概率最大值， priority为节点优先级。
[0077]
本发明中时隙自适应预约算法dqn-tsara实施如下：
[0078]
学习模型-状态集合s：
[0079]
s＝[num
t
,c
neigh_t
,np
neigh_t
]
[0080]
其中，num
t
表示节点当前要预约的时隙数，由节点实际数据缓存队列数据报文数量计 算所得。
[0081]cneigh_t
的计算式为：
[0082][0083]
np
neigh_t
的计算式为：
[0084][0085]
学习模型-动作集合a：将节点预约时隙数目作为学习模型的决策动作，因此动作定义 为：
[0086]
a＝{a1,a2,a3,a4,a5}
[0087]
当选择动作a1:num＝max(0.8
×
num,num
min
)
[0088]
当选择动作a2:num＝max(0.5
×
num,num
min
)
[0089]
当选择动作a3:num＝num
[0090]
当选择动作a4:num＝max(1.2
×
num,num
max
)
[0091]
当选择动作a5:num＝max(1.5
×
num,num
max
)
[0092]
其中，num
min
表示节点预约时隙数目的下限最小值，num
min
≥0。num
max
表示节点预约 时隙数目的上限最大值，num
max
≤k，k为一帧周期中总的信息时隙数目。
[0093]
学习模型-奖励函数r：根据节点自适应调整预约时隙后周围邻居节点的时隙预约压力 是否得到缓解来设置奖励，设定q为邻居业务压力临界值，当两跳范围内邻居节点的时隙 需求压力小于或等于邻居业务压力临界值则给予正向奖励，反之给予惩罚。q的大小与实 际网络规模大小以及网络节点密集程度相关。因此学习模型的奖励表示如下：
[0094][0095][0096]
综上所述，本发明实施例基于dqn的时隙自适应预约算法详细步骤如下：
[0097]
[0098][0099]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原 理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何 修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。