一种无线多跳网络中分布式信道分配方法与流程

技术特征：
1.一种无线多跳网络中分布式信道分配方法，其特征在于，采用至少包括物理设备层、计算层和网络服务层的物理架构，物理设备层由随机部署在网络中的n个无线节点组成一个多跳的无线通信网络，将多信道分配问题建模为pomdp问题，利用异步drl模型实现分布式的信道分配，每个节点作为一个自治的智能体agent，通过本地决策模块与不确定的网络环境进行交互，计算层的汇聚节点负责对网络中其他站点所收集的数据进行汇聚、分析和处理，且该节点具有边缘计算功能，即可卸载节点的计算任务，并可基于节点分布式采集的经验信息训练异步drl模型，无线节点定期从汇聚节点处更新本地决策模块参数。2.根据权利要求1所述的一种无线多跳网络中分布式信道分配方法，其特征在于，将多信道分配问题建模为pomdp问题，即agent观察当前网络状态s并在时间周期t执行动作a，并在执行动作a后以状态转移概率p转移到下一个时间周期的网络状态s
′
，并从环境中获得相应的奖励r，则pomdp问题表示为：m＝<s,a,p,r,γ>；其中，m表示pomdp问题模型；s是状态集合表示状态空间；a是动作集合表示动作空间，其中动作a∈a表示节点欲切换的信道编号；r为奖励函数；γ为折扣因子。即在给定环境状态s∈s,agent执行动作a∈a，则环境状态将从s迁移到s
′
，即s
→
s
′
，同时从环境获得相应的回报r。3.根据权利要求2所述的一种无线多跳网络中分布式信道分配方法，其特征在于，节点i在第t个时间周期观察到的环境状态表示为：其中，表征了节点i的邻居节点对每个无线信道的占用情况，即各信道潜在的干扰度；k是可用信道数量，n是指节点数量；表示节点i的邻居节点在占第t个时间周期对信道j的占用情况，表示存在节点i的邻居节点使用信道j，表示存在节点i的邻居节点使用信道j；n
i,o
为节点i的邻居节点总数。4.根据权利要求1所述的一种无线多跳网络中分布式信道分配方法，其特征在于，当节点在执行动作a后，并从状态s转移到下一个状态s
′
时从环境中获得的奖励函数可表示为：其中，r(s,a)表示当节点i在第t个数据周期将信道切换为信道k时从环境获得的奖励值；表示当前周期是否存在节点i的邻居节点使用信道k：若不存在节点i的邻居节点使用信道k，则反之，反之，为在第t个时间周期，节点i的邻居节点中使用信道k的节点数量；为节点i在信道k上进行数据传输的成功传输概率。5.根据权利要求2所述的一种无线多跳网络中分布式信道分配方法，其特征在于，部署在计算层的异步drl模型包括当前网络、目标网络、误差计算模块和经验池，以及部署在无线节点本地的决策模块，本地决策模块的网络结构与当前网络相同，本地决策模块的参数
定期从边缘节点处获取；其中：目标网络固定网络参数并获取目标值函数，当前网络用于评估策略更新参数，逼近值函数；当前网络的参数θ每一时间周期都更新；目标网络的参数θ-每隔固定多个时间周期更新一次，期间保持不变；经验池中的经验e＝<s,a,r,s
′
>,s,s
′
∈s,a∈a,，由网络中的节点异步地从无线多跳网络环境中采集；误差计算模块通过目标网络和当前网络计算的td偏差来更新当前网络的参数；此外，每隔固定时间间隔将当前网络的参数拷贝到目标网络。6.根据权利要求5所述的一种无线多跳网络中分布式信道分配方法，其特征在于，目标值函数的计算包括：其中，r(s
t
,a
t
)为节点在第t个时间周期执行动作a
t
∈a后在第t个时间周期获得的奖励，i∈,1,n-，n为节点数量；q(s
t 1
,a
t 1
；θ-)表示一个网络，即第t 1个时间周期基于网络参数为θ-的目标网络，在该网络中节点i以状态s
t 1
执行动作a
t 1
的网络；s
t 1
为节点i在第t 1个时间周期的状态；a
t 1
为节点i在第t 1个时间周期执行的动作；表示节点i基于网络参数为θ-的目标网络，在该网络中节点以状态s
t 1
下选择动作a
t 1
以最大化相应的q值。7.根据权利要求5所述的一种无线多跳网络中分布式信道分配方法，其特征在于，误差计算模块计算当前网络q(s
t
,a
t
；θ)与目标网络q(s
t 1
,a
t 1
；θ-)之间的td误差表示为：采用梯度下降来更新神经网络参数：其中l(θ)为模型的td误差函数；表示求期望；θ为实时更新的网络参数；α是学习率；是l(θ)的梯度；q(s
t
,a
t
；θ)，表示一个网络，即第t个时间周期网络参数为θ下节点i∈,1,n-以状态s
t
执行动作a
t
的网络。8.根据权利要求2所述的一种无线多跳网络中分布式信道分配方法，其特征在于，将整个系统时间划分为多个连续的超帧时间，一个超帧时间为一个时间周期，每个超帧包括一个信标帧、一个控制周期和一个数据传输周期，控制周期采用一个固定的控制信道来传输相关的控制信息和信道分配决策；数据传输周期采用k个非重叠信道以支持无干扰的并行数据传输；且在控制周期，网络中的所有节点切换到控制信道上以侦听和发送相关的控制信息；数据传输周期有数据要发送的节点切换到其父节点所在的信道上基于信道接入机制
进行数据传输。9.根据权利要求2所述的一种无线多跳网络中分布式信道分配方法，其特征在于，节点在执行动作a的过程中，采用基于rts/dcts的信道接入机制，包括：若节点d位于第m跳、其下一跳第m 1跳节点为节点i，即节点d是节点i的父节点；若节点e位于第m跳、其下一跳第m 1跳节点为节点j，即节点e是节点j的父节点；四个节点均工作在相同信道上，且节点i和节点j的退避值为0；当节点i发送一个rts帧给节点d时，节点d等待一个cifs时间，再返回一个cts帧；节点d的子节点在接收到节点i的rts帧或节点d的cts帧后，将基于duration字段中的信息设置相应的nav；当节点e接收到来自节点i的rts帧，等待一个sifs，返回一个cts帧来通知其子节点在节点i传输期间，其子节点延迟数据传输；其中，rts指请求发送；cts指清除发送；cifs为用于目的节点返回cts的帧间间隔；sifs指用来分隔开属于一次对话的各帧，并且cifs略大于sifs。10.根据权利要求9所述的一种无线多跳网络中分布式信道分配方法，其特征在于，若节点j位于节点i的通信范围内，且其父节点没有位于节点i的通信范围，则当节点j收到rts帧后，等待一个rifs后，节点j发送rts帧给父节点e。

技术总结
本发明涉及无线网络通信领域，具体涉及一种无线多跳网络中分布式信道分配方法，包括采用至少包括物理设备层、计算层和网络服务层的物理架构，物理设备层由随机部署在网络中的n个无线节点组成一个多跳的无线通信网络，每个节点作为一个自治的智能体Agent，通过本地决策模块与不确定的网络环境进行交互；计算层的汇聚节点负责对网络中其他站点所收集的数据进行汇聚、分析和处理，且该节点具有边缘计算功能，并可基于节点分布式采集的经验信息训练异步DRL模型，将多信道分配问题建模为POMDP问题，利用训练好的异步DRL模型进行信道分配；本发明解决在高密度多跳无线网络中的隐藏终端和暴露终端问题，有效地避免了数据冲突和信道资源浪费问题。资源浪费问题。资源浪费问题。


技术研发人员：雷建军 尚凤军 王颖 刘捷 周盈
受保护的技术使用者：重庆邮电大学
技术研发日：2021.11.09
技术公布日：2022/2/8