多接入点无线网络强化学习调度方法、装置、设备及介质与流程
本申请属于无线网络无线资源管理,特别涉及一种多接入点无线网络强化学习调度方法、装置、设备及介质。
背景技术:
1、光纤到无线(fiber to the radio,fttr)网络通过光纤连接多个无线接入点(access point,ap),以消除家庭、办公、商业和园区环境中的全屋覆盖死角和信号衰减。参照图2,主fttr网关或主光网络单元(optical network unit,onu)通过光纤与多个从光网络单元或无线接入节点相连,多个无线终端需要在不同接入点和无线资源之间动态选择。光侧具备较高容量和较低传输时延,但无线侧存在信道波动、墙体遮挡、同频干扰、随机接入和队列竞争等问题。在同一接入点的同一资源池内,多个终端竞争有限的调度机会,终端的队列长度、业务到达强度和业务期限共同决定其吞吐量、时延和丢包率。一个终端的接入点-资源池动作不仅影响自身链路传输质量,还通过改变资源竞争组的成员构成,影响其他终端的竞争状态和排队服务过程。传统组合优化方法需要在每个控制周期求解高维离散关联与资源分配问题,计算复杂度过高,难以适应终端接入、业务负载和无线信道的持续动态变化。
2、现有技术中,采用深度q网络(dqn)、深度确定性策略梯度(ddpg)、近端策略优化(ppo)或多智能体强化学习方法,将链路测量值、队列状态、业务到达和接入点负载作为状态,将接入点编号和资源编号作为动作,使用吞吐量、时延、可靠性和能耗的加权和作为奖励函数,通过环境交互学习状态到动作的映射。为降低联合动作空间的维度,部分方法按终端顺序以自回归方式逐个生成动作。
3、但是,现有技术方案中策略网络主要依赖试错来识别优劣动作,未在策略采样前利用通信和排队机理排除确定性的劣质候选,导致样本效率较低。自回归策略虽然降低了输出维度,但当前候选动作的性能取决于完整资源组的成员构成;若仅根据当前终端的局部信道状态或上一时刻接入点负载评价动作,无法反映该候选动作对竞争组重构、调度机会分配和期限送达概率的影响。
技术实现思路
1、本申请提供一种多接入点无线网络强化学习调度方法、装置、设备及介质,可以解决现有技术中存在的样本效率低的技术问题。
2、为实现上述目的,本申请提供如下技术方案:
3、一种多接入点无线网络强化学习调度方法,所述方法包括:
4、获取无线通信网络中多个终端的当前状态信息;
5、对于当前终端的每一个候选动作,构造与所述候选动作对应的完整联合动作,其中,当前终端的一个动作表征当前终端选择的一个无线资源竞争组;
6、在所述完整联合动作下,根据所述当前状态信息,计算当前终端在所述完整联合动作下的资源获取机会;
7、根据所述资源获取机会以及从所述当前状态信息中提取的网络状态参数,从当前终端的全部候选动作中筛选出候选动作子集;
8、将所述当前状态信息输入强化学习策略,并根据所述候选动作子集对所述强化学习策略的决策空间进行约束,使所述强化学习策略在所述候选动作子集所限定的范围内输出当前终端的执行动作。
9、基于同一发明构思,本申请实施例还提供一种多接入点无线网络强化学习调度装置,所述装置包括:
10、信息获取模块,被配置用于获取无线通信网络中多个终端的当前状态信息;
11、完整联合动作构造模块,被配置用于对于当前终端的每一个候选动作,构造与所述候选动作对应的完整联合动作,其中,当前终端的一个动作表征当前终端选择的一个无线资源竞争组;
12、计算模块,被配置用于在所述完整联合动作下,根据所述当前状态信息,计算当前终端在所述完整联合动作下的资源获取机会;
13、筛选模块,被配置用于根据所述资源获取机会以及从所述当前状态信息中提取的网络状态参数,从当前终端的全部候选动作中筛选出候选动作子集;
14、执行动作获取模块,被配置用于将所述当前状态信息输入强化学习策略,并根据所述候选动作子集对所述强化学习策略的决策空间进行约束,使所述强化学习策略在所述候选动作子集所限定的范围内输出当前终端的执行动作。
15、基于同一发明构思,本申请实施例还提供一种电子设备,包括:存储器、处理器;所述处理器,用于读取并执行所述存储器存储的计算机程序,以实现前述的一种多接入点无线网络强化学习调度方法的步骤。
16、基于同一发明构思,本申请实施例还提供一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,所述计算机可执行指令执行时实现前述的一种多接入点无线网络强化学习调度方法的步骤。
17、与现有技术相比,本申请具有如下优点:
18、通过构造完整联合动作,使竞争组合解析性能可被确定,从而避免了局部动作评价缺少完整联合动作语境的问题;
19、将全部候选动作集合压缩为候选动作子集,解决了现有技术依赖试错识别优劣动作,未在策略采样前利用通信和排队机理排除确定性劣候选,导致样本效率低的问题;
20、进行约束后的强化学习只需在平均非支配候选数个动作中采样,该数量通常显著小于合法候选总数,降低了强化学习探索与推理复杂度。
21、本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
1.一种多接入点无线网络强化学习调度方法,其特征在于,所述方法包括:
2.根据权利要求1所述的多接入点无线网络强化学习调度方法,其特征在于,所述对于当前终端的每一个候选动作,构造与所述候选动作对应的完整联合动作,包括:
3.根据权利要求1所述的多接入点无线网络强化学习调度方法,其特征在于,所述根据所述当前状态信息,计算当前终端在所述完整联合动作下的资源获取机会,包括:
4.根据权利要求1所述的多接入点无线网络强化学习调度方法,其特征在于,所述根据所述资源获取机会以及从所述当前状态信息中提取的网络状态参数,从当前终端的全部候选动作中筛选出候选动作子集,包括:
5.根据权利要求4所述的多接入点无线网络强化学习调度方法,其特征在于,所述多维性能度量为预测性能度量,所述方法还包括:
6.根据权利要求1所述的多接入点无线网络强化学习调度方法,其特征在于,所述根据所述候选动作子集对所述强化学习策略的决策空间进行约束,包括:
7.根据权利要求1所述的多接入点无线网络强化学习调度方法,其特征在于,所述方法还包括:
8.一种多接入点无线网络强化学习调度装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括:存储器、处理器;所述处理器,用于读取并执行所述存储器存储的计算机程序,以实现权利要求1-7任一项所述的一种多接入点无线网络强化学习调度方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令执行时实现权利要求1-7任一项所述的一种多接入点无线网络强化学习调度方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com