一种基于大模型引导的深度强化学习多址接入控制方法
本发明属于无线通信网络中的介质访问控制,特别涉及基于大模型引导的深度强化学习多址接入控制方法。
背景技术:
1、无线网络中的多个节点通常需要共享同一信道进行数据传输。介质访问控制协议决定节点何时发送、何时等待,是影响网络吞吐量、碰撞率和节点公平性的关键机制。传统aloha(aloha protocol)协议依靠随机发送,结构简单但在业务负载较高时容易产生碰撞;tdma(time division multiple access)协议依靠预设时隙分配,碰撞较少但灵活性不足;trama(traffic-adaptive medium access)等流量自适应协议能够结合优先级和业务负载进行竞争,但对动态环境下的策略学习提出了更高要求。
2、近年来,深度强化学习被逐步引入无线mac(media access control)协议的优化研究中,使智能体能够在与网络环境的交互过程中自主学习“发送”或“等待”的决策策略。然而,单纯依赖强化学习从零探索通常存在训练冷启动困难、收敛速度慢、早期碰撞频繁以及对不同协议场景迁移能力不足的问题。在多节点共享信道中,如果只追求系统总吞吐量,部分节点还可能长期处于低吞吐状态,造成公平性不足。因此,需要一种能够利用先验推理能力、加速策略形成,并兼顾吞吐量与公平性的多址接入控制方法。
3、大语言模型具有对序列模式和规则描述进行推理的能力,能够根据信道忙闲历史对下一时隙状态给出宏观判断。若将其作为训练早期的教师信号,与深度强化学习结合,可减少纯随机探索带来的低效。与此同时,需要设计合适的神经网络结构与损失函数,使教师建议在早期发挥作用并在后期自然退出,从而保留强化学习在实际环境反馈下自适应优化的能力。
技术实现思路
1、本发明的目的是针对现有无线多址接入控制方法在动态信道环境下存在的训练冷启动困难、收敛速度慢以及节点间公平性不足的问题,提出一种大语言模型引导的近端策略优化算法(large language model-guided proximal policy optimization,lppo),以提升共享无线信道中的接入效率和公平性调节能力。为了实现该目的,本发明所采用的步骤是:
2、步骤1:建立无线多址接入环境与历史状态模型。
3、(1)马尔可夫决策过程建模
4、共享无线信道中包含智能体节点和背景节点,智能体节点在每个时隙选择发送或等待动作,背景节点按照aloha、tdma、trama或混合接入规则占用信道;该接入控制过程建模为马尔可夫决策过程:
5、m= (1)
6、其中,s表示状态空间,a表示动作空间,p表示状态转移概率,r表示奖励函数,γ表示折扣因子;智能体动作空间定义为a={0,1},0表示等待,1表示发送;环境反馈包括发送成功succ、碰撞失败f、信道忙b和信道空闲i四类观测;当智能体发送且背景节点未发送时,观测为succ;当智能体发送且背景节点同时发送时,观测为f;当智能体等待且背景节点发送时,观测为b;当双方均未发送时,观测为i。
7、(2)历史状态堆叠
8、每个时隙的基础特征由动作编码、观测编码和奖励信息组成:
9、xt=[onehot(at),onehot(ot),rt] (2)
10、其中,at表示第t个时隙的动作,ot表示信道观测,rt表示该时隙奖励,onehot(·)表示独热编码函数,用于将离散动作或离散观测状态映射为仅对应类别位置取1、其余位置取0的二进制向量表示;对最近m个时隙的基础特征进行状态堆叠,得到历史状态输入:
11、st=[x{t-m+1},x{t-m+2},...,xt] (3)
12、该状态输入包含一段时间内的信道忙闲变化、碰撞结果和吞吐反馈,为lppo算法提供决策依据。
13、步骤2:构建大语言模型引导的lppo训练机制。
14、(1)大语言模型教师建议
15、本发明设置大语言模型教师模块,用于在训练初期分析信道忙闲历史并给出动作建议;根据观测结果提取背景节点占用状态:bt∈{0,1},bt=1表示背景信道忙,bt=0表示背景信道空闲;教师模块维护长度为l的历史窗口,并根据该序列输出下一时隙建议动作:
16、
17、其中,fllm表示大语言模型推理函数,表示教师建议动作;当预测下一时隙空闲时建议发送,预测忙时建议等待;教师建议仅在训练初期或调用预算范围内使用。
18、(2)大语言模型对ppo(proximal policy optimization)策略更新的引导机制
19、lppo算法以ppo为基础策略优化框架,但并非直接用大语言模型替代ppo策略;大语言模型首先根据信道忙闲历史输出建议动作,该建议动作作为教师信号输入教师辅助网络;教师辅助网络学习提取与大模型建议相关的先验特征,并通过交叉注意力机制影响ppo策略网络的状态表征。
20、具体地,学生编码器根据历史状态st提取学生特征hs,教师编码器根据同一历史状态提取教师特征ht;交叉注意力模块以学生特征hs作为查询向量,以教师特征ht作为键向量和值向量,得到融合特征hf:
21、hf=attn(q(hs),k(ht),v(ht)) (5)
22、其中,q(·)、k(·)和v(·)分别表示将输入特征映射为查询矩阵、键矩阵和值矩阵的变换函数,融合特征hf输入ppo的演员头和评论家头,用于计算动作概率和状态价值;教师特征ht输入教师辅助头,用于预测大语言模型给出的建议动作at;教师辅助蒸馏损失定义为:
23、
24、其中,pθ(at|s)表示教师辅助头在状态s下对大语言模型建议动作at的预测概率;该损失用于衡量教师辅助头对大语言模型建议动作的拟合程度,并通过优化教师编码器与教师辅助分支,使大语言模型提供的先验知识注入到策略网络的特征融合过程中;该损失不直接替代ppo策略损失,而是作为辅助监督项,在训练早期增强策略学习的方向性并减少无效探索。
25、lppo网络通过教师辅助蒸馏损失与策略优化损失联合训练,总损失函数为:
26、ltotal=βalactor+βclcritic+βtd(u)laux (7)
27、其中,lactor为ppo裁剪策略损失,lcritic为价值函数损失,laux为教师辅助蒸馏损失,βa,βc,βt为权重系数,u为当前训练步数,d(u)为随训练步数衰减的教师引导系数:
28、
29、其中t为总训练步数,rd表示教师引导阶段占总训练过程的比例系数。
30、大语言模型先影响教师辅助网络,教师辅助网络再通过特征融合影响ppo的策略表示和更新方向;训练早期,教师先验能够帮助ppo减少无效探索;随着d(u)逐渐减小,ppo逐步转为主要依据环境奖励和优势函数自主优化。
31、步骤3:构建面向吞吐量与公平性的奖励塑形机制。
32、构建基于节点历史吞吐量估计的动态奖励塑形机制,根据各节点吞吐量的指数移动平均值计算奖励权重,将各节点奖励加权组合作为内部奖励信号,使所述lppo网络在优化接入控制动作时兼顾系统吞吐量和节点间公平性。
33、根据节点n在第t个时隙的即时奖励rn,t和上一时刻平均吞吐量估计值采用指数移动平均方式更新节点n的平均吞吐量估计值
34、
35、其中,β表示公平性调节参数,根据所述平均吞吐量估计值和公平性调节参数α计算节点n的奖励权重:
36、
37、其中ε为防止分母为零的正数,将各节点即时奖励按照对应奖励权重加权求和,得到内部奖励:
38、
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com