一种基于策略熵的异构VLC/RF车载V2V信道功率控制方法
本发明涉及可见光车载通信,尤其是一种基于策略熵的异构vlc/rf车载v2v信道功率控制方法。
背景技术:
1、可见光通信利用发光二极管发射的可见光作为无线通信载体,具有无授权频谱、无电磁干扰、高带宽、保密性强等优势,被认为是车载近距离射频无线通信技术的重要补充。近年来,异构vlc/rf车载通信网络受到广泛关注,可通过双链路互补提升车车通信的传输能力与可靠性。
2、车载自组织网络中车辆节点高速移动、拓扑动态变化,导致信道质量波动大、资源分配难度高,直接限制了通信质量与传输速率。现有研究多采用深度强化学习算法实现通信资源分配,但大多基于ε-greedy探索策略及其变体,存在显著技术局限:其一,探索概率随训练进程固定衰减,无法根据策略实际收敛状态动态调整,易出现前期探索不足、后期探索冗余的问题,造成学习效率低、收敛速度慢;其二,即使训练收敛后,策略仍保留固定随机探索概率,选择最优动作的概率存在理论上限,无法收敛至确定性最优分配策略;其三,预定义的探索策略难以适配车载网络高动态拓扑变化,策略鲁棒性与泛化能力不足。
技术实现思路
1、为了解决现有技术中车载自组织网络中车辆节点通信质量受限、传输速率不足,以及传统深度强化学习功率分配算法探索策略固化、收敛性差、易陷入局部最优的技术问题,本发明提供一种基于策略熵的异构vlc/rf车载v2v信道功率控制方法,在保障车辆间通信质量的同时,提升算法收敛性能与全局最优性,适配动态车载通信场景。
2、本发明一种基于策略熵的异构vlc/rf车载v2v信道功率控制方法所采用的技术方案为:
3、一种基于策略熵的异构vlc/rf车载v2v信道功率控制方法,包括以下步骤:
4、s1、vlc信道特性建模,推导车辆间vlc信道增益、接收功率及信干噪比的量化表达式;
5、s2、rf信道特性建模,推导车辆间rf信道增益、接收功率及信干噪比的量化表达式;
6、s3、熵正则化功率控制模型构建,在深度强化学习框架中引入策略熵,修正q函数贝尔曼迭代公式,构建包含熵项的目标函数与损失函数;
7、s4、自适应熵深度q网络算法求解,设计适配车载场景的状态空间、动作空间与奖励函数,结合熵系数自适应调整机制,求解得到最优分配策略;
8、s5、基于最优分配策略对各车辆节点的通信信道与发射功率进行自适应调控,实现异构vlc/rf车载v2v通信的信道功率优化控制。
9、本发明技术方案的进一步改进在于:所述s1任意车辆之间信道增益可用以下公式表示:
10、 (1)
11、式中,表示和之间的vlc信道增益,是pd的直径,和是修正系数,晴天时和;
12、vlc的接收功率可以表示为:
13、 (2)
14、式中,是vlc发射功率;
15、根据信道增益公式,vlc的信干噪比可表示为:
16、 (3)
17、式中,是光电转换常数,是vlc系统噪声的方差,可用以下公式表示:
18、 (4)
19、式中,为散射噪声的方差,可以由以下公式给出:
20、 (5)
21、式中,q是电荷,r是pd的响应度,是vlc的噪声带宽,是散射噪声背景光电流,是热噪声电流;此外,热噪声方差表示为:
22、 (6)
23、式中,k是玻耳兹曼常数,是绝对温度,g是开环电压增益,是pd的单位面积的固定电容,是pd的面积,是场效应管的信道噪声因子,是场效应管的跨导,是fet噪声光电流。
24、本发明技术方案的进一步改进在于:所述s2任意两车辆间的信道增益可用以下公式表示:
25、 (7)
26、式中,表示和之间的rf路径损耗,即,是rf中心载频,a、b和c是常量,取为a=20、b=20、c=32.45;
27、rf的接收功率分别可以表示为:
28、 (8)
29、式中,是rf发射功率;
30、根据信道增益公式,rf的信干噪比分别可表示为:
31、 (9)
32、式中,是rf的噪声功率谱密度,是rf的噪声带宽。
33、本发明技术方案的进一步改进在于,所述s3包括以下步骤:
34、s3.1、传统深度强化学习模型的训练目标为寻找最优策略使得累积奖励期望最大,即
35、 (10)
36、式中,为策略π形成的状态-动作轨迹分布;,和r分别是第t步时的状态、动作和即时奖励;e表示数学期望运算;
37、在递归求解最佳策略时采用的q函数贝尔曼迭代公式为:
38、 (11)
39、式中,,是环境状态转移之后的状态和动作,是折扣因子;
40、s3.2、策略熵即策略分布熵,策略熵是对于所有可能动作的概率与它的对数的乘积的求和,然后取负号;定义为:
41、 (12)
42、式中是策略网络在状态s下产生的动作概率分布;
43、在drl模型中加入策略熵后,q函数贝尔曼迭代公式变为:
44、 (13)
45、式中,为从分布采样出的策略;
46、则目标函数变为:
47、 (14)
48、式中,表示某时间段内的累积奖励;为状态下策略分布的熵,β为熵正则化系数;如果β越高,则代表熵值占比越大;β越小表现熵值所占比重越小;
49、策略熵作为了损失函数的一部分,损失函数写为
50、 (15)
51、式中,是时序差分误差,公式为;
52、s3.3、采用软策略迭代方法求解熵正则化模型,交替执行软策略评估与软策略改进;在第k次迭代中,首先通过软策略评估计算当前策略的软q函数,在给定初始的情况下,迭代应用以下软策略评估规则:
53、 (16)
54、其中,则收敛于;在上述软策略评估后,通过以下方式获得了改进的更新策略:
55、 (17)
56、式中,表示kullback-leibler(kl)散度约束;表示原策略下的q函数;表示原策略的对数配分函数;和将分别收敛于和;
57、s3.4、定义平均最大概率作为监测指标,即批次内所有状态下选择最优动作的平均概率,定义为:
58、 (18)
59、n为批次中的样本数量、a表示动作空间、表示在状态下选择动作a的概率、表示在状态下所有可能动作中的最大选择概率。
60、本发明技术方案的进一步改进在于:所述s3.4中基于平均最大概率的实时监测结果,设置两个阈值和,
61、当时,表明策略陷入局部最优风险较高,此时,系统会增大β;
62、当时,表明策略探索过度,学习效率低,此时,系统会减小β;
63、当平均最大概率在到之间时,表明探索-利用处于平衡状态,系统采用缓慢的指数衰减,其中。
64、本发明技术方案的进一步改进在于:所述s4包括以下步骤:
65、s4.1、状态空间设计:
66、 (19)
67、式中,为所有车辆的归一化射频干扰向量,为所有车辆的归一化可见光干扰向量,为训练进度因子,e为当前训练回合数,为总回合数;
68、s4.2、动作空间设计:
69、每个车辆的决策包含信道选择和功率控制两个维度,采用离散化编码方案;动作空间定义为:
70、 (20)
71、式中,c=0表示选择rf信道,c=1表示选择可见光信道;p分别对应四个离散功率等级p=[10,15,20,25]dbm;
72、s4.3、奖励函数设计:
73、系统级奖励函数定义为:
74、 (21)
75、式中,为智能体在时间步长t时与邻居j的传输速率,为智能体在时间步长t时与邻居j的sinr,n为当前时间步长下智能体的邻居数量,和为平衡奖励两个部分的加权系数,且;
76、将累计收益定义为,因此,策略π的值函数和q函数被表示为:
77、 (22)
78、 (23)
79、式中,表示在由策略π生成的整个mdp轨迹上计算的数学期望;drl算法识别满足以下条件的最优策略;
80、 (24)
81、式中,表示策略π的性能,表示封闭的策略空间;和;
82、其中,表示策略π的经典贝尔曼算子满足:
83、 (25)
84、s4.4、采用自适应熵正则化深度q网络算法求解得到最优分配策略。
85、本发明技术方案的进一步改进在于:所述s4.4中算法采用分布式多智能体架构,每辆车辆作为独立智能体基于局部观测进行决策;算法流程包含网络参数初始化、环境交互采样、经验回放存储、小批量样本训练、目标网络软更新、熵系数自适应调整环节,通过经验回放机制提升训练稳定性。
86、由于采用了上述技术方案,本发明取得的技术进步是:
87、本发明通过策略熵正则化与自适应探索机制,优化信道与功率分配策略,有效提升异构vlc/rf车载通信的信干噪比与传输速率。相比传统dqn算法,信干噪比提升约6%,传输速率提升约18%,且策略波动更小、鲁棒性更强。
88、本发明自适应熵系数可根据策略确定性动态调整探索强度,突破了预定义探索策略的僵化局限,算法提前约150回合收敛,且不易陷入局部最优,策略泛化能力更强。
89、本发明采用分布式多智能体架构,每辆车独立决策,适配车载高速动态拓扑;模型参数量小、推理延迟低,可在车载嵌入式设备上部署,满足v2v通信的实时性要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com