一种基于后验分解贝叶斯状态建模的V2X动态频谱接入方法

摘要: 本发明属于车联网通信、动态频谱接入和无线资源分配,具体涉及一种基于后验分解贝叶斯状态建模的v2x动态频谱接入方法。背景技术:1、v2x通信包括车辆与基础设施通信...
一种基于后验分解贝叶斯状态建模的V2X动态频谱接入方法

本发明属于车联网通信、动态频谱接入和无线资源分配,具体涉及一种基于后验分解贝叶斯状态建模的v2x动态频谱接入方法。

背景技术:

1、v2x通信包括车辆与基础设施通信和车辆与车辆通信。其中,v2i上行链路用于车辆向路侧单元rsu传输数据,v2v链路用于车辆之间的侧链路通信。在频谱资源有限的情况下,v2v链路可以机会式复用v2i上行信道,以提高频谱利用率。

2、v2i链路具有较高的频谱接入优先级,v2v链路复用v2i上行信道时,需要避免对v2i上行传输造成过大干扰。同时,多条v2v链路选择同一信道时,还可能产生v2v信道竞争。因此,v2v接入结果会同时受到v2i活动状态和其他v2v链路信道选择的影响,车辆移动、区域交通流变化和信道状态变化进一步增加了动态频谱接入决策的难度。

3、在道路交叉口等车联网通信场景的动态频谱接入过程中,路侧单元rsu可获得按区域—信道维度汇总的v2v接入统计结果。聚合接入结果中可能同时包含v2i信道干扰和v2v信道竞争造成的影响,如果直接使用未经区分的聚合统计量进行信道决策,难以明确不同因素对接入结果的影响。此外,历史观测可能存在样本不足、信息陈旧或状态变化等情况,仅使用单一概率或瞬时观测,难以同时反映信道状态及其可信程度;不同道路区域的车辆分布和接入情况也存在差异,完全采用全局统一状态可能掩盖区域特征。

4、在同一区域中,多条v2v链路可能在同一决策时隙内依次选择信道,已经提交的信道选择会改变该时隙内后续链路面临的信道拥挤情况。如果整个时隙始终使用相同的静态信道负载信息,后续v2v链路可能继续集中选择相同信道,导致v2v碰撞率增加和吞吐量下降。因此,需要更加准确地描述区域信道状态以及时隙内信道选择变化。

技术实现思路

1、本发明的目的在于针对v2x动态频谱接入过程中,区域—信道聚合接入结果中v2i信道干扰与v2v信道竞争的影响难以区分,单一概率估计难以判断历史观测是否充分、是否陈旧以及当前信道状态是否发生变化,且全局统一信息难以保留不同道路区域的信道接入特征等问题,提供一种基于后验分解贝叶斯状态建模的v2x动态频谱接入方法。该方法还用于在每条v2v链路完成联合信道—功率动作选择并提交后,根据所述联合信道—功率动作中的信道选择结果更新动态信道拥挤程度,为同一时隙内下一条v2v链路的联合信道—功率决策提供状态依据,以降低v2v碰撞率、提高v2v吞吐量并减少v2v传输对v2i上行链路的影响。

2、为实现上述目的,本发明采用如下技术方案:一种基于后验分解贝叶斯状态建模的v2x动态频谱接入方法,包括以下步骤:

3、s1:构建分区域v2v链路复用v2i上行信道的通信场景及干扰模型;

4、s2:由路侧单元rsu收集v2v接入数据,并按照区域—信道维度进行汇总,形成v2v历史接入数据;

5、s3:根据所述v2v历史接入数据进行后验分解贝叶斯状态建模,得到信道可用性状态、信道竞争后验概率和信道拥挤程度;

6、s4:区域深度q网络利用所述信道可用性状态、信道竞争后验概率和信道拥挤程度,依次为当前时隙内各v2v链路选择联合信道—功率动作,并在每次动作提交后更新动态信道拥挤程度,将更新后的状态用于下一条v2v链路决策;

7、s5:执行当前时隙内各v2v链路选择的联合信道—功率动作,生成接入反馈和奖励;

8、s6:根据所述接入反馈更新v2v历史接入数据,并根据所述奖励更新对应区域的深度q网络参数。

9、所述信道可用性状态包括信道可用概率和所述信道可用概率的不确定性。其中,信道可用概率用于描述区域—信道对于v2v链路的有效可用程度,不确定性用于描述所述信道可用概率估计的可靠程度;信道竞争后验概率用于描述区域—信道上的历史v2v信道竞争风险;信道拥挤程度用于描述历史信道选择负载以及当前时隙内已提交动作所形成的信道选择拥挤变化。

10、进一步,所述的步骤s1具体包括以下步骤:

11、s11:构建道路交叉口v2x动态频谱接入通信场景。所述通信场景包括位于道路交叉口中心的基站bs、路侧单元rsu、v2i链路、v2v链路以及由多个相互正交信道组成的共享信道集合。将v2i链路集合记为,且;将v2v链路集合记为,且;将共享信道集合记为,且。活动v2i链路通过v2i上行信道向基站bs传输数据并具有优先频谱接入权;每条v2v链路在每个时隙从共享信道集合中机会式选择一个信道进行侧链路传输。路侧单元rsu负责收集分区域v2v接入数据、构建区域状态并协调v2v链路的联合信道—功率决策。

12、s12:将道路交叉口通信范围划分为五个通信区域,所述五个通信区域由四个道路区域和一个中心交叉区域组成,将区域集合记为。车辆位置随时隙和行驶路径变化;将v2v链路在时隙所属区域记为,并由该v2v链路发射端所在区域确定。当发射端移动到另一通信区域时,相应更新。由于同一信道在不同通信区域可能产生不同接入结果,rsu按照区域—信道对分别汇总v2v接入数据,供后续区域状态构建和区域决策使用。

13、s13:每条v2v链路在每个时隙选择一个共享信道和一个离散发射功率。将离散发射功率集合记为,则v2v链路在时隙的联合信道—功率动作表示为:

14、

15、其中,表示联合信道—功率动作,表示选择的信道,表示v2v链路发射功率。该联合动作作为步骤s14中计算接收信干噪比以及步骤s4中区域深度q网络的动作输出。

16、s14:各v2v链路执行联合信道—功率动作后,计算v2v链路i在时隙t的接收信干噪比:

17、

18、其中,表示v2v链路的接收信干噪比,表示该v2v链路的有效信道增益,表示热噪声功率,表示信道v2v干扰,表示活动v2i上行传输产生的聚合干扰;分母由v2v信道干扰、v2i信道干扰和热噪声组成。

19、

20、其中,表示除目标链路外的v2v链路,表示v2v链路的发射端至v2v链路接收端的有效信道增益;求和仅包括满足的信道v2v链路。活动且占用的全部v2i上行传输在v2v接收端产生的接收干扰功率之和构成。所述有效信道增益可由距离相关的大尺度路径损耗、阴影衰落和小尺度衰落共同确定,但不将具体传播参数限定为本发明的必要条件。

21、s15:将v2v链路接收信干噪比与预设接收信干噪比阈值比较;当时,判定v2v链路在时隙接入成功,其中表示该v2v链路的预设接收信干噪比阈值。为保护具有较高接入优先级的v2i上行传输,计算活动v2i链路在v2v信道传输存在时的总吞吐量与无v2v干扰时总吞吐量的比值:

22、

23、其中,表示时隙的活动v2i链路集合,表示v2i链路受到v2v信道干扰时的吞吐量,表示对应的无v2v干扰吞吐量上限;活动集合为空时令。将与预设v2i保护阈值比较,用于限制v2v信道传输对v2i上行链路造成的影响,并在步骤s5中生成v2i传输保护惩罚。

24、进一步,所述的步骤s2具体包括以下步骤:

25、s21:对于区域和信道,将在时隙所属区域为且选择信道的v2v链路数量记为接入尝试次数:

26、

27、其中,不以v2v链路是否接入成功为统计条件,因而不是接入成功次数。令表示区域—信道对上的v2v接入链路集合。rsu进一步统计v2i干扰命中次数:

28、

29、其中,表示相对于热噪声功率的预设干扰阈值系数。仅统计v2v接收端报告的v2i信道聚合干扰超过阈值的接入次数,不表示v2i链路的真实活动次数,也不将直接v2i活动标签作为区域状态输入。

30、s22:根据全部区域的v2v接入尝试次数,计算信道c在时隙t的信道选择负载:

31、

32、其中,表示全部通信区域内选择信道的v2v链路总数。对于未发生v2i干扰命中、接收信干噪比低于预设阈值且同一信道被多条v2v链路选择的接入,判定为v2v信道竞争,区域—信道竞争次数为:

33、

34、其中,表示v2v信道竞争次数,表示指示函数。该判定将v2i干扰命中与v2v信道竞争分别统计;竞争计数不等同于所有接入失败次数。

35、s23:根据接入尝试次数和v2v信道竞争次数,计算归一化信道选择负载:

36、

37、其中,表示信道在区域内全部v2v接入尝试中所占的比例。v2v信道竞争比例为:

38、

39、其中,表示区域—信道对的v2v信道竞争比例。使用最大值函数可在无接入尝试时避免分母为零。rsu将当前时隙的接入数据组成区域—信道聚合反馈:

40、

41、其中,表示时隙执行结果形成的聚合反馈。所述聚合反馈按照时隙顺序存储形成v2v历史接入数据,不直接作为深度q网络状态,而由步骤s3处理形成下一决策时隙的历史信道状态。

42、进一步,所述的步骤s3具体包括以下步骤:

43、s31:首先根据接入尝试次数和v2i干扰命中次数形成可用计数和不可用计数:

44、

45、其中,表示未发生v2i干扰命中的接入次数,但不表示v2v链路成功解码;表示不可用计数。设和为区域可用性beta先验参数,为遗忘因子,则区域—信道beta计数按下式更新:

46、

47、所述公式先使历史计数向先验衰减,再加入当前时隙计数。对全局信道级beta记忆执行相同的先验衰减,得到当前区域计数汇总前的和,并计算全局历史均值:

48、

49、其中,表示信道在加入时隙区域计数前的全局历史均值。设为全局可用性先验权重,将全局历史均值与区域beta计数融合:

50、

51、所述公式得到融合跨区域历史信息的区域beta参数。区域中信道的信道可用概率为:

52、

53、其中,表示基于当前区域证据和先前全局记忆得到的信道可用概率。完成各区域后验计算后,再将当前区域计数汇总至全局信道级记忆:

54、

55、所述公式更新后的全局信道级beta记忆用于后续时隙的区域先验共享,避免当前区域计数在同一次区域后验计算中重复进入。

56、s32:基于s31中融合后的区域beta参数,计算信道可用概率的后验方差:

57、

58、其中,为后验方差,反映融合beta后验在现有样本数量下的离散程度。根据当前时隙是否存在接入观测,按照下式更新辅助衰减变量:

59、

60、其中,当前时隙存在接入观测时,连续无观测惩罚项取0;当前时隙不存在接入观测时,辅助衰减变量按照遗忘因子衰减,使所述连续无观测惩罚项随连续无观测时隙增加而增大。为刻画历史状态转移,分别维护空闲后仍空闲和繁忙后转为空闲的beta转移计数,其后验概率为:

61、

62、其中,表示空闲后仍空闲的转移后验概率,表示繁忙后转为空闲的转移后验概率。转移计数仅在时根据当前可用计数与不可用计数的比较结果更新;无接入观测的时隙不作为繁忙观测。历史状态转移估计为:

63、

64、其中,表示由上一时隙信道可用概率和历史转移后验得到的状态转移估计。根据所述后验方差、连续无观测惩罚项以及当前信道可用概率与历史状态转移估计之间的差值,计算不确定性:

65、

66、其中,表示不确定性,和分别表示连续无观测惩罚权重和状态转移差异惩罚权重。不确定性用于表征信道可用概率的可信程度,并与信道可用概率共同构成信道可用性状态。

67、s33:根据v2v接入尝试次数和信道竞争次数形成竞争计数及其互补计数:

68、

69、其中,表示v2v信道竞争计数,仅为竞争beta模型的互补计数,不表示v2v链路接入成功。设和为竞争beta先验参数,则带遗忘因子的区域竞争计数更新为:

70、

71、所述公式按照先衰减历史计数、再加入当前计数的顺序更新。对全局信道级竞争beta记忆执行相同的先验衰减,得到和,其全局竞争历史均值为:

72、

73、其中,为加入当前区域竞争计数前的全局竞争历史均值。设为全局竞争先验权重,得到信道竞争后验概率:

74、

75、其中,表示区域中信道发生v2v在某一个信道竞争的后验概率。完成区域竞争后验计算后,将当前竞争计数汇总至全局信道级竞争记忆:

76、

77、所述公式的输出用于后续时隙的区域竞争先验共享。至此,得到由信道可用概率及其不确定性组成的信道可用性状态和信道竞争后验概率;随后根据历史信道选择负载生成并修正信道拥挤程度。

78、s34:根据历史信道选择负载生成初始信道拥挤程度

79、步骤s34以历史归一化信道选择负载、区域拥挤历史、全局拥挤记忆以及步骤s31至步骤s33得到的信道可用概率和信道竞争后验概率为输入,先形成基础信道拥挤程度,再进行风险修正,得到下一决策时隙的初始信道拥挤程度。

80、设表示区域拥挤历史,表示时间平滑系数,区域拥挤中间值为:

81、

82、所述公式利用历史信道选择负载形成区域拥挤中间值。根据全部区域的中间值更新信道的全局拥挤记忆:

83、

84、其中,表示信道的全局拥挤记忆。设表示区域—全局拥挤信息共享权重,将区域拥挤中间值与全局拥挤记忆融合,得到基础信道拥挤程度:

85、

86、其中,既是区域中信道的基础信道拥挤程度,也是下一次时间平滑使用的区域拥挤历史。

87、根据信道可用概率和信道竞争后验概率对基础信道拥挤程度进行风险修正。设和分别为信道竞争与信道可用性的修正系数,风险修正系数为:

88、

89、其中,表示信道不可用倾向。风险修正后的动态信道拥挤程度为:

90、

91、其中,表示风险修正后的动态信道拥挤程度,表示将结果限制在0至1范围内。不确定性不参与所述公式和所述公式的计算。

92、由时隙t反馈形成的风险修正后的动态信道拥挤程度用于初始化时隙t+1的初始动态信道拥挤程度:

93、

94、所述公式表示当前决策时隙尚无v2v链路提交动作决策结果时的动态信道拥挤程度初值。所述信道可用性状态包括信道可用概率和所述信道可用概率的不确定性;所述信道可用性状态、信道竞争后验概率和初始信道拥挤程度共同构成下一决策时隙的历史信道状态。

95、进一步,所述的步骤s4具体包括以下步骤:

96、s41:对于区域,将信道可用性状态、信道竞争后验概率和信道拥挤程度组成区域状态向量,其中,所述信道可用性状态由信道可用概率向量和不确定性向量组成,所述区域状态向量的维数为。将该状态输入区域深度q网络,其中表示区域状态,表示联合信道—功率动作索引,表示区域的在线q网络参数。网络输出每个可行动作索引对应的q值。

97、s42:共享信道集合与离散发射功率集合的笛卡尔积构成联合信道—功率动作空间:

98、

99、其中,表示联合动作空间。设共享信道和功率集合分别按及排序,则动作索引与信道、功率之间的映射为:

100、

101、其中,和分别为信道下标和功率下标。通过该映射,将区域深度q网络选定的离散动作索引转换为步骤s13定义的联合信道—功率动作。

102、s43:设表示v2v链路在时隙的可行动作索引集合。训练阶段采用-贪心策略选择动作索引:

103、

104、其中,表示探索概率,表示选定的联合动作索引。未设置额外可行性掩码时,为完整联合动作索引集合。根据所述动作索引确定当前v2v链路的联合信道—功率动作。

105、s44:在时隙内,设,。区域内的v2v链路依次完成决策;第条v2v链路完成联合信道—功率动作选择并提交动作决策结果后,根据所述联合信道—功率动作中选择的信道更新相应区域—信道的动态信道拥挤程度:

106、

107、其中,表示区域内已经完成联合信道—功率动作选择并提交动作决策结果的v2v链路数量,表示指示函数。更新量仅作用于本次被选择的信道,并按当前区域v2v链路数量归一化。

108、将包含更新后动态信道拥挤程度的区域状态用于同一区域内下一条v2v链路的联合信道—功率动作选择。区域内第条v2v链路进行决策时使用的区域状态为:

109、

110、其中,和分别为组成信道可用性状态的信道可用概率向量和不确定性向量、v2v信道竞争后验概率向量以及动态信道拥挤程度向量,各向量的维数均为c。在同一时隙内,信道可用性状态和信道竞争后验概率保持不变,仅动态信道拥挤程度随v2v链路联合信道—功率动作决策结果的依次提交而更新;重复步骤s43至步骤s44,直至当前时隙内全部v2v链路完成联合信道—功率动作选择。

111、进一步,所述的步骤s5具体包括以下步骤:

112、s51:根据步骤s14得到的接收信干噪比,计算v2v链路在时隙的瞬时吞吐量:

113、

114、其中,表示信道带宽,表示单条v2v链路的吞吐量上限。吞吐量由接收信干噪比计算并限制在上限以内。全部动作执行后,按照步骤s2生成区域—信道聚合反馈。

115、s52:根据步骤s15的v2i吞吐量比值生成v2i传输保护惩罚。设为v2i保护阈值,为保护惩罚权重,则:

116、

117、其中,表示v2i传输保护惩罚;当v2i吞吐量比值不低于保护阈值时,该惩罚为零。令表示满足步骤s22中v2v信道竞争条件的指示量,令表示满足的v2i干扰命中指示量,链路奖励为:

118、

119、其中,表示v2v链路的奖励,、和分别表示归一化v2v吞吐量、v2v信道竞争惩罚和v2i干扰命中惩罚的权重。该奖励同时反映v2v吞吐量、v2v信道竞争以及对v2i上行传输的保护要求。

120、进一步,所述的步骤s6具体包括以下步骤:

121、s61:当前时隙全部联合信道—功率动作执行完成后,rsu收集,根据所述接入反馈更新v2v历史接入数据,并根据更新后的v2v历史接入数据按照步骤s3构建下一决策时隙的历史信道状态,形成反馈后状态:

122、

123、其中,表示由时隙反馈形成的反馈后状态,作为时隙的历史信道状态。

124、s62:若v2v链路在区域中以第个顺序完成决策,则根据动作选择前的区域状态、联合信道—功率动作索引、链路奖励和反馈后状态形成经验回放样本:

125、

126、所述公式所示经验回放样本存入区域对应的经验回放缓冲区。同一时隙中由时隙反馈生成的不参与该时隙已经完成的动作选择,而仅作为后续决策时隙的历史信道状态,因而不使用未来反馈参与当前决策。

127、s63:从区域经验回放缓冲区中随机采样经验回放样本。设表示区域的目标q网络参数,表示折扣因子,表示反馈后状态对应的可行动作索引集合,深度q网络目标值为:

128、

129、其中,表示经验回放样本对应的目标值。使用目标值和在线q网络输出构造时序差分损失:

130、

131、其中,表示区域的深度q网络损失函数,表示对采样经验的期望。通过最小化该损失更新在线深度q网络参数。

132、s64:每经过预设更新周期,将在线深度q网络参数同步至目标深度q网络参数。更新后的历史信道状态和网络参数共同用于下一时隙的联合信道—功率决策。

133、与现有技术相比,本发明具有以下有益效果:

134、(1)采用带遗忘因子的区域—全局beta模型分别描述信道可用情况和v2v信道竞争情况,有利于区分不同因素对v2v接入结果的影响;通过遗忘因子减弱陈旧历史观测的影响,并利用不确定性表征信道可用概率的可信程度,从而兼顾区域差异和跨区域历史信息。

135、(2)根据历史信道选择负载形成基础信道拥挤程度,结合信道可用概率和信道竞争后验概率进行风险修正;区域深度q网络每完成一条v2v链路的联合信道—功率动作选择并提交后,根据所选信道更新动态信道拥挤程度,使后续v2v链路能够感知已经提交的信道选择,减少多条v2v链路继续集中选择相同信道的情况。

136、(3)区域深度q网络综合信道可用性状态、信道竞争后验概率和信道拥挤程度,依次为当前时隙内各v2v链路选择联合信道—功率动作,从而降低v2v碰撞率,提高v2v吞吐量,并减少v2v传输对v2i上行链路的影响,保护v2i传输。