基于强化学习与PID控制的车联网边缘缓存传输方法

摘要: 本发明涉及车联网与数据传输,尤其涉及一种基于强化学习与pid控制的车联网边缘缓存传输方法。背景技术:1、通过在车辆终端或边缘服务器部署用户文件和应用程序,车联网...
基于强化学习与PID控制的车联网边缘缓存传输方法

本发明涉及车联网与数据传输,尤其涉及一种基于强化学习与pid控制的车联网边缘缓存传输方法。

背景技术:

1、通过在车辆终端或边缘服务器部署用户文件和应用程序,车联网边缘缓存技术可以加快文件交付和减少文件重复传输,以达到加速计算响应和降低骨干网络带宽消耗的目的。考虑车辆通过基站与路侧的边缘服务器通信的场景,车辆终端产生计算任务后,可调度任务在车辆本地或边缘服务器完成计算。如果决定在边缘服务器完成计算,则车辆需通过无线信道将任务数据传输至边缘服务器。

2、任务数据可具体分为用户参数文件和应用程序文件。前者是车辆用户产生的个性化数据,后者则是具有一定通用性的应用程序。应用程序通常较大,为便于传输,可将某个应用程序再分解为若干的程序组件。当某个车辆用户需要在边缘服务器上完成某个任务运算,一方面需要把用户参数文件经过基站传输至服务器,另一方面,还需要把应用程序文件传输至服务器。但如果服务器没有保存计算任务所需的应用程序的全部或者部分组件,则需要车辆传输该应用程序的所缺组件。

3、现有的车联网缓存传输在应用层按照设定的任务产生速率直接交付下层,媒介访问控制(media access control address,mac)层的发送速率通常采用香农公式计算。但由于无线信道特性,车联网传输缓存文件可能存在两种数据帧丢失。第一种是数据帧之间的碰撞丢包,这是由于各终端节点同时争用单一的共享信道,来自不同源节点的数据帧在信道上发生碰撞,两个数据帧信号叠加后导致接收节点无法正常解析数据帧,造成了数据丢失(以下简称碰撞丢包)。第二种是车辆发射的信号受到车联网外的无线设备干扰或者障碍物屏蔽,数据帧无法正确解析,从而出现数据帧丢包(以下简称干扰丢包)。源节点未收到ack确认帧,则可判定发送的数据帧出现丢失。为了保证数据传输的可靠,无线通信协议通常具有数据帧重传机制,对丢失的数据帧进行重新传输,这带来两方面问题。一方面,重传的数据帧在收到目的节点的ack确认前,需要暂存在发送缓冲区,从而导致后续到达缓冲区的数据帧更易排队。另一方面,重传的数据帧等效于向mac层增加了额外的负载,进一步消耗mac带宽。以上两方面都会增加排队延迟,进而导致端到端延迟的增加。

4、文献《云边端场景下基于多智能体深度强化学习的边缘缓存策略》中记载,以最大化累积奖励为目标,提出了一种基于多智能体深度强化学习算法的边缘缓存策略。但研究的通信开销仅从传输数据维度建模,传输延迟仅给出固定区间,没有推导或使用信道容量等量化指标,因此,其研究缺乏通信背景。文献《一种面向车载边缘计算基于服务缓存的任务协同卸载算法》,提出了一种基于深度强化学习的缓存卸载(jactop)算法。研究利用香农公式对无线通信进行建模,考虑了车辆发射功率与信号频谱等因素对mac层带宽的影响,推导了通信延迟。由于该研究采用了独立信道,各车辆独享自身无线带宽,不存在各车辆之间的数据帧碰撞丢失问题。但研究也忽略了电磁空间中存在外界干扰(如测速雷达、固定或移动障碍物等)导致的干扰丢包。可见,该文献以不存在丢包这一假设开展研究,也未考虑数据帧重传机制对发送队列和带宽产生的压力。因此jactop缓存传输算法会导致车辆的发送缓冲区数据帧长期排队,造成传输的延迟性能不佳。

5、如何解决上述技术问题为本发明面临的课题。

技术实现思路

1、本发明的目的在于提供一种基于强化学习与pid控制的车联网边缘缓存传输方法,针对无线干扰导致的轻度与中度丢包,通过检测无线信道的干扰丢包与发送缓冲区数据帧队列长度,利用强化学习机制自适应地调节任务发送速率,针对重度丢包,当无线干扰的数据帧丢失率高于丢包阈值时,利用经典pid控制,动态调节应用层速率,此外实现了缓存调度传输,最终有效减少数据帧的端到端延迟,并可以在数据帧无线丢失环境下维持较高吞吐量。

2、为了实现上述发明目的,本发明采用技术方案具体为:一种基于强化学习与pid控制的车联网边缘缓存传输方法,包括以下步骤:

3、s1:车联网缓存传输的延迟建模与发送缓冲区队列长度检测;

4、s2:检测车辆与基站之间无线通信的数据帧丢失率;

5、s3:检测吞吐量;

6、s4:执行基于动态双q‌强化学习的速率控制;

7、s5:执行基于比例积分微分pid控制的速率控制与缓存调度。

8、进一步地,所述s1包括如下步骤:

9、s11、车联网缓存传输的延迟建模

10、由于无线通信系统存在重传机制,设最大重传次数为m,源节点最多尝试m+1次发送数据帧frame,如果数据帧frame被发送m+1次后,源节点未收到ack确认帧,则源节点放弃传输并丢弃数据帧frame,设数据帧丢失率为p,则数据帧frame单次发送成功的概率为1-p,失败概率为p,设k为数据帧frame的总发送尝试次数,各次发送相互独立,发送第k次成功的概率为:

11、(1);

12、其中,;

13、假设全部m+1次发送都失败,则数据帧frame被源节点丢弃,数据帧frame被丢弃的概率为:

14、(2);

15、将公式(1)代入公式(2),得:

16、(3);

17、设非负整数变量n,公式(3)中的减数项为:

18、(4);

19、根据等比数列求和公式,有:

20、(5);

21、根据公式(4)与公式(5),公式(3)为:

22、(6);

23、设数据帧frame的平均发送尝试次数为,有:

24、

25、=(7);

26、根据无穷级数公式和有限项截断,公式(7)等号右侧的后一项为:

27、(8);

28、则平均发送尝试次数为:

29、(9);

30、整理公式(9),平均发送尝试次数为:

31、(10);

32、源节点应用层下发的数据在媒介访问控制mac层封装成数据帧,再通过无线网卡发送至无线信道,无线信道存在的外界干扰或屏蔽造成数据帧丢失,导致目的节点无法发送ack确认帧,触发源节点开启重传机制,设各数据帧的长度均为l,单位为比特(b),应用层的发送速率为rate,单位为兆位每秒(mb/s),一个时隙的时长为duration,单位为秒,在一个duration内,则媒介访问控制mac层接收的数据帧总数input为:

33、(11);

34、设车辆的无线通信带宽为b,单位为兆位每秒(mb/s),一个时隙的时长duration内,媒介访问控制mac层发送的数据帧数总数output为:

35、(12);

36、考虑媒介访问控制mac层数据的接收与发送,一个时隙的时长duration内,在车辆的发送缓冲区,数据帧排队的队列长度q为:

37、(13);

38、则数据帧frame到达发送缓冲区后,等待的排队延迟为:

39、;

40、(14);

41、将公式(10)代入公式(14),为:

42、(15);

43、当时隙的时长duration、车辆无线通信带宽b、最大重传次数m和数据帧长度l为固定数值时,排队延迟取决于数据帧丢失率p与应用层发送速率rate;

44、当排队等待结束,数据帧frame的发送延迟为:

45、(16);

46、数据帧frame的端到端延迟delay为:

47、(17);

48、s12、发送缓冲区队列长度检测

49、当媒介访问控制mac层的发送缓冲区收到一个新到达的数据帧frame,触发接收函数,读取当前的队列长度curq_,伪代码如下:

50、;

51、。

52、进一步地,所述s2包括:

53、所述s2包括:

54、在第t个采样周期中,车辆记录发送的数据帧总数为,基站统计接收到的数据帧数量,设计一种响应帧,基站在第t+1个采样周期内构造合计y个响应帧,在发送的第y个响应帧的“类型”域中填写“0001”,正整数,代表响应帧的作用是统计数据帧丢失率,在响应帧的“收帧数量”域中,填写第t个周期内基站统计获得的接收数据帧数量,在响应帧的“目的mac地址”域中,填写车辆的mac地址,基站依次发送y个响应帧,车辆在第t+1个采样周期内收到任意一个响应帧,即获知第t个周期内基站接收到的数据帧数量,则数据帧丢失率p为:

55、(18)。

56、进一步地,所述s3包括:

57、所述s3包括:

58、根据所述s2的统计,车辆计算第t个周期的车辆与基站之间的吞吐量thr为:

59、(19)。

60、进一步地,所述s4包括:

61、s41、状态空间设计

62、观测维度方面采用二维环境观测向量,二维环境观测向量包括车辆发送缓冲区的队列长度q和数据帧丢失率p,通过归一化、边界裁剪与分箱操作,将二维环境观测向量转化为一维离散状态索引,定义运算符为向下取整运算,对浮点分箱值截断小数部分,得到整数索引,队列长度超参数为队列长度的总分箱数量,丢失率超参数为数据帧丢失率的总分箱数量,为确保索引落在合法数值范围内,定义边界裁剪函数定义为:

63、(20);

64、其中,为待裁剪输入数值;

65、s411、队列长度的归一化与分箱

66、执行队列长度归一化,将队列长度指标映射至数值[0,1]区间,设队列最大长度,有归一化队列长度为:

67、(21);

68、执行分箱操作,得队列长度索引为:

69、(22);

70、s412、数据帧丢失率p的数值钳位与分箱

71、执行数值钳位,设丢失率阈值为,定义裁剪丢失概率为:

72、(23);

73、执行分箱操作,得数据帧丢失率索引:

74、(24);

75、s413、索引拼接

76、通过以下维度加权拼接公式,将二维离散索引映射为离散状态s,映射公式为:

77、(25);

78、离散状态s的数量取值范围为,其中为离散状态上限;

79、s42、动作空间设计

80、采用低维度离散动作空间降低查表计算开销,共设置三种速率动作,分别对应三种发送速率调整量,离散动作取值范围,定义发送速率调整量的绝对值为,动作代表降低发送速率,速率调整量,动作代表维持当前发送速率,速率调整量为0,动作代表提升发送速率,速率调整量为,每一次策略迭代完成动作选择后,基于动作偏移量,设置发送速率,为避免发送速率无限制增减引发网络过载或吞吐量归零,对发送速率作如下规定:若当前的发送速率小于速率下限,则将更新的发送速率设为,若当前的发送速率大于速率上限,则将更新的发送速率设为;

81、设当前发送速率为,执行动作a后,获得中间过程速率为:

82、(26);

83、对中间过程速率做边界约束,更新的发送速率为:

84、(27);

85、s43、奖励函数设计

86、以统计吞吐量作为正向收益,引入队列与丢包作为惩罚项,构建奖励函数,奖励将吞吐量收益与惩罚项线性加权,同时设置上下边界约束,抑制极端网络状态下奖励爆炸,稳定迭代;

87、s431、计算奖励

88、根据公式(19)计算的吞吐量、公式(18)计算的数据帧丢失率、s12获得的发送缓冲区的队列长度q,奖励的计算公式为:

89、(28);

90、其中,为吞吐量的奖励权重,为队列的奖励权重,为数据帧丢失率的奖励权重;

91、s432、奖励截断约束

92、设置奖励的最大阈值为,奖励的最小阈值为,防止极端观测导致奖励爆炸,有:

93、(29);

94、s44、动作选择策略

95、给定当前离散状态,为平衡环境探索与策略利用,采用探索概率为的贪心策略输出动作;

96、设置两个独立“状态-动作”价值矩阵,价值矩阵与价值矩阵中的元素分别记为标量,代表在离散状态s执行动作a对应的长期累积回报估计值,价值矩阵与价值矩阵初始化时全置0,交替完成迭代更新,以缓解过估计偏差;

97、定义转移存储集合,任意“状态-动作”对所对应的转移单元,其中代表执行动作a后的环境转移得到的下一离散状态;为有效标识布尔量,代表“状态-动作”对存在历史交互样本,用于离线规划;

98、s441、生成区间之内的均匀随机数变量;

99、s442、探索分支

100、若,随机选取动作;

101、s443、利用分支

102、计算每个动作下的双q均值,再选取均值最大的动作:

103、(30);

104、s45、算法迭代计算

105、s451、矩阵元素更新

106、矩阵与的元素交替更新,解耦最优动作选取与目标价值评估,输入参数分别为当前状态s、执行动作a、奖励reward、下一状态、下一动作;

107、s4511、价值矩阵更新元素;

108、s45111、在中,使用价值矩阵选出最优动作;

109、(31);

110、s45112、目标值由价值矩阵对应动作价值计算,有:

111、(32);

112、其中,为折扣因子;

113、s45113、更新;

114、(33);

115、其中,为学习率;

116、s4512、价值矩阵更新元素

117、s45121、在中,使用价值矩阵选出最优动作:

118、(34);

119、s45122、目标值由价值矩阵对应动作价值计算,有:

120、(35);

121、s45123、更新:

122、(36);

123、s452、虚拟规划流程:

124、规划复用存储于转移存储集合m的历史交互样本进行离线迭代,单次迭代最多执行次样本回放,具体步骤如下述s4521至s4524;

125、s4521、遍历全部状态、全部动作;

126、s4522、若转移单元满足有效标识,取出样本,调用s451的矩阵元素更新步骤,完成离线训练;

127、s4523、累计执行次数达到时,终止遍历流程;

128、s4524、每一轮真实环境交互完成后,将本次交互得到的存入转移存储集合,并置有效标识,为后续离线规划提供样本。

129、进一步地,所述s5包括如下步骤:

130、s51、基于强化学习的速率控制有效性判断

131、当车辆的数据帧丢失率p大于丢失率阈值,系统判定基于强化学习的速率控制不能应对重度丢包情况,则进入pid控制步骤,否则,继续执行基于强化学习的速率控制s4;

132、s52、基于pid控制的速率控制

133、设为队列长度期望值,为第z个周期的队列长度,则第z周期的队列长度偏差为:

134、(37);

135、与分别为第周期与第周期的队列长度偏差,pid控制输出的发送速率增量为:

136、(38);

137、其中,与分别为比例系数、积分系数与微分系数;

138、在第z周期,pid控制器输出的应用层发送速率为:

139、(39);

140、其中,是第周期的发送速率;

141、s53、pid控制器的速率变化检测

142、如果第周期的pid控制器的发送速率小于第周期的pid控制器的发送速率,说明pid控制器在执行降速策略,则执行s54缓存调度与传输策略,否则执行s51;

143、s54、缓存调度与传输;

144、s541、车辆继续发送用户参数d,暂停发送程序组件,以适应pid控制器的降速策略;

145、s542、基于设计的广播帧结构,基站构造广播帧b1,在广播帧b1“辅助阈值”域中填入辅助传输阈值,在广播帧b1“程序组件编号”域中填入程序组件的编号,在广播帧b1“成功传输标志位”填入0,表示这是一个寻找缓存发送程序组件的消息;基站发送所述广播帧b1,收到广播帧b1的车辆,如果自身的数据帧丢失率p小于辅助传输阈值且缓存有程序组件,则车辆立即发送响应帧,响应帧的“类型”域中填写“1111”,表示所述响应帧用于缓存辅助传输,车辆可辅助传输组件,在响应帧的“目的mac地址”域中,填写车辆的mac地址;若监听到发往车辆的响应帧,其余车辆不再发送缓存程序组件;如果各车辆均未缓存组件,则车辆在规定时间后仍收不到“类型”域中填写“1111”的响应帧,车辆等待用户参数d传输结束后,恢复传输程序组件;

146、s543、当车辆向基站成功传输程序组件后,车辆构造广播帧b2,在广播帧b2中的“程序组件编号”域中填入,在广播帧b2中的“成功传输标志位”填入1,表示成功发送程序组件,通过发送所述广播帧b2,向周边车辆通告“组件传输成功”,收到广播帧b2后,车辆vj等待传输的程序组件编号,车辆继续执行s53。

147、同时,本发明提出一种基于强化学习与pid的车联网边缘缓存传输系统,应用本发明所述方法的步骤,所述系统包括:

148、检测模块,被配置以执行以下流程:发送缓冲区队列长度检测,吞吐量检测;

149、数学建模模块:被配置以执行以下流程:缓存传输的延迟的数学建模;

150、传输模块,被配置以执行以下流程:执行基于动态双q学习强化学习的速率控制,执行基于比例积分微分的速率控制与缓存调度。

151、同时,本发明提出一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被执行时,实现本发明所述方法的步骤。

152、此外,本发明提出一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序配置为由处理器调用时实现本发明所述方法的步骤。

153、最后,本发明提出一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本发明所述方法的步骤。

154、与现有技术相比,本发明的有益效果为:

155、(1)、现有车联网缓存传输算法把无线信道作为无丢失的理想通信介质,没有考虑外界无线干扰和屏蔽对通信的负面影响,会导致传输延迟增加。本发明对数据帧传输延迟进行数学建模,推导了数据帧传输的延迟表达式,数学模型显示排队延迟主要取决于数据帧丢失率p与应用层发送速率rate。因此有必要调节应用层发送速率rate,以便有效控制延迟指标。

156、(2)、本发明设计并实现了一种基于强化学习与pid的车联网边缘缓存传输方法。针对无线干扰导致的轻度与中度丢包,通过检测无线信道的干扰丢包与发送缓冲区数据帧队列长度,发明利用强化学习机制自适应地调节任务发送速率。针对重度丢包,当数据帧丢失率高于丢包阈值时,一方面发明利用经典pid控制,动态调节应用层速率,另一方面通过设计的ack确认帧和广播帧,实现了缓存调度传输,最终本发明可以有效减少数据帧的端到端延迟,并可以维持较高吞吐量。