一种基于DRQN的低轨卫星链路自适应RS前向纠错方法及系统

摘要: 本发明涉及前向纠错编码自适应控制,具体涉及一种基于drqn的低轨卫星链路自适应rs前向纠错方法及系统。背景技术:1、低轨卫星通信凭借低延迟、广覆盖的特点,已成为...
一种基于DRQN的低轨卫星链路自适应RS前向纠错方法及系统

本发明涉及前向纠错编码自适应控制,具体涉及一种基于drqn的低轨卫星链路自适应rs前向纠错方法及系统。

背景技术:

1、低轨卫星通信凭借低延迟、广覆盖的特点,已成为深海作业、远程医疗、应急救援与无人系统远程控制等低延迟高可靠场景的关键基础设施。然而,卫星物理层链路天然承受雨衰、冰晶散射、物理遮挡以及高速运动导致的多普勒频移失步等多类损伤,由此产生的丢包通常呈现强时序相关的突发性特征。在统计建模上,所述突发损耗可由两状态马尔可夫信道模型表征,该模型以good(良好)状态与bad(恶化)状态之间的转移以及各状态内部不同的丢包概率描述突发丢包过程。

2、前向纠错作为无须等待重传往返时延()的应用层恢复机制,在卫星通信中至关重要。其中,包级里德所罗门编码因其最大距离可分()性质与较低的实现复杂度而被广泛采用:对于编码组,发送个数据包与个冗余包,接收端只要收到其中任意不少于个传输包即可完整恢复全部个原始数据包。然而,现有自适应前向纠错方案至少存在以下技术缺陷:

3、(1)静态rs冗余方案浪费链路带宽。为应对最坏信道工况,静态方案往往预留过高的固定冗余,在晴天等良好信道条件下造成约30%至40%的链路容量浪费,难以兼顾带宽利用效率与可靠性。

4、(2)传统基于信噪比阈值的自适应方法响应滞后。基于瞬时信噪比(signal-to-noise ratio,snr)或近期丢包率阈值切换码率的方法在缓变信道中有效,但信噪比测量本身存在数百毫秒级的更新滞后,难以应对低轨链路中秒级以下的突发衰落事件,导致在突发丢包来临时来不及提升冗余,在突发结束后又来不及降低冗余。

5、(3)基于深度q网络()的方法缺乏时序记忆。已有引入深度强化学习的前向纠错决策方法多采用无时序记忆的深度q网络,仅能依据瞬时状态进行反应式决策,无法基于隐含的信道历史对即将到来的突发进行预测式应对,因而在强时序相关的卫星突发丢包场景下表现保守。

6、(4)现有方案无法联合优化码率与聚合窗口。现有自适应方法通常仅调整rs码率单一维度,而忽略与之强耦合的数据包聚合窗口大小;在高基础rtt的卫星环境中,聚合窗口是延迟控制的核心参数,码率与聚合窗口未被联合建模与联合决策,难以在可靠性、吞吐与尾延迟之间取得整体最优。

7、此外,已有的深度强化学习前向纠错工作主要面向链路rtt通常低于50毫秒的地面无线网络,未针对低轨()卫星链路的高基础rtt、强时序突发与多参数耦合特征进行专门设计,难以直接迁移至低轨卫星场景。

技术实现思路

1、本发明为克服现有技术,提供一种低轨卫星链路自适应rs前向纠错方法及系统。本发明将低轨卫星链路的自适应前向纠错问题建模为部分可观测马尔可夫决策过程,并采用深度循环q网络作为决策智能体,将rs码率与聚合窗口联合建模为离散动作空间,利用深度循环q网络的门控循环单元()捕捉信道时序模式实现预测式自适应决策,从而在低轨卫星突发丢包链路上同时提升分组成功率与有效吞吐、降低平均延迟与尾延迟,兼顾低延迟与高可靠。

2、一种基于drqn的低轨卫星链路自适应rs前向纠错方法包括以下步骤:

3、步骤s1、构造十维信道状态向量,所述十维信道状态向量的特征依次包括:最近1步经验丢包率、最近3步经验丢包率、最近10步经验丢包率、当前恶化状态突发归一化长度、最近30步内突发段计数归一化值、当前信道状态指示、上一动作冗余率、上一动作成功标识、距上次恶化状态归一化步数以及往返时延抖动归一化值;

4、步骤s2、将所述十维信道状态向量输入至深度循环q网络,由所述深度循环q网络输出十六维动作价值向量,并选取价值最大的动作;所述十六维动作由里德所罗门码率与聚合窗口联合构成,其中里德所罗门码率取自四种配置,聚合窗口取自四种取值,二者笛卡尔积构成十六个联合动作;

5、其中,所述深度循环q网络包括将状态映射为特征的全连接编码器、维护隐含状态向量以编码信道时序历史的门控循环单元循环层,以及将动作价值分解为状态价值流与动作优势流后聚合的dueling架构中的价值头;

6、步骤s3、将所选动作解码为里德所罗门码率与聚合窗口,发送端按所述聚合窗口聚合应用层数据包,并采用系统化的包级里德所罗门编码生成个传输包,其中前个为原始数据包,后个为冗余包;

7、步骤s4、接收端对收到的不少于个传输包采用高斯消元法进行里德所罗门解码,以恢复个原始数据包,统计分组成败与时延信息并反馈至步骤s1,更新经验丢包率统计后,进入下一编码组进行编码处理。

8、进一步的,所述四种里德所罗门码率配置为,分别对应冗余率0.10、0.20、0.30、0.40;所述四种聚合窗口取值为:毫秒。

9、进一步的,所述深度循环q网络的动作价值向量按下式聚合:

10、,其中为状态价值流输出,为动作优势流输出,为动作空间大小且取值为16;所述全连接编码器的输入维度为10、输出维度为64、激活函数为relu,所述门控循环单元循环层的隐藏维度为128。

11、进一步的,所述深度循环q网络采用阶梯式多目标奖励函数进行训练:当编码组传输成功时,奖励为成功基础奖励,叠加与码率正相关的冗余效率奖励、与聚合窗口负相关的窗口偏好奖励,并减去对超过基准延迟部分的延迟惩罚;当编码组传输失败时,奖励为失败基础惩罚并按冗余缺额给予二次惩罚;当近期99分位延迟超过设定阈值时叠加额外尾延迟惩罚;其中失败时奖励小于成功时奖励。

12、进一步的,所述深度循环q网络的训练采用算法,由在线网络选择动作、由目标网络评估动作价值;采样若干长度为l的序列进行随时间反向传播,以huber损失反向传播并按l2范数裁剪梯度,由adam优化器更新在线网络参数,并以polyak软更新方式按软更新率τ更新目标网络参数;探索率在训练前部分回合内由初始值线性衰减至最终值。

13、进一步的,所述里德所罗门编码基于范德蒙生成矩阵,在有限域上实现,且满足最大距离可分性质,使接收端在收到任意不少于个传输包时即可完整恢复全部个原始数据包。

14、进一步的,所述十维信道状态向量中的丢包率与突发统计值均可由两状态马尔可夫信道模型生成,或者对真实卫星链路进行抓包与预处理,得到真实轨迹,并据此驱动信道生成。

15、一种基于drqn的低轨卫星链路自适应rs前向纠错系统包括:

16、状态构造模块,用于依据接收端反馈采集近期经验丢包率、突发统计与时延统计,构造十维信道状态向量;

17、决策模块,部署有深度循环q网络,用于接收所述十维信道状态向量并输出十六维动作价值向量,选取价值最大的动作并解码为里德所罗门码率与聚合窗口;所述深度循环q网络包括全连接编码器、门控循环单元循环层与dueling架构中的价值头;

18、发送端编码模块,用于按所述聚合窗口聚合来自业务上层的应用层数据包并以系统化的包级里德所罗门编码生成个传输包;

19、卫星链路传输模块,用于经低轨卫星链路传输所述个传输包,所述卫星链路由仿真信道或真实轨迹驱动信道表征;

20、接收端解码与统计模块,用于对收到的不少于个传输包采用高斯消元法进行里德所罗门解码以恢复原始数据包,并统计分组成败与时延信息反馈至所述状态构造模块。

21、进一步的,所述向前纠错系统还包括真实链路验证子系统,所述真实链路验证子系统包括:部署于公网服务器并对来自卫星侧的探测包立即回送的回声服务模块、经卫星链路向所述公网服务器发送探测包并记录序号、收发时间戳、往返时延与丢失标识的链路探测抓包模块、将原始探测记录转换为标准格式并进行健全性检查的轨迹预处理模块,以及将所述标准格式轨迹作为信道、其接口与所述仿真信道一致的真实轨迹驱动信道模块。

22、进一步的,所述决策模块的深度循环q网络单次前向推理耗时小于一个聚合窗口的最小取值,所述系统部署于工控机的中央处理器或软件无线电平台的嵌入式处理器;所述卫星链路传输模块工作于波段,链路峰值带宽为120mbps,基础往返时延为300毫秒,应用层数据包大小为1024字节。

23、本发明相比现有技术的有益效果:

24、本发明将低轨卫星链路的自适应前向纠错问题建模为部分可观测马尔可夫决策过程,并采用深度循环q网络作为决策智能体,将rs码率与聚合窗口联合建模为离散动作空间,利用深度循环q网络的门控循环单元()捕捉信道时序模式实现预测式自适应决策,从而在低轨卫星突发丢包链路上同时提升分组成功率与有效吞吐、降低平均延迟与尾延迟,兼顾低延迟与高可靠。

25、本发明方法和系统能够联合优化rs码率与聚合窗口、具备时序记忆与预测能力、并可在仿真信道与真实物理卫星链路上验证。该系统可应用于深海无人作业、远程医疗、应急救援与无人系统远程控制等对低延迟、高可靠传输具有严格要求的卫星通信场景。