基于LinUCB的GoP级视频语义感知的多路径实时视频传输方法

本发明涉及计算机网络传输控制，具体涉及一种基于linucb的gop级视频语义感知的多路径实时视频传输方法。

背景技术：

1、随着移动通信和无线网络技术的快速发展，实时视频业务在移动终端、车载网络、无人机巡检和远程交互等场景中日益普及。实时视频传输不仅要求较高的吞吐量，还对端到端时延、丢包恢复、播放连续性和关键帧可靠性有严格要求。在移动无线环境下，终端通常同时接入wifi（wireless fidelity，即无线保真）、lte（long term evolution，即长期演进技术）等异构网络，各链路带宽、时延、丢包率和稳定性差异显著，且随用户移动和无线信道波动快速变化。在动态多路径环境中难以实现稳定、高效的视频传输。

2、快速udp互联网连接（quic，即quic udp internet connections）协议具备低时延连接建立、流级控制和连接迁移等优势，能够较好适应移动网络地址变化。相较而言，多路径快速udp互联网连接（mpquic，即multipath quick udp internet connections）协议扩展了quic协议的多路径能力，允许终端同时利用多条路径，提升带宽聚合和传输可靠性。然而，多路径传输带来新的调度难题，由于各路径性能异构，同一视频流的数据包可能在接收端严重乱序，导致缓存增加、队头阻塞和晚于播放截止时间前交付，直接影响用户体验。

3、现有多路径调度方法中，传统基于规则的调度方法主要基于传输层指标做决策，缺乏对视频帧结构和重要性差异的感知。轻量级在线学习调度方法能够动态调整策略，但其动作和奖励多围绕吞吐量或平均时延设计，未显式建模视频i帧关键性和gop（group ofpictures，即图像组）级播放约束，而i帧通常承担独立解码和参考基础作用，一旦i帧未能在播放截止时间前成功到达，当前gop的播放连续性将受到显著影响。深度强化学习方法表达能力较强，但训练和部署开销大，实时性和可解释性不足，在移动终端上应用受限。

技术实现思路

1、为了解决现有方法在帧语义盲区、奖励目标失配和移动突变适应不足的技术问题，本发明的目的在于提供一种基于linucb的gop级视频语义感知的多路径实时视频传输方法，所采用的技术方案具体如下：

2、步骤s1：在发送端和接收端采用多路径快速udp互联网连接协议建立多条子流，并完成会话握手；

3、步骤s2：获取原始视频流，以gop为调度周期，识别当前gop中i帧和p帧的数据包集合，并基于发送端获取任一传输时刻各子流的往返时延、窗口发送速率、丢包率和拥塞窗口，构造上下文特征向量；

4、步骤s3：获取当前传输时刻各子流的在途字节数，结合往返时延、窗口发送速率和拥塞窗口，对待发送的数据包集合进行预分配，确定各子流承载的连续数据段长度，生成数据量预分配结果；

5、步骤s4：基于i帧和p帧定义动作空间，根据上下文特征向量确定每一动作的上置信界并选择当前gop的传输动作；

6、步骤s5：联立数据量预分配结果和传输动作，采用子流发送当前数据包集合；

7、步骤s6：通过接收端得到i帧数据包的准时送达率，并发送至发送端，基于准时送达率是否达到预设门限的情况得到对应奖励值，利用奖励值更新传输动作对应的linucb模型参数；

8、步骤s7：分别预设第一阈值和第二阈值，并监测i帧的连续失败计数和连续成功计数，当连续失败计数大于或等于第一阈值时，进入保护模式；当连续成功计数大于或等于第二阈值时，触发全局软重启；

9、步骤s8：每完成一个gop的传输和模型参数更新，转入下一个gop，重复步骤s2~s7，直至原始视频流传输结束。

10、优选地，步骤s1中，包括：

11、步骤s11：发送端调用mpquic握手模块，通过udp端口向接收端发送探测报文，报文包含客户端支持的快速udp互联网连接协议版本、新建连接id及加密密钥参数；

12、步骤s12：接收端接收探测报文，待验证通过后返回响应，发送端与接收端双方建立mpquic会话；

13、步骤s13：会话建立后，发送端和接收端分别轮询本地可用网卡地址，发送端通过交换mpquic协议的addaddress帧，向接收端宣告本机多地址，接收端收到后发起新路径连接，在发送端和接收端之间建立多条可用子流。

14、优选地，步骤s2中，包括：

15、步骤s21：获取原始视频流，按编码结构划分为连续的gop，以gop为调度周期，并识别其中的i帧和p帧，整合建立数据包集合；

16、步骤s22：在当前视频图像组的任一传输时刻，采集各子流的往返时延、窗口发送速率、丢包率和拥塞窗口，整合形成上下文特征向量。

17、优选地，步骤s3中，包括：

18、步骤s31：采集当前传输时刻各子流的在途字节数，根据往返时延对各子流进行排序，基于排序后的子流，结合在途字节数、窗口发送速率和拥塞窗口，确定各子流应预留的数据量上限；

19、步骤s32：预设当前待分配的数据包总字节数，对排序后的子流依次分配，并对排序的最后一条子流，分配剩余全部可发送数据，确定各子流承载的连续数据段长度，生成数据量预分配结果。

20、优选地，步骤s31中，确定各子流应预留的数据量上限，对应的计算公式为：

21、

22、其中，表示第条子流应预留的数据量上限；表示取最大值运算；、分别表示第条子流和相邻排序后第条子流的窗口发送速率；、分别表示第条子流和相邻排序后第条子流的单向时延；表示第条子流的往返时延；、分别表示第条子流和相邻排序后第条子流的在途字节数。

23、优选地，步骤s4中，包括：

24、步骤s41：综合i帧是否启用前向纠错和p帧是否启用丢包重传两个维度定义动作空间，每一动作对应一组行为向量，表示i帧的前向纠错选择；表示p帧的丢失重传选择；

25、步骤s42：界定每一动作维护一个矩阵和向量，初始化linucb模型参数，确定岭回归参数估计值，结合维护的矩阵和上下文特征向量得到对应动作的上置信界；

26、步骤s43：遍历各动作的上置信界，筛选上置信界最大的动作为当前gop的传输动作。

27、优选地，步骤s5中，具体为：

28、将当前数据包集合按i帧优先、p帧随后顺序排列，根据数据量预分配结果为各子流准备对应长度的数据段，若传输动作中，对当前数据包集合中属于i帧的全部数据包进行前向纠错编码，生成冗余数据包，结合i帧数据包一起发送；若传输动作中，直接发送当前数据包集合中属于i帧的全部数据包；若传输动作中，当前数据包集合中属于p帧的数据包遵循标准mpquic重传机制，发送端为p帧数据包保留缓存，若在超时重传计时器到期前未收到接收端ack，则触发重传；若传输动作中，将p帧数据包标记为不可靠传输，发送端不为不可靠传输的p帧数据包维护重传缓存，接收端丢失后直接丢弃，不触发重传请求。

29、优选地，步骤s6中，包括：

30、步骤s61：预设i帧可靠性门限和截止时限，通过当前数据包集合分别统计i帧数据包和p帧数据包的数量，综合i帧数据包的端到端时延、数量和截止时限，得到i帧数据包的准时送达率，并发送至发送端；

31、步骤s62：联立p帧数据包的发送情况，基于准时送达率是否达到i帧可靠性门限的情况得到对应奖励值；

32、步骤s63：基于奖励值，结合上下文特征向量，更新传输动作对应的linucb模型参数。

33、优选地，步骤s7中，包括

34、步骤s71：根据当前数据包集合确定动作空间中各动作维护选择次数，定义冷启动标志，当处于冷启动阶段时，正常更新linucb模型参数，但不触发保护模式和软重启；

35、步骤s72：基于当前gop监测i帧的连续失败计数和连续成功计数，当冷启动阶段结束后，若连续失败计数大于或等于第一阈值时，进入保护模式，直至连续失败计数大于或等于i帧最低传输成功次数，退出保护模式；

36、步骤s73：当处于保护模式中，连续成功计数大于或等于第二阈值时，触发全局软重启，对动作空间中的各动作执行linucb模型参数软重置，直至退出保护模式。

37、为解决上述技术问题，本发明还提供：一种基于多路径快速udp互联网连接协议的多路径实时视频传输系统，所述系统包括：发送端和接收端，所述发送端依次设置有视频帧解析模块、路径状态采集模块、数据预分配模块、linucb决策模块、前向纠错模块、丢包重传控制模块和多路径调度发送模块；所述接收端依次设置有数据接收与重组模块、准时率统计模块和反馈模块，以执行前述任意一项所述的一种基于linucb的gop级视频语义感知的多路径实时视频传输方法。

38、本发明具有如下有益效果：

39、1、首先针对发送端和接收端，建立多条子流，以视频gop为基本调度周期，将视频帧语义引入mpquic多路径调度过程，能够区分i帧和p帧的重要性差异，避免传统调度方法对所有数据包等价处理；再对待发送的数据包集合进行预分配，即通过乱序感知数据预分配，能够缓解异构路径并发传输导致的乱序到达和队头阻塞问题；接着，对i帧和p帧定义动作空间，采取差异化动作，同时基于准时送达率是否达到预设门限的情况得到对应奖励值，当i帧准时送达率不足时降低p帧传输奖励，使学习模型优先选择有利于关键i帧可靠传输的动作，网络资源受限时能够保障关键i帧可靠传输，降低视频中断率；最后，设计保护模式和全局软重启机制，在移动网络路径质量突变时能够增大探索并加速遗忘过期经验，提高动态网络环境下的性能。兼顾路径状态、视频帧语义、乱序控制和动态网络环境自适应能力，实现轻量高效的多路径视频传输优化，适用于移动异构网络环境下的高质量视频直播、远程监控、车载视频等实时业务。

40、2、本发明提供的一种基于多路径快速udp互联网连接协议的多路径实时视频传输系统，与本发明提供的一种基于linucb的gop级视频语义感知的多路径实时视频传输方法具有相同的有益效果，在此不做赘述。