云端交互式终端的关键帧缓存与卡顿自愈传输方法及系统与流程
本发明属于流媒体传输,具体地说是云端交互式终端的关键帧缓存与卡顿自愈传输方法及系统。
背景技术:
1、在实时音视频传输系统中,推流端切换是云端交互式终端的高频操作场景。现有系统虽可完成单路推流稳态运行的基础管控需求,但在新推流切换的缓存治理与链路时序管控层面存在显著短板。
2、当旧推流端未完全断开、新推流端同步发起接入请求时,新旧两路码流瞬时并行,引发多重技术问题。服务端缺乏推流切换前的风险预判与持续性校验手段,无法量化旧推流残留数据的网络滞后时间,旧推流链路尚未彻底断开、延迟分片尚未完整接收时,新旧码流混合写入同一缓存区域,导致解码器参数与关键帧不匹配,画面黑屏、花屏、卡顿闪烁反复出现。同时,服务端缺乏码流溯源与动态隔离机制,旧推流延迟分片在切换完成后跨时序滞后到达,被误判为新推流数据持续污染已更新缓存。此外,拉流端上行的关键帧请求信令缺乏与推流源的匹配校验,旧推流延迟分片异常触发的请求被正常转发响应,引发多余缓存刷新与参数重载,进一步加剧房间播放状态紊乱。
3、为此,本发明提供了云端交互式终端的关键帧缓存与卡顿自愈传输方法及系统。
技术实现思路
1、为了弥补现有技术的不足,解决背景技术中所提出的至少一个技术问题。
2、本发明解决其技术问题所采用的技术方案是:云端交互式终端的关键帧缓存与卡顿自愈传输方法,包括以下步骤:
3、步骤一:推流端、拉流端分别接入房间中继服务,服务端校验接入权限并区分普通观看客户端、仅控制客户端,若当前接入方为新推流端,服务端清空房间历史缓存,同步建立房间状态与用户连接映射关系,搭建基础通信框架;
4、步骤二:基于基础通信框架,服务端解析推流端视频码流,识别并缓存sps/pps参数集、idr关键帧,新普通观看客户端入会时补发缓存帧,并向推流端请求关键帧,仅控制客户端转发控制指令,为拉流端提供解码基础数据;
5、步骤三:基于解码基础数据,拉流端同步监控数据包接收时长、画面渲染时长以识别隐性卡顿,结合用户活跃状态动态调整卡顿临界时长,按照低成本优先策略分层自愈并发起关键帧恢复请求;
6、步骤四:针对关键帧请求,推流端限频响应关键帧请求,调用编码器输出同步idr帧;房间无观看客户端时启动宽限期计时器,宽限期内无新用户接入,则停止画面采集与编码器工作,释放云端算力及网络资源。
7、作为本发明进一步的方案:步骤二中,识别并缓存sps/pps参数集、idr关键帧的过程为:
8、服务端通过媒体接收通道,从推流端获取rtp封装的视频码流;
9、对每一个rtp包进行解封装,提取nal单元,通过读取nal单元头部类型字段进行识别;
10、识别到类型为sps或pps的nal单元时,服务端将完整的参数集数据更新至推流源对应的参数集缓存区;
11、当识别到类型为idr帧时,服务端将idr帧的编码数据连同关联的当前sps/pps参数集,整体存入关键帧缓存区,并覆盖先前缓存的旧idr帧。
12、作为本发明进一步的方案:步骤三中,识别隐性卡顿的过程为:
13、拉流端在完成解码器初始化并开始渲染后,启动画面渲染时长监控;
14、将解码后的视频帧送入渲染队列,记录每帧从进入渲染队列到实际绘制至屏幕的时间戳差值;
15、当差值持续增大或出现超过预设绝对阈值,且不与垂直同步间隔匹配时,判定为隐性卡顿;
16、作为本发明进一步的方案:关键帧缓存与卡顿自愈传输方法还包括以下步骤:
17、步骤s1:响应新推流端房间接入请求,服务端开启推流切换互斥锁,采集视频分片传输时延、连接信令异步延迟指标,计算旧推流链路残留数据清理等待窗口期,识别新旧推流并行冲突风险;
18、步骤s2:若判定存在并行冲突风险,持续校验旧推流连接链路状态与上行缓冲区滞留码流,待旧推流链路完全断开、上行延迟分片全部接收完毕后,清空本地存储的视频配置、sps/pps参数集、idr关键帧缓存及缓存的p/b视频帧数据;
19、步骤s3:完成缓存资源重置操作,为每条上行码流绑定推流唯一标识,构建实时同源码流校验匹配规则,过滤非当前活跃推流的延迟分片,拦截异构码流写入视频配置、sps/pps参数集、idr关键帧及p/b视频帧缓存区域;
20、步骤s4:采用通过同源校验的纯净码流更新房间全局关键帧缓存,向在线拉流端下发匹配的解码上下文数据,识别并拦截由异构码流触发的关键帧请求信令,仅保留当前活跃推流对应的有效信令进行转发。
21、作为本发明进一步的方案:步骤s1中,计算旧推流链路残留数据清理等待窗口期的过程为:
22、基于实时采集的视频分片平均传输时延与连接信令异步延迟指标,叠加网络抖动冗余时长,动态计算旧推流链路残留数据清理等待窗口期;
23、旧推流链路残留数据清理等待窗口期为视频分片平均传输时延、连接信令异步延迟指标、网络抖动冗余时长三者合计值;
24、其中,网络抖动冗余时长取历史传输时延标准差的倍数。
25、作为本发明进一步的方案:步骤s1中,识别新旧推流并行冲突风险的过程为:
26、依据等待窗口期预估旧推流链路完全清空、残留分片完整接收的结束时刻,判断新旧推流链路工作时序是否存在重叠区间;
27、若存在时间重叠,则判定存在冲突风险。
28、作为本发明进一步的方案:步骤s3中,为每条上行码流绑定推流唯一标识的过程为:
29、服务端对本地视频缓存资源进行全局重置校准;
30、将清空后的视频配置缓存、sps/pps参数集缓存、idr关键帧缓存及p/b视频帧缓存统一恢复为初始空白状态;
31、同时维持推流切换互斥锁的锁定状态,禁止未校验的陌生码流提前写入缓存区域;
32、缓存资源重置完成,码流标识生成程序为接入的上行新推流分配全局唯一的推流标识并与本次房间推流会话一一绑定。
33、作为本发明进一步的方案:步骤s3中,构建实时同源码流校验匹配规则的过程为:
34、基于绑定的推流唯一标识,服务端构建适配推流切换场景的同源码流校验匹配规则,确立缓存写入唯一准入机制;
35、规则具体为:仅携带当前活跃推流唯一标识的视频分片与帧数据,具备本地缓存写入权限,所有非当前活跃推流唯一标识的报文、分片、帧数据,均判定为异构非法码流,禁止写入缓存区域。
36、作为本发明进一步的方案:步骤s4中,采用通过同源校验的纯净码流更新房间全局关键帧缓存的过程为:
37、基于同源码流校验匹配规则,实时筛选上行新推流码流数据,消除异构旧流分片,仅留存携带当前活跃推流唯一标识的纯净码流数据;
38、依托纯净的新推流码流,对房间全局缓存资源进行迭代更新,逐一刷新全局视频配置、sps/pps参数集、idr关键帧及p/b视频帧缓存,替换缓存内的空白初始化数据,完成房间全局码流缓存的全覆盖更新。
39、云端交互式终端的关键帧缓存与卡顿自愈传输系统,包括以下模块:
40、推流接入鉴权模块:推流端、拉流端分别接入房间中继服务,服务端校验接入权限并区分普通观看客户端、仅控制客户端,若当前接入方为新推流端,服务端清空房间历史缓存,同步建立房间状态与用户连接映射关系,搭建基础通信框架;
41、码流缓存补发模块:基于基础通信框架,服务端解析推流端视频码流,识别并缓存sps/pps参数集、idr关键帧,新普通观看客户端入会时补发缓存帧,并向推流端请求关键帧,仅控制客户端转发控制指令,为拉流端提供解码基础数据;
42、卡顿分层自愈模块:基于解码基础数据,拉流端同步监控数据包接收时长、画面渲染时长以识别隐性卡顿,结合用户活跃状态动态调整卡顿临界时长,按照低成本优先策略分层自愈并发起关键帧恢复请求;
43、限频休眠控制模块:针对关键帧请求,推流端限频响应关键帧请求,调用编码器输出同步idr帧;房间无观看客户端时启动宽限期计时器,宽限期内无新用户接入,则停止画面采集与编码器工作,释放云端算力及网络资源;
44、时延预判风控模块:响应新推流端房间接入请求,服务端开启推流切换互斥锁,采集视频分片传输时延、连接信令异步延迟指标,计算旧推流链路残留数据清理等待窗口期,识别新旧推流并行冲突风险;
45、旧流监测清存模块:若判定存在并行冲突风险,持续校验旧推流连接链路状态与上行缓冲区滞留码流,待旧推流链路完全断开、上行延迟分片全部接收完毕后,清空本地存储的视频配置、sps/pps参数集、idr关键帧缓存及缓存的p/b视频帧数据;
46、同源标识隔离模块:完成缓存资源重置操作,为每条上行码流绑定推流唯一标识,构建实时同源码流校验匹配规则,过滤非当前活跃推流的延迟分片,拦截异构码流写入视频配置、sps/pps参数集、idr关键帧及p/b视频帧缓存区域;
47、纯净码流分发模块:采用通过同源校验的纯净码流更新房间全局关键帧缓存,向在线拉流端下发匹配的解码上下文数据,识别并拦截由异构码流触发的关键帧请求信令,仅保留当前活跃推流对应的有效信令进行转发。
48、本发明的有益效果如下:通过推拉流交互实现客户端角色差异化接入与资源隔离,区分普通观看客户端与仅控制客户端并按需分配媒体转发资源,解决了控制终端无效占用带宽问题,降低系统资源损耗;通过新推流接入自动触发缓存清空与链路状态复位,避免旧码流残留导致解码器参考帧错乱;通过服务端实时缓存sps/pps参数集与idr关键帧并对新入会终端主动补发,解决了首帧黑屏与解码初始化延迟问题,提升开播响应速度;通过双层监控结合用户活跃状态设置动态卡顿阈值,弥补传统网络监测无法识别隐性渲染卡顿的不足,提升弱网环境下的播放流畅度;通过关键帧请求限频合并及宽限期资源休眠回收,避免并发请求冲击编码器及闲置资源空转;
49、在此基础上,通过推流切换调度实现全流程风险管控,依托切换互斥锁、网络时延采集与动态窗口期计算,解决弱网残留分片无法量化、新旧推流并行冲突难以预判的问题,实现切换风险提前识别;通过冲突场景下持续监测链路与缓存状态,有效解决旧流异构数据清理不彻底的问题,完成切换前数据净化;通过新推流分配唯一标识并构建同源码流校验规则,解决滞后旧流分片、异构码流污染缓存的问题,保障了缓存数据全程单一同源;通过同源纯净码流更新全局缓存、下发解码上下文并拦截异常信令,解决新旧码流参数混杂、时序冲突引发的切换花屏、解码错乱问题,最终实现新旧推流平稳无缝切换。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com