一种视频解码异常检测与恢复方法、装置、视频接收设备及存储介质与流程
本技术涉及视频处理及视频解码健康监测,尤其涉及一种视频解码异常检测与恢复方法、装置、视频接收设备及计算机可读存储介质。
背景技术:
1、在投屏、实时音视频通信、远程显示或者其他视频接收场景中,视频接收设备通常通过视频数据接收接口接收发送端发送的视频流,并利用硬件视频解码器或者软件视频解码器对视频帧进行解码,进而将解码得到的视频图像输出至渲染目标进行显示。
2、在实际运行过程中,视频解码链路可能出现一种异常状态:目标视频流的视频帧仍持续到达并被输入视频解码器,但视频解码器在较长时间内没有产生有效的视频解码输出。该异常状态在工程实现中也可称为解码输出饥饿、解码输出停滞或者解码器无输出异常。
3、现有异常检测方案通常根据网络连接状态、视频数据是否持续接收或者是否存在新的视频帧输入判断视频链路是否异常。然而,在视频帧仍能够持续输入而视频解码器内部发生停滞的情况下,仅根据网络输入状态或者视频帧输入状态难以准确识别上述解码输出异常。
4、另一方面,当检测到视频画面停滞时,部分现有方案通过断开并重新建立整个媒体会话的方式恢复视频输出。媒体会话重建通常涉及视频链路、音频链路以及控制通道等多个部分,可能导致原本正常工作的音频解码链路或者控制通道同时中断,并增加恢复过程中的资源初始化和协议交互开销。
5、此外,当发生异常的视频解码器被刷新、重新配置或者重新创建后,新的或者恢复后的视频解码器通常需要从关键帧开始建立正确的解码参考关系。如果恢复完成后仅继续接收原有视频流而未主动请求发送端提供关键帧,则视频解码器可能需要等待发送端按照原有编码周期产生后续关键帧,从而延长视频解码输出恢复时间。
6、因此,有必要提供一种能够识别视频帧输入活跃而视频解码输出停滞的异常状态,并能够在尽量保持媒体会话其他链路继续工作的情况下对视频解码器进行局部恢复的技术方案。
技术实现思路
1、本技术提供提供一种视频解码异常检测与恢复方法、装置、视频接收设备及存储介质,可以解决仅依据网络连接状态或者视频帧输入状态难以识别视频帧仍持续输入而视频解码输出已经停滞的异常状态;在视频解码异常后重新建立整个媒体会话,会扩大故障恢复范围,并可能影响正常工作的音频解码链路或者控制通道;视频解码器恢复后如果缺少新的关键帧,恢复后的视频解码器可能因缺少有效解码起点而不能及时恢复视频解码输出等技术问题。
2、为达到上述目的,本技术采用如下技术方案:
3、第一方面,本技术提供一种视频解码异常检测与恢复方法。
4、所述方法包括:
5、获取目标视频流对应的视频解码器的解码状态信息,所述解码状态信息包括用于表征视频帧输入状态的第一状态参数和用于表征视频解码输出状态的第二状态参数;
6、根据所述第一状态参数和所述第二状态参数,确定所述目标视频流是否处于视频帧输入活跃且视频解码输出停滞的解码输出异常状态;
7、在确定所述目标视频流处于所述解码输出异常状态的情况下,保存所述目标视频流对应的解码配置上下文;
8、在不重新建立所述目标视频流所属媒体会话的情况下,根据所述解码配置上下文对所述目标视频流对应的视频解码器执行恢复处理;
9、在完成所述恢复处理后,向所述目标视频流的发送端发送关键帧请求,以使恢复后的视频解码器基于所述发送端响应所述关键帧请求发送的关键帧恢复视频解码输出。
10、结合上述第一方面,在一种可能实施方式中,所述第一状态参数包括最近输入帧接收时间,所述第二状态参数包括最近解码输出时间。
11、可以根据当前时间与最近输入帧接收时间之间的时间差判断视频帧输入是否保持活跃,并根据当前时间与最近解码输出时间之间的时间差判断视频解码输出是否已经停滞。
12、具体地,在当前时间与最近输入帧接收时间之差不超过输入活跃窗口阈值,并且当前时间与最近解码输出时间之差不低于输出停滞阈值的情况下,可以确定满足解码输出异常的基础判定条件。
13、结合上述第一方面,在一种可能实施方式中,所述解码状态信息还包括连续输出不可用计数、连续输入不可用计数以及输入队列帧数。
14、在满足所述基础判定条件的基础上,还可以进一步判断:
15、连续输出不可用计数是否不低于输出不可用次数阈值;
16、连续输入不可用计数是否不超过输入不可用次数上限;以及
17、输入队列帧数是否不超过队列低水位。
18、当上述基础判定条件以及连续输出不可用计数、连续输入不可用计数和输入队列帧数对应的判定条件均满足时,可以确定所述目标视频流处于解码输出异常状态。
19、由此,可以综合视频帧输入时间、视频解码输出时间、输入缓冲状态、输出缓冲状态以及输入队列状态对视频解码器的运行状态进行判断,从而降低将网络输入中断、输入拥塞等其他异常错误识别为视频解码输出异常的概率。
20、结合上述第一方面,在一种可能实施方式中,输入活跃窗口阈值、输出停滞阈值、输出不可用次数阈值和队列低水位中的至少一项可以根据目标视频流的帧率、视频编解码格式和视频解码器所在芯片平台中的至少一项进行配置。
21、例如,输入活跃窗口阈值可以设置为800毫秒,输出停滞阈值可以设置为2000毫秒,输出不可用次数阈值可以设置为60次,连续输入不可用次数上限可以设置为1次,队列低水位可以设置为2帧,或者设置为根据输入队列容量确定的不超过输入队列容量25%的帧数阈值。
22、上述具体数值仅用于说明一种可行实施方式,不构成对本技术保护范围的限定。
23、结合上述第一方面,在一种可能实施方式中,所述解码状态信息还包括用于表征视频渲染状态的渲染状态参数。
24、当根据第二状态参数确定视频解码器存在持续解码输出,而根据渲染状态参数确定视频渲染输出超过预设停滞时长未更新时,可以确定目标视频流处于渲染异常状态。
25、在这种情况下,可以优先重建目标视频流对应的渲染目标。若重建渲染目标之后视频渲染输出仍未恢复,再对目标视频流对应的视频解码器执行恢复处理。
26、通过区分视频解码输出异常和视频渲染异常,可以根据发生异常的链路范围采用不同的恢复措施,从而避免在视频解码器仍正常工作的情况下不必要地重新创建视频解码器。
27、结合上述第一方面,在一种可能实施方式中,所述解码配置上下文包括视频编解码格式对应的媒体类型标识、编解码器参数集、媒体格式字段、渲染目标引用以及视频流通道标识。
28、其中,为保证原视频解码器被释放后仍能够有效使用编解码器参数集,可以复制媒体格式字段中编解码器参数集对应的缓冲区内容,使复制得到的缓冲区内容独立于原视频解码器的生命周期。
29、对于hevc格式的视频流,所述编解码器参数集例如可以包括vps、sps和pps;对于avc格式的视频流,所述编解码器参数集例如可以包括sps和pps。具体的参数集类型可以根据视频编解码格式确定。
30、结合上述第一方面,在一种可能实施方式中,对视频解码器执行的恢复处理可以包括以下至少一种:
31、对视频解码器执行刷新操作;
32、根据解码配置上下文重新配置视频解码器;
33、释放当前视频解码器,并根据解码配置上下文创建和启动另一视频解码器。
34、可以按照由轻到重的方式执行恢复。例如,可以首先对视频解码器执行刷新操作;在刷新之后仍未恢复视频解码输出的情况下,再释放当前视频解码器并创建和启动另一视频解码器。
35、上述恢复过程中,无需重新建立目标视频流所属的媒体会话,从而使媒体会话中的音频解码链路和控制通道中的至少一个能够继续工作。
36、结合上述第一方面,在一种可能实施方式中,在视频解码器完成恢复处理后,可以立即发送一次关键帧请求。
37、若在发送关键帧请求后的预设等待时间内没有接收到关键帧,可以重新发送关键帧请求,直到接收到关键帧或者重新发送次数达到预设次数。
38、在完成视频解码器恢复处理之后至接收到关键帧之前,可以阻止接收到的非关键帧被输入恢复后的视频解码器进行正常解码。
39、所述阻止可以包括丢弃非关键帧、缓存非关键帧但不送入正常解码流程,或者通过输入门控状态阻止非关键帧进入恢复后的视频解码器。
40、关键帧请求可以通过实时传输控制协议的反馈控制消息发送,也可以通过私有控制消息或者发送端提供的关键帧请求接口发送。
41、结合上述第一方面,在一种可能实施方式中,为不同的视频流分别维护视频流通道标识,并以所述视频流通道标识为索引维护对应的软恢复计数和上次恢复时间戳。
42、视频流通道标识可以是能够唯一或者至少在媒体会话范围内区分不同视频流的标识。例如,在支持实时传输协议的实现中可以根据同步源标识符确定,在其他实现中也可以根据视频轨道标识或者由会话标识、流标识、媒体类型及编解码类型中的至少部分信息生成。
43、在预设冷却时间窗口内,如果同一视频流通道标识对应的软恢复次数超过预设上限,则可以停止针对该视频流通道标识自动执行恢复处理,以避免异常状态下持续重复重建视频解码器。
44、在恢复处理失败的情况下,可以上报诊断事件。所述诊断事件可以包括视频流通道标识、视频解码器标识、芯片平台、解码状态信息的状态快照以及恢复耗时中的至少一项。
45、此外,还可以向发送端发送视频传输参数降级请求。
46、视频传输参数降级可以包括降低视频分辨率、降低视频帧率、降低编码复杂度或者切换视频编解码格式中的至少一种。
47、在视频传输参数降级协商失败,或者完成视频传输参数降级后再次确定目标视频流处于解码输出异常状态的情况下,可以进一步重新建立目标视频流所属的媒体会话。
48、第二方面,本技术还提供一种视频解码异常检测与恢复装置,包括状态获取模块、异常识别模块、上下文管理模块、恢复控制模块以及关键帧请求模块。
49、状态获取模块用于获取目标视频流对应的视频解码器的解码状态信息。
50、异常识别模块用于根据第一状态参数和第二状态参数确定目标视频流是否处于视频帧输入活跃且视频解码输出停滞的解码输出异常状态。
51、上下文管理模块用于在确定目标视频流处于解码输出异常状态的情况下保存对应的解码配置上下文。
52、恢复控制模块用于在不重新建立目标视频流所属媒体会话的情况下,根据解码配置上下文对视频解码器执行恢复处理。
53、关键帧请求模块用于在完成恢复处理后向发送端发送关键帧请求,使恢复后的视频解码器能够基于发送端响应关键帧请求发送的关键帧恢复视频解码输出。
54、第三方面,本技术还提供一种视频接收设备,包括视频数据接收接口、视频解码器、存储器和处理器。
55、视频数据接收接口用于接收目标视频流,视频解码器用于对目标视频流的视频帧进行解码,存储器中存储有计算机程序,处理器与视频数据接收接口和视频解码器连接。
56、所述处理器执行所述计算机程序时,使视频接收设备执行本技术实施例提供的视频解码异常检测与恢复方法。
57、第四方面,本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,使处理器执行本技术实施例提供的视频解码异常检测与恢复方法。
58、有益效果:
59、1、申请通过第一状态参数和第二状态参数联合判断视频帧输入状态和视频解码输出状态,可以识别视频帧输入仍保持活跃而视频解码输出已经停滞的异常状态。进一步结合连续输出不可用计数、连续输入不可用计数以及输入队列帧数,可以从多个维度确认视频解码器的运行状态,降低因网络中断、输入缓冲异常或者数据堆积等其他原因导致的误判。
60、2、在确定解码输出异常之后,通过保存解码配置上下文并针对目标视频流对应的视频解码器执行刷新、重新配置或者重新创建等恢复处理,可以将恢复范围限制在视频解码链路,而无需立即重新建立整个媒体会话,使媒体会话中的音频解码链路或者控制通道能够继续工作。
61、3、通过在恢复处理完成后主动向发送端发送关键帧请求,并在关键帧到达前限制非关键帧进入正常解码流程,可以使恢复后的视频解码器较快获得有效的解码参考起点,降低由于等待自然关键帧而造成的恢复延迟。
62、4、通过针对不同视频流分别维护软恢复计数和上次恢复时间戳,并设置冷却时间窗口和恢复次数限制,可以降低同一故障持续触发重复恢复的可能性;在软恢复失败后通过诊断事件上报、视频传输参数降级以及媒体会话重建形成逐级升级机制,有利于提高异常场景下的系统稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com