一种基于残差门控的视频编码方法、装置、设备及介质与流程

本发明涉及视频编码，特别涉及一种基于残差门控的视频编码方法、装置、设备及介质。

背景技术：

1、目前，视频会议、直播连麦、固定摄像头监控等业务对实时性要求高。画面统计特性为：机位固定或运动极弱；大部分区域帧间可被同位置参考精确预测并频繁落到零运动跳过（skip，跳过模式）；运动与纹理细节集中在人脸、上半身、手势、字幕等局部。需要在实时档位上明显降复杂度，又不能把人物轮廓“一刀切”停掉细分。

2、现有方案的问题，依赖虚拟背景帧、混合高斯背景建模、帧差+决策树等额外场景模型，管线重、难与轻量实时编码器热路径耦合；把背景直接判为跳过或停止向下划分，过于绝对，易损伤人物边缘、字幕、手势所需的小块与矩形分区；未系统利用编码过程中merge/skip阶段已出现的零运动、近零残差信息，把它转成“同层裁剪、递归仍保留”；通用skip/merge代价提前终止方案不区分会议/监控内容结构，常把模式裁剪与递归终止耦合；缺少按“静态程度”启停的闭环，镜头晃动、切景时易误触发。

3、综上所述，如何降低视频编码的工作量是目前亟待解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于残差门控的视频编码方法、装置、设备及介质，能够降低视频编码的工作量。其具体方案如下：

2、第一方面，本技术提供了一种基于残差门控的视频编码方法，应用于视频编码器，包括：

3、获取目标视频的当前编码单元，基于目标视频所处的场景触发门控编码加速操作，并判断所述当前编码单元所属区域是否为静态背景场景；

4、当所述当前编码单元所属区域为静态背景场景时，基于预设模式集合对所述当前编码单元进行模式搜索，得到所述当前编码单元的目标候选模式，基于所述目标候选模式判断所述当前编码单元是否满足预设门控命中条件；所述预设模式集合包括各个候选编码模式；

5、若所述当前编码单元满足预设门控命中条件，则将所述目标候选模式确定为所述当前编码单元的本层候选模式，并对所述当前编码单元进行向下递归划分搜索得到递归搜索结果，根据所述目标候选模式确定所述本层候选模式与所述递归搜索结果对应的第一率失真代价，并根据所述第一率失真代价确定所述当前编码单元的目标编码模式；

6、若所述当前编码单元未满足所述预设门控命中条件，则基于所述目标候选模式对所述当前编码单元进行预测，得到对应的预测残差，基于所述预测残差的分布情况对所述当前编码单元执行强制分裂或矩形分区剪枝，并向下递归划分搜索，得到对应的候选搜索结果，根据所述候选搜索结果确定各所述候选编码模式对应的第二率失真代价，根据各所述第二率失真代价从所述预设模式集合中选出所述当前编码单元的目标编码模式；

7、基于所述目标编码模式对所述当前编码单元完成编码。

8、可选的，所述基于目标视频所处的场景触发门控编码加速操作，包括：

9、统计场景窗口内满足预设门控命中条件的编码单元数量与所述场景窗口内已分析编码单元总数量的比值，得到门控触发比例；

10、若所述门控触发比例大于等于预设启用门限，或所述门控触发比例大于等于预设停用门限且所述场景窗口的前一场景窗口处于门控启用状态，则确定所述目标视频所处的场景为静态背景占优场景，并触发所述门控编码加速操作；其中，所述预设停用门限小于所述预设启用门限。

11、可选的，所述判断所述当前编码单元所属区域是否为静态背景场景，包括：

12、确定所述目标视频的当前帧中的保护区域；所述保护区域包括人脸区域、人体区域、字幕区域、图形界面区域和用户感兴趣区域中的任意一种或几种；

13、若所述当前编码单元与所述保护区域不相交，则确定所述当前编码单元所属区域为静态背景场景；

14、若所述当前编码单元与所述保护区域相交，则确定所述当前编码单元所属区域为非静态背景场景，并对所述当前编码单元执行预设常规模式搜索操作。

15、可选的，所述基于所述目标候选模式判断所述当前编码单元是否满足预设门控命中条件，包括：

16、基于所述目标候选模式确定所述当前编码单元的各预设有效预测方向的运动矢量；

17、判断所述目标候选模式是否为跳过模式，且所述运动矢量的幅值小于等于预设运动阈值；

18、若是，则判定所述当前编码单元满足预设门控命中条件。

19、可选的，基于所述预测残差的分布情况对所述当前编码单元执行强制分裂，并向下递归划分搜索，包括：

20、将所述预测残差中的亮度残差按照所述当前编码单元的四个象限划分，分别确定各所述象限对应的均方误差，以及各所述均方误差的均值；

21、根据所述当前编码单元的量化参数确定高残差阈值，并根据各所述均方误差中的最大值、最小值与所述均值确定残差异质性；

22、若各所述象限的均方误差中存在单个象限或对角的象限大于所述高残差阈值，且所述残差异质性大于等于预设异质性门限，则确定所述预测残差的分布情况为第一残差分布；

23、若各所述象限的均方误差均大于所述高残差阈值，则确定所述预测残差的分布情况为第二残差分布；

24、若所述预测残差的分布情况为所述第一残差分布或所述第二残差分布，且各预设有效预测方向上参考同位置编码单元的深度大于所述当前编码单元的深度，则对所述当前编码单元进行强制分裂，并执行向下递归划分搜索，裁剪当前深度上除所述目标候选模式之外的候选编码模式。

25、可选的，基于所述预测残差的分布情况对所述当前编码单元执行矩形分区剪枝，包括：

26、根据各所述均方误差确定左侧两个象限的均方误差的第一总和与右侧两个象限的均方误差的第二总和，以及上侧两个象限的均方误差的第三总和与下侧两个象限的均方误差的第四总和；

27、若所述第一总和与所述第二总和之间的相对偏差小于等于预设相似度容差，则确定所述预测残差在左右方向上一致，并将所述预设模式集合中的竖向矩形分区模式从所述候选搜索结果中剪除；

28、若所述第三总和与所述第四总和之间的相对偏差小于等于所述预设相似度容差，则确定所述预测残差在上下方向上一致，将所述预设模式集合中的横向矩形分区模式从所述候选搜索结果中剪除。

29、可选的，所述基于所述预测残差的分布情况对所述当前编码单元执行强制分裂或矩形分区剪枝之后，还包括：

30、对所述当前编码单元执行强制分裂或矩形分区剪枝时，确定所述当前编码单元向下递归划分得到的子编码单元；所述子编码单元包含非正方形预测单元；

31、确定与所述非正方形预测单元处于相同深度的正方形预测单元，并确定所述正方形预测单元中与所述非正方形预测单元位置对应的子区域；

32、若所述子区域的亮度残差为零，则将所述正方形预测单元的运动矢量、参考帧索引与预测方向复用为所述非正方形预测单元的运动信息，并跳过对所述非正方形预测单元的运动估计；

33、基于复用得到的所述运动信息对所述非正方形预测单元执行运动补偿与率失真代价计算操作，得到所述非正方形预测单元对应的候选搜索结果。

34、第二方面，本技术提供了一种基于残差门控的视频编码装置，应用于视频编码器，包括：

35、场景判断模块，用于获取目标视频的当前编码单元，基于目标视频所处的场景触发门控编码加速操作，并判断所述当前编码单元所属区域是否为静态背景场景；

36、门控命中判断模块，用于当所述当前编码单元所属区域为静态背景场景时，基于预设模式集合对所述当前编码单元进行模式搜索，得到所述当前编码单元的目标候选模式，基于所述目标候选模式判断所述当前编码单元是否满足预设门控命中条件；所述预设模式集合包括各个候选编码模式；

37、第一编码模式确定模块，用于若所述当前编码单元满足预设门控命中条件，则将所述目标候选模式确定为所述当前编码单元的本层候选模式，并对所述当前编码单元进行向下递归划分搜索得到递归搜索结果，根据所述目标候选模式确定所述本层候选模式与所述递归搜索结果对应的第一率失真代价，并根据所述第一率失真代价确定所述当前编码单元的目标编码模式；

38、第二编码模式确定模块，用于若所述当前编码单元未满足所述预设门控命中条件，则基于所述目标候选模式对所述当前编码单元进行预测，得到对应的预测残差，基于所述预测残差的分布情况对所述当前编码单元执行强制分裂或矩形分区剪枝，并向下递归划分搜索，得到对应的候选搜索结果，根据所述候选搜索结果确定各所述候选编码模式对应的第二率失真代价，根据各所述第二率失真代价从所述预设模式集合中选出所述当前编码单元的目标编码模式；

39、编码完成模块，用于基于所述目标编码模式对所述当前编码单元完成编码。

40、第三方面，本技术提供了一种电子设备，包括：

41、存储器，用于保存计算机程序；

42、处理器，用于执行所述计算机程序，以实现如前述的基于残差门控的视频编码方法。

43、第四方面，本技术提供了一种计算机可读存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现如前述的基于残差门控的视频编码方法。

44、综上可知，本技术获取目标视频的当前编码单元，基于目标视频所处的场景触发门控编码加速操作，并判断所述当前编码单元所属区域是否为静态背景场景；当所述当前编码单元所属区域为静态背景场景时，基于预设模式集合对所述当前编码单元进行模式搜索，得到所述当前编码单元的目标候选模式，基于所述目标候选模式判断所述当前编码单元是否满足预设门控命中条件；所述预设模式集合包括各个候选编码模式；若所述当前编码单元满足预设门控命中条件，则将所述目标候选模式确定为所述当前编码单元的本层候选模式，并对所述当前编码单元进行向下递归划分搜索得到递归搜索结果，根据所述目标候选模式确定所述本层候选模式与所述递归搜索结果对应的第一率失真代价，并根据所述第一率失真代价确定所述当前编码单元的目标编码模式；若所述当前编码单元未满足所述预设门控命中条件，则基于所述目标候选模式对所述当前编码单元进行预测，得到对应的预测残差，基于所述预测残差的分布情况对所述当前编码单元执行向下递归划分搜索或矩形分区剪枝，得到对应的候选搜索结果，确定所述候选搜索结果中各所述候选编码模式对应的第二率失真代价，根据各所述第二率失真代价确定所述当前编码单元的目标编码模式；基于所述目标编码模式对所述当前编码单元完成编码。

45、由上可知，本技术在编码目标视频的当前编码单元时，先依据视频所处场景触发门控编码加速，并判断当前编码单元是否位于静态背景区域。若属于静态背景，则从预设候选模式集合中搜索目标候选模式，并据此判断是否满足预设的门控命中条件。满足条件时，将该目标候选模式作为本层候选模式，同时对当前编码单元进行向下递归划分搜索，综合本层候选模式与递归搜索结果的率失真代价来确定目标编码模式；未满足条件时，则利用目标候选模式进行预测得到预测残差，再根据残差分布情况选择执行向下递归划分搜索或矩形分区剪枝，从候选搜索结果中比较各候选编码模式的率失真代价，选出目标编码模式，最后按照该目标编码模式完成当前编码单元的编码。这样一来，判断当前是否属于这类静态背景场景；属于时，对大面积背景走零运动跳过快速裁剪，对口型、手势等局部高残差区域再按残差四个象限的几何关系决定是否强制细分或剪掉不合理的矩形划分，并在已精确匹配的子区域上复用运动信息。显著提高了编码帧率、降低时延，同时把画质损失控制在可接受范围，且不改动码流语法与解码器。