视频编码方法和装置与流程

技术特征：
1.一种视频编码方法，其特征在于，包括：获取视频帧的编码树单元；获取所述编码树单元的预测残差图像和预测重建图像；通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，所述分层编码单元划分图包括编码单元的划分概率，所述分层编码单元模式图包括编码单元的编码模式概率；根据所述划分概率、所述编码模式概率，确定所述编码树单元的划分模式及编码模式。2.根据权利要求1所述的方法，其特征在于，所述通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，包括：通过所述预测模型，根据所述预测残差图像和预测重建图像，获取共享特征；根据所述共享特征，获取所述分层编码单元划分图；根据所述共享特征，获取所述分层编码单元模式图。3.根据权利要求2所述的方法，其特征在于，所述通过所述预测模型，根据所述预测残差图像和预测重建图像，获取共享特征，包括：通过所述预测模型，根据所述预测残差图像和预测重建图像，获取多个层次的共享特征；所述根据所述共享特征，获取所述分层编码单元划分图，包括：根据多个层次的共享特征，获取所述分层编码单元划分图；所述根据所述共享特征，获取所述分层编码单元模式图，包括：根据多个层次的共享特征，获取所述分层编码单元模式图。4.根据权利要求3所述的方法，其特征在于，所述根据多个层次的共享特征，获取所述分层编码单元划分图，包括：根据第一层次、第二层次和第三层次分别对应的共享特征，获取所述分层编码单元划分图；所述根据多个层次的共享特征，获取所述分层编码单元模式图，包括：根据第一层次、第二层次、第三层次和第四层次分别对应的共享特征，获取所述分层编码单元模式图。5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取所述编码树单元的预测残差图像和预测重建图像，包括：将对所述编码树单元进行帧间编码产生的重建图像作为所述预测重建图像；根据预测重建图像确定所述预测残差图像。6.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述划分概率、所述编码模式概率，确定所述编码树单元的划分模式及编码模式，包括：根据所述划分概率，判断是否跳过编码单元在当前深度的编码过程和/或跳过编码单元划分模式编码过程；根据编码模式概率，判断是否跳过编码单元的帧内编码过程或者帧间编码过程。7.一种视频编码预测模型处理方法，其特征在于，包括：
获取训练数据集；训练数据包括：残差图像和重建图像与分层编码单元划分图的标注数据和分层编码单元模式图的标注数据之间的对应关系；构建多任务学习的预测模型；根据所述训练数据集，训练所述预测模型的模型参数。8.一种视频编码装置，其特征在于，包括：编码树单元获取单元，用于获取视频帧的编码树单元；第一编码单元，用于获取所述编码树单元的预测残差图像和预测重建图像；预测单元，用于通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，所述分层编码单元划分图包括编码单元的划分概率，所述分层编码单元模式图包括编码单元的编码模式概率；第二编码单元，用于根据所述划分概率、所述编码模式概率，确定所述编码树单元的划分模式及编码模式。9.一种电子设备，其特征在于，包括：处理器和存储器；存储器，用于存储实现根据权利要求1-7任一项所述的方法的程序，该设备通电并通过所述处理器运行该方法的程序。10.一种视频处理系统，其特征在于，包括：根据权利要求8所述的视频编码装置；以及，视频解码装置。11.一种视频直播方法，其特征在于，包括：获取直播视频包括的视频帧的编码树单元；获取所述编码树单元的预测残差图像和预测重建图像；通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，所述分层编码单元划分图包括编码单元的划分概率，所述分层编码单元模式图包括编码单元的编码模式概率；根据所述划分概率、所述编码模式概率，确定所述编码树单元的划分模式及编码模式，以根据所述编码树单元的划分模式及编码模式生成编码数据。12.一种用于视频点播的视频编码方法，其特征在于，包括：获取点播视频包括的视频帧的编码树单元；获取所述编码树单元的预测残差图像和预测重建图像；通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，所述分层编码单元划分图包括编码单元的划分概率，所述分层编码单元模式图包括编码单元的编码模式概率；根据所述划分概率、所述编码模式概率，确定所述编码树单元的划分模式及编码模式，以根据所述编码树单元的划分模式及编码模式生成编码数据。13.一种用于视频通话的视频编码方法，其特征在于，包括：获取视频通话包括的视频帧的编码树单元；获取所述编码树单元的预测残差图像和预测重建图像；通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，所述分层编码单元划分图包括编码
单元的划分概率，所述分层编码单元模式图包括编码单元的编码模式概率；根据所述划分概率、所述编码模式概率，确定所述编码树单元的划分模式及编码模式，以根据所述编码树单元的划分模式及编码模式生成编码数据。14.一种用于视频会议的视频编码方法，其特征在于，包括：获取视频会议包括的视频帧的编码树单元；获取所述编码树单元的预测残差图像和预测重建图像；通过多任务学习的预测模型，根据所述预测残差图像和预测重建图像，获取所述编码树单元的分层编码单元划分图和分层编码单元模式图，所述分层编码单元划分图包括编码单元的划分概率，所述分层编码单元模式图包括编码单元的编码模式概率；根据所述划分概率、所述编码模式概率，确定所述编码树单元的划分模式及编码模式，以根据所述编码树单元的划分模式及编码模式生成编码数据。

技术总结
本申请公开了视频编码方法、系统、装置及设备。其中所述方法通过分层CU划分图(HCPM)表示编码树单元(CTU)的划分结构，通过分层CU模式图(HCMM)表示CTU中各CU的编码模式类型，将多任务学习用于同时加速视频编码器的多个模块的编码过程，包括CU的深度决策过程和CU的模式决策过程，多任务学习模型以HCPM和HCMM作为学习目标，基于该模型对CU深度和编码模式预测的结果，确定编码树单元的划分模式和编码模式。采用这种处理方式，使得用一个深度模型来预测多个目标，能够快速跳过不必要的CU划分过程和CU帧内模式决策过程；因此，可以有效降低较高编码质量下的编码复杂度。较高编码质量下的编码复杂度。较高编码质量下的编码复杂度。


技术研发人员：杨明田 张昊 王豪 陈高星 缪泽翔 苏昊天 石隽
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：2022.08.12
技术公布日：2022/12/16