利用神经网络的预测性编码的制作方法

技术特征：
1.一种用于对视频流进行编码的方法，包括：对于待编码的输入帧的像素块，基于根据所述视频流的先前编码的数据的参考数据得到的输入数据生成像素块预测；生成表示所述像素块与所述像素块预测之间的差的残差块；对所述残差块进行编码；以及将所述编码残差块和相关联的编码参数封装在编码视频流中，其中所述生成像素块预测和所述对所述残差块进行编码中的至少一者使用基于神经网络的过程来执行。2.根据权利要求1所述的方法，还包括：当所述基于神经网络的过程是基于神经网络的预测时，使用基于帧间的预测和基于帧内的预测中的一者生成第二像素块预测；以及当与所述像素块预测相关联的失真的估计高于与所述第二像素块预测相关联的失真的估计时，使用所述第二像素块预测来生成残差块。3.根据权利要求1所述的方法，其中当所述基于神经网络的过程是基于神经网络的预测时，所述基于神经网络的预测包括从所述参考数据提取特征向量。4.根据权利要求1所述的方法，其中当所述基于神经网络的过程是基于神经网络的预测时，所述基于神经网络的预测包括将所述参考数据从像素域变换到变换域。5.根据权利要求1所述的方法，其中所述基于神经网络的过程基于神经网络库的输出与这些输出的对应可能性的组合。6.根据权利要求1所述的方法，其中在所述基于神经网络的过程中使用的神经网络库通过网络架构、激活函数、超参数、训练成本函数、训练数据类别、权重或它们的任何组合来表征。7.根据权利要求1所述的方法，其中当所述基于神经网络的过程是基于神经网络的编码时，所述对所述残差块进行编码包括当与所述基于神经网络的编码相关联的置信度分数低于阈值时执行基于变换的编码。8.根据权利要求1所述的方法，其中当所述基于神经网络的过程是基于神经网络的编码时，所述基于神经网络的编码包括基于与所述生成像素块预测相关的数据进行编码。9.根据权利要求1所述的方法，其中当所述基于神经网络的过程是基于神经网络的编码时，所述基于神经网络的编码包括从所述残差块提取特征向量。10.根据权利要求1所述的方法，其中当所述基于神经网络的过程是基于神经网络的编码时，所述基于神经网络的编码包括将所述残差块从像素域变换到变换域。11.根据权利要求1所述的方法，其中在所述基于神经网络的过程中使用的神经网络库被训练成以与用于训练所述基于神经网络的过程的其他神经网络库的比特率或成本函数不同的比特率或不同的成本函数操作。12.根据权利要求1所述的方法，其中所述生成像素块预测基于所述像素块的时空邻域内的参考数据并且以一个或多个数据分辨率进行。13.根据权利要求1所述的方法，其中当所述基于神经网络的过程是基于神经网络的预测时，基于参考数据和预测数据来更新在所述基于神经网络的预测中使用的神经网络库的权重，所述预测数据在所述视频流的编码期间根据所述参考数据生成。
14.根据权利要求13所述的方法，其中所述预测数据使用所述基于神经网络的预测、基于帧内的预测或基于帧间的预测来生成。15.根据权利要求1所述的方法，其中当所述基于神经网络的过程是基于神经网络的编码时，基于残差块和编码残差块来更新在所述基于神经网络的编码中使用的神经网络库的权重，所述编码残差块在所述视频流的编码期间根据所述残差块生成。16.根据权利要求15所述的方法，其中所述编码残差块通过所述基于神经网络的编码或基于变换的编码生成。17.根据权利要求15所述的方法，其中基于在所述视频流的编码期间生成的预测相关数据来更新所述权重。18.一种用于对编码视频流进行解码的方法，所述方法包括：对于待解码的编码残差块，从所述编码视频流提取所述编码残差块和相关联的编码参数；基于所述编码参数对所述编码残差块进行解码，从而生成解码残差块；基于根据所述编码视频流的先前解码数据的参考数据得到的输入数据生成像素块预测；以及生成重构像素块，所述重构像素块是所述解码残差块和所述像素块预测的和，其中所述生成像素块预测和对所述编码残差块进行解码中的至少一者使用基于神经网络的过程来执行。19.根据权利要求18所述的方法，其中所述基于神经网络的过程基于神经网络库的输出与这些输出的对应可能性的组合。20.根据权利要求18所述的方法，其中在所述基于神经网络的过程中使用的神经网络库通过网络架构、激活函数、超参数、训练成本函数、训练数据类别、权重或它们的任何组合来表征。21.根据权利要求18所述的方法，其中当所述基于神经网络的过程是基于神经网络的解码时，所述基于神经网络的解码包括基于与所述生成像素块预测相关的数据进行解码。22.根据权利要求18所述的方法，其中当所述基于神经网络的过程是基于神经网络的预测时，所述生成像素块预测包括：基于从以下权重得到的权重来生成像素块预测：由所述基于神经网络的预测使用以用于生成相邻像素块预测的神经网络库的权重。23.根据权利要求18所述的方法，其中当所述基于神经网络的过程是基于神经网络的解码时，所述对所述编码残差块进行解码包括：基于从以下权重得到的权重来生成解码残差块：由所述基于神经网络的解码使用以用于对相邻残差块进行解码的神经网络库的权重。24.一种计算机系统，包括：至少一个处理器；至少一个存储器，所述至少一个存储器包括被配置为由所述至少一个处理器执行以执行以下方法的指令，所述方法包括：对于待解码的编码残差块，从所述编码视频流提取所述编码残差块和相关联的编码参数；
基于所述编码参数对所述编码残差块进行解码，从而生成解码残差块；基于根据所述编码视频流的先前解码数据的参考数据得到的输入数据生成像素块预测；以及生成重构像素块，所述重构像素块是所述解码残差块和所述像素块预测的和，其中所述生成像素块预测和对所述编码残差块进行解码中的至少一者使用基于神经网络的过程来执行。25.根据权利要求24所述的系统，其中所述基于神经网络的过程基于神经网络库的输出与这些输出的对应可能性的组合。26.根据权利要求24所述的系统，其中在所述基于神经网络的过程中使用的神经网络库通过网络架构、激活函数、超参数、训练成本函数、训练数据类别、权重或它们的任何组合来表征。27.根据权利要求24所述的系统，其中当所述基于神经网络的过程是基于神经网络的解码时，所述基于神经网络的解码包括基于与所述生成像素块预测相关的数据进行解码。28.根据权利要求24所述的系统，其中当所述基于神经网络的过程是基于神经网络的预测时，所述生成像素块预测包括：基于从以下权重得到的权重来生成像素块预测：由所述基于神经网络的预测使用以用于生成相邻像素块预测的神经网络库的权重。29.根据权利要求24所述的系统，其中当所述基于神经网络的过程是基于神经网络的解码时，所述对所述编码残差块进行解码包括：基于从以下权重得到的权重来生成解码残差块：由所述基于神经网络的解码使用以用于对相邻残差块进行解码的神经网络库的权重。

技术总结
公开了用于视频压缩的系统和方法，该系统和方法利用神经网络进行预测视频编码。所采用的过程将多个神经网络库与编解码器系统部件组合以执行视频数据的编码和解码。组合以执行视频数据的编码和解码。组合以执行视频数据的编码和解码。


技术研发人员：翟杰夫 X
受保护的技术使用者：苹果公司
技术研发日：2020.01.13
技术公布日：2021/10/28