一种视频编码方法、装置和设备及计算机存储介质与流程
本技术涉及计算机,尤其涉及一种视频编码方法、装置和设备及计算机存储介质。
背景技术:
1、视频编码技术是指:通过编码算法将原始视频信号转换为压缩数字格式,以此在确保视觉质量的前提下,显著减少视频数据的体积。
2、实际应用中,物体在一个视频录像中的连续多个视频帧之间的运动变化可以通过运动向量来表示。那么,参阅图1a所示,在针对视频录像进行视频编码时,可以将视频录像压缩为参考帧以及与参考帧关联的多个预测帧,其中,参考帧中的像素信息会被全部记录,而其他预测帧中的像素信息,则可以通过物体在参考帧与预测帧之间的运动向量和相应的残差信息进行描述。
3、相应的,在视频解码过程中,对于一个预测帧而言,利用参考帧的像素信息和该预测帧对应的运动向量进行运动补偿处理,即可得到针对该预测帧的预测结果,再将残差信息叠加在该预测结果上,就可以解码得到预测帧中的像素信息。
4、在上述过程中,仅需要记录参考帧的像素信息即可,而其他预测帧的像素信息可以被编码为相应的运动向量和残差信息,因此,编码后的视频数据的数据量可大幅度减少。
5、可见,在视频编码技术中,运动向量的选取是较为关键的步骤。而一个物体的运动可能包括有多种复杂的形式,例如,翻转、旋转等等,此时就需要利用仿射运动估计,来确定相应的运动向量。
6、在仿射运动估计中,运动向量的确定分为:目标点位的运动向量和其他点位的运动向量的确定。参阅图1b所示,在待编码的预测帧中被划分出的目标区域内,目标点位可以是其中的左上角点位与右上角点位,其目标点位上的运动向量表征该点位从参考帧到当前预测帧的位移,相应的运动向量即为图1b中标记的mv0与mv1,利用这两个点位对应的运动向量,以及该区域的宽和高,可以分别计算出该区域内其它点位的运动向量,如此,基于各个点位的运动向量,就可以通过运动补偿生成对应的预测结果。
7、在上述过程中,如何确定目标点位的运动向量,是视频编码的基础,而相关技术下,运动向量的确定通常采用以下方式:分别为每个目标点位选定初始运动向量后,基于获得的各初始运动向量对应得到的残差信息,并对各初始运动向量进行优化迭代,以降低预测结果与对应的预测帧之间的差距,如此,通过多轮迭代后,即可获取满足条件的各目标点位的各运动向量。
8、然而,在每轮的优化迭代中,通常是采用高斯消元法,对相应的残差信息以及梯度信息进行方程计算,从而得到针对运动向量的调整量,以降低预测结果与预测帧之间的残差信息。采用此种计算方式,在针对梯度信息进行高斯消元时会执行大量的除法运算,而除法运算在硬件实现中,会占用大量的计算资源;另一方面,由于进行除法运算的数据量十分庞大,且在每个除法运算耗费的时间也较长,这导致其对硬件自身的时序限制冲击非常大,硬件设备难以在这样的情况下快速准确的完成针对目标点位的运动向量的优化迭代。这样,在视频录像完成拍摄,需要传输到其它设备中的情况下,由于无法快速地针对视频录像完成视频编码操作,会导致视频录像的传输过程耗费较长时间。示例性的,在直播场景下,由于拍摄得到的视频录像,无法快速地编码传输,此时,播放端的视频数据的播放,就会出现较为明显的卡顿现象。
9、因此,亟需一种新的视频编码的方法,用以降低视频编码的计算成本,并提高视频编码的速率。
技术实现思路
1、本技术实施例提供了一种视频编码方法、装置和设备及计算机存储介质,用以降低视频编码的计算成本,并提高视频编码的速率。
2、第一方面,提供一种视频编码方法,包括:
3、获取一个预测帧中的各目标点位,各自在所述一个预测帧与参考帧之间的初始运动向量;所述一个预测帧是所述参考帧关联的各预测帧中的任意一个;
4、对获得的各初始运动向量进行迭代优化,直到得到的输出运动向量满足预设优化条件为止;其中,每轮优化时,执行如下操作:
5、基于所述参考帧与各上轮输出运动向量,对所述各目标点位在所述一个预测帧中的像素信息进行预测,并确定获得的预测结果与所述一个预测帧之间的区别信息;在第一轮优化时,所述各上轮输出运动向量为所述各初始运动向量;
6、基于所述区别信息以及所述各上轮输出运动向量,获得相应的梯度信息;所述梯度信息,用于描述各上轮输出运动向量对区别信息影响程度;
7、基于所述梯度信息的数位信息,以降低所述区别信息为目标,对所述各上轮输出运动向量进行调整,获得相应的各本轮输出运动向量。
8、第二方面,提供一种视频编码装置,包括:
9、获取模块,用于获取一个预测帧中的各目标点位,各自在所述一个预测帧与参考帧之间的初始运动向量;所述一个预测帧是所述参考帧关联的各预测帧中的任意一个;
10、处理模块,用于对获得的各初始运动向量进行迭代优化,直到得到的输出运动向量满足预设优化条件为止;其中,每轮优化时,所述处理模块还用于:
11、基于所述参考帧与各上轮输出运动向量,对所述各目标点位在所述一个预测帧中的像素信息进行预测,并确定获得的预测结果与所述一个预测帧之间的区别信息;在第一轮优化时,所述各上轮输出运动向量为所述各初始运动向量;
12、基于所述区别信息以及所述各上轮输出运动向量,获得相应的梯度信息;所述梯度信息,用于描述各上轮输出运动向量对区别信息影响程度;
13、基于所述梯度信息的数位信息,以降低所述区别信息为目标,对所述各上轮输出运动向量进行调整,获得相应的各本轮输出运动向量。
14、可选的,所述处理模块用于基于所述梯度信息的数位信息,以降低所述区别信息为目标,对所述各上轮输出运动向量进行调整,获得相应的各本轮输出运动向量时,具体用于:
15、确定所述梯度信息中包括的多个梯度元素;每个所述梯度元素用于描述:所述各上轮输出运动向量中的一个向量参数,对所述区别信息中包括的一个目标点位对应的区别元素的影响程度;
16、基于选取的各梯度元素的数位信息,分别对所述梯度信息中的每个其他梯度元素进行数位调整,并基于调整后的梯度信息,结合所述区别信息,获得所述各上轮输出运动向量的参数调整信息;
17、基于所述参数调整信息,以降低所述区别信息为目标,分别对每个上轮输出运动向量执行:分别对一个上轮输出运动向量的每个向量参数进行调整,获得对应的本轮输出运动向量。
18、可选的,所述处理模块用于基于选取的各梯度元素的数位信息,分别对所述梯度信息中的每个其他梯度元素进行数位调整时,具体用于:
19、分别对所述梯度信息中的每个其他梯度元素,执行如下操作:
20、基于预设的对应关系,从所述选取的各梯度元素中,筛选出一个其他梯度元素对应的梯度元素,作为目标梯度元素;
21、基于预设的数制类型,对所述目标梯度元素以及所述一个其他梯度元素进行数制转换处理,获得转换后的目标梯度元素以及转换后的一个其他梯度元素;
22、基于所述转换后的目标梯度元素的数位信息,结合所述目标梯度元素,对所述转换后的一个其他梯度元素进行数位调整。
23、可选的,所述处理模块用于基于所述转换后的目标梯度元素的数位信息,结合所述目标梯度元素,对所述转换后的一个其他梯度元素进行数位调整时,具体用于:
24、对所述转换后的目标梯度元素的数位信息,以及所述转换后的一个其他梯度元素的数位信息,进行融合处理;
25、当融合后的数位信息超过设定阈值时,基于所述融合后的数位信息与所述设定阈值之间的第一差值,对所述转换后的目标梯度元素的数位信息,以及所述转换后的一个其他梯度元素的数位信息中的较大值,进行位数缩减处理;
26、当获得位数缩减后的目标梯度元素时,基于所述目标梯度元素的数位信息与所述第一差值之间的第二差值,对所述一个其他梯度信息与所述数缩减后的目标梯度元素之间的乘积,进行位数缩减处理;
27、当获得位数缩减后的一个其他梯度信息时,基于所述目标梯度元素的数位信息与所述第一差值之间的第二差值,对所述目标梯度信息与所述数缩减后的一个其他梯度信息之间的乘积,进行位数缩减处理。
28、可选的,在所述基于选取的各梯度元素的数位信息,分别对所述梯度信息中的每个其他梯度元素进行数位调整之后,所述处理模块还用于:
29、基于选取的各梯度元素的数位信息,分别对所述区别信息中的每个区别元素进行数位调整;每个所述区别元素用于描述:一个目标点位的像素信息在所述预测结果与所述一个预测帧之间的区别;
30、则所述基于调整后的梯度信息,结合所述区别信息,获得所述各上轮输出运动向量的参数调整信息,包括:
31、基于调整后的梯度信息,结合各调整后的区别元素,分别针对每个向量参数获得相应的参数调整元素,并将获得的各参数调整元素,作为所述参数调整信息。
32、可选的,所述处理模块用于基于选取的各梯度元素的数位信息,分别对所述梯度信息中的每个其他梯度元素进行数位调整时,具体用于:
33、分别针对每个向量参数,依次执行如下操作:
34、从一个向量参数对应的多个上轮调整梯度元素中,选取出取值命中预设的筛选条件的上轮调整梯度元素,作为命中梯度元素;在针对第一个向量参数进行调整时,所述上轮调整梯度元素为未进行调整的所述梯度元素;
35、基于所述命中梯度元素的数位信息,分别对所述多个上轮调整梯度元素中,每个所述其他上轮调整梯度元素,执行如下操作:将一个上轮调整梯度元素的取值调整为预设取值;确定所述上轮调整梯度元素对应的命中目标点位,并基于所述命中梯度元素的数位信息,分别对所述命中目标点位对应的其他上轮梯度元素进行数位调整,得到相应的本轮调整梯度元素。
36、可选的,所述基于所述命中梯度元素的数位信息,分别对所述命中目标点位对应的其他上轮梯度元素进行数位调整,得到相应的本轮调整梯度元素之后,所述处理模块还用于:
37、分别针对每个所述其他上轮调整梯度元素,执行如下操作:
38、在上轮调整区别信息中,确定一个其他上轮调整梯度元素的对应的一个上轮调整区别元素;在针对第一个向量参数进行调整时,所述上轮调整区别信息为未进行调整的所述区别信息;所述区别信息包含的每个区别元素各自对应一个目标点位;
39、基于所述命中梯度元素的数位信息,对所述一个上轮调整区别元素进行数位调整,得到相应的本轮调整区别元素;
40、基于获得的各本轮调整区别元素,以及命中梯度元素对应的上轮区别元素,获得本轮调整区别信息。
41、可选的,所述处理模块用于基于所述区别信息以及所述各上轮输出运动向量,获得相应的梯度信息时,具体用于:
42、分别针对每个所述上轮输出运动向量,执行如下操作:确定一个上轮输出运动向量对应的各向量参数;
43、在所述区别信息中,分别确定所述各目标点位各自对应的区别元素;每个所述区别元素用于描述:一个目标点位的像素信息在所述预测结果与所述一个预测帧之间的区别;
44、分别针对每个所述向量参数,执行如下操作:分别基于所述各目标点位各自对应的区别元素,对一个向量参数进行梯度提取,获得相应的梯度元素;每个所述梯度元素用于描述:一个向量参数对一个区别元素的影响程度;并将获得的各梯度元素,作为所述梯度信息。
45、第三方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的方法。
46、第四方面,提供一种计算机设备,包括:
47、存储器,用于存储程序指令;
48、处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如第一方面所述的方法。
49、第五方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的方法。
50、在本技术实施例提供的视频编码方法中,在获取预测帧中的目标点位对应的运动向量时,通过针对初始运动向量进行多轮迭代优化,以得到满足预设优化条件的目标运动向量。如此,在多轮迭代后,获得的目标运动向量针对预测帧与参考帧之间,目标点位的位移情况的描述能够尽可能准确,以此降低两者之间区别信息的数据量,进而可以提高视频编码的压缩效率。
51、其中,在每轮优化过程中,分别执行:基于参考帧与各上轮输出运动向量,对各目标点位的像素信息进行预测后,获得预测结果与预测帧之间的区别信息,通过该区别信息来衡量运动向量对目标点位位移情况的描述的准确性,并利用区别信息,获得用于描述各上轮输出运动向量对区别信息的影响程度的梯度信息。如此,通过梯度信息来指导针对运动向量的调整,使得调整后的运动向量能够对应尽可能低的区别信息,以此提高运动向量对位移情况描述的准确性。
52、进一步地,在利用梯度信息对运动向量进行调整的过程中,采用梯度信息的数位信息,进行相关处理;其中,梯度信息的数位信息获取快捷且处理方式简单,能够快速地实现对运动向量的调整,避免了占用较多资源的处理方式,在提高了视频编码处理过程的效率的同时,也降低了视频编码处理所耗费的计算资源,能够有效提升视频编码处理的效率与效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com