一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据处理的方法和系统与流程

2022-07-10 07:44:51 来源:中国专利 TAG:


1.本说明书涉及数据处理领域,尤其涉及一种数据处理的方法和系统。


背景技术:

2.随着互联网技术的日益普遍,特别是移动终端的普及,通信网络涌现出越来越多类型的数据,随着而计算机的普及化,越来越多的数据正在占用越来越多的网络和存储资源,例如,视频数据、音频数据,等等。数据中往往包含巨大的信息量,对储存和传输的要求往往很高,因此,为了便于储存和传输,往往需要对数据进行压缩,在需要时再对压缩后的数据进行解压还原。因此,数据压缩和解压技术得到越来越多的应用。
3.比如,在过去的几十年中,视频和图像压缩技术得到越来越多的应用。视频中往往包含巨大的信息量。从传统的广播电影电视到现在大量的监控和互联网应用,压缩后的图像视频和图像正在占用越来越多的网络和存储资源。这使得如果将一段视频的原始数据从一个终端通过网络传输到另一个终端时会占用大量的网络资源。这就使得在有些实时视频传输的情况下难以实现画面的流畅传输。因此,视频数据传输前首先要在数据压缩设备处进行压缩处理,以便于传输。压缩后的视频在经过传输媒介传输到数据解压设备之后,数据解压设备再对所述视频进行解压,以至少部分地还原视频图像。
4.现有技术中主要的视频压缩标准是h.264和h.265标准。在传输前,通常依据h.264和h.265标准使用编码器对视频进行整体压缩,传输后再依据h.264和h.265标准通过解码器对视频进行整体解压。但是,上述对视频进行整体压缩的处理方法在计算量和解压后视频清晰度之间的平衡上表现的仍不能令人满意。这是因为,h.264和h.265标准在处理所述原始视频的时候要通过各种复杂的算法生成原始帧的预测帧,然后记录所述原始帧与所述预测帧之间的残差。所述预测帧同所述原始帧越接近,则残差越小,对一段视频编码后的数据量就越小。为了使编码更加容易,常用的方法是通过对原始帧进行滤波来减少原始帧图像中的高频信息。由傅里叶变换可知,在图片中物体的边界部分频率信息往往是比较丰富的,边界部分的高频分量通常大于其他平缓区域的高频分量。因此减少高频信息的帧图像虽然在视觉上变得模糊了(也就是图像的清晰度降低了),却可以使得预测帧和滤波后的原始帧之间的残差更小。这样对视频编码时需要的计算量和编码后的数据流都减小了很多。然而,帧预测的技术非常复杂,会占用大量的计算资源。以视频编解码系统为例,平均每提高30%~40%的编码效率,便要增加约10倍的计算量。同时,传输后的数据经解压后清晰度降低,而且往往存在各种噪声,比如块效应或振铃效应。所述块效应是指在图像处理中,基于块的傅里叶变换使得图像边界处出现不连续现象。所述振铃效应是指在图像处理中,对一幅图像进行频谱调节处理时,若选用的频谱调节函数数值上具有较快的变化(也就是存在导数变化剧烈的区域),则会使输出图像在灰度剧烈变化处产生灰度震荡,就好像钟被敲击后产生的空气震荡。所述噪声多出现在图像边界处。如果一幅输出图像有很强的噪声,则无法满足人们对数据的清晰度日益增长的要求。因此,如何进一步提高数据的压缩效率,同时提高数据解压后的清晰度,消除噪声,一直都是数据压缩和解压技术领域追求的目标。
5.因此,为了提升数据的传输效率以及数据解压后的清晰度,需要一种压缩效率更高同时数据解压更清晰的数据处理的方法和系统。


技术实现要素:

6.本说明书提供一种压缩效率更高同时数据解压更清晰的数据处理的方法和系统。以视频数据为例,所述数据处理的方法和系统可以通过小范围的伽马算法对初始视频数据中的初始帧中的小范围内的边界进行调节,以避免图像中相邻像素点间差距较小的小范围内的边界信息在数据压缩(预测和求残差)过程中丢失,避免细节损失;同时所述方法和系统能够对所述初始帧进行编码频谱调节,使得所述初始帧在选定频域内的信号强度减小,使初始帧中选定频率区域的幅值平稳地降低,从而减少数据信息量。然后再对频谱调节后的数据进行编码(预测和求残差)得到压缩帧,提高数据压缩的效率。所述编码频谱调节可以使初始帧中的数据信息量减少,在进行预测和求残差时可以提高数据压缩的效率。在进行数据解压时,所述方法和系统可以对所述压缩帧进行解码频谱调节和边界校正。所述方法和系统可以先对压缩帧进行解码,然后使用与编码端相对应的参数对解码后的数据进行解码频谱调节,所述解码频谱调节可以使解码后的数据中的中频和高频区域的分量被过滤,即得到比解码后的数据更模糊的数据,将解码后的数据与经解码频谱调节后被过滤掉中频和高频区域的数据相减可以获取初始帧中的边界信息;然后所述方法和系统可以通过小范围内的伽马算法对所述边界信息中的小范围内的边界进行减弱,以进行所述边界校正消除边界信息中的噪声;最后,所述方法和系统将降噪后的边界信息与解码后的数据叠加便可以得到解压帧。所述解码频谱调节与所述编码频谱调节相对应,编码频谱调节函数与解码频谱调节函数之间存在对应的关系,可以使经所述编码频谱调节的压缩数据恢复至初始帧的清晰度甚至高于所述初始帧的清晰度。也就是说,在不显著增加编解码的计算量的情况下,解码端需要至少将解压数据在重要频率内的数据恢复至初始帧的清晰度,甚至可以获得超过初始帧的清晰度。由于初始帧在重要频率区域只经过了频域上的信号衰减而不是频域上的滤除,在重要频域内的信息并没有缺失,因此可以根据所述编码频谱调节函数和所述解码频谱调节函数的关系以及各自的特征,来设计编码频谱调节函数和解码频谱调节函数,对初始帧中重要频率上的信息进行恢复。所述方法和系统可以显著提高数据的压缩效率,提升数据的传输效率,减少数据丢失,避免细节损失,同时消除噪声,提高解压后数据的清晰度。
7.基于此,第一方面,本说明书提供一种数据处理的方法,包括:选择初始数据中的初始帧,所述初始帧包括预设字节数的初始数据;以及对所述初始帧进行数据压缩,得到压缩帧,其中,所述数据压缩包括对所述初始帧进行边界调节以及对在压帧进行编码频谱调节,所述在压帧包括所述初始帧和所述初始帧在所述数据压缩过程中成为所述压缩帧之前的任一数据状态,其中,所述编码频谱调节包括使用编码卷积核对所述在压帧做卷积,以便在频域内平稳地降低所述在压帧的中频区域的幅值。
8.在一些实施例中,所述边界调节包括通过伽马值小于1的第一伽马算法对所述初始帧的边界中边界值在第一预设范围内的边界进行调节。
9.在一些实施例中,所述对所述初始帧进行数据压缩,包括:先对所述初始帧进行所述边界调节,再进行所述编码频谱调节;或者先对所述初始帧进行所述编码频谱调节,再进
行所述边界调节。
10.在一些实施例中,所述先对所述初始帧进行所述边界调节,再进行所述编码频谱调节,包括:对所述初始帧进行所述边界调节,获取第一增强帧;以及对所述第一增强帧进行所述编码频谱调节和编码,包括以下方式中的一种:对所述第一增强帧先进行所述编码频谱调节,再对编码频谱调节后的第一增强帧进行预测和求残差,其中,所述在压帧包括所述第一增强帧;对所述第一增强帧先进行预测得到预测帧,再对所述第一增强帧和所述预测帧进行所述编码频谱调节和求残差,其中,所述在压帧包括所述第一增强帧和所述预测帧;以及对所述第一增强始帧先进行预测和求残差,再对所述残差进行所述编码频谱调节,其中,所述在压帧包括所述残差。
11.在一些实施例中,所述对所述初始帧进行所述边界调节,获取第一增强帧,包括:通过第一调节函数对所述初始帧进行调节,得到第一帧,以使所述初始帧在频域内的低频区域的分量被保留而中频至高频区域的分量被衰减;对所述初始帧和所述第一帧求差,获取第一边界,所述第一边界包括所述初始帧的边界信息;通过所述第一伽马算法,对所述第一边界中边界值处于所述第一预设范围内的边界进行调节,得到增强边界;以及将所述第一帧与所述增强边界进行叠加,得到所述第一增强帧。
12.在一些实施例中,在所述得到增强边界之前,所述对所述初始帧进行所述边界调节,获取第一增强帧,还包括:通过第一系数对所述第一边界进行增强,其中,所述第一系数为大于1的任意数,所述第一边界包括通过所述第一系数增强的边界。
13.在一些实施例中,所述对所述第一边界中边界值处于所述第一预设范围内的边界进行调节,得到增强边界,包括:通过第二调节函数对所述第一边界进行调节,得到第二边界,以使所述第一边界在频域内的低频区域的分量被保留而中频至高频区域的分量被衰减;以及通过所述第一伽马算法,对所述第二边界中边界值处于所述第一预设范围内的边界进行调节,得到所述增强边界。
14.在一些实施例中,所述先对所述初始帧进行所述编码频谱调节,再进行所述边界调节,包括:对所述初始帧进行所述编码频谱调节,获取编码频谱调节帧;对所述编码频谱调节帧进行所述边界调节,得到第二增强帧;以及对所述第二增强帧进行预测和求残差。
15.在一些实施例中,所述对所述编码频谱调节帧进行所述边界调节,得到第二增强帧,包括:对所述初始帧和所述编码频谱调节帧求差,得到第一边界,所述第一边界包括所述初始帧的边界信息;通过所述第一伽马算法,对所述第一边界中边界值处于所述第一预设范围内的边界进行调节,得到增强边界;将所述增强边界与所述第一边界求差,得到调节值;以及将所述编码频谱调节帧与所述调节值进行叠加,得到所述第二增强帧。
16.在一些实施例中,在所述得到增强边界之前,所述对所述编码频谱调节帧进行所述边界调节,得到第二增强帧,还包括:通过第一系数对所述第一边界进行增强,其中,所述第一系数为大于1的任意数,所述第一边界包括通过所述第一系数增强的边界。
17.在一些实施例中,所述对所述第一边界中边界值处于所述第一预设范围内的边界进行调节,得到增强边界,包括:通过第二调节函数对所述第一边界进行调节,得到第二边界,以使所述第一边界在频域内的低频区域的分量被保留而中频至高频区域的分量被衰减;以及通过所述第一伽马算法,对所述第二边界中边界值处于所述第一预设范围内的边界进行调节,得到所述增强边界。
18.在一些实施例中,所述对所述在压帧进行编码频谱调节,包括:确定所述初始帧的帧类型,所述帧类型包括帧内预测帧、前向预测帧以及双向预测帧中的至少一种;以及基于所述初始帧的帧类型,从编码卷积核组中选择一个卷积核作为所述编码卷积核对所述在压帧做卷积。
19.在一些实施例中,所述对所述在压帧做卷积,包括:对所述在压帧在垂直方向、水平方向和斜向中的至少一个方向上进行卷积。
20.在一些实施例中,所述编码频谱调节使得在频域内平稳地降低所述在压帧高频区域的幅值。
21.在一些实施例中,所述编码频谱调节使得在频域内平稳地降低所述在压帧低频区域的幅值,以及所述编码频谱调节对所述在压帧的所述低频区域的幅值降低幅度低于所述中频区域的幅值降低幅度。
22.在一些实施例中,所述编码频谱调节对所述在压帧在频域内任意频率上的幅值调节增益都大于零。
23.第二方面,本说明书还提供一种数据处理的系统,包括:至少一个存储介质以及至少一个处理器,所述至少一个存储介质存储有至少一个指令集,用于数据处理;所述至少一个处理器同所述至少一个存储介质通讯连接,其中,当所述系统运行时,所述至少一个处理器读取所述至少一个指令集,并且根据所述至少一个指令集的指示执行本说明书第一方面所述的数据处理的方法。
24.第三方面,本说明书还提供一种数据处理的方法,包括:获取压缩数据,所述压缩数据包括对初始帧进行数据压缩得到的压缩帧;以及对所述压缩帧进行数据解压,得到解压帧,所述数据解压包括对在解帧进行解码频谱调节以及边界校正,所述在解帧包括所述压缩帧和所述压缩帧在所述数据解压过程中成为所述解压帧前的任一数据状态,其中,所述解码频谱调节包括使用解码卷积核对所述在解帧做卷积,以便所述在解帧在频域内的幅值平滑地降低以过滤中频至高频区域的分量,所述编码频谱调节与所述解码频谱调节存在预先设定的关联关系,所述边界校正包括通过第二伽马算法对所述在解帧的边界中边界值在第二预设范围内的边界进行校正,以进行降噪。
25.在一些实施例中,所述第二伽马算法包括伽马值大于1的伽马算法,以对所述在解帧的边界中边界值在所述第二预设范围内的边界进行减弱。
26.在一些实施例中,所述对所述压缩帧进行数据解压,包括:对所述在解帧进行所述解码频谱调节,得到解码频谱调节帧;对所述在解帧和所述解码频谱调节帧求差,得到第三边界,所述第三边界为所述在解帧的边界,包括所述初始帧的边界信息;通过所述第二伽马算法,对所述第三边界中边界值处于所述第二预设范围内的边界进行减弱,以对所述第三边界进行降噪,得到降噪边界;以及将所述降噪边界和所述在解帧叠加得到所述解压帧。
27.在一些实施例中,在所述得到降噪边界之前,所述对所述压缩帧进行数据解压,包括:通过第二系数对所述第三边界进行增强,其中,所述第二系数为大于1的任意数,所述第三边界包括通过所述第二系数增强的边界。
28.在一些实施例中,所述通过所述第二伽马算法,对所述第三边界中边界值处于所述第二预设范围内的边界进行减弱,以对所述第三边界进行降噪,得到降噪边界,包括:通过第三调节函数对所述第三边界进行调节,得到第四边界,以使所述第三边界在频域内的
低频区域的分量被保留而中频至高频区域的分量被过滤;以及通过所述第二伽马算法,对所述第四边界中边界值处于所述第二预设范围内的边界进行减弱。
29.在一些实施例中,在所述对所述在解帧进行所述解码频谱调节,得到解码频谱调节帧之前,所述对所述压缩帧进行数据解压,还包括:对所述压缩帧进行解码,得到解码帧,所述在解帧包括所述解码帧。
30.在一些实施例中,所述数据压缩包括编码频谱调节,包括使用编码卷积核对所述在压帧做卷积,以便在频域内平稳地降低在压帧在中频区域的幅值,所述在压帧包括所述初始帧和所述初始帧在所述数据压缩过程中成为所述压缩帧之前的任一数据状态,其中,所述解码卷积核和所述编码卷积核相对应。
31.第四方面,本说明书还提供一种数据处理的系统,包括至少一个存储介质和至少一个处理器,所述至少一个存储介质存储有至少一个指令集,用于数据处理;以及所述至少一个处理器同所述至少一个存储介质通讯连接,其中当所述系统运行时,所述至少一个处理器读取所述至少一个指令集,并且根据所述至少一个指令集的指示执行本说明书第三方面所述的数据处理的方法。
32.本说明书提供的数据处理的方法和系统的其他功能将在以下说明中部分列出。根据描述,以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的数据处理的方法、系统和存储介质的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
33.为了更清楚地说明本说明书实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
34.图1示出了根据本说明书的实施例提供的一种数据处理的系统示意图;
35.图2示出了根据本说明书的实施例提供的一种数据处理的数据压缩设备示意图;
36.图3a示出了根据本说明书的实施例提供的一种数据压缩和数据解压的流程图;
37.图3b示出了根据本说明书的实施例提供的一种数据压缩和数据解压的流程图;
38.图3c示出了根据本说明书的实施例提供的一种数据压缩和数据解压的流程图;
39.图3d示出了根据本说明书的实施例提供的一种数据压缩和数据解压的流程图;
40.图4a示出了根据本说明书的实施例提供的一种对数据进行压缩的数据处理的方法的流程图;
41.图4b示出了根据本说明书的实施例提供的一种对数据进行压缩的数据处理的方法的流程图;
42.图4c示出了根据本说明书的实施例提供的一种对数据进行压缩的数据处理的方法的流程图;
43.图4d示出了根据本说明书的实施例提供的一种对数据进行压缩的数据处理的方法的流程图;
44.图5a示出了根据本说明书的实施例提供的一种获取第一增强帧的流程图;
45.图5b示出了根据本说明书的实施例提供的一种进行边界调节的流程图;
46.图5c示出了根据本说明书的实施例提供的另一种进行边界调节的流程图;
47.图6示出了根据本说明书的实施例提供的一种获取第二调节函数的曲线图;
48.图7示出了根据本说明书的实施例提供的一种伽马算法的曲线图;
49.图8a示出了根据本说明书的实施例提供的一种编码频谱调节函数的曲线图;
50.图8b示出了根据本说明书的实施例提供的一种编码频谱调节函数的曲线图;
51.图9示出了根据本说明书的实施例提供的一种获取第二增强帧的流程图;
52.图10示出了根据本说明书的实施例提供的一种对压缩帧进行解压的数据处理的方法的流程图;
53.图11a示出了根据本说明书的实施例提供的一种解码频谱调节和边界校正的流程图;
54.图11b示出了根据本说明书的实施例提供的一种进行边界校正的流程图;
55.图11c示出了根据本说明书的实施例提供的另一种进行边界校正的流程图;
56.图12a示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图;
57.图12b示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图;
58.图12c示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图;
59.图12d示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图;
60.图12e示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图;
61.图13a示出了根据本说明书的实施例提供的一种正常模式的整体调节函数h0(f)、编码频谱调节函数h1(f)和解码频谱调节函数h2(f)的曲线图;
62.图13b示出了根据本说明书的实施例提供的一种增强模式的整体调节函数h0(f)、编码频谱调节函数h1(f)和解码频谱调节函数h2(f)的曲线图;
63.图14a示出了根据本说明书的实施例提供的一种未进行边界校正的解压后的图像示例图;以及
64.图14b示出了根据本说明书的实施例提供的一种进行边界校正的解压后的图像示例图。
具体实施方式
65.以下描述提供了本说明书的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本说明书的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是与权利要求一致的最宽范围。
66.这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
67.考虑到以下描述,本说明书的这些特征和其他特征、以及结构的相关元件的操作
和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本说明书的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。还应理解,附图未按比例绘制。
68.本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
69.本说明书一方面提供了一种数据处理的系统100(以下简称系统100)。第二方面,本说明书描述了一种对数据进行压缩的数据处理的方法p200,第三方面,本说明书描述了一种对压缩帧进行解压的数据处理的方法p300。数据处理方法p200、p300和系统100可以用于数据的压缩和解压,以提高所述数据的传输效率,节约资源和空间。所述数据可以是非实时数据,也可以是实时数据。从传统的广播电影电视到现在大量的监控和互联网应用都存在各种各样的数据。例如,所述数据可以是非实时的视频数据、音频数据或者图像数据,等等。所述数据还可以是实时地图数据、实时传感器数据、实时视频监控数据、网络监测数据、气象数据、航空航天数据,等等。比如说,所述数据可以是自动驾驶汽车在行驶过程中从基站接收到的地图数据。本说明书对所述数据的具体类别不作限定。本说明书所述的数据处理的方法p200、p300和系统100在对不同类别的数据进行处理时所采取的方法和步骤都是一致的,为了方便展示,本说明书将以视频数据的处理为例进行描述。
70.在数据压缩和数据解压中,常常以帧为单位进行压缩和解压。帧是组成数据序列的一个处理单位。初始数据中可以包括一个或多个初始帧。每个初始帧包括预设字节数的初始数据。在视频压缩中,所述初始数据可以是初始视频数据,所述初始帧可以是初始视频数据中的帧图像。在传统的视频压缩技术中,通常使用h.264和h.265标准对初始视频数据进行编码,从而达到对所述视频数据进行压缩的目的。h.264和h.265标准对视频数据进行编码时主要采用的技术手段是预测编码,即对视频数据中的初始数据进行预测得到预测值,再将预测值与所述初始数据的初始值相减得到残差值,从而对所述视频数据进行压缩。在恢复和解压(即解码)时,用残差值和预测值相加即可恢复所述初始帧。
71.本说明书提供的数据处理方法p200、p300和系统100,在进行数据压缩时可以将编码频谱调节和编码相结合,以降低编码时的数据量提高视频数据的压缩效率,提升视频的传输效率;在进行数据解压时可以将解码频谱调节与解码相结合对经过编码频谱调节和编码的压缩数据进行解压,以使解压后的数据恢复至初始数据。
72.图1示出了一种数据处理的系统100的示意图。系统100可以包括数据压缩设备200、数据解压设备300以及传输媒介120。
73.数据压缩设备200可以接收待压缩的初始数据中的初始帧,并使用本说明书提出的数据处理方法p200压缩初始数据产生压缩帧。数据压缩设备200可以存储有执行本说明书描述的数据处理的方法p200的数据或指令,并且执行所述数据和/或指令。
74.数据处理方法p200可以对所述视频数据进行数据压缩。所述数据压缩可以是对所述视频数据中的初始帧进行边界调节以及对所述视频数据进行编码频谱调节和编码。具体地,数据处理方法p200可以通过伽马算法对所述视频数据中的小范围的边界进行所述边界调节以对小范围的边界进行调节,以避免相邻像素间像素值相差较小的边界在编码过程中
丢失,避免细节损失;同时,数据处理方法p200还可以采用编码频谱调节和编码相结合的方法对所述视频数据进行数据压缩,得到压缩帧,以进一步提高视频数据的压缩比,提升视频传输的效率。具体地,数据处理方法p200可以使用伽马值小于1的伽马算法对所述视频数据进行所述边界调节。所述编码频谱调节是指对待处理数据的频谱图的幅值进行调节。比如,所述编码频谱调节可以对所述待处理数据在频域上进行幅值衰减,从而减小所述待处理数据中的信息量,比如衰减所述待处理数据在其频域内选定频率区域的幅值,比如中频区域的幅值,高频区域的幅值,比如低频至中频区域的幅值,又比如中频至高频区域的幅值,等等。本领域的普通技术人员可以理解的是,经过编码频谱调节的数据在选定频率区域内的频率分量变小,数据中的信息量减少了,因此,经过编码频谱调节的数据编码时的效率可以提高,提升压缩比。
75.数据解压设备300可以接收压缩帧,并使用本说明书提出的数据处理方法p300解压压缩帧,得到解压帧。数据解压设备300可以存储有执行本说明书描述的数据处理的方法p300的数据或指令,并且执行所述数据和/或指令。
76.数据处理方法p300可以对经过数据处理方法p200进行所述数据压缩的所述压缩帧进行数据解压,以恢复所述视频数据。所述数据解压可以是对所述压缩帧进行解码频谱调节以及边界校正。数据处理方法p300可以采用解码(即根据残差值和预测值恢复在压帧)和解码频谱调节相结合的方法,对所述压缩帧进行数据解压,以恢复所述压缩帧中的数据。数据处理方法p300可以通过解码频谱调节函数对压缩数据进行解码频谱调节;将压缩数据与解码后的数据求差,获取所述初始帧的边界信息;并通过伽马算法对边界信息进行所述边界校正,以对小范围内的边界进行减弱,消除边界信息中的噪声信息;将消除噪声后的所述边界信息与所述解码后的数据叠加便可以得到所述解压帧,所述边界校正可以消除噪声信息,使得解压帧的清晰度更高。具体地,所述解码频谱调节通过使用平滑过渡的低通滤波器使解码后的数据中的中频和高频区域的分量被过滤,因此,解码后的数据可以有效避免振铃效应,从而使解压后的数据更清晰。所述解码频谱调节可以使经过所述编码频谱调节的数据在不考虑其他计算误差的情况下完全恢复或者近似恢复至编码频谱调节前的状态,甚至超越编码频谱调节前的状态。
77.因此,数据处理方法p200、p300和系统100可以显著提高视频数据的压缩效率,减少视频数据压缩时的数据丢失,提升视频的传输效率、还原率以及解压视频的清晰度,减少解压后的视频中的噪声。关于所述编码频谱调节和所述边界校正以及所述解码频谱调节和所述边界校正的具体过程将在后面的描述中详细介绍。
78.数据压缩设备200及数据解压设备300可包括广泛范围的装置。比如,数据压缩设备200及数据解压设备300可以包含台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机,或其类似者。
79.如图1所示,数据压缩设备200与数据解压设备300可以通过传输媒介120连接。传输媒介120可以促进信息和/或数据的传输。传输媒介120可以是任何可以将压缩帧从数据压缩设备200传输至数据解压设备300的数据载体。例如,传输媒介120可以是储存媒介(例如,光盘)、有线或无线通信媒介。所述通信媒介可以是网络。在一些实施例中,传输媒介120可以是任何类型的有线或无线网络,也可以是其组合。比如,传输媒介120可以包括电缆网
络,有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(lan)、广域网(wan)、无线局域网(wlan)、大都市市区网(man)、广域网(wan)、公用电话交换网(pstn)、蓝牙网络、zigbee网络、近场通信(nfc)网络或类似网络。数据解压设备300和数据压缩设备200中的一个或多个组件可以连接到传输媒介120以传输数据和/或信息。传输媒介120可以包括路由器、交换器、基站,或促进从数据压缩设备200到数据解压设备300的通信的其它设备。在另一些实施例中,传输媒介120可以是储存媒介,例如,大容量存储器、可移动存储器、易失性读写存储器、只读存储器(rom)或类似内容,或其任意组合。示例性大容量存储可能包括磁盘、光盘、固态驱动器等非暂时性存储介质(non-transitory storage medium)。可移动存储可能包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等。典型的易失性读写内存可能包括随机存取存储器(ram)。ram可能包括动态ram(dram)、双日期速率同步动态ram(ddr sdram)、静态ram(sram)、晶闸管ram(t-ram)和零电容ram(z-ram)等。rom可能包括掩码rom(mrom)、可编程rom(prom)、可虚拟可编程rom(perom)、电子可编程rom(eeprom)、光盘(cd-rom)和数字多功能磁盘rom等。在一些实施例中,传输媒介120可以是云平台。仅仅作为例子,所述云平台可能包括私有云、公共云、混合云、社区云、分布式云、云间云等形式,或者同上述形式类似的形式,或这上述形式的任意组合。
80.如图1所示,数据压缩设备200接收初始数据,并执行本说明书描述的数据处理的方法p200的指令,对初始数据进行数据压缩,产生压缩帧;所述压缩帧通过传输媒介120传输给数据解压设备300;数据解压设备300执行本说明书描述的数据处理的方法p300的指令,对压缩帧进行数据解压,得到解压帧。
81.图2示出了一种数据处理的数据压缩设备200的示意图。数据压缩设备200可以执行本说明书描述的数据处理的方法p200。所述数据处理的方法p200在本说明书中的其他部分介绍。比如,在图4a至图9的描述中介绍了所述数据处理的方法p200。
82.如图2所示,数据压缩设备200包括至少一个存储介质230和至少一个压缩端处理器220。在一些实施例中,数据压缩设备200还可以包括通信端口250和内部通信总线210。同时,数据压缩设备200还可以包括i/o组件260。
83.内部通信总线210可以连接不同的系统组件,包括存储介质230和压缩端处理器220。
84.i/o组件260支持数据压缩设备200和其他组件之间的输入/输出。
85.存储介质230可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘232、只读存储介质(rom)234或随机存取存储介质(ram)236中的一种或多种。存储介质230还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的数据处理的方法的程序、例程、对象、组件、数据结构、过程、模块等等。
86.通信端口250用于数据压缩设备200同外界的数据通讯。比如,数据压缩设备200可以通过通信端口250连接传输媒介120。
87.至少一个压缩端处理器220同至少一个存储介质230通过内部通信总线210通讯连接。至少一个压缩端处理器220用以执行上述至少一个指令集。当系统100运行时,至少一个压缩端处理器220读取所述至少一个指令集,并且根据所述至少一个指令集的指示执行数
据处理方法p200。压缩端处理器220可以执行数据处理的方法p200包含的所有步骤。压缩端处理器220可以是一个或多个处理器的形式,在一些实施例中,压缩端处理器220可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(risc),专用集成电路(asic),特定于应用的指令集处理器(asip),中央处理单元(cpu),图形处理单元(gpu),物理处理单元(ppu),微控制器单元,数字信号处理器(dsp),现场可编程门阵列(fpga),高级risc机器(arm),可编程逻辑器件(pld),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。仅仅为了说明问题,在本说明书中数据压缩设备200中仅描述了一个压缩端处理器220。然而,应当注意,本说明书中数据压缩设备200还可以包括多个处理器,因此,本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本说明书中数据压缩设备200的压缩端处理器220执行步骤a和步骤b,则应该理解,步骤a和步骤b也可以由两个不同压缩端处理器220联合或分开执行(例如,第一处理器执行步骤a,第二处理器执行步骤b,或者第一和第二处理器共同执行步骤a和b)。
88.虽然上述结构描述的是数据压缩设备200,此结构也适用于数据解压设备300。数据解压设备300可以执行本说明书描述的数据处理的方法p300。所述数据处理的方法p300在本说明书中的其他部分介绍。比如,在图10至图14b的描述中介绍了所述数据处理的方法p300。
89.系统100在对视频数据进行数据压缩时,所述编码频谱调节和所述编码的顺序是可以互换的,也可以是交叉进行的。所述边界调节可以是在所述编码频谱调节前也可以是在所述编码频谱调节后。同样,系统100在对压缩帧进行数据解压时,所述解码频谱调节和所述解码的顺序是可以互换的,也可以是交叉进行的。需要说明的是,为保证解压后的数据信息可以恢复初始数据中的信息,所述数据解压中所述解码频谱调节和所述解码的顺序与所述数据压缩中的所述编码频谱调节和所述编码的顺序应该是相对应的,即所述解码频谱调节和所述解码可以同所述编码频谱调节和所述编码呈对称反向操作。比如,如果所述压缩帧是先进行所述编码频谱调节再进行所述编码得到的,则所述压缩帧在数据解压时应先进行所述解码再进行所述解码频谱调节。为了方便描述我们将数据压缩处理前的所述初始帧中的数据定义为p0,将编码频谱调节所对应的编码频谱调节函数定义为h1(f),将经数据解压设备300解压得到的解压帧中的数据定义为p4,将解码频谱调节所对应的解码频谱调节函数定义为h2(f)。
90.数据处理方法p200中,数据压缩设备200在对所述初始帧进行数据压缩时,可以是先对所述初始帧进行所述边界调节,再进行所述编码频谱调节;也可以是先对所述初始帧进行所述编码频谱调节,再进行所述边界调节。图3a至图3d示出了根据本说明书的实施例提供的一些数据压缩和数据解压的流程图。其中,图3a至图3c所示出的数据压缩和数据解压的流程图中,数据压缩设备200是先对所述初始帧进行所述边界调节,再进行所述编码频谱调节。图3d所示出的数据压缩和数据解压的流程图中,数据压缩设备200是先对所述初始帧进行所述编码频谱调节,再进行所述边界调节。
91.图3a示出了根据本说明书的实施例提供的一种数据压缩和数据解压的流程图。如图3a所示,数据压缩设备200对初始数据进行数据压缩可以是:数据压缩设备200先对所述初始帧p0的边界进行所述边界调节,获取第一增强帧。为了方便描述我们将所述第一增强
帧中的数据定义为p
′0;再对所述第一增强帧p
′0进行所述编码频谱调节和编码。其中,对所述第一增强帧p
′0进行所述编码频谱调节和所述编码可以是:数据压缩设备200使用所述编码频谱调节函数h1(f)对所述第一增强帧p
′0先进行所述编码频谱调节,再对编码频谱调节后的第一增强帧p
′0行所述编码,即对编码频谱调节后的第一增强帧p
′0进行预测和求残差,得到预测数据pi和残差数据r,将所述预测数据pi和所述残差数据r输入码流生成模块进行合成,得到所述压缩帧。为了方便展示,我们将经过所述编码频谱调节函数h1(f)进行所述编码频谱调节后得到的数据定义为p1。关于所述边界调节和所述编码频谱调节的内容将在后面的描述中详细介绍。图3a所示的数据压缩方法可以提高编码效率,使所述压缩帧中的数据量进一步减小,提高压缩比,同时可以减少数据丢失,避免细节损失。
92.如图3a所示,数据解压设备300对所述压缩帧进行数据解压可以是:数据解压设备300对所述压缩帧先进行所述解码,即基于码流解析模块对所述压缩帧进行解析,生成所述预测数据pi和所述残差数据r;再根据所述预测数据pi进行预测得到预测帧,并和所述残差数据r叠加,得到解码帧。为了方便描述,我们将所述解码帧中的数据定义为p2。然后对解码帧p2使用所述解码频谱调节函数h2(f)进行所述解码频谱调节和所述边界校正,并将所述解码帧和经过所述边界校正后的数据进行叠加得到所述解压帧p4进行输出。关于所述解码频谱调节和所述边界校正的具体内容将在后面的描述中详细介绍。
93.为了方便展示,我们将解压帧p4与初始数据p0之间的传递函数定义为整体频谱调节函数h0(f)。图3a所示的方式可以减少所述压缩帧中的数据量,从而提高所述初始数据的压缩比和编码效率,提升所述初始数据的传输效率,同时可以减少数据丢失,避免细节损失。
94.数据压缩设备200对初始数据进行数据压缩也可以是:将所述编码频谱调节融入到所述编码过程中。所述编码频谱调节可以在所述编码过程中的任意阶段进行。相应地,所述解码频谱调节也可以在所述解码过程的对应阶段进行。
95.图3b示出了根据本说明书的实施例提供的一种数据压缩和数据解压的流程图。如图3b所示,数据压缩设备200对初始数据进行数据压缩可以是:数据压缩设备200先对所述初始帧p0的边界进行所述边界调节,获取第一增强帧p
′0;再对所述第一增强帧p
′0进行所述编码频谱调节和所述编码。其中,对所述第一增强帧p
′0进行所述编码频谱调节和所述编码可以是:数据压缩设备200对所述第一增强帧p
′0进行预测,得到预测帧和预测数据pi,再对所述预测帧和所述第一增强帧p
′0分别使用所述编码频谱调节函数h1(f)进行所述编码频谱调节后求残差,得到残差数据r,将所述预测数据pi和所述残差数据r输入码流生成模块进行合成,生成所述压缩帧。图3b所示的数据压缩的具体的操作与图3a所示的方式相同,只是操作顺序不同。关于所述边界调节和所述编码频谱调节的内容将在后面的描述中详细介绍。
96.如图3b所示,数据解压设备300对所述压缩帧进行数据解压可以是:数据解压设备300基于码流解析模块对所述压缩帧进行解析,生成所述预测数据pi和所述残差数据r1;对所述残差数据r1使用所述解码频谱调节函数h2(f)进行所述解码频谱调节,对所述残差数据r1和经过所述解码频谱调节的数据求差,得到所述残差数据r1的边界,将所述残差数据r1与求差后的数据(所述残差数据r1的边界)叠加,得到所述残差数据r;然后根据预测数据pi进行预测得到预测帧,并与所述残差数据r进行叠加得到叠加帧;然后对所述叠加帧中的边界
进行所述边界校正,并将经过所述边界校正后的数据作为所述解压帧p4进行输出。为了方便描述,我们将所述叠加帧中的数据定义为p3。具体地,对所述叠加帧p3中的边界进行所述边界校正的具体过程将在后面的内容中具体描述。
97.图3b所示的方式可以减少所述压缩帧中的数据量,从而提高所述初始数据的压缩比和编码效率,提升所述初始数据的传输效率,同时可以减少数据丢失,避免细节损失。
98.图3c示出了根据本说明书的实施例提供的一种数据压缩和数据解压的流程图。如图3c所示,数据压缩设备200对初始数据进行数据压缩可以是:数据压缩设备200先对所述初始帧p0的边界进行所述边界调节,获取第一增强帧p
′0;再对所述第一增强帧p
′0进行所述编码频谱调节和所述编码。其中,对所述第一增强帧p
′0进行所述编码频谱调节和所述编码可以是:数据压缩设备200先对所述第一增强帧p
′0进行所述编码,即预测和求残差,得到预测数据pi和残差数据r,再对所述残差数据r使用所述编码频谱调节函数h1(f)进行所述编码频谱调节;将经过所述编码频谱调节后的残差数据r1和预测数据pi输入码流生成模块进行合成,生成所述压缩帧。图3c所示的数据压缩方式具体的操作与图3a所示的方式相同,只是操作顺序不同。关于所述边界调节和所述编码频谱调节的内容将在后面的描述中详细介绍。
99.如图3c所示,数据解压设备300对所述压缩帧进行数据解压可以是:数据解压设备300基于码流解析模块对所述压缩帧进行解析,生成所述预测数据pi和所述残差数据r1;对所述残差数据r1使用所述解码频谱调节函数h2(f)进行所述解码频谱调节,并对所述残差数据r1和经过所述解码频谱调节的数据求差,得到所述残差数据r1的边界,将所述残差数据r1与求差后的数据(所述残差数据r1的边界)叠加,得到所述残差数据r;然后根据预测数据pi进行预测得到预测帧,并与所述残差数据r进行叠加得到叠加帧p3;然后对所述叠加帧中的边界进行所述边界校正,并将经过所述边界校正后的数据作为所述解压帧p4进行输出。具体地,对所述叠加帧p3中的边界进行所述边界校正的具体过程将在后面的内容中具体描述。
100.图3c所示的方式可以减少所述压缩帧中的数据量,从而提高所述初始数据的压缩比和编码效率,提升所述初始数据的传输效率,同时可以减少数据丢失,避免细节损失。
101.图3d示出了根据本说明书的实施例提供的一种数据压缩和数据解压的流程图。如图3d所示,数据压缩设备200对初始数据进行数据压缩可以是:数据压缩设备200先使用所述编码频谱调节函数h1(f)对所述初始帧p0进行所述编码频谱调节,再进行所述边界调节,得到数据p
′1;然后再对数据p
′1进行所述编码,即对数据p
′1进行预测和求残差,得到预测数据pi和残差数据r,将所述预测数据pi和所述残差数据r输入码流生成模块进行合成,得到所述压缩帧。关于所述边界调节和所述编码频谱调节的内容将在后面的描述中详细介绍。图3d所示的数据压缩方法可以提高编码效率,使所述压缩帧中的数据量进一步减小,提高压缩比,同时可以减少数据丢失,避免细节损失。
102.如图3d所示,数据解压设备300对所述压缩帧进行数据解压可以是:数据解压设备300对所述压缩帧先进行所述解码,即基于码流解析模块对所述压缩帧进行解析,生成所述预测数据pi和所述残差数据r;再根据所述预测数据pi进行预测得到预测帧,并和所述残差数据r叠加,得到解码帧。为了方便描述,我们将所述解码帧中的数据定义为p2。然后对解码帧p2使用所述解码频谱调节函数h2(f)进行所述解码频谱调节和所述边界校正,并将所述解
码帧和经过所述边界校正后的数据进行叠加得到所述解压帧p4进行输出。关于所述解码频谱调节和所述边界校正的具体内容将在后面的描述中详细介绍。
103.图3d所示的方式可以减少所述压缩帧中的数据量,从而提高所述初始数据的压缩比和编码效率,提升所述初始数据的传输效率,同时可以减少数据丢失,避免细节损失。所述数据压缩和数据解压的具体过程将在后面的内容中具体描述。
104.图4a至图4d示出了根据本说明书实施例提供的一些对数据进行压缩的数据处理的方法p200的流程图。如前所述,数据压缩设备200可以执行数据处理方法p200。具体地,数据压缩设备200中存储介质可以存储至少一组指令集。所述指令集被配置为可以指示数据压缩设备200中的压缩处理器220完成数据处理方法p200。当所述数据压缩设备200运行的时候,压缩处理器220可以读取所述指令集并执行数据处理方法p200。
105.所述数据处理的方法p200可以是图4a所示的数据处理方法pa200,也可以是图4b所示的数据处理方法pb200,还可以是图4c所示的数据处理方法pc200,还可以是图4d所示的数据处理方法pd200。其中,图4a所示的数据处理的方法pa200与图3a所示的流程图相对应。图4b所示的数据处理的方法pb200与图3b所示的流程图相对应。图4c所示的数据处理的方法pc200与图3c所示的流程图相对应。图4d所示的数据处理的方法pd200与图3d所示的流程图相对应。
106.如图4a所示,所述方法pa200可以包括:
107.sa220:选择初始数据中的初始帧。
108.帧是组成数据序列的一个处理单位。在数据处理时,常常以帧为单位进行计算。所述初始数据可以包括一个或多个初始帧。所述初始帧包括预设字节数的初始数据。如前所述,在本说明书中以视频数据为例进行描述,因此,所述初始数据可以是初始视频数据,所述初始帧可以是初始视频数据中的帧图像。在步骤sa220中,数据压缩设备200可以从所述初始数据中选择一部分帧图像作为所述初始帧,也可以选择所述初始数据中的全部帧图像作为所述初始帧。数据压缩设备200可以根据所述初始数据应用场景选择所述初始帧。若所述初始数据应用在对精度和压缩质量要求不高的场景可以选择部分帧图像作为所述初始帧,比如,僻静处的监控图像在多数情况下画面中没有外来物,因此所述僻静处的监控图像多数帧图像是相同的,数据压缩设备200可以从中选择部分帧图像作为所述初始帧进行压缩和传输。又比如,对于高清的电视播放视频,为了保证观影效果,数据压缩设备200可以选择全部帧图像作为所述初始帧进行压缩和传输。
109.sa240:对所述初始帧进行所述数据压缩,得到压缩帧。
110.所述数据压缩可以包括对所述初始帧进行所述边界调节以及对在压帧进行所述编码频谱调节。所述对所述初始帧进行所述边界调节可以是通过第一伽马算法对所述初始帧的边界中边界值在第一预设范围内的边界进行调节。
111.所述对所述在压帧进行所述编码频谱调节可以是将所述在压帧输入编码频谱调节器进行编码频谱调节。所述编码频谱调节是指对所述在压帧的频谱图的幅值进行调节。比如,所述编码频谱调节可以由一个衰减器完成。所述衰减器可以对所述在压帧在频域上进行幅值衰减,从而降低所述在压帧中的数据信息量。
112.所述衰减器可以被配置为降低所述在压帧在其频域内的选定区域的幅值,比如中频区域的幅值,高频区域的幅值,又比如低频至中频区域的幅值,又比如,中频至高频区域
的幅值,等等。对于不同形式的数据,接收者对于频率的敏感程度不同,因此所述数据压缩操作可以根据不同形式的数据在频域上选定不同的区域进行幅值衰减。如前所述,以视频数据为例,由于图片中物体的边缘部分中频和高频信息丰富,而中频和高频区域会携带更多的数据,因此降低中频至高频区域的幅值从视觉上会使所述在压帧的边界数据模糊化,同时也会使图像中的信息量大大减小。需要说明的是,降低低频区域的幅值,也会减小图像中的信息量。本领域的普通技术人员可以理解的是,比起没经过编码频谱调节处理的情况,经过编码频谱调节处理的中间状态帧中的低频至高频区域的频率分量减小了,数据信息量也减小了,因此经过编码频谱调节处理的中间状态帧在编码中会有更高的压缩比。不同类型的数据对于低频、中频和高频区域的定义可以不同。在一些实施例中,所述高频可以包括归一化的频域中(0.33,0.5]之间的频率。比如,所述高频可以包括所述归一化的频域中0.33、0.34、0.35、0.36、0.37、0.38、0.39、0.4、0.41、0.42、0.43、0.44、0.45、0.46、0.47、0.48、0.49、0.5中任何两个频率之间的区间,其中0.5为所述归一化的最大频率。
113.以视频数据压缩为例,数据处理方法p200可以采用编码频谱调节和编码相结合的方法对所述初始帧进行压缩,使中频区域的幅值平稳地降低,以减少数据信息量,进一步提高视频数据的压缩比,提升视频传输的效率。所述在压帧可以包括所述初始帧和所述初始帧在所述数据压缩过程中称为所述压缩帧之前的任一数据状态,比如所述初始帧在进行所述编码频谱调节和编码的过程中的任一种数据状态,例如,初始帧、预测帧、残差帧,等等。在图3a和图4a中,所述在压帧可以是所述初始帧。
114.步骤sa240可以是先对所述初始帧进行所述边界调节,再进行所述编码频谱调节。具体地,步骤sa240可以包括:
115.sa242:对所述初始帧p0进行所述边界调节,获取第一增强帧p0′

116.对于一个图像数据或者视频数据,在经过所述编码频谱调节之后,图像或者视频可能变得模糊,所述图像或者视频数据中的数据信息量变小,使得相邻像素之间的差值变小。在对所述图像数据或视频数据使用标准h.264/h.265进行编码时,可能会在一定程度上造成某些图像和视频的细节损失。也就是说,那些相邻像素之间的差值较小的边界,经过所述编码处理后,他们之间的差值可能变得更小甚至消失,从而导致图像数据或视频数据中的细节损失。因此,为了避免相邻像素点之间差值较小的边界在编码和解码过程中丢失,需要对那些相邻像素点之间差值较小的边界进行所述边界调节以进行边界增强,使得经过编码和解码后,细节部分仍然可以保留。对于那些相邻像素之间的差值较大的边界,即便经过所述编码频谱调节处理,所保留的边界仍然足够大。经过编码和解码处理后也不会消失。因此,对于那些相邻像素之间的差值较大的边界可以不进行边界调节。
117.图5a示出了根据本说明书的实施例提供的一种获取第一增强帧的流程图。如图4a和图5a所示,步骤sa242可以包括:
118.sa242-2:通过第一调节函数h
l1
(f)对所述初始帧p0进行调节,得到第一帧。
119.为了方便描述,我们将所述第一帧中的数据定义为p
l1
。第一调节函数h
l1
(f)在频域内可以是一个低通率波器,使所述初始帧p0的幅值在频域内平滑地降低,以使所述初始帧p0在频域内的低频区域的分量被保留而中频至高频区域的分量被衰减,从而得到第一帧p
l1
。第一帧p
l1
是一个模糊的图像。第一调节函数h
l1
(f)可以是任意形式的平滑过渡的低通滤波器,本说明书对此不做限定。
120.sa242-4:对所述初始帧p0和所述第一帧p
l1
求差,获取第一边界。
121.为了方便描述,我们将所述第一边界中的数据定义为p
e1
。所述第一边界p
e1
包括所述初始帧p0中的边界信息。所述第一边界p
e1
可以表示为以下公式:
122.p
e1
=p
0-p
l1
=p
0-p0*h
l1
(f)公式(1)
123.每一帧数据频谱中的中频至高频分量主要集中在这一帧数据中数据变化剧烈的区域,也就是数据的边界数据。比如,对于一帧图像来说,所述中频至高频数据主要集中在所述图像中物体的边界,也就是这一帧图像的边界数据。所述第一调节函数h
l1
(f)使所述初始帧p0在频域内的幅值平滑地降低以衰减中频至高频区域的分量。因此,第一帧p
l1
可以理解成去除了初始帧p0中的边界信息的数据。接下来,对所述初始帧p0和所述第一帧p
l1
求差,可以得到初始帧p0的边界,即第一边界p
e1

124.在一些实施例中,步骤sa242还可以包括:
125.sa242-6:通过第一系数a对所述第一边界p
e1
进行增强。
126.其中,所述第一系数a为大于1的任意数。在一些实施例中,所述第一边界p
e1
可以是对所述初始帧p0和所述第一帧p
l1
求差得到的数据。在另一些实施例中,所述第一边界p
e1
可以是通过所述第一系数a增强后的边界。此时,所述第一边界p
e1
还可以表示为以下公式:
127.p
e1
=a*(p
0-p
l1
)=a*(p
0-p0*h
l1
(f))公式(2)
128.如前所述,在对所述初始帧的边界进行所述边界调节以进行调节时,只对相邻像素间的差值较小的边界进行所述边界调节。为了避免所述边界调节对其他不需要进行调节的边界造成影响,数据压缩设备200可以先对所述第一边界p
e1
通过大于1的第一系数a进行信号放大。
129.sa242-8:通过所述第一伽马算法,对所述第一边界中p
e1
边界值处于所述第一预设范围内的边界进行调节,得到增强边界。
130.为了方便描述,我们将所述增强边界中的数据定义为pe。如前所述,在对所述初始帧的边界进行所述边界调节时,只对相邻像素间的差值较小的边界进行所述边界调节。所述第一预设范围可以是需要进行所述边界调节的边界值。所述边界值可以是第一边界中p
e1
中每个像素对应的值。具体地,所述第一预设范围可以是[-r1,r1]之间的范围。r1可以是边界阈值。比如,r1可以是30,40,50,等等。在一些实施例中,r1可以是5~30之间的任意数。
[0131]
图5b示出了根据本说明书的实施例提供的一种进行所述边界调节的流程图。如图5b所示,步骤sa242-8可以是:数据压缩设备200通过第二调节函数h
l2
(f)对所述第一边界p
e1
进行调节,得到第二边界p
e2
;通过所述第一伽马算法,对所述第二边界p
e2
中的边界值处于所述第一预设范围[-r1,r1]内的边界进行调节,得到所述增强边界pe。
[0132]
所述初始帧的边界(第一边界p
e1
)中不需要进行所述边界增强的边界中包含的中频至高频区域的分量较多。因此,为了避免所述边界增强对其他不需要进行调节的边界造成影响,数据压缩设备200可以先对所述第一边界p
e1
进行过滤,以过滤中频至高频区域的分量。第二调节函数h
l2
(f)可以是一个直流分量dc等于1的低通滤波器,以使所述第一边界p
e1
在频域内的低频区域的分量被保留而中频至高频区域的分量被过滤。
[0133]
图6示出了根据本说明实施例提供的一种第二调节函数h
l2
(f)的示意图。横轴为归一化频率f,纵轴为第二调节函数h
l2
(f)的幅值调节增益h
l2
。所述横轴的归一化频率f可以分成低频区域,中低频区域,中频区域,中高频区域和高频区域。如图6所示,横轴的归一化
频率最大值为0.5。如前面所述,所述高频区域可以包括归一化的频域中(d,0.5]之间的频率。其中d为所述高频区域的频率下限。比如,d可以为所述归一化的频域中0.35、0.36、0.37、0.38、0.39、0.4、0.41、0.42、0.43、0.44、和0.45中的任意一个频率。所述中频区域可以包括(b,c]之间的频率,其中b为所述中频区域的频率下限,c为所述中频区域的频率上限。比如,所述中频区域的频率下限b可以是所述归一化的频域中的0.15、0.16、0.17、0.18、0.19、0.2、0.21、0.22、0.23、0.24、0.25、0.26、0.27和0.28之中的任意一个频率;所述中频区域的频率上限c可以是所述归一化的频域中0.35、0.34、0.33、0.32和0.31中的任意一个频率。所述低频区域可以包括归一化的频域中[0,a]之间的频率。其中a为所述低频区域的频率上限。所述低频区域的频率上限a可以是所述归一化的频域中0.01、0.02、0.03、0.04、0.05、0.06、0.07、0.08、0.09、0.10、0.12、0.13、0.14和0.15中的任意一个频率。当所述低频区域同所述中频区域不相连时,二者的之间频率区域被称为中低频区域。当所述中频区域同所述高频区域不相连时,二者之间的频率区域被称为中高频率区域。
[0134]
第二调节函数h
l2
(f)可以对中频至高频区域的分量进行过滤。第二调节函数h
l2
(f)中的阻带区间可以在频率0.25~0.50之间的任意区间。比如,第二调节函数h
l2
(f)中的阻带区间可以在0.25、0.27、0.29、0.31、0.33、0.35、0.37、0.39、0.41、0.43、0.45和0.50等数值中任意两个所规定的区间内。第二调节函数h
l2
(f)中的通带区间可以在频率0~0.35之间的任意区间。比如,第二调节函数h
l2
(f)中的通带区间可以在0、0.02、0.04、0.06、0.08、0.10、0.12、0.14、0.15、0.17、0.19、0.21、0.23、0.25、0.27、0.29、0.21、0.23和0.35等数值中任意两个所规定的区间内。
[0135]
图7示出了根据本说明书的实施例提供的一种伽马算法的曲线示意图。所述伽马算法是一个非线性图像和视频的亮度调整方法,其归一化的函数曲线如图7所示。所述伽马算法为对图像的像素值进行动态调整的算法。如图7所示,横轴为经伽马算法调整前的值,纵轴为经伽马算法调整后的值。其中,曲线7代表伽马值γ>1的曲线。曲线8代表伽马值γ=1的曲线。曲线9代表γ<1的曲线。当γ>1时,图像经伽马算法校正后,整体灰度值的绝对值变小。当γ<1时,图像经伽马算法校正后,整体灰度值的绝对值变大。图7所示的伽马算法为扩展伽马算法。即以原点(0,0)为对称点,将伽马算法进行中心对称扩展到第三象限。
[0136]
在步骤sa242-8中,数据压缩设备200可以通过所述第一伽马算法对所述初始帧的边界进行边界校正。数据压缩设备200可以对第二边界p
e2
中的像素逐个进行边界调节。具体地,数据压缩设备200可以将第二边界p
e2
中的每个像素对应的边界值与边界阈值r1进行对比;当边界值处于[-r1,r1]之内时,则使用所述第一伽马算法对所述边界值进行调节;当边界值处于[-r1,r1]之外时,则不进行调节。
[0137]
在一些实施例中,数据压缩设备200可以使用所述第一伽马算法对所述第二边界p
e2
进行边界调节以进行边界增强。此时,所述第一伽马算法可以是伽马值γ<1的伽马算法。数据压缩设备200可以对第二边界p
e2
中的像素逐个进行边界增强。具体地,数据压缩设备200可以将第二边界p
e2
中的每个像素对应的边界值与边界阈值r1进行对比;当边界值处于[-r1,r1]之内时,则使用所述第一伽马算法对所述边界值进行增强,使所述边界值的绝对值变大;当边界值处于[-r1,r1]之外时,则不进行增强。数据压缩设备200可以使用查表的方法进行所述边界调节。数据压缩设备200中可以存储有表1。表1中存储有所述第一伽马
算法中的输入边界值与输出边界值的对应关系,即调节前的边界值与调节后的边界值的对应关系。以r1=5为例,表1可以表示为:
[0138][0139]
在一些实施例中,数据压缩设备200还可以通过所述第一伽马算法对所述第二边界p
e2
进行边界调节以进行边界减弱,以进行降噪。此时,所述第一伽马算法可以是伽马值γ>1的伽马算法。具体地,数据压缩设备200可以使用伽马值γ>1的伽马算法对所述第二边界p
e2
中在所述第一预设范围[-r1,r1]内的边界进行减弱,以降低边界值的绝对值,从而消除所述第二边界p
e2
中的噪声,增加初始数据的清晰度。图像中的噪声多存在于边界中的边界值较小的地方。对所述第一预设范围[-r1,r1]内的边界进行减弱,可以有效消除噪声。
[0140]
在一些实施例中,数据压缩设备200可以通过所述第一伽马算法对所述第二边界p
e2
进行边界调节以同时对所述第二边界p
e2
进行所述边界增强和所述边界减弱,以获取一个增强并且降噪后的图像,可以用于图像压缩前的预处理,从而获得更好的图像质量。此时,所述第一伽马算法可以是在[-r1,-r2]和[r2,r1]内伽马值γ<1,在[-r2,r2]内伽马值γ>1的伽马算法。其中,r2<r1。数据压缩设备200可以对第二边界p
e2
中的像素逐个进行边界调节。具体地,数据压缩设备200可以将第二边界p
e2
中的每个像素对应的边界值与边界阈值r1和r2进行对比;当边界值处于[-r1,-r2]或[r2,r1]之内时,则使用伽马值γ<1的伽马算法对所述边界值进行增强,使所述边界值的绝对值变大;当边界值处于[-r2,r2]之内时,则使用伽马值γ>1的伽马算法对所述边界值进行减弱,以降低边界值的绝对值,从而消除所述第二边界p
e2
中的噪声;当边界值处于[-r1,r1]之外时,则不进行调节。数据压缩设备200可以通过表2对所述第二边界p
e2
进行所述边界增强和所述边界减弱。以r1=5,r2=1为例,表2可以表示为:
[0141][0142]
如表2所示,当边界值在[-1,1]之内时伽马值γ>1进行所述边界减弱,以进行降噪。当边界值在[-5,-1]和[1,5]之内时伽马值γ<1进行所述边界增强。
[0143]
图5c示出了根据本说明书的实施例提供的另一种进行边界调节的流程图。如图5c所示,步骤sa242-8还可以是:数据压缩设备200通过所述第一伽马算法,直接对所述第一边界p
e1
中的边界值处于所述第一预设范围[-r3,r3]内的边界进行调节,得到所述增强边界pe。其中r3可以与r1不同,也可以与r1相同。
[0144]
步骤sa242还可以包括:
[0145]
sa242-9:将所述第一帧p
l1
与所述增强边界pe进行叠加,得到所述第一增强帧p
′0。
[0146]
步骤sa240还可以包括:
[0147]
sa244:对所述第一增强帧p
′0进行所述编码频谱调节和所述编码。
[0148]
在步骤sa244中,数据压缩设备200可以先对所述第一增强帧p
′0进行所述编码频谱调节,使所述第一增强帧p
′0在频域内的幅值平稳地降低,从而使所述第一增强帧p
′0的边界信息模糊,得到编码频谱调节帧,以减少所述第一增强帧p
′0中的信息量,从而降低所述第一增强帧p
′0压缩后占用的空间资源。然后对所述编码频谱调节帧进行编码,即预测和求残差,对所述编码频谱调节帧进行预测得到所述编码频谱调节帧的预测帧和所述预测数据pi;再将所述编码频谱调节帧的预测帧与所述编码频谱调节帧的初始帧相减得到所述编码频谱调节帧的残差数据r,将残差数据r和所述预测数据pi输入码流生成模块进行合成,得到所述压缩帧。数据处理方法p200可以提高所述编码频谱调节帧的编码效率,使所述压缩帧中的数据量进一步减小,提高编码效率,提高压缩比。由于所述编码频谱调节的对象是所述第一增强帧p
′0,因此所述在压帧便是所述第一增强帧p
′0。以视频数据为例,步骤sa244可以包括:
[0149]
sa244-2:确定所述初始帧的帧类型。
[0150]
如前所述,在使用h.264或h.265的标准对视频数据进行编码时,常常根据帧图像将帧压缩成不同的帧类型。因此,数据压缩设备200在对所述在压帧(第一增强帧p
′0)进行所述编码频谱调节前,需要先确定所述初始帧的帧类型,对于不同的帧类型选择的编码卷积核也不同。
[0151]
对于视频帧序列而言,具体的帧类型可以包括帧内预测帧(intra picture,简称i帧),前向预测帧(predictive frame,简称p帧),以及双向预测帧(bi-directional predictive frame,简称b帧)。对于只有一个帧的帧序列,通常按照帧内预测帧(i帧)来处理。i帧是一个全帧内压缩的编码帧。解码时仅用i帧的数据不需要参考其他画面就可重构完整的数据,能够作为后续的若干帧的参考帧。p帧是通过充分降低与图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码帧。p帧由在它前面的p帧或者i帧预测而来,它根据本帧与邻近的前一帧或几帧的不同点来压缩本帧。采取p帧和i帧联合压缩的方法可达到更高的压缩且无明显的压缩痕迹。它只参考前面靠近它的i帧或p帧。b帧根据邻近的前几帧、本帧以及后几帧的不同点来压缩本帧,也即仅记录本帧与前后帧的差值。一般地,i帧压缩效率最低,p帧较高,b帧最高。在视频数据的编码过程中,部分视频帧会被压缩成为i帧,部分会被压缩成p帧,还有部分会被压缩成b帧。所述初始帧的帧类型包括i帧、p帧以及b帧中的至少一种或者多种。
[0152]
sa244-4:基于所述初始帧的帧类型,从编码卷积核组中选择一个卷积核作为所述编码卷积核,对所述在压帧做卷积,得到编码频谱调节帧。
[0153]
具体地,步骤sa244-4可以是对所述在压帧(第一增强帧p
′0)进行所述编码频谱调节,得到所述编码频谱调节帧。其中,所述编码频谱调节包括使用编码卷积核对所述在压帧做卷积,以便在频域内平稳地降低所述在压帧在中频区域的幅值。
[0154]
对所述在压帧进行频谱调节可以表达为在所述在压帧在频域乘以传递函数h1(f)(即编码频谱调节函数)或者在时域做相应的卷积计算。如果所述在压帧为数字化的数据,则所述卷积运算可以是选取同所述编码频谱调节函数h1(f)相对应的编码卷积核进行卷积运算。为了方便描述,本说明书将以在时域进行卷积为例来描述所述频谱调节,但本领域技术人员应该明白通过在频域乘以编码频谱调节函数h1(f)进行频谱调节的方式也是本说明书要保护的范围。
[0155]
如前所述,对所述在压帧进行所述编码频谱调节可以表现为在时域对所述在压帧进行卷积。数据压缩设备200的存储介质中可以存储有多个编码频谱调节器,即所述编码频谱调节器组。每个编码频谱调节器包括一个编码卷积核组。也就是说,数据压缩设备200的存储介质中可以包括所述编码卷积核组,所述编码卷积核组中可以包括至少一个卷积核。数据压缩设备200对所述在压帧做卷积时,可以基于所述初始帧对应的在压帧的帧类型,从所述编码卷积核组中选择一个卷积核作为所述编码卷积核,对所述在压帧做卷积。当所述初始帧对应的在压帧为i帧或p帧时,数据压缩设备200对所述i帧或p帧进行卷积包括从所述编码卷积核组中选择一个卷积核作为所述编码卷积核,对所述i帧或p帧做卷积。所述卷积核组中任意一个卷积核都可以使所述i帧或p帧在频域内的幅值降低,在中频区域的幅值平稳地降低。数据压缩设备200也可以根据对所述初始帧的编码质量要求从所述编码卷积核组中选择一个压缩效果最好的卷积核作为所述编码卷积核。当所述初始帧对应的在压帧(在本实施例中即所述第一增强帧)为b帧时,所述在压帧的所述编码卷积核同与所述在压帧最近的参考帧对应的编码卷积核相同,或者所述在压帧的所述编码卷积核同相邻的两个方向的最接近的参考帧中衰减程度最大的参考帧对应的编码卷积核相同,或者所述在压帧的所述编码卷积核取相邻的两个方向上的最近的参考帧对应的编码卷积核的平均值。当b帧和两个相邻的参考帧距离相同的时候,所述在压帧的所述编码卷积核可以取相邻的两个方向上的任一个参考帧对应的编码卷积核,例如当前b帧选择前向相邻的参考帧所对应的卷积核。这样可以使所述在压帧的幅值的降低效果更好,编码频谱调节的效果更好,使得视频数据的压缩比更高。
[0156]
图8a示出了根据本说明书的实施例提供的一种编码频谱调节函数h1(f)的曲线图。如图8a所示,横轴为归一化频率f,纵轴为编码频谱调节函数h1(f)的幅值调节增益h1。图8a中的曲线1和曲线2表示不同的编码卷积核对应的不同的编码频谱调节函数h1(f)。以视频数据为例,由于人眼对于低频到中频的数据比对高频的数据更敏感,在对视频数据进行所述编码频谱调节时,要尽可能地保留初始帧中包含的低频到中频信息不丢失,保持中频和低频区域的幅值增益相对平稳,使低频到中频区域的信息尽可能相对稳定和完整,以便在解压时可以更好地恢复低频到中频区域的信息。因此,所述编码频谱调节所使用的编码频谱调节函数h1(f)对所述在压帧在频域内的低频至中频区域的任意频率f上的幅值调节增益h1都可以大于零,在经过所述编码频谱调节函数h1(f)处理后的低频至中频区域的所有频率的幅值也大于零,在低频至中频区域不会有任何频率的数据丢失。因此,在对压缩后的数据进行解压时便可以对低频至中频区域的所有频率范围内的数据进行恢复。否则,若所述编码频谱调节函数h1(f)中低频至中频区域存在零点,则零点对应的频率部分的数据可能丢失,在解压时解码端将无法恢复丢失的数据,因此无法恢复初始数据。如前所述,我们将所述第一增强帧p
′0经过所述编码频谱调节函数h1(f)处理后得到的数据定义为p1,因此,所述编码频谱调节帧的数据被定义为p1。由于p
′0只是对p0进行小范围内增强,在所述第一预设范围外的区域不进行增强,在所述第一预设范围外的区域p
′0与p0一致。因此,p0与p1之间的关系看可以表示为以下公式:
[0157]
p1=h1(f)
·
p
′0≈h1(f)
·
p0公式(3)
[0158]
由于人眼对于高频数据比较不敏感,因此,在对视频数据进行所述编码频谱调节时,可以对高频部分的幅值进行更大程度的衰减,更大程度地降低高频区域的幅值。这样,
可以减少所述第一增强帧中包含的数据信息,提高压缩比和编码效率。
[0159]
因此所述编码频谱调节所使用的所述编码频谱调节函数h1(f)可以在频域内平稳地降低所述在压帧的幅值。在一些实施例中,所述编码频谱调节所使用的所述编码频谱调节函数h1(f)可以平稳降低所述在压帧在其频域内的高频区域的幅值。所述幅值的平稳降低可以是所述幅值以所述高频区域的第一幅值调节增益值衰减,也可以是所述幅值在所述第一幅值调节增益值附近的一定误差范围内进行衰减。比如,所述第一幅值调节增益可以是0至1之间的任意数值。比如,所述第一幅值调节增益可以在0、0.04、0.08、0.12、0.16、0.20、0.24、0.28、0.32、0.36、0.40、0.44、0.48、0.52、0.56、0.60、0.64、0.68、0.72、0.76、0.80、0.84、0.88、0.92、0.96和1等数值中任意两个所规定的区间内。所述误差范围可以在0、
±
1%、
±
2%、
±
3%、
±
4%、
±
5%、
±
6%、
±
7%、
±
8%、
±
9%、
±
10%、
±
11%、
±
12%、
±
13%、
±
14%、
±
15%、
±
16%、
±
17%、
±
18%、
±
19%、
±
20%、
±
21%、
±
22%、
±
23%、
±
24%、
±
25%、
±
26%、
±
27%、
±
28%、
±
29%、
±
30%等数值中任意两个所规定的区间内。如图8a所示,所述编码频谱调节在高频区域(大概是0.4~0.5的区间)的第一幅值调节增益在0.2左右。
[0160]
在一些实施例中,所述编码频谱调节所使用的所述编码频谱调节函数h1(f)可以在频域内平稳地降低所述在压帧的中频区域的幅值。其中,所述编码频谱调节对所述在压帧的所述中频区域的幅值调节增益为第二幅值调节增益。在一些实施例中,所述第二幅值调节增益的值可以大于所述第一幅值调节增益,如图8a所示。当所述编码频谱调节为频率衰减的时候(也就是说所述编码频谱调节器为所述频率衰减器时),第一幅值调节增益和第二幅值调节增益均小于1。也就是说,所述编码频谱调节对所述在压帧的所述中频区域的幅值降低幅度可以低于所述高频区域的幅值降低幅度。
[0161]
此外,所述编码频谱调节函数h1(f)还可以在频域内平稳地降低所述在压帧的低频区域的幅值。其中,所述编码频谱调节对所述在压帧的所述低频区域的幅值调节增益为第三幅值调节增益。当所述编码频谱调节为频率衰减的时候(也就是说所述编码频谱调节器为所述频率衰减器时),第三幅值调节增益和第二幅值调节增益均小于1。所述第三幅值调节增益的值可以大于或等于所述第二幅值调节增益。也就是说,所述编码频谱调节对所述在压帧的所述低频区域的幅值降低幅度可以低于或等于所述中频区域的幅值降低幅度。
[0162]
进一步地,为了节省实现过程中需要的计算量和避免振铃效应的出现,所述编码频谱调节函数h1(f)应使所述第一增强帧p
′0在频域内的幅值平滑地过渡。如前所述,当对一幅图像进行频谱调节处理时,若选用的频谱调节函数存在数值上剧烈变化的区域,在实现过程中需要阶数更高的卷积核或卷积核组合。这就意味着增加不必要的运算量。同时,高阶卷积核更有可能会使输出图像在灰度或者颜色剧烈变化处产生较强烈的颜色震荡,称作振铃效应。振铃效应多出现在图像边界处。通过使所述编码频谱调节函数h1(f)在频域内对所述第一增强帧p
′0的幅值调节增益应平滑地过渡可以避免所述幅值调节增益的急剧变化。比如,当所述高频区域同所述中频区域不相连的时候,所述编码频谱调节函数h1(f)可以在频域对所述在压帧的中高频区域的幅值做出调节,使得所述幅值调节增益在中高频区域内的变化平滑而连续。当所述中频区域同所述低频区域不相连的时候,所述编码频谱调节函数h1(f)可以在频域对所述在压帧的中低频区域的幅值做出调节,使得所述幅值调节增益在中低频区域内的变化连续。
[0163]
所述编码频谱调节函数h1(f)还可以保持直流部分,即在频率为0的部分的幅值调节增益为1,以保证可以保留第一增强帧p
′0中的基础信息,在进行数据解压时可以得到平均值信息,以恢复原初始数据。因此,所述编码频谱调节所使用的所述编码频谱调节函数h1(f)对所述低频区域的幅值降低幅度低于所述中频区域的幅值降低幅度。但当直流部分(即频率为0的部分)的幅值增益不为1时,通过设计合适的解码频谱调节函数h2(f),也可以恢复初始数据。具体地关于h1(f)和h2(f)的具体关系将在后面的描述中详细介绍。
[0164]
如图8a所示的编码频谱调节函数h1(f)的曲线图中,(0,0.1]之间的频率属于低频;(0.1,0.15]之间的频率属于中低频;(0.15,0.33]之间的频率属于中频;(0.33,0.4]之间的频率属于中高频;(0.4,0.5]之间的频率属于高频。所述低频区域的第三幅值调节增益大于所述中频区域的第二幅值调节增益;所述中频区域的第二幅值调节增益大于所述高频区域的第一幅值调节增益。同时,所述中频区域的第二幅值调节增益相对平稳,曲线1在0.5左右,曲线2在0.6左右;所述高频区域的第一幅值调节增益h1也相对平稳,曲线1略低于0.2,曲线2略高于0.2。所述编码频谱调节函数h1(f)的曲线是平滑过渡的曲线。在工程实现上,在实现幅值降低的基础上可以允许所述编码频谱调节函数h1(f)的曲线存在小范围的波动,所述波动不影响压缩的效果。对于视频数据之外其他形式的数据来说,可以根据接收者对于数据的敏感程度,设置所述编码频谱调节函数h1(f)的参数。不同形式的数据,接收者对于频率的敏感程度不同。
[0165]
图8b示了根据本说明书的实施例提供的一种编码频谱调节函数h1(f)的曲线图。图8b中的曲线3和曲线4表示不同的编码卷积核对应的不同的编码频谱调节函数h1(f)。就视频数据而言,在一些特殊的应用场景中,适当的保留更多的高频分量是需要的,比如侦察场景。因此,在一些实施例中,编码频谱调节函数h1(f)曲线中可以使得第一幅值调节增益大于第二幅值调节增益(曲线3),或者等于第二幅值调节增益(曲线4)。
[0166]
就视频数据而言,在一些对图像质量要求不高的应用场景中,高频分量可以完全滤除,因此,所述编码频谱调节所使用的编码频谱调节函数h1(f)对所述在压帧在频域内的低频至中频区域上的任意频率的幅值调节增益h1都大于零,而对高频区域的幅值调节增益h1可以等于0(图8a和图8b中未示出)。
[0167]
需要说明的是,图8a和图8b所示的曲线,只是以视频数据为例进行说明,本领域的技术人员应该明白所述编码频谱调节函数h1(f)的曲线并不局限于图8a和图8b所示的形式,所有能够使所述第一增强帧在频域内的中频区域的幅值平稳地降低的编码频谱调节函数h1(f)以及编码频谱调节函数线性组合或者编码频谱调节函数乘积组合或者线性组合和乘积组合的组合都属于本说明书保护的范围。其中,i≥1,代表n个函数的线性组合,h
1i
(f)代表第i个函数,ki代表第i个函数对应的权重。j≥1,代表第i个函数对应的权重。j≥1,代表n个函数的乘积组合,kj代表第j个函数对应的权重,h
1j
(f)可以是任意函数。
[0168]
表3示出了根据本说明书的实施例提供的一种编码卷积核的参数表。表3示例性地列举出一个编码卷积核的参数,其中,表3中每一行代表一个编码卷积核。对于8比特视频图像来说,需要保证编码卷积后得到的所述编码频谱调节帧中像素点的灰度值在0~255以
内,因此,在本实施例中,需要将卷积后的结果除以256。所述编码卷积核是基于所述编码频谱调节函数h1(f)通过傅里叶变换得到的。表3中只是示例性的举例说明,本领域技术人员应该知道所述编码卷积核不止局限于表3所示的参数,所有能够使所述在压帧在频域内的中频区域的幅值平稳地降低的编码卷积核都属于本说明书保护的范围。
[0169][0170]
需要说明的是,为了避免振铃效应,所述编码频谱调节函数h1(f)是平滑过渡的曲线,避免曲线中的所述幅值调节增益急剧变化。如前所述,所述振铃效应是指在图像处理中,对一幅图像进行频谱调节处理时,若选用的频谱调节函数具有较快的变化,则会使图像产生“振铃”。所谓“振铃”就是指输出图像的灰度剧烈变化处产生的震荡,就好像钟被敲击后产生的空气震荡。振铃效应多出现在图像边界处。
[0171]
与所述编码频谱调节函数h1(f)对应的编码卷积核中负系数的和的绝对值与非负系数的和的比值应小于0.1。比如在一些实施例中,所述编码卷积核中的卷积核系数可以均为非负数。以视频数据为例,当所述编码卷积核中有较多负系数出现时,在图像边界处的像素值相差很大,一个大的像素值乘以一个负系数,会使得卷积的最终结果变小,反映在图像上则是像素较暗。如果卷积结果出现负数,并且负数的绝对值较大时,在使用无符号整数计算计算卷积结果时,可能造成无符号整数计算结果反转,取值为负数的无符号补码值,则会导致出卷积结果变大,反映在图像上则是像素较亮。因此,在设计所述编码卷积核时,可以使所述编码卷积核的系数可以均为非负数,或者使所述编码卷积核中的负系数的和的绝对值与非负系数的和的比值应小于0.1,即允许所述编码卷积核中出现少量绝对值较小的负系数。
[0172]
数据压缩设备200在使用所述编码卷积核对所述在压帧做卷积时,可以在垂直方向、水平方向和斜向中的至少一个方向上对所述在压帧(初始帧)做卷积。
[0173]
需要指出的是在进行所述在压帧做卷积时,其处理的数据处理单元可以是一帧数据,也可以是一帧数据的一部分。以视频数据为例,该单元可以是一帧或者一场图像,或者一帧/场图像的一部分,例如在视频编码中把图像进一步分割为条带(slice),片(tile),编码单元(coding unit,cu),宏块(macroblock),或者块(block)。卷积对象包括但不限于上述名词所描述的一部分图像分割单元。在不同的处理单元,可以选择相同的编码卷积核,也可以选择不同的编码卷积核。
[0174]
步骤sa244还可以包括:
[0175]
sa244-6:对所述编码频谱调节帧进行所述编码(预测和求残差),得到所述预测数据pi和所述残差数据r。
[0176]
sa244-8:将所述预测数据pi和所述残差数据r输入所述码流生成模块进行合成,得到所述压缩帧。
[0177]
在数据压缩设备200对所述第一增强帧进行所述编码频谱调节后,得到所述编码频谱调节帧,所述编码频谱调节帧中的低频到高频的频率分量小于所述第一增强帧中的低频到高频的频率分量。因此,数据压缩设备200通过对所述在压帧(第一增强帧)进行所述编码频谱调节后进行编码和码流生成计算,可以提高所述编码频谱调节帧的编码效率,从而
提高所述初始帧的压缩比,提升所述初始数据的传输效率;同时所述边界增强又可以避免细节丢失。
[0178]
图4b所示的数据处理的方法pb200与图3b所示的流程图相对应。如图4b所示的所述方法pb200可以包括:
[0179]
sb220:选择初始数据中的初始帧。与步骤sa220一致,在此不再赘述。
[0180]
sb240:对所述初始帧进行所述数据压缩,得到压缩帧。步骤sb240可以包括:
[0181]
sb242:对所述初始帧p0进行所述边界调节,获取第一增强帧p
′0。与步骤sa242一致,在此不再赘述。
[0182]
sb244:对所述第一增强帧p
′0进行所述编码频谱调节和所述编码。步骤sb244可以包括:
[0183]
sb244-2:确定所述初始帧的帧类型。与步骤sa244-2一致,在此不再赘述。
[0184]
sb244-4:对所述第一增强帧p
′0先进行预测得到预测帧和预测数据pi。
[0185]
sb244-6:基于所述初始帧的帧类型,从编码卷积核组中选择一个卷积核作为所述编码卷积核,对所述在压帧做卷积,得到编码频谱调节帧。其中,所述在压帧包括所述第一增强帧p
′0和所述预测帧。步骤sb244-6可以等效为使用所述编码频谱调节函数h1(f)对所述第一增强帧p
′0和所述预测帧进行所述编码频谱调节。所述编码频谱调节帧包括对所述第一增强帧p
′0进行所述编码频谱调节后的第一编码频谱调节帧和对所述预测帧进行所述编码频谱调节后的第二编码频谱调节帧。
[0186]
sb244-8:对所述第一编码频谱调节帧和所述第二编码频谱调节帧求残差,得到所述残差数据r。
[0187]
sb244-9:将所述预测数据pi和所述残差数据r输入所述码流生成模块进行合成,得到所述压缩帧。
[0188]
图4c所示的数据处理的方法pc200与图3c所示的流程图相对应。如图4c所示的所述方法pc200可以包括:
[0189]
sc220:选择初始数据中的初始帧。与步骤sa220一致,在此不再赘述。
[0190]
sc240:对所述初始帧进行所述数据压缩,得到压缩帧。步骤sc240可以包括:
[0191]
sc242:对所述初始帧p0进行所述边界调节,获取第一增强帧p
′0。与步骤sa242一致,在此不再赘述。
[0192]
sc244:对所述第一增强帧p
′0进行所述编码频谱调节和所述编码。步骤sc244可以包括:
[0193]
sc244-2:确定所述初始帧的帧类型。与步骤sa244-2一致,在此不再赘述。
[0194]
sc244-4:对所述第一增强帧p
′0先进行所述编码,即预测和求残差,得到预测数据pi和残差数据r1。
[0195]
sc244-6:基于所述初始帧的帧类型,从编码卷积核组中选择一个卷积核作为所述编码卷积核,对所述在压帧做卷积,得到所述残差数据r。其中,所述在压帧包括所述残差数据r1。步骤sc244-6可以等效为使用所述编码频谱调节函数h1(f)对所述残差数据r1进行所述编码频谱调节。
[0196]
sc244-8:将所述预测数据pi和所述残差数据r输入所述码流生成模块进行合成,得到所述压缩帧。
[0197]
图4d所示的数据处理的方法pd200与图3d所示的流程图相对应。如图4d所示的所述方法pd200可以包括:
[0198]
sd220:选择初始数据中的初始帧。与步骤sa220一致,在此不再赘述。
[0199]
sd240:对所述初始帧进行所述数据压缩,得到压缩帧。其中,步骤sd240可以是先对所述初始帧进行所述编码频谱调节,再进行所述边界调节。具体地,步骤sd240可以包括:
[0200]
sd242:对所述初始帧进行所述编码频谱调节,获取编码频谱调节帧。
[0201]
为了方便描述,我们将步骤sd242中的得到的所述编码频谱调节帧中的数据定义为p
01
。具体地,步骤sd242可以包括:
[0202]
sd242-2:确定所述初始帧的帧类型。与步骤sa244-2一致,在此不再赘述。
[0203]
sd242-4:基于所述初始帧的帧类型,从编码卷积核组中选择一个卷积核作为所述编码卷积核,对所述在压帧做卷积,得到所述编码频谱调节帧p
01
。其中,所述在压帧包括所述初始帧p0。步骤sd242-4可以等效为使用所述编码频谱调节函数h1(f)对所述初始帧p0进行所述编码频谱调节。
[0204]
sd244:对所述编码频谱调节帧p
01
进行所述边界调节,得到第二增强帧。
[0205]
为了方便描述,我们将步骤sd244中的得到的所述第二增强帧中的数据定义为p
′1。图9示出了根据本说明书的实施例提供的一种获取第二增强帧p
′1的流程图。如图9和图4d所示,步骤sd244可以包括:
[0206]
sd244-2:对所述初始帧p0和所述编码频谱调节帧p
01
求差,得到第一边界p
e1

[0207]
如前所述,所述编码频谱调节可以使所述初始帧p0在频域内的幅值平稳地降低,从而使所述初始帧p0的边界信息模糊,得到编码频谱调节帧p
01
,以减少所述初始帧p0中的信息量,从而降低所述初始帧p0压缩后占用的空间资源。因此,编码频谱调节帧p
01
可以理解成衰减了初始帧p0中的边界信息的数据。接下来,对所述初始帧p0和所述编码频谱调节帧p
01
求差,可以得到初始帧p0的边界衰减值,即第一边界p
e1
。所述第一边界p
e1
包括所述初始帧p0的边界信息。
[0208]
在一些实施例中,步骤sd244还可以包括:
[0209]
sd244-4:通过第一系数a对所述第一边界p
e1
进行增强。此步骤与步骤sa242-6基本一致,在此不再赘述。
[0210]
sd244-6:通过所述第一伽马算法,对所述第一边界p
e1
中边界值处于所述第一预设范围内[-r1,r1]的边界进行调节,得到所述增强边界pe。此步骤与步骤sa242-8基本一致,在此不再赘述。
[0211]
sd244-8:将所述增强边界pe与所述第一边界p
e1
求差,得到调节值。
[0212]
为了方便描述,我们将所述调节值中的数据定义为ed。调节值ed中包含有对第一边界p
e1
进行调节时的调节值。
[0213]
在一些实施例中,步骤sd244-6和步骤sd244-8可以合并。数据压缩设备200中可以存储有表4。表4中存储有所述第一边界p
e1
的输入边界值与调节值ed的对应关系。以r1=6例,表4可以表示为:
[0214][0215]
数据压缩设备200可以直接根据表4获取所述调节值ed。
[0216]
sd244-9:将所述编码频谱调节帧p
01
与所述调节值ed进行叠加,得到所述第二增强帧p
′1。
[0217]
如前所述,所述编码频谱调节可以使所述编码频谱调节帧p
01
的边界模糊。所述编码频谱调节帧p
01
中的相邻像素间的差值变小。为了避免细节丢失,将所述编码频谱调节帧p
01
和所述调节值ed进行叠加,使编码频谱调节帧p
01
中那些相邻像素间差值较小的边界得到增强,从而减少数据在编码过程中丢失,避免细节损失。
[0218]
步骤sd240还可以包括:
[0219]
sd246:对所述第二增强帧p
′1进行预测和求残差。
[0220]
对所述第二增强帧p
′1进行所述编码(预测和求残差),得到所述预测数据pi和所述残差数据r,并将所述预测数据pi和所述残差数据r输入所述码流生成模块进行合成,得到所述压缩帧。
[0221]
综上所述,数据处理的方法p200可以同时对所述初始帧进行所述边界调节和所述编码频谱调节,在提升所述初始帧的压缩比,提高编码效率和所述初始数据的传输效率的同时,又可以减少数据损失,避免细节丢失。
[0222]
图10示出了一种对压缩帧进行解压的数据处理的方法p300的流程图。如前所述,数据解压设备300可以执行数据处理方法p300。具体地,数据解压设备300中存储介质可以存储至少一组指令集。所述指令集被配置为可以指示数据解压设备300中的解压处理器完成数据处理方法p300。当所述数据解压设备300运行的时候,解压端处理器可以读取所述指令集并执行数据处理方法p300。
[0223]
为了方便描述,我们将以图3a和图3d中所示的方法描述所述数据处理的方法p300。所述方法p300可以包括:
[0224]
s320:获取压缩数据。所述压缩数据包括所述压缩帧。
[0225]
所述压缩数据可以包括通过数据处理方法p200对所述初始数据中的所述初始帧进行数据压缩得到的所述压缩帧。所述压缩帧包括压缩的预测数据pi和残差数据r。如图3a和图3d所示,步骤s320可以包括:将所述压缩帧输入所述码流解析模块进行分析计算,得到所述预测数据pi和所述残差数据r。如前所述,在本技术中,帧是组成数据序列的一个常用处理单位。在数据处理时,常常以帧为单位进行计算。在数据压缩设备200对数据进行压缩的数据处理的方法p200中,可以以帧为单位对所述初始数据进行压缩。在数据解压设备300对压缩帧进行解压时也可以以帧作为单位进行数据解压。
[0226]
s340:对所述压缩帧进行数据解压,得到解压帧。
[0227]
所述数据解压是指对所述压缩帧进行解压计算,得到解压帧,使所述解压帧恢复或基本上恢复至所述初始数据,或者使所述解压帧比所述初始数据更清晰。以视频数据为
例,当所述解压帧在低频至中频区域的任意频率上的幅值恢复至所述初始帧的阈值或者阈值以上时,人眼便很难察觉出所述解压帧与所述初始帧的区别。所述阈值可以是80%-90%之间的任意值。比如,所述阈值可以是80%、81%、82%、83%、84%、85%、86%、87%、88%、89%、90%中任意两个数值所定义的闭区间中的任意值。比如,所述数据解压应使所述解压帧在低频至中频区域的任意频率上的幅值不小于所述初始帧的85%
±
3%。
[0228]
所述数据解压包括对在解帧进行解码频谱调节,并对经过所述解码频谱调节后的数据做进一步的边界校正,从而得到所需的解压帧。所述在解帧即正在被解压的一帧数据,包括所述压缩帧和所述压缩帧在所述解压过程中成为所述解压帧之前的任一数据状态。
[0229]
以视频数据为例,所述数据处理的方法p200采用编码频谱调节和编码相结合的方法对所述初始帧进行压缩,以进一步提高视频数据的压缩比,提升视频传输的效率。在视频解压技术中,数据处理方法p300可以采用解码(即根据残差数据r和预测数据pi恢复在压帧)和解码频谱调节相结合的方法对所述压缩帧进行解压,得到所需的解压帧,以恢复所述压缩帧中的数据。所述在解帧可以包括所述压缩帧和所述压缩帧在根据所述预测数据pi和残差数据r解码过程中的任一数据状态。例如,所述在解帧可以是所述压缩帧、也可以是经过解码得到的解码帧,或者经过预测得到的预测帧,等等。
[0230]
在对所述压缩帧进行所述数据解压所应用的所述解码频谱调节,是指将所述在解帧输入解码频谱调节器中进行解码频谱调节。所述解码频谱调节可以与所述编码频谱调节相对应,也就是说解码频谱调节函数h2(f)同编码频谱调节函数h1(f)应存在预先设定的关联关系。通过仔细地设定解码频谱调节函数h2(f)同编码频谱调节函数h1(f)的关联关系,所述编码频谱调节的压缩帧在经过所述解码频谱调节以及所述数据处理后,在不考虑其他计算误差的情况下完全恢复或基本恢复至编码频谱调节前的数据指标(比如图像数据的图像清晰度),甚至在一些指标上超过编码调节前的数据(比如解码后的图像的清晰度超过原始图像)。解码频谱调节函数h2(f)同编码频谱调节函数h1(f)之间具体的关联关系与对所述解码频谱调节后的数据所做的数据处理的方式有关。所述数据处理的方式不同,频谱调节函数h2(f)同编码频谱调节函数h1(f)之间的关联关系也不同。所述数据处理的具体方式以及频谱调节函数h2(f)同编码频谱调节函数h1(f)之间的关联关系,将在后面的描述中具体介绍。
[0231]
同所述编码频谱调节一样,所述解码频谱调节也可以通过在时域进行卷积,从而在频域以解码频谱调节函数h2(f)(即解码传递函数)调整所述在解帧的频谱。因此所述解码频谱调节所使用的解码卷积核同所述编码频谱调节所用的编码卷积核也应存在对应的关联关系。通过选取与编码频谱调节函数h1(f)和所述编码卷积核相对应的解码频谱调节函数h2(f)和解码卷积核,两种方式可以达到相同的效果。为了方便描述,本说明书将以在时域进行卷积为例来描述所述解码频谱调节,但本领域技术人员应该明白通过在频域乘以解码频谱调节函数h2(f)进行频谱调节的方式也是本说明书要保护的范围。
[0232]
如前所述,所述编码频谱调节可以使所述在压帧在其频域中的中频区域的幅值做衰减,使所述在压帧的边界数据模糊化,从而减小编码产生的数据量。所述解码频谱调节以及所述数据处理可以使经过所述编码频谱调节以及数据处理后的数据恢复甚至增强。也就是说,所述解码频谱调节以及所述数据处理可以使所述在解帧中敏感频率的幅值完全恢复或基本恢复至衰减前的状态甚至相对所述衰减前的状态有所增强。以视频数据为例,由于
人眼对图像中的低频至中频信息比较敏感,因此所述解码频谱调节以及所述数据处理可以对所述视频数据中的低频至中频区域的幅值进行恢复甚至增强。因此,所述解压帧在低频至中频区域的幅值应至少恢复或基本恢复至所述初始帧在低频至中频区域的幅值。在视频数据中,由于人眼对高频的数据比较不敏感,因此所述解码频谱调节以及所述数据处理可以不对高频区域的幅值进行恢复,使所述高频区域的幅值保持衰减。
[0233]
如前所述,所述数据压缩操作通过所述编码频谱调节,使所述初始帧在中频区域或中频至高频区域的幅值衰减,从而降低所述初始帧中的数据信息量。以视频数据为例,由于图像中物体的边缘部分中频和高频信息丰富,而中频和高频区域会携带更多的数据,因此降低中频至高频区域的幅值从视觉上会使所述在压帧的边界数据模糊化,同时也会使图像中的信息量大大减小。因此,所述数据解压可以从所述压缩帧中提取出边界信息,并对边界信息进行边界增强使其恢复至所述初始帧中的状态,或者使其相对于所述初始帧中的状态有所增强。
[0234]
所述边界增强处理的方式有很多,传统的技术有时候直接对压缩帧使用高通滤波器或者带通滤波器进行滤波,过滤掉所述压缩帧中的低频区域的分量,提取处所述压缩帧中的中频至高频区域的分量,从而提取出边界信息。但是所述高通滤波器和带通滤波器对应的卷积核的系数中会出现较多的负系数。如前所述,当卷积核中出现较多的负系数时,通过所述卷积核进行卷积得到的图像中可能会出现很强的振铃效应。因此,为了避免振铃效应,本说明书所述的数据解压使用平滑过渡的解码频谱调节函数h2(f)对所述压缩帧进行频谱调节,过滤所述压缩帧中的中频至高频区域的分量,然后对所述压缩帧和经过所述解码频谱调节的压缩帧求差,便可以得到所述边界信息,对所述边界信息使用调整系数进行调整,使其恢复至初始状态或相对于所述初始状态有所增强。当使用上述方案获取边界信息时,可以设计出一个解码卷积核,使其所有系数都是非负数,或者负系数的和的绝对值与非负系数的和的比值小于0.1,就可以避免振铃效应的出现。
[0235]
具体地,步骤s340可以包括:
[0236]
s342:对所述压缩帧进行解码,得到解码帧。在所述方法p300中,所述在解帧可以是所述解码帧。
[0237]
所述压缩帧可以是数据压缩设备200对所述频谱调节帧进行编码得到的。数据解压设备300可以对所述压缩帧进行解码以得到所述解码帧。即根据所述预测数据pi进行预测得到预测帧,并和所述残差数据r叠加,得到解码数据p2,所述解码数据p2就是所述解码帧的数据p2。编码和解码过程中可能存在一定的误差,假设编解码过程带来的偏差很小的话,所述解码帧中的数据p2与所述编码频谱调节帧中的数据p1基本一致,因此,p1与p2之间的关系看可以表示为以下公式:
[0238]
p2≈p1公式(4)
[0239]
数据解压设备300可以对所述解码帧进行所述解码频谱调节和所述边界校正。图11a示出了根据本说明书的实施例提供的一种所述解码频谱调节和所述边界校正的流程图。图11a和图10对应。如图11a和图10所示,步骤s340还可以包括:
[0240]
s344:对所述在解帧(即所述解码帧p2)进行所述解码频谱调节,得到解码频谱调节帧。
[0241]
为了方便描述,我们将所述解码频谱调节帧中的数据定义为pc。所述解码频谱调
节使所述解码帧避免出现振铃效应。所述解码频谱调节包括使用所述解码频谱调节函数h2(f)对所述在解帧进行所述解码频谱调节,使所述在解帧在频域内的幅值平滑地降低以过滤所述在解帧的中频至高频区域的分量,得到所述解码频谱调节帧。每一帧数据频谱中的中频至高频分量主要集中在这一帧数据中数据变化剧烈的区域,也就是数据的边界数据。比如,对于一帧图像来说,所述中频至高频数据主要集中在所述图像中物体的边界,也就是这一帧图像的边界数据。因此,解码频谱调节帧中的数据pc可以理解成去除了解码帧p2中的边界信息的数据。所述解码频谱调节帧中的数据pc可以表示为以下公式:
[0242]
pc=h2(f)
·
p2=h1(f)
·
h2(f)
·
p
′0≈h1(f)
·
h2(f)
·
p0公式(5)
[0243]
所述解码频谱调节包括基于所述编码卷积核,使用相应的解码卷积核对所述在解帧(解码帧)做卷积。为了避免振铃效应,所述解码卷积核中负系数的和的绝对值与非负系数的和的比值小于阈值。比如所述阈值可以是0.01、0.02、0.03、0.04、0.05、0.06、0.07、0.08、0.09、0.1、0.2、0.3、0.4中的任意一个值或者任意两个数所定义的区间中的任意值。比如,所述解码卷积核中的卷积核系数可以均选为为非负数。解码频谱调节函数h2(f)中对于中频至高频区域的幅值调节增益等于0,并可以在一定误差范围内波动。所述误差范围可以在0、
±
1%、
±
2%、
±
3%、
±
4%、
±
5%、
±
6%、
±
7%、
±
8%、
±
9%、
±
10%、
±
11%、
±
12%、
±
13%、
±
14%、
±
15%、
±
16%、
±
17%、
±
18%、
±
19%、
±
20%、
±
21%、
±
22%、
±
23%、
±
24%、
±
25%、
±
26%、
±
27%、
±
28%、
±
29%、
±
30%、
±
31%、
±
32%、
±
33%、
±
34%、
±
35%等数值中任意两个所规定的区间内。
[0244]
所述通过解码频谱调节函数h2(f)可以保持直流部分,即在频率为0的部分的幅值调节增益为1,以保证可以保留初始帧中的基础信息。因此,所述解码频谱调节所使用的所述解码频谱调节函数h2(f)对所述低频区域的幅值调节增益从频率为0的位置的幅值调节增益1平滑过渡到中频区域的幅值调节增益接近0。
[0245]
步骤s344可以包括:确定所述解码帧的帧类型;基于所述解码帧的帧类型,从解码卷积核组中选择一个卷积核作为所述解码卷积核,对所述解码帧做卷积。
[0246]
如前所述,数据压缩设备200在压缩初始帧的过程中,会将所述初始帧或者编码频谱调节帧编码成不同的类型。因此,数据解压设备300在对所述解码帧进行所述解码频谱调节前,需要先确定所述解码帧的帧类型,对于不同的帧类型选择的解码卷积核也不同。所述解码帧的帧类型可以包括i帧、p帧以及b帧中的至少一种。所述解码帧的帧类型可以只包括一种帧类型,也可以同时包括多种帧类型。关于确定所述解码帧的帧类型的方法已经相对成熟,不是本说明书要保护的重点,因此,在此不再赘述。
[0247]
如前所述,对所述解码帧进行所述解码频谱调节可以表现为在时域对所述解码帧进行卷积。数据解压设备300的存储介质中可以储存有多个不同的解码卷积核,称作解码卷积核组。每个编码卷积核都在所述解码卷积核组中有至少一个解码卷积核相对应。数据解压设备300对所述解码帧做卷积时,可以基于所述解码帧的帧类型,从所述解码卷积核组中选择一个卷积核作为所述解码卷积核,对所述解码帧做卷积。所述使用解码卷积核对在解帧进行卷积的操作可以被称作解码频谱调节器。当所述解码帧为i帧或p帧时,数据解压设备300对所述i帧或p帧进行卷积包括从所述解码卷积核组中选择一个卷积核作为所述解码卷积核,对所述i帧或p帧做卷积。数据解压设备300也可以根据对所述解码帧的解码质量要求从所述解码卷积核组中选择一个解压效果最好的卷积核作为所述解码卷积核。当所述解
码帧为b帧时,所述解码帧的所述解码卷积核同与所述解码帧最近的参考帧的解码卷积核相同,或者所述解码帧的所述解码卷积核同相邻的两个方向的最接近的参考帧中衰减程度最大的参考帧对应的解码卷积核相同,或者所述解码帧的所述解码卷积核取相邻的两个方向上的最近的参考帧对应的解码卷积核的平均值。当所述解码帧与前后两个最近的参考帧距离相同的时候,所述解码帧的所述解码卷积核取前向或者后向的最近参考帧的解码卷积核。当所述解码帧为b帧时,所述解码帧选取的解码卷积核所对应的参考帧应与所述在压帧在进行所述编码频谱调节时选取的编码卷积核所对应的参考帧相同。
[0248]
数据解压设备300在使用所述解码卷积核对所述在解帧做卷积时,可以在垂直方向、水平方向和斜向中的至少一个方向上对所述在解帧做卷积。所述在解帧的卷积方向与所述在压帧相同,所述在解帧的卷积顺序与所述在压帧相反。如果所述在压帧只经过垂直方向的卷积,则所述在解帧也只进行垂直方向的卷积。同样,如果所述在压帧只经过水平方向或斜向的卷积,则所述在解帧也只进行水平方向或斜向的卷积。如果所述在压帧经过多个方向的卷积时,则所述在解帧也进行多个方向的卷积,且所述在解帧在卷积时方向和顺序与所述在压帧在卷积时的方向和顺序相反。即所述在压帧先进行垂直方向的卷积再进行水平方向的卷积,则所述在解帧先进行水平方向的卷积再进行垂直方向的卷积。
[0249]
步骤s340还可以包括:
[0250]
s346:对所述在解帧(即所述解码帧p2)和所述解码频谱调节帧pc求差,得到第三边界。
[0251]
为了方便描述,我们将所述第三边界中的数据定义为p
e3
。所述第三边界p
e3
为所述在解帧的边界,其中包括所述初始帧p0的边界信息。
[0252]
在一些实施例中,步骤s340还可以包括:
[0253]
s347:通过第二系数b对所述第三边界p
e3
进行增强。
[0254]
其中,所述第二系数b为大于1的任意数。在一些实施例中,所述第三边界p
e3
可以是对所述解码帧p2和所述解码频谱调节帧pc求差得到的数据。在另一些实施例中,所述第三边界p
e3
可以是通过所述第二系数b增强后的边界。此时,所述第三边界p
e3
还可以表示为以下公式:
[0255]
p
e3
=p
2-pc=p
2-p2*h2(f)公式(6)
[0256]
p
e3
=b*(p
2-pc)=b*(p
2-p2*h2(f))公式(7)
[0257]
如前所述,所述解码频谱调节帧中的中频至高频区域的分量被过滤,对所述解码帧和所述解码频谱调节帧求差,便可以得到所述解码帧中的中频至高频区域的分量,也就是所述在解帧的边界。所述在解帧的边界中包括所述初始帧的边界信息。如前所述,所述在解帧的边界中的数据被定义为第三边界p
e3
。其中,b为增强系数,表示对所述边界信息的增强程度,b越大,对所述边界信息的增强程度越强。所述调整系数b可以依据经验值进行取值,也可以通过机器学习训练得到。
[0258]
步骤s340还可以包括:
[0259]
s348:通过第二伽马算法,对所述第三边界p
e3
中边界值处于所述第二预设范围内的边界进行减弱,以对所述第三边界p
e3
进行降噪,得到降噪边界。
[0260]
为了方便描述,我们将所述降噪边界中的数据定义为p
e0
。所述边界校正包括通过第二伽马算法对所述在解帧的边界中边界值在第二预设范围内的边界进行减弱,以进行降
噪。在一般情况下,在对视频或图像进行编码和解码时所产生的图像噪声通常都在一个小范围之内。所以,在进行所述数据解压的时候,可以对编码和解码所产生的这个小范围内的图像噪声进行降噪处理。在进行降噪处理的时候,可以使用一个大于1的伽马值γ对边界值在第二预设范围[-r4,r4]内的边界进行边界减弱,以达到降噪的效果。所述第二预设范围[-r4,r4]可以是需要进行所述边界校正的边界值。所述边界值可以是第三边界p
e3
中每个像素对应的值。r4可以是边界阈值。比如,r4可以是30,40,50,等等。在一些实施例中,r4可以是5~30之间的任意数。
[0261]
图11b示出了根据本说明书的实施例提供的一种进行所述边界校正的流程图。如图11b所示,步骤s348可以是:数据解压设备300通过第三调节函数h
l3
(f)对所述第三边界p
e3
进行调节,得到第四边界p
e4
;通过所述第二伽马算法,对所述第四边界p
e4
中的边界值处于所述第二预设范围[-r4,r4]内的边界进行减弱,得到所述降噪边界p
e0

[0262]
所述第三边界p
e3
中不需要进行所述边界校正的边界中包含的中频至高频区域的分量较多。因此,为了避免所述边界校正对其他不需要进行校正的边界造成影响,数据解压设备300可以先对所述第三边界p
e3
进行过滤,以过滤中频至高频区域的分量。第三调节函数h
l3
(f)可以是一个直流分量dc等于1的低通滤波器,以使所述第三边界p
e3
在频域内的低频区域的分量被保留而中频至高频区域的分量被过滤。第三调节函数h
l3
(f)可以与第二调节函数h
l2
(f)相同。
[0263]
所述第二伽马算法可以是伽马值γ>1的伽马算法。在步骤s348中,数据解压设备300可以对第四边界p
e4
中的像素逐个进行边界校正。具体地,数据解压设备300可以将第四边界p
e4
中的每个像素对应的边界值与边界阈值r4进行对比;当边界值处于[-r4,r4]之内时,则使用所述第二伽马算法对所述边界值进行校正,使所述边界值的绝对值变小,以进行边界降噪;当边界值处于[-r4,r4]之外时,则不进行校正。
[0264]
数据解压设备300可以使用查表的方法进行所述边界校正。数据解压设备300中可以存储有表5。表5中存储有所述第二伽马算法中的输入边界值与输出边界值的对应关系,即校正前的边界值与校正后的边界值的对应关系。以r4=5为例,表5可以表示为:
[0265][0266]
图11c示出了根据本说明书的实施例提供的另一种进行边界校正的流程图。如图11c所示,步骤s348还可以是:数据解压设备300通过所述第二伽马算法,直接对所述第三边界p
e3
中的边界值处于所述第二预设范围[-r5,r5]内的边界进行校正,得到所述降噪边界p
e0
。其中r5可以与r4不同,也可以与r4相同。
[0267]
在一些实施例中,数据解压设备300还可以通过偏差值δe对所述第三边界p
e3
中的边界值处于所述第二预设范围[-r5,r5]内的边界进行校正,得到所述降噪边界p
e0
。其中,所述降噪边界p
e0
为所述第三边界p
e3
和偏差值δe的和。数据解压设备300中可以存储有表6。表6中存储有所述第三边界p
e3
的输入边界值与偏差值δe以及输入边界值输出边界值的对应关系。以r1=5例,表6可以表示为:
[0268][0269]
数据解压设备300可以直接根据表6获取所述降噪边界0
e0

[0270]
s349:将所述降噪边界p
e0
和所述在解帧(即所述解码帧p2)叠加得到所述解压帧p4。
[0271]
由于所述边界校正只是针对小范围内的边界进行的,在所述第二预设范围外的边界以及非边界区域不进行校正。因此,所述解压帧p4可以表示为以下公式:
[0272]
p4=p2 p
e0
[0273]
=p2 p
e3
δe
[0274]
≈p
′0·
h1(f)
·
(1 b(1-h2(f)))
[0275]
≈p0·
h1(f)
·
(1 b(1-h2(f)))公式(8)
[0276]
以视频数据为例,由于人眼对于低频至中频区域的信息比较敏感,而h1(f)的设计只是对初始帧中的低频至中频区域的幅值进行了衰减,而使编码频谱调节帧中保留了初始帧中低频至中频全部频率的频率信息;所述解码帧中的数据p2与所述编码频谱调节帧中的数据p1基本一致,因此,解码帧中也保留了低频至中频区域的频率信息;而解码频谱调帧中的中频至高频区域的分量被过滤,因此保留了低频区域的频率信息;因此,通过解码帧和解码频谱调节帧的差值得到的在解帧的边界中保留了初始帧中的中频区域的频率信息;而所述降噪边界只是对所述在解帧的边界中的小范围内的噪声进行消除,在所述第二预设范围外的边界不做处理;因此从理论上讲在不考虑由于其他算法带来的偏差的情况下,由解码帧和降噪边界叠加得到的解压帧是可以完全恢复或基本恢复初始帧中低频至中频全部频率信息的。也就是说所述数据解压可以使经过所述数据压缩的数据在低频至中频中任意频率下得到恢复甚至增强。因此,经过数据解压后,所述解压帧在低频至中频区域的任意频率上的幅值应约等于或者大于所述初始帧。所述约等于是指所述解压帧的幅值等于所述初始帧的幅值,并在一定的误差范围内波动。以视频数据为例,当所述解压帧在低频至中频区域的任意频率上的幅值恢复至所述初始帧的85%或85%以上时,人眼便很难察觉出所述解压帧与所述初始帧的区别。因此,经过数据解压后,所述解压帧在低频至中频区域的任意频率上的幅值应不小于所述初始帧的85%。即所述误差范围不应使所述解压帧在低频至中频区域的任意频率上的幅值低于所述初始帧的85%。而人眼对于高频区域的信息比较不敏感,因此,所述解压帧中对于高频区域的信息可以保留以适应高质量要求的场景,也可以衰减以抑制不必要的高频噪声。p0与p4之间的关系看可以表示为以下公式:
[0277]
或者
[0278]
[0279]
需要说明的是,在公式中可以允许存在一定范围的误差。例如,p4≥p0可以是p4的基本值在大于等于p0的情况下,允许p4在一定误差范围内波动。也就是说,在p4=p0时,p4在负误差的情况下可以允许p4略小于p0。这里的公式仅仅列出了p4与p0的基础关系公式,没有将误差写入公式中,本领域技术人员应当明白在误差范围内的波动使得解压帧在低频至中频区域的幅值略小于所述初始帧的情况同样属于本说明书保护的范围。以下的公式中,同样允许存在一定范围的误差。在下文中也仅仅给出p4的幅值大于等于所述初始帧p0的基础关系的说明。对于误差范围内的波动,本领域技术人员可自行推导。
[0280]
为了方便描述,我们将p0与p4之间的整体频谱调节函数定义为h0(f),则p0与p4之间的关系看可以表示为以下公式:
[0281]
p4=h0(f)
·
p0公式(11)
[0282]
则,整体频谱调节函数h0(f)可以表示为以下公式:
[0283]
或者
[0284][0285]
其中,f0为人眼敏感频率的分界值,对于视频数据来说,f0可以是0.33,也可以是比0.33大或者小的其他数值。对于不同类型的数据,f0的值不同。
[0286]
在上述公式(12)~(13)中的h0(f),当在选定的频域区间h0(f)≈1时,则可以将所述解压帧在选定的频域区间内的数据恢复至所述初始帧;当在选定的频域区间h0(f)》1时,则可以将所述解压帧在选定的频域区间内的数据进行增强,即所述解压帧在选定区域的幅值高于所述初始帧。比如,如果初始帧是视频中的一帧的话,只要使得在选定的频域区间内h0(f)大于1,则可以实现清晰度增强。为了方便描述,我们将h0(f)≈1定义为正常模式,将h0(f)》1定义为增强模式。下面我们将以视频数据为例,对整体频谱调节函数h0(f)进行详细说明。
[0287]
图12a示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图。图12b示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图。图12c示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图。图12d示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图。图12e示出了根据本说明书的实施例提供的一种整体调节函数h0(f)的曲线图。如图12a至12e所示,横轴为归一化频率f,纵轴为整体频谱调节函数h0(f)的幅值调节增益h0。图12a至12e中的曲线表示不同的整体频谱调节函数h0(f)。横轴的归一化频率最大值为0.5。所述横轴的归一化频率f可以分成低频区域,中低频区域,中频区域,中高频区域和高频区域。(0,a]之间的频率属于低频;(a,b]之间的频率属于中低频;(b,c]之间的频率属于中频;(c,d]之间的频率属于中高频;(d,0.5]之间的频率属于高频。其中,a,b,c,d,e的取值参考图8a所述,在此不再赘述。
[0288]
由于人眼对于视频数据中的低频到中频的数据比对高频的数据更敏感,因此,在数据解压后,应尽量保持所述解压帧相对于所述初始帧低频到中频区域的信息不丢失,也就是说,整体频谱调节函数h0(f)应使所述解压帧在低频到中频区域的幅值不小于所述初始帧的85%,甚至可以大于所述初始帧。由于人眼对于高频区域的信息不敏感,因此,所述
解压帧在高频区域的幅值可以根据不同的应用场景选择,比如,在低清晰度要求的场景下,所述解压帧在高频区域的幅值可以小于所述初始帧。在对清晰度要求很高的侦察场景下,所述解压帧在高频区域的幅值可以约等于所述初始帧或大于所述初始帧。如图12a至12e所示,整体调节函数h0(f)在低频至中频区域(包括低频和中频区域)的任意频率f上的幅值调节增益h0大于1或约等于1,使得解压后的解压帧的幅值不小于所述初始帧的85%,使得清晰度恢复或增强,提升视觉观察效果。所述约等于1在这里可以是在等于1的一定的误差范围内波动。所述误差范围可以在0、
±
1%、
±
2%、
±
3%、
±
4%、
±
5%、
±
6%、
±
7%、
±
8%、
±
9%、
±
10%、
±
11%、
±
12%、
±
13%、
±
14%、
±
15%等数值中任意两个所规定的区间内。为方便描述,我们将整体调节函数h0(f)在高频区域的幅值调节增益定义为第一幅值调节增益,在中频区域的幅值调节增益定义为第二幅值调节增益,在低频区域的幅值调节增益定义为第三幅值调节增益。所述第三幅值调节增益值、第二幅值调节增益值和第一幅值调节增益值可以在所述误差范围内波动。
[0289]
如图12a所示,整体调节函数h0(f)在低频至高频区域的第三幅值调节增益值、第二幅值调节增益值和第一幅值调节增益值均约等于1,使所述解压帧在低频至高频区域的幅值都不小于所述初始帧的85%,使所述解压帧在低频至高频区域的数据可以平稳地恢复或基本恢复至初始帧的状态。
[0290]
如图12b所示,整体调节函数h0(f)在低频至中频区域的第三幅值调节增益值和第二幅值调节增益值约等于1,使所述解压帧在低频至中频区域的数据可以平稳地恢复或基本恢复至初始帧的状态。整体调节函数h0(f)在高频区域的第一幅值调节增益值小于1,使所述解压帧在高频区域的幅值相对于所述初始帧平稳地降低,以抑制高频噪声。所述幅值的平稳降低可以是所述幅值以第一幅值调节增益值衰减,也可以是所述幅值在所述第一幅值调节增益值附近的一定误差范围内进行衰减。比如,所述第一幅值调节增益可以是0至1之间的任意数值。比如,所述第一幅值调节增益值可以在0、0.04、0.08、0.12、0.16、0.20、0.24、0.28、0.32、0.36、0.40、0.44、0.48、0.52、0.56、0.60、0.64、0.68、0.72、0.76、0.80、0.84、0.88、0.92、0.96和1等数值中任意两个所规定的区间内。如图12b所示,所述整体调节函数h0(f)在高频区域(大概是0.4~0.5的区间)的第一幅值调节增益在0.6左右。第二和第三幅值调节增益值都在1附近。第二和第三幅值调节增益值可以在一定的误差范围内波动,比如,第二和第三幅值调节增益值可以在0.85、0.90、0.95、1、1.05、1.10、和1.15等数值中任意两个所规定的区间内。
[0291]
如图12c所示,整体调节函数h0(f)在低频区域的第三幅值调节增益值约等于1,使所述解压帧在低频区域的数据可以平稳地恢复或基本恢复至初始帧的状态。整体调节函数h0(f)在中频区域的第二幅值调节增益值和在高频区域的第一幅值调节增益值均大于1,使所述解压帧在中频至高频区域的幅值相对于所述初始帧平稳地增加,从而使中频至高频区域的数据清晰度增强。所述幅值的平稳增加可以是所述幅值以第二幅值调节增益值和第一幅值调节增益值增强,也可以是所述幅值在所述第二幅值调节增益值和所述第一幅值调节增益值附近的一定误差范围内进行增强。所述第二幅值调节增益值和所述第一幅值调节增益值大小可以大体一致,也可以是所述第二幅值调节增益值大于所述第一幅值调节增益值,或者所述第二幅值调节增益值小于所述第一幅值调节增益值。图12c所示的曲线中,所述第二幅值调节增益值和所述第一幅值调节增益值大小大体一致。所述第二幅值调节增益
值和所述第一幅值调节增益值可以是大于1的任意数值。比如,所述第二幅值调节增益值和所述第一幅值调节增益值可以在1、1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8、1.9、2、2.1、2.2和2.4等数值中任意两个所规定的区间内。如图12c所示,所述整体调节函数h0(f)在中频至高频区域的第二幅值调节增益和第一幅值调节增益在1.2左右。
[0292]
如图12d所示,整体调节函数h0(f)在低频区域的第三幅值调节增益值约等于1,使所述解压帧在低频区域的数据可以平稳地恢复或基本恢复至初始帧的状态。整体调节函数h0(f)在中频区域的第二幅值调节增益值大于1,使所述解压帧在中频的幅值相对于所述初始帧平稳地增加,从而使中频区域的数据清晰度增强。整体调节函数h0(f)在高频区域的第一幅值调节增益值小于1,使所述解压帧在高频区域的幅值相对于所述初始帧平稳地降低,从而使不敏感的高频区域的数据量下降,以抑制高频噪声。图12d所示的曲线在减少数据量的同时又能增强清晰度。所述第二幅值调节增益值可以是大于1的任意数值。所述第一幅值调节增益可以是0至1之间的任意数值。如图12d所示,所述整体调节函数h0(f)在中频区域的第二幅值调节增益在1.2左右,在高频区域的第一幅值调节增益在0.6左右。
[0293]
如图12e所示,整体调节函数h0(f)在低频区域的第三幅值调节增益值大于1,使所述解压帧在低频区域的的幅值相对于所述初始帧平稳地增加。整体调节函数h0(f)在中频区域的第二幅值调节增益值大于1,使所述解压帧在中频区域的幅值相对于所述初始帧平稳地增加,从而使低频至中频区域的数据清晰度增强。其中,所述第二幅值调节增益值可以等于所述第三幅值调节增益值,也可以大于所述第三幅值调节增益值。图12e所示的曲线中,所述第二幅值调节增益值大于所述第三幅值调节增益值,使所述解压帧在中频区域的幅值增加的幅度大于低频区域幅值增加的幅度,从而使人眼最敏感的中频区域的清晰度增强,提升视觉观察效果。整体调节函数h0(f)在高频区域的第一幅值调节增益值小于1,使所述解压帧在高频区域的幅值相对于所述初始帧平稳地降低,从而使不敏感的高频区域的数据量下降,以抑制高频噪声。图12e所示的曲线,在减少数据量的同时又能增强清晰度。所述第三幅值调节增益值可以是略大于1的数值。比如,第三幅值调节增益值可以在1、1.04、1.08、1.12、1.16和1.2等数值中任意两个所规定的区间内。所述第二幅值调节增益值可以是大于所述第三幅值调节增益的任意数值。比如,所述第二幅值调节增益值和所述第一幅值调节增益值可以在1、1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8、1.9、2、2.1、2.2和2.4等数值中任意两个所规定的区间内。所述第一幅值调节增益可以是0至1之间的任意数值。比如,所述第一幅值调节增益值可以在0、0.04、0.08、0.12、0.16、0.20、0.24、0.28、0.32、0.36、0.40、0.44、0.48、0.52、0.56、0.60、0.64、0.68、0.72、0.76、0.80、0.84、0.88、0.92、0.96和1等数值中任意两个所规定的区间内。如图12e所示,所述整体调节函数h0(f)在低频区域的第三幅值调节增益在1.1左右,在中频区域的第二幅值调节增益在1.2左右,在高频区域的第一幅值调节增益在0.6左右。
[0294]
进一步地,当所述高频区域同所述中频区域不相连的时候,所述整体频谱调节函数h0(f)还可以在高频区域的幅值做出调节,使得所述幅值调节增益在中高频区域内的变化平滑而连续。
[0295]
进一步地,当所述中频区域同所述低频区域不相连的时候,所述整体频谱调节函数h0(f)还可以在中低频区域的幅值做出调节,使得所述幅值调节增益在中低频区域内的变化连续。
[0296]
所述整体调节函数h0(f)的曲线是平滑过渡的曲线。在工程实现上,在实现所述解压帧在低频至中频区域幅值约等于或大于所述初始帧的基础上可以允许所述整体调节函数h0(f)的曲线存在小范围的波动,所述波动不影响解压的效果。对于视频数据之外其他形式的数据来说,可以根据接收者对于数据的敏感程度,设置所述整体调节函数h0(f)的参数。不同形式的数据,接收者对于频率的敏感程度不同。
[0297]
为了方便描述,我们将以公式(13)所示的情况为例进行描述。结合公式(8)和公式(13),则所述解压帧p4可以表示为以下公式:
[0298][0299]
此时,所述编码卷积核对应的编码频谱调节函数h1(f)与所述解码卷积核对应的解码频谱调节函数h2(f)之间的关系可以表示为以下公式:
[0300][0301]
因此,h1(f)与h2(f)的关系可以表示为以下公式:
[0302][0303]
其中,由于解码频谱调节函数h2(f)中,除了频率为0的部分的幅值调节增益为1之外,其他频率的幅值调节增益均小于1,因此1/(1 b(1-h2(f)))在除频率为0外的其他频率上的值均小于1,因此,公式(16)可以保证编码频谱调节函数h1(f)中频率为0的部分的幅值调节增益为1,而其他频率对应的幅值调节增益小于1。
[0304]
如前所述,如果所述初始帧经过多个方向的卷积时,则所述解码帧也进行多个方向的卷积,且所述解码帧在卷积时方向和顺序与所述初始帧在卷积时的方向和顺序相反。即所述初始帧先进行垂直方向的卷积再进行水平方向的卷积,则所述解码帧先进行水平方向的卷积再进行垂直方向的卷积。需要说明的是,所述解码帧需先进行水平方向的卷积得到水平方向的补偿信息,将所述解码帧水平方向的补偿信息与所述解码帧叠加后,再进行垂直方向的卷积得到垂直方向的补偿信息,并将所述解码帧垂直方向的补偿信息与所述解码帧进行叠加。
[0305]
图13a示出了根据本说明书的实施例提供的正常模式一种整体调节函数h0(f)、编码频谱调节函数h1(f)和解码频谱调节函数h2(f)的曲线图。图13b示出了根据本说明书的实施例提供的一种增强模式的整体调节函数h0(f)、编码频谱调节函数h1(f)和解码频谱调节函数h2(f)的曲线图。图13a与图13b中所使用的编码卷积核与解码卷积核相同,调整系数b相同。在图13a和图13b中以b=1.5为例进行说明。如图13a和图13b所示,横轴为归一化频率f,纵轴为幅值调节增益h。如图13a所示,在任意频率区域的整体频谱调节函数h0(f)≈1,整体频谱调节函数h0(f)对所述叠加解压帧进行正常模式的频谱调节,即整体频谱调节函数h0(f)中对于所有频率的信息完整保留,所述解压帧中的数据可以基本恢复至所述初始帧中
的数据。如图13b所示,在低频区域的整体频谱调节函数h0(f)≈1,在中频至高频区域的整体频谱调节函数h0(f)》1。整体频谱调节函数h0(f)对所述解压帧的中频至高频区域进行增强模式的频谱调节,即整体频谱调节函数h0(f)中对于中频至高频区域的信息进行增强,所述解压帧中的中频至高频区域的数据相较于所述初始帧中的中频至高频区域的数据有所增强。需要说明的是,图13a和图13b所示的曲线,只是示例性说明,本领域的技术人员应该明白h0(f)、h1(f)、h2(f)的曲线并不局限于图13a和图13b所示的形式,所有符合公式(15)的h0(f)、h1(f)、h2(f)曲线都属于本说明书保护的范围。需要指出的是,所有符合公式(15)的解码频谱调节函数线性组合或者编码频谱调节函数乘积组合或者线性组合和乘积组合的组合都属于本说明书保护的范围。其中,i≥1,代表n个函数的线性组合,h
2i
(f)代表第i个函数,ki代表第i个函数对应的权重。j≥1,代表第i个函数对应的权重。j≥1,代表n个函数的乘积组合,kj代表第j个函数对应的权重,h
2j
(f)可以是任意函数。
[0306]
表7示出了根据本说明书的实施例提供的一种解码卷积核的参数表。表7示例性地列举出一个解码卷积核的参数。所述解码卷积核的参数均为非负数,使得经过所述解码卷积核卷积的数据避免振铃效应。表7中只是示例性的举例说明,本领域技术人员应该知道所述解码卷积核不止局限于表7所示的参数,所有满足前述要求的解码卷积核都属于本说明书保护的范围。
[0307][0308]
表8示出了根据本说明书的实施例提供的一种正常模式的编码卷积核的参数表。表8示例性地列举出一个正常模式的编码卷积核的参数。所述正常模式的编码卷积核是基于所述正常模式的整体频谱调节函数h0(f),以及表7中示出的解码卷积核的参数表对应的解码频谱调节函数h2(f),得到的编码频谱调节函数h1(f)通过傅里叶变换得到的。即所述编码频谱调节函数h1(f)是对应于h0(f)=1得到的。数据压缩设备200和数据解压设备300使用表8中示出的所述正常模式的编码卷积核和表7中示出的所述解码卷积核可以使所述叠加帧的数据与所述初始帧的数据基本一致。表8中只是示例性的举例说明,本领域技术人员应该知道所述正常模式的编码卷积核不止局限于表8所示的参数,所有满足前述要求的编码卷积核都属于本说明书保护的范围。
[0309][0310]
表9示出了根据本说明书的实施例提供的一种增强模式的编码卷积核的参数表。所述增强模式的编码卷积核是基于所述增强模式的整体频谱调节函数h0(f),以及表7中示出的解码卷积核的参数表对应的解码频谱调节函数h2(f),得到的编码频谱调节函数h1(f)
通过傅里叶变换得到的。即所述编码频谱调节函数h1(f)是对应于h0(f)》1得到的。数据压缩设备200使用表9中示出的所述增强模式的编码卷积核和表7中示出的所述解码卷积核可以使所述叠加帧的数据增强。表9中只是示例性的举例说明,本领域技术人员应该知道所述增强模式的编码卷积核不止局限于表9所示的参数,所有满足前述要求的编码卷积核都属于本说明书保护的范围。
[0311][0312]
需要说明的是,卷积运算后,需要进行归一化处理,使卷积运算后的图像的灰度值在0~255之间。
[0313]
需要说明的是,在码率很高的情况下,所述解压帧中噪声很小,可以不进行上述边界校正。在码率较低的情况下,或者在增强模式下,即h0(f)》1的模式下,过度增强可能会使所述解压帧中出现噪声,影响视觉观察的效果。我们可以对所述在解帧的边界进行所述边界校正,得到所述解压帧,以有效消除噪声。
[0314]
图14a示出了根据本说明书的实施例提供的一种未进行边界校正的解压后的图像示例图;图14b示出了根据本说明书的实施例提供的一种进行边界校正的解压后的图像示例图。对比图14a和图14b发现,本说明所述的边界校正的方法可以有效消除噪声。
[0315]
综上所述,本说明书提供的数据处理的系统100,在对所述初始数据进行压缩时,通过数据压缩设备200执行方法p200,对所述初始数据中的所述初始帧中的小范围内的边界通过所述第一伽马算法进行调节,避免相邻像素值差值较小的边界信息在数据压缩过程中丢失,避免细节损失,同时所述方法p200对所述初始帧使用编码卷积核进行编码频谱调节,使所述初始帧在频域内的低频至高频区域的幅值平稳地降低,从而减少所述初始帧中的数据信息,提高编码效率,使得压缩后的数据容量减小,提高数据的压缩效率以及数据传输效率。本说明书提供的数据处理的系统100,在对所述压缩帧进行解压时,通过数据解压设备300执行方法p300,对所述压缩帧使用解码卷积核进行解码频谱调节,使用平滑过渡的解码频谱调节函数h2(f)对所述压缩帧进行频谱调节,过滤所述压缩帧中的中频至高频区域的分量,然后对所述压缩帧和经过所述解码频谱调节的压缩帧求差,得到初始帧的边界信息,对所述初始帧的边界信息中的小范围内的边界通过所述第二伽马算法进行减弱,以消除边界中的噪声;将所述解码帧与降噪后的所述边界信息叠加,以得到所述解压帧。其中,所述解码频谱调节函数h2(f)对应的解码卷积核与编码卷积核相对应,所有系数都是非负数,或者负系数的和的绝对值与非负系数的和的比值小于0.1,从而有效避免噪声的出现,使所述解压帧更清晰。所述方法和系统可以提高数据的压缩效率,提升传输效率,避免细节丢失,同时可以提升解压后的数据的清晰度,有效消除噪声。
[0316]
本说明书另外提供一种非暂时性存储介质,存储有至少一组用来进行数据处理的可执行指令,当所述可执行指令被处理器执行时,所述可执行指令指导所述处理器实施数据处理方法p200的步骤。在一些可能的实施方式中,本说明书的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在数据压缩设备200上运行时,所述
程序代码用于使数据压缩设备200执行本说明书描述的数据处理的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码,并可以在数据压缩设备200,例如个人电脑上运行。然而,本说明书的程序产品不限于此,在本说明书中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统(例如压缩端处理器220)使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在数据压缩设备200上执行、部分地在数据压缩设备200上执行、作为一个独立的软件包执行、部分在数据压缩设备200上部分在远程计算设备上执行、或者完全在远程计算设备上执行。在涉及远程计算设备的情形中,远程计算设备可以通过传输媒介120连接到数据压缩设备200,或者,可以连接到外部计算设备。
[0317]
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
[0318]
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本说明书提出,并且在本说明书的示例性实施例的精神和范围内。
[0319]
此外,本说明书中的某些术语已被用于描述本说明书的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本说明书的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本说明书的一个或多个实施例中适当地组合。
[0320]
应当理解,在本说明书的实施例的前述描述中,为了帮助理解一个特征,出于简化本说明书的目的,本说明书将各种特征组合在单个实施例、附图或其描述中。然而,这并不
是说这些特征的组合是必须的,本领域技术人员在阅读本说明书的时候完全有可能将其中一部分特征提取出来作为单独的实施例来理解。也就是说,本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
[0321]
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
[0322]
最后,应理解,本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此,本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此,本说明书的实施例不限于申请中被精确地描述过的实施例。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献