数据处理方法、数据的处理装置、存储介质及程序产品与流程
本技术涉及数据处理,尤其涉及一种数据处理方法、数据的处理装置、存储介质及程序产品。
背景技术:
1、在数据采集和数据处理的过程中,能够将相关设备的采集的模拟量数据,转换为数字量数据进行存储。以光学设备为例,诸多领域(例如生物、医学、天文、物理、半导体等领域)的光学设备(例如生物显微镜、望远镜、明场或暗场缺陷检测设备等)中采用了大量的模数转换器(analog-to-digital converter,adc)转换模块。其中需要借助可编程逻辑门阵列(field-programmable gate array,fpga)与微控制器单元(microcontroller unit,mcu)等硬件的存储和传输功能。此类数据的存储和传输对于光学设备的性能至关重要。现有技术中使用的数据压缩方法的压缩率较低导致数据存储占用空间大、传输效率低。
2、因此,亟需一种能够提高数据的压缩率的方案。
技术实现思路
1、本技术公开了一种数据处理方法、数据的处理装置、存储介质及程序产品,用于提高数据压缩率。
2、第一方面,本技术提供了一种数据处理方法,包括:
3、获取待处理数据序列;其中,待处理数据序列中包括多个待处理数据;
4、根据待处理数据序列,确定头数据和差值序列;其中,头数据为待处理数据序列中的第一个待处理数据;差值序列包括多个差值,各差值为多个待处理数据中相邻的两个待处理数据之间的差值;
5、根据差值落入的数值范围的出现次数,确定差值对应的编码值;其中,出现次数为多个差值中落入各数值范围的差值的个数;编码值用于指示差值的存储位数,并且编码值的位数与出现次数呈负相关;
6、根据头数据、差值和差值对应的编码值,构建目标数据序列。
7、基于上述的方案,在一些情况下(尤其是待处理数据序列为前后数据差别不大的小幅波动数据的情况下),通过作差能够将原始的待处理数据转化为数值更小因此存储所需位数更少、更容易压缩的差值序列。并且,通过保留头数据以保证差值序列的完整性,为后续的解压缩提供基准值。最后,利用编码值指示差值的存储位数,并根据头数据、差值及编码值构建目标数据序列,便于解析目标数据序列时知道如何解析数据,且通过差值的编码值与出现频次呈负相关,能够将出现频次较多的差值用较少位数的编码值进行编码,提高压缩率,从而减少数据存储占用的空间,提升数据的传输效率。
8、在一种可能的实施方式中,根据差值落入的数值范围的出现次数,确定差值对应的编码值,包括:
9、根据多个差值,确定不同的数值范围的出现次数;
10、根据各数值范围的出现次数,对不同的数值范围进行分组处理,得到n个数值范围组;其中,各数值范围组包括至少一个数值范围,且n为大于1的整数;
11、对落入数值范围的差值,设置数值范围所属于的数值范围组对应的编码值,以得到差值对应的编码值。
12、基于上述的方案,通过对数值范围进行分组,通过数值范围组对应的编码值赋给差值,避免对数值范围多次编码导致的存储空间的冗余占用。
13、在一种可能的实施方式中,在根据多个差值,确定不同的数值范围的出现次数之前,方法还包括:
14、确定各数值范围组的总出现次数,总出现次数为数值范围组包括的各数值范围的出现次数之和;
15、根据数值范围组的总出现次数,确定数值范围组对应的编码值;其中,数值范围组对应的编码值指示出数值范围组中,所需要的最大存储位数;编码值的位数随数值范围组的总出现次数的递减而增加。
16、基于上述的方案,通过基于出现频次的分组策略,实现对数值范围的分组,并且基于数值范围组进行了动态编码优化。能够将数值范围中出现较高次数的差值赋予较短位数的编码值,能够实现对数据的压缩,减少存储空间的冗余。
17、在一种可能的实施方式中,根据各数值范围的出现次数,对不同的数值范围进行分组处理,得到n个数值范围组,包括:
18、确定n-1个组首数值范围,其中,n-1个组首数值范围为第一序列中的前n-1个数值范围,第一序列为将不同的数值范围按照出现次数从大到小的顺序进行排序得到的;
19、确定n个数值范围组中的前n-1个数值范围组,其中,确定前n-1个数值范围组中的每个数值范围组的步骤包括:在第二序列中以第i个组首数值范围为起点,沿第二序列的逆向进行寻找,若寻找到其他的组首数值范围,则将第i个组首数值范围,以及第i个组首数值范围与其他的组首数值范围之间的数值范围,作为第i个数值范围组;否则,将第i个组首数值范围、第二序列中的第1个数值范围,以及第二序列中第i个组首数值范围与第二序列中的第1个数值范围之间的数值范围作为第i个数值范围组;其中,第二序列为将不同的数值范围按照所表征的差值从小到大的顺序进行排序得到的;i的初始值为1,且i为小于等于n-1的整数;
20、确定n个数值范围组中的第n个数值范围组,其中,第n个数值范围组包括不同的数值范围中不属于前n-1个数值范围组中的数值范围。
21、基于上述的方案,基于出现次数从大到小的寻找分组,能够找到最大的出现次数,从而找到能够出现次数最多的数组范围,从而给予他更少位数的编码值,并且还能够该编码值表征更小位数。
22、在一种可能的实施方式中,在根据多个差值,确定不同的数值范围的出现次数之前,方法还包括:
23、选取不同的n的取值,分别执行根据差值落入的数值范围的出现次数,确定差值对应的编码值;以及根据头数据、差值和差值对应的编码值,构建目标数据序列的步骤,得到在不同的n的取值下对应的目标数据序列;
24、根据不同的n的取值下对应的目标数据序列,确定各目标数据序列对应的压缩率;其中,压缩率表征目标数据序列相对于待处理数据序列所占存储空间的下降率;
25、将各目标数据序列对应的压缩率最高对应的n的取值,作为n的目标取值。
26、基于上述的方案,基于多次尝试,找到压缩率最高的数值范围组的数量,保证最后的压缩率。
27、在一种可能的实施方式中,目标数据序列中还包括:解码信息;
28、其中,解码信息包括按照数值范围组的总出现次数的从大到小的顺序,依次对应的解码位数。
29、基于上述的方案,进一步结合解码信息,结合头数据和差值、差值对应的编码值,能够实现无损压缩,并保证在后续存储或者传输之后,能够无损还原得到原始数据。
30、在一种可能的实施方式中,获取待处理数据序列,包括:
31、获取待处理图像,并进行解析处理,得到待处理图像中各像素点的数据值;
32、将数据值,按照第一顺序或者第二顺序,进行排列得到待处理数据序列;
33、其中,第一顺序表征按照第一方向依次从待处理图像中提取多个像素行,针对各像素行按照第二方向依次提取多个像素点的数据值;第二顺序表征按照第二方向依次从待处理图像中提取多个像素列,针对各像素列按照第一方向依次提取多个像素点的数据值;第一方向为从上至下,或者从下至上;第二方向为从左至右,或者从右至左。
34、基于上述的方案,基于对待处理图像的像素点进行按行拆解或者按列拆解,能够得到待处理数据序列。能够允许针对图像执行压缩处理,降低待处理图像所占的存储空间。
35、在一种可能的实施方式中,在将数据值,按照第一顺序或者第二顺序,进行排列得到待处理数据序列之前,方法还包括:
36、对待处理图像,确定第一变化率和第二变化率;其中,第一变化率为待处理图像中像素行的灰度梯度值;第二变化率为待处理图像中像素列的灰度梯度值;
37、若确定第一变化率小于或等于第二变化率,则将数据值,按照第一顺序进行排列得到待处理数据序列;否则,将数据值,按照第二顺序进行排列得到待处理数据序列。
38、基于上述的方案,采用横向或者纵向的差值计算策略,能够根据待处理图像的特性进行压缩率更好的方式进行待处理数据序列的提取。动态选择最优的数据提取方式,从而减少差值范围,进一步提升数据压缩率,从而降低存储空间的占用。
39、在一种可能的实施方式中,待处理图像的数量为多个,在将数据值,按照第一顺序或者第二顺序,进行排列得到待处理数据序列之后,方法还包括:
40、对多个待处理图像中的其中一个待处理图像中各像素点的数据值,按照第一顺序进行排列得到第一待处理数据序列,以及按照第二顺序进行排列得到第二待处理数据序列;
41、对第一待处理数据序列和第二待处理数据序列,分别执行根据待处理数据序列,确定头数据和差值序列;根据差值落入的数值范围的出现次数,确定差值对应的编码值;根据头数据、差值和差值对应的编码值,构建目标数据序列的步骤,得到对应的第一目标数据序列和第二目标数据序列;
42、分别计算第一目标数据序列和第二目标数据序列对应的压缩率;其中,压缩率表征目标数据序列相对于待处理数据序列所占存储空间的下降率;
43、将二者之间压缩率的较高值所对应的拆分顺序,作为多个待处理图像中的其他待处理图像的拆分顺序;其中,拆分顺序为第一顺序或者第二顺序。
44、基于上述的方案,在处理一个批次的多个待处理图像时,能够通过一次执行确定出压缩率较高的拆分方向,保证在多个图像数据的处理场景下,具有较高的压缩率。
45、第二方面,本技术提供了一种数据的处理装置,被配置为用于执行如上第一方面和/或第一方面各种可能的实施方式。
46、在一种可能的实施方式中,该数据的处理装置,包括:
47、获取模块,用于获取待处理数据序列;其中,待处理数据序列中包括多个待处理数据;
48、处理模块,用于根据待处理数据序列,确定头数据和差值序列;其中,头数据为待处理数据序列中的第一个待处理数据;差值序列包括多个差值,各差值为多个待处理数据中相邻的两个待处理数据之间的差值;
49、处理模块,还用于根据差值落入的数值范围的出现次数,确定差值对应的编码值;其中,出现次数为多个差值中落入各数值范围的差值的个数;编码值用于指示差值的存储位数,并且编码值的位数与出现次数呈负相关;
50、处理模块,还用于根据头数据、差值和差值对应的编码值,构建目标数据序列。
51、第三方面,本技术提供了一种电子设备,包括:存储器,处理器;
52、存储器存储计算机执行指令;
53、处理器执行存储器存储的计算机执行指令,使得处理器执行如上第一方面和/或第一方面各种可能的实施方式。
54、第四方面,本技术提供了一种数据结构,包括:头数据、差值、差值对应的编码值;
55、其中,头数据为待处理数据序列中的第一个待处理数据;差值为待处理数据序列中的多个待处理数据中相邻的两个待处理数据之间的差值;差值对应的编码值用于指示差值的存储位数,并且编码值的位数与差值属于的数值范围的出现次数呈负相关。
56、在一种可能的实施方式中,数据结构还包括:解码信息;
57、其中,解码信息包括按照数值范围组的总出现次数的从大到小的顺序,依次对应的解码位数;数值范围组中包括至少一个数值范围,数值范围为差值的取值所落入的数值范围。
58、第五方面,本技术提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。
59、第六方面,本技术提供了一种程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。
60、本技术实施例提供的数据处理方法、数据的处理装置、存储介质及程序产品,通过获取待处理数据序列,确定作为序列起始信息的头数据以及表征相邻待处理数据变化关系的差值序列,并根据差值落入的数值范围的出现次数确定差值对应的编码值,再根据头数据、差值和差值对应的编码值构建目标数据序列,能够利用待处理数据序列中相邻数据之间的小幅连续波动特征,对不同分布特征的差值采用与其出现次数相适配的位数表征方式,进而减少数据存储冗余,提高无损压缩效率,降低存储资源占用和传输开销。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com