基于压缩编码的数据传输优化方法及系统与流程

摘要: 本发明涉及数据传输,特别涉及基于压缩编码的数据传输优化方法及系统。背景技术:1、在移动互联网大数据采集场景中,发送端传输设备需要高频地向服务端上报用户行为数据。...
基于压缩编码的数据传输优化方法及系统与流程

本发明涉及数据传输,特别涉及基于压缩编码的数据传输优化方法及系统。

背景技术:

1、在移动互联网大数据采集场景中,发送端传输设备需要高频地向服务端上报用户行为数据。这些行为数据通常以json格式组织。当发送端采用批量上报策略时,一次请求中可能包含数十甚至数百条事件数据,整体数据量可达数十kb甚至数百kb。批量数据的原始数据体积大且包含的字段值在短时间内高度一致,存在大量跨条目的值级冗余,导致压缩耗时长;并且,发送端网络环境复杂多变,wifi、4g等场景频繁切换,上报数据所采用的压缩策略无法适应不同网络条件下对压缩率与压缩耗时的平衡需求。

2、目前,常见的一些数据传输优化方式中,直接传输原始json字符串的方式实现简单但带宽利用率低,在弱网环境下严重影响数据完整性和用户体验;仅使用通用压缩算法压缩后传输二进制数据的方式虽然能有效减小数据体积,但未针对json结构化数据的键名重复特征进行专门优化,且压缩后的二进制数据需要额外处理才能在http文本协议中安全传输。仅使用base64编码后传输,虽然能保证传输兼容性,但base64编码本身会增加约33%的数据体积,反而增加了传输负担。

技术实现思路

1、本发明所要解决的技术问题是:提供基于压缩编码的数据传输优化方法及系统,在保证传输兼容性和数据完整性的前提下,传输过程具有更高的压缩效率和更好的网络环境适应性。

2、为了解决上述技术问题,本发明采用的技术方案为:

3、基于压缩编码的数据传输优化方法,包括如下步骤:

4、获取待传数据,为所述待传数据的键名分配编码标识,得到关联所述键名和所述编码标识的键名映射字典;

5、根据键名映射字典将所述待传数据的所述键名替换为对应的所述编码标识,并对所述待传数据进行跨条目值级去重处理,得到预处理数据;

6、预设至少两种压缩策略,获取传输设备的实时环境参数,根据所述实时环境参数,选取所述压缩策略;

7、基于被选的所述压缩策略,整合并压缩所述预处理数据和所述键名映射字典,得到压缩数据,将所述压缩数据封装成待传输的帧数据包。

8、为了解决上述技术问题,本发明采用的另一技术方案为:

9、基于压缩编码的数据传输优化系统,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现上述的基于压缩编码的数据传输优化方法。

10、本发明的有益效果在于:提供基于压缩编码的数据传输优化方法及系统,为待传数据的键名分配编码标识,得到关联键名和编码标识的键名映射字典;将待传数据的键名替换为对应的编码标识,并对待传数据进行跨条目值级去重处理,通过标识替换和跨条目值级去重处理缩小数据体积并只需要传输替换后的数据和键名映射字典即可,提高压缩效率,在压缩处理时根据实时环境参数,选取压缩策略,使得压缩的数据大小等充分考量当前环境的变化,整合并压缩预处理数据和键名映射字典,得到压缩数据,将压缩数据封装成待传输的帧数据包,在保证传输兼容性和数据完整性的前提下,传输过程具有更高的压缩效率和更好的网络环境适应性。

1.基于压缩编码的数据传输优化方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于压缩编码的数据传输优化方法,其特征在于,所述为所述待传数据的键名分配编码标识包括:

3.根据权利要求1所述的基于压缩编码的数据传输优化方法,其特征在于,所述选取所述压缩策略包括:

4.根据权利要求3所述的基于压缩编码的数据传输优化方法,其特征在于,所述计算所述当前环境参数对应的综合环境评分包括:

5.根据权利要求4所述的基于压缩编码的数据传输优化方法,其特征在于,还包括:

6.根据权利要求1所述的基于压缩编码的数据传输优化方法,其特征在于,还包括:

7.根据权利要求1所述的基于压缩编码的数据传输优化方法,其特征在于,还包括:

8.根据权利要求7所述的基于压缩编码的数据传输优化方法,其特征在于, 所述将所述帧数据包加入消息队列具体为:

9.根据权利要求7所述的基于压缩编码的数据传输优化方法,其特征在于,还包括:

10.基于压缩编码的数据传输优化系统,其特征在于,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现权利要求1至9任意一项所述的基于压缩编码的数据传输优化方法。