一种数据分布式缓存自动加载与转换方法与流程

技术特征：
1.一种数据分布式缓存自动加载与转换方法，其特征在于，包括有以下方法步骤：s1、实现对数据信息进行自动加载存储：采用多节点的redis分布缓存机构，且每个节点负责一部分数据的存储，所述redis采用基于内存的key-value数据库；s2、建立存储对像，进行数据信息的缓存：redis分布缓存将hash视作一个整体作为数据库的value进行存储，把hash结构的整体看作对象，则hash结构里的key-value相当于该对象的属性名和属性值；s3、对数据信息进行获取：redis分布缓存中完成value的相关数据操作，实现对数据的获取，所述redis采用单线程数据传输，不存在并发数据读写的线程安全问题；s4、在对数据信息进行获取的过程中，对数据信息进行转换：数据信息获取之前，根据获取要求对数据信息进行转换模式处理，在完成数据转换之后，对数据进行传输处理。2.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述s1中的redis分布缓存的key-value数据库支持的数据结构包括支持简单的k/v类型，还支持list、set、hash类型的存储。3.根据权利要求2所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述redis分布缓存还支持持久化，所述redis分布缓存的持久化由rdb和aof实现。4.根据权利要求3所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述redis分布缓存定时将内存中的数据备份到磁盘中，形成一个快照；所述aof即记录下所述redis分布缓存中所有的更新操作。5.根据权利要求4所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述redis分布缓存中，提供了三种实现aof的策略，包括：不同步的aof_fsync_no，不自动触发写操作的同步；每秒同步的aof_fsync_everysec，每隔一秒都会将写操作同步到磁盘；每次写都同步的aof_fsync_always，每次发生写操作会立即同步到磁盘；redis所述redis分布缓存采用的是每秒同步的aof_fsync_everysec策略。6.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述s3对数据的获取过程为了提高所述redis分布缓存的可靠性，在每个节点进行主备设计，通过设定两个参数来有效地保证数据的一致性，且这两个参数如下所示：min-replicas-to-write和min-replicas-max-lag，所述redis分布缓存提供了两种同步模式，即完整重同步和部分重同步。7.根据权利要求6所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述完整重同步的流程如下所示：s301：当备服务器启动时，会向主服务器发送sync命令；s302：主服务器收到命令后会生成rdb文件，并记录从现在起新执行的写操作；s303：rdb生成后会发送给备服务器，备服务器通过rdb文件进行数据更新；s304：更新完成后，主服务器再将新记录的写操作发送给备服务器，备服务器执行完这些新记录的写操作，便与主服务器的数据保持一致；所述部分重同步当网络恢复后，主数据库将主备数据库断开连接之后的一系列写操作发送给备服务器，备数据库执行这些写操作，从而保证数据保持一致。8.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述
s4中的数据信息进行转换包括有以下处理：平滑处理：帮助除去数据中的噪声，主要方法有bin方法、聚类方法和回归方法；合计处理：对数据进行总结或合计操作；数据泛化处理：用更抽象的概念来取代低层次或数据层的数据对象；规格化处理：将有关属性数据按比例投射到特定的小范围之中；属性构造处理：根据已有属性集构造新的属性，以帮助数据处理过程。9.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述数据转换的内容包括：数据类型转换、数据语义转换、数据值域转换、数据粒度转换、表/数据拆分、行列转换、数据离散化、数据离散化、提炼新字段、属性构造、数据压缩等；数据类型转换：当数据来自不同数据源时，需要将不同数据源的数据类型进行统一转换为一种兼容的数据类型；数据粒度转换：会将业务系统数据按照数据仓库中不同的粒度需求进行聚合；表/数据拆分：一个表内的多个字段，存在表字段拆分的情况；行列转换：某些情况下，表内的行列数据会需要进行转换，用来满足基于项目和基于用户的相似度推荐计算；数据离散化：将连续取值的属性离散化成若干区间，来帮助消减一个连续属性的取值个数；数据标准化：不同字段间由于字段本身的业务含义不同，有些时间需要消除变量之间不同数量级造成的数值之间的悬殊差异。10.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述数据转换步骤如下：s401：执行数据发现，以识别源和数据类型；s402：确定需要发生的结构和数据转换；s403：执行数据映射以定义各个字段的映射，修改，连接，过滤和聚合方式；s404：从原始源提取数据；s405：执行转换；s406：然后实现数据的发送。

技术总结
本发明公开了一种数据分布式缓存自动加载与转换方法；包括有以下方法步骤：S1、实现对数据信息进行自动加载存储；S2、建立存储对像，进行数据信息的缓存；S3、实现对数据信息进行获取；S4、在对数据信息进行获取的时候，实现对数据信息进行转换；本发明通过Redis分布缓存对数据信息进行缓存处理，并且通过Redis分布缓存的键值对形成缓存存储，且为了有效的实现查询，采用Hash计算进行数据的计算处理，便于进行存储处理，并且Redis分布缓存单线程运行，有效的防止并发问题的产生，且实现对节点进行主备设定，提高数据的准确性，在实现对数据信息进行转换，使得数据信息能够有效的实现传输，并且能够有效的保持数据信息在转换过程中的精准度。的精准度。的精准度。


技术研发人员：陈忠国 李忱 周鑫 江何 门殿春 孟繁荣 姚志强
受保护的技术使用者：北京东方通科技股份有限公司
技术研发日：2022.09.22
技术公布日：2022/12/16