数据处理方法、设备及存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：获取待处理数据，并根据预设规则和所述待处理数据的数据特征，确定所述待处理数据的第一key；若本地缓存中存在所述第一key对应的数据，则将所述第一key的最近访问时间和累计访问次数进行更新；根据本地缓存最小时间戳、更新后的所述第一key的最近访问时间和更新后的所述第一key的累计访问次数，计算所述第一key的当前热度值；所述本地缓存最小时间戳为所述本地缓存中各key的更新后的最近访问时间中的最小值；根据所述第一key的当前热度值，将所述第一key对应的数据存储于本地缓存中或非本地缓存中；所述非本地缓存中各数据对应的热度值低于所述本地缓存中各数据对应的热度值。2.根据权利要求1所述的方法，其特征在于，所述根据预设规则和所述待处理数据的数据特征，确定所述待处理数据的第一key之后，还包括：若本地缓存中存在需与所述第一key进行关联访问的第二key，则将所述第二key的最近访问时间和累计访问次数进行更新；根据本地缓存最小时间戳、更新后的所述第二key的最近访问时间和更新后的所述第二key的累计访问次数，计算所述第二key的当前热度值；根据所述第二key的当前热度值，将所述第二key对应的数据存储于本地缓存中或非本地缓存中。3.根据权利要求1所述的方法，其特征在于，所述根据本地缓存最小时间戳、更新后的所述第一key的最近访问时间和更新后的所述第一key的累计访问次数，计算所述第一key的当前热度值，包括：将所述第一key的最近访问时间与所述本地缓存最小时间戳之间的差值，和所述第一key的累计访问次数的加权和，确定为所述第一key的热度值。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一key的当前热度值，将所述第一key对应的数据存储于本地缓存中或非本地缓存中，包括：根据所述热度值，将所述第一key对应的数据加入本地缓存的优先级队列中；所述优先级队列的头部数据的热度值高于尾部数据的热度值；根据所述优先级队列的当前的元素个数和预设阈值，将优先级队列中满足预设条件的尾部数据换出至非本地缓存中。5.根据权利要求4所述的方法，其特征在于，所述非本地缓存包括缓存集群，所述预设阈值包括窗口允许最大值、基准值和预设最低热度值；所述根据所述优先级队列的当前的元素个数和预设阈值，将优先级队列中满足预设条件的尾部数据换出至非本地缓存中，包括：若所述优先级队列的元素个数大于窗口允许最大值，则将所述优先级队列中大于所述窗口允许最大值的尾部数据换出到已淘汰队列中；若所述优先级队列的元素个数小于所述窗口允许最大值且大于基准值，则将所述优先级队列中热度值小于预设最低热度值的尾部数据换出到已淘汰队列；定时扫描所述已淘汰队列，并将所述已淘汰队列中的数据删除并批量换出至缓存集群
中。6.根据权利要求5所述的方法，其特征在于，所述非本地缓存还包括缓持久层，所述定时扫描所述已淘汰队列，并将所述已淘汰队列中的数据删除并批量换出至缓存集群中之后，还包括：为换出至所述缓存集群中的各数据设置过期时长；将各数据对应的key和失效时间写入持久化有序队列中；定时扫描所述持久化有序队列，获取达到失效时间的第三key，并将所述第三key对应的数据换出至持久层。7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：获取用户的查询请求，并对所述查询请求进行解析，获得所述查询请求对应第四key；根据所述第四key，从所述本地缓存中读取所述第四key对应的数据，若未读取到所述第四key对应的数据，则从所述非本地缓存中读取所述第四key对应的数据。8.一种数据处理设备，其特征在于，包括：获取模块，用于获取待处理数据，并根据预设规则和所述待处理数据的数据特征，确定所述待处理数据的第一key；更新模块，用于若本地缓存中存在所述第一key对应的数据，则将所述第一key的最近访问时间和累计访问次数进行更新；计算模块，用于根据本地缓存最小时间戳、更新后的所述第一key的最近访问时间和更新后的所述第一key的累计访问次数，计算所述第一key的当前热度值；所述本地缓存最小时间戳为所述本地缓存中各key的更新后的最近访问时间中的最小值；存储模块，用于根据所述第一key的当前热度值，将所述第一key对应的数据存储于本地缓存中或非本地缓存中；所述非本地缓存中各数据对应的热度值低于所述本地缓存中各数据对应的热度值。9.一种数据处理设备，其特征在于，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的数据处理方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的数据处理方法。

技术总结
本申请提供一种数据处理方法、设备及存储介质，该方法包括获取待处理数据，根据预设规则和待处理数据的数据特征，确定待处理数据的第一Key，若本地缓存中存在第一Key对应的数据，则将第一Key的最近访问时间和累计访问次数进行更新，根据本地缓存最小时间戳、更新后的第一Key的最近访问时间和更新后的第一Key的累计访问次数，计算第一Key的当前热度值；根据第一Key的当前热度值，将第一Key对应的数据存储于本地缓存中或非本地缓存中，非本地缓存中各数据对应的热度值低于所述本地缓存中各数据对应的热度值。本申请提供的数据处理方法，提高了数据处理效率。提高了数据处理效率。提高了数据处理效率。


技术研发人员：李丹 徐可飞 张兴宇
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：2021.12.31
技术公布日：2022/4/5