一种数据处理的方法、系统、设备及可读存储介质与流程

技术特征：
1.一种数据处理的方法，其特征在于，包括：根据输入的数据处理请求确定待处理数据名称及对应的处理操作；按照预设字段映射关系表确定所述待处理数据名称对应的es字段名称；其中，所述es字段名称与es字段的对应关系为多对一；在es数据库中查找所述es字段名称对应的es数据，并执行所述处理操作对所述es数据进行处理。2.根据权利要求1所述的方法，其特征在于，在按照预设字段映射关系表确定所述待处理数据名称对应的es字段名称之前，还包括：根据输入的数据存储请求确定待存储数据的es字段类型；判断所述预设字段映射关系表中是否存在所述es字段类型对应的es字段名称；若存在，则依据预设命名规则创建所述es字段类型对应的新es字段名称，并将所述待存储数据存储至所述新es字段名称中；若不存在，则创建所述es字段名称，并将所述待存储数据存储至所述es字段名称中。3.根据权利要求2所述的方法，其特征在于，在创建所述es字段类型对应的新es字段名称之前，还包括：判断所述es字段类型对应的es字段名称的数量是否超过第一阈值；若超过，则禁止创建所述新es字段名称，并输出所述es字段类型对应的es字段名称数量超过所述第一阈值的提示信息。4.根据权利要求2所述的方法，其特征在于，还包括：依据所述待存储数据与所述es字段名称或所述新es字段名称的对应关系建立所述预设字段映射关系表。5.根据权利要求4所述的方法，其特征在于，还包括：依据接收到的字段名称修改命令对所述预设字段映射关系表进行修改。6.根据权利要求5所述的方法，其特征在于，在依据接收到的字段名称修改命令对所述预设字段映射关系表进行修改之后，还包括：利用zookeeper程序广播通知每台机器清理本地缓存的所述预设字段映射关系表，并拉取修改之后的预设字段映射关系表进行缓存。7.根据权利要求1所述的方法，其特征在于，还包括：定期扫描所述预设字段映射关系表，并将存储时间超过第二阈值的es数据删除。8.一种数据处理的系统，其特征在于，包括：第一确定模块，用于根据输入的数据处理请求确定待处理数据名称及对应的处理操作；第二确定模块，用于按照预设字段映射关系表确定所述待处理数据名称对应的es字段名称；其中，所述es字段名称与es字段的对应关系为多对一；数据处理模块，用于在es数据库中查找所述es字段名称对应的es数据，并执行所述处理操作对所述es数据进行处理。9.一种数据处理设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述数据处理的方法
的步骤。10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据处理的方法的步骤。

技术总结
本申请公开了一种数据处理的方法，包括：根据输入的数据处理请求确定待处理数据名称及对应的处理操作；按照预设字段映射关系表确定待处理数据名称对应的ES字段名称；在ES数据库中查找ES字段名称对应的ES数据，并执行处理操作对ES数据进行处理。本申请解决了ES数据库存在的默认字段上限的问题，实现更加简单，而且本申请是在进行ES数据处理操作之前进行的待处理数据名称与ES字段名称的映射，不会降低ES检索性能，进而不会影响业务处理的响应速度，达到了在突破ES数据库限制的基础上提高ES数据库的数据处理效率的效果。本申请同时还提供了一种数据处理的系统、设备及可读存储介质，具有上述有益效果。具有上述有益效果。具有上述有益效果。


技术研发人员：梁铖
受保护的技术使用者：上海销氪信息科技有限公司
技术研发日：2021.07.13
技术公布日：2021/10/23