数据处理方法、系统、设备以及存储介质与流程

技术特征：
1.一种数据处理方法，包括：对获取的数据进行解析；根据解析获取的数据参数对所述获取的数据进行筛选和/或转换，获得第一数据；对所述第一数据进行去重处理。2.根据权利要求1所述的方法，其中，所述对获取的数据进行解析，包括：对获取的数据的数据头部和/或数据尾部进行分析，以获得所述数据参数。3.根据权利要求1所述的方法，其中，所述根据解析获取的数据参数对所述获取的数据进行筛选和/或转换，包括：所述获取的数据参数包括：数据名称、数据类型、数据用途和/或数据起始时间。4.根据权利要求1所述的方法，其中，所述对所述第一数据进行去重处理，包括：依据所述获取的数据参数的数据名称、数据类型、数据用途和/或数据起始时间对所述第一数据进行去重；将所述去重后的第一数据进行标记，获得第二数据。5.根据权利要求4所述的方法，还包括：获取所述第二数据传输的路径；依据所述第二数据传输的路径进行去重，获得第三数据。6.根据权利要求5所述的方法，其中，所述依据所述第二数据传输的路径进行去重，获得第三数据，包括：将所述第二数据传输的路径进行编码；依据编码后的所述第二数据传输的路径进行去重，获得所述第三数据。7.根据权利要求6所述的方法，其中，根据解析获取的数据参数对所述获取的数据进行转换，包括：对所述获取的数据进行增量或缩量的转换。8.一种数据处理系统，包括：解析装置：用于对获取的数据进行解析；提取装置：用于根据解析获取的数据参数对所述获取的数据进行筛选和/或转换，获得第一数据；去重装置：用于对所述第一数据进行去重处理。9.根据权利要求8所述的系统，其中，所述解析装置包括：对获取的数据的数据头部和/或数据尾部进行分析，以获得所述数据参数。10.根据权利要求8所述的系统，其中，所述提取装置包括：所述获取的数据参数包括：数据名称、数据类型、数据用途和/或数据起始时间。11.根据权利要求8所述的系统，其中，所述去重装置包括：第一去重模块：用于依据所述获取的数据参数的数据名称、数据类型、数据用途和/或数据起始时间对所述第一数据进行去重；标记模块：将所述去重后的第一数据进行标记，获得第二数据。12.根据权利要求11所述的系统，还包括：路径获取模块：用于获取所述第二数据传输的路径；第二去重模块：用于依据所述第二数据传输的路径进行去重，获得第三数据。
13.根据权利要求12所述的系统，所述第二去重模块包括：编码模块：用于将所述第二数据传输的路径进行编码；第三去重模块：用于依据编码后的所述第二数据传输的路径进行去重，获得所述第三数据。14.根据权利要求13所述的系统，所述提取装置包括：对所述获取的数据进行增量或缩量的转换。15.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1
‑
7中任一项所述的方法。16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1
‑
7中任一项所述的方法。17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1
‑
7中任一项所述的方法。18.一种数据处理产品，包括：测试服务器、边缘计算服务器。

技术总结
本申请公开了一种数据处理方法、系统、设备以及存储介质，涉及计算机技术领域，尤其涉及数据处理技术领域。具体实现方案为：一种数据处理方法，包括：对获取的数据进行解析；根据解析获取的数据参数对所述获取的数据进行筛选和/或转换，获得第一数据；对所述第一数据进行去重处理。本公开的技术方案可以解决消息队列在线下测试时的不可编辑的问题，使得测试线上系统时，灵活度增强，也缩短了测试时间，提高了测试的精确度。了测试的精确度。了测试的精确度。


技术研发人员：胡蔚芳
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.08.20
技术公布日：2021/11/14