一种数据处理方法、装置、存储介质及计算机系统与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：将待处理数据中的同类型数据转换成具有统一格式的数据传输对象；采用预设处理函数处理所述数据传输对象中包含的数据，得到处理后数据；为所述处理后数据配置对应的载体，得到输出流数据；存储所述输出流数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述将待处理数据中的同类型数据转换成具有统一格式的数据传输对象包括：接收多源数据，并基于数据类型对所述多源数据分类，得到多个具有同类型数据的数据组；根据所述数据组中数据的类型，选择对应的具有第一格式的数据传输对象，并使用具有所述第一格式的数据传输对象封装所述数据组，得到数据传输对象。3.根据权利要求1所述的数据处理方法，其特征在于，在所述将待处理数据中的同类型数据转换成具有统一格式的数据传输对象之前，所述方法还包括：为所述待处理数据配置对应的鉴权信息。4.根据权利要求1所述的数据处理方法，其特征在于，所述为所述处理后数据配置对应的载体，得到输出流数据包括：基于使用目的原则，选择与所述处理后数据对应的具有第一类型的载体；采用具有所述第一类型的载体搭载所述处理后数据，得到输出流数据。5.根据权利要求1所述的数据处理方法，其特征在于，所述存储所述输出流数据包括：确定所述输出流数据的主键，并基于所述主键生成存储列表；存储所述输出流数据以及与所述输出流数据对应的存储列表。6.根据权利要求1所述的数据处理方法，其特征在于，在所述存储所述输出流数据之前，所述方法还包括：采用滑动窗口算法处理所述输出流数据，输出第一数据；以及采用归并排序算法处理所述输出流数据，得到第二数据；以用于存储所述第一数据以及所述第二数据。7.根据权利要求1所述的数据处理方法，其特征在于，在将待处理数据中的同类型数据转换成具有统一格式的数据传输对象之前，所述方法还包括：确定所述待处理数据的接收方式，并按照所述接收方式接收所述待处理数据，其中，所述接收方式为全量数据接收方式或增量数据接收方式。8.一种数据处理装置，其特征在于，包括：转换模块，用于将待处理数据中的同类型数据转换成具有统一格式的数据传输对象；处理模块，用于采用预设处理函数处理所述数据传输对象中包含的数据，得到处理后数据；配置模块，用于为所述处理后数据配置对应的载体，得到输出流数据；存储模块，用于存储所述输出流数据。9.一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至7中任一项所述的数据处理方法。10.一种计算机系统，其特征在于，包括：
处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的数据处理方法。

技术总结
本公开涉及数据处理技术领域，具体涉及一种数据处理方法、装置、存储介质及计算机系统。通过将待处理数据中的同类型数据转换成具有统一格式的数据传输对象，以便于后续采用预设处理函数处理所述数据传输对象中包含的数据而得到处理后数据；通过为处理后数据配置对应的载体并存储，以使处理后数据可以流转至下一处理节点，能够有效的减少数据处理过程中数据源的接收、各种载体的输出浪费的时间，进而简化数据处理过程，提高数据处理效率，以解决现有的数据处理方法中，数据处理过程繁杂易出错，且数据处理效率低。且数据处理效率低。且数据处理效率低。


技术研发人员：张林
受保护的技术使用者：北京京东振世信息技术有限公司
技术研发日：2022.03.01
技术公布日：2022/5/30