一种异构流数据处理方法及装置与流程

技术特征：
1.一种异构流数据处理方法，其特征在于，该方法包括：获取待处理的实时流数据；当预先设置的标准化配置文件中存在与所述实时流数据匹配的标准化配置时，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理。2.根据权利要求1所述的方法，其特征在于，获取待处理的实时流数据之前，该方法还包括：从预先设置的标准化配置文件中加载标准化配置到spark广播变量中。3.根据权利要求2所述的方法，其特征在于，通过如下方式确定与所述实时流数据匹配的标准化配置：对于所述spark广播变量中的每一条标准化配置，判断该标准化配置是否与所述实时流数据匹配。4.根据权利要求3所述的方法，其特征在于，对于所述spark广播变量中的每一条标准化配置，判断该标准化配置是否与所述实时流数据匹配，具体包括：对于所述每一条标准化配置，当所述实时流数据中存在该标准化配置中的字段，并且字段的取值相同时，确定该标准化配置与所述实时流数据匹配。5.根据权利要求2所述的方法，其特征在于，该方法还包括：监控所述标准化配置是否需要更新，当需要更新时，将标准化配置文件中的标准化配置更新到所述spark广播变量中。6.根据权利要求1所述的方法，其特征在于，每一条标准化配置中包括：用于过滤掉无用数据的过滤条件、所有过滤条件的组合方式、数据处理方式，以及目标流数据的写入对象；所述目标流数据为对所述实时流数据进行处理后得到的数据。7.根据权利要求6所述的方法，其特征在于，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理，具体包括：对于与所述实时流数据匹配的每一条标准化配置，分别判断所述实时流数据是否满足该条标准化配置中的每一过滤条件，得到每一过滤条件对应的判断结果，并根据所述组合方式组合所述判断结果，得到组合结果；当所述组合结果满足预设条件时，按照所述数据处理方式对所述实时流数据进行处理。8.根据权利要求2所述的方法，其特征在于，从预先设置的标准化配置文件中加载标准化配置到spark广播变量中，具体包括：从预先设置的标准化配置文件中，逐行读取标准化配置；对每一行标准化配置，将该行标准化配置由json字符串转换为json对象，利用所述json对象中的如下字段之一或组合构建spark广播变量：用于识别实时流数据是否与该行标准化配置相匹配的第一字段；用于表示对所述类型的实时流数据的过滤条件的第二字段；用于表示所述第二字段中所有过滤条件的组合方式的第三字段；用于表示数据处理方式的第四字段；用于表示目标流数据的写入对象的第五字段。9.一种异构流数据处理装置，其特征在于，包括：存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至8任一项所述的方法。10.一种用于计算机的计算机程序产品，包括：软件代码部分，当所述产品在所述计算机上运行时，所述软件代码部分用于执行根据权利要求1至8任一项所述的方法。11.根据权利要求10的计算机程序产品，其中，所述计算机程序产品包括在其上存储有所述软件代码部分的计算机可读介质，和/或，所述计算机程序产品能够通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到所述计算机的内部存储器中和/或发送。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至8任一项所述的方法。

技术总结
本申请公开了一种异构流数据处理方法及装置，涉及数据处理技术领域，用以实现异构流数据的标准化，并且节约成本，提高工作效率。本申请提供的异构流数据处理方法包括：获取待处理的实时流数据；当预先设置的标准化配置文件中存在与所述实时流数据匹配的标准化配置时，利用与所述实时流数据匹配的标准化配置，对所述实时流数据进行处理。本申请实现了异构流数据的标准化转换处理，并且，当需要变更对流数据的标准化处理方法时，只需更新标准化配置文件即可，无需修改数据处理的底层代码，进而节约了成本，数据处理系统运维也比较简单，提高了工作效率。了工作效率。了工作效率。


技术研发人员：李龙飞 刘波 卜林杰 陈帆 杜翠红 袁铨
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：2021.11.15
技术公布日：2022/2/18