业务数据确定方法、装置、设备及存储介质与流程

技术特征：
1.一种业务数据确定方法，其特征在于，所述方法包括：获取目标业务数据对应的数据类型和数据加工方式；基于所述数据类型和所述数据加工方式，生成spark sql表达式；基于所述spark sql表达式，从多个数据源的原始业务数据中确定目标业务数据。2.如权利要求1所述的方法，其特征在于，所述基于所述数据类型和所述数据加工方式，生成spark sql表达式，包括：基于所述数据类型和所述数据加工方式，生成数据列加工表达式；基于所述数据列加工表达式，生成spark sql表达式。3.如权利要求2所述的方法，其特征在于，所述基于所述数据列加工表达式，生成spark sql表达式，包括：获取所述原始业务数据的数据结构信息；基于所述数据加工方式，更新所述数据结构信息，得到更新后数据结构信息；基于所述更新后数据结构信息和所述数据列加工表达式，生成spark sql表达式。4.如权利要求1所述的方法，其特征在于，所述基于所述spark sql表达式，从多个数据源的原始业务数据中确定目标业务数据之前，包括：获取数据连接信息；基于所述数据连接信息，连接多个数据源，并基于预设查找方式从所述多个数据源中确定多个目标数据块；从所述多个目标数据块中抽取原始业务数据。5.如权利要求4所述的方法，其特征在于，所述获取数据连接信息，包括：接收配置指令，并基于所述配置指令，生成数据连接信息；其中，所述配置指令是用户基于多个数据源的数据源类型给出的。6.如权利要求4所述的方法，其特征在于，所述从所述多个目标数据块中抽取原始业务数据，包括：获取与所述多个目标数据块对应的关联字段；基于所述关联字段，建立与所述多个目标数据块之间的关联关系；基于所述关联关系，从所述多个目标数据块中抽取原始业务数据。7.如权利要求1至6中任一项所述的方法，其特征在于，所述基于所述spark sql表达式，从多个数据源的原始业务数据中确定目标业务数据，包括：获取多个数据源的原始业务数据对应的临时视图；基于所述spark sql表达式，从所述临时视图中确定目标业务数据。8.一种业务数据确定装置，其特征在于，所述业务数据确定装置包括：第一获取模块，用于获取目标业务数据对应的数据类型和数据加工方式；生成模块，用于基于所述数据类型和所述数据加工方式，生成spark sql表达式；第一确定模块，用于基于所述spark sql表达式，从多个数据源的原始业务数据中确定目标业务数据。9.一种业务数据确定设备，其特征在于，所述业务数据确定设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的业务数据确定程序，所述业务数据确定程序被所述处理器执行时实现如权利要求1至7中任一项所述的业务数据确定方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有业务数据确定程序，所述业务数据确定程序被处理器执行时实现如权利要求1至7中任一项所述的业务数据确定方法的步骤。

技术总结
本申请公开了一种业务数据确定方法、装置、设备及存储介质，该方法包括步骤：获取目标业务数据对应的数据类型和数据加工方式；基于所述数据类型和所述数据加工方式，生成Spark SQL表达式；基于所述Spark SQL表达式，从多个数据源的原始业务数据中确定目标业务数据。本申请实现了通过Spark SQL表达式统一加工多个数据源的原始业务数据，而无需采用多个方法或函数来加工该原始业务数据，从而降低了加工处理多个数据源的数据时的成本。理多个数据源的数据时的成本。理多个数据源的数据时的成本。


技术研发人员：成建洪 罗启铭 杜冬冬 熊皓 覃江威 吴育校 陈功 王宗强 赵一波 冯建设
受保护的技术使用者：深圳市信润富联数字科技有限公司
技术研发日：2021.11.03
技术公布日：2021/11/30