数据处理方法、数据读取方法、装置及数据仓库系统与流程

技术特征：
1.一种应用于数据仓库中服务数据层的数据处理方法，包括：计算数据在一个或多个指标名下的指标值；将由主键、指标名以及与所述指标名对应的指标值组成的指标数据写入存储部件，其中，所述主键用于表征计算所述指标值所依赖的数据集合的唯一性。2.根据权利要求1所述的数据处理方法，还包括：根据需求确定主键和指标名，其中，每个主键关联一个或多个指标名，所述主键用于反映计算与所述主键关联的指标名所对应的指标值时需要依赖的数据集合中数据所共有的字段值或字段值组合。3.根据权利要求2所述的数据处理方法，其中，计算数据在一个或多个指标名字段下的指标值的步骤包括：针对具有相同主键的数据进行计算，以得到这些数据在与所述主键关联的指标名下的指标值。4.根据权利要求1所述的数据处理方法，其中，所述主键由所述数据集合中数据关联的时间维度字段值和至少一个实体维度字段值组成。5.根据权利要求1所述的数据处理方法，其中，所述存储部件被配置为存储到所述存储部件中的指标数据还包括与数据仓库运维相关的基本字段，将由主键、指标名以及与所述指标名对应的指标值组成的指标数据写入存储部件的步骤包括：将由主键、指标名、与所述指标名对应的指标值以及基本字段值组成的指标数据写入所述存储部件。6.根据权利要求1所述的数据处理方法，其中，所述指标名分为第一指标名和第二指标名，与所述第一指标名对应的指标值为一个，与所述第二指标名对应的指标值为多个。7.根据权利要求1所述的数据处理方法，其中，所述数据为实时数据，计算数据在一个或多个指标名下的指标值的步骤包括：针对每个指标名设定一个实时任务；对多个针对不同指标名的实时任务进行并行处理，以得到不同指标名下的指标值。8.一种数据读取方法，包括：基于指标名从存储部件读取指标名字段的字段值与所述指标名一致的指标数据，其中，所述存储部件被配置为存储到所述存储部件中的指标数据包括主键字段、指标名字段以及指标值字段，所述主键字段用于表征计算所述指标数据的指标值字段所依赖的数据集合的唯一性，所述指标值字段用于表征与所述指标名字段对应的计算值；将读取的指标数据中具有相同主键的指标数据进行聚合；输出聚合后数据。9.一种数据仓库系统，包括：原始数据层组件，用于获取数据；数据清洗层组件，用于对所述原始数据层组件获取的数据进行清洗；服务数据层组件，用于计算所述数据清洗层组件清洗后的数据在一个或多个指标名字
段下的指标值，将由主键、指标名以及与所述指标名对应的指标值组成的指标数据写入存储部件，其中，所述主键用于表征计算所述指标值所依赖的数据集合的唯一性。10.根据权利要求9所述的数据仓库系统，还包括：应用数据层组件，用于基于指标名从所述存储部件读取指标名字段的字段值与所述指标名一致的指标数据，将读取的指标数据中具有相同主键的指标数据进行聚合，并输出聚合后数据。11.一种应用于数据仓库中服务数据层的数据处理装置，包括：计算模块，用于计算数据在一个或多个指标名下的指标值；写入模块，用于将由主键、指标名以及与所述指标名对应的指标值组成的指标数据写入存储部件，其中，所述主键用于表征计算所述指标值所依赖的数据集合的唯一性。12.一种数据读取装置，包括：读取模块，用于基于指标名从存储部件读取指标名字段的字段值与所述指标名一致的指标数据，其中，所述存储部件被配置为存储到所述存储部件中的指标数据包括主键字段、指标名字段以及指标值字段，所述主键字段用于表征计算所述指标数据的指标值字段所依赖的数据集合的唯一性，所述指标值字段用于表征与所述指标名字段对应的计算值；聚合模块，用于将读取的指标数据中具有相同主键的指标数据进行聚合；输出模块，用于输出聚合后数据。13.一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至8中任何一项所述的方法。14.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至8中任何一项所述的方法。

技术总结
公开了一种数据处理方法、数据读取方法、装置及数据仓库系统。计算数据在一个或多个指标名下的指标值；将由主键、指标名以及与指标名对应的指标值组成的指标数据写入存储部件，其中，主键用于表征计算指标值所依赖的数据集合的唯一性。由此，通过按照“主键 指标名 指标值”的数据格式将计算得到的指标数据存储到存储部件，可以将指标开发和使用进行解耦，增强数据仓库模型建设的复用性及易维护性。数据仓库模型建设的复用性及易维护性。数据仓库模型建设的复用性及易维护性。


技术研发人员：黄亦辰
受保护的技术使用者：阿里巴巴集团控股有限公司
技术研发日：2020.07.28
技术公布日：2022/2/6