数据处理的方法、装置、电子设备、存储介质及产品与流程

技术特征：
1.一种数据处理的方法，其特征在于，所述方法包括：获取预先存储的待处理数据，并依据预设维度对所述待处理数据进行维度划分处理，得到至少两个维度下的数据；依据所述至少两个维度下的数据中的每一维度下的数据的数据量，对每一维度下的数据进行数据体量处理，得到每一维度下的处理后的数据；将各维度下的处理后的数据，发送至多个不同节点进行数据处理。2.根据权利要求1所述的方法，其特征在于，依据所述至少两个维度下的数据中的每一维度下的数据的数据量，对每一维度下的数据进行数据体量处理，得到每一维度下的处理后的数据，包括：针对所述至少两个维度下的数据中的每一维度下的数据，若确定该维度下的数据的数据量大于预设数据存储阈值，则根据该维度下的数据、所述至少两个维度下的数据中的任一其他维度下的数据进行数据缩小处理，得到该维度下的处理后的数据；若确定该维度下的数据的数据量小于等于预设数据存储阈值，则确定该维度下的数据，为该维度下的处理后的数据。3.根据权利要求2所述的方法，其特征在于，若确定该维度下的数据的数据量大于预设数据存储阈值，则根据该维度下的数据、所述至少两个维度下的数据中的任一其他维度下的数据进行数据缩小处理，得到该维度下的处理后的数据，包括：若确定该维度下的数据的数据量大于预设数据存储阈值，则提取该维度下的数据、所述至少两个维度下的数据中的任一其他维度下的数据两者之间的交集，得到该维度下的处理后的数据，所述该维度下的处理后的数据为该维度下的数据、所述至少两个维度下的数据中的任一其他维度下的数据两者的交集下的数据。4.根据权利要求1所述的方法，其特征在于，每一维度下的处理后的数据与至少一个节点相对应；将各维度下的处理后的数据，发送至多个不同节点进行数据处理，包括：若确定每一节点的当前数据处理量大于预设数据处理阈值，则将与该节点对应的处理后的数据中的部分数据，发送至该节点进行处理，其中，所述部分数据为与该节点对应的处理后的数据中的在所述预设数据处理阈值范围之内的数据，并将与该节点对应的处理后的数据中的剩余数据，发送至其他节点进行处理，所述剩余数据为与该节点对应的处理后的数据中的超出所述预设数据处理阈值的数据。5.根据权利要求1所述的方法，其特征在于，所述预设维度中包括多个维度值；依据预设维度对所述待处理数据进行维度划分处理，得到至少两个维度下的数据，包括：依据每一维度值在所述待处理数据中确定每一维度值下的数据，以得到所述至少两个维度下的数据。6.根据权利要求1所述的方法，其特征在于，在依据所述至少两个维度下的数据中的每一维度下的数据的数据量，对每一维度下的数据进行数据体量处理，得到每一维度下的处理后的数据之前，还包括：识别并剔除无效维度下的无效数据。7.根据权利要求6所述的方法，其特征在于，在将各维度下的处理后的数据，发送至多个不同节点进行数据处理之后，还包括：获取每一节点的数据处理结果；
将与各维度对应的数据处理结果进行合并处理，得到合并结果；将所述合并结果和所述无效数据进行合并处理，得到待查询数据。8.一种数据处理的装置，其特征在于，所述装置包括：划分处理模块，用于获取预先存储的待处理数据，并依据预设维度对所述待处理数据进行维度划分处理，得到至少两个维度下的数据；数据体量处理模块，用于依据所述至少两个维度下的数据中的每一维度下的数据的数据量，对每一维度下的数据进行数据体量处理，得到每一维度下的处理后的数据；发送模块，用于将各维度下的处理后的数据，发送至多个不同节点进行数据处理。9.一种电子设备，其特征在于，包括：存储器，处理器；存储器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行权利要求1至权利要求7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。11.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结
本发明实施例提供一种数据处理的方法、装置、电子设备、存储介质及产品。通过获取预先存储的待处理数据，并依据预设维度对所述待处理数据进行维度划分处理，得到至少两个维度下的数据；依据所述至少两个维度下的数据中的每一维度下的数据的数据量，对每一维度下的数据进行数据体量处理，得到每一维度下的处理后的数据；将各维度下的处理后的数据，发送至多个不同节点进行数据处理。采用上述技术手段，能够在数据量较大的情况下提升ClickHouse处理数据的效率。据的效率。据的效率。


技术研发人员：钱叶 陈洪健 屠志强
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2021.12.23
技术公布日：2022/5/25