一种企业级数字化运营信息的多维度分析系统的制作方法

本技术涉及数据处理，具体涉及一种企业级数字化运营信息的多维度分析系统。

背景技术：

1、在联机分析处理（olap）系统中，roaring bitmap作为一种高效的压缩位图索引技术，被广泛应用于用户画像去重、行为分析等场景。roaring bitmap底层采用混合存储策略，根据数据稀疏程度选择不同类型的容器进行数据存储。而在实际查询业务中，系统常需对连续时间窗口内的多个位图对象执行逻辑合并操作，以支持复杂的olap查询与实时分析。

2、现有的资源预估方案通常仅基于位图的基数，即包含的元素总数来估算计算开销，这种线性估算方法忽略了底层容器类型的异构性，在合并过程中，如果参与运算的两个位图在相同的键值位置上具有相同类型的容器，cpu可以通过simd指令高效处理；但若容器类型不匹配，或者数据在键值空间上分布错位，cpu将无法有效利用分支预测和流水线技术，导致指令执行周期显著增加；这种因物理结构复杂性所引发的隐性高耗无法被感知并捕获，会导致系统在olap查询处理中出现资源预估严重失真、执行策略决策失据，进而引发计算节点过载或查询响应超时。

技术实现思路

1、为了解决上述技术问题，提供一种企业级数字化运营信息的多维度分析系统。

2、本技术解决技术问题的方案是提供一种企业级数字化运营信息的多维度分析系统，所述系统包括：

3、元数据提取模块，用于响应查询请求时，提取其所指定查询时段内每个时间窗口下位图对象的容器类型统计向量以及键空间分布位图；其中，该向量记录位图对象中每种容器类型的容器数量，键空间分布位图记录位图对象中在高位键值空间的存在性分布；

4、预估分析模块，用于获取预估指令消耗量，具体为：

5、分析不同键空间分布位图之间的分布差异占比，计算查询时段的置换率，生成查询策略指令并确定待处理单元；

6、利用容器类型统计向量中不同种容器类型的容器数量，评估对待处理单元执行逻辑合并操作所消耗的预期资源开销，计算待处理单元的总基准开销；

7、分析相邻时间窗口之间键空间分布位图的分布差异性，得到待处理单元的空间翻转数；通过相邻时间窗口之间容器类型统计向量的差异性，确定待处理单元的类型波动量，结合空间翻转数，得到待处理单元的惩罚系数；

8、基于总基准开销与惩罚系数，确定待处理单元的预估指令消耗量；

9、决策执行模块，用于基于预估指令消耗量选择并执行相应的计算策略，以完成对待处理单元的查询。

10、优选的，所述计算查询时段的置换率，包括：将查询时段内第一个时间窗口的前一个时间窗口，定义为参考窗口；对查询时段内最后一个时间窗口与参考窗口之间的键空间分布位图分别进行按位异或运算、按位或运算，并分别统计运算结果中值为1的比特位的数量，分别记为第一数量、第二数量；将第一数量与第二数量的比值，作为查询时段的置换率。

11、优选的，所述生成查询策略指令并确定待处理单元，包括：若置换率大于预设数值，执行分片查询策略，反之，执行整片查询策略；其中，分片查询策略：计算相邻两个时间窗口的键空间分布位图的距离，选取查询时段内最大距离对应的时间窗口，以其为分割点，将查询时段划分为两个子时段作为两个独立的待处理单元以并行执行查询操作后再合并查询结果；整片查询策略：将整个查询时段作为一个待处理单元执行查询操作。

12、优选的，所述计算待处理单元的总基准开销，包括：

13、针对每个时间窗口，以每种容器类型对应预设的单位开销为权重，对容器类型统计向量中所有容器类型的容器数量进行加权求和，得到每个时间窗口的理论开销代价；

14、所述总基准开销与理论开销代价呈正相关关系。

15、优选的，所述得到待处理单元的空间翻转数，包括：对相邻两个时间窗口的键空间分布位图进行按位异或运算，获取异或结果位图，统计其值为1的比特位的总数，并将待处理单元内所有相邻两个时间窗口的总数进行正向融合，作为待处理单元的空间翻转数。

16、优选的，所述确定待处理单元的类型波动量，包括：

17、针对相邻两个时间窗口，计算其容器类型统计向量之间在同一种容器类型下容器数量的差异，作为数量差异，并将所有种容器类型的数量差异的和值，作为相邻两个时间窗口的总差异量；

18、所述类型波动量为待处理单元内所有相邻两个时间窗口的总差异量进行正向融合的结果。

19、优选的，所述惩罚系数与空间翻转数以及类型波动量均呈正相关关系。

20、优选的，所述预估指令消耗量与总基准开销以及惩罚系数均呈正相关关系。

21、优选的，所述选择并执行相应的计算策略，包括：若预估指令消耗量大于预设第一阈值，执行近似计算策略，反之，执行精确计算策略。

22、优选的，所述精确计算策略，包括：若惩罚系数小于等于预设第二阈值，则调用simd向量化合并算子进行合并操作；反之，切换为跳跃式合并算子进行合并操作。

23、本技术至少具有如下有益效果：

24、本技术通过计算查询时段的置换率，其有益效果在于精准量化了整个查询时段数据分布的宏观稳定性，基于此指标自动决策进行整片处理或分片处理，能够从根本上避免将数据分布差异巨大的时段强行合并处理所带来的性能惩罚，在置换率高时，分片处理可以将复杂查询分解为多个更稳定、更易处理的子任务，显著减少了单次处理中涉及的键值空间范围，提升了cpu缓存的命中率，从而降低总计算耗时；计算待处理单元的总基准开销，其有益效果在于通过区分不同容器类型并赋予其不同的单位操作开销权重以对容器数量进行加权，能够真实量化并反映执行逻辑合并操作所需的基础计算量，这为后续决策提供了准确的静态成本基线；得到待处理单元的空间翻转数，其有益效果在于量化了数据在键值空间维度上的震荡性，高位键值频繁出现或消失会增加合并操作的比较与跳转开销；确定待处理单元的类型波动量，其有益效果在于量化了数据在容器类型构成维度上的震荡性，容器类型的频繁转换会破坏处理流水线的连续性，增加指令开销；得到待处理单元的惩罚系数，其有益效果在于通过引入空间震荡和类型震荡，综合反映了待处理单元内部的数据动荡程度，高惩罚系数预示着实际执行开销将显著高于静态基准开销，从而能准确预测此类任务的高cpu消耗；确定待处理单元的预估指令消耗量，其有益效果在于将静态的总基准开销与动态的惩罚系数相结合，生成了一个高度贴近实际运行时消耗的预估数值，并利用固定8kb的键空间分布位图进行异或运算，其开销远低于加载和解压位图实体数据，使得系统能够在不影响查询延迟的前提下，对所有查询请求进行全量预估计；基于预估指令消耗量选择并执行相应的计算策略，以完成对待处理单元的查询，其有益效果在于利用精准的预估指令消耗量作为决策依据，当消耗量过高时，自动降级为近似计算策略，以可接受精度损失换取性能的大幅提升，保障查询响应时间，当消耗量可控时，采用精确计算策略，并结合惩罚系数进一步选择最优合并算子，在数据紧凑时使用simd向量化合并算子最大化并行吞吐；在数据稀疏破碎时切换为跳跃式合并算子，能够智能跳过无需比较的键值区间，避免对空数据或错位数据进行无意义的simd加载、比较和掩码操作，这种策略确保了计算引擎始终运行在最适合当前数据物理形态的模式下，避免了simd指令在处理高度错位数据时因掩码开销大、有效负载低而导致的性能下降，在保证查询时效性的前提下，整体计算效率与硬件利用率达到最大化。