一种电力项目管控的多维数据动态聚合方法与流程

本发明涉及数据动态聚合，尤其涉及一种电力项目管控的多维数据动态聚合方法。

背景技术：

1、数据动态聚合技术是面向多源、异构、分布式、实时变化的数据对象，通过数据提取、字段识别、分组映射、局部汇总、跨节点合并、结果封装等处理过程，将分散存储或连续产生的数据内容按照统一的业务维度进行动态汇集和计算。

2、现有数据动态聚合技术通常侧重对多源、异构、分布式、实时变化的数据对象进行字段识别、分组映射、局部汇总、跨节点合并和结果封装，在实际运作中多以统一业务维度作为聚合入口，字段内容和业务编码之间的层级关系缺少明确表达，容易使请求内容停留在字段匹配层面，难以反映数据类型节点、项目编码节点、分组标识之间的执行依赖关系，当电力项目中同时存在物资到货量、施工队进场人数、电压等级等多类维度时，聚合入口若仅依据字段名称或固定分组维度展开，可能出现同一电压等级下的项目编码归属不清、跨地市数据重复传输、局部汇总结果再次合并时分组边界不稳定等问题。因此，需要进行改进。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的一种电力项目管控的多维数据动态聚合方法。

2、为了实现上述目的，本发明采用了如下技术方案，一种电力项目管控的多维数据动态聚合方法，包括以下步骤：

3、提取变电站物资到货量、施工队进场人数以及电压等级分组标识构成项目请求项，经词法与语法解析建立抽象语法特征序列；对所述抽象语法特征序列中的数据类型节点与项目编码节点进行遍历排序，构建层级关系键值对，生成电力项目查询语法树；

4、结合所述电力项目查询语法树中的多维聚合操作符及各标识项，计算多维代价预估数值以建立下推聚合调度任务；拆解所述多维聚合操作符并分配至地市分布节点执行任务队列，生成地市节点聚合执行方案；

5、将所述地市节点聚合执行方案分配至独立数据源节点，读取底层存储数据列执行局部聚合，生成局部汇总数值表；提取其中的电压等级分组值，经哈希编码映射至一致性哈希路由环寻址槽位节点，经数据洗牌通道生成洗牌分发数据块；

6、收集所述洗牌分发数据块装载入内存缓冲区，经多路归并排序建立内存管道化聚合流；在执行叠加汇总操作前，根据防溢出阈值条件校验预估和，校验未通过则执行数据类型动态升级后再汇总，校验通过则直接汇总，生成多维聚合数值；将所述多维聚合数值结构化为只读数据快照并提取动态读取指针，封装为索引结构装配至管控内存池，生成多维项目管控游标。

7、较佳地，所述抽象语法特征序列的获取步骤为：

8、提取变电站物资到货量、施工队进场人数和电压等级分组标识，读取各项内容对应的字段名称、字段取值、字段来源位置和项目编码归属标记，按照字段名称在前、字段取值居中、项目编码归属标记在后的排列规则进行拼接，剔除空字段、重复字段、无项目编码归属标记的字段，得到项目请求项；

9、按照字段名称边界、字段取值边界、项目编码归属标记边界，对所述项目请求项进行逐字符拆解，记录每个字符片段的起始位置、终止位置、字段归属类别，将变电站物资到货量、施工队进场人数、电压等级分组标识分别标记为数据检索标识，将字符片段的起始位置和终止位置整理为字符边界信息，按照字段归属类别对数据检索标识、字符边界信息进行顺序编排，建立抽象语法特征序列。

10、较佳地，所述电力项目查询语法树的获取步骤为：

11、根据所述抽象语法特征序列，检索变电站物资到货量对应的数据类型节点、施工队进场人数对应的数据类型节点、电压等级分组标识对应的数据类型节点，继续检索各数据类型节点对应的项目编码节点，按照根节点、数据类型节点、项目编码节点的层级顺序执行遍历排序，记录相邻节点之间的父级指向、子级指向、字段映射关系，提取父级指向、子级指向和字段映射关系作为节点关联边属性，将节点关联边属性按照层级编号和字段归属类别构建为层级关系键值对，生成电力项目查询语法树。

12、较佳地，所述下推聚合调度任务的获取步骤为：

13、提取所述电力项目查询语法树中的多维聚合操作符、变电站物资到货量、施工队进场人数和电压等级分组标识，读取所述多维聚合操作符所在节点的父级节点编号、子级节点编号和层级深度标记，统计电压等级分组标识在项目编码节点下对应的不同分组取值数量，将层级深度标记和不同分组取值数量进行逐项比对，按照数据源节点层级归属关系记录代价累积顺序，计算数据源节点层级的多维代价预估数值，建立下推聚合调度任务。

14、较佳地，所述地市节点聚合执行方案的获取步骤为：

15、读取所述下推聚合调度任务中的多维代价预估数值、数据源节点层级归属关系和代价累积顺序，按照所述多维代价预估数值从小到大的顺序确定所述多维聚合操作符的下推优先级，将所述多维聚合操作符拆解为变电站物资到货量聚合子任务、施工队进场人数聚合子任务和电压等级分组标识分组子任务，并按照数据源节点层级归属关系分配至对应地市分布节点，获取地市分布节点执行任务队列；

16、根据所述地市分布节点执行任务队列，读取每个地市分布节点对应的变电站物资到货量聚合子任务、施工队进场人数聚合子任务和电压等级分组标识分组子任务，核对各子任务对应的节点执行顺序、字段取值范围、项目编码归属标记，将拆解后的所述多维聚合操作符、变电站物资到货量、施工队进场人数和电压等级分组标识分别写入对应地市分布节点的任务槽位，形成节点任务槽位和字段归属类别之间的固定映射关系，生成地市节点聚合执行方案。

17、较佳地，所述局部汇总数值表的获取步骤为：

18、将所述地市节点聚合执行方案分配至多个独立数据源节点，读取各独立数据源节点中与变电站物资到货量对应的底层存储数据列，读取各独立数据源节点中与施工队进场人数对应的底层存储数据列，读取各独立数据源节点中与电压等级分组标识对应的底层存储数据列，按照所述地市节点聚合执行方案中的多维聚合操作符，对相同电压等级分组标识下的变电站物资到货量底层存储数据列执行分组汇总，对相同电压等级分组标识下的施工队进场人数底层存储数据列执行分组汇总，得到局部汇总数值表。

19、较佳地，所述洗牌分发数据块的获取步骤为：

20、逐行读取所述局部汇总数值表中与电压等级分组标识对应的数据实体，将数据实体确定为电压等级分组值，按照所述电压等级分组值的字符顺序读取每个字符的编码位置，将编码位置转换为哈希编码，将哈希编码写入一致性哈希路由环的编码坐标，按照一致性哈希路由环的设定方向逐个比对编码坐标和槽位节点坐标，将距离最近的槽位节点确定为所述电压等级分组值对应的目标槽位节点，形成局部汇总数值表槽位映射关系；

21、根据所述局部汇总数值表槽位映射关系，读取所述局部汇总数值表中每一行对应的电压等级分组值、变电站物资到货量局部汇总数值、施工队进场人数局部汇总数值，按照电压等级分组值检索所述局部汇总数值表槽位映射关系中的目标槽位节点，将同一目标槽位节点对应的数据行写入对应槽位节点的数据洗牌通道，按照数据洗牌通道的通道编号、目标槽位节点的节点编号、电压等级分组值的哈希编码顺序，对写入数据洗牌通道的数据行进行分块封装，生成洗牌分发数据块。

22、较佳地，所述多维项目管控游标的获取步骤为：

23、在各个槽位节点本地收集对应数据洗牌通道传输中的所述洗牌分发数据块，读取所述洗牌分发数据块携带的通道编号、目标槽位节点的节点编号和电压等级分组值的哈希编码，核对通道编号是否归属于目标槽位节点的节点编号，将核对一致的所述洗牌分发数据块写入槽位节点的内存缓冲区，按照电压等级分组值的哈希编码从前至后的编码序，逐路读取各数据洗牌通道中位于当前读取位置的数据行，比较各数据行对应的电压等级分组值的哈希编码，将哈希编码排列在前的数据行写入连续输出位置，建立内存管道化聚合流；

24、根据所述内存管道化聚合流，依次读取相同电压等级分组值关联的变电站物资到货量列数值和施工队进场人数列数值，记录变电站物资到货量列数值对应的当前累加状态，记录施工队进场人数列数值对应的当前累加状态，在执行叠加汇总操作之前，将当前累加状态分别同待累加数值形成预估和，将预估和逐项比对预设的防溢出阈值条件，若预估和未通过预设的防溢出阈值条件，则扩展当前累加状态对应的存储位宽，再进行叠加汇总，若预估和通过预设的防溢出阈值条件，则直接进行叠加汇总，生成多维聚合数值；

25、按照电压等级分组值、变电站物资到货量汇总结果和施工队进场人数汇总结果的固定字段顺序，将所述多维聚合数值写入只读存储区域，锁定只读存储区域对应的写入起始位置、写入结束位置和字段偏移位置，结构化为只读数据快照，提取只读数据快照在内存缓冲区中的全局虚拟地址作为动态读取指针，将所有槽位节点生成的动态读取指针按照槽位节点的节点编号顺序合并，将合并后的动态读取指针封装为索引结构，将索引结构装配至管控内存池之中，生成多维项目管控游标。

26、与现有技术相比，本发明的优点和积极效果在于：

27、本发明中，围绕电力项目管控场景，将变电站物资到货量、施工队进场人数、电压等级分组标识从项目请求项中同步提取，并经词法拆解、语法解析、数据类型节点遍历、项目编码节点排序形成电力项目查询语法树，使原本分散在字段、编码、分组标识中的请求内容转化为具备层级关系的可执行语义结构，后续结合多维聚合操作符的节点层级深度和电压等级分组标识的数据基数特征计算多维代价预估数值，使聚合任务能够按照数据源节点层级进行前置调度，减少无效跨节点传输，降低重复汇总开销；将多维聚合操作符拆解并分配至地市分布节点执行任务队列，使变电站物资到货量和施工队进场人数能够在独立数据源节点中完成局部聚合，局部汇总数值表再依据电压等级分组值的哈希编码进入一致性哈希路由环，能够将同一电压等级分组值对应的数据行导向相同槽位节点，提高跨地市聚合结果的一致性；洗牌分发数据块装载至内存缓冲区后，经编码序多路归并形成内存管道化聚合流，并在叠加汇总前依据防溢出阈值条件校验当前累加状态和待累加数值的预估和，使数值汇总过程能够根据存储位宽风险执行动态升级或直接汇总，兼顾聚合准确性和内存占用控制；多维聚合数值结构化为只读数据快照，动态读取指针合并封装为索引结构并装配至管控内存池，使项目管控侧能够以游标形式直接定位多维聚合结果，提升查询响应效率。