一种面向超大规模数据处理的算力自适应编排方法及系统与流程

摘要: 本发明涉及算力资源自适应调度与编排,尤其涉及一种面向超大规模数据处理的算力自适应编排方法及系统。背景技术:1、算力资源自适应调度与编排技术领域包含分布式计算资源...
一种面向超大规模数据处理的算力自适应编排方法及系统与流程

本发明涉及算力资源自适应调度与编排,尤其涉及一种面向超大规模数据处理的算力自适应编排方法及系统。

背景技术:

1、算力资源自适应调度与编排技术领域包含分布式计算资源管理机制、高性能计算任务分配策略、异构算力环境协调机制以及面向大规模数据处理的执行流程控制体系,该技术领域的核心内容在于,对计算节点的处理能力、存储容量、网络带宽以及任务负载状态进行持续感知,并结合任务类型、数据规模及执行时序要求,构建统一的资源描述模型与任务描述模型。通过建立资源状态采集机制、任务优先级判定规则以及多维度资源匹配关系,实现计算任务在多节点、多架构环境中的有序分配与动态调整,该领域还涉及任务拆分粒度控制、数据分片方式确定、跨节点数据传输路径规划以及执行过程中的负载再平衡策略,从而形成覆盖资源感知、任务建模、调度决策与执行控制的完整技术体系。

2、其中,面向超大规模数据处理的算力自适应编排方法及系统是指在多源异构计算资源环境下,针对海量数据处理任务,通过对任务结构及数据分布特征进行细化描述,并结合算力节点的实时状态信息,制定具体的任务分解与执行顺序组织方式,主要所涉及的技术事项包括对数据集进行分块划分并建立分块索引关系,对计算任务进行阶段划分并标注依赖顺序,对算力节点的处理能力参数进行量化描述并形成资源标识集合,以及根据任务分块与资源标识之间的匹配规则生成执行映射关系,在具体实现方式上,采用基于数据块大小与节点计算能力比值的任务分配规则,依据任务阶段依赖关系构建执行序列图,通过实时采集节点运行状态调整任务分派顺序,并结合节点间数据传输路径信息确定数据流转方式,从而完成任务在多节点环境中的组织与编排过程。

3、现有技术在多节点数据处理过程中,更侧重依据资源能力差异与任务结构关系组织执行顺序,在持续数据访问场景下,访问行为内部存在的方向变化特征与连续转折关系缺少有效关联,数据访问过程出现路径变化或访问集中区域切换情形时,容易形成处理范围交叉现象,例如连续关联的数据访问记录被拆分至不同执行阶段后,访问链路衔接关系减弱,同时资源状态调整过程主要围绕节点瞬时负载变化开展,连续时间区间中的资源变化同步关系难以保持稳定,易引发节点处理节奏波动,造成访问顺序连续性下降与跨节点处理协调失衡。

技术实现思路

1、为了解决现有技术存在的技术问题,本发明实施例提供了一种面向超大规模数据处理的算力自适应编排方法及系统。所述技术方案如下:

2、一种面向超大规模数据处理的算力自适应编排方法,包括以下步骤:

3、s1:获取分布式存储单元的数据块访问记录,提取三维坐标和访问时间,按时间整理访问记录序列,读取相邻数据块访问记录识别坐标变化方向,按访问顺序衔接各数据块方向结果,生成访问方向变化序列集合;

4、s2:基于所述访问方向变化序列集合,读取各访问方向变化序列,按访问顺序滑动划分窗口,比对窗口内相邻坐标方向变化记录,将方向不一致位置标记为变化位置,归并连续变化区段,生成边界索引集合;

5、s3:基于所述边界索引集合,确定区段切分位置,映射至访问记录序列形成访问记录区段,标记数据块访问范围,核对访问记录区段内相邻记录顺序连续关系,保留连续记录段并整理独立处理区段,生成子任务划分映射表;

6、s4:获取各计算节点处理器利用率和内存控制器占用比例时间序列,按采样时间形成节点采样序列,识别相邻采样资源变化方向,比对计算节点间同采样间隔方向一致性,关联一致计算节点,生成节点同步分组映射表;

7、s5:根据所述子任务划分映射表和所述节点同步分组映射表,匹配独立处理区段访问时间范围与同步时间区间,记录候选编排关系,筛选覆盖一致的关联计算节点,按访问顺序整理结果,得到算力自适应编排结果表。

8、一种面向超大规模数据处理的算力自适应编排系统,所述系统包括:

9、轨迹初整模块,获取分布式存储单元的数据块访问记录,提取三维坐标和访问时间,按时间整理访问记录序列,读取相邻数据块访问记录识别坐标变化方向,按访问顺序衔接各数据块方向结果,生成访问方向变化序列集合;

10、转向探测模块,基于所述访问方向变化序列集合,读取各访问方向变化序列,按访问顺序滑动划分窗口,比对窗口内相邻坐标方向变化记录,将方向不一致位置标记为变化位置,归并连续变化区段,生成边界索引集合;

11、片段定界模块,基于所述边界索引集合,确定区段切分位置,映射至访问记录序列形成访问记录区段,标记数据块访问范围,核对访问记录区段内相邻记录顺序连续关系,保留连续记录段并整理独立处理区段,生成子任务划分映射表;

12、负载同调模块,获取各计算节点处理器利用率和内存控制器占用比例时间序列,按采样时间形成节点采样序列,识别相邻采样资源变化方向,比对计算节点间同采样间隔方向一致性,关联一致计算节点,生成节点同步分组映射表;

13、算网适配模块,根据所述子任务划分映射表和所述节点同步分组映射表,匹配独立处理区段访问时间范围与同步时间区间,记录候选编排关系,筛选覆盖一致的关联计算节点,按访问顺序整理结果,得到算力自适应编排结果表。

14、本发明实施例提供的技术方案带来的有益效果至少包括:

15、本发明中,通过提取数据块连续访问过程中的坐标方向偏移关系,并结合访问顺序构建方向变化关联轨迹,能够识别访问行为中的连续转折边界与局部变化集中区域,使访问记录区段与数据处理范围保持对应,避免访问路径突变造成处理区段交叉混杂,结合资源指标变化方向在连续采样区间内形成同步关联关系,使不同访问区段与资源变化状态保持时间一致性,促使数据访问轨迹与节点处理节奏形成稳定对应关系,降低访问链路频繁跳转引发的数据处理离散现象,提升连续访问场景中的任务衔接稳定性与节点协同连续性。

1.一种面向超大规模数据处理的算力自适应编排方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的面向超大规模数据处理的算力自适应编排方法,其特征在于:所述方法还包括:

3.根据权利要求1所述的面向超大规模数据处理的算力自适应编排方法,其特征在于:所述s1的获取步骤为:

4.根据权利要求1所述的面向超大规模数据处理的算力自适应编排方法,其特征在于:所述s2的获取步骤为:

5.根据权利要求1所述的面向超大规模数据处理的算力自适应编排方法,其特征在于:所述s3的获取步骤为:

6.根据权利要求1所述的面向超大规模数据处理的算力自适应编排方法,其特征在于:所述s4的获取步骤为:

7.根据权利要求2所述的面向超大规模数据处理的算力自适应编排方法,其特征在于:所述s5的获取步骤为:

8.一种面向超大规模数据处理的算力自适应编排系统,其特征在于,所述系统用于权利要求1-7任一项所述的面向超大规模数据处理的算力自适应编排方法,所述系统包括: