一种算力任务创值统计方法及装置与流程

本发明涉及分布式计算与资源调度，具体为一种算力任务创值统计方法及装置。

背景技术：

1、在现有的分布式计算与算力网络架构中，复杂的业务请求通常被拆解为多个微服务模块，并由底层的不同计算容器实例协同处理。现有的集群监控与资源调度系统主要依赖单一的硬件负载指标（例如中央处理器使用率或显存消耗）来评估节点的运行状态，并以此作为触发后续调度动作的基础依据。

2、但是，由于底层计算节点的硬件物理规格存在客观异构性，且不同节点承担的业务运算类型各不相同，现有的监控系统难以采用统一的物理量纲对各个节点的数据产出质量与真实算力付出进行横向对比。同时，在实际应用场景中，集群内部完成计算并向外部输出结果后，外部业务系统对该结果产生的实际商业转化评估往往存在时间上的异步迟滞。现有系统缺乏有效的状态挂起与跨系统对齐机制来处理这种生命周期的时间差，导致最终产生的外部业务价值无法客观且精确地逆向回溯归因至参与计算的具体底层容器实例。因为缺失这种将外部业务价值向底层计算节点分配的归因链路，现行的调度引擎只能继续依赖硬件负载阈值进行资源干预，无法建立基于真实创值密度的算力调度模型，容易导致集群将大量算力资源向高消耗低产出的计算节点倾斜，降低了整体算力网络的资源利用效率。

技术实现思路

1、本发明解决的技术问题在于，现有分布式计算集群在处理复合微服务请求时，由于底层计算节点硬件规格存在异构性，且各个业务模块执行的任务类型不同导致其数据产出质量难以采用统一的物理量纲进行横向对比；同时，集群内部的节点执行链路与外部业务系统产生实际反馈往往存在时间上的异步迟滞，导致系统无法将最终获取的外部业务价值准确归因至参与计算的具体底层容器实例，进而无法依据计算节点的实际创值能力对底层资源调度进行量化干预。

2、为解决上述问题，本发明提供如下技术方案：

3、本发明第一方面提供一种算力任务创值统计方法，包括以下步骤：解析算力请求数据，在内存中初始化任务链路无环图，并生成全局唯一标识符写入请求上下文数据包，将请求上下文数据包下发至节点集群；在节点集群流转执行任务指令期间，采集各个计算容器实例的多维物理指标归一化生成相对资源消耗量标量，并截获计算容器实例接收的输入数据流与计算容器实例生成的输出数据流以测算原始状态质量差值；当节点集群中对应任务链路无环图拓扑结构出度为零的终点节点完成本地计算指令时，获取外部业务系统反馈的总量化外部价值参数，并将总量化外部价值参数与全局唯一标识符建立关联；提取原始状态质量差值并映射为无量纲百分位点数值，结合相对资源消耗量标量遍历任务链路无环图执行逆向回溯，计算出节点集群中各个计算容器实例的创值分配权重及绝对创值分配量。

4、本发明第一方面的有益效果在于：通过在系统内存中构建任务链路无环图，将离散的跨节点调用逻辑转化为具有明确方向的拓扑结构数据，为能耗归因提供计算基准；通过提取底层多维物理指标与数据流层面的原始状态质量差值，量化节点处理任务时的信息增益与硬件负荷；利用出度为零的终点节点作为触发条件引入外部业务价值，在消除异构数据物理量纲的基础上沿拓扑路径逆向回溯，建立了一套将外部反馈价值客观分配至底层计算实例的闭环统计机制。

5、进一步的，解析算力请求数据，在内存中初始化任务链路无环图，并生成全局唯一标识符写入请求上下文数据包，包括：对算力请求数据执行反序列化解析以提取服务调用接口与请求参数；结合预先配置的微服务注册表，识别支撑算力请求数据的各个业务处理模块及数据流转时序，动态建立表示模块调用依赖关系的任务链路无环图；将生成的全局唯一标识符与任务链路无环图包含的路由寻址信息封装为请求上下文数据包，并在跨节点网络请求时将全局唯一标识符注入网络通信协议的元数据字段中执行透传。该步骤通过反序列化解析并匹配微服务注册表，能够在内存层面准确映射物理硬件的容器调用拓扑，并利用元数据字段透传机制保障离散实体处理同一业务逻辑时的状态连续性。

6、进一步的，采集各个计算容器实例的多维物理指标归一化生成相对资源消耗量标量，包括：调用底层操作系统的硬件遥测接口，采集计算容器实例的绝对执行时间、显存占用峰值以及中央处理器指令周期数作为多维物理指标；通过预设的联合归一化函数对多维物理指标执行映射处理输出单一维度的相对资源消耗量标量；其中，联合归一化函数具体为将绝对执行时间、显存占用峰值与中央处理器指令周期数分别除以对应的预设参考值后，依据预设的归一化权重系数进行加权求和运算。该步骤引入联合归一化逻辑，将存在数量级差异的底层硬件采集维度统一映射为单一标量，消除了计算集群底层物理算力规格不一致带来的数据偏差。

7、进一步的，截获计算容器实例接收的输入数据流与计算容器实例生成的输出数据流以测算原始状态质量差值，包括：依据计算容器实例被预先配置的业务类型属性，采用对应的数学规则执行统计比对：若业务类型属性为文本生成，则计算输出文本数据相较于输入文本数据的文本困惑度下降量作为原始状态质量差值；若业务类型属性为特征向量提取，则计算输出特征向量相较于输入数据流的特征信息熵变化量作为原始状态质量差值。以此，针对任务链路中不同的数据处理类型，允许各采集端依据业务类型属性执行相互独立的度量标准，从而准确量化特定节点在具体业务领域内提供的数据处理增益。

8、进一步的，当节点集群中对应任务链路无环图拓扑结构出度为零的终点节点完成本地计算指令时，获取外部业务系统反馈的总量化外部价值参数，并将总量化外部价值参数与全局唯一标识符建立关联，包括：监听终点节点的执行完成事件，提取全局唯一标识符生成价值数据凭证，并将处于等待对齐状态的价值数据凭证置于内存挂起队列中；为内存挂起队列中的每一个价值数据凭证设定异步回调时间窗口；在异步回调时间窗口内，接收外部业务系统反馈的携带外部追踪标识的总量化外部价值参数；将外部追踪标识与分布式缓存系统中的全局唯一标识符进行匹配核对，核对成功后将总量化外部价值参数注入对应的价值数据凭证中，并更新为对齐完成状态。该方式针对外部系统价值反馈存在时序滞后的情况，引入基于异步时间窗口的内存挂起队列机制，实现系统内部计算链路与外部反馈数据的生命周期对齐，避免因业务流水号异构导致的数据丢失。

9、进一步的，提取原始状态质量差值并映射为无量纲百分位点数值，包括：提取具有不同物理量纲的原始状态质量差值，基于经验累积分布函数将原始状态质量差值转换为不携带物理量纲的无量纲百分位点数值，以统一不同业务类型属性节点的数据评价基准。该限定通过经验累积分布函数消除不同评估指标固有的物理量纲，使链路内执行不同运算逻辑的节点质量数据具备代数层面的可比性。

10、进一步的，计算出节点集群中各个计算容器实例的创值分配权重后，还包括：计算各个计算容器实例在预设统计周期内的权重时序方差；比对权重时序方差与预设的平稳阈值，向权重时序方差低于平稳阈值的计算容器实例所在节点下发降级控制信令。通过对处于稳定产出区间的节点主动执行降级控制，有效降低了高频硬件遥测对业务进程产生的通信与运算开销。

11、进一步的，计算出节点集群中各个计算容器实例的绝对创值分配量后，还包括：提取绝对创值分配量与相对资源消耗量标量，计算获得各个节点的单位算力创值密度参数；依据单位算力创值密度参数所处的预设密度区间，覆写对应计算容器实例的扩容触发水位线与调度优先级参数。以此建立基于单位算力创值密度而非单纯基于资源负载的调度干预机制，引导集群底层资源分配向高价值产出的计算节点倾斜。

12、本发明第二方面提供一种算力任务创值统计装置，包括：分发与解析模块，用于解析算力请求数据，在内存中初始化任务链路无环图，并生成全局唯一标识符写入请求上下文数据包，将请求上下文数据包下发至节点集群；状态感知模块，用于在节点集群流转执行任务指令期间，采集各个计算容器实例的多维物理指标归一化生成相对资源消耗量标量，并截获计算容器实例接收的输入数据流与计算容器实例生成的输出数据流以测算原始状态质量差值；锚点对齐模块，用于当节点集群中对应任务链路无环图拓扑结构出度为零的终点节点完成本地计算指令时，获取外部业务系统反馈的总量化外部价值参数，并将总量化外部价值参数与全局唯一标识符建立关联；归因计算模块，用于提取原始状态质量差值并映射为无量纲百分位点数值，结合相对资源消耗量标量遍历任务链路无环图执行逆向回溯，计算出节点集群中各个计算容器实例的创值分配权重及绝对创值分配量。

13、本发明第三方面提供一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时，实现上述的算力任务创值统计方法。

14、本发明提供了一种算力任务创值统计方法及装置。具备以下有益效果：

15、1、本发明通过在内存中构建任务链路无环图映射跨节点调用拓扑，并结合联合归一化逻辑与针对具体业务类型的统计比对规则，将异构硬件环境下的多维物理指标转化为单一维度的相对资源消耗量标量，同时提取原始状态质量差值。该机制屏蔽了底层物理算力规格不统一造成的数据偏差，使集群内承担不同运算任务的节点具备了统一的评价基准，为能耗归因与价值分配提供了客观的底层状态数据。

16、2、本发明针对内部计算链路与外部系统商业转化反馈之间存在的时序差异，引入基于异步时间窗口的内存挂起队列机制。通过监听出度为零的终点节点触发事件生成状态挂起的价值数据凭证，并在回调窗口内接收外部反馈的总量化外部价值参数执行标识核对，实现了系统内部短周期计算任务与外部长周期业务反馈的生命周期对齐，避免了因系统间处理异步或流水号异构导致的归因数据丢失。

17、3、本发明利用经验累积分布函数将不同物理量纲的状态质量差值转化为无量纲百分位点数值，并结合资源消耗数据沿任务链路无环图执行逆向回溯，计算出具体容器实例的绝对创值分配量。通过进一步计算单位算力创值密度并动态覆写底层容器的扩容触发水位线与调度优先级，建立了一套独立于传统硬件负载的资源调度干预体系，引导集群算力资源向业务价值产出效率更高的节点倾斜。