多智能体在复杂业务场景下的算力调度方法及系统与流程
本发明属于算力调度,具体地说是多智能体在复杂业务场景下的算力调度方法及系统。
背景技术:
1、在复杂业务场景中,多智能体系统常采用前置智能体结合后置智能体的级联协作拓扑:前置智能体先行处理输入数据,并将处理结果输出至后置智能体;后置智能体接收处理结果后执行后续处理,并输出最终结果。
2、现有的多智能体系统的算力调度方案通常在多智能体系统构建阶段,即为级联拓扑中的各智能体分配并锁定相应的算力资源。
3、在实际运行中,受业务数据复杂度的影响以及算力资源的影响,前置智能体在复杂业务场景下的实际处理时间往往会超出预设时间或在任务初始阶段的系统预计时间。
4、在级联协作拓扑结构下,由于级联拓扑中前置智能体与后置智能体之间存在数据流向依赖,前置智能体的处理滞后,会导致后置智能体无法按时接收到触发下一步执行的输入数据,导致后置智能体所分配的预设算力资源处于长时间的空转等待状态;而前置智能体却因预设算力受限而无法加速处理。这种在多智能体系统设计阶段静态固化的算力分配模式,无法适应复杂业务执行过程中的动态波动,不仅造成了算力浪费,也拉低了多智能体系统处理复杂任务的整体吞吐率。
5、为此,本发明提供了多智能体在复杂业务场景下的算力调度方法及系统。
技术实现思路
1、为了弥补现有技术的不足,解决背景技术中所提出的至少一个技术问题。
2、本发明解决其技术问题所采用的技术方案是:
3、一方面,本发明提供了多智能体在复杂业务场景下的算力调度方法,包括:
4、获取当前业务的输入数据,提取输入数据的特征参数,结合多智能体系统的总算力资源,计算业务负载指数,判定当前业务是否为复杂业务场景,若是,则获取前置智能体的预分配算力配额与后置智能体的预分配算力配额;
5、在历史业务调度日志中,获取与当前业务负载指数相匹配且前置智能体预分配算力配额一致的历史复杂业务场景记录对应的实际处理时间,计算时间处理偏差;
6、根据时间处理偏差,判定后置智能体是否存在算力空转风险,若存在,则提取历史复杂业务场景下的多组历史时间处理偏差,以及对应的前置智能体为消除历史时间处理偏差所需的历史算力配额补偿量,分析历史时间处理偏差与历史算力配额补偿量之间的关联程度,并基于关联程度,构建时间-算力配额补偿模型;
7、将当前复杂业务场景下的时间处理偏差输入至时间-算力配额补偿模型中,输出当前复杂业务场景下前置智能体所需的算力配额补偿量;
8、基于算力配额补偿量,从对应的后置智能体的预分配算力配额中分离出目标算力,并将目标算力逆向分配至前置智能体,当检测到前置智能体完成处理并将处理结果输出至后置智能体时,释放目标算力至后置智能体。
9、作为本发明的进一步改进方案,提取所述输入数据的特征参数的具体过程包括:
10、对当前业务的输入数据进行解析,获取输入数据的特征参数;
11、所述特征参数包括数据量特征值和数据复杂度特征值;
12、所述数据量特征值包括输入数据的总字符数、token数量或文件字节数中的至少一种,所述数据复杂度特征值包括输入数据的模态种类数量、条件分支数量或嵌套结构层数中的至少一种。
13、作为本发明的进一步改进方案,计算所述业务负载指数的具体过程为:
14、获取总算力资源量,所述总算力资源量通过以下至少一种指标进行量化:每秒浮点运算次数flops、显存总容量;
15、对数据量特征值、数据复杂度特征值以及总算力资源量分别进行归一化处理,得到标准数据量特征值、标准数据复杂度特征值以及标准总算力资源量;
16、获取数据量特征值对应的数据量权重系数,以及数据复杂度特征值对应的数据复杂度权重系数;
17、将标准数据量特征值与数据量权重系数的乘积,和标准数据复杂度特征值与数据复杂度权重系数的乘积进行求和,得到综合数据复杂度;
18、将综合数据复杂度与标准总算力资源量进行比值计算,得到业务负载指数。
19、作为本发明的进一步改进方案,所述获取前置智能体的预分配算力配额与后置智能体的预分配算力配额的具体过程为:
20、若业务负载指数大于复杂度阈值,判定当前业务为复杂业务场景;
21、若判定当前业务为复杂业务场景,则从多智能体系统中分别读取前置智能体和后置智能体的预分配算力配额;
22、所述预分配算力配额包括:对应智能体的图形处理器gpu中流多处理器sm的占用百分比,以及对应智能体的中央处理器cpu的时间片分配百分比。
23、作为本发明的进一步改进方案,计算所述时间处理偏差的具体过程为:
24、从历史业务调度日志中筛选出预分配算力配额与当前前置智能体的预分配算力配额相同且历史业务负载指数与当前业务的业务负载指数的差值绝对值小于预设匹配阈值的历史复杂业务场景记录,作为目标历史记录;
25、从目标历史记录中,提取前置智能体在处理历史复杂业务场景记录对应的输入数据的实际处理时间;若存在多条符合条件的目标历史记录,则取实际处理时间的平均值;
26、将实际处理时间减去多智能体系统为前置智能体设定的最大容忍处理时间,得到时间处理偏差。
27、作为本发明的进一步改进方案,所述分析历史时间处理偏差与历史算力配额补偿量之间的关联程度的具体过程为:
28、若时间处理偏差大于滞后阈值,则判定后置智能体存在算力空转风险;
29、若判定后置智能体存在算力空转风险,则从历史业务调度日志中,提取多个样本对,每个样本对包含一个历史时间处理偏差以及对应的历史算力配额补偿量;
30、将历史时间处理偏差作为自变量序列,将历史算力配额补偿量作为因变量序列,采用皮尔逊相关系数算法,计算自变量序列与因变量序列之间的相关系数,作为关联程度。
31、作为本发明的进一步改进方案,所述输出当前复杂业务场景下前置智能体所需的算力配额补偿量的具体过程为:
32、若关联程度的绝对值大于或等于相关系数阈值,则采用一元线性回归算法对样本对进行拟合,构建得到线性映射的时间-算力配额补偿模型;
33、若关联程度的绝对值小于相关系数阈值,则采用多项式回归算法或支持向量回归算法对样本对进行非线性拟合,构建得到非线性映射的时间-算力配额补偿模型;
34、将当前复杂业务场景下的时间处理偏差输入至时间-算力配额补偿模型中,输出初始算力配额补偿量;
35、获取后置智能体的预分配算力配额,并预设最大可剥离比例阈值;
36、将后置智能体的预分配算力配额乘以最大可剥离比例阈值,得到最大允许补偿量;
37、若初始算力配额补偿量小于或等于最大允许补偿量,则将初始算力配额补偿量作为当前复杂业务场景下前置智能体所需的算力配额补偿量;
38、若初始算力配额补偿量大于最大允许补偿量,则将最大允许补偿量作为当前复杂业务场景下前置智能体所需的算力配额补偿量。
39、作为本发明的进一步改进方案,所述将目标算力逆向分配至前置智能体的具体过程为:
40、获取资源映射系数,资源映射系数包括单位算力补偿量对应的图形处理器gpu流多处理器sm转换权重,以及中央处理器cpu时间片转换权重;
41、将算力配额补偿量分别与sm转换权重和cpu时间片转换权重相乘,得到补偿sm占用百分比和补偿cpu时间片分配百分比组合作为目标算力;
42、向后置智能体发送资源缩容指令,使后置智能体挂起内部处于空转等待状态的部分闲置线程,并解除对目标算力的底层资源绑定,以分离出目标算力;
43、向前置智能体发送资源扩容指令,将分离出的目标算力重新映射并绑定至前置智能体的执行进程中,实现目标算力的逆向分配。
44、作为本发明的进一步改进方案,所述释放目标算力至后置智能体的具体过程为:
45、在前置智能体与后置智能体之间的数据传输通道中部署事件监听器;
46、当事件监听器监测到前置智能体将完整的处理结果写入数据传输通道,并向后置智能体发出数据就绪信号时,判定前置智能体完成处理;
47、接收到数据就绪信号后,向前置智能体发送资源回收指令,解除前置智能体对目标算力的绑定,释放目标算力;
48、向后置智能体发送资源恢复指令,将释放的目标算力重新映射并绑定至后置智能体。
49、另一方面,本发明提供了多智能体在复杂业务场景下的算力调度系统,包括:
50、业务负载评估模块:获取当前业务的输入数据,提取输入数据的特征参数,结合多智能体系统的总算力资源,计算业务负载指数,判定当前业务是否为复杂业务场景,若是,则获取前置智能体的预分配算力配额与后置智能体的预分配算力配额;
51、时间处理偏差计算模块:在历史业务调度日志中,获取与当前业务负载指数相匹配且前置智能体预分配算力配额一致的历史复杂业务场景记录对应的实际处理时间,计算时间处理偏差;
52、空转判定与补偿模型构建模块:根据时间处理偏差,判定后置智能体是否存在算力空转风险,若存在,则提取历史复杂业务场景下的多组历史时间处理偏差,以及对应的前置智能体为消除历史时间处理偏差所需的历史算力配额补偿量,分析历史时间处理偏差与历史算力配额补偿量之间的关联程度,并基于关联程度,构建时间-算力配额补偿模型;
53、算力补偿量输出模块:将当前复杂业务场景下的时间处理偏差输入至时间-算力配额补偿模型中,输出当前复杂业务场景下前置智能体所需的算力配额补偿量;
54、算力逆向调配模块:基于算力配额补偿量,从对应的后置智能体的预分配算力配额中分离出目标算力,并将目标算力逆向分配至前置智能体,当检测到前置智能体完成处理并将处理结果输出至后置智能体时,释放目标算力至后置智能体。
55、本发明的有益效果如下:
56、本发明针对多智能体级联协作拓扑中后置智能体因前置处理滞后而被迫算力空转的问题,先通过输入数据的特征参数与系统总算力资源计算业务负载指数,判定复杂业务场景并获取前后置智能体的预分配算力配额,实现调度触发的靶向定位;再基于历史调度日志中负载匹配且算力配额一致的历史记录计算时间处理偏差,以数据驱动方式量化前置智能体的滞后程度,避免主观设定误差。当判定后置智能体存在算力空转风险时,提取历史时间处理偏差与历史算力配额补偿量构建时间-算力配额补偿模型,将当前时间偏差输入模型即可定量输出所需算力补偿量,实现滞后程度与补偿算力的映射;随后将后置智能体空转闲置的算力逆向分配至滞后的前置智能体,加速其处理进度,显著压缩整体业务时延,将原本浪费的空转算力转化为补救算力,有效提升算力利用率与整体吞吐率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com