一种多模态AIGC大模型的统一集成调度平台及方法与流程
本发明涉及模型调度,具体涉及一种多模态aigc大模型的统一集成调度平台及方法。
背景技术:
1、多模态aigc大模型的统一集成调度平台通过对不同类型的大模型及模型服务进行集中注册和统一管理,利用标准化接口封装模型之间的调用差异,并依据具体业务任务组织文本生成、图像生成、语音合成、视频生成及多模态理解等模型形成连续的任务处理流程,使用户能够在同一平台内完成多类aigc能力的调用、组合、部署及运行管理。
2、现有多模态aigc大模型统一集成调度平台通常依据任务类型、输入输出模态、模型综合评分或预设优先级选择待调用模型;但由于现有调度方式难以针对任务节点中的输出准确量化其实际需要的模型能力及不同能力对最终交付成果的作用程度,导致模型的能力供给与当前任务的真实能力需求无法精确匹配,进而容易出现简单任务调用高能力模型造成算力和调用成本浪费,或者复杂任务调用能力不足模型影响最终交付质量的问题。
技术实现思路
1、为了解决现有调度方式难以针对任务节点中的输出准确量化其实际需要的模型能力及不同能力对最终交付成果的作用程度,模型调用效果较差的技术问题,本发明的目的在于提供一种多模态aigc大模型的统一集成调度平台及方法,所采用的技术方案具体如下:
2、本发明提出了一种多模态aigc大模型的统一集成调度方法,所述方法包括:
3、获取用户任务指令的任务要素以及交付信息,并构建包含多个任务节点的任务依赖图;
4、将各个任务要素与预设输出模板库进行匹配,获得匹配输出模板的最终输出槽位;将任务依赖图中任一任务节点作为目标任务节点,基于任务依赖关系与语义独立性,将获取的节点输出字段切分为多个输出数据单元;
5、构建每一输出数据单元的预估语义求解图,基于预估语义求解图的拓扑特征与语义关系结构,获得各项模型能力的能力需求程度;获取输出数据单元的预估语义求解图中各项模型能力对应的能力关联语义锚点集合,根据能力关联语义锚点集合的下游传播范围,以及经下游任务节点处理后进入最终输出槽位的锚点数量,获得输出数据单元中每项模型能力的能力需求权重;
6、构建统一模型库,获得每个模型在各项模型能力上的条件能力边界值;根据每个模型在各项模型能力上的条件能力边界值、目标任务节点对应不同输出数据单元中各项模型能力的能力需求权重和能力需求程度,获得每个模型对目标任务节点在各项模型能力的适配度,并获得每个模型对目标任务节点的整体适配度;
7、根据各个模型对目标任务节点的整体适配度,筛选出执行目标任务节点的待调用模型。
8、进一步地,所述最终输出槽位的获取方法包括:
9、将任务要素与预设输出模板库中各输出模板对应的任务类型、目标输出模态和目标交付形式进行匹配,确定匹配输出模板;
10、读取匹配输出模板中的结构化字段以及输出位置,提取各个结构化字段的标签属性后与其对应的输出位置进行绑定,作为最终输出槽位。
11、进一步地,所述输出数据单元的获取方法包括:
12、对于任务依赖图中任一目标任务节点,对目标任务节点的节点输出字段进行解析后,按照其下游任务节点能够独立读取的语义成分,对目标任务节点的节点输出字段进行拆分,所述语义成分包括语义主体、属性、关系、事件、状态或约束;
13、若节点输出字段中的多个语义成分在下游任务节点中连续传递读取,将其整体字段作为一个输出数据单元。
14、进一步地,所述能力需求程度的获取方法包括:
15、基于预估语义求解图的拓扑特征与语义关系结构,分别提取输出数据单元的多项模型能力,包括语义聚合广度、语义推导深度、关系耦合密度、跨模态绑定度、一致性保持跨度以及约束耦合程度;
16、对语义聚合广度、语义推导深度、关系耦合密度、跨模态绑定度、一致性保持跨度以及约束耦合程度分别进行归一化处理,作为输出数据单元中对应各项模型能力上的能力需求程度。
17、进一步地,所述能力需求权重的获取方法包括:
18、以输出数据单元所在的节点输出字段作为起点,获得沿任务依赖图追踪至各个最终输出槽位的路径中对应字段的数量,作为下游候选传递字段数量;以能力关联语义锚点集合中的锚点作为传播源,依据任务依赖图中相邻任务节点之间的数据映射关系进行正向追踪,将下游任务节点中传播源经过的字段作为受影响传递字段;
19、获得每一输出数据单元中各项模型能力的受影响传递字段数量和下游候选传递字段数量的比值,作为每一输出数据单元中各项模型能力的下游传播覆盖度;
20、获得由能力关联语义锚点集合派生进入最终输出槽位的语义锚点数量,以及各项模型能力关联的语义锚点数量的比值,作为每一输出数据单元中各项模型能力对每个最终输出槽位的槽位语义保留比例;获得每一输出数据单元中各项模型能力对所有最终输出槽位的槽位语义保留比例均值,作为每一输出数据单元中各项模型能力对应的终端交付作用度;
21、获得每一输出数据单元中各项模型能力的下游传播覆盖度和终端交付作用度之间的乘积,作为能力需求权重。
22、进一步地,所述条件能力边界值的获取方法包括:
23、获取各预设模型能力标定任务在各项模型能力上的能力需求程度;对于任一模型能力,选取对应模型能力的能力需求程度分别位于各个预设程度范围,且其他模型能力均小于预设最小边界阈值的预设数量个标定任务;
24、获得各个模型执行对应模型能力的标定任务后的模型评价结果,计算模型评价结果大于或等于预设评价阈值的标定任务数量与标定任务预设数量的比值,作为模型能力在各个预设程度范围的能力通过率;
25、按照预设程度范围由低到高的顺序,将连续满足能力通过率大于或等于预设通过阈值的预设程度范围内的上限值,作为模型在对应模型能力上的条件能力边界值。
26、进一步地,所述适配度的获取方法包括:
27、对于目标任务节点,选取每个模型在各项模型能力上的条件能力边界值和各个输出数据单元中对应项模型能力的能力需求程度之间的最小值,获得最小值和各个输出数据单元中对应项模型能力的能力需求权重之间乘积的累加值,作为每个模型对目标任务节点在各项模型能力的有效能力交叠量;
28、获得各个输出数据单元中每项模型能力的能力需求权重和能力需求程度之间乘积的累加值,作为目标任务节点在每项模型能力的加权能力需求总量;获得各个输出数据单元中每项模型能力的能力需求权重的累加值,计算累加值结果和每个模型在每项模型能力的条件能力边界值之间的乘积,作为加权能力供给总量;
29、基于每个模型对目标任务节点在各项模型能力的有效能力交叠量、加权能力需求总量以及加权能力供给总量,获得适配度,有效能力交叠量与适配度呈正相关,加权能力需求总量以及加权能力供给总量均与适配度呈负相关。
30、进一步地,所述整体适配度的获取方法包括:
31、对加权能力需求总量进行归一化,基于目标任务节点在所有模型能力的归一化结果对适配度进行加权求和,作为每个模型对目标任务节点的整体适配度。
32、进一步地,所述筛选出执行目标任务节点的待调用模型的方法包括:
33、选取所有模型中整体适配度最大的,将对应模型作为待调用模型。
34、本发明还提出了一种多模态aigc大模型的统一集成调度平台,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现所述一种多模态aigc大模型的统一集成调度方法的步骤。
35、本发明具有如下有益效果:
36、本发明将任务依赖图中任一任务节点作为目标任务节点,将获取的节点输出字段切分为多个输出数据单元;构建每一输出数据单元的预估语义求解图,获得各项模型能力的能力需求程度;根据各项模型能力对应的能力关联语义锚点集合的下游传播范围,以及经下游任务节点处理后进入最终输出槽位的锚点数量,获得输出数据单元中每项模型能力的能力需求权重,反映模型能力对最终交付造成显著影响;结合每个模型在各项模型能力上的条件能力边界值,获得每个模型对目标任务节点的整体适配度,反映模型在保障任务交付质量的前提下,对系统算力资源的最优利用效率,筛选出执行目标任务节点的待调用模型。本发明准确分析各个模型对目标任务节点的整体适配度,提高模型集成调度的有效性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com