算力互联网多源异构服务集成调度方法和装置与流程
本技术涉及服务集成调度,具体涉及一种算力互联网多源异构服务集成调度方法和装置。
背景技术:
1、随着算力互联网的快速发展,云计算、边缘计算、智算中心等多方算力资源以及模型训练、数据预处理、模型部署、数据标注等各类第三方服务大量涌现,形成了多源、异构、分散的服务供给格局。然而,现有技术中不同服务提供方各自采用互不相同的服务描述方式、接口协议、服务等级协议约定与计费口径。用户若要完成一个涉及多种服务类型的复杂任务,往往需要人工逐一比选服务、手动完成接口适配与数据格式转换、并自行拼接服务调用链,不仅集成开发成本高、周期长,而且难以在众多功能相近的候选服务之间进行客观、量化的择优。此外,现有方案大多仅针对单个服务做孤立选择,缺乏对由多个异构服务串接而成的服务流水线进行整体优化的能力,导致人工最终拼装出的服务链条常常出现局部最优而整体不优、格式不兼容或跨域传输时延过高等问题,导致服务集成调度效率低以及服务集成质量较差。
技术实现思路
1、针对现有技术中的问题,本技术提供一种算力互联网多源异构服务集成调度方法和装置,能够有效提高服务集成质量和服务集成调度效率。
2、为了解决上述问题中的至少一个,本技术提供以下技术方案:
3、第一方面,本技术提供一种算力互联网多源异构服务集成调度方法,包括:基于表明服务基本信息、服务规格参数、服务接口定义以及服务依赖关系的标准服务描述格式,对多源异构的第三方服务进行统一登记生成生态服务资源池,并基于标准服务等级协议和表明计费维度、计费粒度、计费模式的标准计费公式,将各所述第三方服务的原始接口经适配器转换为集成平台的标准接口;用户登录所述集成平台并发起服务请求,基于所述服务请求的服务需求信息和数据流转需求信息,从所述生态服务资源池中筛选出满足硬性条件约束的候选服务集群,利用服务综合匹配公式计算得到所述候选服务集群中各候选服务的服务匹配得分;基于各所述服务匹配得分、各所述服务依赖关系以及各所述候选服务之间的网络距离,在所述硬性条件约束下,对由多个不同类型候选服务依所述数据流转需求信息串接构成的服务流水线整体进行全局寻优,得到多个候选服务组合的组合得分,并利用各所述候选服务组合的组合得分以及基于对应的目标标准接口,生成供所述用户选择的多个一体化服务集成方案。
4、在一些实施例中,所述基于标准服务等级协议和表明计费维度、计费粒度、计费模式的标准计费公式,将各所述第三方服务的原始接口经适配器转换为集成平台的标准接口,包括:适配器基于标准服务描述格式中的服务接口定义,构建所述第三方服务原始接口的字段到标准接口的字段的语义映射表,在接口转换时,依据所述语义映射表对相互映射的字段的数据类型、量纲单位以及枚举取值进行兼容性预校验;对经所述兼容性预校验判定为存在量纲差异的字段,在所述语义映射表中自动插入对应的单位换算算子,以使转换后的字段量纲与所述标准接口一致,对经所述兼容性预校验判定为无法映射的字段,依据所述服务接口定义生成缺省补全策略;将完成所述语义映射、所述单位换算算子插入以及所述缺省补全策略配置后的接口作为所述第三方服务在所述集成平台的所述标准接口,并将标准服务等级协议和表明计费维度、计费粒度、计费模式的标准计费公式作为所述标准接口的接口属性。
5、在一些实施例中,所述基于所述服务请求的服务需求信息和数据流转需求信息,从所述生态服务资源池中筛选出满足硬性条件约束的候选服务集群,包括:解析所述服务请求,得到由服务类型需求、服务规格需求、数据格式需求以及数据流转信息,以硬性条件约束作为过滤条件,遍历所述生态服务资源池中各第三方服务对应的标准服务描述格式,剔除不满足所述硬性条件约束中任一项的第三方服务,保留满足所述硬性条件约束的候选服务,从而组成候选服务集群;所述硬性条件约束包括以下至少一项:所述候选服务的候选服务类型与所述服务类型需求相匹配、所述候选服务的服务规格参数满足所述服务规格需求、所述候选服务的服务依赖关系合法且满足所述数据流转信息、以及所述候选服务的接口所支持的候选数据格式与所述数据格式需求相兼容。
6、在一些实施例中,所述利用服务综合匹配公式计算得到所述候选服务集群中各候选服务的服务匹配得分,包括:获取所述候选服务集群中各候选服务的多个匹配因子,所述匹配因子包括服务规格与所述服务需求信息的规格贴合度、基于所述标准计费公式的费用因子、服务性能因子以及历史履约信誉分;其中,所述历史履约信誉分依据所述候选服务在历史调用中的实际服务质量相对于所述标准服务等级协议的偏离程度计算,且对所述候选服务的各条历史调用记录按发生时间进行指数衰减加权,使发生时间越近的历史调用记录对所述历史履约信誉分的贡献越大;将各所述匹配因子按所述服务综合匹配公式对应的权重进行加权计算,得到各所述候选服务的服务匹配得分。
7、在一些实施例中,所述基于各所述服务匹配得分、各所述服务依赖关系以及各所述候选服务之间的网络距离,在所述硬性条件约束下,对由多个不同类型候选服务依所述数据流转需求信息串接构成的服务流水线整体进行全局寻优,得到多个候选服务组合的组合得分,包括:针对各所述候选服务所属的服务类型划分为,对应于服务流水线各处理环节的候选服务集合,以及依据各服务依赖关系确定相邻两处理环节之间的前后串接次序,并基于所述数据流转需求信息将各所述候选服务集合中不同服务类型的候选服务连接起来,构建表征服务流水线的有向无环图,所述有向无环图的节点为所述候选服务、有向边依据各所述服务依赖关系与所述数据流转需求信息生成;对所述有向无环图中相邻两所述候选服务之间的有向边,采用算力时延与网络传输时延的联合代价函数确定出所述有向边的衔接代价,并作为所述有向边的边权,并以各所述候选服务的服务匹配得分作为对应节点的节点权;其中,所述联合代价函数以待流转数据量与网络距离的乘积表征所述网络传输时延对应的传输代价、以所述候选服务当前的算力负载表征所述算力时延对应的排队代价,并根据所述数据流转需求信息中的数据量动态调整所述传输代价与所述排队代价在所述联合代价函数中的权重,使得所述数据量越大则所述传输代价的权重越高;以所述硬性条件约束作为所述有向无环图的可行性约束,在满足候选数据格式兼容的可行路径集合上,以所述节点权之和所表征的组合匹配度最大且各所述边权之和所表征的总衔接代价最小为双目标进行求解,得到多个候选服务组合及对应的组合得分。
8、在一些实施例中,所述利用各所述候选服务组合的组合得分以及基于对应的目标标准接口,生成供所述用户选择的多个一体化服务集成方案,包括:按各所述候选服务组合的组合得分从高到低的顺序进行排序,将排序在前的k个所述候选服务组合作为待调度组合,对各所述待调度组合,获取所述待调度组合中各候选服务对应的目标标准接口,并依据对应的所述服务依赖关系与所述数据流转需求信息生成各所述目标标准接口之间的调用配置与数据流转规则;针对各所述候选服务的计费维度与计费粒度互不一致的情形,基于所述标准计费公式将该组合中各候选服务按调用量、时长或数据量的异构计费口径,归一化为统一可比的费用度量,并基于所述数据流转需求信息推算各所述候选服务的实际用量,累加得到所述待调度组合的预估费用;将各所述待调度组合的所述组合得分、组合匹配度、总衔接代价、所述目标标准接口的所述调用配置与所述数据流转规则以及所述预估费用进行封装,生成供所述用户选择的多个一体化服务集成方案。
9、在一些实施例中,所述方法还包括:在生成供所述用户选择的多个一体化服务集成方案的同时,为各所述一体化服务集成方案中的各候选服务,从所述生态服务资源池中预生成功能等价的备选服务映射;在所述用户选定的目标一体化服务集成方案运行期间,监测所述服务流水线中各目标候选服务的实际服务质量,当监测到某一目标候选服务的实际服务质量低于所述标准服务等级协议对应的阈值时,依据所述备选服务映射将所述目标候选服务自动切换至功能等价的备选服务;依据所述备选服务的语义映射表完成所述目标标准接口的热替换,以在不中断所述服务流水线的情况下维持服务交付。
10、第二方面,本技术提供一种算力互联网多源异构服务集成调度装置,包括:转换单元,用于基于表明服务基本信息、服务规格参数、服务接口定义以及服务依赖关系的标准服务描述格式,对多源异构的第三方服务进行统一登记生成生态服务资源池,并基于标准服务等级协议和表明计费维度、计费粒度、计费模式的标准计费公式,将各所述第三方服务的原始接口经适配器转换为集成平台的标准接口;筛选单元,用于用户登录所述集成平台并发起服务请求,基于所述服务请求的服务需求信息和数据流转需求信息,从所述生态服务资源池中筛选出满足硬性条件约束的候选服务集群,利用服务综合匹配公式计算得到所述候选服务集群中各候选服务的服务匹配得分;生成单元,基于各所述服务匹配得分、各所述服务依赖关系以及各所述候选服务之间的网络距离,在所述硬性条件约束下,对由多个不同类型候选服务依所述数据流转需求信息串接构成的服务流水线整体进行全局寻优,得到多个候选服务组合的组合得分,并利用各所述候选服务组合的组合得分以及基于对应的目标标准接口,生成供所述用户选择的多个一体化服务集成方案。
11、第三方面,本技术提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的算力互联网多源异构服务集成调度方法的步骤。
12、第四方面,本技术提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的算力互联网多源异构服务集成调度方法的步骤。
13、第五方面,本技术提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述的算力互联网多源异构服务集成调度方法的步骤。
14、由上述技术方案可知,本技术提供一种算力互联网多源异构服务集成调度方法和装置,通过标准服务描述格式、标准服务等级协议与标准计费公式,将多源异构的第三方服务统一登记为生态服务资源池、并经适配器把各自迥异的原始接口转换为集成平台的标准接口,从根本上屏蔽了不同服务提供方在描述方式、接口协议、服务质量约定(也即标准服务等级协议)与计费口径上的异构性,使原本互不相通的多方服务具备了统一登记、统一描述、统一调用的基础,显著降低了用户的集成开发成本与接入门槛。在此基础上,本发明依据用户服务请求的服务需求信息与数据流转需求信息,先以硬性条件约束从资源池中快速筛选出候选服务集群、再借助服务综合匹配公式对各候选服务量化打分,实现了从人工经验比选到客观量化择优的转变。更重要的是,本发明并非对单个服务做孤立选择,而是综合各候选服务的服务匹配得分、服务依赖关系以及候选服务之间的网络距离,在硬性约束下对由多个不同类型服务依数据流转需求串接构成的服务流水线整体进行全局寻优,从而在保证各环节数据格式兼容的前提下,兼顾整体匹配质量最优与服务间衔接代价(算力时延与网络传输时延)最小,有效克服了逐段选择导致的局部最优而整体不优、跨域传输时延过高等弊端。最终,本发明将全局寻优得到的多个候选服务组合连同其组合得分及对应的目标标准接口封装为多个一体化服务集成方案供用户选择,使用户无需关心底层异构服务的适配与编排细节即可获得开箱即用、全局最优且可按自身偏好灵活选取的端到端服务集成方案,大幅提升了算力互联网环境下多源异构服务集成调度的效率、质量与用户体验。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com