算力资源和数据资产联合调度方法和装置与流程

摘要: 本技术涉及资源调度,具体涉及一种算力资源和数据资产联合调度方法和装置。背景技术:1、随着人工智能、大数据分析与高性能计算的迅猛发展,算力与数据已成为支撑数字经济...
算力资源和数据资产联合调度方法和装置与流程

本技术涉及资源调度,具体涉及一种算力资源和数据资产联合调度方法和装置。

背景技术:

1、随着人工智能、大数据分析与高性能计算的迅猛发展,算力与数据已成为支撑数字经济运行的两类核心生产要素,社会各行业对算力资源与数据资源的需求呈爆发式增长。然而在现有技术条件下,算力资源与数据资源往往分属不同的供给主体,并由彼此独立的平台各自管理与运营,算力多来源于分散的数据中心、云服务商及边缘节点;数据则散落于众多数据提供方处,受隐私保护与合规监管约束而难以自由流通。用户若要完成一项既需算力又需数据的计算任务,需依赖人工经验进行算力与数据资源匹配,导致资源联合调度效率较低以及资源易错配。

技术实现思路

1、针对现有技术中的问题,本技术提供一种算力资源和数据资产联合调度方法和装置,能够有效提高算力资源和数据资产的匹配度,提高了资源联合调度效率。

2、为了解决上述问题中的至少一个,本技术提供以下技术方案:

3、第一方面,本技术提供一种算力资源和数据资产联合调度方法,包括:基于表明算力来源、算力状态以及算力类型的标准算力登记格式,对多源异构的算力资源进行统一登记生成算力资源池,基于表明数据权限信息和数据资产信息的标准数据登记格式,对多源异构的数据资产进行统一登记生成数据资源池;对用户的算力请求进行语义解析,得到算力需求信息和数据需求信息,基于所述算力需求信息和所述数据需求信息,从所述算力资源池和所述数据资源池中筛选出硬性条件匹配的候选算力节点集群和数据资产集群,利用算力综合匹配公式计算得到所述候选算力节点集群中各候选算力节点的算力匹配得分,利用数据综合匹配公式计算得到所述数据资产集群中各数据资产的数据匹配得分;基于各所述算力匹配得分、各所述数据匹配得分、各所述候选算力节点与各所述数据资产之间的网络距离,在所述硬性条件的约束下,对由数据资产与候选算力节点构成的资源整体进行全局寻优,得到多个由数据资产和算力资源组成的资源对的资源匹配度,利用各所述资源对的资源匹配度、所述算力需求信息、所述数据需求信息以及资源使用费生成供所述用户选择的多个资源调度方案。

4、在一些实施例中,基于表明数据权限信息和数据资产信息的标准数据登记格式,对多源异构的数据资产进行统一登记生成数据资源池,包括:接收数据源提供方按所述标准数据登记格式注册的数据资产信息,所述数据资产信息至少包括数据类型、数据量级、更新频率、数据质量评估值和数据历史信誉评分,其中,所述数据质量评估值由所述数据资产的字段完整率、标注准确率及时效性中的至少一项加权计算得到;对已完成注册的数据资产生成可检索的目录条目,所述目录条目至少包括数据摘要、脱敏后的数据样例、数据单价及适用场景标签;针对各所述数据资产设定数据权限信息,所述数据权限信息至少包括可访问对象白名单、允许的使用场景集合 、单次授权最长时长、是否允许复制以及授权模式;将所述数据资产信息、所述目录条目以及所述数据权限信息组成的数据资产统一存储,形成数据资源池。

5、在一些实施例中,利用算力综合匹配公式计算得到所述候选算力节点集群中各候选算力节点的算力匹配得分,利用数据综合匹配公式计算得到所述数据资产集群中各数据资产的数据匹配得分,包括:确定所述算力请求的算力场景类型,基于所述算力场景类型确定出第一权重集合和第二权重集合;针对所述候选算力节点集群中各候选算力节点,利用所述第一权重集合对所述候选算力节点的可用容量占比、节点单价、节点历史信誉评分,以及所述候选算力节点与所述算力请求之间的网络时延进行加权求和,得到所述候选算力节点的算力匹配得分;针对所述数据资产集群中各数据资产,利用所述第二权重集合对所述数据资产的数据质量评估值、数据单价、数据历史信誉评分,以及所述数据资产与所述算力请求对应算力场景的场景合规值进行加权求和,得到所述数据资产的数据匹配得分。

6、在一些实施例中,基于各所述算力匹配得分、各所述数据匹配得分、各所述候选算力节点与各所述数据资产之间的网络距离,在所述硬性条件的约束下,对由数据资产与候选算力节点构成的资源整体进行全局寻优,得到多个由数据资产和算力资源组成的资源对的资源匹配度,包括:由各所述候选算力节点与各所述数据资产构建表征所述资源整体的数据引力势场模型,由各所述数据资产的数据体量与被调用特征表征,在所述数据引力势场模型中所述数据资产对所述算力请求对应的算力任务的引力势,以各所述候选算力节点的负载状态表征在所述数据引力势场模型中各所述候选算力节点的场势能;将各所述候选算力节点与各所述数据资产之间的网络距离作为所述数据引力势场模型的传输阻抗项,在所述硬性条件的约束下,以各所述算力匹配得分与各所述数据匹配得分作为所述数据引力势场模型的势场增益、以使所述数据引力势场模型的总能量趋于极小为目标,求解得到多个由所述数据资产和所述候选算力节点组成的资源对的资源匹配度。

7、在一些实施例中,利用各所述资源对的资源匹配度、所述算力需求信息、所述数据需求信息以及资源使用费生成供所述用户选择的多个资源调度方案,包括:基于从大到小的顺序对各所述资源对的资源匹配度进行排序,将排序前k个所述资源对作为目标资源对,针对各所述目标资源对,获取所述目标资源对中所述数据资产的数据授权信息;基于所述算力需求信息中任务时长和算力需求单位数,并结合所述目标资源对中所述候选算力节点的节点单价,计算出所述目标资源对的算力费用,基于所述数据需求信息中数据体量、算力场景系数和数据使用时长系数,并结合所述目标资源对中所述数据资产的数据单价,计算出所述目标资源对的数据费用;利用智能合约自动分账策略对所述数据费用和所述算力费用进行分账,得到算力提供方费用、数据提供方费用以及联合调度平台费用,将各所述目标资源对的所述数据授权信息、所述算力提供方费用、所述数据提供方费用以及所述联合调度平台费用作为所述目标资源对的资源调度方案,从而生成多个供所述用户选择的多个所述资源调度方案。

8、在一些实施例中,所述方法还包括:响应于所述用户从多个所述资源调度方案中选定的目标资源调度方案并触发支付事件,由所述智能合约在同一事务内原子化地执行费用结算与数据授权处理,以将所述目标资源调度方案对应的算力提供方费用、数据提供方费用及联合调度平台费用分别结算至相应账户,同时生成用于所述目标资源调度方案中目标数据资产的临时开通权限;所述临时开通权限包括临时授权凭证和任务执行凭证,所述临时授权凭证至少包括授权用户标识、访问令牌、授权范围及授权起止时间,使所述费用结算与所述数据授权同时生效或同时失效,所述临时授权凭证用于通过获取所述目标数据资产以执行算力任务,所述任务执行凭证用于将所述算力任务通过隐私计算处理发送至所述目标数据资产所处的数据源中,以在所述数据源中直接利用所述目标数据资产执行所述算力任务。

9、在一些实施例中,所述方法还包括:当所述算力任务执行完成后,检测所述目标数据资产的数据履约情况以及目标算力节点的算力履约情况,基于所述数据履约情况更新所述目标数据资产的数据历史信誉评分,基于所述算力履约情况更新所述目标算力节点的节点历史信誉评分,所述数据履约情况至少包括算力任务完成度、数据超范围使用度以及数据超权限使用度,所述算力履约情况至少包括算力任务完成度、算力资源交付达标率以及服务响应时延达标率;对所述算力任务的执行过程和所述目标资源调度方案生成一条结构化调度摘要,将所述调度摘要中的调度编号、资源调度信息、费用信息、授权信息及调度时间戳,拼接后进行哈希运算得到调度哈希值,将所述调度哈希值上链存储,并将所述调度摘要存储于链下数据库中且以所述调度编号建立索引,以形成链上存证、链下存储的存证结构。

10、第二方面,本技术提供一种算力资源和数据资产联合调度装置,包括:登记单元,用于基于表明算力来源、算力状态以及算力类型的标准算力登记格式,对多源异构的算力资源进行统一登记生成算力资源池,基于表明数据权限信息和数据资产信息的标准数据登记格式,对多源异构的数据资产进行统一登记生成数据资源池;解析单元,用于对用户的算力请求进行语义解析,得到算力需求信息和数据需求信息,基于所述算力需求信息和所述数据需求信息,从所述算力资源池和所述数据资源池中筛选出硬性条件匹配的候选算力节点集群和数据资产集群,利用算力综合匹配公式计算得到所述候选算力节点集群中各候选算力节点的算力匹配得分,利用数据综合匹配公式计算得到所述数据资产集群中各数据资产的数据匹配得分;调度单元,用于基于各所述算力匹配得分、各所述数据匹配得分、各所述候选算力节点与各所述数据资产之间的网络距离,在所述硬性条件的约束下,对由数据资产与候选算力节点构成的资源整体进行全局寻优,得到多个由数据资产和算力资源组成的资源对的资源匹配度,利用各所述资源对的资源匹配度、所述算力需求信息、所述数据需求信息以及资源使用费生成供所述用户选择的多个资源调度方案。

11、第三方面,本技术提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的算力资源和数据资产联合调度方法的步骤。

12、第四方面,本技术提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的算力资源和数据资产联合调度方法的步骤。

13、第五方面,本技术提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述的算力资源和数据资产联合调度方法的步骤。

14、由上述技术方案可知,本技术提供一种算力资源和数据资产联合调度方法和装置,通过标准算力登记格式与标准数据登记格式分别对多源异构的算力资源与数据资产进行统一登记,生成算力资源池与数据资源池,将来源各异、规格不一的两类核心生产要素纳入同一套可比较、可检索的标准化管理体系,从根本上消除了用户需分别对接多个平台、逐一人工查询与协调的障碍,为算力与数据的协同调度奠定了一致化的数据基础。通过对算力请求进行语义解析,自动拆解出算力需求信息与数据需求信息,并据此以硬性条件从两大资源池中快速筛选出候选算力节点集群与数据资产集群,再借助算力综合匹配公式与数据综合匹配公式分别量化计算各候选节点的算力匹配得分与各数据资产的数据匹配得分,使原本依赖人工经验的模糊判断转变为可计算、可排序、客观一致的量化评估,大幅提升了匹配的准确性与效率。尤为重要的是,本方法并非孤立地评价算力或数据,而是综合各算力匹配得分、各数据匹配得分以及候选算力节点与数据资产之间的网络距离,在硬性条件约束下对由数据资产与候选算力节点构成的资源整体进行全局寻优,得到多个资源对的资源匹配度,从而兼顾了算力性能、数据契合度与二者协同时的传输时延,有效避免了因单独择优而造成的算力与数据错配、就近性差等问题,实现了算力与数据的最优协同组合。最终,本方法结合各资源对的资源匹配度、算力需求信息、数据需求信息与资源使用费,自动生成多个可供用户选择的一体化资源调度方案,使用户无需人工比对与撮合即可获得兼顾资源匹配度与成本的多种资源调度方案,显著缩短了资源调度周期、提升了算力与数据资源的匹配效率与整体利用率,切实解决了传统模式下联合调度效率低、资源易错配的技术痛点。