边缘-中心二级知识图谱的构建、算力评估方法及系统与流程
本发明涉及计算机软件与算力调度,具体涉及边缘-中心二级知识图谱的构建、算力评估方法及系统。
背景技术:
1、在新型电力系统与电网三网(通信网、算力网、数字网)协同建设落地背景下,电力数字化业务高速扩张,电网设备智能巡检、新能源预测、调度语音识别、电力风控审核等ai应用大规模落地,cnn、transformer、moe等多架构人工智能模型广泛部署,电力算力需求呈现多类型、异构化、高可靠、低时延的特征。电网业务人员熟悉电力规程、业务逻辑,但欠缺ai模型、gpu/npu硬件、显存带宽、p95时延、ttft等算力专业指标知识,在算力资源申报环节无法将高可靠、毫秒级响应等业务约束转化为标准化算力参数,形成业务侧与算力侧供需语义鸿沟。传统算力评估依靠人工经验填表估算,易出现算力资源过度闲置冗余或配置不足引发业务卡顿、超时故障;同时现有技术中暂无统一的电力场景算力性能基线库,缺少标准化算力评估体系,无法精准量化不同ai模型的硬件消耗,制约三网协同下算力统筹调度,在此行业痛点下催生本发明方案。
2、现有相近方案分为两类:通用商用算力评估方案、国内电力行业现有算力基线方案,最接近现有技术为依托模型-场景映射表单和人工基线查表的算力评估方案(国内算力城域网白皮书落地方案以及azure ai gallery评估方案结合体)。
3、现有查表式算力评估基于静态 excel 基线表,业务人员手动填写参数,工程师人工筛选硬件,缺少标准化算力评估体系,无法精准量化不同ai模型的硬件消耗,制约三网协同下算力统筹调度的问题。
技术实现思路
1、为了解决现有技术缺少标准化算力评估体系,无法精准量化不同ai模型的硬件消耗,制约三网协同下算力统筹调度的问题,本发明提出了一种边缘-中心二级知识图谱的构建方法,包括:
2、从多源异构数据中抽取实体及实体间关系,生成初始三元组集合;
3、将所述初始三元组集合按硬件部署层级划分为边缘分片三元组与中心分片三元组,并建立跨分片连接关系;
4、对所述边缘分片三元组、所述中心分片三元组及所述跨分片连接关系进行实体对齐与知识融合,得到标准化三元组集合;
5、将所述标准化三元组集合导入图数据库,以节点和边的形式存储,并嵌入约束条件,构建边缘-中心二级知识图谱。
6、优选地,所述将所述初始三元组集合按硬件部署层级划分为边缘分片三元组与中心分片三元组,并建立跨分片连接关系,包括:
7、将变电站、台区边缘节点的本地化电力业务、边缘轻量化ai模型、边缘npu算力性能及本地低时延约束的三元组划分为边缘分片三元组;
8、将全网统筹调度的跨区域电力业务、云端moe大模型、gpu集群算力指标、全网统一算力基线及三网协同合规规范的三元组划分为中心分片三元组;
9、为各边缘分片三元组中的每个实体分配第一跨分片标识符,为各中心分片三元组中与该实体具有业务关联关系的实体分配相同的第二跨分片标识符;基于所述第一跨分片标识符与所述第二跨分片标识符的一致性匹配,建立边缘分片与中心分片之间的索引关联关系,生成分片关联映射表。
10、优选地,所述对所述边缘分片三元组、所述中心分片三元组及所述跨分片连接关系进行实体对齐与知识融合,得到标准化三元组集合,包括:
11、对边缘分片三元组进行本地术语统一、实体消歧与数据去重,标准化电力业务模糊约束对应的算力参数;
12、对中心分片三元组整合全网多源算力基线数据、模型参数、硬件指标,补齐p95尾时延、ttft、tpot长尾性能指标,修正通用算力基线与电力业务场景的适配偏差;
13、基于跨分片标识符进行分片一致性校验,将电力业务侧的模糊业务需求,自动映射转换为标准化算力技术指标,形成包含“业务场景-ai模型-算力硬件-性能指标-合规约束”五层的标准化三元组集合。
14、优选地,所述将所述标准化三元组集合导入图数据库,以节点和边的形式存储,并嵌入约束条件,构建边缘-中心二级知识图谱,包括:
15、将标准化三元组集合中边缘分片三元组采用轻量级图数据库存储;
16、将标准化三元组集合中中心分片三元组采用企业级图数据库存储;
17、以实体为节点,实体之间的关联关系为边,由边缘分片三元组构建边缘知识图谱;
18、以实体为节点,实体之间的关联关系为边,由中心分片三元组构建中心知识图谱;
19、由边缘-中心之间的跨分片标识符作为边缘知识图谱和中心知识图谱的关联关系,并结合约束条件,构建边缘-中心二级知识图谱。
20、优选地,还包括:
21、基于算力性能基线库迭代更新的真实压测工况的实测压测数据,实时比对边缘-中心二级知识图谱内存储的实体与参数指标的关系,自动识别理论图谱规则与真实压测工况的偏差项;
22、基于偏差项与三元组关系,自动迭代修正语义关联权重、约束阈值区间、业务适配映射关系,同步更新模型层级适配规则与硬件性能匹配边界。
23、再一方面本发明还提供了一种基于知识图谱技术的引导式算力需求标准评估方法,包括:
24、从描述业务需求的自然语言中解析输入关键词,并匹配预先构建的边缘-中心二级知识图谱得到算法模型实体;
25、基于算法模型实体采用交互式槽位填充机制,引导补全算法模型实体信息;
26、将输入关键词和补全后的算法模型实体信息进行整合,生成机器可识别的结构化业务需求画像;
27、基于需求画像检索边缘-中心二级知识图谱,获取算法模型的初步候选平台集合;
28、基于知识图谱中实体关联关系对所述候选平台集合中算法模型适配度进行评估;
29、其中,边缘-中心二级知识图谱是基于如上述所述的一种边缘-中心二级知识图谱的构建方法构建的。
30、优选地,所述基于知识图谱中实体关联关系对所述候选平台集合中算法模型适配度进行评估,包括:
31、基于所述知识图谱中实体间的关联关系及实体属性,对所述候选平台集合中的各组合分别进行模型适配评分、并发适配性评分、时延适配评分和吞吐适配评分;
32、基于所述模型适配评分、并发适配性评分、时延适配评分和吞吐适配评分,采用加权求和的方式计算各组合的综合匹配准确度;
33、其中,所述模型适配评分、并发适配性评分、时延适配评分和吞吐适配评分的评分规则基于所述知识图谱中存储的硬件物理上限属性、通信链路实测性能属性及模型运行基线属性确定,是对硬件物理约束与通信物理约束的量化映射。
34、再一方面,本技术还提供了基于知识图谱技术的引导式算力需求标准评估系统,包括:
35、知识推理层,用于从描述业务需求的自然语言中解析输入关键词,并匹配预先构建的边缘-中心二级知识图谱得到算法模型实体;
36、引导交互层,用于基于算法模型实体采用交互式槽位填充机制,引导补全算法模型实体信息;
37、匹配计算层,用于整合输入关键词和补全后的算法模型实体信息,生成机器可识别的结构化业务需求画像;并基于需求画像检索边缘-中心二级知识图谱,获取算法模型的初步候选平台集合;
38、结果输出层,用于基于知识图谱中实体关联关系对所述候选平台集合中算法模型适配度校验打分,量化算力选型匹配准确度;
39、其中,边缘-中心二级知识图谱是基于如上述所述的一种边缘-中心二级知识图谱的构建方法构建的。
40、优选地,知识推理层具体用于;
41、采用命名实体识别和语义角色标注技术解析自然语言,得到输入关键词;
42、基于输入关键词在预先构建的边缘-中心二级知识图谱中检索,得到自然语言对应的业务场景实体,进而匹配到算法模型实体。
43、优选地,输入关键词包括:业务场景、处理对象和业务任务。
44、优选地,匹配计算层具体用于:
45、将输入关键词和补全后的算法模型实体信息整合在一起,并转化为机器可识别的结构化业务需求画像;
46、基于需求画像中的模型分类、业务硬件约束,检索边缘-中心二级知识图谱内模型和硬件关联关系,召回初步候选平台集合;
47、从初步候选平台集合中剔除明显违反时延、并发硬件约束的平台,得到候选平台集合。
48、优选地,结果输出层具体用于:
49、基于所述知识图谱中实体间的关联关系及实体属性,对所述候选平台集合中的各组合分别进行模型适配评分、并发适配性评分、时延适配评分和吞吐适配评分;
50、基于所述模型适配评分、并发适配性评分、时延适配评分和吞吐适配评分,采用加权求和的方式计算各组合的综合匹配准确度;
51、其中,所述模型适配评分、并发适配性评分、时延适配评分和吞吐适配评分的评分规则基于所述知识图谱中存储的硬件物理上限属性、通信链路实测性能属性及模型运行基线属性确定,是对硬件物理约束与通信物理约束的量化映射。
52、再一方面,本技术还提供了一种电子设备,包括:至少一个处理器和存储器;所述存储器和处理器通过总线相连;
53、所述存储器,用于存储一个或多个程序;
54、当所述一个或多个程序被所述至少一个处理器执行时,实现如上述所述的一种边缘-中心二级知识图谱的构建方法和基于知识图谱技术的引导式算力需求标准评估方法。
55、再一方面,本技术还提供了一种计算机可读存储介质,其上存有执行程序,所述执行程序被执行时,实现如上述所述的一种边缘-中心二级知识图谱的构建方法和基于知识图谱技术的引导式算力需求标准评估方法。
56、与现有技术相比,本发明的有益效果为:
57、本发明提供了一种边缘-中心二级知识图谱的构建方法,构建了边缘-中心二级知识图谱,该知识图谱解决了传统图谱参数固化、适配性差、无法适配电网边缘合规部署约束的行业短板,本发明还提供了基于知识图谱技术的引导式算力需求标准评估方法,该评估方法从描述业务需求的自然语言中解析输入关键词,并匹配预先构建的边缘-中心二级知识图谱得到算法模型实体;基于算法模型实体采用交互式槽位填充机制,引导补全算法模型实体信息;整合输入关键词和补全后的算法模型实体信息,生成机器可识别的结构化业务需求画像;基于需求画像检索边缘-中心二级知识图谱,获取算法模型的初步候选平台集合;基于知识图谱中实体关联关系对所述候选平台集合中算法模型适配度校验打分,量化算力选型匹配准确度。解决了现有技术业务侧与算力侧供需语义鸿沟,提供了标准化算力评估体系,精准量化不同ai模型的硬件消耗,实现了三网协同下算力统筹调度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com