一种基于边缘计算的AI算力集群主动测试方法与流程
本发明涉及边缘测试,特别是一种基于边缘计算的ai算力集群主动测试方法。
背景技术:
1、随着人工智能推理任务由集中式云端逐步下沉至边缘侧,边缘计算已成为支撑低时延感知、现场智能分析和分布式算力协同的重要技术基础。在智能制造、安防监测、车路协同、能源调度等场景中,边缘算力节点通常需要就近承载图像内容、文本内容、语音内容和传感采集内容的实时推理任务,并通过部署智能推理模型形成面向业务请求的推理路径。为保障多节点协同运行,ai算力集群通常结合模型部署登记、节点调用关系、旁路推理路径和运行状态记录,对边缘算力节点中的智能推理模型执行状态进行管理,使测试样本进入模型、模型完成推理以及测试状态返回之间具备可记录的执行关系,从而为边缘计算环境下的ai算力集群运行测试提供基础支撑。
2、现有ai算力集群测试通常以节点资源状态、模型调用结果和运行日志作为判断依据,测试过程多停留在单点状态记录层面,缺少将测试样本在推理路径中的传递位置、智能推理模型的影子推理位置以及测试状态的返回落点进行连续对应的主动测试机制,难以准确确定异常发生在推理路径中的具体位置,进而导致后续复测链路缺少明确的路径依据。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了一种基于边缘计算的ai算力集群主动测试方法解决难以准确确定异常发生在推理路径中的具体位置问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、本发明提供了一种基于边缘计算的ai算力集群主动测试方法,其包括,
5、以边缘算力节点中智能推理模型的推理路径为测试对象,将测试样本嵌入推理路径,并在推理路径中标记目标边缘算力节点和状态回填位置,生成初始ai任务探针;
6、将初始ai任务探针送入初测影子推理链,驱动初测影子推理链在与主业务推理链分离的状态下,调用智能推理模型对测试样本进行影子推理,把影子推理形成的测试状态回写至初始ai任务探针,形成状态ai任务探针;
7、将状态ai任务探针中的测试状态与智能推理模型的推理路径进行衔接核对,确定测试状态在推理路径中的异常位置;
8、基于异常位置选定复测链路,将状态ai任务探针匹配至复测链路中的复测影子推理链,对推理路径中的异常位置执行复测,并汇总复测后状态ai任务探针中的测试状态,生成主动测试结果。
9、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述测试样本是供智能推理模型执行影子推理的图像内容、文本内容、语音内容和传感采集内容中的任一项;
10、所述推理路径是由测试样本进入智能推理模型前的路径入口、智能推理模型的影子推理位置以及测试状态的返回落点依次串接形成的推理执行路径。
11、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述生成初始ai任务探针,具体包括,
12、在推理路径中定位测试样本进入智能推理模型前的路径入口,将路径入口关联的边缘算力节点作为候选边缘算力节点;
13、对候选边缘算力节点与智能推理模型在推理路径中的调用关系进行核验,将调用关系成立的候选边缘算力节点标记为目标边缘算力节点;
14、在推理路径中查找智能推理模型完成影子推理后形成测试状态的返回落点,将返回落点标记为状态回填位置;
15、将目标边缘算力节点写入推理路径的路径入口,并将状态回填位置写入推理路径的返回落点,形成标记推理路径;
16、将测试样本、目标边缘算力节点和状态回填位置封装至标记推理路径,生成初始ai任务探针。
17、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述形成状态ai任务探针,具体包括,
18、以目标边缘算力节点为匹配对象,查找与目标边缘算力节点相连的初测影子推理链,并将初始ai任务探针送入初测影子推理链;
19、初测影子推理链在标记推理路径中划分测试样本的影子传递位置和主业务推理链的真实业务请求位置,形成影子执行分支;
20、影子执行分支调用目标边缘算力节点中的智能推理模型,对测试样本执行影子推理,得到影子推理状态;
21、将影子推理状态中的样本传递状态、模型调用状态和推理完成状态整理为初始ai任务探针的测试状态;
22、将测试状态回写至初始ai任务探针中的状态回填位置,形成状态ai任务探针。
23、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述初测影子推理链是在目标边缘算力节点内,沿标记推理路径串接智能推理模型和状态回填位置,并与主业务推理链分离形成的旁路推理链;
24、所述主业务推理链是目标边缘算力节点中承接真实业务请求,并调用智能推理模型对真实业务请求执行推理处理的业务推理路径。
25、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述智能推理模型的构建过程,具体包括,
26、将边缘样本训练集中的样本内容与样本任务标签进行对应整理,形成训练样本;
27、构建轻量推理网络,轻量推理网络包括样本入口层、共享特征压缩层、任务推理分支层、边缘一致校核层和推理输出层;
28、将训练样本送入样本入口层,通过样本入口层将训练样本转换为样本特征,并将样本特征传递至共享特征压缩层;
29、通过共享特征压缩层对样本特征进行边缘特征压缩和特征融合,形成共享推理特征;
30、将共享推理特征分发至任务推理分支层,按照样本任务标签对共享推理特征进行推理映射,得到分支推理结果;
31、通过边缘一致校核层对分支推理结果与样本任务标签进行一致校核,一致校核成立时将分支推理结果通过推理输出层输出,并将当前轻量推理网络确定为智能推理模型,一致校核不成立时将分支推理结果回送至共享特征压缩层进行特征重整,并将特征重整后的共享推理特征再次分发至任务推理分支层进行推理映射,按照再次形成的分支推理结果调整轻量推理网络的网络参数,调整后形成智能推理模型;
32、将智能推理模型部署至边缘算力节点,并记录智能推理模型在边缘算力节点中的推理路径。
33、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述边缘样本训练集是由边缘算力节点采集并用于训练智能推理模型的样本内容及对应的样本任务标签组成的训练集合。
34、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述衔接核对是将状态ai任务探针中的测试状态按照智能推理模型的推理路径进行前后位置对应,核对测试状态与推理路径之间的连续承接关系。
35、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述生成主动测试结果,具体包括,
36、以推理路径中的异常位置为中心,在推理路径中截取相邻推理段,形成复测范围;
37、在目标边缘算力节点中查找旁路推理路径,将旁路推理路径与复测范围进行位置对齐,选定复测链路;
38、将推理路径中的异常位置和状态ai任务探针中的测试状态写入复测链路,形成复测探针路径;
39、在复测探针路径中定位与异常位置相接的复测影子推理链,将状态ai任务探针匹配至复测影子推理链;
40、复测影子推理链调用智能推理模型,对推理路径中的异常位置执行复测,形成复测测试状态;
41、将复测测试状态写入状态ai任务探针中的状态回填位置,形成复测后状态ai任务探针;
42、汇总复测后状态ai任务探针中的测试状态,生成主动测试结果。
43、作为本发明所述基于边缘计算的ai算力集群主动测试方法的一种优选方案,其中:所述复测影子推理链是由复测链路中的旁路推理路径、智能推理模型和状态回填位置串接形成的旁路推理链。
44、本发明有益效果为:通过可回填ai任务探针与初测影子推理链的协同测试,实现了测试样本、目标边缘算力节点、状态回填位置和测试状态在同一测试载体中的集中承载;状态ai任务探针在边缘计算环境下保存测试样本进入推理路径、智能推理模型执行影子推理以及测试状态回写之间的承接关系,使主动测试从节点日志追踪转为沿推理路径核对的状态化测试;同时,初测影子推理链与主业务推理链分离执行,能够减少主动测试对真实业务请求的干扰,使测试状态更准确反映智能推理模型在边缘算力节点中的调用情况和推理完成情况,从而提高了异常位置判定、复测链路选定和主动测试结果生成的连续性与可验证性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com