基于端-边-云设备拓扑感知的AI编排流程自适应适配方法和系统与流程

摘要: 本发明涉及ai编排流程控制,尤其涉及基于端-边-云设备拓扑感知的ai编排流程自适应适配方法和系统。背景技术:1、ai编排流程作为端-边-云协同计算的关键技术环节...
基于端-边-云设备拓扑感知的AI编排流程自适应适配方法和系统与流程

本发明涉及ai编排流程控制,尤其涉及基于端-边-云设备拓扑感知的ai编排流程自适应适配方法和系统。

背景技术:

1、ai编排流程作为端-边-云协同计算的关键技术环节,通过将多个ai算子模型按预设逻辑顺序编排组合,形成完整的推理链,实现从数据采集、特征提取到智能决策的端到端自动化处理。ai编排流程的执行效果直接决定了智能应用的服务质量与可靠性,其协同适配能力关系到整个端-边-云系统的运行效率与资源利用率。在真实部署环境中,ai编排流程面临设备异构性强、网络拓扑动态变化、算子模型频繁更新等多重挑战。具体而言,端侧设备计算资源受限且类型多样,边侧网关负载波动剧烈,云侧服务器集群拓扑复杂,导致编排链路的执行环境始终处于动态变化之中。同时,ai算子模型因算法迭代、性能优化或业务需求变更而频繁更换版本,不同版本的模型在结构设计、预处理流程和特征表示上可能存在显著差异。

2、然而,现有技术在对ai编排流程进行自适应适配时,没有将ai算子间的语义偏差与一般通信数据传输的成功率进行区分,通常以网络连通性和数据包成功送达作为协同效果的核心评判标准。例如,当上下游算子间数据成功传输时,即使下游算子正确接收了上游输出的数据,若下游算子的模型结构、预处理流程或特征表示方式与上游算子存在差异,其对同一组数据的语义理解仍可能存在偏差。这种语义偏差会在推理链中逐层传播和累积,若不考虑ai算子模型本身对数据语义理解的差异性,很难准确评估编排流程的真实协同质量与推理准确性。同时,现有技术在更换某一节点模型时,缺乏对上下游模型适配需求的全面考量,通常仅在新模型接口兼容的基础上即完成替换,忽略了模型语义空间的偏移对整体推理链的链式影响,导致编排流程在模型更新后出现隐蔽的协同退化,无法为ai编排流程的稳定运行提供有效保障。

技术实现思路

1、为了克服现有技术存在的缺陷与不足,本发明提供基于端-边-云设备拓扑感知的ai编排流程自适应适配方法和系统,通过分析上下游ai算子间因规格与语义差异导致的语义偏差,构建链式累积偏差传播模型,预测语义偏差污染风险;评估因资源波动、拓扑变化或算子变更引发的协同失效风险;通过时间序列深度学习模型评估协同适配异常程度,并据此对ai编排链路执行差异化自适应适配,确保推理链的语义连贯与执行效果。

2、为了达到上述目的,本发明采用以下技术方案:

3、第一方面,本发明实施例提供基于端-边-云设备拓扑感知的ai编排流程自适应适配方法,包括下述步骤:

4、步骤s100、通过部署于端、边、云设备的拓扑感知探针,同步采集计算资源状态数据、网络拓扑连接关系数据、ai算子模型规格数据以及ai算子语义特征数据;

5、步骤s200、根据ai算子模型规格数据和ai算子语义特征数据,对上下游ai算子间因规格与语义差异导致的语义偏差进行分析,并构建偏差传播模型,对整个ai推理链的语义偏差污染风险进行预测分析;

6、步骤s300、结合步骤s100所采集的数据,对因资源波动、拓扑变化或算子规格变更引发的上下游协同失效风险进行分析;

7、步骤s400、基于语义偏差污染风险预测分析结果和上下游协同失效风险分析结果,对端-边-云ai编排流程的协同适配异常情况进行评估;

8、步骤s500、基于端-边-云ai编排流程的协同适配异常情况评估结果,对ai编排链路进行自适应调整。

9、结合第一方面,本发明实施例还提供第一方面的第一种实施方式,步骤100中ai算子模型规格数据包括模型结构类型、输入张量形状、输出张量形状、参数规模和预处理算子类型;ai算子语义特征数据包括输出特征空间的均值向量、协方差矩阵及特征空间主方向角,特征空间主方向角通过对对应算子的输出特征协方差矩阵进行特征值分解,提取最大特征值对应的特征向量,并计算对应特征向量与对应算子输入空间的标准基向量组的夹角得到。

10、结合第一方面,本发明实施例还提供第一方面的第二种实施方式,步骤s200中根据ai算子模型规格数据和ai算子语义特征数据,对上下游ai算子间因规格与语义差异导致的语义偏差进行分析;具体包括以下内容:

11、步骤s201、提取上游ai算子的输出张量形状和下游ai算子的输入张量形状,通过张量形状匹配检测判断上下游张量形状是否一致;若上下游张量形状一致,则将上游ai算子的输出特征空间的均值向量和协方差矩阵,与下游ai算子的输入特征空间的均值向量和协方差矩阵,采用弗雷歇距离公式计算上下游ai算子特征空间分布偏移距离;若上下游张量形状不一致,则将上游输出特征空间和下游输入特征空间的均值向量和协方差矩阵,分别通过各自的映射函数转换到共享嵌入空间中,得到上游输出特征空间和下游输入特征空间嵌入后的均值向量和协方差矩阵,根据上游输出特征空间和下游输入特征空间嵌入后的均值向量和协方差矩阵,采用弗雷歇距离公式计算上下游ai算子特征空间分布偏移距离;

12、步骤s202、提取上游ai算子的特征空间主方向角和下游ai算子的特征空间主方向角,计算上下游ai算子特征空间主方向角绝对差值,采用余弦相似度公式计算上下游ai算子特征空间主方向角余弦相似度;

13、步骤s203、将上下游ai算子特征空间分布偏移距离和上下游ai算子特征空间主方向角余弦相似度进行归一化加权求和,得到当前相邻ai算子对语义偏差值。

14、结合第一方面,本发明实施例还提供第一方面的第三种实施方式,步骤s200中构建偏差传播模型;具体包括以下内容:

15、步骤s204、遍历ai推理链上所有相邻ai算子对,分别计算各对相邻ai算子的语义偏差值,构建偏差传播模型;偏差传播模型采用链式累积效应计算推理链上各个节点的累积语义偏差值。

16、结合第一方面,本发明实施例还提供第一方面的第四种实施方式,步骤s200中对整个ai推理链的语义偏差污染风险进行预测分析;具体包括以下内容:

17、步骤s205、提取偏差传播模型中各节点的累积语义偏差值,组成推理链上各节点的累积语义偏差值序列;

18、步骤s206、将推理链上各节点的累积语义偏差值序列、各节点对应的ai算子模型规格数据中的参数规模和输入张量形状组成输入特征向量,输入预先训练的语义偏差污染风险预测模型,输出整个ai推理链的语义偏差污染风险。

19、结合第一方面,本发明实施例还提供第一方面的第五种实施方式,步骤s300中对因资源波动、拓扑变化或算子规格变更引发的上下游协同失效风险进行分析;包括以下具体步骤:

20、步骤s301、提取各节点的计算资源状态数据中的cpu利用率、内存利用率和gpu利用率,计算各节点的节点资源压力状态;提取网络拓扑连接关系数据中各链路的时延和丢包率,计算各节点的链路质量衰减程度;

21、步骤s302、提取ai算子模型规格数据中各节点对应算子的模型结构类型,将当前时刻各节点对应算子模型结构类型与前一时刻的模型结构类型进行比对,若模型结构类型不一致,则判定对应算子发生规格变更,规格变更标志记为1;若模型结构类型一致,则判定对应算子未发生规格变更,规格变更标志记为0;

22、步骤s303、对发生规格变更的算子,提取变更前后对应算子的ai算子语义特征数据中的特征空间主方向角,将对应算子变更后与变更前的特征空间主方向角的最小夹角绝对差值作为对应算子的特征空间主方向角偏移量;

23、步骤s304、将各节点的节点资源压力状态、链路质量衰减程度、规格变更标志及对应算子的特征空间主方向角偏移量作为输入特征,输入预先训练好的协同失效风险预测模型,输出整个ai推理链的上下游协同失效风险。

24、结合第一方面,本发明实施例还提供第一方面的第六种实施方式,步骤s400中基于语义偏差污染风险预测分析结果和上下游协同失效风险分析结果,对端-边-云ai编排流程的协同适配异常情况进行评估;包括以下具体步骤:

25、步骤s401、获取整个ai推理链的语义偏差污染风险和上下游协同失效风险;

26、步骤s402、将语义偏差污染风险和上下游协同失效风险进行加权求和,得到整个ai推理链的协同适配异常风险。

27、结合第一方面,本发明实施例还提供第一方面的第七种实施方式,步骤s400中对端-边-云ai编排流程的协同适配异常情况进行评估;还包括以下具体步骤:

28、步骤s403、在预设时间窗口内,连续采集多个时刻对应的协同适配异常风险,构成协同适配异常风险时序序列;基于协同适配异常风险时序序列,提取各个时刻的协同适配异常恶化速率,构成协同适配异常恶化速率时序序列;

29、步骤s404、将协同适配异常风险时序序列和协同适配异常恶化速率时序序列进行特征拼接,得到二维输入特征序列;将二维输入特征序列输入预先训练好的协同适配异常评估模型,输出得到整个ai推理链的端-边-云ai编排流程协同适配异常情况。

30、结合第一方面,本发明实施例还提供第一方面的第八种实施方式,步骤s500中基于端-边-云ai编排流程的协同适配异常情况评估结果,对ai编排链路进行自适应调整;包括以下具体步骤:

31、步骤s501、获取控制周期内所有活跃ai编排链路的端-边-云ai编排流程协同适配异常情况;将所有活跃ai编排链路按端-边-云ai编排流程协同适配异常情况由高到低进行排序,形成异常链路优先级序列;

32、步骤s502、预设自适应适配触发阈值。将异常链路优先级序列中端-边-云ai编排流程协同适配异常情况小于自适应适配触发阈值的对应链路判定为常规运行链路,维持现有编排策略不变;将端-边-云ai编排流程协同适配异常情况大于等于自适应适配触发阈值的对应链路判定为待适配链路,触发自适应适配操作。

33、第二方面,本发明实施例还提供基于端-边-云设备拓扑感知的ai编排流程自适应适配系统,包括:

34、数据采集模块,用于通过部署于端、边、云设备的拓扑感知探针,同步采集计算资源状态数据、网络拓扑连接关系数据、ai算子模型规格数据以及ai算子语义特征数据;

35、语义偏差预测模块,用于根据ai算子模型规格数据和ai算子语义特征数据,对上下游ai算子间因规格与语义差异导致的语义偏差进行分析,并构建偏差传播模型,对整个ai推理链的语义偏差污染风险进行预测分析;

36、协同检测模块,用于结合步骤s100所采集的数据,对因资源波动、拓扑变化或算子规格变更引发的上下游协同失效风险进行分析;

37、适配异常判断模块,用于基于语义偏差污染风险预测分析结果和上下游协同失效风险分析结果,对端-边-云ai编排流程的协同适配异常情况进行评估;

38、自适应适配模块,用于基于端-边-云ai编排流程的协同适配异常情况评估结果,对ai编排链路进行自适应调整。

39、本发明与现有技术相比,具有如下优点和有益效果:

40、1、本发明通过量化语义偏差在推理链中的传播与放大效应,区隔于传统通信传输以连通成功即视为协同完成的粗糙判定,实现了对ai编排流程协同质量的精细化评估,保障了推理链的语义连贯性与输出准确性;

41、2、本发明通过对上下游协同失效风险进行分析,精准识别因ai算子语义失配导致的隐性协同退化问题,降低了模型更新或环境变化后编排流程执行失效的概率,提升了端-边-云ai编排流程在动态异构环境下的运行鲁棒性;

42、3、本发明通过对端-边-云ai编排流程协同适配异常情况进行时序评估,并执行差异化自适应适配方案,能够在无需人工干预的情况下自动修复语义失配和协同退化问题,减少了因适配不及时导致的服务质量下降与业务损失,保障了ai编排流程的长期稳定执行。

43、本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明的上述技术即可得知。

44、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施方式,并配合所附附图,作详细说明如下。