一种基于端云协同的轻量AI模型动态进化方法与流程
本发明涉及人工智能与边缘计算,尤其涉及一种基于端云协同的轻量ai模型动态进化方法。
背景技术:
1、人工智能与边缘计算技术领域包含深度学习模型压缩方法、模型剪枝策略、低比特量化表示方式、端侧设备资源感知机制、联邦学习参数更新流程以及端云数据交互协议等内容,其核心在于在计算资源受限的终端设备与高算力云平台之间构建协同关系,使模型训练、推理与更新过程能够分布式执行,从而形成涵盖模型结构裁剪、参数精度控制、设备状态感知、数据上传策略以及云端聚合训练的完整技术体系,该技术领域系统性涉及端侧在温度、电量与内存等多维状态约束下的模型部署方式,以及云端对高维梯度数据进行筛选、编码与聚合的处理流程,并围绕带宽受限与隐私约束环境下的模型更新问题展开。
2、其中,基于端云协同的轻量ai模型动态进化方法是指在终端设备与云端之间,通过设备状态感知与参数交互机制,实现模型结构与参数持续调整的一种方法,主要涉及的技术事项包括端侧根据芯片温度、电量水平与内存占用建立资源状态与模型层位宽之间的映射关系,采用指数衰减函数对各层量化比特进行非线性调节,并在检测到温度阈值或电量阈值变化时执行稀疏激活控制与计算路径调整;同时包括端侧在数据上传过程中对梯度信息进行语义特征提取,将连续梯度向量转换为离散哈希编码,并结合反事实样本生成方式对背景噪声数据进行筛除,以及云端对接收的编码梯度执行同态加密聚合与分阶段参数更新处理,并通过差分压缩方式将更新参数分片传输至端侧,由端侧依据接收结果执行局部权重替换与版本管理操作。
3、现有技术侧重依据预设映射关系执行位宽调节、路径切换与参数更新,运行过程中更关注参数交互与编码传输效率,对于设备状态变化后的结构演化关联缺乏持续刻画,在运行环境长期变化或资源状态频繁波动场景中,模型结构调整依据容易滞后于实际状态变化,造成结构配置与运行需求匹配程度下降,同时梯度处理过程主要围绕编码表达与聚合更新展开,对于梯度变化趋势及其长期一致性缺乏关联分析,在模型持续迭代阶段,演化决策依据容易受到短期波动影响,进而影响模型长期演化方向的稳定性与适应性。
技术实现思路
1、为了解决现有技术存在的技术问题,本发明实施例提供了一种基于端云协同的轻量ai模型动态进化方法。所述技术方案如下:
2、一种基于端云协同的轻量ai模型动态进化方法,包括以下步骤:
3、s1:获取边缘设备的芯片利用率、内存剩余容量、电池电压及推理延迟序列,按时间戳统一索引,标记计算负载、资源余量、供电约束及窗口延迟状态,按窗口串联多维状态组合,统计出现情况并归一化,生成端侧状态分布序列;
4、s2:提取所述端侧状态分布序列中的多维状态组合,以上一窗口为基准比对四类状态,形成整体变化计数,调用稳定序列确定稳定变化计数区间,越界时调取候选子图,按算力内存承载匹配替换,得到轻量结构组合序列;
5、s3:基于所述轻量结构组合序列,建立替换前后对应关系,读取原模型子图初始通道与替换后通道,标记保留通道和减少通道,确定保留通道范围,结合电池电压段调取精度区间,限定并修正精度方向,生成精度调整配置序列;
6、s4:基于所述精度调整配置序列,将保留通道精度写入替换后子图,形成精度生效后的轻量子图,输入数据及正反扰动,提取梯度变化逐维比对方向,按一致性比例筛选落入参考区间的数据,保留梯度变化,得到稳定梯度数据集合;
7、s5:提取所述稳定梯度数据集合中稳定数据对应的梯度变化,并衔接变化轨迹,比对相邻方向,生成当前趋势序列,读取历史趋势序列限定参考区间,按匹配位置定类别,改写轻量结构组合序列和精度调整配置序列,回溯子图位置,形成轻量模型动态进化结果。
8、作为本发明的进一步方案,所述端侧状态分布序列包括状态占比矩阵、状态频度等级、状态聚集特征和状态波动特征,所述轻量结构组合序列包括替换结构编号、结构配置方案、结构资源等级和结构适配类别,所述精度调整配置序列包括通道精度等级、精度分配组合、精度约束范围和精度调整档位,所述稳定梯度数据集合包括稳定样本集合、梯度方向集合、梯度幅值集合和梯度变化特征,所述轻量模型动态进化结果包括模型结构版本、模型精度版本、模型演化记录和模型能力等级。
9、作为本发明的进一步方案,所述s1的获取步骤为:
10、s11:获取边缘设备的处理芯片利用率、内存剩余容量、电池电压及推理延迟时间序列,按采样时间戳对采集内容进行排序,将同一采样时间戳对应内容归入同一索引位置,对未对齐位置写入空位标记,建立统一索引序列;
11、s12:基于所述统一索引序列,参照边缘设备额定处理能力标记处理芯片利用率对应计算负载状态,接入内存剩余容量形成资源余量状态,结合电池电压与允许供电电压范围划分电池电压段,将电池电压段写入对应采样时间戳并形成供电约束状态,生成端侧状态标记序列;
12、s13:根据所述端侧状态标记序列,按预设窗口划分推理延迟时间序列,提取对应窗口推理延迟状态,将同一窗口内计算负载状态、资源余量状态、供电约束状态及窗口推理延迟状态串联,对多维状态组合出现情况进行归一化整理,生成端侧状态分布序列。
13、作为本发明的进一步方案,所述s2的获取步骤为:
14、s21:提取所述端侧状态分布序列中各窗口的多维状态组合,以上一窗口为基准,对当前窗口内计算负载状态、资源余量状态、供电约束状态及窗口推理延迟状态逐项比对,将状态差异项累加为窗口变化项数,生成整体变化计数;
15、s22:调用所述整体变化计数,提取边缘设备稳定运行阶段端侧状态分布序列,对稳定运行阶段相邻窗口内状态变化项数进行汇总,按变化项数边界排列计数范围,将范围起点与范围终点写入同一计数区段,得到稳定变化计数区间;
16、s23:根据所述整体变化计数与所述稳定变化计数区间,对当前窗口触发状态进行判断,当整体变化计数脱离稳定变化计数区间时,基于原模型预先标定可替换子图位置调取轻量化候选子图结构集合,结合当前窗口计算负载状态和资源余量状态,对候选子图结构运算占用情况、存储占用情况与处理芯片承载范围、内存可用范围进行承载匹配,得到轻量结构组合序列。
17、作为本发明的进一步方案,所述对当前窗口内计算负载状态、资源余量状态、供电约束状态及窗口推理延迟状态逐项比对的过程具体为:
18、将上一窗口与当前窗口中对应位置的所述计算负载状态、所述资源余量状态、所述供电约束状态及所述窗口推理延迟状态按照统一顺序建立对应关系,对对应状态进行一致性判定,将判定结果写入状态比对记录,并依据所述状态比对记录中标记为不一致的状态形成所述整体变化计数;
19、所述对稳定运行阶段相邻窗口内状态变化项数进行汇总的过程具体为:
20、将稳定运行阶段连续窗口的所述窗口变化项数按照时间顺序进行排列,对相邻窗口的所述窗口变化项数建立关联关系,并将各关联关系按顺序写入变化记录集合,依据所述变化记录集合中变化项数的分布范围形成所述稳定变化计数区间。
21、作为本发明的进一步方案,所述对候选子图结构运算占用情况、存储占用情况与处理芯片承载范围、内存可用范围进行承载匹配的过程具体为:
22、将所述候选子图结构运算占用情况与所述处理芯片承载范围进行对应比对,将满足处理芯片承载范围的候选子图结构写入运算匹配集合,并将所述候选子图结构存储占用情况与所述内存可用范围进行对应比对,将同时满足内存可用范围的候选子图结构从所述运算匹配集合中筛选并写入目标结构集合,依据所述目标结构集合中候选子图结构的对应关系生成所述轻量结构组合序列。
23、作为本发明的进一步方案,所述s3的获取步骤为:
24、s31:以所述轻量结构组合序列中的替换后子图结构为处理对象,沿对应原模型可替换子图位置读取位置编号,提取替换前子图编号与替换后子图编号,按位置编号对两类子图编号进行对应关系比对,将匹配位置写入同一映射项,生成子图对应映射表;
25、s32:基于所述子图对应映射表,读取可替换子图位置原模型子图初始通道排列与替换后子图结构当前通道排列,对仍保留对应关系通道写入保留通道标记,对失去对应关系通道写入减少通道标记,按可替换子图位置归集通道标记,生成通道标记结果;
26、s33:调用所述通道标记结果,确定保留通道标记通道范围,结合当前窗口供电约束状态中电池电压段调取对应精度区间,读取保留通道标记通道当前精度状态,将当前精度状态与精度区间边界进行判断,修正精度增减方向,生成精度调整配置序列。
27、作为本发明的进一步方案,所述s4的获取步骤为:
28、s41:基于所述精度调整配置序列中的保留通道精度修正结果,读取替换后子图结构中具有保留通道标记的通道位置,将保留通道精度修正结果写入对应通道位置,对写入前通道精度状态与写入后通道精度状态进行判断,生成精度生效轻量子图;
29、s42:调用所述精度生效轻量子图,将输入数据、正向扰动输入、反向扰动输入依次接入精度生效轻量子图,提取对应梯度变化,对正向扰动与反向扰动对应梯度变化逐维进行符号方向比对,将相同符号方向写入一致标记,将相反符号方向写入不一致标记,生成梯度符号标记表;
30、s43:根据所述梯度符号标记表,统计一致标记占全部标记比例,形成当前一致性比例,调取多批输入数据经相同扰动比对得到的梯度一致性参考区间,将当前一致性比例与梯度一致性参考区间进行判断,将落入梯度一致性参考区间的输入数据及对应梯度变化归集,得到稳定梯度数据集合。
31、作为本发明的进一步方案,所述方法还包括:
32、s5:提取所述稳定梯度数据集合中稳定数据对应的梯度变化,并衔接变化轨迹,比对相邻方向,生成当前趋势序列,读取历史趋势序列限定参考区间,按匹配位置定类别,改写轻量结构组合序列和精度调整配置序列,回溯子图位置,形成轻量模型动态进化结果;
33、所述轻量模型动态进化结果包括模型结构版本、模型精度版本、模型演化记录和模型能力等级。
34、作为本发明的进一步方案,所述s5的获取步骤为:
35、s51:提取所述稳定梯度数据集合中稳定数据对应梯度变化,按保留时序排列稳定数据编号与梯度变化方向,沿连续阶段衔接相邻梯度变化方向,对相邻阶段方向一致项写入方向一致标记,对相邻阶段方向变动项写入方向变化标记,生成当前趋势序列;
36、s52:基于所述当前趋势序列,读取稳定梯度数据集合在历史轮次留存梯度变化记录,按相邻阶段方向比对方式写入历史趋势序列,对历史轮次相同位置方向一致标记和方向变化标记进行计数,按标记出现边界限定趋势范围,得到趋势参考区间;
37、s53:根据所述当前趋势序列与所述趋势参考区间,判断当前趋势序列在趋势参考区间中对应匹配位置,确定调整类别,按照调整类别改写端侧轻量结构组合序列和云端精度调整配置序列,沿精度生效后轻量子图回溯原网络可替换子图位置,形成轻量模型动态进化结果。
38、本发明实施例提供的技术方案带来的有益效果至少包括:
39、本发明中,通过多维状态组合形成状态分布特征,并以窗口间变化关系刻画设备运行趋势,可在状态偏离稳定范围时完成针对性的结构重构决策,使模型结构演化与实际运行环境保持同步,结合子图替换后的通道保留关系建立精度调整依据,实现结构变化与精度变化的协同控制,避免结构收缩过程中关键计算能力失衡,基于扰动条件下梯度方向一致程度筛选稳定梯度信息,提高演化依据的可信程度,结合连续阶段梯度轨迹与历史趋势参考形成演化判定基础,使模型演化过程具备持续修正能力,从而增强长期部署场景下的适应能力与演化稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com