深度学习模型边缘部署方法、装置、设备及介质
本技术涉及人工智能与边缘计算领域,尤其涉及一种深度学习模型边缘部署方法、相应的装置、电子设备及计算机可读存储介质。
背景技术:
1、近年来,以resnet、yolov8、vision transformer为代表的高精度深度神经网络在目标检测、语义理解、医学影像等领域取得了突破性进展,但其参数量庞大、计算量高、内存占用大的问题使其难以直接部署于资源受限的边缘设备。以yolov8-l为例,其参数量约43m,fp32模型文件约166mb,推理计算量约165.7 gflops,峰值显存约4.85gb。与此同时,边缘计算场景对推理延迟(工业质检≤16ms/帧、智能驾驶≤33ms/帧、无人机自主导航≤20ms/帧)、功耗(通常低于15至25w)和存储(通常低于512mb)提出了极为严格的约束,高精度模型必须经过有效压缩与加速处理方能满足实际部署要求。
2、为应对上述挑战,现有技术主要发展出剪枝、知识蒸馏和量化三条技术路线。剪枝通过移除贡献较小的结构单元降低模型规模;知识蒸馏将教师网络的知识迁移至紧凑学生网络以逼近其精度;量化将浮点参数映射至低比特整数以降低存储和计算开销。然而,上述技术在实际应用中各自存在明显局限:剪枝方面,现有l1范数和泰勒展开等方法基于一阶敏感度估计,无法精确捕捉各层对全局性能的二阶影响,高压缩比下精度损失超过3.6%;知识蒸馏方面,传统方法仅传递输出层软标签,忽视中间特征层的丰富语义,导致学生网络特征表示能力受限;量化方面,固定全局int8位宽未能针对各层量化噪声敏感度进行差异化分配,敏感层精度下降明显而冗余层压缩不足,精度与速度无法兼顾。此外,上述三类方法在实际工程中往往各自独立优化,缺乏系统性协同设计,误差在联合应用时相互叠加,精度损失超过3%至5%。同时,tensorrt等推理引擎的部署过程需要大量手工调优,缺乏与上游压缩流程的深度耦合,部署工程成本高、效率低。
3、综上所述,适应现有技术的深度学习模型边缘部署存在阶段孤立误差叠加、剪枝精度损失大、蒸馏不充分、量化固定位宽、部署手工调优等问题,本技术人出于解决该问题的考虑作出相应的探索。
技术实现思路
1、本技术的目的在于解决上述问题而提供一种深度学习模型边缘部署方法、相应的装置、电子设备及计算机可读存储介质。
2、为满足本技术的各个目的,本技术采用如下技术方案:
3、适应本技术的目的之一而提出的一种深度学习模型边缘部署方法,包括:
4、获取预训练的教师网络、校准数据集及所述边缘设备的实时输入数据;
5、基于所述校准数据集,计算所述教师网络各卷积层各输出通道的二阶重要性评分,根据各卷积层平均二阶重要性评分与所有卷积层最大平均二阶重要性评分的相对关系动态确定各卷积层剪枝率,按所述剪枝率移除低重要性通道及其关联输入滤波器,并同步更新跨层连接维度,得到压缩后的学生网络;
6、以冻结后的所述教师网络为监督源,在所述教师网络与所述学生网络的多个中间特征层处分别引入可学习的包含1×1卷积层与批归一化层的特征对齐模块,将所述学生网络的特征图通道维度映射至与所述教师网络的特征图通道维度一致后,联合任务损失、蒸馏损失与特征对齐损失对所述学生网络进行蒸馏微调,得到精度恢复后的学生网络;
7、计算所述精度恢复后的学生网络各卷积层在量化前后的输出激活相对误差期望作为量化敏感度,依据各卷积层所述量化敏感度与预设阈值的比较结果为各卷积层分配相应量化位宽,并通过量化感知训练对权重和激活进行联合微调,得到量化后的学生模型;
8、将所述量化后的学生模型转换为中间格式,导入所述边缘设备的推理引擎,由所述推理引擎对所述中间格式进行处理,生成推理引擎文件,加载至所述边缘设备后,接收所述实时输入数据执行推理并输出推理结果。
9、可选的,基于所述校准数据集,计算所述教师网络各卷积层各输出通道的二阶重要性评分的步骤,包括:
10、基于所述校准数据集对所述教师网络进行前向传播与反向传播,计算损失函数,获取各卷积层中各输出通道内每个权重在每一个校准样本下、损失函数对该权重求导所得的梯度值;
11、对于任一卷积层的任一输出通道,先针对该通道内的每个权重,将该权重在各个校准样本下对应的梯度值分别取平方,再对所有校准样本的梯度平方求取平均值;将得到的平均值与该权重数值的平方相乘,得到单个权重对应的乘积结果;对该通道内所有权重对应的乘积结果进行求和;将求和之后得到的结果乘以二分之一,得到该输出通道的二阶重要性评分;所述二阶重要性评分用于表征移除该输出通道对模型损失函数的影响程度。
12、可选的,根据各卷积层平均二阶重要性评分与所有卷积层最大平均二阶重要性评分的相对关系动态确定各卷积层剪枝率的步骤,包括:
13、针对每一卷积层,求取该卷积层内全部输出通道对应的二阶重要性评分的平均值,得到该卷积层的平均二阶重要性评分;
14、获取全部卷积层的平均二阶重要性评分,从中选取最大的平均二阶重要性评分作为归一化基准值;将每一卷积层对应的平均二阶重要性评分除以所述归一化基准值,所得结果作为该卷积层的相对重要性系数;
15、基于预设的全局目标压缩率、预设的敏感度权重系数以及各卷积层的所述相对重要性系数,计算得到每一卷积层对应的剪枝率;在分配剪枝率时,使相对重要性越高的卷积层对应越低的剪枝率,相对重要性越低的卷积层对应越高的剪枝率。
16、可选的,按所述剪枝率移除低重要性通道及其关联输入滤波器,并同步更新跨层连接维度,得到压缩后的学生网络的步骤,包括:
17、按所述二阶重要性评分从高到低对各卷积层的输出通道进行排序,在各卷积层中保留前指定比例的通道,移除剩余的低重要性通道及其关联的下一层输入滤波器切片;
18、对于跨层拼接操作,对所有参与拼接的输入分支施加一致的通道掩码,保持拼接后维度一致性;
19、对于残差连接操作,对主路与残差路施加完全一致的通道掩码,保持逐元素加法维度一致性。
20、可选的,所述可学习的包含1×1卷积层与批归一化层的特征对齐模块为1×1卷积层与批归一化层的组合,其输入通道数为所述学生网络在相应中间特征层的通道数,输出通道数为所述教师网络在相应中间特征层的通道数;
21、所述多个中间特征层包括浅层特征层、中层特征层和高层特征层,分别对应小尺度目标检测、中尺度目标检测和大尺度目标检测的语义特征输出位置;
22、所述包含1×1卷积层与批归一化层的特征对齐模块仅在蒸馏微调阶段参与训练,训练完成后被丢弃,不参与边缘端推理。
23、可选的,联合任务损失、蒸馏损失与特征对齐损失对所述学生网络进行蒸馏微调,得到精度恢复后的学生网络的步骤,包括:
24、计算所述学生网络在目标任务上的任务损失;
25、计算所述学生网络输出与所述教师网络输出之间的温度缩放kl散度作为蒸馏损失;
26、计算各中间特征层处所述学生网络经包含1×1卷积层与批归一化层的特征对齐模块映射后的学生特征图与所述教师网络对应教师特征图之间的均方误差,作为特征对齐损失;
27、将所述任务损失、蒸馏损失与特征对齐损失按预设权重加权求和,得到联合优化总损失,以所述总损失为导向对所述学生网络进行梯度更新。
28、可选的,依据各卷积层所述量化敏感度与预设阈值的比较结果为各卷积层分配相应量化位宽的步骤,包括:
29、当所述量化敏感度高于第一预设阈值时,分配fp16位宽;
30、当所述量化敏感度介于所述第一预设阈值与第二预设阈值之间时,分配int8位宽,其中所述第二预设阈值低于所述第一预设阈值;
31、当所述量化敏感度低于或等于所述第二预设阈值时,分配int4位宽。
32、适应本技术的另一目的而提供的一种深度学习模型边缘部署装置,包括:
33、数据获取模块,设置为获取预训练的教师网络、校准数据集及所述边缘设备的实时输入数据;
34、结构化剪枝模块,设置为基于所述校准数据集,计算所述教师网络各卷积层各输出通道的二阶重要性评分,根据各卷积层平均二阶重要性评分与所有卷积层最大平均二阶重要性评分的相对关系动态确定各卷积层剪枝率,按所述剪枝率移除低重要性通道及其关联输入滤波器,并同步更新跨层连接维度,得到压缩后的学生网络;
35、知识蒸馏恢复模块,设置为以冻结后的所述教师网络为监督源,在所述教师网络与所述学生网络的多个中间特征层处分别引入可学习的包含1×1卷积层与批归一化层的特征对齐模块,将所述学生网络的特征图通道维度映射至与所述教师网络的特征图通道维度一致后,联合任务损失、蒸馏损失与特征对齐损失对所述学生网络进行蒸馏微调,得到精度恢复后的学生网络;
36、混合精度量化模块,设置为计算所述精度恢复后的学生网络各卷积层在量化前后的输出激活相对误差期望作为量化敏感度,依据各卷积层所述量化敏感度与预设阈值的比较结果为各卷积层分配相应量化位宽,并通过量化感知训练对权重和激活进行联合微调,得到量化后的学生模型;
37、推理部署模块, 设置为将所述量化后的学生模型转换为中间格式,导入所述边缘设备的推理引擎,由所述推理引擎对所述中间格式进行处理,生成推理引擎文件,加载至所述边缘设备后,接收所述实时输入数据执行推理并输出推理结果。
38、适应本技术的另一目的而提供的一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述深度学习模型边缘部署方法的步骤。
39、适应本技术的另一目的而提供的一种计算机可读存储介质,其以计算机可读指令的形式存储有依据所述深度学习模型边缘部署方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。
40、相对于现有技术,本技术针对现有技术的深度学习模型边缘部署存在阶段孤立误差叠加、剪枝精度损失大、蒸馏不充分、量化固定位宽、部署手工调优等问题,本技术包括但不限于如下有益效果:
41、其一、本技术通过hasp剪枝、famd蒸馏和ham-qat量化三个阶段协同联动,并引入精度反馈闭环调控机制,克服了传统方法各阶段独立优化、误差叠加的缺陷。在yolov8-l模型上,本技术将精度损失控制在0.6%,相比独立l1剪枝+int8量化的3.6%精度损失,降低3个百分点。
42、其二、本技术提出的hasp算法基于hessian矩阵对角近似进行二阶敏感度分析,利用fisher信息矩阵精确量化各卷积通道的重要性,有效避免误剪关键通道。在同等压缩条件下,hasp剪枝比传统l1范数剪枝精度提升0.8个百分点;在70%参数压缩比下,精度损失仅为0.8%。
43、其三、本技术根据各层平均重要性评分与全局最大评分的相对比值动态分配各层剪枝率,使高敏感层获得低剪枝率、低敏感层获得高剪枝率,同时设置全局通道保留约束防止过度剪枝。剪枝后同步更新跨层拼接与残差连接维度,确保学生网络结构完整可微。
44、其四、本技术在浅层、中层和高层三处中间特征层分别引入可学习1×1卷积+批归一化对齐模块,联合任务损失、温度缩放kl散度蒸馏损失和特征对齐损失三项损失函数对学生网络进行微调。剪枝后模型map@50从51.5%恢复至53.0%,恢复幅度达1.5个百分点,相比仅输出层蒸馏的传统方法精度提升0.5个百分点。蒸馏完成后对齐模块被丢弃,不增加任何推理开销。
45、其五、本技术依据逐层量化噪声敏感度与预设阈值的比较结果,为各层自动分配fp16、int8或int4三档位宽。相比固定int8量化,混合精度量化精度提升0.6个百分点,int4层额外降低显存15%。通过直通估计器进行量化感知训练,将量化步骤的精度损失控制在0.2个百分点以内。
46、其六、本技术在剪枝与蒸馏之间设置精度反馈回路,蒸馏完成后评估精度损失,若超过阈值则自动回调全局压缩率并回滚至剪枝阶段重新执行,最多迭代三次,确保最终精度损失始终满足用户设定约束。
47、其七、本技术将量化模型经onnx导出后由tensorrt自动执行层融合、int8熵校准及cuda内存池优化,部署工程时间缩短60%,峰值显存降低28%,吞吐量提升12%。
48、其八、以yolov8-l在nvidia jetson orin nx上部署为例:精度损失仅0.6%,模型压缩率82%,推理加速比3.8倍,单帧延迟47.7ms,峰值显存降低78%,五项指标全面优于现有方法。本技术同时适用于yolov5/v9/v11、resnet、efficientdet等主流模型及jetson、snapdragon、arm cortex等边缘平台。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com