模型升级方法、电子设备及存储介质与流程

本技术涉及车辆控制，尤其涉及一种模型升级方法、电子设备及存储介质。

背景技术：

1、在车载智能座舱和自动驾驶场景中，模型通常部署在车规级npu（neuralprocessing unit，神经网络处理器），即芯片上运行。为降低ota升级（over-the-airupgrade，无线升级）的带宽开销，行业普遍采用二进制差分增量更新方案，仅传输新旧模型权重之间的差异部分，而非完整模型文件。

2、然而，现有差分更新方法仅关注权重数值的差异压缩，导致模型升级包无法适配车载端硬件，进而导致对车载端模型升级或更新失败、功能失效，模型升级更新效率较低。

技术实现思路

1、本技术提供了一种模型升级方法、电子设备及存储介质，以解决现有的差分更新方法会破坏原有的npu硬件亲和性与模型推精度，进而导致对车载端模型升级或更新失败、功能失效，模型升级更新效率较低。的技术问题。

2、第一方面，本技术提供了一种模型升级方法，应用于云端，所述方法包括：

3、获取基准权重矩阵和目标权重矩阵，所述基准权重矩阵为已针对目标npu进行硬件优化的已部署模型权重，所述目标权重矩阵为待更新的新模型权重；

4、确定所述基准权重矩阵和所述目标权重矩阵之间的初始差分矩阵；

5、基于所述目标npu的硬件约束规则，对所述初始差分矩阵进行约束修正，得到约束差分矩阵；

6、根据所述约束差分矩阵和所述基准权重矩阵，得到更新后权重矩阵，并基于所述目标权重矩阵和所述更新后权重矩阵确定推理精度损失；

7、在所述推理精度损失超过预设损失阈值的情况下，按照符合所述硬件约束规则的调整方式调整所述约束差分矩阵中的差分数值，并重新确定所述推理精度损失，直至所述推理精度损失不超过所述预设损失阈值或达到预设的迭代停止条件，得到最终的约束差分矩阵，并将所述约束差分矩阵发送至车载端用于对已部署模型进行升级。

8、在一可能的实施方式中，所述确定所述基准权重矩阵和所述目标权重矩阵之间的初始差分矩阵，包括：

9、逐元素确定所述目标权重矩阵与所述基准权重矩阵的差值，生成初始差分矩阵。

10、在一可能的实施方式中，基于所述目标npu的硬件约束规则，对所述初始差分矩阵进行约束修正，得到约束差分矩阵，包括：

11、遍历所述初始差分矩阵的元素，识别出不符合所述硬件约束规则的待修正元素；

12、对所述待修正元素进行修正处理，得到约束差分矩阵。

13、在一可能的实施方式中，对所述待修正元素进行修正处理，包括：

14、强制将所述初始差分矩阵中与所述基准权重矩阵的零稀疏位置对应的待修正元素置为零；

15、对不符合所述硬件约束规则中的数值量化约束的待修正元素，进行数值修正处理。

16、在一可能的实施方式中，对不符合所述硬件约束规则中的数值量化约束的待修正元素，进行数值修正处理，包括：

17、获取所述硬件约束规则中的数值量化约束，所述数值量化约束至少包括权重数值的位宽要求和取值范围；

18、对所述待修正元素与所述基准权重矩阵中对应位置的元素进行求和，得到和值；

19、在所述和值超出所述取值范围的情况下，将所述待修正元素调整为使得所述和值落入所述取值范围内的极值；

20、在所述和值未超出所述取值范围但不符合所述位宽要求的情况下，对所述待修正元素进行舍入或取整处理。

21、在一可能的实施方式中，基于所述目标权重矩阵和所述更新后权重矩阵确定推理精度损失，包括：

22、获取预设的测试数据集；

23、将所述目标权重矩阵在所述测试数据集上进行推理，得到基准精度；

24、将所述更新后权重矩阵在所述测试数据集上进行推理，得到当前精度；

25、将所述基准精度与所述当前精度的差值，作为推理精度损失。

26、在一可能的实施方式中，按照符合所述硬件约束规则的调整方式调整所述约束差分矩阵中的差分数值，包括：

27、以模型的功能模块或npu结构化分块为基本单元，确定各基本单元对精度变化的敏感度，筛选出敏感度最高的预设数量个基本单元作为微调块；按照预设的调整步长和所述硬件约束规则，对所述微调块中的差分数值进行调整；

28、或者，将在生成所述约束差分矩阵过程中被修正过的权重位置及其相邻区域内的权重位置，作为微调位置集；按照预设的调整步长和所述硬件约束规则，对所述微调位置集内的差分数值进行调整。

29、第二方面，本技术提供了一种模型升级方法，应用于车载端，所述方法包括：

30、接收云端通过第一方面生成的约束差分矩阵；并获取基准权重矩阵，所述基准权重矩阵为已针对目标npu进行硬件优化的已部署模型权重；

31、将所述基准权重矩阵与所述约束差分矩阵合并，得到目标差分矩阵；

32、根据所述目标差分矩阵，对已部署模型进行升级。

33、第三方面，本技术提供了一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中模型升级程序，以实现第一方面和第二方面中任一项所述的模型升级方法。

34、第四方面，本技术提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面和第二方面中任一项所述的模型升级方法。

35、本技术实施例提供的上述技术方案与现有技术相比具有如下优点：本技术实施例提供的该方法，获取基准权重矩阵和目标权重矩阵；确定基准权重矩阵和目标权重矩阵之间的初始差分矩阵；基于目标npu的硬件约束规则，对初始差分矩阵进行约束修正，得到约束差分矩阵；根据约束差分矩阵和基准权重矩阵，得到更新后权重矩阵，并基于目标权重矩阵和更新后权重矩阵确定推理精度损失；在推理精度损失超过预设损失阈值的情况下，按照符合硬件约束规则的调整方式调整约束差分矩阵中的差分数值，并重新确定推理精度损失，直至推理精度损失不超过预设损失阈值或达到预设的迭代停止条件，得到最终的约束差分矩阵，并将约束差分矩阵发送至车载端用于对已部署模型进行升级。

36、通过在差分计算阶段嵌入目标npu的硬件约束规则，对初始差分矩阵进行强制修正，使得所生成的约束差分矩阵与基准权重矩阵合并后，其权重分布天然满足目标npu的位宽、取值范围及预定义稀疏模式等硬件规则。车载端接收该约束差分矩阵后，无需进行额外的量化适配或稀疏重排，即可直接加载推理，从而从根本上避免了因差分更新破坏硬件亲和性而引发的功耗激增与延迟抖动，实现了模型升级后的“性能零损耗”。

37、通过将约束差分矩阵与基准权重矩阵合并得到更新后权重矩阵，并以预设测试数据集为基准，量化该更新后权重矩阵相对于目标权重矩阵的推理精度损失。当精度损失超限时，本技术在严格符合硬件约束规则的前提下，对差分数值进行迭代微调，直至精度损失收敛至预设阈值以内。该闭环补偿机制在确保硬件合规的前提下，以最小幅度调整恢复模型性能，保证了升级后模型的功能有效性，实现了“更新即可用”。

38、进一步的，将全部的硬件约束修正与精度补偿迭代计算置于云端执行，车载端仅需接收轻量级的约束差分矩阵并与本地基准权重矩阵进行逐元素合并。该方案既显著降低了ota差分升级包的传输字节量，又省去了车载端传统的本地重量化与精度调优环节，从而大幅缩短了车载ai模型的整体ota升级周期，降低了带宽与算力开销。