模型的部署方法、装置、电子设备及存储介质与流程
本发明涉及人工智能,特别是涉及一种模型的部署方法、一种模型的部署装置、一种电子设备以及一种计算机可读存储介质。
背景技术:
1、随着人工智能技术在端侧设备的广泛应用,decoder-only transformer模型因其在自然语言处理、语音识别和时序预测等任务中的优异性能,逐渐成为嵌入式ai系统的核心组件。在智能家居、可穿戴设备、工业物联网终端等资源受限场景中,大量设备已部署了面向卷积神经网络(cnn(convolutional neural network))优化的专用神经网络处理器(npu(neural processing unit))芯片,这些芯片通过硬件级卷积加速单元显著提升了cnn类模型的推理效率,同时降低了功耗。为了充分利用现有硬件基础设施,业界尝试将decoder-only transformer模型部署到此类cnn专用npu芯片上,以实现端侧智能应用的快速响应和低功耗运行。
2、然而,相关技术在将decoder-only transformer模型部署到cnn专用npu芯片时存在明显的不足:首先,cnn专用npu芯片对矩阵乘法算子的硬件支持较弱,相关部署方案不得不采用软件模拟方式将transformer模型中的矩阵乘法转换为通用标量运算或抵消的通用指令集调用,导致计算延迟显著增加、功耗大幅上升,使得大量已经部署的cnn专用npu硬件加速能力无法被有效利用;其次,传统transformer模型部署方案中嵌入层采用全精度稠密权重存储方式,需要独立加载包含数万至数十万词项的完整词嵌入表,在端侧设备内存容量与带宽受限的条件下,频繁的主存访问造成显著的内存带宽瓶颈,严重制约了模型推理速度,难以满足实时性要求较高的端侧应用场景需求。
技术实现思路
1、本发明实施例是提供一种模型的部署方法、装置、电子设备以及计算机可读存储介质,以解决或部分解决transformer模型在cnn专用npu芯片上因矩阵乘法算子硬件支持不足导致的计算效率低下,以及嵌入层内存资源占用过大的问题。
2、本发明实施例公开了一种模型的部署方法,包括:
3、获取目标模型的原始词嵌入表、以及所述目标模型中矩阵乘法运算的权重矩阵,并构建所述原始词嵌入表对应的压缩嵌入表;
4、获取神经网络处理器支持的卷积核空间维度,并根据所述卷积核空间维度对所述权重矩阵进行矩阵重排,获得重排后的权重数据;
5、获取用于推理的输入序列,并从所述压缩嵌入表中加载所述输入序列对应的嵌入向量,将所述嵌入向量作为输入特征张量;
6、根据所述卷积核空间维度对所述输入特征张量进行逻辑维度变换,获得虚拟张量;
7、将所述虚拟张量和所述重排后的权重数据输入至所述神经网络处理器的卷积计算单元,以与所述卷积核空间维度相匹配的步长执行对应的卷积运算,完成所述目标模型在所述神经网络处理器的部署。
8、在一些可行的实现方式中,所述构建所述原始词嵌入表对应的压缩嵌入表,包括:
9、获取所述目标模型对应的训练语料,并统计所述训练语料中各词的出现频率,获得对应的词频统计结果;
10、根据所述词频统计结果,选取出现频率最高的前n个词作为活跃词表,所述n为正整数且小于所述原始词嵌入表的词表大小;
11、从所述原始词嵌入表中提取所述活跃词表中各词对应的嵌入向量,形成所述原始词嵌入表对应的压缩嵌入表。
12、在一些可行的实现方式中,所述从所述原始词嵌入表中提取所述活跃词表中各词对应的嵌入向量,形成所述原始词嵌入表对应的压缩嵌入表之后,所述方法还包括:
13、获取所述压缩嵌入表中各个嵌入向量的最大值和最小值;
14、采用所述最大值和所述最小值,计算出对应的量化系数;
15、获取各个所述嵌入向量的实际值,并采用所述实际值、所述最小值以及所述量化系数对所述压缩嵌入表进行定点量化处理,获得定点量化后的压缩嵌入表。
16、在一些可行的实现方式中,所述从所述原始词嵌入表中提取所述活跃词表中各词对应的嵌入向量,形成所述原始词嵌入表对应的压缩嵌入表之后,所述方法还包括:
17、构建索引映射数组,所述索引映射数组的大小等于所述原始词嵌入表的词表大小,所述索引映射数组中包括数组元素;
18、对于所述原始词嵌入表中的每个目标词,若所述目标词属于所述活跃词表,则将所述索引映射数组中与所述目标词对应的数组元素,设置为所述目标词在所述活跃词表中的排列序号;
19、若所述目标词不属于所述活跃词表,则将所述索引映射数组中与所述目标词对应的数组元素设置为无效标识。
20、在一些可行的实现方式中,所述根据所述卷积核空间维度对所述权重矩阵进行矩阵重排,获得重排后的权重数据,包括:
21、按照所述卷积核空间维度将所述权重矩阵沿着行维度切割为多个行块;
22、将每个所述行块中的各个权重元素按照列索引进行连续排列,并将所有所述行块沿通道维度进行堆叠,获得重排后的权重数据。
23、在一些可行的实现方式中,所述将每个所述行块中的各个权重元素按照列索引进行连续排列,并将所有所述行块沿通道维度进行堆叠,获得重排后的权重数据,包括:
24、将所述权重矩阵中的各个权重元素,按照如下方式分别写入所述重排后的权重数据中的对应位置:
25、对于所述权重矩阵中位于目标行位置和目标列位置的权重元素,在所述重排后的权重数据中的对应位置由通道维度索引、行维度索引和列维度索引共同确定;
26、其中,所述通道维度索引根据所述目标行位置除以所述卷积核空间维度的平方后向下取整的结果确定;所述行维度索引根据所述目标行位置对所述卷积核空间维度取模后的余数确定;所述列维度索引根据所述目标列位置与所述卷积核空间维度之积、加上所述目标行位置对所述卷积核空间维度取模后的余数确定。
27、在一些可行的实现方式中,所述从所述压缩嵌入表中加载所述输入序列对应的嵌入向量,包括:
28、获取所述输入序列中各词在所述原始词嵌入表中的原始词表索引;
29、按照所述原始词表索引查询索引映射数组,所述索引映射数组用于记录所述原始词嵌入表中各词在所述压缩嵌入表中的映射位置;
30、若查询到所述原始词表索引对应的目标映射位置为有效位置,则从所述压缩嵌入表中加载所述目标映射位置处的嵌入向量;
31、若查询到所述原始词表索引对应的目标映射位置为无效标识,则加载预设的默认嵌入向量。
32、在一些可行的实现方式中,所述根据所述卷积核空间维度对所述输入特征张量进行逻辑维度变换,获得虚拟张量,包括:
33、保持所述输入特征张量的物理内存存储顺序不变,按照所述卷积核空间维度将所述输入特征张量重塑为虚拟张量;
34、其中,所述虚拟张量的维度依次为批次维度、通道维度、高度维度和宽度维度。
35、在一些可行的实现方式中,所述将所述虚拟张量和所述重排后的权重数据输入至所述神经网络处理器的卷积计算单元,包括:
36、将所述重排后的权重数据以连续地址块的形式存储于所述神经网络处理器的片外内存中;
37、在所述逻辑维度变换之后,将所述输入特征张量以行连续的数据排列方式存储于所述神经网络处理器的片外内存中;
38、在执行卷积运算时,通过所述神经网络处理器的直接内存访问控制器,按照行连续读取方式将所述重排后的权重数据和所述虚拟张量传输至所述神经网络处理器的片上高速缓存中。
39、在一些可行的实现方式中,所述以与所述卷积核空间维度相匹配的步长执行对应的卷积运算,完成所述目标模型在所述神经网络处理器的部署,包括:
40、以与所述卷积核空间维度相等的数值作为卷积步长;
41、以预设值作为填充值,在所述神经网络处理器的卷积计算单元中对所述输入特征张量和所述重排后的权重数据进行滑动窗口乘加运算,获得对应的输出结果;
42、获取预先存储的与所述输入序列对应的标准输出;
43、若所述输出结果与所述标准输出一致,则确认所述目标模型在所述神经网络处理器的部署完成;若所述输出结果与所述标准输出不一致,则重新执行所述获取用于推理的输入序列及后续步骤。
44、在一些可行的实现方式中,所述获取目标模型的原始词嵌入表之后,所述方法还包括:
45、将所述目标模型的输出层权重设置为所述原始词嵌入表的转置参数。
46、本发明实施例还公开了一种模型的部署装置,包括:
47、压缩嵌入表构建模块,用于获取目标模型的原始词嵌入表、以及所述目标模型中矩阵乘法运算的权重矩阵,并构建所述原始词嵌入表对应的压缩嵌入表;
48、物理重排模块,用于获取神经网络处理器支持的卷积核空间维度,并根据所述卷积核空间维度对所述权重矩阵进行矩阵重排,获得重排后的权重数据;
49、输入加载模块,用于获取用于推理的输入序列,并从所述压缩嵌入表中加载所述输入序列对应的嵌入向量,将所述嵌入向量作为输入特征张量;
50、逻辑变换模块,用于根据所述卷积核空间维度对所述输入特征张量进行逻辑维度变换,获得虚拟张量;
51、卷积执行模块,用于将所述虚拟张量和所述重排后的权重数据输入至所述神经网络处理器的卷积计算单元,以与所述卷积核空间维度相匹配的步长执行对应的卷积运算,完成所述目标模型在所述神经网络处理器的部署。
52、在一些可行的实现方式中,所述压缩嵌入表构建模块具体用于:
53、获取所述目标模型对应的训练语料,并统计所述训练语料中各词的出现频率,获得对应的词频统计结果;
54、根据所述词频统计结果,选取出现频率最高的前n个词作为活跃词表,所述n为正整数且小于所述原始词嵌入表的词表大小;
55、从所述原始词嵌入表中提取所述活跃词表中各词对应的嵌入向量,形成所述原始词嵌入表对应的压缩嵌入表。
56、在一些可行的实现方式中,还包括:
57、最值获取模块,用于在所述压缩嵌入表构建模块形成所述压缩嵌入表之后,获取所述压缩嵌入表中各个嵌入向量的最大值和最小值;
58、量化系数计算模块,用于采用所述最大值和所述最小值,计算出对应的量化系数;
59、定点量化模块,用于获取各个所述嵌入向量的实际值,并采用所述实际值、所述最小值以及所述量化系数对所述压缩嵌入表进行定点量化处理,获得定点量化后的压缩嵌入表。
60、在一些可行的实现方式中,还包括:
61、数组构建模块,用于在所述压缩嵌入表构建模块形成所述压缩嵌入表之后,构建索引映射数组,所述索引映射数组的大小等于所述原始词嵌入表的词表大小,所述索引映射数组中包括数组元素;
62、第一设置模块,用于对于所述原始词嵌入表中的每个目标词,若所述目标词属于所述活跃词表,则将所述索引映射数组中与所述目标词对应的数组元素设置为所述目标词在所述活跃词表中的排列序号;
63、第二设置模块,用于若所述目标词不属于所述活跃词表,则将所述索引映射数组中与所述目标词对应的数组元素设置为无效标识。
64、在一些可行的实现方式中,所述物理重排模块具体用于:
65、按照所述卷积核空间维度将所述权重矩阵沿着行维度切割为多个行块;
66、将每个所述行块中的各个权重元素按照列索引进行连续排列,并将所有所述行块沿通道维度进行堆叠,获得重排后的权重数据。
67、在一些可行的实现方式中,所述物理重排模块具体用于:
68、将所述权重矩阵中的各个权重元素,按照如下方式分别写入所述重排后的权重数据中的对应位置:
69、对于所述权重矩阵中位于目标行位置和目标列位置的权重元素,在所述重排后的权重数据中的对应位置由通道维度索引、行维度索引和列维度索引共同确定;
70、其中,所述通道维度索引根据所述目标行位置除以所述卷积核空间维度的平方后向下取整的结果确定;所述行维度索引根据所述目标行位置对所述卷积核空间维度取模后的余数确定;所述列维度索引根据所述目标列位置与所述卷积核空间维度之积、加上所述目标行位置对所述卷积核空间维度取模后的余数确定。
71、在一些可行的实现方式中,所述输入加载模块具体用于:
72、获取所述输入序列中各词在所述原始词嵌入表中的原始词表索引;
73、按照所述原始词表索引查询索引映射数组,所述索引映射数组用于记录所述原始词嵌入表中各词在所述压缩嵌入表中的映射位置;
74、若查询到所述原始词表索引对应的目标映射位置为有效位置,则从所述压缩嵌入表中加载所述目标映射位置处的嵌入向量;
75、若查询到所述原始词表索引对应的目标映射位置为无效标识,则加载预设的默认嵌入向量。
76、在一些可行的实现方式中,所述逻辑变换模块具体用于:
77、保持所述输入特征张量的物理内存存储顺序不变,按照所述卷积核空间维度将所述输入特征张量重塑为虚拟张量;
78、其中,所述虚拟张量的维度依次为批次维度、通道维度、高度维度和宽度维度。
79、在一些可行的实现方式中,所述卷积执行模块具体用于:
80、将所述重排后的权重数据以连续地址块的形式存储于所述神经网络处理器的片外内存中;
81、在所述逻辑维度变换之后,将所述输入特征张量以行连续的数据排列方式存储于所述神经网络处理器的片外内存中;
82、在执行卷积运算时,通过所述神经网络处理器的直接内存访问控制器,按照行连续读取方式将所述重排后的权重数据和所述虚拟张量传输至所述神经网络处理器的片上高速缓存中。
83、在一些可行的实现方式中,所述卷积执行模块具体用于:
84、以与所述卷积核空间维度相等的数值作为卷积步长;
85、以预设值作为填充值,在所述神经网络处理器的卷积计算单元中对所述输入特征张量和所述重排后的权重数据进行滑动窗口乘加运算,获得对应的输出结果;
86、获取预先存储的与所述输入序列对应的标准输出;
87、若所述输出结果与所述标准输出一致,则确认所述目标模型在所述神经网络处理器的部署完成;
88、重执行单元,用于若所述输出结果与所述标准输出不一致,则重新执行所述获取用于推理的输入序列及后续步骤。
89、在一些可行的实现方式中,所述装置还包括:
90、权值共享模块,用于在所述数据获取模块获取所述目标模型的原始词嵌入表之后,将所述目标模型的输出层权重设置为所述原始词嵌入表的转置参数。
91、本发明实施例还公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
92、所述存储器,用于存放计算机程序;
93、所述处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述的方法。
94、本发明实施例还公开了一种计算机可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如本发明实施例所述的方法。
95、本发明实施例包括以下优点:
96、在本发明实施例中,通过构建目标模型的原始词嵌入表对应的压缩嵌入表,在推理阶段从压缩嵌入表中加载输入序列对应的嵌入向量作为输入特征张量,从而将全量词嵌入表压缩为仅包含活跃词子集的轻量结构,在显著降低端侧设备内存占用的同时减少了数据搬运量,而且由于无需在推理时遍历完整词表进行嵌入向量查找,有效提升了嵌入层的访问效率;接着,根据cnn专用npu支持的卷积核空间维度对全连接层的权重矩阵进行矩阵重排,获得重排后的权重数据,并根据卷积核空间维度对输入特征张量进行逻辑维度变换获得虚拟张量,从而将目标模型中原本依赖矩阵乘法运算的全连接层计算负载,转化为cnn专用npu原生支持的卷积运算范式,实现了从计算模式和内存布局两个层面与cnn专用npu硬件架构的深度适配;然后,将虚拟张量和重排后的权重数据输入至cnn专用npu的卷积计算单元,以与卷积核空间维度相匹配的步长执行卷积运算,完成目标模型在cnn专用npu的部署,从而在无需改变硬件的前提下,充分利用了端侧设备中已有cnn专用npu的卷积计算单元和直接内存访问传输架构,通过矩阵重排与逻辑维度变换的协同设计,使数据在内存中的布局符合cnn专用npu的突发传输偏好,减少了数据搬运过程中因地址不连续导致的传输开销,同时大幅降低了模型部署对端侧有限内存容量和带宽资源的依赖,实现了模型在cnn专用npu上的高效、轻量化部署,为存量aiot硬件赋能大模型推理提供了普适性的技术路径。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com