一种AI大模型的快速注意力计算优化方法及系统与流程
本发明涉及人工智能,尤其是涉及一种ai大模型的快速注意力计算优化方法及系统。
背景技术:
1、近年来,以自注意力机制(self-attention)为核心的transformer架构已成为人工智能领域的基石,在自然语言处理、计算机视觉等多个方向上引发了革命性变革。然而当大模型需要处理长文档、高分辨率图像或长时序数据时,其大规模矩阵运算会产生高内存需求和带宽瓶颈。标准自注意力机制的计算和内存开销与输入序列长度
n呈
o(
n2)的二次方关系,这使得在训练和推理中处理长上下文变得极其具有挑战性。背后的真实原因在于:深度学习模型需要处理大规模矩阵,而这些数据主要存放在容量巨大的hbm(high bandwidthmemory,高带宽显存)中,并在运算时按需加载到sram(static random access memory,静态随机存取存储器)。然而hbm的访问速度远低于芯片上的共享内存sram,导致从hbm读取和写入数据的速度较慢。因此,每个sm(streaming multiprocessor,流多处理器)上的计算核心在并行执行任务时,常常因等待数据从hbm传输到sram而处于空闲状态。不同层级内存之间反复移动内存数据带来的昂贵i/o开销,形成了明显的性能瓶颈。
2、transformer模型的标准注意力机制的核心公式为:
3、;
4、其中,
q、
k、
v分别为查询矩阵、键矩阵和值矩阵;
dk为键的维度,用于缩放以防止梯度爆炸。该公式涉及计算一个
n×
n的注意力矩阵(
n为序列长度),这在
n较大时会导致内存爆炸,传统实现(如pytorch的内置注意力)需要将
qkt、
v,以及
softmax前的注意力矩阵
s和
softmax后的权重
p等中间矩阵存储在hbm中,如图1所示,造成频繁的内存读写,占用高带宽,并限制批次大小或序列长度。
5、flashattention(可直译为闪存注意力,或意译为快速注意力/高效注意力)便是在这样的需求下诞生的一种创新算法(如图2和图3所示)。它并不是通过牺牲计算精度来提升性能,而是一种“i/o感知”(i/o-aware)的精确注意力算法。这意味着尽管其实现方式不同,但其计算结果与传统方法完全一致。flashattention通过重新设计计算流程,最大限度地利用了gpu(graphics processing unit,图形处理单元)芯片上速度快但容量有限的sram,同时尽可能减少了对速度较慢、容量较大的hbm的读写操作。这种方法能够在不损失精度的前提下,将注意力机制的内存复杂度从
o(
n2)降低至
o(
n),并显著提高计算速度。这一突破不仅为长上下文模型的发展铺平了道路,也为未来算法与硬件协同设计提供了重要参考。
6、具体来说,flashattention是针对transformer模型中注意力机制的一种高效实现方案,旨在优化计算过程,减少gpu内存访问开销,并加快执行速度,特别适用于处理长序列输入的情况。flashattention通过将注意力计算分解成小块(blocks)并在gpu的片上内存sram中进行局部计算和内核级融合,避免了不必要的全局内存hbm读写,无需物化(即将矩阵生成并存储在内存中)整个注意力矩阵,从而实现了高效的注意力计算。这不仅优化了内存访问效率,还大大加速了训练和推理过程,并降低了内存使用量。
7、经研究发现,现有的flashattention技术在处理长序列的注意力计算时,尽管已经通过分块和在线流式softmax显著降低了i/o复杂度,但仍然存在一些不足。首先,flashattention默认会计算所有块,这意味着当序列长度n较大时,即使很多块对最终结果贡献不大,也会消耗不必要的计算资源和内存带宽。这种情况限制了模型在资源有限设备上的部署效率。其次,该技术缺乏一种机制来动态评估每个块的重要性,这容易导致冗余计算,特别是在注意力分布高度稀疏的任务中(例如处理长文档),从而形成效率瓶颈。此外,虽然数值稳定性依赖于在线更新策略,但是低贡献块可能引入噪声,进而影响整体的计算精度。
技术实现思路
1、本发明的目的在于提供一种ai大模型的快速注意力计算优化方法及系统,以至少解决现有flashattention技术存在的上述问题之一。
2、第一方面,本发明提供一种ai大模型的快速注意力计算优化方法,应用于ai面试官系统的大模型推理场景,通过改进flashattention的注意力计算过程实现块级甄选优化,包括:
3、获取输入序列对应的查询矩阵、键矩阵和值矩阵,并按gpu的sram容量进行分割,得到查询矩阵对应的多个查询块,以及键矩阵和值矩阵对应的多个键值块对;
4、对于每个查询块,通过动态块重要性评估机制评估每个键值块对相对于查询块的重要性,基于每个键值块对的重要性总分进行是否保留该键值块对的智能决策,并对保留的目标键值块对进行在线流式softmax更新,得到查询块的输出子矩阵;其中,动态块重要性评估机制通过计算键值块对的分块注意力分数的统计特征与信息熵特征实现;
5、将各查询块的输出子矩阵写回hbm,得到目标输出矩阵。
6、在可选的实施方式中,对于每个查询块,通过动态块重要性评估机制评估每个键值块对相对于查询块的重要性,基于每个键值块对的重要性总分进行是否保留该键值块对的智能决策,并对保留的目标键值块对进行在线流式softmax更新,得到查询块的输出子矩阵,包括:
7、依次加载每个查询块至sram;
8、对加载的当前查询块进行输出子矩阵、行和向量及最大值向量的初始化;
9、依次加载每个键值块对至sram;
10、根据当前查询块,计算得到加载的当前键值块对的分块注意力分数;
11、根据分块注意力分数确定当前键值块对的注意力评分和信息熵评分;
12、根据注意力评分和信息熵评分计算得到当前键值块对的重要性总分;
13、根据重要性总分与预设评分阈值的大小关系,确定是否保留当前键值块对;
14、当保留当前键值块对时,使用在线流式softmax更新行和向量、最大值向量和输出子矩阵;
15、当所有键值块对均处理完成时,将当前的输出子矩阵作为当前查询块的最终输出子矩阵。
16、在可选的实施方式中,分块注意力分数通过以下公式计算得到:
17、;
18、其中,
sij表示第
i个查询块与第
j个键块之间的局部注意力相似性或相关性分数,
qi表示第
i个查询块,表示第
j个键块的转置,
dk表示键的维度,
br表示查询矩阵的行块大小,
bc表示值矩阵的列块大小。
19、在可选的实施方式中,根据分块注意力分数确定当前键值块对的注意力评分和信息熵评分,包括:
20、将分块注意力分数的平均值或最大值,确定为注意力评分;
21、对分块注意力分数逐行应用softmax得到概率分布矩阵,并将概率分布矩阵各行的信息熵的平均值作为信息熵评分。
22、在可选的实施方式中,重要性总分基于配置的注意力权重和信息熵权重,对注意力评分和信息熵评分进行加权求和得到;其中,注意力权重和信息熵权重的取值根据transformer模型的层级动态调整。
23、在可选的实施方式中,transformer模型的层级被划分为浅层、中间层和深层;
24、浅层关注局部特征,其注意力权重和信息熵权重分别被配置为0.3、0.7,预设评分阈值被配置为0.45;
25、中间层用于整合语义上下文,其注意力权重和信息熵权重分别被配置为0.4、0.6,预设评分阈值被配置为0.35;
26、深层用于处理全局依赖,其注意力权重和信息熵权重分别被配置为0.5、0.5,预设评分阈值被配置为0.25。
27、在可选的实施方式中,根据重要性总分与预设评分阈值的大小关系,确定是否保留当前键值块对,包括:
28、当重要性总分大于或等于预设评分阈值时,保留当前键值块对;
29、当重要性总分小于预设评分阈值时,丢弃当前键值块对。
30、第二方面,本发明提供一种ai大模型的快速注意力计算优化系统,应用于ai面试官系统的大模型推理场景,通过改进flashattention的注意力计算过程实现块级甄选优化,包括:
31、获取模块,用于获取输入序列对应的查询矩阵、键矩阵和值矩阵,并按gpu的sram容量进行分割,得到查询矩阵对应的多个查询块,以及键矩阵和值矩阵对应的多个键值块对;
32、处理模块,用于对于每个查询块,通过动态块重要性评估机制评估每个键值块对相对于查询块的重要性,基于每个键值块对的重要性总分进行是否保留该键值块对的智能决策,并对保留的目标键值块对进行在线流式softmax更新,得到查询块的输出子矩阵;其中,动态块重要性评估机制通过计算键值块对的分块注意力分数的统计特征与信息熵特征实现;
33、输出模块,用于将各查询块的输出子矩阵写回hbm,得到目标输出矩阵。
34、第三方面,本发明提供一种电子设备,包括存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现前述实施方式中任一项的ai大模型的快速注意力计算优化方法。
35、第四方面,本发明提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行前述实施方式中任一项的ai大模型的快速注意力计算优化方法。
36、本发明提供的一种ai大模型的快速注意力计算优化方法及系统,应用于ai面试官系统的大模型推理场景,通过改进flashattention的注意力计算过程实现块级甄选优化,该方法包括:获取输入序列对应的查询矩阵、键矩阵和值矩阵,并按gpu的sram容量进行分割,得到查询矩阵对应的多个查询块,以及键矩阵和值矩阵对应的多个键值块对;对于每个查询块,通过动态块重要性评估机制评估每个键值块对相对于查询块的重要性,基于每个键值块对的重要性总分进行是否保留该键值块对的智能决策,并对保留的目标键值块对进行在线流式softmax更新,得到查询块的输出子矩阵;其中,动态块重要性评估机制通过计算键值块对的分块注意力分数的统计特征与信息熵特征实现;将各查询块的输出子矩阵写回hbm,得到目标输出矩阵。这样通过引入动态块重要性评估机制,进行键值块对保留或丢弃的智能决策,实现了flashattention的块级甄选优化,提升了长序列处理的效率和可持续性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com