数据处理装置、数据处理方法及相关产品与流程

本披露一般涉及数据处理。更具体地，本披露涉及一种数据处理装置、数据处理方法及相关产品。

背景技术：

1、在现代深度学习领域，尤其是自然语言处理和计算机视觉等任务中，transformer架构及其变体得到了广泛应用。transformer架构的核心是注意力机制，其能够捕捉序列中元素之间的长程依赖关系，从而显著提升模型对复杂数据的理解和生成能力。在注意力机制中，softmax运算扮演着至关重要的角色，它将注意力分数转换为概率分布，用于确定不同序列元素之间的相对重要性权重。

2、传统的softmax运算实现方式存在诸多不足。大规模序列的softmax运算直接计算会导致巨大的计算量和存储开销。由于注意力机制涉及到序列中各个位置元素之间的相互计算，随着序列长度的增加，注意力机制的计算复杂度和存储需求呈二次增长，使得内存占用急剧上升，硬件的存储和计算能力往往难以满足需求，尤其是在处理长序列任务时，计算延迟显著增加，严重制约了模型的性能和效率。

3、有鉴于此，亟需提供一种数据处理方案，以便提升注意力机制中softmax运算的处理速度，同时优化硬件资源的利用效率，以适应日益增长的深度学习计算需求。

技术实现思路

1、为了至少解决如上所提到的一个或多个技术问题，本披露在多个方面中提出了数据处理装置、数据处理方法、集成电路装置、板卡、计算装置和计算机可读存储介质方案。

2、在第一方面中，本披露提供一种数据处理装置，包括控制电路和第一处理电路，其中：所述控制电路配置用于控制所述第一处理电路按量化组循环执行注意力机制中的至少部分运算，所述量化组为注意力机制中按序列长度拆分的计算单元中划分的组别；所述第一处理电路包括：最大值计算电路，配置用于执行注意力机制中按量化组划分的注意力矩阵的行最大值计算，得到每个量化组的局部最大值；指数运算电路，配置用于对所述注意力矩阵与所述局部最大值的第一差值进行指数运算，得到第一中间结果；以及量化电路，配置用于基于量化系数，对所述第一中间结果执行量化操作，得到每个量化组的概率矩阵，其中所述量化系数为量化后的目标数据类型能够表示的最大数值的倒数，所述概率矩阵用于所述注意力机制中的softmax运算。

3、在第二方面中，本披露提供一种数据处理方法，包括按量化组循环执行注意力机制任务中的以下操作，其中所述量化组为注意力机制中按序列长度拆分的计算单元中划分的组别：对注意力机制任务中按量化组划分的注意力矩阵进行行最大值计算，得到每个量化组的局部最大值；对所述注意力矩阵与所述局部最大值的第一差值进行指数运算，得到第一中间结果；以及基于量化系数，对所述第一中间结果执行量化操作，得到每个量化组的概率矩阵，其中所述量化系数为量化后的目标数据类型能够表示的最大数值的倒数，所述概率矩阵用于所述注意力机制任务中的softmax运算。

4、在第三方面中，本披露提供一种集成电路装置，包括根据本披露在第一方面中所述的数据处理装置。

5、在第四方面中，本披露提供一种板卡，包括根据本披露在第三方面中所述的集成电路装置。

6、在第五方面中，本披露提供一种计算装置，包括：至少一个处理器；以及与所述至少一个处理器通信的至少一个存储器，其上存储有计算机可读指令，当所述计算机可读指令由所述至少一个处理器加载并执行时，使得所述至少一个处理器执行本披露在第二方面中所述的数据处理方法。

7、在第六方面中，本披露提供一种计算机可读存储介质，其中存储有程序指令，当所述程序指令由处理器加载并执行时，使得所述处理器执行根据本披露在第二方面中所述的数据处理方法。

8、通过如上所提供的数据处理方案，本披露实施例通过控制电路控制第一处理电路按量化组循环执行注意力机制中的至少部分运算，将注意力矩阵按照量化组划分，并且设置第一处理电路中的最大值计算电路、指数运算电路、量化电路按量化组执行流水线运算，实现了注意力机制中softmax运算和mx量化操作的深度硬件融合。这种融合消除了传统softmax运算方法中软件层面的繁琐数据传输和多次存储操作，使得整个计算流程在硬件层面实现流水线化，中间结果在流水线运算电路中传递，减少了中间结果的存储需求，从而显著提升了计算效率，降低了对硬件的存储开销和计算开销。同时，量化操作基于量化系数进行，量化系数为量化后目标数据类型能表示的最大数值的倒数，这确保了量化后的概率矩阵在数值范围和精度上的平衡，提升了计算的准确性以及有效降低了量化操作的复杂度。

1.一种数据处理装置，包括控制电路和第一处理电路，其中：

2.根据权利要求1所述的数据处理装置，其中所述第一处理电路还包括：

3.根据权利要求1所述的数据处理装置，其中所述第一处理电路还包括：

4.根据权利要求1-3任一所述的数据处理装置，还包括存储电路，配置用于以下至少一项：

5.根据权利要求4所述的数据处理装置，还包括：

6.根据权利要求1-5任一所述的数据处理装置，其中，

7.根据权利要求6所述的数据处理装置，其中所述第一处理电路或者所述第二处理电路进一步配置用于：

8.根据权利要求7所述的数据处理装置，其中所述第一处理电路或者所述第二处理电路还配置用于：

9.根据权利要求4所述的数据处理装置，其中所述存储电路包括sram电路。

10.根据权利要求2所述的数据处理装置，其中所述调整因子包括注意力缩放因子和对数变换因子。

11.一种数据处理方法，包括按量化组循环执行注意力机制任务中的以下操作，其中所述量化组为注意力机制中按序列长度拆分的计算单元中划分的组别：

12.根据权利要求11所述的数据处理方法，还包括：

13.根据权利要求11或12所述的数据处理方法，还包括按计算单元循环执行注意力机制任务中的以下操作：

14.根据权利要求13所述的数据处理方法，进一步包括：

15.根据权利要求14所述的数据处理方法，还包括：

16.根据权利要求12所述的数据处理方法，其中所述调整因子包括注意力缩放因子和对数变换因子。

17.一种集成电路装置，包括根据权利要求1-10任一项所述的数据处理装置。

18.一种板卡，包括根据权利要求17所述的集成电路装置。

19.一种计算装置，包括：

20.一种计算机可读存储介质，其中存储有程序指令，当所述程序指令由处理器加载并执行时，使得所述处理器执行根据权利要求11-16任一所述的数据处理方法。