加速设备的数据迁移方法、电子设备、介质及程序产品与流程

本申请涉及存储，尤其涉及一种加速设备的数据迁移方法、电子设备、介质及程序产品。

背景技术：

1、在大模型推理架构中，可以利用加速设备的内部存储空间存储在后续推理过程中可以继续利用的缓存数据，以提升整体的推理速度。但加速设备的内部存储空间是有限的，在超长序列推理（如万字级文本生成）和高并发推理场景下，容易出现因内部存储空间不足而导致推理任务中断的问题。而为满足内部存储空间需求盲目增加加速设备数量，会导致硬件部署成本呈指数级上升，成为大模型规模化落地的核心技术瓶颈。

2、相关技术中，使用flash（闪存）或者分布式内存缓存存储缓存数据。但在使用这些介质存储缓存数据时，需要频繁的进行i/o（input/output，输入/输出）操作，导致影响推理操作效率；且存储数据时所采取的随机的数据存储方式容易导致存储空间碎片化，导致存储空间浪费严重。

技术实现思路

1、本申请提供了一种加速设备的数据迁移方法、电子设备、介质及程序产品，以至少解决相关技术中对加速设备的缓存数据的数据存储效率较低的问题。

2、本申请提供了一种加速设备的数据迁移方法，包括：确定加速设备的内部存储空间中待迁移的目标缓存数据的数据信息，其中，内部存储空间用于存储在加速设备执行计算任务的过程中产生的缓存数据，加速设备与多组外部存储空间连接，外部存储空间包括：多个具有相同区域信息的外部存储区域，不同外部存储空间中的外部存储区域具有不同的区域信息；从多组外部存储空间中查找对应的区域信息与数据信息匹配的目标存储空间；将目标缓存数据从内部存储空间迁移至目标存储空间所包括的多个外部存储区域中的目标存储区域。

3、本申请还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现上述任一种加速设备的数据迁移方法的步骤。

4、本申请还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一种加速设备的数据迁移方法的步骤。

5、本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一种加速设备的数据迁移方法的步骤。

6、通过本申请，加速设备与多组外部存储空间连接，外部存储空间包括多个具有相同区域信息的外部存储区域，不同外部存储空间中的外部存储区域具有不同的区域信息，确定加速设备的内部存储空间中待迁移的目标缓存数据的数据信息，内部存储空间用于存储在加速设备执行计算任务的过程中产生的缓存数据，以内部存储空间作为缓存数据的缓冲区，可以减少与外部存储空间的io交互，再从多组外部存储空间中查找对应的区域信息与数据信息匹配的目标存储空间，将目标缓存数据从内部存储空间迁移至目标存储空间所包括的多个外部存储区域中的目标存储区域，将目标缓存数据迁移至与目标缓存数据匹配的目标存储区域，可以避免使用不适合的存储空间存储目标缓存数据所导致的存储空间的浪费。因此，可以解决相关技术中对加速设备的缓存数据的数据存储效率较低的技术问题，达到提高对加速设备的缓存数据的数据存储效率的技术效果。

1.一种加速设备的数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的数据迁移方法，其特征在于，所述从所述多组外部存储空间中查找对应的所述区域信息与所述数据信息匹配的目标存储空间，包括：

3.根据权利要求2所述的数据迁移方法，其特征在于，所述从所述至少一个第一存储空间中确定所述目标存储空间，包括以下之一：

4.根据权利要求1所述的数据迁移方法，其特征在于，所述从所述多组外部存储空间中查找对应的所述区域信息与所述数据信息匹配的目标存储空间，包括：

5.根据权利要求4所述的数据迁移方法，其特征在于，所述从所述至少一个第二存储空间中确定所述目标存储空间，包括：

6.根据权利要求1所述的数据迁移方法，其特征在于，所述从所述多组外部存储空间中查找对应的所述区域信息与所述数据信息匹配的目标存储空间，包括：

7.根据权利要求1所述的数据迁移方法，其特征在于，所述将所述目标缓存数据从所述内部存储空间迁移至所述目标存储空间所包括的多个外部存储区域中的目标存储区域，包括：

8.根据权利要求7所述的数据迁移方法，其特征在于，所述根据所述加速设备中所记录的存储状态信息从所述目标存储空间所包括的多个外部存储区域中确定所述目标存储区域，包括：

9.根据权利要求8所述的数据迁移方法，其特征在于，在所述从第一信息表中查找所述目标存储空间所对应的至少一个候选存储区域之后，所述方法还包括：

10.根据权利要求9所述的数据迁移方法，其特征在于，所述在所述第一存储区域中划分出所述目标存储区域，包括：

11.根据权利要求1所述的数据迁移方法，其特征在于，所述确定加速设备的内部存储空间中待迁移的目标缓存数据的数据信息，包括：

12.根据权利要求11所述的数据迁移方法，其特征在于，所述确定参考存储区域中待迁移的目标缓存数据，以及所述目标缓存数据的所述数据信息，包括：

13.根据权利要求12所述的数据迁移方法，其特征在于，在所述确定参考存储区域中待迁移的目标缓存数据，以及所述目标缓存数据的所述数据信息之前，所述方法还包括：

14.根据权利要求13所述的数据迁移方法，其特征在于，在所述将所述目标缓存数据从所述内部存储空间迁移至所述目标存储空间所包括的多个外部存储区域中的目标存储区域之后，所述方法还包括：

15.根据权利要求14所述的数据迁移方法，其特征在于，所述根据所述第二信息表和所述目标次序检测所述目标词元的缓存数据的目标存储位置，包括：

16.根据权利要求1所述的数据迁移方法，其特征在于，在所述将所述目标缓存数据从所述内部存储空间迁移至所述目标存储空间所包括的多个外部存储区域中的目标存储区域之后，所述方法还包括：

17.根据权利要求16所述的数据迁移方法，其特征在于，所述回收所对应的任务状态被标记为所述非活跃状态的计算任务所对应的所述已迁移存储区域，包括：

18.一种电子设备，其特征在于，包括：

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述加速设备的数据迁移方法的步骤。

20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述加速设备的数据迁移方法的步骤。