一种降低多模型任务排队时延的方法和装置与流程

技术特征：
1.一种降低多模型任务排队时延的方法，其特征在于，包括：接收插入的新模型任务指令及暂停执行指令；在接收到所述暂停执行指令后，继续执行当前的第一模型任务，直到遇到当前第一模型任务指令中的取消点后中断所述第一模型任务，所述取消点为预先在所述第一模型任务指令中编译的标记点；根据所述取消点，获取所述第一模型任务目标数据在芯片内部的目标存储地址；所述目标数据为所述取消点之前的指令执行处理数据；根据所述目标存储地址，将所述目标数据转存至外部存储器；执行所述新模型任务的指令；当所述新模型任务的指令执行完毕后，根据所述目标存储地址，将存储在外部存储器中的目标数据恢复存储至所述芯片内部，继续执行所述第一模型任务。2.根据权利要求1所述的降低多模型任务排队时延的方法，其特征在于，在所述第一模型任务启动执行之前，还包括：将第一模型及其参数编译为硬件可识别的二进制指令序列；在所述二进制执行序列中插入若干取消点，生成第一模型任务指令。3.根据权利要求2所述的降低多模型任务排队时延的方法，其特征在于，在所述二进制指令序列中插入若干取消点，生成第一模型指令具体包括：获取所述二进制指令序列中的转储位置；所述转储位置为临时数据总量超出第一数据量时将数据转储到外部存储介质的位置，所述第一数据量小于芯片内部存储介质容量；在所述转储位置设置取消点。4.根据权利要求2所述的降低多模型任务排队时延的方法，其特征在于，在所述二进制指令序列中插入若干取消点，生成第一模型指令具体包括：在所述二进制指令执行序列中，每隔预设的执行时间间隔插入一个取消点。5.根据权利要求1所述的降低多模型任务排队时延的方法，其特征在于，还包括：当未接收到暂停执行指令时，继续执行当前的所述第一模型任务，且在遇到所述第一模型任务指令中的取消点后仍执行后续的指令序列。6.一种降低多模型任务排队时延的装置，其特征在于，包括：命令接收模块，用于接收插入的新模型任务指令及暂停执行指令；任务执行模块，用于在接收到所述暂停执行指令后，继续执行当前的第一模型任务，直到遇到当前第一模型任务指令中的取消点后中断所述第一模型任务，所述取消点为预先在所述第一模型任务指令中编译的标记点；地址获取模块：用于根据所述取消点，获取所述第一任务目标数据在芯片内部的目标存储地址；所述目标数据为所述取消点之前的指令执行处理数据；数据转储模块，根据所述目标存储地址，将所述目标数据转存至外部存储器；所述任务执行模块，还用于执行所述新模型任务的指令；数据恢复模块，用于当所述新模型任务的指令执行完毕后，根据所述目标存储地址，将存储在外部存储器中的目标数据恢复存储至所述芯片内部，继续执行所述第一模型任务。7.根据权利要求6所述的降低多模型任务排队时延的装置，其特征在于，还包括：编译模块，用于将第一模型及其参数编译为硬件可识别的二进制指令序列；
指令生成模块，用于在所述二进制执行序列中插入若干取消点，生成第一模型任务指令。8.根据权利要求7所述的降低多模型任务排队时延的装置，其特征在于，所述指令生成模块具体包括：数据设置子模块，用于获取所述二进制指令序列中的转储位置；所述转储位置为临时数据总量超出第一数据量时将数据转储到外部存储介质的位置，所述第一数据量小于芯片内部存储介质容量；在所述转储位置设置取消点；时间设置子模块，用于在所述二进制指令执行序列中，每隔预设的执行时间间隔插入一个取消点。9.根据权利要求6所述的降低多模型任务排队时延的装置，其特征在于，还包括：所述任务执行模块，还用于当未接收到暂停执行指令时，继续执行当前的所述第一模型任务，且在遇到所述第一模型任务指令中的取消点后仍执行后续的指令序列。10.一种电子设备，其特征在于，包括一个或多个处理器，以及存储器，存储有计算机指令，所述计算机指令在被所述处理器运行时使所述处理器执行根据权利要求1至5任一项所述的方法。

技术总结
本申请提供了一种降低多模型任务排队时延的方法和装置，包括：接收插入的新模型任务指令；继续执行当前的第一模型任务，直到遇到当前第一模型任务指令中的取消点后中断第一模型任务，取消点为预先在第一模型任务指令中编译的标记点；根据取消点，获取第一模型任务目标数据在芯片内部的目标存储地址；目标数据为取消点之前的指令执行处理数据；根据目标存储地址，将目标数据转存至外部存储器；执行新模型任务的指令；当新模型任务的指令执行完毕后，根据目标存储地址，将目标数据恢复存储至芯片内部，继续执行第一模型任务。采用本申请的技术方案，可以显著降低小模型等待大模型带来的延迟开销。来的延迟开销。来的延迟开销。


技术研发人员：曹博 陈韫韬 赵季
受保护的技术使用者：辉羲智能科技（上海）有限公司
技术研发日：2022.09.30
技术公布日：2023/2/3