一种确定性AI硬件资源复用与配置版本保持装置及方法与流程
本发明涉及人工智能加速器、硬件资源调度、可重构计算、确定性计算和集成电路设计,具体涉及一种确定性ai硬件资源复用与配置版本保持装置及方法。
背景技术:
1、随着人工智能模型规模和部署场景快速增长,ai硬件系统面临越来越多的多任务、多模型和多租户复用需求。在云端推理场景中,同一ai加速器通常需要服务多个模型或多个租户请求;在边缘设备中,同一ai芯片可能同时运行视觉识别、语音识别、传感融合和异常检测等模型;在大模型推理中,同一硬件资源可能需要在预填充阶段、解码阶段、注意力计算、前馈网络、kv缓存访问和专家网络路由之间频繁切换。
2、现有ai加速器通常通过软件运行时、驱动程序或操作系统调度多个任务。该类方式虽然灵活,但存在以下缺陷。
3、第一,软件调度存在时序不确定性。任务切换过程受操作系统调度、中断、驱动队列、缓存状态、总线竞争和动态频率变化等因素影响,难以给出严格的最坏情况执行时间上界。
4、第二,硬件配置切换开销较大。不同ai模型或不同网络层往往需要不同算子参数、权重地址、量化参数、张量形状、存储访问策略和片上网络路由配置。传统方案在切换配置时通常需要等待硬件流水线排空,或者暂停输入数据,或者重新加载配置和权重,导致气泡周期、输出中断或较大切换延迟。
5、第三,多模型或多阶段并行复用时容易发生配置错配。若同一硬件流水线中同时存在来自不同任务或不同模型阶段的数据,而配置已经切换至新任务,则旧数据可能错误地按照新配置被处理。因此,传统方案通常选择清空流水线后再切换配置,从而牺牲吞吐量和实时性。
6、第四,硬件资源利用率受到限制。为避免配置错配和时序不确定,现有系统往往为不同模型或不同安全等级任务预留独立资源,或者采用保守调度策略,造成计算资源、片上存储资源和通信资源利用率下降。
7、第五,安全关键ai应用缺乏可验证的配置版本状态和资源复用状态。当ai硬件用于自动驾驶、工业控制、医疗设备、航空航天、轨道交通等场景时,系统不仅需要较高吞吐量,还需要证明当前ai任务、当前配置版本、当前资源占用、未释放配置版本集合、引用计数和时间预算状态处于可分析、可诊断的范围内。传统ai硬件缺乏将配置版本保持、资源复用、在途对象引用状态和外部可观察状态进行硬件绑定的机制。
8、此外,现有配置切换方案可以采用配置副本或影子寄存器切换、由软件运行时、驱动程序或固件维护资源生命周期状态,或者对不同任务和租户实施资源空间隔离等方式。上述方式分别侧重于配置字段的选择与生效控制、软件侧资源生命周期管理或者固定资源分区;在部分实现中,仍可能缺少对进入ai硬件的数据对象及其派生请求与配置版本之间关联关系的持续硬件保持、对旧配置版本未完成引用状态的统一硬件检测,以及利用所述检测结果约束配置资源覆盖、释放、回绕、重映射或复用的闭环控制。因此,在配置切换和资源复用期间,仍可能存在旧配置资源的安全回收时机难以确定、软件维护状态与硬件在途状态不一致,或者固定资源分区难以兼顾动态任务需求和资源利用率等问题。
9、因此,需要一种新的硬件机制,使同一硬件执行资源能够在多个ai计算任务之间确定性复用,并在配置切换过程中保持在途数据与其原配置之间的对应关系,从而避免清空流水线、减少气泡周期,并为安全关键应用提供可验证的配置和时序状态。
技术实现思路
1、本发明的目的是解决现有技术中存在多个ai任务或模型共享同一硬件执行资源时,配置切换导致流水线清空、气泡周期或输出中断的问题;同一硬件流水线中同时存在不同任务数据时,数据与配置版本之间可能错配的问题;软件调度导致任务切换和资源复用时序不确定的问题;旧配置何时可以安全释放缺乏硬件判定机制的问题;多模型ai推理、多租户ai服务或安全关键ai硬件中,当前配置版本、资源复用状态、在途对象引用状态、时间预算状态和外部可观察状态缺乏硬件绑定的问题。
2、为了解决上述问题本发明提供一种确定性ai硬件资源复用与配置版本保持装置,包括:
3、硬件资源调度单元,用于在多个ai计算任务、多个ai推理阶段、多个模型配置、多个租户上下文或多个硬件资源请求之间分配硬件执行资源的执行顺序、执行优先级、执行时间区间、执行触发条件或确定性切换边界,并输出当前任务标识、下一任务标识、当前配置版本标识或目标配置版本标识中的至少一种;
4、配置存储与切换单元,与所述硬件资源调度单元和所述硬件执行资源耦接,用于存储多个配置版本,并根据所述当前任务标识、下一任务标识、当前配置版本标识或目标配置版本标识预取或选择对应的目标配置版本,在确定性切换边界处将所述目标配置版本标记为可供新进入对象使用,同时保持仍被在途对象引用的旧配置版本处于可访问状态;
5、配置版本标记单元,用于在待处理对象进入所述硬件执行资源、输入队列、流水线级、计算阵列、访存通道、搬运通道、片上通信通道、同步队列或提交队列时,为所述待处理对象分配、写入或锁定与其进入时刻、任务标识、租户上下文、资源请求或目标配置版本对应的配置版本标记;
6、对象侧配置版本保持单元,用于在所述待处理对象及其派生请求于硬件执行资源内部传递、排队、访存、搬运、路由、同步、等待或提交期间,保持所述待处理对象进入硬件执行资源时绑定的配置版本标记,使所述待处理对象在完成前按照所述配置版本标记对应的配置版本访问或选择资源;
7、资源侧配置版本保持单元,用于为受保护资源记录资源侧配置版本标识,所述受保护资源包括模型参数存储区、专家权重存储区、kv缓存存储区、适配器参数存储区、微码存储区、配置表项、资源预算表项、中间状态存储区、输出缓冲区或访问权限表项中的至少一种;
8、多版本配置选择单元,与所述配置存储与切换单元、配置版本标记单元、对象侧配置版本保持单元和资源侧配置版本保持单元耦接,用于根据待处理对象或在途对象携带或关联的配置版本标记,从多个仍处于可访问状态的配置版本中选择对应配置版本,并将所选择的配置字段、权重区块、路由参数、访存参数、搬运参数、算子参数、张量参数、时间预算参数或安全访问参数提供给所述硬件执行资源;
9、在途对象引用记录单元,用于记录每一配置版本是否仍被在途对象、流水线级、队列项、阵列分区、存储访问请求、搬运请求、片上通信请求、同步请求、派生请求或提交请求引用;
10、配置版本静默检测单元,用于根据所述在途对象引用记录单元记录的引用状态,判断对应配置版本是否已经静默,并在对应配置版本所启用的受监控引用类型均不存在未完成引用时输出配置版本静默信号;所述受监控引用类型包括在途对象、派生请求、dma请求、noc传输、存储访问请求、同步等待项、未提交输出、队列项、流水线级、阵列分区、资源占用项或提交请求中的至少一种;
11、资源复用控制单元,用于在对应配置版本静默之前,禁止释放、覆盖或重分配该配置版本对应的配置存储区、配置表项、权重区块、资源状态项、地址映射、资源句柄或版本号,在对应配置版本静默之后,允许将所述配置存储区、配置表项、权重区块、资源状态项、地址映射、资源句柄或版本号标记为可复用;
12、配置版本状态输出接口,用于通过片上总线、调试接口、安全诊断接口、主机处理器接口、安全控制器接口或外部验证接口输出当前活动配置版本标识、资源侧配置版本标识、未静默配置版本集合、未完成引用计数、配置版本静默状态、资源复用许可状态、资源释放阻止状态、配置版本不一致状态、配置切换告警、无效状态或安全事件信号中的至少一种;
13、其中,所述待处理对象或在途对象包括计算数据、张量块、令牌数据、微批次数据、任务描述符、dma请求、noc数据包、存储访问请求、同步事件或提交记录中的至少一种;
14、其中,在从第一ai计算任务、第一配置版本或第一租户上下文切换至第二ai计算任务、第二配置版本或第二租户上下文时,所述装置使已经进入所述硬件执行资源的第一对象继续携带第一配置版本标记并按照第一配置版本处理,使切换后进入所述硬件执行资源的第二对象携带第二配置版本标记并按照第二配置版本处理,从而在不要求所述硬件执行资源全部排空的情况下实现硬件资源复用。
15、优选方式下,所述ai计算任务包括以下至少一种:不同ai模型的推理任务、同一ai模型的不同网络层计算任务、transformer模型的预填充阶段和解码阶段、混合专家模型中的不同专家网络、卷积神经网络中的不同卷积层、注意力机制中的不同注意力头、不同租户的ai推理请求、不同批次的推理请求、不同安全等级的ai任务、或者由计算节点、搬运节点、通信节点、访存节点、同步节点和提交节点中的至少一种组成的ai任务链路。
16、优选方式下,所述硬件执行资源包括以下至少一种:ai加速器流水线、神经网络处理器npu、张量处理单元、矩阵乘法阵列、脉动阵列、可重构计算阵列、存算一体阵列、dma搬运引擎、片上sram访问通道、hbm访问控制器、外部存储控制器、片上网络noc通信通道、片上缓存、同步队列、提交队列、gpu内部可调度计算单元、chiplet互连通道或专用ai推理硬件单元。
17、优选方式下,所述配置版本包括以下至少一种配置字段:模型标识、网络层标识、算子类型、数据通路选择信息、量化参数、激活函数参数、权重地址、权重区块指针、权重版本号、kv缓存索引、注意力掩码地址、专家网络标识、专家路由状态、适配器参数标识、租户上下文标识、存储访问参数、dma搬运参数、noc路由参数、noc虚通道参数、片上sram区块标识、hbm地址范围、hbm带宽预算、批处理参数、张量形状参数、时钟模式标识、安全等级标识、时间预算标识或输出目标标识。
18、优选方式下,所述配置版本标记为随所述待处理对象或在途对象在所述硬件执行资源内部传递、排队、访存、搬运、路由、同步或提交的受保护数字字段;所述受保护数字字段包括配置版本号、任务标识、模型标识、网络层标识、专家标识、租户上下文标识、配置区块指针、权重版本号、资源链路标识、任务依赖图节点标识、代际字段、有效位、锁定位或完整性校验字段中的至少一种;
19、所述配置版本标记由硬件逻辑写入、锁定、保持或校验,或者由安全固件、硬件调度器或受信任运行时预先写入并在进入ai硬件后由硬件保护,不能被普通软件路径或非安全调试路径任意改写。
20、优选方式下,所述配置版本标记被嵌入或关联到任务描述符、命令描述符、dma描述符、noc数据包头部、存储访问请求、同步令牌、队列项、提交记录、资源请求描述符或任务依赖图节点描述符中的至少一种;当所述待处理对象派生出张量块请求、dma请求、noc数据包、hbm访问请求、sram访问请求、专家路由请求、kv缓存访问请求、同步令牌或提交记录时,所述派生请求继承、携带或查询得到源对象的配置版本标记。
21、优选方式下,所述配置存储与切换单元包括至少两个可同时保持有效的配置存储项、影子寄存器组、双缓冲配置区、多配置区块存储器、配置sram区域、配置查找表、活动配置指针表、权重区块指针表、资源预算表项、资源生命周期表项或跨资源配置表项;所述确定性切换边界包括时间槽边界、任务切换边界、模型切换边界、阶段切换边界、队列切换边界、fence边界、barrier边界、微批次边界、任务完成边界、同步事件边界或安全状态机授权边界中的至少一种;其中,所述配置存储与切换单元在目标配置版本成为可供新进入对象使用时,不覆盖仍被在途对象引用的旧配置版本。
22、优选方式下,所述对象侧配置版本保持单元包括与所述硬件执行资源的流水线级、队列项、阵列分区、访存请求项、dma请求项、noc数据包头、片上通信请求项、同步请求项或提交记录项对应设置的版本寄存器、有效位寄存器、状态寄存器、版本字段、标签字段或请求描述符字段;其中,每一级流水线、每一队列项、每一阵列分区、每一访存请求项、每一dma请求项、每一noc数据包、每一同步请求项或每一提交记录项在传递或保持有效状态的同时,传递或保持其对应的配置版本标记。
23、优选方式下,所述资源侧配置版本保持单元包括资源侧配置版本寄存器、资源版本表、资源生命周期表、配置版本映射表、资源句柄表、地址范围版本表、权重区块版本表、kv缓存版本表、专家权重版本表或适配器参数版本表中的至少一种;所述资源侧配置版本保持单元用于记录每一受保护资源当前所属的配置版本,并在资源内容、资源地址映射、访问权限、输出目标或资源句柄发生重分配时,使所述资源侧配置版本标识与重分配后的资源内容或资源映射保持一致。
24、优选方式下,所述多版本配置选择单元包括多路选择器、配置查找表、版本索引译码器、配置地址生成器、权重区块选择器、阵列分区选择器、dma参数选择器、noc路由选择器、访存参数选择器、预算参数选择器、安全访问权限选择器或资源句柄解析器中的至少一种;所述多版本配置选择单元根据当前待处理对象或在途对象携带或关联的配置版本标记,选择对应的配置字段、权重区块、阵列分区、路由参数、访存参数、搬运参数、算子参数、张量形状参数、时间预算参数、安全访问参数或输出目标参数。
25、优选方式下,在流水线型硬件执行资源中,所述多版本配置选择单元设置于一个或多个流水线级、访存级、路由级、搬运级、计算级或提交级处,使每一级根据当前流经该级的对象携带的配置版本标记选择对应配置版本;
26、在阵列型、权重驻留型或存算一体型硬件执行资源中,所述多版本配置选择单元根据配置版本标记选择对应物理权重区块、阵列分区、存储区块、配置表项、访问端口或逻辑资源句柄;
27、其中,所述多个配置版本并存不要求同一个物理乘加单元、同一个存算单元、同一个存储位元或同一个物理寄存器在同一时刻保持多个互相冲突的物理状态。
28、优选方式下,还包括配置兼容性检测单元,用于判断第一配置版本和第二配置版本是否满足无清空切换条件;当满足所述无清空切换条件时,允许第一配置版本对应的在途对象与第二配置版本对应的新进入对象在所述硬件执行资源的不同流水线级、队列项、阵列分区、权重区块、访存通道、dma通道、noc通道、同步队列或提交队列中并存;当不满足所述无清空切换条件时,所述硬件资源调度单元执行清空切换、隔离切换、分区切换、上下文保存恢复、等待切换、重映射切换或安全降级切换。
29、优选方式下,所述无清空切换条件包括以下至少一种:数据通路拓扑兼容、流水线级数兼容、队列资源可用、操作数位宽兼容、算子类型兼容、配置表项可同时保持、权重区块互不覆盖、阵列分区不冲突、dma通道不冲突、noc路由路径不冲突、noc虚通道不冲突、片上sram区块不冲突、存储访问地址范围不冲突、hbm带宽预算满足条件、访存端口带宽满足预算、安全等级隔离满足条件、deadline预算满足条件、版本号未被占用、配置版本标记可唯一索引或资源复用许可有效。
30、优选方式下,所述在途对象引用记录单元包括引用计数器、完成队列、有效位表、版本占用表、在途对象表、队列项状态表、请求完成标志、提交记录状态表、资源占用表、同步等待表、事务跟踪表或释放状态机中的至少一种;
31、当携带对应配置版本标记的数据、请求、数据包、描述符或队列项进入所述硬件执行资源、派生请求、访问资源、等待同步、产生输出或进入提交路径时,对应配置版本的引用状态被增加、置位或登记;
32、当携带对应配置版本标记的数据、请求、数据包、描述符或队列项离开所述硬件执行资源、完成计算、完成访存、完成搬运、完成通信、完成同步、提交输出或被安全撤销时,对应配置版本的引用状态被减少、清除或注销。
33、优选方式下,所述配置版本静默检测单元在检测到对应配置版本所启用的受监控引用类型均不存在未完成引用时,输出配置版本静默信号;所述受监控引用类型包括在途对象、派生请求、dma请求、noc传输、存储访问请求、同步等待项、未提交输出、队列项、流水线级、阵列分区、资源占用项或提交请求中的至少一种;
34、在配置版本静默信号输出之前,资源复用控制单元禁止将该配置版本对应的受保护资源标记为可释放、可覆盖或可重分配;
35、在配置版本静默信号输出之后,资源复用控制单元在资源侧配置版本标识、资源实际内容、配置版本映射表项、引用状态和复用许可状态一致时,允许将对应受保护资源释放、覆盖或重分配给新的配置版本。
36、优选方式下,所述资源复用控制单元包括复用许可表、释放许可位、覆盖许可位、资源可回收状态位、配置版本静默状态位、资源重分配状态位或故障静默状态位中的至少一种;当对应配置版本在预定最大保持周期内未能静默时,所述配置版本静默检测单元、资源复用控制单元或与所述装置耦接的安全状态机触发等待超时完成、安全撤销、禁止输出提交、隔离对应硬件执行资源、重建未完成引用状态、进入安全降级状态、进入故障静默状态、进入可回收状态或复位对应硬件执行资源中的至少一种操作;在对应配置版本进入故障静默状态或可回收状态之前,资源复用控制单元禁止新配置版本覆盖该配置版本仍可能被引用的受保护资源。
37、优选方式下,所述装置还包括版本分配管理单元或版本占用表;所述版本分配管理单元用于为新配置版本分配配置版本标记,并禁止将尚未被配置版本静默检测单元确认静默、尚未被资源复用控制单元确认释放、或尚未进入故障静默状态或可回收状态的配置版本标记重新分配给不同配置版本;其中,配置版本标记的位宽根据所述硬件执行资源中可能同时存在的最大未释放配置版本数量确定,或者根据最大未释放配置版本数量和安全裕量确定;当配置版本标记中的版本编号字段发生回绕时,所述版本分配管理单元通过代际字段、有效位、锁定位、占用表或完整性校验字段区分不同重分配阶段对应的不同配置版本。
38、优选方式下,所述配置版本标记单元在配置切换边界采用确定的硬件采样规则;当对象有效信号、配置切换信号、时间槽边界信号、任务切换边界信号、fence信号、barrier信号或同步事件信号在同一时钟周期出现时,所述配置版本标记单元按照预设优先级确定该对象属于切换前配置版本或切换后配置版本;所述预设优先级由硬件状态机、同步寄存器、边界控制逻辑或仲裁逻辑固定实现,并通过配置版本状态输出接口输出边界采样状态或边界异常状态中的至少一种。
39、优选方式下,所述硬件执行资源包括由npu计算阵列、dma搬运引擎、片上网络noc、片上sram访问通道、hbm访问控制器、同步队列和提交队列中的多个资源构成的异构资源链路;其中,配置版本标记随计算数据、dma请求描述符、noc数据包头、sram访问请求、hbm访问请求、同步事件或提交记录在所述异构资源链路中的多个硬件执行资源之间传递;所述多个硬件执行资源分别根据所述配置版本标记选择对应的计算配置、搬运配置、路由配置、访存配置、同步配置、提交配置、时间预算、安全访问权限或输出目标。
40、优选方式下,所述硬件资源调度单元用于读取任务依赖图描述符;所述任务依赖图描述符包括多个节点和边,所述节点包括npu计算节点、dma搬运节点、noc传输节点、sram访问节点、hbm访问节点、同步节点或输出提交节点中的至少一种;所述边表示数据依赖、执行顺序依赖、资源占用依赖、配置版本依赖、同步依赖或时间预算依赖中的至少一种;其中,所述节点或边携带任务标识、配置版本标记、资源标识、输入地址、输出地址、数据大小、优先级、安全等级、时间预算或deadline中的至少一种字段。
41、优选方式下,还包括全局资源冲突矩阵;所述全局资源冲突矩阵用于描述不同ai计算任务、不同配置版本、不同任务依赖图节点或不同资源请求之间是否存在冲突;所述冲突包括以下至少一种:npu阵列分区冲突、dma通道冲突、片上sram区块冲突、hbm带宽预算冲突、hbm bank冲突、存储地址范围冲突、noc路由路径冲突、noc虚通道冲突、片上缓存一致性冲突、安全等级隔离冲突、配置表项冲突、版本号占用冲突、资源句柄冲突、输出目标冲突或deadline预算冲突;其中,配置兼容性检测单元根据所述全局资源冲突矩阵判断是否允许不同配置版本对应的对象在所述硬件执行资源或由多个硬件执行资源构成的异构资源链路中并行、交错推进或无清空切换。
42、优选方式下,还包括时间预算表或预算比较逻辑;所述时间预算表用于记录ai计算任务、配置版本、任务依赖图节点、硬件执行资源或异构资源链路对应的时间预算;所述时间预算包括npu计算预算、dma搬运预算、noc传输预算、sram访问预算、hbm访问预算、同步等待预算、配置切换预算、版本释放预算、调度等待预算、资源冲突等待预算或端到端deadline中的至少一种;所述预算比较逻辑用于将实际耗时与对应时间预算比较,当实际耗时超过对应时间预算时,输出告警信号、无效状态或安全事件信号,或者触发降级调度、资源隔离、清空切换、等待切换、重映射切换或任务撤销。
43、优选方式下,所述配置版本状态输出接口用于输出以下至少一种状态:当前活动配置版本号、当前确定性切换边界标识、当前调度槽标识、当前ai任务标识、当前模型标识、当前任务依赖图节点编号、当前资源占用向量、资源侧配置版本标识、已分配但未释放的配置版本号集合、每个配置版本对应的引用计数、未静默配置版本集合、版本占用表、复用许可表、资源释放许可位、资源释放阻止状态、全局资源冲突矩阵命中结果、各资源时间预算消耗状态、端到端deadline状态、配置兼容性检测结果、配置切换进行中状态、配置释放完成状态、故障静默状态、配置切换告警、无效状态或安全事件信号;其中,所述配置版本状态输出接口的至少部分状态位为只读属性,其写入端仅由硬件资源调度单元、配置版本标记单元、对象侧配置版本保持单元、资源侧配置版本保持单元、配置版本静默检测单元、资源复用控制单元、配置兼容性检测单元或预算比较逻辑驱动,不能被普通软件路径或非安全调试路径改写。
44、优选方式下,所述配置版本状态输出接口还包括状态快照寄存器、错误日志缓冲区、事件计数器、只读调试寄存器、诊断状态寄存器或外部验证寄存器中的至少一种;所述状态快照寄存器用于在配置切换、资源释放阻止、版本不一致、引用计数超时、资源冲突矩阵命中、预算超限、故障静默或安全事件发生时,锁存当前配置版本标记、资源侧配置版本标识、未完成引用计数、资源占用向量、任务标识、时间预算状态或错误原因码中的至少一种;在一种实现中,所述配置版本状态输出接口输出的状态数据能够与随机数、递增计数器或时间戳组合后生成消息认证码、数字签名或完整性校验字段,用于外部验证设备确认所述状态数据的真实性或完整性。
45、优选方式下,还包括主机处理器接口、cpu协处理接口、安全固件接口或受信任运行时接口中的至少一种;所述主机处理器接口、cpu协处理接口、安全固件接口或受信任运行时接口用于提交任务描述符、配置任务依赖图、加载配置版本、读取配置版本状态、读取时间预算状态、读取告警状态、读取无效状态或执行非实时管理操作;其中,任务的提交、就绪通知、配置加载或参数下发能够由所述主机处理器接口、cpu协处理接口、安全固件接口或受信任运行时接口完成,而配置版本标记写入、配置版本保持、跨资源请求标记、资源侧配置版本保持、未完成引用记录、配置版本静默检测、资源复用许可判断、资源冲突判断、全局资源冲突矩阵判断、时间预算比较和配置释放中的至少一种由硬件逻辑执行,使配置版本管理和资源复用安全不依赖通用软件运行时或操作系统调度路径。
46、优选方式下,在混合专家模型推理场景中,所述配置版本标记对应专家网络标识、专家权重版本、专家路由状态或专家并行通信上下文中的至少一种;当不同token、不同微批次或不同租户请求被路由至不同专家网络时,所述配置版本标记随token、微批次、专家路由请求、noc数据包、all-to-all通信请求或专家输出提交记录传递;资源复用控制单元在对应专家权重版本、专家路由状态或专家通信上下文尚未静默之前,禁止覆盖或重分配其对应的专家权重区块、专家队列、通信缓冲区或路由表项;在transformer模型推理场景中,所述配置版本标记对应kv缓存版本、上下文版本、注意力掩码版本、批次版本、租户上下文版本或解码阶段版本中的至少一种;当预填充阶段、解码阶段、连续批处理、分页kv缓存、kv缓存回收或多租户请求并存时,所述对象侧配置版本保持单元使对应token、张量块、kv缓存访问请求、dma请求、noc数据包或提交记录保持其进入时绑定的配置版本标记;资源复用控制单元在对应kv缓存版本或上下文版本尚未静默之前,禁止将对应kv缓存页、kv缓存块、地址映射、页表表项或缓存资源句柄重分配给不同配置版本。
47、一种确定性ai硬件资源复用与配置版本保持方法,包括:
48、在多个ai计算任务、多个ai推理阶段、多个模型配置、多个租户上下文或多个硬件资源请求之间,通过硬件资源调度单元分配硬件执行资源的执行顺序、执行优先级、执行时间区间、执行触发条件或确定性切换边界,并输出当前任务标识、下一任务标识、当前配置版本标识或目标配置版本标识中的至少一种;根据所述当前任务标识、下一任务标识、当前配置版本标识或目标配置版本标识,从配置存储与切换单元中预取或选择对应的目标配置版本,并在确定性切换边界处将所述目标配置版本标记为可供新进入对象使用,同时保持仍被在途对象引用的旧配置版本处于可访问状态;
49、在待处理对象进入硬件执行资源、输入队列、流水线级、计算阵列、访存通道、dma通道、noc通道、同步队列或提交队列时,为所述待处理对象分配、写入或锁定配置版本标记;
50、当配置切换发生后,保持已经进入所述硬件执行资源的在途对象及其配置版本标记,使所述在途对象在完成前按照进入时绑定的配置版本标记对应的配置版本访问或选择资源;
51、根据所述在途对象或新进入对象携带或关联的配置版本标记,从多个仍处于可访问状态的配置版本中选择对应配置版本处理对应对象;
52、为受保护资源记录资源侧配置版本标识,并使资源侧配置版本标识与资源内容、资源地址映射、访问权限、输出目标或资源句柄保持一致;
53、记录每一配置版本是否仍被在途对象、队列项、流水线级、阵列分区、存储访问请求、dma请求、noc数据包、同步请求、派生请求或提交请求引用;
54、根据所记录的引用状态判断对应配置版本是否已经静默,并在对应配置版本所启用的受监控引用类型均不存在未完成引用时输出配置版本静默信号;所述受监控引用类型包括在途对象、派生请求、dma请求、noc传输、存储访问请求、同步等待项、未提交输出、队列项、流水线级、阵列分区、资源占用项或提交请求中的至少一种;
55、在对应配置版本静默之前,禁止释放、覆盖或重分配该配置版本对应的配置存储区、配置表项、权重区块、资源状态项、地址映射、资源句柄或版本号;
56、在对应配置版本静默之后,将该配置版本对应的配置存储区、配置表项、权重区块、资源状态项、地址映射、资源句柄或版本号标记为可复用;
57、通过片上总线、调试接口、安全诊断接口、主机处理器接口、安全控制器接口或外部验证接口输出当前活动配置版本标识、资源侧配置版本标识、未静默配置版本集合、未完成引用计数、配置版本静默状态、资源复用许可状态、资源释放阻止状态、配置版本不一致状态、配置切换告警、无效状态或安全事件信号中的至少一种;
58、其中,从第一ai计算任务、第一配置版本或第一租户上下文切换至第二ai计算任务、第二配置版本或第二租户上下文时,已经进入所述硬件执行资源的第一对象继续按照第一配置版本处理,切换后进入所述硬件执行资源的第二对象按照第二配置版本处理。
59、优选方式下,所述配置版本状态输出接口输出的当前活动配置版本标识、未静默配置版本集合、未完成引用计数、配置版本静默状态、资源复用许可状态或配置版本不一致状态中的至少一种,通过软件可访问的只读地址映射状态寄存器向外提供;所述只读地址映射状态寄存器的写入端仅由硬件逻辑、硬件资源调度单元、配置版本静默检测单元、资源复用控制单元或配置兼容性检测单元中的至少一种驱动,不能被普通软件路径、非安全调试路径或上位ai任务改写。
60、优选方式下,所述配置版本状态输出接口在检测到配置版本切换、未静默配置版本被覆盖尝试、未静默配置版本被释放尝试、未静默配置版本被回绕尝试、未静默配置版本被重映射尝试、资源复用许可被拒绝、全局资源冲突矩阵命中、配置兼容性检测失败、时间预算超限、只读地址映射状态寄存器写入尝试、配置版本状态输出接口异常访问尝试、非授权调试接口访问尝试、受控调试接口访问失败或非安全调试路径访问尝试中的至少一种情况时,锁存状态快照、错误原因码、事件计数值、安全事件信号或安全事件摘要中的至少一种,并通过安全诊断接口、外部验证接口、片上总线接口、调试接口、只读调试接口、受控调试接口或只读地址映射状态寄存器中的至少一种向外输出。
61、优选方式下,任务提交、就绪通知、配置加载或参数下发由主机处理器接口、cpu协处理接口、安全固件接口或受信任运行时接口中的至少一种完成;配置版本标记写入、在途对象配置版本保持、派生请求配置版本继承、未完成引用记录、配置版本静默检测、资源复用许可判断、资源冲突判断或配置释放许可中的至少一种由硬件逻辑、硬件状态机或硬件保护寄存器执行、生成或锁存;所述配置版本状态输出接口通过片上总线寄存器映射向外提供只读状态信息,所述只读状态信息的写入端由硬件逻辑驱动,外部软件不能通过写入所述片上总线寄存器映射改变配置版本静默检测结果、资源复用许可状态、资源冲突判断结果或配置释放决策。
62、一种ai加速芯片,包括所述的确定性ai硬件资源复用与配置版本保持装置。
63、本发明的有益效果如下:
64、1.减少配置切换气泡:配置切换时不必等待全部在途数据离开流水线,旧数据按旧配置处理,新数据按新配置处理。
65、2.防止配置错配:每个数据携带配置版本标记,多版本配置选择单元按版本选择对应配置,避免旧数据被新配置错误处理。
66、3.提高硬件资源复用效率:同一ai硬件资源可在多个模型、多个网络层、多个专家网络或多个租户之间确定性共享。
67、4.降低任务切换延迟不确定性:调度、配置切换、版本传递和配置释放均由硬件逻辑实现,减少软件调度抖动。
68、5.适用于多种ai硬件形态:可用于npu、gpu内部可调度单元、张量阵列、脉动阵列、可重构计算阵列、存算一体阵列和片上网络资源。
69、6.支持安全关键ai的配置版本状态验证:通过配置版本状态输出接口,可输出当前活动配置版本、未静默配置版本集合、引用计数、资源复用许可、资源释放阻止状态、无效状态或安全事件信号;在与片上时序证据输出单元配合时,还可将执行时间上界与当前硬件资源、任务标识、模型标识和配置版本进行绑定校验。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com