一种面向边缘计算的大模型动态调度与推理优化系统的制作方法
本发明属于计算机系统领域,具体的说是一种面向边缘计算的大模型动态调度与推理优化系统。
背景技术:
1、大语言模型具备优异的语义理解与内容生成能力,广泛应用于各类人工智能场景并持续向高价值领域延伸,边缘计算可实现大模型低延时响应与数据本地化处理,是大模型普惠落地的关键技术,而边缘设备算力、内存资源受限,且大模型自回归推理存在固有串行依赖特性,高效实现边缘侧大语言模型推理运行是当前本领域的核心技术挑战。
2、现有边缘大语言模型推理优化技术主要包括模型压缩、算子优化与硬件加速三类优化方案,通过降低模型计算量、减少内存开销、提升硬件算力等方式改善边缘设备的推理运行效果,能够实现大语言模型在边缘设备的基础部署与推理应用。
3、现有优化手段均为外围修补式优化策略,未突破大模型逐token自回归串行生成的本质架构局限,模型压缩存在精度损失且无法动态适配任务,算子优化无法破除token间串行依赖,硬件加速难以发挥并行算力优势,存在算力闲置严重、多请求并发延迟高、推理效率低的缺陷,无法从根本上解决边缘大模型算力利用率不足的问题,严重制约边缘侧大语言模型高效、规模化落地应用。
4、为此,本发明提供一种面向边缘计算的大模型动态调度与推理优化系统。
技术实现思路
1、为了弥补现有技术的不足,解决背景技术中所提出的至少一个技术问题。
2、本发明解决其技术问题所采用的技术方案是:本发明所述的一种面向边缘计算的大模型动态调度与推理优化系统,包括请求调度与并发管理模块、kv缓存池管理模块、动态批处理与并行推理调度模块、推理引擎优化模块、边缘资源感知模块以及全局协调控制模块;所述请求调度与并发管理模块的输出端与所述kv缓存池管理模块的输入端连接;所述kv缓存池管理模块的输出端与所述动态批处理与并行推理调度模块的输入端连接;所述动态批处理与并行推理调度模块分别与所述推理引擎优化模块和所述边缘资源感知模块通信连接;所述全局协调控制模块分别与所述请求调度与并发管理模块、kv缓存池管理模块、动态批处理与并行推理调度模块、推理引擎优化模块以及边缘资源感知模块信号连接。
3、所述请求调度与并发管理模块被配置为接收来自边缘设备外部的多个用户推理请求,并对所述多个用户推理请求进行队列管理与优先级排序,该模块内部配置请求解析单元和任务分派单元,请求解析单元负责从每个推理请求中提取请求标识、输入序列长度、预期服务质量等级以及预设超时阈值,任务分派单元根据预设的优先级算法对已解析的推理请求进行排序,并将排序后的推理请求按序分发至kv缓存池管理模块。
4、所述kv缓存池管理模块被配置为建立并维护覆盖全部用户推理请求历史上下文的key-value向量缓存体系,该模块内部配置多级缓存管理单元、缓存分配单元和缓存回收单元,多级缓存管理单元将kv缓存划分为热缓存区、温缓存区和冷缓存区三个层级,热缓存区采用高带宽存储器存储最近生成的高频访问kv向量,温缓存区采用双倍数据率同步动态随机存储器存储中等访问频率的kv向量,冷缓存区采用非易失性存储器存储历史累计的低频访问kv向量,缓存分配单元根据新推理请求的输入序列长度动态申请热缓存区或温缓存区的存储空间,缓存回收单元采用基于引用计数的回收策略,当kv向量的引用计数归零时触发冷缓存区的数据迁移或淘汰操作。
5、所述动态批处理与并行推理调度模块被配置为识别多个并发推理请求之间的kv向量共享关系,并基于所述共享关系将具备依赖解耦条件的推理请求动态编入同一批处理任务,该模块内部配置共享关系分析单元、批处理编队单元和并行执行调度单元,共享关系分析单元通过比对各推理请求的输入序列前缀与缓存池中已有kv向量的键值标识,判定当前推理请求与历史推理请求之间是否存在可共享的kv向量区间,批处理编队单元根据共享关系分析结果将满足并行条件的多个推理请求聚合为批处理任务,并生成对应的融合注意力掩码矩阵,并行执行调度单元将所述批处理任务分发至推理引擎优化模块执行。
6、所述推理引擎优化模块被配置为在接收批处理任务后执行多请求融合推理计算,该模块内部配置融合注意力计算单元、计算图优化单元和结果分离单元,融合注意力计算单元根据批处理编队单元生成的融合注意力掩码矩阵,将多个推理请求的注意力计算合并为单次矩阵运算,具体执行过程中,该单元首先将各推理请求的query向量在批次维度进行拼接得到批量query矩阵,将共享的kv向量在批次维度进行复制扩展得到批量kv矩阵,然后执行批量矩阵点积运算得到融合注意力得分矩阵,最后通过融合注意力掩码矩阵对融合注意力得分矩阵进行掩码过滤,分离出各推理请求的独立注意力输出,计算图优化单元将融合注意力计算单元输出的结果图进行算子融合优化,将相邻的矩阵运算节点合并为单个融合算子以减少内核调用开销,结果分离单元根据各推理请求的标识将融合推理结果拆分为独立的推理输出并回传至对应的请求方。
7、所述边缘资源感知模块被配置为实时监测边缘设备的算力资源状态和内存使用状态,该模块内部配置算力监测单元和内存监测单元,算力监测单元通过硬件性能计数器采集中央处理单元和神经网络处理单元的实时利用率、当前频率和活跃核心数,内存监测单元实时采集系统内存总容量、已分配内存量、可用内存量以及内存带宽占用率,所述边缘资源感知模块的输出端与所述全局协调控制模块连接,将实时采集的算力数据和内存数据发送至全局协调控制模块。
8、所述全局协调控制模块被配置为汇聚来自各功能模块的状态信息并生成协同调度指令,该模块内部配置状态聚合单元、策略计算单元和指令下发单元,状态聚合单元接收来自请求调度与并发管理模块的请求队列长度和优先级分布信息、来自kv缓存池管理模块的各级缓存占用率和淘汰事件信息、来自边缘资源感知模块的算力利用率和内存带宽占用率数据,策略计算单元基于聚合后的多维状态信息计算当前的最优批处理策略和缓存淘汰策略,生成包括批处理任务规模上限、kv缓存迁移阈值和推理任务优先级调整系数的调度参数集,指令下发单元将所述调度参数集分别发送至kv缓存池管理模块、动态批处理与并行推理调度模块和推理引擎优化模块以执行动态参数调节。
9、优选的,所述请求调度与并发管理模块中,优先级算法采用加权公平队列调度策略,该策略为每个用户推理请求分配初始权重值,权重值根据请求的服务质量等级进行修正,高服务质量等级请求的权重值乘以优先系数,修正后的权重值用于决定请求在等待队列中的排序位置,同一服务质量等级内的请求按照先来先服务原则排序。
10、优选的,所述kv缓存池管理模块中,多级缓存管理单元的热缓存区存储容量设定为总缓存容量的10%至20%,温缓存区存储容量设定为总缓存容量的30%至50%,冷缓存区存储容量设定为总缓存容量的40%至60%,当热缓存区占用率达到预设阈值80%时触发缓存预迁移操作,将热缓存区中的低频访问kv向量迁移至温缓存区。
11、优选的,所述kv缓存池管理模块中,缓存分配单元在为新推理请求分配缓存空间时,首先检测输入序列长度是否超过热缓存区的单次分配上限,若超过则将超出部分分配至温缓存区,若温缓存区空间不足则触发基于最少使用频率的淘汰算法释放空间,淘汰过程中优先将引用计数为零的kv向量迁移至冷缓存区。
12、优选的,所述动态批处理与并行推理调度模块中,共享关系分析单元的比对逻辑采用前缀匹配算法,该算法将新推理请求的输入序列前缀逐一与缓存池中各历史请求的完整序列进行匹配,当匹配长度大于等于预设共享阈值时判定存在可共享的kv向量区间,共享阈值设定为32至128个词元长度。
13、优选的,所述动态批处理与并行推理调度模块中,批处理编队单元生成融合注意力掩码矩阵的过程包括以下步骤:首先为批处理任务中的每个推理请求分配唯一的批次标识和序列内位置索引,然后根据各请求之间的kv共享关系设置掩码矩阵的允许注意力元素为1、禁止注意力元素为0,最后将融合注意力掩码矩阵转换为稀疏矩阵存储格式以减少内存占用。
14、优选的,所述推理引擎优化模块中,融合注意力计算单元执行的批量矩阵点积运算采用分块计算策略,将批量query矩阵和批量kv矩阵沿批次维度分割为多个子块,每个子块在独立的计算线程中并行执行矩阵点积运算,分块大小根据边缘设备的神经网络处理单元缓存容量进行自适应调整,缓存容量大于等于4兆字节时采用1024乘以512的分块大小,缓存容量小于4兆字节时采用512乘以256的分块大小。
15、优选的,所述推理引擎优化模块中,计算图优化单元的算子融合优化包括将批量矩阵点积运算与其后续的归一化操作融合为单个融合算子,以及将多head注意力的各head计算在满足维度兼容条件时进行向量化合并,融合后减少内核调用次数不低于30%。
16、优选的,所述边缘资源感知模块中,算力监测单元的采集频率设定为每秒10次至每秒50次,内存监测单元的采集频率设定为每秒50次至每秒200次,边缘资源感知模块将采集数据经过指数移动平均滤波处理后发送至全局协调控制模块,滤波系数设定为0.7至0.9以平衡数据实时性与噪声抑制效果。
17、优选的,所述全局协调控制模块中,策略计算单元采用模型预测控制算法计算最优调度策略,该算法以系统吞吐量最大化为优化目标,以边缘设备的算力利用率和内存带宽占用率为约束条件,通过滚动时域优化求解当前时刻的最优调度参数集,时域预测窗口设定为5至10个推理任务周期。
18、优选的,所述全局协调控制模块中,指令下发单元与各功能模块之间采用共享内存通信机制,各功能模块将自身的状态数据写入预设的共享内存地址,全局协调控制模块从共享内存地址读取状态数据并执行计算后将调度参数集写入共享内存的对应地址区,各功能模块从共享内存地址读取调度参数集执行参数更新,共享内存采用无锁环形缓冲区设计以支持高并发读写访问。
19、与现有技术相比,本发明具有如下有益效果:
20、1.本发明所述的一种面向边缘计算的大模型动态调度与推理优化系统,通过引入kv缓存池管理模块建立覆盖全部用户推理请求历史上下文的key-value向量缓存体系,将各推理请求之间可共享的kv向量在缓存池中集中存储和管理,该设计突破了传统自回归推理中每个推理请求独立维护完整kv上下文的架构限制,实现了跨请求的kv向量复用,解决了边缘设备在处理多并发推理请求时因重复计算导致的算力浪费问题,有效提升了边缘设备在多用户场景下的整体推理吞吐量。
21、2.本发明所述的一种面向边缘计算的大模型动态调度与推理优化系统,通过动态批处理与并行推理调度模块识别多个并发推理请求之间的kv向量共享关系并执行融合注意力计算,该设计在保持自回归推理正确性的前提下将原本分散的多次注意力计算合并为单次批量矩阵运算,该技术特征使得边缘设备的多核算力能够在统一的批量计算过程中得到充分利用,将串行推理范式转化为可并行的批量推理范式,从根本上突破了逐token生成带来的算力利用瓶颈,实现了有理论保障的高效并行推理。
22、3.本发明所述的一种面向边缘计算的大模型动态调度与推理优化系统,通过推理引擎优化模块的算子融合优化和分块计算策略,显著降低了融合注意力计算的内存访问开销和内核调用开销,该技术特征使得批量推理计算在边缘设备的神经网络处理单元上能够以接近理论峰值的效率执行,有效缩短了单次批量推理的端到端延迟,提升了系统在实时推理场景下的响应速度。
23、4.本发明所述的一种面向边缘计算的大模型动态调度与推理优化系统,通过边缘资源感知模块实时监测边缘设备的算力资源状态和内存使用状态,并通过全局协调控制模块基于实时状态信息动态调整批处理策略和缓存管理策略,该设计使得系统能够根据边缘设备的实际负载情况自适应调节推理任务的调度参数,在算力受限和内存受限的场景下均能保持稳定的推理性能表现,有效解决了边缘设备硬件资源异构性带来的适配性难题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com