一种基于TDX与GPU协同的大模型机密推理方法
本发明涉及机密计算(confidential computing)与可信执行环境(trustedexecution environment, tee)下的大模型推理加速;更具体地,涉及在inteltdx的可信域(trusted domain, td)与非可信gpu之间建立机密且高吞吐的跨域通信并进行大模型算子跨域调度的方法与系统。
背景技术:
1、随着大模型,特别是大语言模型(llm)在医疗、金融等隐私敏感场景的部署,推理过程中既要保护用户输入提示词(prompts)的机密性,也要保护模型参数/权重这一模型方的知识产权不被宿主平台窥探或篡改。为此,现有研究普遍采用cpu侧tee(如intel sgx、intel tdx、amd sev/sev-snp等)提供硬件隔离,使得宿主os/hypervisor等特权软件无法直接检查或篡改tee内代码与数据,从而实现机密推理。
2、另一方面,llm的大参数规模使得gpu对llm推理至关重要,但传统cpu-gpu通信依赖直接内存访问(direct memory access, dma)机制访问主机内存;而在可信域扩展(trust domain extensions, tdx)中,可信域内存会被加密与隔离,使得非可信外围设备(如非机密gpu)无法像常规方式那样通过dma直接访问可信域私有内存数据,从而导致tdx与gpu之间的直接高效协同十分困难。
3、现有使用tee和gpu进行深度神经网络(dnn)协同推理的思路通常是:将安全关键但计算负载较轻的非线性算子保留在tee内部执行,将计算密集的线性算子(矩阵乘法/投影)卸载到不可信的gpu上执行,并采用轻量的中间数据保护手段(比如使用一次性密码本加解密算法one-time pad, otp)保护跨域传输的中间激活与权重相关数据,以实现兼顾安全与性能的推理。
4、相比于早年的intel sgx(software guard extensions, 软件防护扩展),inteltdx将保护内存范围扩大了到整个机器的内存,使可信计算基从sgx的“安全飞地”扩展到支持“机密虚拟机”,而且不同于sgx需要用户手动编写适配代码,tdx可以保证程序在内部透明运行(基本无需用户修改应用逻辑),理论上更适合作为现代llm机密推理的基座。但是目前缺少能高效实现tdx—gpu协同的系统框架,尤其是在gpu—tdx之间进行高效跨域数据传输与算子调度方面仍存在关键障碍。
技术实现思路
1、本发明旨在至少在一定程度上解决现有技术中存在的技术问题之一。
2、为此,本发明的目的是提供一种基于tdx与gpu协同的大模型机密推理方法,在保证数据始终受保护的前提下,实现跨域的高效数据传输与算子级自适应调度,以降低端到端的推理时延并提升批处理吞吐。
3、为了实现上述目的,本发明采用如下技术方案:
4、本发明第一方面提供的一种基于tdx与gpu协同的大模型机密推理方法,包括:
5、对可信域进行远程认证并建立认证保护通信通道,将待推理的大模型推理参数安全传输至所述可信域的私有内存,初始化用于可信域与非可信gpu之间数据交互的跨域通信通路,对底层硬件计算能力和跨域传输特性进行离线画像与调度参数标定,并初始化用于gpu卸载保护的一次性掩码资源;
6、在收到用户的输入请求后,将所述输入请求经由所述认证保护通信通道送入所述可信域;在大模型执行推理过程中,对计算图中的算子进行类型识别和结构约束分析,其中,对非线性算子确定为在可信域内执行,对线性算子在满足结构同域约束的前提下基于已标定的硬件参数进行执行域选择,以确定所述线性算子在可信域或者非可信gpu上执行;
7、对于被确定在所述可信域内执行的算子,直接在所述可信域内完成计算;对于被确定卸载到所述非可信gpu执行的算子,在所述可信域内对参与卸载的操作数进行一次性掩码保护,经所述跨域通信通路发送至所述非可信gpu执行掩码计算,并在结果回传至所述可信域后进行恢复处理,得到明文中间结果并继续后续推理,直至生成最终输出;将最终输出通过所述认证保护通信通道返回至用户。
8、在一些实施例中,所述对可信域进行远程认证并建立认证保护通信通道,包括:
9、在推理任务开始前,由所述可信域生成tdx认证证据,并生成临时通信密钥对;大模型所有方验证所述认证证据是否与预期的可信域度量值一致,在验证通过后基于所述临时通信密钥建立认证保护通信通道。
10、在一些实施例中,所述初始化用于可信域与非可信gpu之间数据交互的跨域通信通路,包括:
11、在所述可信域与所述非可信gpu之间建立共享中继缓冲区,并初始化与所述共享中继缓冲区对应的通信路径运行时资源;
12、所述共享中继缓冲区用于作为所述可信域与所述非可信gpu之间的数据中继区域,用于承载从所述可信域写出的受保护输入数据以及从所述非可信gpu返回的受保护结果数据。
13、在一些实施例中,所述对底层硬件计算能力和跨域传输特性进行离线画像与调度参数标定,包括:
14、对所述可信域的计算能力、所述共享中继缓冲区与所述非可信gpu之间的跨域传输带宽、gpu侧算力吞吐、以及不同类型算子的执行开销进行离线测试,得到硬件画像参数;结合大模型中的算子形态和张量维度,对用于执行域选择的调度参数进行标定,得到供在线推理阶段使用的调度配置。
15、在一些实施例中,所述一次性掩码资源池部署于所述信任域内,所述一次性掩码资源池内存储有随机掩码及对应的恢复项、校正项或等价恢复信息。
16、在一些实施例中,所述对线性算子在满足结构同域约束的前提下基于已标定的硬件参数进行执行域选择,包括:
17、将计算图中的所述线性算子作为候选算子,分析所述候选算子与相邻非线性算子的结构耦合关系;
18、若候选算子与其相邻的非线性算子形成运行时拆分会引起时延显著增加的强耦合计算图子图,则将该候选算子与相关的非线性算子共同约束为在可信域内执行;
19、若候选算子未与其相邻的非线性算子形成强耦合子图,基于离线标定得到的硬件画像参数和运行时的推理负载特征,分别估计该候选算子在所述可信域执行与经由所述跨域通信通路卸载到所述非可信gpu执行时的总时延,并选择总时延最小的执行域。
20、在一些实施例中,基于被确定卸载到所述非可信gpu执行的算子得到所述明文中间结果,包括:
21、在所述可信域内调用所述一次性掩码资源池,对当前算子的输入激活、权重矩阵或相应参与计算的操作数执行一次性掩码处理,得到受保护操作数;
22、将所述受保护操作数从所述可信域的私有内存写入所述跨域通信通路,非可信gpu向所述跨域通信通路发起dma访问,将所述受保护操作数传输至非可信gpu的缓冲区或显存,并由非可信gpu执行对应的掩码线性计算,得到受保护输出结果;
23、所述非可信gpu将所述受保护输出结果经由所述跨域通信通路回传至所述可信域,所述可信域根据与所述当前算子关联的恢复项、校正项或等价恢复信息,对所述受保护输出结果执行去掩码或恢复处理,得到所述明文中间结果。
24、在一些实施例中,在所述可信域是私有内存与所述跨域通信通路之间的数据搬运和保护处理阶段,根据待传输数据规模动态选择单核或多核并行处理,并对大于硬件一级缓存大小的数据块流式搬运采用绕过非信任gpu缓存的拷贝策略。
25、本发明第二方面提供的一种基于tdx与gpu协同的大模型机密推理装置,包括:
26、环境配置模块,被配置为对可信域进行远程认证并建立认证保护通信通道,将待推理的大模型推理参数安全传输至所述可信域的私有内存,初始化用于可信域与非可信gpu之间数据交互的跨域通信通路,对底层硬件计算能力和跨域传输特性进行离线画像与调度参数标定,并初始化用于gpu卸载保护的一次性掩码资源;
27、执行域决策模块,被配置为将接收到的输入请求经由所述认证保护通信通道送入所述可信域;在大模型推理过程中,对计算图中的算子进行类型识别和结构约束分析,其中,对非线性算子确定为在可信域内执行,对线性算子在满足结构同域约束的前提下基于已标定的硬件参数进行执行域选择,以确定所述线性算子在可信域或者非可信gpu上执行;
28、推理及输出模块,被配置为对于被确定在所述可信域内执行的算子,直接在所述可信域内完成计算;对于被确定卸载到所述非可信gpu执行的算子,在所述可信域内对参与卸载的操作数进行一次性掩码保护,经所述跨域通信通路发送至所述非可信gpu执行掩码计算,并在结果回传至所述可信域后进行恢复处理,得到明文中间结果并继续后续推理,直至生成最终输出;将最终输出通过所述认证保护通信通道返回至用户。
29、本发明第三方面提供的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,所述处理器执行实现根据本发明第一方面任一实施例所述的大模型机密推理方法。
30、本发明具有如下特点及有益效果:
31、1)显著降低跨域通信开销:采用上述技术方案后,可在不依赖专用可信gpu硬件的前提下,实现跨可信与非可信硬件的高效机密大模型推理。宿主旁路零拷贝通信路径通过消除冗余cpu侧内存拷贝并仅保留必要的加密/解密步骤,显著缩短跨域传输链路并降低cpu参与度,从而缓解传统宿主代理路径带来的高传输延迟与i/o串行化瓶颈。
32、2)加速不可避免的加密/解密阶段:混合并行跨域安全传输机制通过对必须的加密/解密搬运环节进行动态核心数并行化加速并采用旁路缓存的拷贝策略,降低加密/解密时延并减少对tdx内部推理计算缓存的干扰,从而在不同工作负载规模下提供更稳定的高吞吐跨域传输能力。
33、3)减少非必要的域切换与中间结果搬运:在静态算子调度方面,本发明提出的结构感知的协同调度通过将注意力紧耦合的相关结构整体分配至tdx内执行,减少非线性运算前后不必要的频繁跨域数据传输,同时避免在轻量的中间数据保护机制下因解密操作的在线计算而导致任务调度至gpu执行。
34、4)实现负载/硬件自适应的线性算子卸载决策:硬件感知的动态调度将线性算子总延迟分解为加载/计算/存储三部分,并基于带宽与吞吐估计进行决策,使系统能在如gemm与gemv等不同规模的运算任务下选择更优执行域,从而提高端到端推理效率。
35、5)在真实tdx与gpu硬件评测中,本发明在在线单请求推理场景下可实现端到端生成时延最高约80.9%的降低,并在离线批处理推理场景下可实现最高约3.7倍加速,从而表明在异构可信与非可信硬件条件下可以同时实现机密性与高效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com