基于区块链的大模型隐私推理方法、设备及介质

摘要: 本发明涉及安全多方计算、区块链和大语言模型隐私推理的交叉,具体涉及一种基于区块链的大模型隐私推理方法、设备及介质,尤其适用于在保护模型权重和用户输入双向隐私的前...
基于区块链的大模型隐私推理方法、设备及介质

本发明涉及安全多方计算、区块链和大语言模型隐私推理的交叉,具体涉及一种基于区块链的大模型隐私推理方法、设备及介质,尤其适用于在保护模型权重和用户输入双向隐私的前提下实现高效的大语言模型安全推理服务。

背景技术:

1、大语言模型的推理服务正快速向云端部署模式迁移。在这一模式下,云端提供者托管闭源大模型,用户通过网络提交查询获取推理结果。然而,这种部署方式面临严重的双向隐私挑战:一方面,模型提供者需要保护其投入巨大成本训练的模型权重不被泄露;另一方面,用户提交的查询输入可能包含敏感个人信息(如医疗咨询、财务分析、法律文书草拟等),用户不希望这些隐私数据明文暴露给云端。

2、安全多方计算,特别是安全两方计算(2pc),为上述双向隐私保护提供了理论基础。在2pc框架下,模型提供者和用户可以各自持有私密输入(分别为模型权重和用户输入),通过加密协议协同计算推理结果,最终双方各自获得输出而无需向对方泄露自身的私密输入。然而,大语言模型推理中占据核心地位的矩阵乘法运算在2pc框架下面临高昂的通信和计算开销。以主流的大模型线性层为例,权重矩阵维度通常在数千至数万量级,直接对稠密矩阵乘法进行安全两方计算将涉及数千万甚至数十亿次安全乘法,消耗海量的不经意传输和通信带宽,时延远超工程可接受范围。

3、机器学习领域近年来广泛采用结构化稀疏技术来加速推理。现代硬件架构已广泛支持 2:4 等固定模式的结构化稀疏,即每 4 个连续权重中精确保留 2 个非零值。这种格式具有确定性的存储布局保证:局部块大小固定、每块保留比率均匀、每个保留值的位置偏移量完全由模型静态确定。然而,现有安全两方计算方案无法有效利用这种结构化稀疏的优势。若直接将压缩后的稀疏表示(包含值张量和偏移量张量)输入2pc协议,偏移量的动态解析和路由操作将在在线安全计算路径中引入大量额外的条件分支和坐标查询开销,严重抵消稀疏化带来的理论加速。

4、上述困境的本质在于:在安全两方计算框架下,位置元数据的处理同样需要加密保护,而其动态条件分支特性在秘密共享域上执行极为低效。

5、综上所述,现有方案缺少一种将位置元数据验证和路由操作从在线安全计算关键路径中剥离的方法。

技术实现思路

1、本发明的目的在于针对现有技术的不足,提供了一种基于区块链的大模型隐私推理方法、设备及介质,通过离线预路由技术将位置元数据完全吸收进预路由张量,使得在线安全两方计算阶段仅需处理不含坐标信息的预路由张量和用户输入的简单乘法,消除动态坐标解析在安全计算域上的昂贵开销,并利用区块链进行模型版本注册与公众审计,在不使用零知识证明的条件下实现保护双向隐私的高效大模型安全推理。

2、为实现上述目的,本发明采用如下技术方案:

3、本发明提供了一种基于区块链的大模型隐私推理方法,包括以下步骤:

4、s1:模型提供者对大语言模型的稠密权重矩阵进行结构化稀疏编码,得到压缩值张量  和偏移量张量  ,并将其表示为结构化稀疏格式;将压缩值张量  中偏移量为  的所有保留值以代数选择器聚合为对应的预路由张量 ;将全部预路由张量的哈希承诺和结构化稀疏格式提交至区块链上的模型注册智能合约,生成唯一的模型指纹;

5、s2:在模型提供者和用户开始安全推理之前,双方通过初始化过程得到一组共享的乘法三元组,各分量以加法秘密共享形式分发至模型提供者和用户双方;

6、s3:用户在发起安全推理会话前,查询区块链上的模型指纹,核验当前模型提供者的预路由张量哈希承诺与链上注册值一致,对每次用户查询,模型提供者将预路由张量 分别进行加法秘密共享,用户将输入向量  进行加法秘密共享,双方利用乘法三元组在秘密共享域上安全计算,各自获得输出份额  和 ,交换份额后本地重构完整推理结果 。

7、进一步地,在步骤s1中,所述结构化稀疏编码的具体过程为:

8、将维度为  的稠密权重矩阵的行索引记为 ,列维度分解为块索引  和局部偏移量 ,其中, , 为块大小;

9、每个稠密块中保留  个非零值,其中,,以槽位索引  枚举;压缩值张量  记录第  槽位的权重数值,偏移量张量 记录所述权重数值在稠密块内的原始二进制位置;

10、进一步地,所述结构化稀疏格式包括但不限于硬件友好的 nvidia 2:4 格式和通用  格式。

11、进一步地,在步骤s1中,所述预路由张量  的构造过程为:

12、定义代数选择器:

13、

14、所述代数选择器在布尔域上满足:当且仅当  时取值为 1,否则为 0;

15、对每个局部偏移量,按如下公式聚合:

16、

17、共生成  个预路由张量 ,每个  为维度  的二维张量;所述预路由张量为仅依赖行维度和块维度的二维无索引张量,与用户查询输入完全无关,离线计算一次后可复用于所有后续安全推理会话。

18、进一步地,经预路由处理后,原稠密权重矩阵乘法 简化为:

19、

20、该式中不再包含偏移量张量 ,在线安全两方计算在线阶段完全无需处理任何坐标元数据。

21、进一步地,在步骤s2中,所述乘法三元组具体为,满足 ,模型提供者持有 ,用户持有 ,满足 。

22、进一步地,在步骤s3中,所述模型提供者将预路由张量  分别进行加法秘密共享,用户将输入向量  进行加法秘密共享具体为:对每个 ,随机采样 ,计算 ,模型提供者保留份额 ,将份额  发送给用户;

23、用户同样将输入向量  进行加法秘密共享:对每个 ,随机采样 ,计算 ,用户保留 ,将  发送给模型提供者。

24、进一步地,在步骤s3中,所述安全计算具体为:对于输出向量的每个分量 :

25、

26、所述安全计算涉及n次安全乘法;

27、每对  的安全乘法使用一组预先生成的三元组 ,具体步骤如下:

28、(i)双方各自本地计算  和 ;

29、(ii)双方交换  和 ,重构 ,;

30、(iii)双方各自本地计算乘积份额,模型提供者:,用户:;

31、全部  次安全乘法执行完毕后,双方各自对所有乘积份额按  求和,获得输出份额  和 ,满足 ;

32、其中一方将自己持有的输出份额  发送给另一方,另一方本地计算 恢复完整推理结果。

33、与现有技术相比,本发明的有益效果主要体现在以下几个方面:

34、(1)消除在线路由开销,显著提升大模型安全推理效率。

35、现有的安全多方计算方案难以高效处理稀疏矩阵中的动态位置元数据。本发明创新性地提出了离线预路由技术,利用代数选择器将位置偏移元数据完全吸收进张量条目中,生成无索引的预路由张量。在在线安全两方计算阶段,完全消除了复杂的条件分支和坐标查询操作,大幅降低了通信轮次和电路尺寸,突破了大模型隐私推理的性能瓶颈。

36、(2)实现模型权重与用户输入的双向隐私保护。

37、本发明在在线推理阶段,将模型提供者的预路由张量和用户的查询向量均通过加法秘密共享转化为随机化分片。双方基于预生成的乘法三元组,在秘密共享域上协同执行矩阵-向量乘法计算。计算全程无需交互任何明文数据,既保护了云端高价值的大模型权重资产不被窃取,又保障了用户敏感查询输入的绝对隐私。

38、(3)基于区块链建立防篡改的模型审计与信任机制。

39、本发明将离线处理得到的全部预路由张量哈希承诺、结构化稀疏参数及模型版本标识提交至区块链模型注册合约,形成永久固化的链上指纹。用户在发起隐私推理前可通过查询链上数据核验模型的一致性。该机制有效防止了模型提供方恶意替换或降级模型,在不依赖复杂零知识证明的条件下,实现了透明可信的模型公众审计。