一种面向稀疏大语言模型的高效零知识证明方法和系统

本发明属于密码学与人工智能交叉，具体涉及一种面向稀疏大语言模型的高效零知识证明方法和系统，可用于在保护模型隐私的前提下，验证大语言模型推理结果的正确性，适用于模型即服务、可信云计算、隐私保护机器学习等场景。

背景技术：

1、近年来，以大语言模型为代表的人工智能技术发展迅速，在医疗诊断、金融风控与法律咨询等高风险决策领域得到广泛应用。然而，此类模型内部工作机制高度复杂，常具有“黑箱”特性，用户仅能观察到输入与输出，难以解析模型从海量数据中提取特征并生成结论的过程。在人工智能服务外包场景中，该问题尤为显著。在云平台或第三方服务器部署模型推理时，用户不仅面临模型机制不透明的挑战，还需防范数据隐私泄露与模型篡改风险。服务提供方通常出于商业机密保护不愿披露模型细节，而用户需要确认推理结果未遭恶意操纵或发生计算错误。这种信任缺失制约了人工智能服务的规模化部署。

2、零知识证明为应对上述问题提供了可行的技术路径。作为一种密码学工具，零知识证明能够在不泄露除陈述有效性之外任何信息的前提下，使证明者向验证者证实特定陈述的真实性。将其引入机器学习领域构建零知识机器学习，能够实现可验证推理：模型服务方可生成简洁的密码学证明，向用户证实推理计算过程的正确性，且无需暴露模型权重或用户输入数据。

3、目前已有针对大语言模型的零知识证明方案，但现有方案主要面向传统的稠密transformer架构，在处理现代大语言模型时面临多重局限。一方面，当前主流大模型广泛采用旋转位置编码以引入相对位置信息。由于该编码方式涉及频繁的复数域与三角函数运算，在算术电路中进行高效表示与证明的复杂度极高。现有框架通常采用简化的位置编码或缺乏对位置编码可验证性的支持，难以适应长上下文场景的证明需求。另一方面，现有研究多局限于标准注意力机制，尚未系统覆盖以flashmla为代表的新型低秩注意力架构。此类架构通过低秩分解提升推理效率，但其计算图引入了主干矩阵与低秩补偿项的叠加运算，增加了证明体系的构建难度。此外，千亿参数级模型常采用混合专家架构，通过稀疏激活在控制计算成本的同时扩大模型容量。该架构的条件计算特性要求证明系统不仅需验证路由决策的正确性，还需应对由专家网络动态组合引发的证明电路规模膨胀问题。当前面向稠密模型设计的方案对此仍缺乏有效支持。实际应用中，上述架构创新往往协同运作，例如在同一模型中集成低秩注意力与混合专家架构以优化推理性能。这种复合架构的零知识证明并非各组件证明能力的简单叠加，而是涉及跨组件交互的验证逻辑设计，对证明系统的可组合性与扩展性提出了更为严格的要求。

技术实现思路

1、现有零知识证明技术在处理现代大语言模型时面临旋转位置编码证明效率低、低秩注意力机制验证方法缺失、混合专家架构证明规模膨胀等挑战，难以满足实际应用需求。本发明的目的在于克服现有技术局限性，提供一种能够全面支持rope（rotary positionembedding）旋转位置编码、flashmla低秩注意力与top-k稀疏混合专家架构的统一零知识证明方法，实现对现代大语言模型推理过程的高效可验证证明生成，填补现有技术对moe架构和低秩注意力支持的空白。

2、本发明采用的技术方案如下：

3、一种面向稀疏大语言模型的高效零知识证明方法，包括以下步骤：

4、构建查找表并生成查找表的公共承诺；

5、证明者对模型权重和输入序列生成模型权重承诺和输入序列承诺，并发送给验证者；

6、证明者执行模型前向计算，生成中间状态和模型最终输出的承诺；

7、证明者基于中间状态生成分层证明，将分层证明聚合为完整的零知识证明；

8、验证者利用公共承诺、模型权重承诺、输入序列承诺和模型最终输出的承诺对零知识证明进行验证，根据验证结果判定模型推理结果的正确性。

9、进一步地，所述构建查找表并生成查找表的公共承诺，包括：

10、构建指数查找表、比较查找表、激活函数查找表和范围查找表；

11、对指数查找表、比较查找表、激活函数查找表和范围查找表分别生成密码学承诺；

12、将生成的密码学承诺作为公共承诺，对证明者和验证者公开。

13、进一步地，所述对模型权重和输入序列生成模型权重承诺和输入序列承诺，包括：

14、将模型的所有权重参数组织为张量集合，采用向量承诺方案对每个参数张量生成承诺，并聚合得到模型权重承诺；

15、将输入序列按行组织，对每个位置的词元向量生成承诺，并聚合得到输入序列承诺。

16、进一步地，所述模型前向计算包括：rope编码计算、flashmla注意力计算、top-kmoe路由计算、权重计算；所述中间状态包括：rope编码后的查询矩阵和键矩阵；注意力分数矩阵；在线softmax递推中间值；路由选择变量；专家的输出向量和专家的聚合权重；各层输出。

17、进一步地，所述基于中间状态生成分层证明，包括生成rope编码证明、生成flashmla注意力证明和生成top-k moe路由证明；针对rope编码构造二次多项式约束验证旋转变换正确性；针对flashmla注意力进行低秩分解一致性验证、注意力双线性计算验证和在线softmax查找表验证；针对top-k moe路由采用阈值查找表验证路由决策和专家计算正确性。

18、进一步地，所述将分层证明聚合为完整的零知识证明，包括：

19、将所有多项式操作组织为分层算术电路，利用gkr协议和sumcheck协议生成gkr证明；

20、将所有查找表操作收集为见证集合，采用plookup协议批量生成plookup证明；

21、将gkr证明和plookup证明组合为零知识证明。

22、进一步地，所述利用公共承诺、模型权重承诺、输入序列承诺和模型最终输出的承诺对零知识证明进行验证，包括：

23、对模型权重承诺和输入序列承诺进行合法性验证；

24、利用公共承诺验证plookup证明的正确性；

25、利用输入序列承诺和模型最终输出的承诺验证gkr证明的正确性；

26、若所有验证均通过，则判定模型最终输出是正确的推理结果。

27、一种面向稀疏大语言模型的高效零知识证明系统，其包括：

28、初始化模块，用于构建查找表并生成查找表的公共承诺；

29、承诺生成模块，用于证明者对模型权重和输入序列生成模型权重承诺和输入序列承诺，并发送给验证者；

30、模型前向计算模块，用于证明者执行模型前向计算，生成中间状态和模型最终输出的承诺；

31、分层证明生成模块，用于证明者基于中间状态生成分层证明；

32、证明聚合模块，用于将分层证明聚合为完整的零知识证明；

33、验证模块，用于验证者利用公共承诺、模型权重承诺、输入序列承诺和模型最终输出的承诺对零知识证明进行验证，根据验证结果判定模型推理结果的正确性。

34、本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法的指令。

35、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现上述的方法。

36、与现有技术相比，本发明首次实现了对rope旋转位置编码、flashmla低秩注意力和top-k稀疏混合专家架构的统一零知识证明支持，可适配llama、deepseek、mixtral等主流大语言模型。通过低秩分解将注意力机制证明复杂度从o(t2)降至o(td+tr)，通过阈值查找表将moe路由证明复杂度从o(eλ)降至o(e)，实现证明开销与模型规模近似线性关系。将所有非线性操作统一封装为查找表约束，避免多项式逼近带来的精度损失和额外证明开销。验证时间保持在秒级，满足实际部署需求；实验表明在rtx 3090单卡环境下可支持长达16k序列的32b参数规模模型，证明生成时间与序列长度呈近似线性关系，具有显著的可扩展性和工程实用价值。