一种面向零知识证明的卷积神经网络分层推理验证方法及系统
本发明属于数据安全领域,更具体地,涉及一种面向零知识证明的卷积神经网络分层推理验证方法及系统。
背景技术:
1、卷积神经网络模型已广泛部署于云端机器学习服务场景。由于云端模型推理通常以黑盒方式执行,用户难以直接确认推理结果是否由约定模型按照既定流程计算得到。零知识证明技术能够使证明者在不泄露模型参数、中间结果等敏感信息的条件下,向验证者证明推理计算的正确性,因此成为机器学习推理完整性验证的重要技术路径。
2、现有非交互式零知识机器学习系统在处理卷积神经网络时,通常将整个模型推理过程编译为一个单体算术电路并生成证明。该方式虽然能够保持模型语义完整性,但在复杂模型负载下会导致电路行列规模、见证规模和证明生成时间随模型层数和参数规模快速增加,难以充分利用多计算节点的并行能力。
3、对卷积神经网络推理验证的性能分布进行分析可知,卷积层和全连接层等线性运算层通常占据主要证明开销;激活层、池化层等非线性运算层虽然单层运算规模相对较小,但在零知识证明电路中常依赖查找表约束,若直接构造完整查找表,也会导致约束行数和证明开销增加。与此同时,卷积神经网络的推理过程天然由卷积层、激活层、池化层、全连接层等层级结构顺序连接,在满足输入输出依赖关系的条件下具备拆分和并行证明的基础。
4、因此,现有技术至少存在如下不足:单体电路难以根据网络层级结构拆分并行证明任务。
技术实现思路
1、针对现有技术的以上缺陷或改进需求,本发明提供了一种面向零知识证明的卷积神经网络分层推理验证方法及系统,能够同时兼顾推理完整性及零知识性,从而在不泄露卷积神经网络模型私有参数和推理中间结果的前提下,克服单体证明电路在复杂模型下的扩展性不足的问题。
2、为实现上述目的,按照本发明的第一方面,提供了一种面向零知识证明的卷积神经网络分层推理验证方法,应用于证明方,包括:
3、s1,按照待验证的cnn模型的层级结构将其分解为多个层级运算单元;
4、s2,根据各层级运算单元的运算类型及各计算节点的可用计算资源,将各层级运算单元的局部证明任务绑定至相应的计算节点;接收客户端发起的针对所述cnn模型的同一批次推理请求,获取各层级运算单元对应各推理请求的输入张量及所述cnn模型最终输出的针对各推理请求的推理结果,将各推理请求拆分为层级证明请求后分发至绑定了相应局部证明任务的计算节点;
5、s3,各计算节点为任务请求队列中的局部证明任务生成局部零知识证明;
6、s4,汇总所有局部零知识证明,以供验证方验证所述推理结果的可靠性。
7、按照本发明的第二方面,提供了一种面向零知识证明的卷积神经网络分层推理验证系统,应用于证明方,包括:
8、分解模块,用于按照待验证的cnn模型的层级结构将其分解为多个层级运算单元;
9、任务调度模块,用于根据各层级运算单元的运算类型及各计算节点的可用计算资源,将各层级运算单元的局部证明任务绑定至相应的计算节点;接收客户端发起的针对所述cnn模型的同一批次推理请求,获取各层级运算单元对应各推理请求的输入张量及所述cnn模型最终输出的针对各推理请求的推理结果,将各推理请求拆分为层级证明请求后分发至绑定了相应局部证明任务的计算节点;
10、局部证明模块,用于通过各计算节点为任务请求队列中的局部证明任务生成局部零知识证明;
11、汇总模块,用于汇总所有局部零知识证明,以供验证方验证所述推理结果的可靠性。
12、按照本发明的第三方面,提供了一种电子设备,包括:计算机可读存储介质和处理器;
13、所述计算机可读存储介质用于存储可执行指令;
14、所述处理器用于读取所述计算机可读存储介质中存储的可执行指令,执行如第一方面所述的方法。
15、总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
16、本发明提供的方法,将完整卷积神经网络推理证明从单体大电路重构为多个层级局部证明任务,使卷积层、激活层、池化层和全连接层等运算能够根据模型层级依赖关系分别生成局部证明。系统可将不同层级证明任务分发至多个计算节点或计算单元执行,从而将整体式证明中随层数累积的串行证明时延,转换为由任务调度跨度和最慢局部任务主导的并行完成模式,提升证明生成阶段的并行度和可扩展性,降低卷积神经网络零知识推理证明的单次证明时延。
17、考虑到模型分层后容易产生层间输入输出不一致的问题,需要额外的安全链接机制,作为进一步的优选方案,本发明提供的方法通过层间一致性承诺机制对跨层中间结果进行绑定。中间结果以哈希承诺形式作为公共数据参与验证,中间结果明文和承诺随机数作为私有见证保留在电路内部;相邻层级子电路通过重新计算并校验承诺值确认上一层输出与下一层输入的一致性。因此,在不公开模型中间激活值的情况下,仍能够防止证明生成方伪造层间输入输出关系,保证多个局部证明在语义上能够拼接为一次完整 cnn 推理证明。
18、作为进一步的优选方案,本发明提供的方法,针对卷积层和全连接层引入批量编码机制,利用证明系统大位宽有限域与量化模型低位宽数据之间的表示空间差异,将多个请求的线性层输入矩阵按照编码基数聚合为一个聚合输入矩阵,并通过一次聚合矩阵乘法及编码正确性约束同时验证多个请求的线性层计算正确性。由此,可降低多请求场景下线性层证明开销随请求数量近似线性增长的问题,提高批量推理验证时的证明生成吞吐能力,能够提高多请求场景下线性层证明吞吐率。
19、作为进一步的优选方案,本发明提供的方法,对最大值、就近取整除法、平方根和指数等非线性算子采用范围查找表复用、辅助变量和多项式约束相结合的证明方式,避免针对每一种非线性算子直接构造完整输入输出查找表。该处理方式能够将较大位宽下的复杂查表证明转化为可复用范围查找和少量代数约束,从而减少非线性层证明电路规模,降低非线性层在整体 cnn 证明中的开销,即降低非线性算子的约束规模和查找表开销。
20、综上,本发明提供的方法,将单体证明电路转化为分层局部证明任务,通过层间一致性承诺保证局部证明能够重新拼接为一次完整推理过程,通过任务调度释放层级间并行能力,并通过批量编码和非线性算子优化降低层级内证明开销。能够同时兼顾推理完整性及零知识性、并行可扩展性和批量吞吐能力,从而在不泄露卷积神经网络模型私有参数和推理中间结果的前提下,克服单体证明电路在复杂模型和多请求场景下的扩展性不足的问题。实验结果表明,本发明提供的方法在单请求测试下可将证明时延最高缩短约 42.4%,将验证时延最高缩短约 26.0%;在多请求测试下,叠加批量编码和非线性算子电路优化的完整方案可将证明生成吞吐率提升约 1.54 倍至 3.06 倍;随着并行资源增加,多请求场景下吞吐率可进一步提升。上述结果说明,本发明提供的方法不仅能够降低单次推理证明和验证的时间开销,还能够在批量请求和多计算单元部署条件下获得较好的扩展效果。
1.一种面向零知识证明的卷积神经网络分层推理验证方法,应用于证明方,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,若所述层级运算单元的运算类型为线性运算,则为其局部证明任务生成局部零知识证明的过程包括:
3.如权利要求2所述的方法,其特征在于,所述证明电路包括编码算子电路和点积算子电路;
4.如权利要求2所述的方法,其特征在于,若当前线性运算层为卷积层,则当前线性运算层对应各个推理请求的输入矩阵和权重矩阵的获取方式为:
5.如权利要求2所述的方法,其特征在于,所述同一批次推理请求的数量小于单次聚合的最大请求数量;
6.如权利要求1所述的方法,其特征在于,若所述层级运算单元的运算类型为非线性运算,则为其局部证明任务生成局部零知识证明的过程包括:
7.如权利要求1所述的方法,其特征在于,还包括:对于各推理请求,根据公式生成所述需要跨层传递的中间张量对应的承诺值以进行层间一致性验证,层间一致性验证结果用于供验证方验证所述推理结果的可靠性;
8.如权利要求1所述的方法,其特征在于,步骤s2中,若某一局部证明任务绑定了多个计算节点,则将该局部证明任务分发至任务请求队列长度最短的计算节点。
9.一种面向零知识证明的卷积神经网络分层推理验证系统,应用于证明方,其特征在于,包括:
10.一种电子设备,其特征在于,包括:计算机可读存储介质和处理器;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com