基于可插拔设备的端侧模型的参数保护方法、设备及介质与流程
本发明涉及人工智能领域,特别涉及基于可插拔设备的端侧模型的参数保护方法、设备及介质。
背景技术:
1、随着个人计算机、移动终端及边缘设备算力的不断提升,将大规模模型部署到用户侧设备进行本地推理的端侧推理应用日益广泛。在端侧推理中,模型提供方通常需要将具有较高训练成本和商业价值的模型部署到用户可接触的设备上运行。
2、在端侧推理场景中,用户侧设备往往不属于模型提供方的可信控制范围,模型参数在不可信的设备环境中存在泄露风险;并且,当借助不可信设备的算力完成部分计算时,其返回的计算结果的可信性也难以得到保证。
技术实现思路
1、本发明的目的在于提供一种基于可插拔设备的端侧模型的参数保护方法、设备及介质,以解决相关技术中端侧推理时模型参数存在泄露风险、以及借助不可信设备算力时计算结果可信性难以保证的问题。
2、为解决上述技术问题,本发明提供了一种基于可插拔设备的端侧模型的参数保护方法,可插拔设备与外部计算设备通信连接,可插拔设备存储有模型的明文权重,外部计算设备存储有明文权重对应的混淆权重;方法应用于可插拔设备,包括:在模型的推理过程中,针对待执行的矩阵乘法,将矩阵乘法的激活张量发送至外部计算设备,矩阵乘法为模型的权重与激活张量之间的矩阵乘法;接收外部计算设备返回的混淆结果,混淆结果为外部计算设备基于混淆权重对激活张量执行矩阵乘法得到;对混淆结果进行去混淆,得到矩阵乘法的明文结果;基于激活张量与明文权重,对明文结果进行完整性校验,完整性校验用于确定外部计算设备是否正确执行矩阵乘法;根据明文结果继续模型的推理。
3、本发明还提供了一种可插拔设备,可插拔设备通过接口与外部计算设备通信连接,包括存储器和处理器;存储器存储有模型的明文权重、用于对混淆结果进行去混淆的恢复密钥以及计算机程序;处理器执行计算机程序时实现上述基于可插拔设备的端侧模型的参数保护方法;接口用于向外部计算设备发送模型的激活张量,并接收混淆结果。
4、本发明还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述基于可插拔设备的端侧模型的参数保护方法。
5、在本发明中,通过将模型的明文权重保存于与外部计算设备相互独立的可插拔设备中,并使外部计算设备仅持有混淆权重、仅承担混淆权重与激活张量之间的矩阵乘法,再由可插拔设备对返回的混淆结果进行去混淆而还原明文结果,使得模型推理能够借助外部计算设备的算力完成,而明文权重在整个推理过程中不进入外部计算设备所在的不可信环境;同时,通过由可插拔设备基于其本地持有的明文权重对还原得到的明文结果进行完整性校验,使外部计算设备是否如实完成所分配的矩阵乘法能够被独立判定。由此,无需依赖主机侧可信执行环境即可保护模型明文参数的机密性,并能够发现不可信外部计算设备对卸载计算结果的篡改,保障推理结果的可信性。
1.一种基于可插拔设备的端侧模型的参数保护方法,所述可插拔设备与外部计算设备通信连接,所述可插拔设备存储有所述模型的明文权重,所述外部计算设备存储有所述明文权重对应的混淆权重;所述方法应用于所述可插拔设备,包括:
2.根据权利要求1所述的基于可插拔设备的端侧模型的参数保护方法,其特征在于,所述对所述明文结果进行完整性校验,包括:
3.根据权利要求1所述的基于可插拔设备的端侧模型的参数保护方法,其特征在于,在所述将所述矩阵乘法的激活张量发送至所述外部计算设备之前,还包括:
4.根据权利要求3所述的基于可插拔设备的端侧模型的参数保护方法,其特征在于,还包括:
5.根据权利要求1所述的基于可插拔设备的端侧模型的参数保护方法,其特征在于,所述将所述矩阵乘法的激活张量发送至所述外部计算设备,包括:
6.根据权利要求1所述的基于可插拔设备的端侧模型的参数保护方法,其特征在于,所述模型的推理过程中,归一化算子和激活函数算子的执行过程,由所述可插拔设备执行。
7.根据权利要求1所述的基于可插拔设备的端侧模型的参数保护方法,其特征在于,所述模型的推理之前,还包括:
8.根据权利要求1至7中任一项所述的基于可插拔设备的端侧模型的参数保护方法,其特征在于,
9.一种可插拔设备,其特征在于,所述可插拔设备通过接口与外部计算设备通信连接,包括存储器和处理器;
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的基于可插拔设备的端侧模型的参数保护方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com