基于通道置换与缩放的U型隐私推理方法及系统

本发明属于端云协同及隐私保护领域，更具体地，涉及一种基于通道置换与缩放的u型隐私推理方法及系统。

背景技术：

1、卷积神经网络广泛应用于图像分类、目标检测和语义分割等任务。随着模型规模和输入图像分辨率不断提高，在终端设备上完整部署和执行卷积神经网络容易受到算力、存储和能耗限制。模型分割推理将网络划分为多个子模型，由终端执行前段计算并将中间特征上传至云侧，再由云侧完成后续计算，是缓解终端资源压力的重要方式。

2、现有模型分割推理通常采用端侧前段、云侧后段的单向切分形式，云侧直接持有原始模型的大部分参数，并接收自然通道顺序下的中间特征。攻击者一旦控制云侧算力节点，可结合模型权重、通道位置和中间特征统计关系分析原始网络结构及输入内容。采用u型切分，将模型输入子模型和输出子模型部署在端侧、中间子模型部署在云侧，能够避免云侧直接获得原始输入和最终输出，但云侧仍可看到自然通道空间中的中间模型和中间特征，模型与数据隔离仍不充分。

3、通道置换能够在不改变卷积神经网络功能的条件下改变特征通道及相应权重的排列顺序，但单纯置换仅改变通道位置，不改变各通道的幅值、范数和统计分布。攻击者仍可能利用卷积核范数、中间特征幅值以及跨层通道相关性建立通道匹配关系。

技术实现思路

1、本发明的主要目的在于提供一种基于通道置换与缩放的u型隐私推理方法及系统，以克服现有技术的不足。

2、为实现以上发明目的，本发明采用了如下所述的技术方案：

3、本发明第一方面提供了一种基于通道置换与缩放的u型隐私推理方法，包括：将推理模型划分为输入子模型、中间子模型和输出子模型；对所述中间子模型中的可变换边界依次进行通道置换和通道缩放处理，对处理后的中间子模型进行逐层等价重参数化处理，以抵消输入通道加入的通道置换-缩放变换并形成输出通道所需的通道置换-缩放变换，将逐层等价重参数化处理后的中间子模型部署在算力节点；将所述输入子模型、所述输出子模型、预先构建的置换缩放模块和逆变换模块部署在应用节点；所述置换缩放模块用于对上行张量进行通道置换缩放处理后传输至所述算力节点，所述上行张量为所述输入子模型产生并作为所述中间子模型输入的特征；所述逆变换模块用于对下行张量进行逆变换后传输至所述输出子模型，所述下行张量为所述算力节点产生并作为所述输出子模型输入的特征；推理阶段：将待推理任务输入所述应用节点，经所述算力节点推理后输出推理结果至所述应用节点，得到推理结果。

4、优选的，对所述中间子模型中的可变换边界依次进行通道置换和通道缩放处理，具体包括：对于每一可变换边界：根据所述可变换边界的通道数构造置换矩阵，所述置换矩阵为正交矩阵；为各通道生成相应的缩放因子，所述缩放因子处于预设正值区间内；组合各缩放因子以构造正对角矩阵并作为缩放矩阵；所述置换矩阵左乘所述缩放矩阵，得到通道变换矩阵；利用所述通道变换矩阵对所述可变换边界的通道空间中的特征进行通道置换缩放处理。

5、优选的，对于需执行残差相加的多个可变换边界，各可变换边界在汇合位置采用相同的置换矩阵和缩放矩阵。

6、优选的，对于需执行特征拼接的多个可变换边界，根据各可变换边界在拼接结果中所占用的通道区间，分别组合各可变换边界的置换矩阵和缩放矩阵，将置换矩阵组合后的矩阵左乘缩放矩阵组合后的矩阵，得到整体变换矩阵。

7、优选的，对于处理后中间子模型中的二维卷积，进行等价重参数化处理的方式为：

8、；

9、；

10、其中，表示等价重参数化后第k个输入通道到第j个输出通道之间的完整二维卷积核；表示第k个输入通道到第j个输出通道之间的原始完整二维卷积核；为第j个输出通道对应的原始输出通道编号；为第k个输入通道对应的原始输入通道编号；为第j个输出通道的缩放因子；为第k个输入通道的缩放因子；为等价重参数化后第j个输出通道的偏置；为第j个输出通道的原始偏置，下标i、下标i-1分别表示第i个可变换边界、第i-1个可变换边界。

11、优选的，对于处理后中间子模型中卷积后接批归一化层的结构，进行等价重参数化处理具体包括：对批归一化层的参数进行融合处理，得到卷积参数；对所述卷积参数进行二维卷积等价重参数化处理。

12、优选的，所述卷积参数为：

13、；

14、；

15、其中，为融合批归一化层的第j个输出通道对应卷积二维权重，为原始的第j个输出通道对应卷积二维权重，为融合批归一化层的卷积偏置，为原始卷积偏置，、分别为批归一化层的原始可学习平移参数、原始可学习缩放参数，、为分别为批归一化层的原始运行均值、原始运行方差，为数值稳定参数，下标j表示批归一化层的第j个输出通道，下标i表示第i个可变换边界。

16、优选的，当所述待推理任务为尺寸大于尺寸阈值的图像时，所述方法还包括：所述应用节点将所述待推理任务划分为多个图像块；采用流水线方式对各图像块依次进行端侧前段计算、边界置换缩放、上行传输、云侧连续变换域推理、下行传输、边界逆变换和端侧后段计算。

17、本发明第二方面提供了一种基于通道置换与缩放的u型隐私推理系统，包括：超节点、算力节点和应用节点；所述超节点用于将推理模型划分为输入子模型、中间子模型和输出子模型；所述超节点还用于对所述中间子模型中的可变换边界依次进行通道置换和通道缩放处理，对处理后的中间子模型进行逐层等价重参数化处理，以抵消输入通道加入的通道置换-缩放变换并形成输出通道所需的通道置换-缩放变换，将逐层等价重参数化处理后的中间子模型部署在算力节点；所述超节点还用于将所述输入子模型、所述输出子模型、预先构建的置换缩放模块和逆变换模块部署在应用节点；所述置换缩放模块用于对上行张量进行通道置换缩放处理后传输至所述算力节点，所述上行张量为所述输入子模型产生并作为所述中间子模型输入的特征；所述逆变换模块用于对下行张量进行逆变换后传输至所述输出子模型，所述下行张量为所述算力节点产生并作为所述输出子模型输入的特征；推理阶段，所述应用节点用于接收待推理任务，经所述算力节点推理后输出推理结果至所述应用节点，得到推理结果；所述基于通道置换与缩放的u型隐私推理系统用于实现如上所述的基于通道置换与缩放的u型隐私推理方法。

18、本发明第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于通道置换与缩放的u型隐私推理方法。

19、本发明第四方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的基于通道置换与缩放的u型隐私推理方法。

20、与现有技术相比，本发明的有益效果在于：本发明提供了一种基于通道置换与缩放的u型隐私推理方法及系统，通过通道置换与逐通道缩放联合变换，使云侧中间特征同时发生通道身份变化和幅值分布变化，降低了基于通道匹配、特征统计分析以及梯度优化的输入恢复能力；同时结合u型端云部署方式，实现了模型参数、用户数据和变换关系的分离，本方法能够在保持卷积神经网络推理功能的基础上，实现较低通信开销和更强的中间特征隐私保护能力。