一种基于STN的高效安全联邦学习方法及相关设备与流程

一种基于stn的高效安全联邦学习方法及相关设备
技术领域
1.本技术涉及神经网络技术领域，尤其涉及一种基于stn的高效安全联邦学习方法及相关设备。


背景技术：

2.一维时间序列数据是以时间为维度的一维样本数据，各行各业应用传感器等设备采集大量一维时间序列数据，并且试图从中挖掘价值提供给决策者。随着数据量的增加，当中包含的隐私数据也越来越多，如果隐私数据被泄露，其后果难以估量。
3.因此，我们通过联邦学习的方法解决数据隐私问题，联邦学习模型相对于分布式机器学习模型来说，最突出的特点是数据不上传到中央服务器，而只是在本地机器上训练数据集，然后将训练后的模型参数发送到中央服务器，用作全局模型的聚合，这样就保护了本地数据的隐私，但同时也带来了一个问题就是，在本地对数据进行训练，对本地服务器的性能提出了很高的要求。


技术实现要素：

4.有鉴于此，本技术的目的在于提出一种基于stn的高效安全联邦学习方法及相关设备。
5.基于上述目的，本技术提供了一种基于stn的高效安全联邦学习方法，包括：将初始二维特征矩阵输入到空间转换网络中，利用所述空间转换网络输出仿射变换后的二维特征矩阵；将所述二维特征矩阵输入到联邦学习模型中的卷积神经网络中，利用所述卷积神经网络输出分类预测结果。
6.可选地，在将初始二维特征矩阵输入到空间转换网络中之前，还包括：
7.获取一维时间序列，对所述一维时间序列进行短时s变换，得到所述初始二维特征矩阵。
8.可选地，所述短时s变换定义为：
[0009][0010]
其中，w(t-τ)为窗函数，s(f,τ)为短时s变换，(t)为所述一维时间序列，f为频率，t为时间，τ为时移因子，所述窗函数的表达式为：
[0011][0012]
其中，w(t)为窗函数，f为频率，t为时间；σm(f)为窗函数尺度因子，且其中，m为参数，f为频率。
[0013]
可选地，所述空间转换网络包括本地网络层、网格生成层以及采样器，所述将初始
二维特征矩阵输入到空间转换网络中，利用所述空间转换网络输出仿射变换后的二维特征矩阵，包括：将所述初始二维特征矩阵输入到所述本地网络层中，经由所述本地网络层输出所述初始二维特征矩阵的坐标映射参数，并生成新生坐标；根据所述坐标映射参数以及所述新生坐标，利用所述网格生成层计算得到所述初始二维特征矩阵的原始坐标；根据所述原始坐标，利用所述采样器对所述初始二维特征矩阵进行采样填充，得到仿射变换后的所述二维特征矩阵。
[0014]
可选地，所述方法还包括：根据所述分类预测结果，对所述空间转换网络的所述本地网络层、所述网格生成层以及所述采样器中的参数进行更新。
[0015]
基于上述目的，本技术还提供了一种基于stn的高效安全联邦学习装置，包括：空间转换网络模块，被配置为将初始二维特征矩阵输入到空间转换网络中，利用所述空间转换网络输出仿射变换后的二维特征矩阵；卷积神经网络模块，被配置为将所述二维特征矩阵输入到联邦学习模型中的卷积神经网络中，利用所述卷积神经网络输出分类预测结果。
[0016]
可选地，还包括预处理模块，所述预处理模块被配置为获取一维时间序列，对所述一维时间序列进行短时s变换，得到所述初始二维特征矩阵。
[0017]
可选地，所述空间转换网络模块包括本地网络层单元、网格生成层单元以及采样器单元；将所述初始二维特征矩阵输入到所述本地网络层中，经由所述本地网络层输出所述初始二维特征矩阵的坐标映射参数，并生成新生坐标；所述网格生成层单元被配置为根据所述坐标映射参数以及所述新生坐标，利用所述网格生成层计算得到所述初始二维特征矩阵的原始坐标；所述采样器单元被配置为利用所述采样器，根据所述原始坐标对所述初始二维特征矩阵进行采样填充，得到仿射变换后的所述二维特征矩阵。
[0018]
基于上述目的，本技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现任意一种所述方法。
[0019]
基于上述目的，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行任意一种所述方法。
[0020]
从上面所述可以看出，本技术提供的基于stn的高效安全联邦学习方法及相关设备，其中，所述方法包括：首先，利用空间转换网络对输入的初始二维特征矩阵进行仿射变换，再将仿射变换后的二维特征矩阵输入到联邦学习模型中的卷积神经网络中，得到预测分类结果。利用空间转换网络对输入的初始二维特征矩阵进行仿射变换，等于对不同的二维特征矩阵数据集做相似处理，解决了数据集不一致的问题，从而减小了联邦学习模型中的本地模型的数据集的大小；同时也消除了后续步骤中二维特征矩阵进行多次矩阵初等变换对卷积神经网络特征提取的影响，提升了联邦学习模型分类预测的准确率。
附图说明
[0021]
为了更清楚地说明本技术或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]
图1为本技术实施例的基于stn的高效安全联邦学习方法步骤示意图；
[0023]
图2为本技术实施例的基于stn的高效安全联邦学习装置框图；
[0024]
图3为本技术实施例的cnn和cnn中加入stn两种模型的损失曲线；
[0025]
图4为本技术实施例的电子设备硬件结构示意图。
具体实施方式
[0026]
为使本技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本技术进一步详细说明。
[0027]
需要说明的是，除非另外定义，本技术实施例使用的技术术语或者科学术语应当为本技术所属领域内具有一般技能的人士所理解的通常意义。本技术实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0028]
为了方便理解，下面对本公开实施例中涉及的名词进行解释：
[0029]
stn：spatial transformer network，即本技术实施例中的空间转换网络；
[0030]
ln层：localisation net，即本技术实施例中的本地网络层；
[0031]
grg层：grid generator，即本技术实施例中的网格生成层；
[0032]
dis层：differentiable image sampling，微分图像采样器；
[0033]
cnn：convolutional neural networks，卷积神经网络；
[0034]
epoch：使用全部数据对模型进行一次完整训练。
[0035]
如背景技术部分所述，如果应用场景是低性能的机器，那么联邦学习模型就不能使用，这样就达不到保护隐私的作用。同时，联邦学习模型可以聚合多个本地数据集，这也会带来数据集格式不一致的问题，不同的数据集可能需要不同的模型来进行训练，这也会导致模型规模庞大，从而因为低性能的本地机器，导致不能应用联邦学习模型来进行安全的深度学习应用。
[0036]
并且，将二维矩阵直接输入至卷积神经网络存在问题，假设二维矩阵d经历多次变换后得到dn，如式(1)所示：
[0037]dn
＝e
n,men,m
…dꢀꢀ
(1)
[0038]
在实际情况中，不同的二维矩阵输入到卷积神经网络中做多次变换，提取到的特征将会不同，从而影响到神经网络的预测效果。
[0039]
有鉴于此，本技术一个实施例提供了一种基于stn的高效安全联邦学习方法，如图1所示，包括：
[0040]
s101、将初始二维特征矩阵输入到空间转换网络中，利用所述空间转换网络输出仿射变换后的二维特征矩阵；
[0041]
s102、将所述二维特征矩阵输入到联邦学习模型中的卷积神经网络中，利用所述卷积神经网络输出分类预测结果。
[0042]
本实施例提供的基于stn的高效安全联邦学习方法，首先，利用空间转换网络对输入的初始二维特征矩阵进行仿射变换，再将仿射变换后的二维特征矩阵输入到联邦学习模型中的卷积神经网络中，得到预测分类结果。利用空间转换网络对输入的初始二维特征矩阵进行仿射变换，等于对不同的二维特征矩阵数据集做相似处理，解决了数据集不一致的问题，从而减小了联邦学习模型中的本地模型的数据集大小；同时也消除了后续步骤中二维特征矩阵进行多次矩阵初等变换对卷积神经网络特征提取的影响，提升了联邦学习模型分类预测的准确率。
[0043]
在本实施例中，所述空间转换网络包括本地网络层、网格生成层以及采样器，所述将初始二维特征矩阵输入到空间转换网络中，利用所述空间转换网络输出仿射变换后的二维特征矩阵，包括：
[0044]
s1011、将所述初始二维特征矩阵输入到所述本地网络层中，经由所述本地网络层输出所述初始二维特征矩阵的坐标映射参数，并生成新生坐标；
[0045]
s1012、根据所述坐标映射参数以及所述新生坐标，利用所述网格生成层计算得到所述初始二维特征矩阵的原始坐标；
[0046]
s1013、根据所述原始坐标，利用所述采样器对所述初始二维特征矩阵进行采样填充，得到仿射变换后的所述二维特征矩阵。
[0047]
一种具体的实施例中，采样器为微分图像采样器dis，上述利用所述空间转换网络输出仿射变换后的二维特征矩阵的具体过程如下：
[0048]
首先，ln层输入的初始二维特征矩阵u∈rh×w，其中，h表示输入的初始二维特征矩阵的宽度，w表示输入的初始二维特征矩阵的高度，ln层输出坐标映射参数a
θ
，并生成新生坐标坐标映射参数a
θ
如式(2)所示：
[0049][0050]
然后，grg层通过上述ln层计算的坐标映射参数计算得到所述初始二维特征矩阵的原始坐标，如式(3)所示：
[0051][0052]
其中，a
θ
为式(2)中得到的坐标映射参数，以及γ
θ
(g)为所述初始二维特征矩阵的原始坐标，为所述新生坐标。
[0053]
最后，dis通过所述原始坐标对新生最表进行采样填充，过程如式(4)所示：
[0054][0055]
其中，vi即为仿射变换后得到的二维特征矩阵，u
nm
为输入的初始二维特征矩阵u中某一点的像素值。
[0056]
本实施例提供的空间转换网络能够自适应地对输入的二维特征矩阵数据进行空间变换和对齐，使得数据在卷积神经网络中对平移、缩放、旋转或者其它变换等保持不变性。此外，本实施例提供的空间转换网络的计算速度很快，几乎不会影响整体联邦学习模型
的训练速度，可以无缝嵌入联邦学习模型的网络架构，无需额外的监督信息帮助训练。
[0057]
在一些实施例中，在将初始二维特征矩阵输入到空间转换网络中之前，还包括：
[0058]
获取一维时间序列，对所述一维时间序列进行短时s变换，得到所述初始二维特征矩阵。
[0059]
在一些实施例中，所述短时s变换定义为：
[0060][0061]
其中，w(t-τ)为窗函数，s(f,τ)为短时s变换，(t)为所述一维时间序列，f为频率，t为时间，τ为时移因子，所述窗函数的表达式为：
[0062][0063]
其中，w(t)为窗函数，f为频率，t为时间；σm(f)为窗函数尺度因子，且其中，m为参数，f为频率。
[0064]
在狭义的s变换中，窗函数的形态只能随频率的变化而变化，无法灵活调节宽度，在短时s变换中，我们引入了参数m来调节高斯窗函数的宽度，短时s变换相较于傅里叶变换和s变换来说，提取特征的细节更加明显。
[0065]
在一些实施例中，所述方法还包括：根据所述分类预测结果，对所述空间转换网络的所述本地网络层、所述网格生成层以及所述采样器中的参数进行更新。
[0066]
为了验证本技术实施例所达到的技术效果，还提供了应用本实施例的方法与相关技术对比的实验仿真数据。
[0067]
以冷却器数据异常检测实验为例，如图3所示，图3中分别是cnn和在ccn中加入stn两种模型的损失曲线，图中，横坐标为epoch的次数，纵坐标为loss值，将冷却器的二维矩阵序列数据分别输入到两种模型中，cnn模型在经历了100次epoch后达到收敛，准确率为83.22％；而stn模型在经历了30k次epoch后达到收敛，准确率为96.87％。再将冷却器的二维矩阵序列数据根据上述式(1)进行简单变换，得到不同的数据集d1、d2、d3、d4、d5，再将不同的数据集依次输入到上述两个模型中，得到cnn与在ccn中加入stn两种模型对不同数据集进行分类预测的准确率，如表1所示。
[0068]
表1：两种模型对不同数据集进行分类预测的准确率
[0069]
数据集cnn准确率/％cnn stn准确率/％d174.3497.43d280.5496.56d362.8998.67d478.8797.34d568.7894.79
[0070]
可见，在加入了stn后，针对不同的数据集，准确率变化不大，但在cnn网络中，由于输入的二维特征矩阵的不同，其卷积核提取的特征不同，因此对精度会有较大的影响，在实验过程中甚至会出现无法收敛的情况。
[0071]
需要说明的是，本技术实施例的方法可以由单个设备执行，例如一台计算机或服
务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本技术实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0072]
需要说明的是，上述对本技术的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0073]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种基于stn的高效安全联邦学习装置，如图2所示，包括：空间转换网络模块10，被配置为将初始二维特征矩阵输入到空间转换网络中，利用所述空间转换网络输出仿射变换后的二维特征矩阵；卷积神经网络模块20，被配置为将所述二维特征矩阵输入到联邦学习模型中的卷积神经网络中，利用所述卷积神经网络输出分类预测结果。
[0074]
本实施例提供的基于stn的高效安全联邦学习装置，首先，利用空间转换网络对输入的初始二维特征矩阵进行仿射变换，再将仿射变换后的二维特征矩阵输入到联邦学习模型中的卷积神经网络中，得到预测分类结果。利用空间转换网络对输入的初始二维特征矩阵进行仿射变换，等于对不同的二维特征矩阵数据集做相似处理，解决了数据集不一致的问题，从而减小了联邦学习模型中的本地模型的数据集大小；同时也消除了后续步骤中二维特征矩阵进行多次矩阵初等变换对卷积神经网络特征提取的影响，提升了联邦学习模型分类预测的准确率。
[0075]
在一些实施例中，还包括预处理模块，所述预处理模块被配置为获取一维时间序列，对所述一维时间序列进行短时s变换，得到所述初始二维特征矩阵。
[0076]
在一些实施例中，所述空间转换网络模块包括本地网络层单元、网格生成层单元以及采样器单元；所述本地网络层单元被配置为将所述初始二维特征矩阵输入到所述本地网络层中，经由所述本地网络层输出所述初始二维特征矩阵的坐标映射参数，并生成新生坐标；所述网格生成单元被配置为根据所述坐标映射参数以及所述新生坐标，利用所述网格生成层计算得到所述初始二维特征矩阵的原始坐标；所述采样器单元被配置为利用所述采样器，根据所述原始坐标对所述初始二维特征矩阵进行采样填充，得到仿射变换后的所述二维特征矩阵。
[0077]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0078]
上述实施例的装置用于实现前述任一实施例中相应的基于stn的高效安全联邦学习方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0079]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于stn的高效安全联邦学习方法。
[0080]
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间
在设备内部的通信连接。
[0081]
处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0082]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0083]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0084]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0085]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0086]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0087]
上述实施例的电子设备用于实现前述任一实施例中相应的基于stn的高效安全联邦学习方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0088]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于stn的高效安全联邦学习方法。
[0089]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0090]
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于stn的高效安全联邦学习方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0091]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本技术的范围(包括权利要求)被限于这些例子；在本技术的思路下，以上实施例
或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0092]
另外，为简化说明和讨论，并且为了不会使本技术实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本技术实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本技术实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本技术的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本技术实施例。因此，这些描述应被认为是说明性的而不是限制性的。
[0093]
尽管已经结合了本技术的具体实施例对本技术进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0094]
本技术实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本技术实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本技术的保护范围之内。