基于区块链的神经网络模型共享方法与流程

1.本发明涉及区块链技术领域，具体涉及一种基于区块链的神经网络模型共享方法。


背景技术：

2.神经网络是由大量的、简单的处理单元，称为神经元，广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络在系统辨识、模式识别、智能控制等领域有着广泛而吸引人的前景。神经网络通常包括输入层、输出层和若干个隐藏层。在一些简单的神经网络中，也可以没有隐藏层，输入层直接连接输出层。每层包括若干个神经元，神经元与上一层的若干个神经元连接。神经元是一个多输入单输出的信息处理单元，且它对信息的处理是非线性的。神经网络系统是对自然界规律的函数近似。神经网络虽然能够解决大量非线性、不确定性高的问题，但其准确度和效果严重依赖训练数据的质量和数量。训练一个神经网络模型的需要大量的优质数据和较长的时间。很多神经网络模型的功能是相似的，如果能够实现神经网络模型的共享，则可以节省很多训练神经网络的时间，同时也能够解决部分需求用户数据不足或者数据质量较差的问题。目前的神经网络模型共享方法，会导致神经网络本身的泄露。一次共享后，需求方就可能获得神经网络的结构和权系数，导致模型方遭受损失。因而需要研究一种能够使模型保存隐私的神经网络模型共享方案。
3.中国专利cn111211893a，公开日2020年5月29日，一种应用区块链的自动驾驶汽车模型共享方法，一种应用区块链的自动驾驶汽车模型共享方法，旨在提高自动驾驶汽车决策的准确率和效率。其实现步骤包括：1)构建移动边缘计算网络；2)生成移动边缘计算网络中每个节点的密钥对；3)构建移动边缘计算网络中移动节点集合的本地模型集合；4)每个移动节点与距离其最近的移动边缘计算节点进行通信；5)移动边缘计算节点集合获取超级节点序列；6)基于超级节点序列构建区块链；7)对本地模型集合进行更新。其技术方案实现了模型用于自动驾驶汽车行驶过程中的决策，有效提高了决策的准确率和效率。但其会导致自动驾驶汽车模型的泄露。


技术实现要素：

4.本发明要解决的技术问题是：目前缺乏能够使神经网络模型保持保密的模型共享方案的技术问题。提出了一种基于区块链的神经网络模型共享方法，能够在共享神经网络模型时保持模型保密。
5.为解决上述技术问题，本发明所采取的技术方案为：基于区块链的神经网络模型共享方法，包括以下步骤：建立协作节点，在区块链上发布智能合约；拥有神经网络模型的模型方，将输入层神经元的连接拆分为两个连接，分别记为保留连接和协作连接，将输入层
神经元删除，为保留连接和协作连接分别建立保留输入神经元和协作输入神经元，获得共享模型；保留连接和协作连接的权重分别记为保留权系数和协作权系数，模型方将原连接的权系数使用同态加密后提交给智能合约；模型方将保留输入神经元发送给拥有神经网络模型输入数据的数据源方，将共享模型其余部分发送给协作节点；数据源方生成随机比例系数k，将比例系数k使用同态加密后发送给智能合约，并转账若干个代币到智能合约的账户；模型方为协作连接分配协作权系数，在同态加密下，根据协作权系数、比例系数k及原连接的权系数，计算出同态加密下的保留权系数，将同态加密下的协作权系数和保留权系数发送给智能合约；智能合约在同态加密下验证协作权系数、保留权系数和比例系数k的等效权系数是否与原连接的权系数相等，若是，则智能合约将保留权系数解密后，再使用数据源方的公钥加密后，发送给数据源方，若否，则结束本方法，将若干个代币退回数据源方；智能合约将若干个代币转账到模型方的账户；数据源方将其输入数x乘以比例系数k后，作为协作值，发送给协作节点，协作节点将协作值作为协作输入神经元的值；输入数x与协作值的差作为保留值，数据源方将保留值与保留权系数的积发送给协作节点；协作节点解算共享模型，获得共享模型预测结果，将预测结果发送给数据源方。
6.作为优选，数据源方为每个保留输入神经元生成随机比例系数ki，i表示序号，将集合{ki}使用同态加密后发送给智能合约；模型方为协作连接分配协作权系数，根据协作权系数、比例系数ki及原连接的权系数，获得每个保留权系数；将同态加密下的保留权系数集合发送给智能合约；智能合约依次验证保留权系数集合和集合{ki}中相对应的保留权系数、比例系数ki与协作权系数构成的等效权系数，是否与原连接的权系数相等，若是，则智能合约将保留权系数解密后，再使用数据源方的公钥加密后，发送给数据源方，若否，则结束本方法，将若干个代币退回数据源方。
7.作为优选，模型方为每个协作连接分配不同的协作权系数w_ci，在同态加密下根据协作权系数w_ci、比例系数ki及原连接的权系数，获得同态加密下的每个保留权系数w_ri，将集合{k_ri}发送给智能合约；智能合约依次验证集合{k_ri}和集合{ki}中相对应的保留权系数w_ri、比例系数ki与协作权系数w_ci构成的等效权系数，是否与原连接的权系数相等，若是，则智能合约将保留权系数解密后，再使用数据源方的公钥加密后，发送给数据源方，若否，则结束本方法，将若干个代币退回数据源方。
8.作为优选，模型方建立历史表，记录收到的同态加密下的比例系数k、对应生成的协作权系数和保留权系数；再次收到历史表中记录的相同同态加密下的比例系数k时，为协作连接生成与历史表记录中相同的协作权系数；将历史表中记录的保留权系数经过同态加密后发送给智能合约。
9.作为优选，智能合约在同态加密下验证协作权系数、保留权系数、比例系数k及原连接的权系数后，重新生成同态加密的公钥，将公钥发送给模型方，模型方将原连接的权系数使用收到的公钥加密后提交给智能合约。
10.作为优选，模型方计算出同态加密下的保留权系数时，将原连接的权系数添加一个随机的干扰量，干扰量与原连接的权系数的比值小于预设阈值，根据协作权系数、比例系数k及添加干扰量后的原连接的权系数，计算出同态加密下的保留权系数；智能合约在同态加密下验证协作权系数、保留权系数、比例系数k及原连接的权系数时，若协作权系数、保留权系数和比例系数k的等效权系数与原连接的权系数差值超过阈值，则通知模型方重新计
算保留权系数，若不超过阈值，则智能合约将保留权系数解密后，再使用数据源方的公钥加密，发送给数据源方。
11.作为优选，智能合约在同态加密下验证协作权系数、保留权系数、比例系数k及原连接的权系数时，若协作权系数、保留权系数和比例系数k的等效权系数与原连接的权系数差值超过第一阈值且小于第二阈值，则通知模型方重新计算保留权系数，超过第二阈值，则结束本方法，将若干个代币退回数据源方，若低于第一阈值，则智能合约将保留权系数解密后，再使用数据源方的公钥加密，发送给数据源方。
12.作为优选，建立若干个协作节点，协作节点数量与神经网络模型层数匹配；神经网络模型的每个层发送给对应的协作节点；协作输入神经元、协作权系数以及保留值与保留权系数的积，发送给输入层对应的协作节点；协作节点获得共享模型每层神经元的输出后，将输出发送给下一层神经元对应的协作节点。
13.基于区块链的神经网络模型共享方法，包括以下步骤：建立若干个协作节点，在区块链上发布智能合约；拥有神经网络模型的模型方，将输入层神经元的连接拆分为多个连接，分别记为保留连接和若干个协作连接，将输入层神经元删除，为保留连接建立保留输入神经元，为每个协作连接建立协作输入神经元，获得共享模型；保留连接和协作连接的权重分别记为保留权系数和协作权系数，模型方将原连接的权系数使用同态加密后提交给智能合约；模型方将保留输入神经元发送给拥有神经网络模型输入数据的数据源方，将共享模型其余部分发送给协作节点；数据源方为每个协作输入神经元生成一个随机比例系数kj，j表示协作输入神经元序号，将比例系数kj使用同态加密后发送给智能合约，并转账若干个代币到智能合约的账户；模型方为每个协作连接分配协作权系数，在同态加密下，根据协作权系数、比例系数kj及原连接的权系数，计算出同态加密下的保留权系数，将同态加密下的协作权系数和保留权系数发送给智能合约；智能合约在同态加密下验证协作权系数、保留权系数和比例系数kj的等效权系数是否与原连接的权系数相等，若是，则智能合约将保留权系数解密后，再使用数据源方的公钥加密后，发送给数据源方，若否，则结束本方法，将若干个代币退回数据源方；智能合约将若干个代币转账到模型方的账户；数据源方将其输入数x分别乘以比例系数kj后，作为协作值，发送给若干个协作节点，协作节点将协作值作为对应协作输入神经元的值；输入数x减去全部协作值，作为保留值，数据源方将保留值与保留权系数的积发送给协作节点；协作节点解算共享模型，获得共享模型预测结果，将预测结果发送给数据源方。
14.本发明的实质性效果是：通过将输入层神经元的连接拆分为两个连接，两个连接的比例系数、协作权系数及保留权系数的作用构成等效权系数，使原始神经网络模型的输入层权重得以隐藏，数据源方无法获得完整的神经网络模型，将数据源方的数据拆分为协作值和保留值，使数据也同时得到隐藏，在神经网络模型共享过程中，即保持了神经网络模型的隐私性，也保护了数据的隐私性；每次使用后都需要重新向模型方请求获得新的保留权系数，能够保障模型方获得神经网络模型的共享收益。
附图说明
15.图1为实施例一神经网络模型共享方法流程示意图。
16.图2为实施例一保留权系数生成方法示意图。
17.图3为实施例一神经网络模型示意图。
18.图4为实施例一神经元连接示意图。
19.图5为实施例一共享模型示意图。
20.图6为实施例一历史表生成方法示意图。
21.图7为实施例二保留权系数生成方法示意图。
22.图8为实施例二共享模型分配方法示意图。
23.图9为实施例三神经网络模型共享方法流程示意图。
24.其中：11、神经网络模型，12、共享模型，13、保留连接，14、协作连接。
具体实施方式
25.下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。
26.实施例一：基于区块链的神经网络模型共享方法，请参阅附图1，包括以下步骤：步骤a01）建立协作节点，在区块链上发布智能合约；步骤a02）拥有神经网络模型11的模型方，将输入层神经元的连接拆分为两个连接，分别记为保留连接13和协作连接14，将输入层神经元删除，为保留连接13和协作连接14分别建立保留输入神经元和协作输入神经元，获得共享模型12；步骤a03）保留连接13和协作连接14的权重分别记为保留权系数和协作权系数，模型方将原连接的权系数使用同态加密后提交给智能合约；步骤a04）模型方将保留输入神经元发送给拥有神经网络模型11输入数据的数据源方，将共享模型12其余部分发送给协作节点；步骤a05）数据源方生成随机比例系数k，将比例系数k使用同态加密后发送给智能合约，并转账若干个代币到智能合约的账户；步骤a06）模型方为协作连接14分配协作权系数，在同态加密下，根据协作权系数、比例系数k及原连接的权系数，计算出同态加密下的保留权系数，将同态加密下的协作权系数和保留权系数发送给智能合约；步骤a07）智能合约在同态加密下验证协作权系数、保留权系数和比例系数k的等效权系数是否与原连接的权系数相等；步骤a08）若否，则结束本方法，将若干个代币退回数据源方；步骤a09）若是，则智能合约将保留权系数解密后，再使用数据源方的公钥加密后，发送给数据源方；步骤a10）智能合约将若干个代币转账到模型方的账户；步骤a11）数据源方将其输入数x乘以比例系数k后，作为协作值，发送给协作节点，协作节点将协作值作为协作输入神经元的值；步骤a12）输入数x与协作值的差作为保留值，数据源方将保留值与保留权系数的积发送给协作节点；步骤a13）协作节点解算共享模型12，获得共享模型12预测结果，将预测结果发送给数据源方。
27.数据源方能够为同一个共享模型12的多个输入神经元对应的保留输入神经元，生
成不同的比例系数,请参阅附图2，包括：步骤b01）数据源方为每个保留输入神经元生成随机比例系数ki，i表示序号，将集合{ki}使用同态加密后发送给智能合约；步骤b02）模型方为协作连接14分配协作权系数，根据协作权系数、比例系数ki及原连接的权系数，获得每个保留权系数；步骤b03）将同态加密下的保留权系数集合发送给智能合约；步骤b04）智能合约依次验证保留权系数集合和集合{ki}中相对应的保留权系数、比例系数ki与协作权系数构成的等效权系数，是否与原连接的权系数相等；步骤b05）若是，则智能合约将保留权系数解密后，再使用数据源方的公钥加密后，发送给数据源方；步骤b06）若否，则结束本方法，将若干个代币退回数据源方。
28.请参阅附图3，为本实施例共享的神经网络模型11，具有两个隐藏层，输入层通常被称为第0层，隐藏层对应被称为第1层和第2层，最后一层为输出层。输出层具有两个神经元，即能够输出两个字段。输入层有3个神经元，涉及3个输入数，分别记为x1、x2和x3。其中隐藏层的输入值为所连接的输入层神经元的值的加权和，代入激活函数的结果。如第1层的第1个神经元的输出：y1=sigmod(∑w1i*xi b1)，标号1表示第1层的第1个神经元，i的取值为1至3。sigmod函数为常用的神经网络模型11的激活函数。
29.以第1层的第1个神经元为例，其涉及3个连接，如图4所示。分别连接输入层的3个神经元，对应的权系数分别为w11、w12和w13，将其涉及的3个连接分别拆分成2个连接。如图5所示，将第1层的第1个神经元涉及的3个连接拆分为保留连接13和协作连接14。使得第1层的第1个神经元的连接由3个变成了6个，对应的输出y1=sigmod(∑w1_ri*xi_r ∑w1_ci*xi_c b1)。
30.以输入层的第1个神经元为例，其原本的输入为x1，参与第1层的第1个神经元的数等于x1*w11。拆分为保留连接13和协作连接14时，协作权系数w1_c1、比例系数k及保留权系数w1_r1参与第1层的第1个神经元的数等于 x1_r1*w1_r1 x1_c1*w1_c1 = (1
‑
k)*x1*w1_r1 k*x1*w1_c1，等效权系数为(1
‑
k)*w1_r1 k*w1_c1，等效权系数与原连接的权系数w11相等，即：w11=(1
‑
k)*w1_r1 k*w1_c1。其中，比例系数k由数据源方生成，协作权系数w1_c1由模型方生成。保留权系数w1_r1由等式w11=(1
‑
k)*w1_r1 k*w1_c1计算获得。由于模型方不知晓协作值，即x1*k的值，因而模型方不能知晓具体的x1的值，使输入数据得以保密。类似的，数据源方不知晓协作权系数w1_c1，因而无法求解获得等效权系数，即原连接的权系数w11，使得神经网络模型11的部分连接权系数保持保密。数据源方只能使用一次，就得向模型方申请一次保留权系数w1_r1。若模型方不提供保留权系数w1_r1，则数据源方将立即无法正确使用共享模型12获得预测结果。使数据源方不能脱离模型方，独立使用共享模型12。同时保障了模型方每次共享神经网络模型11，都能够获得收益。w1i=(1
‑
k)*w1_ri k*w1_ci，则sigmod(∑w1_ri*xi_r ∑w1_ci*xi_c b1)=sigmod(∑w1i*xi b1)能够成立，即将连接拆分为协作连接14和保留连接13后，不影响神经网络模型11预测的结果。对于保留权系数的计算仅涉及加法和乘法，加法和乘法的同态加密技术属于本领域的现有技术，在此不做赘述。
31.如输入神经元的值x1=8，原连接的权系数为w11=0.52，拆分为协作连接14和保留
连接13后，数据源方生成比例系数k=0.6，0<k<1。模型方为协作连接14生成的协作权系数w1_c1=0.8，则根据等式：w11=(1
‑
k)*w1_r1 k*w1_c1，即：0.52=(1
‑
0.6)*w1_r1 0.6*0.8获得保留权系数w1_r1=0.1，将同态加密下的0.1发送给智能合约。则协作值与保留值的加权和为：8*0.6*0.8 8*(1
‑
0.6)*0.1=4.16=8*0.52，恰好与原连接的效果等效。
32.模型方是允许知晓获保留权系数的取值的，使用同态加密的目的是为了在发送给智能合约的过程中，泄露保留权系数，若协作节点获得了保留权系数，则协作节点能够获得等效的权系数，导致共享模型12被泄露给协作节点。
33.模型方计算出同态加密下的保留权系数时，将原连接的权系数添加一个随机的干扰量，干扰量与原连接的权系数的比值小于预设阈值，根据协作权系数、比例系数k及添加干扰量后的原连接的权系数，计算出同态加密下的保留权系数；智能合约在同态加密下验证协作权系数、保留权系数、比例系数k及原连接的权系数时，若协作权系数、保留权系数和比例系数k的等效权系数与原连接的权系数差值超过阈值，则通知模型方重新计算保留权系数，若不超过阈值，则智能合约将保留权系数解密后，再使用数据源方的公钥加密，发送给数据源方。
34.智能合约在同态加密下验证协作权系数、保留权系数、比例系数k及原连接的权系数后，重新生成同态加密的公钥，将公钥发送给模型方，模型方将原连接的权系数使用收到的公钥加密后提交给智能合约。
35.智能合约在同态加密下验证协作权系数、保留权系数、比例系数k及原连接的权系数时，若协作权系数、保留权系数和比例系数k的等效权系数与原连接的权系数差值超过第一阈值且小于第二阈值，则通知模型方重新计算保留权系数，超过第二阈值，则结束本方法，将若干个代币退回数据源方，若低于第一阈值，则智能合约将保留权系数解密后，再使用数据源方的公钥加密，发送给数据源方。
36.请参阅附图6，还包括：步骤d01）模型方建立历史表，记录收到的同态加密下的比例系数k、对应生成的协作权系数和保留权系数；步骤d02）再次收到历史表中记录的相同同态加密下的比例系数k时，为协作连接生成与历史表记录中相同的协作权系数；步骤d03）将历史表中记录的保留权系数经过同态加密后发送给智能合约。使数据源方不能通过多次调用共享模型12，建立多元方程组，解出等效权系数。通过查阅历史记录，若比例系数k相同，则返回相同的保留权系数，使多个多元方程相同，无法构建出方程组,保障共享模型12的隐私安全。
37.本实施例通过将输入层神经元的连接拆分为两个连接，两个连接的比例系数、协作权系数及保留权系数的作用构成等效权系数，使原始神经网络模型11的输入层权重得以隐藏，数据源方无法获得完整的神经网络模型11，将数据源方的数据拆分为协作值和保留值，使数据也同时得到隐藏，在神经网络模型11共享过程中，即保持了神经网络模型11的隐私性，也保护了数据的隐私性；每次使用后都需要重新向模型方请求获得新的保留权系数，能够保障模型方获得神经网络模型11的共享收益。
38.实施例二：基于区块链的神经网络模型共享方法，本实施例在实施例一的基础上，对协作权系数的生成提出了具体的改进方案。请参阅附图7，步骤c01）模型方为每个协作连接14分配不同的协作权系数w_ci；步骤c02）在同态加密下根据协作权系数w_ci、比例系数ki及原连
接的权系数，获得同态加密下的每个保留权系数w_ri，将集合{k_ri}发送给智能合约；步骤c03）智能合约依次验证集合{k_ri}和集合{ki}中相对应的保留权系数w_ri、比例系数ki与协作权系数w_ci构成的等效权系数，是否与原连接的权系数相等；步骤c04）若是，则智能合约将保留权系数解密后，再使用数据源方的公钥加密后，发送给数据源方；步骤c05）若否，则结束本方法，将若干个代币退回数据源方。即为第1层的第1个神经元涉及的3个连接拆分的协作连接14分配不同的协作权系数，数据源方也可以为每个输入数涉及的保留连接13，生成不同的比例系数k。本实施中，输入数x1涉及的输入有4个，因而，为输入数x1就需要产生4个比例系数k，对应的生成4组协作权系数和保留权系数。
39.请参阅附图8，包括：步骤e01）建立若干个协作节点，协作节点数量与神经网络模型11层数匹配；步骤e02）神经网络模型11的每个层发送给对应的协作节点；步骤e03）协作输入神经元、协作权系数以及保留值与保留权系数的积，发送给输入层对应的协作节点；步骤e04）协作节点获得共享模型12每层神经元的输出后，将输出发送给下一层神经元对应的协作节点。
40.实施例三：基于区块链的神经网络模型共享方法，请参阅附图9，包括以下步骤：步骤f01）建立若干个协作节点，在区块链上发布智能合约；步骤f02）拥有神经网络模型11的模型方，将输入层神经元的连接拆分为多个连接，分别记为保留连接13和若干个协作连接14，将输入层神经元删除，为保留连接13建立保留输入神经元，为每个协作连接14建立协作输入神经元，获得共享模型12；步骤f03）保留连接13和协作连接14的权重分别记为保留权系数和协作权系数，模型方将原连接的权系数使用同态加密后提交给智能合约；步骤f04）模型方将保留输入神经元发送给拥有神经网络模型11输入数据的数据源方，将共享模型12其余部分发送给协作节点；步骤f05）数据源方为每个协作输入神经元生成一个随机比例系数kj，j表示协作输入神经元序号，将比例系数kj使用同态加密后发送给智能合约，并转账若干个代币到智能合约的账户；步骤f06）模型方为每个协作连接14分配协作权系数，在同态加密下，根据协作权系数、比例系数kj及原连接的权系数，计算出同态加密下的保留权系数，将同态加密下的协作权系数和保留权系数发送给智能合约；步骤f07）智能合约在同态加密下验证协作权系数、保留权系数和比例系数kj的等效权系数是否与原连接的权系数相等；步骤f08）若否，则结束本方法，将若干个代币退回数据源方；步骤f09）若是，则智能合约将保留权系数解密后，再使用数据源方的公钥加密后，发送给数据源方，智能合约将若干个代币转账到模型方的账户；步骤f10）数据源方将其输入数x分别乘以比例系数kj后，作为协作值，发送给若干个协作节点，协作节点将协作值作为对应协作输入神经元的值；步骤f11）输入数x减去全部协作值，作为保留值，数据源方将保留值与保留权系数的积发送给协作节点；步骤f12）协作节点解算共享模型12，获得共享模型12预测结果，将预测结果发送给数据源方。本实施例与实施例一的区别在于，实施例一限定将连接拆分为2个连接，本实施例则采用将连接拆分为2个或2个以上的连接。如拆分为3个连接，分别为1个保留连接13和2个协作连接14。由于拆分为多个连接时，执行的步骤与2个连接相同，区别仅在于需要多分配协作权系数和协作值。
41.实施例四：银行甲使用其拥有的业务数据训练了具有反洗钱功能的神经网络模型11，即根据
储户的账户流水数据，输出储户账户进行洗钱活动的预测概率。银行甲成立的时间较久、业务规模较大，因而有足够的数据将具有反洗钱功能的神经网络模型11的预测准确度训练到满足使用要求。而银行乙的规模较小，数据量不足，难以独立训练出满足需要的神经网络模型11。但银行乙同样需要承接反洗钱的任务。同样的，更多的与银行乙类似的，规模较小的银行，独立建立和训练具有反洗钱功能的神经网络模型11，都是面临数据量不足的困难的。因而银行甲和银行乙采用本实施例记载的方案，进行神经网络模型11的共享，解决银行乙执行反洗钱任务准确度和效率都较低的问题。银行甲将其训练好的神经网络模型11的输入层涉及的连接，拆分为协作连接14和保留连接13，为协作连接14和保留连接13分别建立协作输入神经元和保留输入神经元，将原输入层删除。分别将协作输入神经元和保留输入神经元发送给协作节点和银行乙。银行乙为每个输入数生成比例系数k，同态加密后发送给智能合约，银行甲获得同态加密的比例系数k后，首先生成协作权系数。而后将协作权系数发送给协作节点。将协作权系数同态加密。在同态加密下，计算获得保留权系数的同态加密值。将保留权系数的同态加密值发送给智能合约。智能合约解密后，使用银行乙的公钥加密，发送给银行乙。银行乙获得保留权系数后，计算获得协作值和保留值。将协作值发送给协作节点，将保留值与保留权系数的积发送给协作节点。此时，协作节点获得足够的信息，能够继续解算共享模型12，获得共享模型12的预测结果，即为银行乙输入数据对应的储户进行洗钱活动的概率，为反洗钱任务提供指导。
42.以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。