一种基于对抗训练的编码文本生成方法、装置及电子设备与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于对抗训练的编码文本生成方法、装置及电子设备。


背景技术：

2.在深度学习领域，对抗训练是一种有效提高模型鲁棒性的方法。对抗训练方法最早是用在计算机视觉领域。gan是对抗训练中比较成功的例子，其通过生成网络生成能够欺骗判别网络的样本，而判别网络则判别生成网络的样本的真实性，使得生成网络生成的样本不能欺骗判别网络。在判别网络和生成网络的相互作用下，不断地提升判别网络的识别能力，这就是对抗训练的思想。在自然语言处理领域，对抗训练主要是对embedding进行扰动，产生对抗样本，使得模型对embedding的语义理解更加鲁棒。
3.现有的用于自然语言处理领域的对抗训练方法有很多，比如fgm、pgd、freeat，yopo，freelb等等。fgm是每个方向都走相同的一步，寻找梯度下降最快的方向。但fgm的缺点是只走一步是很难找到约束内的最优点的。因此在计算对抗扰动时采用分布计算的方法显然是一个不错的改进方法，这正是pgd的创新点之一，并且当对抗扰动超过了扰动半径后则映射回到最大扰动球面上。freelb认为pgd在更新扰动时只利用最后一步的梯度做更新是不合理的，每一步的梯度对参数的更新都应该有影响，而不应该累积到最后一步才进行更新。因此freelb则对每一步得到的梯度进行加权平均求和，用这个梯度进行更新模型的参数。此外freelb在学习扰动时不再是对模型参数进行求梯度，而是对扰动进行求梯度。yopo的创新点在于提出了两种对抗正则损失以及在优化网络参数时每一层之间是解耦的，这两个创新点提高了模型的泛化能力以及提高对抗训练速度。
4.现有的对抗训练方法在自然语言处理取得了不错的效果，但是其应用到预训练模型中存在一个问题，即在bert等预训练模型本质上是一个两段式的nlp模型。第一个阶段叫做：pre-training，跟wordembedding类似，利用现有无标记的语料训练一个语言模型。第二个阶段叫做：fine-tuning，利用预训练好的语言模型，完成具体的nlp下游任务。pre-training的训练成本很大，一般直接使用google训练好的模型，而fine-tuning成本相对较少，其中finetuning阶段会采用dropout，其中dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。不同的dropout会使得网络每一层的结构都不相同，得到的输入梯度有很多的噪声。因此为了解决这个问题，现有的对抗训练方法会在每步梯度上升时固定dropout mask。固定dropout mask这个方法一定程度上确实缓解了输入梯度的噪声，但是却使得dropout失去了本身的意义，固定dropoutmask相当于不再使用了dropout，降低了模型的鲁棒性。
5.因此在采用dropout和对抗训练，可以采用js散度来使得每步梯度上升的分布尽可能趋同。其次，在预训练模型中，对抗训练方法是对embedding进行扰动，预训练中的embedding是toke embedding、position embedding、segment embedding的相加；因此对抗
训练是对三者都进行了扰动，但其实同时对三个embedding进行扰动可能会使得模型并不能很好的学习到语义信息，因为token embedding被改变的同时，position embedding和segmentembedding也在被改变，从而导致学习过于困难，使得模型学习能力变差。因此对三个embedding进行分开扰动或许是一个更好的选择。此外，对segmentembedding进行扰动并不会使得模型在语义理解上有很好的提升，所以对segment embedding是不必的，这样也能提升对抗训练的速度。
6.因此，现有技术还有待于改进和发展。


技术实现要素：

7.鉴于上述现有技术的不足，本发明提供了一种基于对抗训练的编码文本生成方法、装置及电子设备，旨在解决现有技术中对抗训练方法应用到预训练模型时，降低了模型的鲁棒性的问题。
8.本发明的技术方案如下：
9.本发明第一实施例提供了一种基于对抗训练的编码文本生成方法，方法包括：
10.预先构建对抗生成网络；
11.对所述对抗生成网络进行优化，生成优化后的对抗生成网络，所述优化后的对抗生成网络中每次训练中的丢弃掩码不固定；
12.根据对抗生成网络对预训练模型进行对抗训练，生成目标预训练模型；
13.将待处理的债券信息输入目标预训练模型，生成编码文本。
14.进一步地，所述预先构建对抗生成网络，包括：
15.预先构建基于freelb对抗训练方式的对抗生成网络。
16.进一步地，所述对所述对抗生成网络进行优化，生成优化后的对抗生成网络，所述优化后的对抗生成网络中每次训练中的丢弃掩码不固定，包括：
17.对基于freelb对抗训练方式的对抗生成网络进行优化，将固定模型dropout的位置修改为不固定，从而实现优化后的对抗生成网络中每次训练中的丢弃掩码不固定；
18.采用js散度对模型的输出进行约束，生成优化后的对抗生成网络。
19.进一步地，所述根据对抗生成网络对预训练模型进行对抗训练，生成目标预训练模型，包括：
20.根据对抗生成网络对bert预训练模型进行对抗训练，生成目标预训练模型。
21.进一步地，所述根据对抗生成网络对bert预训练模型进行对抗训练，生成目标预训练模型，包括：
22.获取债券信息样本，将债券信息样本输入bert预训练模型的输入层，生成输入文本；
23.将输入文本输入bert预训练模型的嵌入层；
24.根据对抗生成网络对bert预训练模型的嵌入层进行对抗训练，生成目标预训练模型。
25.进一步地，所述根据对抗生成网络对bert预训练模型的嵌入层进行对抗训练，生成目标预训练模型，包括：
26.根据对抗生成网络对bert预训练模型的嵌入层进行两次梯度攻击，生成扰动后的
梯度；
27.根据扰动后的梯度更新预训练模型的参数，生成目标预训练模型。
28.进一步地，所述bert预训练模型的embedding由token embedding、position embedding、segment embedding组成，则根据对抗生成网络对bert预训练模型的嵌入层进行两次梯度攻击，生成扰动后的梯度，包括：
29.根据对抗生成网络对bert预训练模型的token embedding进行第一次梯度攻击，生成第一次扰动后的第一梯度；
30.根据对抗生成网络对bert预训练模型的position embedding进行第二次梯度攻击，生成第二次扰动后的第二梯度。
31.本发明的另一实施例提供了一种基于对抗训练的编码文本生成装置，装置包括：
32.网络构建模块，用于预先构建对抗生成网络；
33.网络优化模块，用于对所述对抗生成网络进行优化，生成优化后的对抗生成网络，所述优化后的对抗生成网络中每次训练中的丢弃掩码不固定；
34.对抗训练模块，用于根据对抗生成网络对预训练模型进行对抗训练，生成目标预训练模型；
35.编码模块，用于将待处理的债券信息输入目标预训练模型，生成编码文本。
36.本发明的另一实施例提供了一种电子设备，所述电子设备包括至少一个处理器；以及，
37.与所述至少一个处理器通信连接的存储器；其中，
38.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于对抗训练的编码文本生成方法。
39.本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于对抗训练的编码文本生成方法。
40.有益效果：本发明实施例不再采用固定的dropout mask，而是采用概率分布衡量指标或者均方误差等约束两次不同dropout的模型输出差异，使得dropout能够发挥其本身的作用，也能使得两次不同dropout的模型输出尽量保持一致，提高了预训练模型对文本的理解能力，提高文本编码效率。
附图说明
41.下面将结合附图及实施例对本发明作进一步说明，附图中：
42.图1为本发明一种基于对抗训练的编码文本生成方法较佳实施例的流程图；
43.图2为本发明一种基于对抗训练的编码文本生成方法具体应用实施例的第一次梯度攻击位置的示意图；
44.图3为本发明一种基于对抗训练的编码文本生成方法具体应用实施例第的二次梯度攻击位置示意图；
45.图4为本发明一种基于对抗训练的编码文本生成装置的较佳实施例的功能模块示意图；
46.图5为本发明一种电子设备的较佳实施例的硬件结构示意图。
具体实施方式
47.为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
48.以下结合附图对本发明实施例进行介绍。
49.针对上述问题，本发明实施例提供了一种基于对抗训练的编码文本生成方法，请参阅图1，图1为本发明一种基于对抗训练的编码文本生成方法较佳实施例的流程图。如图1所示，其包括：
50.步骤s100、预先构建对抗生成网络；
51.步骤s200、对所述对抗生成网络进行优化，生成优化后的对抗生成网络，所述优化后的对抗生成网络中每次训练中的丢弃掩码不固定；
52.步骤s300、根据对抗生成网络对预训练模型进行对抗训练，生成目标预训练模型；
53.步骤s400、将待处理的债券信息输入目标预训练模型，生成编码文本。
54.具体实施时，本发明实施例中应用于债券信息抽取。本发明实施对抗训练方式进行优化，并适用于任何与bert模型相似的预训练网络模型中，对于现券成交领域的文本数据效果尤为明显。
55.对抗训练的数学公式如下：
[0056][0057]
其中，e7
(x,y)
表示输入向量，mine
(x，y)：d
[]表示模型的数学期望最小化，r
adv
表示对词向量的扰动，θ表示模型的参数，y是真实标签，其实对抗训练本质上是一个min-max问题。该公式主要分为两个部分，一个是内部损失函数的最大化，一个是外部经验风险的最小化。用一句话形容对抗训练的思路，就是在输入上进行梯度上升(增大loss)使得输入尽可能跟原来不一样，在参数上进行梯度下降(减小loss)使得模型尽可能能够正确识别。
[0058]
该方法不再固定dropout mask，而是采用概率分布衡量指标或者均方误差等约束两次不同dropout的模型输出差异，使得dropout能够发挥其本身的作用，也能使得两次不同dropout的模型输出尽量保持一致。其中dropoutmask对dropout的神经元位置进行掩盖，类似于补充一个神经元进去，使得模型不知道这里丢失了一个神经元
[0059]
在一个实施例中，预先构建对抗生成网络，包括：
[0060]
预先构建基于freelb对抗训练方式的对抗生成网络。
[0061]
具体实施时，freelb在pgd的基础上进行了改进。投影梯度下降方法(projeccted gradient descent，pgd)采用了多次扰动，每次扰动只进行一小步，当多次扰动后的范围超出了指定的扰动范围，则映射回到扰动范围的圆内。但是pgd是只利用最后一次扰动的梯度进行更新参数，而freelb则是取次迭代的平均梯度来更新参数。
[0062]
pgd的数学公式如下：
[0063][0064]
freelb的数学公式如下：
[0065][0066]
其中k表示扰动的次数。
[0067]
在一个实施例中，对所述对抗生成网络进行优化，生成优化后的对抗生成网络，所述优化后的对抗生成网络中每次训练中的丢弃掩码不固定，包括：
[0068]
对基于freelb对抗训练方式的对抗生成网络进行优化，将固定模型dropout的位置修改为不固定，从而实现优化后的对抗生成网络中每次训练中的丢弃掩码不固定；
[0069]
采用js散度对模型的输出进行约束，生成优化后的对抗生成网络。
[0070]
具体实施时，当freelb用于bert等预训练模型中，由于bert模型在finetuning时会采用dropout使得模型性能更加优越，但是dropout的使用会使得freelb每次在进行梯度上升寻找最大扰动时更新的模型都是不一致的，从而导致输入噪声的增大。fine tuning，即微调。在模型完成预训练后，在下游任务时会针对对应的任务对模型参数权重进行调整，使得模型在对应的任务上准确率更高。
[0071]
freelb最常用的做法是固定模型dropout的位置，从而使得模型在finetuning时是一致的。但是固定模型dropout的位置是让dropout失去其本身的意义，虽然fine tuning过程中dropout的位置可能与预训练时dropout的位置已经不一样，这样也无法发挥dropout的作用。本方案为了解决该问题，引入了js散度。js散度是衡量了两个概率分布的相似度的方法，其是基于kl散度的一种变体。
[0072][0073]
其中kl为kl散度，
[0074][0075]
所以对于n个样本来说，其损失为，
[0076][0077]
其中x表示输入数据，x表示数据的集合，y(x)，z(x)分别表示数据y
,
z对应的概率分布，rs(θ)表示模型的kl散度大小；这样一来，通过js散度的最大化便能约束freelb在每步梯度上升时的网络输出分布，达到分布趋同的效果。目标函数如下。
[0078][0079]
公式7解决freelb在每步梯度上升时采用dropout引起的输入噪声增加问题，同时也适用于进行多次梯度上升寻找扰动最大值的对抗训练方法。
[0080]
针对freelb方法的改进不仅仅适用于bert等预训练模型，而且适用于任何网络结构的模型。
[0081]
在一个实施例中，根据对抗生成网络对预训练模型进行对抗训练，生成目标预训练模型，包括：
[0082]
根据对抗生成网络对bert预训练模型进行对抗训练，生成目标预训练模型。
[0083]
具体实施时，本发明实施例采梯度攻击方案适用于类似bert的预训练模型，但不仅限于bert，还适用于roberta、xlm-roberta、xlnet等。
[0084]
在一个实施例中，根据对抗生成网络对bert预训练模型进行对抗训练，生成目标预训练模型，包括：
[0085]
获取债券信息样本，将债券信息样本输入bert预训练模型的输入层，生成输入文本；
[0086]
将输入文本输入bert预训练模型的嵌入层；
[0087]
根据对抗生成网络对bert预训练模型的嵌入层进行对抗训练，生成目标预训练模型。
[0088]
具体实施时，在计算机视觉中可以通过在原图像中加入噪点，但是并不影响原图像的性质。而在nlp(自然语言处理，natural language processing)领域，并不能直接的通过在词编码上添加噪点，因为词嵌入本质上就是独热编码one-hot，如果在one-hot上增加上述噪点，就会对原句产生歧义。因此，一个自然的想法就是在词嵌入(词向量)word embedding上增加扰动。将输入文本输入bert预训练模型的嵌入层；根据对抗生成网络对bert预训练模型的嵌入层进行对抗训练，生成目标预训练模型。
[0089]
在一个实施例中，根据对抗生成网络对bert预训练模型的嵌入层进行对抗训练，生成目标预训练模型，包括：
[0090]
根据对抗生成网络对bert预训练模型的嵌入层进行两次梯度攻击，生成扰动后的梯度；
[0091]
根据扰动后的梯度更新预训练模型的参数，生成目标预训练模型。
[0092]
具体实施时，对抗训练在进行梯度攻击时是对三者相加后的embedding进行攻击。但是对三者相加之后的embedding进行梯度攻击并不合理，因为梯度攻击的本意是对输入的词语在语义上进行改变，使得该词语被模型理解错误，即“大学”被模型理解成除“大学”以外的其他意思。既然如此，那么对字向量toke embedding、位置向量position embedding、分割向量segmentembedding三者相加的embedding进行攻击似乎使得整个攻击变得更加复杂，使得模型对位置position、segment也会理解错误。segment位置分割(或叫做段)：当前字是属于第几个句子的。因此，本方案采用二次攻击的方法，生成扰动后的梯度；根据扰动后的梯度更新预训练模型的参数，生成目标预训练模型。
[0093]
在一个实施例中，bert预训练模型的embedding由token embedding、position embedding、segment embedding组成，则根据对抗生成网络对bert预训练模型的嵌入层进行两次梯度攻击，生成扰动后的梯度，包括：
[0094]
根据对抗生成网络对bert预训练模型的token embedding进行第一次梯度攻击，生成第一次扰动后的第一梯度；
[0095]
根据对抗生成网络对bert预训练模型的position embedding进行第二次梯度攻击，生成第二次扰动后的第二梯度。
[0096]
具体实施时，如图2和图3所示，在bert等预训练模型中，输入到模型的embedding是由toke embedding、position embedding、segment embedding三者相加得到的，第一次首先对token embedding进行梯度攻击，使用被扰动后的梯度进行更新参数。正如上述所
说，该目的是为了对输入的词语在语义上进行改变，使得该词语被模型理解错误，进一步增强模型的语义理解能力。第二次梯度攻击则是对position embedding进行攻击，目的是对语料中每个字所在的位置进行扰动，如“我喜欢中国”可能变成“我欢喜国中”，该做法类似于对模型进行数据增强，使得模型能够抵抗这种扰动，使其能明白该句子的正确意思。
[0097]
第一次梯度攻击数学公式如下：
[0098][0099]
其中，e
token
表示输入字向量，r
adv
表示对词向量的扰动，θ表示模型的参数，(f(e
token
r
adv
；θ)表示模型输出结果，y是真实标签，l(f(e
token
r
adv
；θ)，y)表示模型与真实标签之间的损失，k表示扰动的次数，表示损失的最大化，ε表示词向量扰动的最大范围，rs(θ)表示模型的kl散度大小，mine
(x，y)：d
[]表示模型的数学期望最小化。
[0100]
第二次梯度攻击数学公式如下：
[0101][0102]
其中，e
token
表示输入字向量。
[0103]
综合以上方法，我们提出的新技术方案模型表示如下：
[0104][0105]
其中，
[0106][0107][0108]
本发明实施例对toke embedding和position embedding分别进行扰动，不再是toke embedding、position embedding、segment embedding的三者之和进行扰动。对token embedding进行扰动是为了增强模型对文本语义的理解难度，而对position embedding进行扰动的作用则类似于打乱文本中每个字，对数据进行增强，进一步提高模型对文本的理解能力。
[0109]
本发明实施例提供了一种基于对抗训练的编码文本生成方法，针对freelb对抗训练方式进行优化，并适用于任何与bert模型相似的网络模型中，对于现券成交领域的文本数据效果尤为明显。该方法不再固定dropout mask，而是采用概率分布衡量指标或者均方误差等约束两次不同dropout的模型输出差异，使得dropout能够发挥其本身的作用，也能使得两次不同dropout的模型输出尽量保持一致。再者，本方案对toke embedding和positionembedding分别进行扰动，不再是toke embedding、position embedding、segment embedding的三者之和进行扰动。对token embedding进行扰动是为了增强模型对文本语义的理解难度，而对position embedding进行扰动的作用则类似于打乱文本中每个字，对数
据进行增强，进一步提高模型对文本的理解能力，在金融债券二级成交业务中交易要素提取的准确率提升了2％-5％以上。
[0110]
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
[0111]
本发明另一实施例提供一种基于对抗训练的编码文本生成装置，如图4所示，装置1包括：
[0112]
网络构建模块11，用于预先构建对抗生成网络；
[0113]
网络优化模块12，用于对所述对抗生成网络进行优化，生成优化后的对抗生成网络，所述优化后的对抗生成网络中每次训练中的丢弃掩码不固定；
[0114]
对抗训练模块13，用于根据对抗生成网络对预训练模型进行对抗训练，生成目标预训练模型；
[0115]
编码模块14，用于将待处理的债券信息输入目标预训练模型，生成编码文本。
[0116]
具体实施方式见方法实施例，此处不再赘述。
[0117]
本发明另一实施例提供一种电子设备，如图5所示，电子设备10包括：
[0118]
一个或多个处理器110以及存储器120，图5中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0119]
处理器110用于完成电子设备10的各种控件逻辑，其可以为通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、单片机、arm(acorn risc machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件控件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp核、或任何其它这种配置。
[0120]
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于对抗训练的编码文本生成方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行设备10的各种功能应用以及数据处理，即实现上述方法实施例中的基于对抗训练的编码文本生成方法。
[0121]
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据设备10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0122]
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的基于对抗训练的编码文本生成方法，例如，执行以上描述的图1中的方法步骤s100至步骤s400。
[0123]
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描
述的图1中的方法步骤s100至步骤s400。
[0124]
作为示例，非易失性存储介质能够包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦rom(eeprom)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(ram)。通过说明并非限制，ram可以以诸如同步ram(sram)、动态ram、(dram)、同步dram(sdram)、双数据速率sdram(ddr sdram)、增强型sdram(esdram)、synchlinkdram(sldram)以及直接rambus(兰巴斯)ram(drram)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器控件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
[0125]
本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使处理器执行上述方法实施例的基于对抗训练的编码文本生成方法。例如，执行以上描述的图1中的方法步骤s100至步骤s400。
[0126]
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0127]
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。
[0128]
除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。
[0129]
已经在本文中在本说明书和附图中描述的内容包括能够提供基于对抗训练的编码文本生成方法及装置的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。