一种深度学习模型标准化训练方法、管理系统、处理终端与流程

1.本发明公开涉及深度学习模型训练技术领域，尤其涉及一种深度学习模型标准化训练方法、管理系统、处理终端。


背景技术：

2.深度学习的模型训练过程，是根据训练数据和标注数据以迭代的方式对神经网络中的各个参数进行调整计算直至模型达到预期的过程。深度学习模型训练结果的好坏主要由数据和训练策略决定；所以，高质量的数据和标注、合理的训练策略对深度学习模型训练尤为重要。深度学习模型训练需要的数据量大，再加上需要对数据进行标注，导致数据、标注管理变得困难。模型训练所需要的参数众多，影响模型训练效果的因素同样增加，导致训练出来的模型质量难以得到保证。数据是深度学习模型训练的基础，训练策略是决定模型的训练效率。
3.目前，模型的训练和管理主要根据模型训练负责人的个人经验习惯进行。但此方法存在以下缺点：
4.(1)效率低：没有明确的标准化步骤，容易有重复性工作；
5.(2)质量没法保证：每个模型训练负责人能力和经验参差不齐，单依靠个人经验能力，模型质量得不到保证；
6.(3)问题查找难：在出现问题时，问题查找定位困难；
7.(4)上手难度高：模型训练步骤繁琐，新人上手难度高，需要大量的时间进行培训。
8.解决以上问题的难点在于：因业务场景不同，每个项目都有各自的训练步骤和流程，需要制定一个能够适用于各个项目的模型训练标准步骤，并建立一个对应的管理系统。
9.解决以上问题的意义在于：通过对深度学习模型训练流程进行标准化，实现对模型训练步骤进行规范，减少不必要的步骤，并通过有效的手段对每个步骤进行把控，保证工作质量，提高工作效率。


技术实现要素：

10.为克服相关技术中存在的问题，本发明公开实施例提供了一种深度学习模型标准化训练方法及管理系统。所述技术方案如下：
11.一种深度学习模型标准化训练方法，包括以下步骤：
12.步骤一、数据整理标注，对收集到的数据进行清洗整理、标注；
13.步骤二、数据格式转换，将整理标注好的数据转换成一组可线性读取的文件；
14.步骤三、制定训练策略，为模型训练设置相关参数；
15.步骤四、开始训练，并监控模型的训练过程；
16.步骤五、结果测试，对训练完成的模型进行测试；
17.在一个实施例中，在步骤一中，
18.首先对初始数据进行清洗，删除无用、错误的数据，并进行重命名，统一数据名字；
19.然后，数据标注，标注模型训练所需要的样本；
20.最后，检查数据和标注内容。
21.在一个实施例中，在步骤二中，对得到的标注结果和数据进行序列化和格式化转换；转换后的格式是将数据和标注内容进行统一，对其进行序列化并将其存储在一组可线性读取的二进制格式文件中；可视化转换后的格式进行数据检查。
22.在一个实施例中，在步骤三中，为深度学习模型训练分别配置网络参数、数据输入方式、模型迭代步数等；在进行深度学习模型标准化训练的同时，也对标准步骤进行监控和检查，监控检查部分为：数据处理部分、模型参数配置部分、模型迭代训练配置部分。
23.在一个实施例中，在步骤四中，分析日志文件过程包括：跟踪和可视化损失及准确率指标、可视化模型图、查看权重、偏差，以及张量随时间变化的直方图、显示图片、文字和音频数据；
24.监控检查训练过程包括：查看模型训练的损失及准确率变化是否正常，权重、偏差，以及张量随时间变化的直方图是否符合预期。
25.在一个实施例中，在步骤五中，在训练完成后对模型进行测试以查看训练效果的具体内容为：
26.使用格式转换后的测试数据输入网络，使用模型对输入数据进行推理，得到测试数据的预测结果；
27.使用得到的推理结果与标注的结果进行对比，判断推理结果是否正确；
28.根据对比结果，对模型进行评分；
29.如果模型评分达到要求，则训练完成；如果未达到，则退回到步骤二。
30.本发明的另一目的在于提供一种实现所述深度学习模型标准化训练方法的管理系统，应用于数据处理终端，该深度学习模型标准化管理系统包括：
‑
31.数据管理模块，该模块对应标准化训练方法的步骤一、二，主要工作是对训练数据进行处理，包括：数据清洗、标注、格式转换等。
32.训练过程管理模块，该模块对应标准化训练方法的步骤三、四，主要工作是制定模型训练策略、参数设置和过程可视化；
33.模型测试模块，该模块对应标准化训练方法的步骤五。模型训练完成只能表示模型迭代结束，还需要对已训练完成的模型进行精度测试，得到模型在测试数据上的准确率和召回率，准确率和召回率的计算方法如下：
[0034][0035][0036]
其中，p为准确率，r为召回率，tp、fp、tn、fn具体含义如下：
[0037]
tp：样本为正，预测结果为正
[0038]
fp：样本为正，预测结果为负
[0039]
tn：样本为负，预测结果为负
[0040]
fn：样本为负，预测结果为正
[0041]
通过召回和精度来度量模型的好坏，一个好的模型在精度和召回两方面表现都应
不错。
[0042]
需要说明的是监控模块，该模块作用于标准化训练方法的所有步骤中，主要功能是可视化、检查每步标准化训练步骤完成后的结果，具体为：对于标准化训练步骤一，监控模块的主要功能是可视化数据标注统计，统计项包括每类样本的标注框的数量和位置；对于标准化步骤二，监控模块的主要功能是将转换成的二进制文件进行可视化，转换后会得到一系列图片，图片内容就是转换前的图片和对应的标注框，目的是为了检查数据转换是否正确；对于标准化步骤三，监控模块的主要功能是检查参数配置是否完整；对于标注化步骤四，监控模块的主要功能是将模型训练过程产生的相关文件进行可视化，用图标的方式进行实时显示，显示项包括：每步的训练损失、训练时间、每个epoch的训练精度等；对于标注化训练步骤五，监控模块的主要功能是将统计模型推理的时间和gpu占用情况；总的来说，监控模块是一个标准化训练方式的监督者，以保证每步都是合规的。
[0043]
在一个实施例中，所述数据管理模块包括：
[0044]
数据增删查改模块实现数据增删查改功能，这些功能可以为数据清洗提供支持，通过数据清洗去除冗余、不能使用的数据；
[0045]
标注模块实现标注的功能，其作用是在处理完的数据基础上进行标注。标注方式是在图片上进行画框并保存框的坐标，框的形状有矩形、多边形、点、圆形。
[0046]
格式转换、解析模块，用于对标注好的数据进行格式转换以及转换后的内容检查；标注框是模型训练测试时正样本的判定依据。当本发明预测出来的结果与标注框的交并比大于一定的阈值，我们就将该预测结果当作正样本。同样的，在进行格式转换时，所用到的文件也就是标注结果的保存文件和对应的图片数据。
[0047]
在一个实施例中，所述训练过程管理模块包括：
[0048]
首先是训练参数配置功能，将难懂晦涩的配置文件用简洁明了的方式进行表示，并且提供参考选项，提高参数设置效率。其中具体的配置包括：训练基础配置、训练数据配置，具体为：
[0049]
训练基础配置包含网络部分的参数、模型迭代部分的参数和数据部分的参数。其中，网络部分的参数包括训练网络的backbone、neck、head三部分的具体参数，backbone是网络的主干，head是网络头部，用于得到最终的推理预测结果，neck用于连接网络的backbone和最后的head部分，将backbone得到结果转换为head所需要的格式；模型迭代部分的参数的设定是对模型训练策略进行设定，主要包括模型训练轮数、学习率、优化器等等；数据部分参数是为训练数据输入网络前预处理方法设定对应的参数，例如：输入尺寸、数据增强方式等等。
[0050]
然后是训练过程可视化。训练过程可视化也是训练过程管理模块的一部分，其目的是实时的反映模型学习收敛的状态。训练可视化的内容是训练损失、训练精度的实时变化，可视化的方式是通过二维曲线图对损失和精度分别进行表示。通过实时对损失和精度进行计算，另一方面也对模型训练时间和步数也做了相应可视化。即，通过对模型训练过程可视化实时的显示，可以将收敛状态、步数、时间等方面统一到一个图片进行表示。
[0051]
在一个实施例中，所述的测试模块包括：
[0052]
训练完成的模型在测试集上的精度表现，通过计算召回和准确率来表示评价所训练模型的优劣。具体计算方式是，使用测试图片作为输入送入网络进行推理预测得到预测
结果，然后将预测结果与测试集的标注结果进行对比计算，将预测结果分为tp、fp、tn、fn四种，最后计算召回和准确率。在该训练系统中，除了计算召回和准确率以外，还包括模型推理结果可视化功能，即，模型推理的结果画在输入图片上。该功能不限制输入图片的来源，即，输入的推理图片可以是训练、测试集以外的任何图片。
[0053]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的深度学习模型标准化训练方法。
[0054]
本发明公开的实施例提供的技术方案对模型训练制定了标准化步骤，并且建立了模型训练标准化的管理系统，能够很好的解决模型训练效率低下、问题定位困难、上手难度高等问题，应用本发明，可以有效地提高模型训练效率。具有以下有益效果：
[0055]
第一、对深度学习模型训练步骤进行了标准化，减少模型训练过程的不必要错误。
[0056]
第二、对深度学习模型训练步骤进行了标准化，使深度学习模型训练过程上手容易，具有一定的通用性。
[0057]
第三、对深度学习模型标准化训练建立了对应的管理流程体系，便于模型训练的管理和把控。
[0058]
第四、深度学习模型标准化合理、通用性高，提升模型训练效率。
[0059]
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
[0060]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0061]
图1是本发明所述一种深度学习模型标准化训练方法的步骤流程图。
[0062]
图2是本发明所述一种深度学习模型标准化训练管理系统的结构示意图。
[0063]
图3是本发明所述一种深度学习模型标注化训练管理系统中训练参数配置模块示意图。
[0064]
图4是本发明所述一种深度学习模型标准化训练管理系统中模型训练损失和精度变化的实时监控示意图；
[0065]
a为训练集曲线；b为验证集曲线。
[0066]
图5是本发明所述一种深度学习模型标准化训练管理系统中数据标注效果图。
[0067]
图6是本发明所述一种深度学习模型标准化训练管理系统中训练数据标注统计示意图。
[0068]
图7是本发明所述一种深度学习模型标准化训练管理系统的数据增强参数设置图。
[0069]
图8是本发明所述模型训练管理模块结构示意图。
具体实施方式
[0070]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发
明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
[0071]
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
[0072]
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0073]
本发明公开实施例所提供的技术方案涉及一种深度学习模型标准化训练方法及管理系统，在模型标准化训练技术领域中，针对深度学习模型训练标准化方法及管理系统，其中深度学习模型训练的步骤每个人都不相同，并且训练管理和监控都在个人手里。每个人可以按照自己的想法安排训练步骤，利用自己的经验来判断模型训练过程的好坏。
[0074]
本发明提供过一种深度学习模型标准化训练方法，通过对深度学习模型训练过程中的各个步骤进行标准化处理，建立对应的管理系统，实现对深度学习模型训练步骤的标准化，同时对标准步骤进行监控和把握，提高深度学习模型训练的效率，确保训练出来的模型质量。
[0075]
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本发明实施例中的图像目标检测技术应用了人工智能技术，为了方便理解，下面对本发明实施例中涉及名词进行解释：
[0076]
一、深度学习：是机器学习领域中一个新的研究方向，指学习样本数据的内在规律和表示层次，通过设计建立适量的神经元计算节点和多层运算层次结构，通过网络的学习和调优，建立起从输入到输出的函数关系，从而尽可能的逼近现实的关联关系；
[0077]
二、模型：是深度学习领域中是一种模拟大脑结构的深度学习模型。在深度学习领域中，模型通常被用来对较复杂的任务建模。深度学习模型的规模，包括深度、宽度、计算方式都是可以设定的，因视具体任务而定。因为深度学习模型的学习、表达能力强大，在自然理解、机器视觉、广告投放等领域被广泛的应用。
[0078]
三、训练：深度学习的训练过程，是根据训练样本的输入和输出，以迭代的方式对深度学习模型中的各个权重参数进行调整直到模型收敛的过程，这也称为深度学习模型的学习过程。训练样本就是标注的数据，训练样本的输入包括数据本身外，还有标注的内容，训练样本的输出是指模型对样本进行推理后得到的预测结果。通过计算标注内容和预测结果的差异来更新模型的权重参数，使预测结果和标注内容差异变小。每次迭代都会进行计算差异和更新参数权重的操作。
[0079]
图1示例性示出了本发明公开技术方案所提供的一种深度学习模型标准化训练方法的步骤流程图。根据图1可知，该深度学习模型标准化训练方法包括以下步骤：
[0080]
步骤01：处理训练所需数据，对其进行收集整理、标注，并进行数据检查；
[0081]
步骤02：将步骤1得到的数据进行格式转化，得到模型训练能够读取的数据格式；
[0082]
步骤03：为模型制定训练策略；
[0083]
步骤04：开始训练，分析模型训练过程中产生的日志文件，监控模型训练过程；
[0084]
步骤05：在训练完成后对模型进行测试以查看训练效果。
[0085]
在步骤s01中：首先对初始数据进行清洗，删除无用、错误的数据，并进行重命名，统一数据名字；然后，数据标注，标注模型训练所需要的样本；最后，检查数据和标注内容，具体包括：
[0086]
步骤s01.1：对原始数据进行数据清洗，删除无用、错误的数据，并按照数据存储目录对图片进行重命名，数据的存储目录以数据采集日期、工位、数据样本等要素进行组合，所以，图片重命名的格式同样的包含这几类要素；
[0087]
步骤s01.2：对数据进行标注，标注内容为需要模型学习检测的正样本；将标注结果以文件形式存储到本地；对标注结果进行统计，得到各个类别的具体数量，以图表形式可视化统计结果，并作为阶段文件进行保存；
[0088]
如图5所示，该示意图对一张图片数据标注进行了展示。以数据清洗后的图片数据作为标注图片，在图上进行矩形(或者其它要求的形状)标注，同时选定对应标注框的类别。
[0089]
如图6所示，该示意图为标注数据的统计结果示意图，其中对标注类别和对应标注框数量进行了统计，并使用柱状图进行了展示。
[0090]
步骤s01.3：标注结果检查，包括标签类别正确性、标注样本完整性；特别说明，标注类别错误是指标注样本类别被标注成与其类别不符的类别；标注类别完整性是指所标注的正样本是否完整、无异议；如果检查结果不合格，则退回步骤1.2；
[0091]
在步骤s02中：对从步骤1.3得到的标注结果和数据进行序列化和格式化转换；转换后的格式是将数据和标注内容进行统一，用另一种方式对数据进行存储；可视化转换后的格式进行数据检查；具体包括：
[0092]
步骤s02.1：将步骤s01.3检查后的数据按照8：2的比例划分成训练、测试两个数据集；具体为：将标注检查完后的数据按照8：2比例进行训练、测试集划分，在划分的时候，训练、测试两个数据集中没有重复的数据，但里面的标注样本分布情况是相同；
[0093]
步骤s02.2：将步骤s02.1划分成的训练、测试数据集分别转换成模型训练所需要的格式；
[0094]
步骤s02.3：将步骤s02.2转换后的格式进行可视化，检查内容是否正确；检查内容包括：类别是否正确、标注样本是否有丢失、数据本身是否有因转换而损坏；
[0095]
在步骤s03中：为模型训练制定训练策略，在进行深度学习模型标准化训练的同时，也对标准步骤进行监控和检查，主要监控检查部分为：数据处理部分、模型参数配置部分、模型迭代训练过程。通过对这三个主要部分进行监控检查，能够使模型训练效率提高，减少出错保证模型的质量；为深度学习模型训练分别配置算法参数、数据输入、模型输出迭代测率，具体包括：
[0096]
步骤3.1：配置模型训练硬件、软件环境；硬件环境包括算力机的规格；软件环境包括与硬件适配的加速软件、代码框架、具体算法、操作系统；
[0097]
步骤3.2：模型迭代策略包括：
[0098]
算法参数配置，为模型指定具体结构，并为每个结构中的具体参数指定具体数值；
[0099]
数据输入配置，包括指定模型训练读取的路径和读取方法，将步骤2.2可视化检查后的数据路径作为模型训练的数据输入路径，读取方法是指在读取输入路径的数据时，按照特定的方法进行对读取数据进行处理；首先配置模型读取的数据路径，即数据输入路径；然后配置数据增强操作，对输入数据指定一系列数据增强操作，使输入的数据分布更为广阔，更加贴合实际环境的分布；最后指定模型同时读取数据的个数；
[0100]
如图7所示，该图展示了数据增强配置选项。我们对数据增强方法进行了总结和翻译，不再需要对每种方法进行额外的参数配置。
[0101]
模型输出配置，模型输出配置包括指定模型输出内容、输出格式和输出路径，首先指定模型训练的输出格式，即以何种合格格式进行保存；然后指定输出的频率，即模型每隔多久进行一次输出；其次配置模型训练结束标志；具体为：
[0102]
输出内容，包括模型阶段产生的权重文件、训练日志文件；权重文件是一组文件，这组包括保存参数权重的文件、保存训练超参数配置的文件和保存模型结构的文件，通过这组权重文件能够重新复现模型；训练日志文件保存模型迭代中产生日志；
[0103]
输出格式，对日志的保存格式进行指定；
[0104]
输出路径，指定日志文件的保存路径；
[0105]
如图3所示，通过管理系统对训练参数进行配置。在图3中，我们把深度学习模型训练所需要的参数进行了总结、简化，使得晦涩难懂的参数变得清晰、易懂。例如，我们将算法参数配置汇总到训练类型、基础模型库两个选项中，通过这两个选项就可以完成算法参数的配置；再例如，通过训练集、图像输入尺寸、批大小三个选项完成对数据输入的配置。
[0106]
步骤4：开始训练，分析模型训练过程中产生的日志文件，监控模型训练过程；具体包括：
[0107]
步骤4.1：分析日志文件，包括跟踪和可视化损失及准确率指标、可视化模型图、查看权重、偏差或其它张量随时间变化的直方图、显示图片、文字和音频数据；
[0108]
步骤4.2：监控检查训练过程，在步骤5.1可视化结果中，查看模型训练的损失及准确率变化是否正常，权重、偏差或其它张量随时间变化的直方图是否符合预期；如图4所示，在深度学习模型训练过程中，实时的对损失和精度变化进行可视化，并与此同时也对模型训练的步数也进行了监控。
[0109]
步骤5：在训练完成后对模型进行测试以查看训练效果，具体包括：
[0110]
步骤5.1：使用步骤2.2进行格式转换后的测试数据输入网络，使用模型对输入数据进行推理，得到测试数据的预测结果；
[0111]
步骤5.2：使用步骤5.1得到的推理结果与标注的结果进行对比，判断推理结果是否正确；
[0112]
步骤5.3：根据步骤5.2的对比结果，对模型进行评分；
[0113]
步骤5.4：如果模型评分达到要求，则训练完成；如果未达到，则退回到步骤2；
[0114]
如图2所示，提供一种适用于深度学习模型标准化训练方法的管理系统，对深度学习模型标准化训练进行管理，监控模型标准化训练的每个步骤，检查每个步骤产生的结果。该管理流程体系包括：
[0115]
数据管理模块，主要任务是管理数据，为数据处理提供相应的工具，其功能具体包
括：
[0116]
增删改查功能，为数据清洗和重命名提供基础；
[0117]
标注功能，在处理完的数据基础上进行标注，在提供标注功能的同时，也会实时监控标注进度和统计标注内容，并实时保存；
[0118]
格式转换、解析功能，该功能用于对标注好的数据进行格式转换以及转换后的内容检查；
[0119]
在步骤s01处理数据时，对数据进行管理外，还包括对标注文件进行检查，查看标注是否存在异常和错误；在步骤s02的格式转换后，对转换后数据进行可视化，以查看转换是否正常，数据是否有损失，生成转换后类别分布图并保存以作过程文档；
[0120]
模型训练管理模块，该模块对模型训练进行管理，其中包含模型训练参数配置、模型训练俩部分，通过这两部分完成对模型的训练，同时也通过这两项完成对模型训练的管理，如图8所示，模型训练管理模块由模型训练任务创建开始，至模型训练完成为结束。模型训练任务的创建时，需要对模型参数进行配置，如图3、图7所示对网络参数和数据参数进行设定。在模型训练过程中实时对模型的精度和损失进行可视化，帮助我们观察模型收敛状态。具体的，在模型训练开始之前的训练任务创建时，通过对各个参数的配置组合，可以生成不同的模型。特别是在设定基础模型和训练类型时，就完成模型训练的80％设定，其余的属于模型训练的共有部分。同样的，对训练数据进行入网前处理时，可以同时选择多项的数据处理方法；这样的数据处理方法是通用、可靠的，即，不受模型定义的任何影响。与此，在模型训练过程会对模型损失和精度进行输出可视化。损失和精度两项指标是评价模型优劣的总要参考，对其进行可视化，降低模型训练的难度。
[0121]
模型测试模块，在模型训练完成后对最终的模型进行测试，得到模型的测试精度，并进行保存作为模型训练的结果。该模块的功能是在模型训练结束后，选定一种评价方式对训练的模型进行测试，得到评价结果；具体为，在步骤s05模型训练完成后对最终模型进行测试，得到模型的测试精度，并进行保存作为模型训练的结果。
[0122]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0123]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识
或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
[0124]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。