用于甲状腺超声图像分割的数据集智能增强方法与流程

1.本发明涉及对超声医疗图像的识别与处理领域，具体而言涉及深度学习和医疗图像交叉领域的图像增强技术，更具体地涉及一种用于甲状腺超声图像分割的数据集智能增强方法。


背景技术：

2.随着医疗设备的不断发展，超声成像仪器因为其无创性、实时性、操作方便、价格便宜等诸多优势，使其成为临床上应用最为广泛的医疗设备工具之一。甲状腺对人类健康的影响日益增大，超声技术是公认的适合做检查的技术。甲状腺超声图像是一种在临床中常见的医学图像技术，对甲状腺超声图像的有效分割可以为医生在临床中的诊断提供大量的有效信息。
3.深度学习是一种通过深度神经网络模型利用海量数据来学习这些数据规律的方法。通常需要利用海量数据对含有数以百万计参数的深度网络进行训练，以得到可以更好反映出数据集中各样本与训练目标间映射关系的模型。在医学图像技术和深度学习结合中，实现医学图像的精确分割是极具实际意义的。精确的分割可以为临床医疗提供大量目标区域的精确形状信息，以辅助专业医师出具诊断结果。
4.深度学习的出现使得在分割甲状腺超声图像时摆脱专业医师繁重的工作成具有了可行性。但是，甲状腺超声图像的获取和标注过程仍高度依赖于医生的技能和经验、耗时、耗力，这与深度学习网络训练所需的海量数据相矛盾。在实际应用时，使用有限的甲状腺超声样本训练的深度学习分割网络往往效果较差。集成或改进常见深度学习和传统机器学习方法，以应对利用有限超声图像进行甲状腺分割问题，在国内外已经取得了一些研究成果，但针对智能图像增强以从本质上提升分割网络性能的研究仍存在大量的研究空间。在深度学习图像分割领域中，数据集增强技术是针对图像的应用场合，根据数据集中图像的特点，从而获得数据量更充足、图像更清晰、样本更丰富的数据集，以提高深度学习泛化能力的图像处理技术。数据集增强技术中通常包含裁切、翻转、滤波去噪、随机裁切、亮度调整、对比度调整等方法。现阶段的数据集增强技术主要以人为手动设计为主，设计过程会根据工程经验选择、结合部分数据集增强方法，很难做到最大程度上保证数据集的丰富性和充足性。
5.因此，提出一种用于甲状腺超声图像分割的数据集智能增强方法，对有限的甲状腺超声图像数据集进行智能增强，以增加原始数据集中样本的数据量和多样性，从本质上提高数据集的质量、提升甲状腺超声图像智能分割的性能，方便后续人员对超声图像的使用，是现在市场上亟待解决的一项技术问题。


技术实现要素：

6.为了解决现有技术中存在的不足，本发明的目的在于，提供一种用于甲状腺超声图像分割的数据集智能增强方法，基于甲状腺超声数据集，能够智能规划数据集增强方法，
对数据集进行更全面的扩充，充分利用甲状腺超声数据集中的样本，以有效增强样本的多样性和样本数量的充足性，进而有效提高甲状腺超声图像的识别以及分割的准确率。智能增强后的甲状腺超声数据集在训练深度学习网络时更具优势，且具备在其他医学超声图像数据集上迁移的能力。
7.由于在深度学习和甲状腺超声图像结合以实现分割时，往往会遇到小样本的问题，所以数据集增强方法在该领域中显得格外重要。传统数据集增强方法不仅严重依赖于人为设计，致使数据集增强过于依赖于设计者的主观意志，且在扩充后对多样性的提升有限，而且通常还需要设计者投入大量精力进行调试验证。同时，单纯使用全部增强方法改善数据集，会使得数据集冗余，致使训练时间过长、图像影响训练结果。
8.为了解决现有技术中存在的不足，本发明的目的还在于，提供一种用于甲状腺超声图像分割的数据集智能增强方法，克服传统数据集增强的上述问题，进行智能的数据集增强，从而可以在保证数据集不冗余的前提下尽可能提升数据集样本的多样性和数据量，以为后续甲状腺超声图像分割效果的提升提供完备的基础条件。
9.为达到上述目的，本发明提供了一种用于甲状腺超声图像分割的数据集智能增强方法，其包括以下步骤：
10.步骤s1：自动构建原始数据集；
11.步骤s2：确定需要使用的数据集增强方法，并根据确定的数据集增强方法自动构建包含多个数据集增强规划的规划域；
12.步骤s3：利用构建的规划域中的各个数据集增强规划，训练并更新lstm控制器；
13.步骤s4：自动选择最优规划，串联最优规划，得到用于甲状腺超声图像分割的增强数据集。
14.在本发明一实施例中，其中，步骤s1包括如下子步骤：
15.步骤s11：获取原始甲状腺超声图像，获取医学专家标注的标签，其中所述医学专家标注的标签的类型为二值图像；
16.步骤s12：对所述原始甲状腺超声图像和所述医学专家标注的标签进行自动匹配；
17.步骤s13：建立原始数据集，并按照预设的比例将原始数据集自动划分为多个数据子集，包括：训练集、测试集和验证集。
18.在本发明一实施例中，其中，在步骤s13中，基于获取的原始甲状腺超声图像和医学专家标注的标签，对原始数据集进行划分的具体规则包括：
19.确保任一被检测人在同一次检查中不同扫查角度的多个原始甲状腺超声图像及其对应匹配的医学专家标注的标签在同一数据子集中；以及
20.确保同一被检测人多次检查所获取的多个原始甲状腺超声图像及其对应匹配的医学专家标注的标签在同一个数据子集中。
21.在本发明一实施例中，其中，步骤s2包括如下子步骤：
22.步骤s21：确定需要使用的数据集增强方法的集合，其包括：确定深度学习领域通用的数据集增强方法，以及超声图像分割领域专用的数据集增强方法；
23.步骤s22：为每种数据集增强方法额外自动赋予2个参数，分别为增强概率和增强强度，且每个参数都预设有至多9个离散值，其中：
24.如果任一数据集增强方法不需要增强概率和/或增强强度参数，则对应数据集增
强方法的对应参数标记为false；
25.如果任一数据集增强方法需要增强概率和/或增强强度参数，则对应数据集增强方法的对应参数标记为true；
26.当参数标记为false时对应参数没有取值，当参数标记为true时对应参数取值为该参数的多个离散值，并对每一数据集增强方法的2个参数的不同取值进行组合，并对组合后的方法本身自设一方法参数，得到一数据集增强方法的集合，且集合中的每一方法至少包含3个参数；
27.步骤s23：每次从数据集增强方法的集合中自动随机选择两个构成一对组合方法，得到数据集增强组合方法的集合，其中每对组合方法具有2
×
3＝6个参数；
28.步骤s24：从构建好的数据集增强组合方法的集合中，每次自动随机选择4对组合方法得到一数据集增强规划，则每个数据集增强规划包含6
×
4＝24个参数；
29.步骤s25：将得到的全部数据集增强规划组成规划域。
30.在本发明一实施例中，其中，所述深度学习领域通用的数据集增强方法包括：x轴投影、y轴投影、旋转/旋转 翻转、x轴平移、y轴平移、对比度调整、锐化、亮度调整、曝光度调整、随机裁切、反相及/或直方图均衡；所述超声图像分割领域专用的数据集增强方法包括：线性灰度拉伸、中值滤波及/或sobel算子边缘增强。
31.在本发明一实施例中，其中，步骤s3包括如下子步骤：
32.步骤s31：从构建的规划域中自动随机选择1种规划s
t
对步骤s13中的训练集进行增强，得到一组待训练的增强数据集；
33.步骤s32：利用得到的待训练的增强数据集训练一个分割子网络，并利用步骤s13中的验证集对训练的分割子网络进行验证，得到验证平均交并比a
t
；
34.步骤s33：搭建lstm控制器并对lstm控制器进行原始化，即将所有权值原始化到[-0.1，0.1]区间内；
[0035]
步骤s34：将步骤s32得到的验证平均交并比a
t
作为本次激励，并根据本次激励a
t
及本次规划与前次规划的相关性，以优胜劣汰的分配规则，训练并更新lstm控制器；
[0036]
重复步骤s31-s34，直至完成控制器的训练。
[0037]
在本发明一实施例中，其中，所述分割子网络为u-net网络，所述lstm控制器包含一层具有100个隐藏单元的lstm神经网络和一个具有24个输出预测的softmax分类器，且所述lstm神经网络是根据上一步的操作描述下一步操作的概率分布，最终对各个操作的分布进行估值。
[0038]
在本发明一实施例中，其中，在步骤s34中，以softmax分类器的24个输出预测的相关概率的乘积作为联合概率，并以比值度量相关性，进而得到以下损失函数：
[0039][0040]
式中，e
t
(
·
)表示在规划时概率分布的期望，p
new
(
·
)表示在训练规划s
t
后的联合概率，p
old
(
·
)表示在训练规划s
t
前的联合概率，表示在规划s
t
时模型对验证集的交并比平均数，o表示分割子网络输出的标签，m表示数据集中对应的真实标签，w表示惩罚权
重，kl(
·
)表示信息散度，用以反映当前规划s
t
与之前规划的差距。
[0041]
在本发明一实施例中，其中，步骤s4包括如下子步骤：
[0042]
步骤s41：利用训练后的lstm控制器，以损失函数评价每种规划，并从规划域中自动选择排名前5名的最优规划，得到共20对组合方法，构成最优的数据集增强方案；
[0043]
步骤s42：将得到共20对组合方法按照从优到劣的顺序依次排序并串联后，对训练集进行增强，得到最终智能增强后的甲状腺分割数据集。
[0044]
与现有技术相比，本发明通过考虑两类数据集增强方法，利用lstm控制器从大量组合方法对中，自动智能筛选最优的20对组合方法，以实现甲状腺超声图像数据集的智能增强，从而摆脱人力在数据集增强中的繁重工作和人为主观因素影响的同时，更好地提高了数据集的多样性和数据量。
附图说明
[0045]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]
图1为本发明用于甲状腺超声图像分割的数据集智能增强方法的一个实施例的流程图；
[0047]
图2为本发明一实施例中在1种规划下的数据集增强样例；
[0048]
图3为本发明一实施例中训练lstm控制器以筛选规划详解图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
图1为本发明用于甲状腺超声图像分割的数据集智能增强方法的一个实施例的流程图，如图1所示，本发明针对原始甲状腺超声数据集和专家标注好的标签进行智能数据增强，在扩充前先按照科学的比例将图像划分为训练集、测试集和验证集，构建一个完整的初始数据集。然后确定全部的数据增强算法，包括深度学习常用数据增强和甲状腺超声分割专用两部分，足够多且适合于该领域的方法可以使得增强后的数据集性能更优。进而，从数据增强算法中自动随机选取两种构成1对组合方法，再自动随机选4对组合方法构成一种规划，使用全部的规划构成规划域，从规划域中自动选取一种规划增强数据集，并训练子分割网络得到验证平均交并比，以得到的平均交并比作为激励更新构建并完成初始化的lstm控制器，直至控制器训练完成。训练后，选取最优的5种规划，将5种规划中所包含的全部20种方法对构成最终规划方案，使用最终规划方案得到智能增强数据集。本实施例中用于甲状腺超声图像分割的数据集智能增强方法的具体步骤包括：
[0051]
步骤s1：自动构建原始数据集；
[0052]
在本实施例中，其中，步骤s1可以包括如下子步骤：
[0053]
步骤s11：获取原始甲状腺超声图像，获取医学专家标注的标签，其中所述医学专家标注的标签的类型为二值图像；本实施例中的原始甲状腺超声图像及医学专家标注的标签可以由专业医师进行采集并标注。
[0054]
步骤s12：对所述原始甲状腺超声图像和所述医学专家标注的标签进行自动匹配；在本实施例中，对原始甲状腺超声图像和医学专家标注的标签进行的匹配可以通过自动重命名的方式进行，例如原始甲状腺超声图像名称为“xxx.bmp”，对应医学专家标注的标签的名称为“xxx_mask.bmp”，其中“xxx”可以是被检测人序号，原始甲状腺超声图像通常以被检测人序号标记图像来源。
[0055]
步骤s13：建立原始数据集，并按照预设的比例将原始数据集自动划分为多个数据子集，包括：训练集、测试集和验证集。
[0056]
在本实施例中，其中，在步骤s13中，基于获取的原始甲状腺超声图像和医学专家标注的标签，对原始数据集进行划分需按照科学严谨的规则进行，具体规则包括：
[0057]
确保任一被检测人在同一次检查中不同扫查角度的多个原始甲状腺超声图像及其对应匹配的医学专家标注的标签在同一数据子集中；以及确保同一被检测人多次检查所获取的多个原始甲状腺超声图像及其对应匹配的医学专家标注的标签在同一个数据子集中。
[0058]
其中，在划分训练集、验证集、测试集时，可以自动使相同序号文件夹中的图像被分在同一部分的数据集中，并按照0.75：0.15：0.15的预设比例自动将原始数据集划分为训练集、测试集和验证集。在其他实施例中，多个数据子集的划分比例也可以根据需求对其进行调整，本发明不对其进行限定。
[0059]
步骤s2：确定需要使用的数据集增强方法，并根据确定的数据集增强方法自动构建包含多个数据集增强规划的规划域；
[0060]
在本实施例中，其中，步骤s2可以包括如下子步骤：
[0061]
步骤s21：确定需要使用的数据集增强方法的集合，其包括：确定深度学习领域通用的数据集增强方法，以及超声图像分割领域专用的数据集增强方法；
[0062]
其中，在深度学习领域通用的数据集增强方法，可以包括投影(x/y轴)、旋转/旋转 翻转、平移(x/y轴)、对比度调整、锐化、亮度调整、曝光度调整、随机裁切、反相、直方图均衡等；超声图像分割领域专用的数据集增强方法，可以包括线性灰度拉伸、中值滤波、sobel算子(索贝尔算子)边缘增强等。
[0063]
步骤s22：为每种数据集增强方法额外自动赋予2个参数，分别为增强概率和增强强度，且每个参数都预设有至多9个离散值，其中：
[0064]
如果任一数据集增强方法不需要增强概率和/或增强强度参数，则对应数据集增强方法的对应参数标记为false；
[0065]
如果任一数据集增强方法需要增强概率和/或增强强度参数，则对应数据集增强方法的对应参数标记为true；
[0066]
当参数标记为false时对应参数没有取值，相当于对应数据增强方法中的增强概率和/或增强强度只有一种；当参数标记为true时对应参数取值为该参数的多个离散值，并对每一数据集增强方法的2个参数的不同取值进行组合，且组合后的方法本身自设一方法参数，得到一数据集增强方法的集合，且集合中的每一方法至少包含3个参数。
[0067]
举例说明，下表1和表2分别为本发明一个实施例中所使用的超声图像分割专用数据集增强方法与数据集通用增强方法的列表：
[0068]
表1超声图像分割专用数据集增强方法的实施例
[0069][0070]
表2数据集通用增强方法的实施例
[0071][0072][0073]
其中每种增强方法的增强概率被离散为在[0.1-0.9]区域内均分的9个数值，如果某一种增强方法不需要增强概率参数，则在表1或表2中的对应列记为false；如果某一种增强方法需要增强概率参数，则在表1或表2中的对应列记为true。本实施例的增强概率，是表示在后续步骤规划使用对应数据集增强方法的概率，例如，在表1和表2中，增强概率这一列均为true，表示每个方法都需要增强概率这个参数，且该参数取值为0.1、0.2、0.3、0.4、
0.5、0.6、0.7、0.8及0.9一共9个离散值。
[0074]
同样的，每种数据集增强方法的增强强度也可以分为9个等级，具体来说，就是在各自值域内均分的9个等级。例如：当中值滤波的增强强度的值的领域为[3-19]区域内时，中值滤波的增强强度设置的阈值的9个等级可以分别为3、5、7、9、11、13、15、17、19。如果某一种数据集增强方法不需要设置增强强度参数，则在表1或表2中记为false。其中，旋转/旋转 翻转这一数据集增强方法的增强强度对应的阈值为0
°
、90
°
、180
°
、270
°
及这4个度数的翻转，因此共8个等级；sobel算子边缘增强对应的增强强度参数等级为九种，分别是：不拉伸、拉伸到[112，143]、拉伸到[96，159]、拉伸到[80，175]、拉伸到[64，191]、拉伸到[48，207]、拉伸到[32，223]、拉伸到[16，239]及拉伸到[0，255]。即在[0，255]区间内分为8种等级 不拉伸＝9种。
[0075]
根据表1和表2每一数据集增强方法的2个参数的不同取值进行组合，得到一数据集增强方法的集合，其中，反相与直方图均衡增强强度参数标记为false，因此取值为1，旋转/旋转 翻转的增强强度参数取值为8个，其他数据集增强方法的2个参数取值均为9个，则对于表1和表2这3种 12种数据集增强方法分别进行组合，则数据集增强方法的集合中共有12
×9×
9 2
×
9 1
×9×
8＝1062种备选方法(其中有2个方法不包含增强强度参数，一个方法只包含8个增强强度参数)，每种方法包括一方法参数、一增强强度参数及增强概率参数共3个参数。
[0076]
步骤s23：每次从数据集增强方法的集合中自动随机选择两个构成一对组合方法，得到数据集增强组合方法的集合，其中每对组合方法具有2
×
3＝6个参数；其中，从表1和表2的全部方法中，以先后顺序选择2种数据集增强方法组成1对组合方法，则可获得1062
×
1061＝1126782对组合方法。
[0077]
步骤s24：从构建好的数据集增强组合方法的集合中，每次自动随机选择4对组合方法得到一个数据集增强规划，则每个数据集增强规划包含6
×
4＝24个参数；其中，在全部的组合方法集合中，不计先后顺序随机选择4对组合方法构成1种规划，则可获得约种规划。
[0078]
步骤s25：将得到的全部数据集增强规划组成规划域。
[0079]
图2为本发明一实施例中在1种规划下的数据集增强样例，如图2所示，最左侧的一原始甲状腺超声图像，第一行的图像为经过步骤23中任一对组合方法中的其中第一种方法进行数据增强得到的，第二行图像为经过该对组合方法进行数据增强后得到的图像。该规划样例中使用的4对组合方法分别为：第一对组合方法以0.8的概率旋转270
°
，进而以0.6的概率以1.6调整亮度；第二对组合方法以0.9的概率以0.8进行锐化，进而以0.4的概率进行sobel算子增强且不拉伸；第三对组合方法以0.3的概率以0.4调整对比度，进而以0.7的概率以8像素随机裁切图像；第四对组合方法以0.6的概率翻转图像，进而以0.5的概率以0.3的窗口进行中值滤波。
[0080]
经过本发明的数据集增强方法对原始数据集进行增强后，可以丰富数据集中的样本的多样性、提升数据集的数据量。
[0081]
步骤s3：利用构建的规划域中的各个数据集增强规划，训练并更新lstm(long short-term memory，长短期记忆人工神经网络)控制器，用以得到可以评价各规划的lstm控制器。
[0082]
图3为本发明一实施例中训练lstm控制器以筛选规划详解图，如图3所示，在本实施例中，训练lstm控制器的流程为：首先构建的lstm控制器进行初始化。进而使用规划域中任意一种规划增强原始数据集，并使用增强的数据集训练u-net分割子网络。获得训练好的分割模型后，在验证集上验证模型，以验证平均交并比作为激励来更新lstm控制器，在完成lstm控制器的更新后，即完成一次训练，然后重复前述使用规划的流程直至完成训练。其中，步骤s3可以包括如下子步骤：
[0083]
步骤s31：从构建的规划域中自动随机选择1种规划s
t
对步骤s13中的训练集进行增强，得到一组待训练的增强数据集；
[0084]
步骤s32：利用得到的待训练的增强数据集训练一个分割子网络，并利用步骤s13中的验证集对训练的分割子网络进行验证，得到验证平均交并比a
t
；在后续步骤中，以在本步得到的验证平均交并比a
t
作为评价各个规划的指标。
[0085]
步骤s33：搭建lstm控制器并对lstm控制器进行原始化，即将所有权值原始化到[-0.1，0.1]区间内；
[0086]
步骤s34：将步骤s32得到的验证平均交并比a
t
作为本次激励，并根据本次激励a
t
及本次规划与前次规划的相关性，以优胜劣汰的分配规则，训练并更新lstm控制器；
[0087]
重复步骤s31-s34，直至完成控制器的训练。
[0088]
在本实施例中，其中，所述分割子网络为u-net(一种使用全卷积网络进行语义分割的算法)网络。在本实施例中，其中，所述lstm控制器包含一层具有100个隐藏单元的lstm神经网络和一个具有24个输出预测的softmax分类器，且lstm神经网络(长短期记忆网络控制器)的原理是：根据上一步的操作描述下一步操作的概率分布，最终各个操作的分布可以进行估值。
[0089]
在本实施例中，其中，在步骤s34中，以softmax分类器的24个输出预测的相关概率的乘积作为联合概率，并以比值度量相关性，进而得到以下损失函数，其中，损失函数是用来估量模型的预测值与真实值的不一致程度的：
[0090][0091]
其主体部分为：
[0092][0093]
式中，e
t
(
·
)表示在规划时概率分布的期望，p
new
(
·
)表示在训练规划s
t
后的联合概率，p
old
(
·
)表示在训练规划s
t
前的联合概率，良示在规划s
t
时模型对验证集的交并比平均数，o表示分割子网络(u-net分割子网络)输出的标签，m表示数据集中对应的真实标签；
[0094]
同时，规则中为促进控制器更新、尝试更多种规划，对损失函数进行惩罚，其惩罚部分为：
[0095]-w
·
kl(p
new
(s
t
)p
old
(s
t
))
ꢀꢀ
(3)
[0096]
式中，w表示惩罚权重，kl(
·
)表示信息散度，用以反映当前规划s
t
与之前规划的差距。
[0097]
其中，损失函数中的惩罚权重w可以设计为0.00001，在lstm训练控制器的过程中会遍历尽可能多的规划，例如可达10000种规划，以保证损失函数不过快收敛，当损失函数收敛后即可停止训练。通过损失函数的公式计算可以保证当本次与之前次的结果相关性大时，l会很小，反之l会很大。使用l作为损失函数所得到的lstm控制器，可以对效果好的方法给出较低的评分以被保留，对效果不好的方法给出较高分则被淘汰。
[0098]
步骤s4：自动选择最优规划，串联最优规划，得到用于甲状腺超声图像分割的增强数据集。
[0099]
在本实施例中，其中，步骤s4可以包括如下子步骤：
[0100]
步骤s41：利用训练后的lstm控制器，以损失函数评价每种规划，并从规划域中自动选择排名前5名的最优规划(每个规划中都有4对组合方法)，得到共20对组合方法，构成最优的数据集增强方案。其中，最优的规划，是损失函数值最小的规划；排名前5名的最优规划是损失函数值最小的5个规划。
[0101]
通常，这20对组合方法的类型或参数是不同的，是因为：首先，一种规划里不会有参数完全一样的2对组合方法；其次，各对组合方法的参数都是在各自规划里较优的，训练过后很难完全一样。即使最后的20对组合方法中，有几对组合方法的参数是一样的，处理方法也相同。只要按照选出的20个方法依次处理就好了，存在两次也可以处理两次。如：数据集先以20％概率翻转90度，中间还进行一些其他增强，之后再以20％概率翻转90度，因此组合方法并不冲突。
[0102]
步骤s42：将得到共20对组合方法按照从优到劣的顺序依次排序并串联后，对训练集进行增强，得到最终智能增强后的甲状腺分割数据集。
[0103]
以上所述，为本发明在现有实验室所具有的甲状腺超声图像分割数据集上进行数据集智能增强的具体实施方式。本发明通过考虑两类数据集增强方法，利用lstm控制器从1126782对组合方法中，自动智能筛选最优的20对组合方法，以实现甲状腺超声图像数据集的智能增强，以摆脱人力在数据集增强中的繁重工作和人为主观因素影响的同时，更好地提高了数据集的多样性和数据量。
[0104]
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0105]
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0106]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。