基于神经网络的任意模态图像配准方法及设备与流程

1.本发明涉及图像配准技术领域，特别涉及一种基于神经网络的任意模态图像配准方法及设备。


背景技术：

2.在日常生活中，遥感、医疗等领域中经常需要把不同时间、不同成像设备和方法得到的两套图像进行匹配、叠加，此过程称为图像配准。传统的配准方法主要分为三类：特征点配准、刚性配准和弹性配准。近年来机器学习和神经网络发展迅猛，也出现了基于神经网络的配准方法，且相较于传统方法，基于神经网络的配准方法具有预测速度块、效果好等优点。
3.但现有的基于神经网络的配准方法往往需要大量成对数据进行训练，在医疗领域中，这些数据的获取会涉及隐私、伦理等问题，而且难以保证数据成对匹配。实际应用中，图像的模态众多，以医疗图像为例，就有ct、mr-t1、mr-t2等等模态不一致的图像。一般的基于神经网络的配准方法要对各种模态组合分别训练模型，假设有n种模态，则需要训练n2个模型，并对这些模型要分别准备相应的数据，非常烦琐，工作量大。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于神经网络的任意模态图像配准方法、设备及存储介质。
5.根据本发明的第一方面实施例的基于神经网络的任意模态图像配准方法，包括应用于图像配准设备，训练部分和预测部分，训练部分包括：对输入数据进行随机模态映射，获取形变前图像，所述输入数据包括随机物质信息或真实图像信息；根据随机形变场对所述输入数据进行形变，并进行随机模态映射，获取形变后图像；将所述形变前图像和所述形变后图像输入神经网络中，生成输出形变场；结合所述随机形变场和所述输出形变场对所述神经网络进行优化，得到训练模型；预测部分包括：将待配准图像和参考图像输入所述训练模型，得到预测形变场；将所述预测形变场作用于所述待配准图像，得到配准后图像。
6.根据本发明的一些实施例，所述对输入数据进行随机模态映射，获取形变前图像，包括：对连续噪声引入不连续机制，得到所述随机物质信息；采用变换函数对所述随机物质信息进行映射，生成所述形变前图像。
7.根据本发明的一些实施例，所述对连续噪声引入不连续机制，包括：对连续噪声进行取反操作或选取在对应位置上多个连续噪声中特定值所对应的连续噪声编号。
8.根据本发明的一些实施例，所述根据随机形变场对所述输入数据进行形变，并进行随机模态映射，获取形变后图像，包括：组合多个连续噪声，生成所述随机形变场；将所述随机形变场作用于所述输入数据，生成形变数据；采用变换函数对所述形变数据进行映射，生成形变后图像；其中，所述连续噪声的数量与所述形变后图像的维数相同。
9.根据本发明一些实施例，所述变换函数采用如下式子表示：
10.p(x)
→
cos((r1 0.5)πp(x) r2)
11.其中，上式表示映射关系，p(x)为随机物质信息的值或真实图像的像素值，并归一化至[-1，1]的范围，π是圆周率，r1和r2是在[0，1)内均匀分布的随机数，通过选取不同的随机数，映射后的图像的模态也不同；对于基于多个连续噪声得到的随机物质信息，实现随机模态映射的变换函数可以包括一个具有多个随机数的序列，即采用随机数序列作为随机模态映射中的映射关系，每一个随机数对应一个指标，通过将随机数与随机物质信息结合可以完成映射，其中，随机数的数量对应于连续噪声的数量；当某一物体包括有n种物质，则对应地采用n个连续噪声来模拟，因此，所生成的序列包含n个随机数，例如：
[0012]
q(x)＝argmax({pj(x)，j＝0,....,n-1})
[0013]
p(x)＝r(q(x))
[0014]
其中，q(x)表示选取多个连续噪声中在对应位置上最大的噪声值后形成的随机物质信息，pj(x)表示某一个连续噪声，argmax函数则用于选取某一点上的最大值，p(x)为映射后的结果，而r则表示具有n个随机数的序列。
[0015]
根据本发明一些实施例，所述结合所述随机形变场和所述输出形变场对所述神经网络进行优化，得到训练模型，包括：所述随机形变场和所述输出形变场作为损失函数的输入值，将所述损失函数的输出值输入所述神经网络，对所述神经网络进行优化，得到所述训练模型。
[0016]
根据本发明的一些实施例，所述神经网络是基于u-net架构搭建的，神经网络中设置了5级卷积层，除最后一级外的每一级卷积层中均设置有两个连续卷积块，即，前4级中每一级卷积层有两个连续卷积块，最后一级的卷积层则有一个连续卷积块，且每个连续卷积块中包括连续三层卷积运算；各级之间进行池化和上采样，经过卷积层池化和上采样后，再经过微分积分层进行微分和积分运算得到输出形变场；除最后一级卷积层外的每一级卷积层均采用激活函数；前4级的卷积层中包括连续卷积块a和连续卷积块b，最后一级的卷积层中则包括连续卷积块c，则上一级的连续卷积块a向下一级的连续卷积块a池化，第4级卷积层的连续卷积块a则连续卷积块c池化，连续卷积块c向第4级卷积层的连续卷积块b上采样，下一级的连续卷积块b向上一级的连续卷积块b上采样；且各级卷积层的输出通道数量是呈倍数递增的，但最后两级卷积层的输出通道数量一致；连续卷积块进行连续三层3*3*3卷积运算以及采用2*2*2池化和2*2*2上采样。
[0017]
根据本发明的一些实施例，所述激活函数为leaky relu函数，且其在负区间的斜率为0.2。
[0018]
根据本发明的第二方面实施例的图像配准设备，包括处理器以及与所述处理器通信连接的存储器；所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面实施例所述的方法。
[0019]
根据本发明的第三方面实施例的计算机存储介质，存储有计算可执行指令，所述计算可执行指令用于执行如第一方面实施例所述的方法。
[0020]
本发明的方法可以通过生成的随机物质信息来模拟物质的特点，对随机物质信息进行随机模态映射得到形变前图像，而且对随机物质信息基于随机形变场进行形变、随机模态映射，获取形变后图像，经过随机模态映射后，形变前图像和形变后图像的模态不同，形变前图像和形变后图像作为神经网络的输入，即向神经网络的输入不同的模态的形变前
图像和形变后图像，在对神经网络进行大量训练的过程中，还对神经网络进行进一步优化，得到的训练模型能够忽略模态的影响，提升配准的准确性。而且还能够减少搭建模型的数量，减少工作量。
[0021]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0022]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0023]
图1为本发明实施例的图像配准方法的训练部分的步骤示意图；
[0024]
图2为本发明实施例的图像配准方法的流程示意图；
[0025]
图3为本发明实施例的神经网络的构架示意图；
[0026]
图4为本发明实施例的对连续噪声引入不连续机制的效果示意图；
[0027]
图5为对发明实施例的对连续噪声引入不连续机制的另一效果示意图。
具体实施方式
[0028]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0029]
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0030]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0031]
传统的配准方法如特征点配准能够提取图像特征点，通过相似性度量匹配特征点对，根据匹配的特征点对求得图像的空间坐标变换参数；而刚性配准则是把待配准的物体当作刚体，仅使用平移、旋转、缩放、剪切等手段，实现配准；弹性配准则把待配准的物体当作会形变的弹性物体或流体，通过求解弹性力学或流体力学方程实现配准。
[0032]
传统方法配准的速度一般，其效果没有采用神经网络的配准方法好，但基于神经网络的配准方法在实际应用中也存在缺陷：由于图像的模态不一致，对各种模态组合需分别训练模型，导致工作量大，神经网络的配准方法效率低，而且需要大量的数据。
[0033]
在图像角度来看，模态可以理解为物质到像素值的映射，不同的物质映射到不同的像素值，即不同模态对应不同的映射方式，例如，ct、mr-t1和mr-t2图像就对应不同的模态，同种物质在不同模态中对应的像素值也不一样，如在ct图像中，骨皮质是高信号(像素值大)，而水、脂肪为低信号(像素值小)；在mr-t1图像中，骨皮质、水是低信号，而脂肪是高信号；在mr-t2图像中，骨皮质是低信号水、脂肪是高信号。而且一般地，物体中包括多种物质，物体有大小，而其中的物质也有大小的区别，各物质连续分布，且各物质之间具有明显
的界线，因此，在图像上看，不同物质对应不同的像素值，则像素值呈片状连续分布，但片与片之间不连续。
[0034]
本发明的方法可以通过生成的随机物质信息来模拟上述特点，对随机物质信息或真实图像信息进行随机模态映射得到形变前图像，而且对随机物质信息基于随机形变场进行形变、随机模态映射，获取形变后图像，经过随机模态映射后，形变前图像和形变后图像的模态不同，形变前图像和形变后图像作为神经网络的输入，即向神经网络的输入不同的模态的形变前图像和形变后图像，在对神经网络进行大量训练的过程中，还对神经网络进行进一步优化，得到的训练模型能够忽略模态的影响，提升配准的准确性。而且还能够减少搭建模型的数量，减少工作量。
[0035]
下面结合附图对本发明作进一步阐述。
[0036]
参照图1，在本发明一些实施例中，基于神经网络的图像配准方法包括训练部分和预测部分，训练部分至少包括如下步骤：
[0037]
步骤s100：对输入数据进行随机模态映射，获取形变前图像。
[0038]
可以理解的是，形变前图像可以是通过随机物质信息构建的模拟图像得到的，也可以是通过真实图像得到的，即输入数据可以是随机物质信息，也可以是真实图像信息。因此，在一些实施例中，对于获取形变前图像，可以先生成随机物质信息，再对随机物质信息进行随机模态映射，经过映射后可以得到形变前图像。在一些实施例中，还可以是对接收到的真实图像信息进行随机模态映射，最后得到形变前的图像。
[0039]
值得注意的是，对随机物质信息或真实图像信息均进行随机模态映射，以改变原有的模态，例如，当接收到真实图像信息，这些真实图像信息可以是ct、mr-t1、mr-t2等，真实图像的模态各异，对真实图像进行模态随机模态映射改变其模态，即输入神经网络的形变前图像的模态是不同于原有模态的。
[0040]
步骤s200：根据随机形变场对输入数据进行形变，并进行随机模态映射，获取形变后图像。
[0041]
可以理解的是，形变后图像作为神经网络的另一输入，需要对输入数据进行形变，如将随机形变场作用于随机物质信息或者真实图像信息上，从而得到形变数据，再对形变数据进行随机模态映射，得到形变后图像。
[0042]
值得注意的是，以真实图像信息为例，将随机形变场作用于真实图像后得到的形变后数据的模态与真实图像的模态是相同的，即真实图像经过形变后的形变数据依旧是ct、mr-t1、mr-t2等中的一种，而经过随机模态映射的处理，形变前图像和形变后图像的模态发生改变，两者的模态不相同且与其本身的原有模态也不同，即形变前图像的模态与形变后图像的模态不同，形变前图像的模态与真实图像的模态不同，形变后图像的模态与形变数据的模态不同。将经过随机模态映射的形变前图像和形变后图像输入神经网络，对神经网络地不断训练，使得到的训练模型能够适应不同的模态，忽略模态带来的影响，从而更多地注重在形变上，使图像的配准更加准确，而且神经网络的适用性得到提升，同时也无需构建大量模型，降低了配准的工作量。
[0043]
步骤s300：将形变前图像和形变后图像输入神经网络中，生成输出形变场。
[0044]
步骤s400：结合随机形变场和输出形变场对神经网络进行优化，得到训练模型。
[0045]
可以理解的是，形变前图像和形变后图像作为神经网络的输入，经过神经网络的
计算后，可以得到输出形变场。结合随机形变场和输出形变场对神经网络进行优化，从而提升神经网络的输出的准确性，使经过不断训练后得到的训练模型的输出能够更加接近实际形变。
[0046]
预测部分至少包括：将待配准图像和参考图像输入训练模型，得到预测形变场；将预测形变场作用于待配准图像，得到配准后图像。
[0047]
训练模型能够输出待配准图像和参考图像之间的形变关系，即预测形变场，通过将预测形变场作用在待配准图像上，使得待配准图像形变，得到配准后图像，完成配准，可以理解的是，待配准图像与参考图像是不同的，两者之间是难以甚至是不能进行参考比对的，但通过训练模型找出两者之间的形变关系，待配准图像作为形变前图像输入训练模型，参考图像作为形变后图像输入训练模型，得到的预测形变场作用于待配准图像使其发生形变，生成配准后图像，配准后图像能够与参考图像进行参考比对。
[0048]
例如，在医学图像配准的应用场景，为查找肺部病变部位的变化，需要将两幅图像进行参考比对，但由于两幅图像拍摄的角度不同、被拍摄者两次拍摄时的体态不同等等因素的影响，两幅图像难以甚至是不能够直接进行比对，两幅图像分别为待配准图像和参考图像，如待配准图像为ct图像，是被拍摄者病变前期拍摄的吸气时肺部的图像，而参考图像为mr图像，是被拍摄者病变后期拍摄的呼气时肺部的图像。待配准图像和参考图像之间存在肺部在吸气和呼气状态下的形变关系，将两者输入训练模型中，训练模型能够忽略ct图像和mr图像的模态不同所带来的影响，而注重两者的形变关系，从而输出预测形变场，则将预测形变场作用于待配准图像，使得待配准图像形变得到配准后图像，即吸气状态的图像变为呼气状态的图像，完成配准，此时的配准后图像能够与参考图像进行参考比对，便于观察病变部位的变化。
[0049]
因此，本发明的方法能够有效地解决获取数据困难且成对数据少的问题，而且还无需针对不同模态构建大量模型，有效地降低了工作量，训练模型能够忽略模态带来的影响，提升图像配准的准确性。
[0050]
在本发明的一些实施例中，对于随机物质信息，通过对连续噪声引入不连续机制，从而使生成的随机物质信息能够模拟出物质的特点，即具有同种物质内连续，而不同物质间不连续的特点。需要说明的是，连续噪声为连续变化的噪声，为有序的噪声，在其上任意一点的一个邻域内满足连续的特点，而将多个连续变化的噪声叠加形成的分形噪声也属于连续噪声的一种，可以选择连续噪声中的perlin(柏林)噪声，将多个perlin噪声叠加形成分形噪声，对分形噪声引入不连续机制。
[0051]
对分形噪声引入不连续机制后，得到随机物质信息，通过变换函数对随机物质信息进行随机模态映射，如，将随机物质信息的数据映射为像素值，从而得到形变后图像。通过生成能够模拟物质特点的随机物质信息，使得神经网络的输入不局限于真实图像，能够有效解决获取数据困难的问题，而且对于随机物质信息还进行随机模态映射，使得神经网络能够适应不同的模态，减少搭建模型的数量，减少工作量。
[0052]
在一些实施例中，随机物质信息的生成可以是对连续噪声进行取反操作，从而得到满足映射后像素值的片与片之间不连续特点的随机物质信息。取反操作可以理解为对连续噪声中的某一值为界限取反，如下式所示：
[0053]
p(x)
→
max(p(x)，a-p(x))
[0054]
其中，p(x)表示连续噪声，如分形噪声，a则表示连续噪声中的某一值，选取p(x)和a
–
p(x)中的最大值，再归一化到[-1，1]的范围内，以便于计算，应当想到的是，可以进行多次取反操作，使得生成的形变后图像更复杂。可以想到的是，当a取0时，即为对连续噪声进行取绝对值操作。
[0055]
物质的分布一般是连续的，而对于不同的物质之间则是不连续的。因此，可以用连续噪声来模拟连续的物质，通过对连续噪声取绝对值，从而可以模拟不同物质间的不连续的特点。
[0056]
例如，在二维坐标系上看，连续噪声经过取绝对值操作后，其在过零点的两侧是一阶导数不连续的，由此生成的随机物质信息在映射后生成的形变前图像也是不连续，如参照图4，形变前图像采用256级灰度图像表示，不同像素值对应不同的灰度片，不同的灰度片表示不同的物质，且不同灰度片之间存在界线。需要说明的是，可以将连续噪声进行归一化处理，如将连续噪声归一化到[-1，1]的范围内，以便于计算。
[0057]
在一些实施例中，选取在对应位置上多个连续噪声中特定值所对应的连续噪声编号，以引入不连续机制，需要说明的是，特定值作为引入不连续机制的一个选取指标，特定值可以是最大值，也可以是第二大值。
[0058]
例如，选取在对应位置上多个连续噪声中噪声值最大的连续噪声的编号，可以理解的是，选取多个连续噪声，如分形噪声，连续噪声的数量对应于物质的数量，可以对多个连续噪声进行编号，例如，选取10个连续噪声，依次按照0至9进行编号，在二维坐标系上看，连续噪声分布在坐标系上，在某一对应位置，如某一坐标点上，每一个连续噪声在该坐标点上均对应有一个噪声值，当编号为1的连续噪声在该坐标点的噪声值为该坐标上的10个噪声值中最大的，则选取在该坐标下的编号1的连续噪声的编号，由于分形噪声的特性，连续噪声在该坐标点的一个邻域内噪声值是连续的，即可以认为在该坐标点的邻域内存在某些点的噪声值也是满足特定值条件的，因此在该邻域内选取编号1形成编号1的集合，从图像角度上看，参照图5，将编号与像数值对应并形成图像，该图像上对应上述坐标点位置是某一像素值的片状区域，即该片状区域内均是某一像素值(对应编号1的集合)。遍历所有坐标点后，从而得到随机物质信息。
[0059]
在本发明一些实施例中，对于随机形变场的生成，可以通过将多个连续噪声进行组合，从而形成随机形变场，为随机物质信息以及真实图像提供形变的场，将形变场(如随机形变场、输出形变场、预测形变场等)作用于图像，可以理解的是，形变场为图像的形变提供了形变方向和形变量。而且连续噪声的数量是与形变后图像的维数相同，例如，形变后图像的维数是3，则连续噪声的数量为3，分别为随机物质信息以及真实图像提供形变的方向和形变量，因此，在三维坐标系上看，3个连续噪声分别为随机物质信息以及真实图像形变提供了沿着x、y、z三个方向上的形变量。将生成的随机形变场作用于输入数据中，生成形变数据，通过对形变数据进行随机模态映射，得到形变后图像，例如，采用变换函数对形变数据进行映射，从而将形变数据映射为对应的像素值信息，生成形变后图像。对于形变数据还进行映射，使得其模态能够适用于神经网络，能够减少搭建模型的数量，减少工作量。
[0060]
在本发明一些实施例中，可以采用变换函数来进行模态的映射，实现随机模态映射，应当想到的是，变换函数表示一种映射关系。例如，可以采用如下式子表示：
[0061]
p(x)
→
cos((r1 0.5)πp(x) r2)
[0062]
其中，上式表示映射关系，p(x)为随机物质信息的值或真实图像的像素值，并归一化至[-1，1]的范围，π是圆周率，r1和r2是在[0，1)内均匀分布的随机数，通过选取不同的随机数，映射后的图像的模态也不同。上述映射关系能够充分考虑到模态映射的非线性非单调的特点，映射完成之后，可以在通过对映射后的数值选取对应的像素值即可得到相应的图像。
[0063]
在一些实施例中，对于基于多个连续噪声得到的随机物质信息，实现随机模态映射的变换函数可以包括一个具有多个随机数的序列，即采用随机数序列作为随机模态映射中的映射关系，每一个随机数对应一个指标，通过将随机数与随机物质信息结合可以完成映射，其中，随机数的数量对应于连续噪声的数量。可以理解的是，当某一物体包括有n种物质，则对应地采用n个连续噪声来模拟，因此，所生成的序列包含n个随机数，例如：
[0064]
q(x)＝argmax({pj(x)，j＝0,....,n-1})
[0065]
p(x)＝r(q(x))
[0066]
其中，q(x)表示选取多个连续噪声中在对应位置上最大的噪声值后形成的随机物质信息，pj(x)表示某一个连续噪声，argmax函数则用于选取某一点上的最大值，p(x)为映射后的结果，而r则表示具有n个随机数的序列。需要说明的是，为了增加结果的真实性，还可以加入随机噪声。
[0067]
参照图1和图2，在本发明一些实施例中，还对神经网络进行优化，结合随机形变场和输出形变场对神经网络进行优化，如将随机形变场和输出形变场作为损失函数的输入值，再利用损失函数的输出，将该输出输入到神经网络中，以实现对神经网络进行优化，得到训练模型。采用损失函数计算神经网络每次迭代的计算结果与真实值的差距，从而不断地优化神经网络，使得训练模型的输出能够更加接近实际形变，从而利用训练模型的输出作用于待配准图像对则可以得到配准后的图像，完成图像配准。需要说明的是，损失函数可以是mae(mean abs olute error，平均绝对误差)函数，还可以是mse(mean squared error，均方误差)函数。
[0068]
参照图3，在本发明一些实施例中，神经网络是基于u-net架构搭建的，神经网络中设置了5级卷积层，除最后一级外的每一级卷积层中均设置有两个连续卷积块，即，前4级中每一级卷积层有两个连续卷积块，最后一级的卷积层则有一个连续卷积块，且每个连续卷积块中包括连续三层卷积运算。而且各级之间进行池化和上采样，经过卷积层池化和上采样后，再经过微分积分层进行微分和积分运算得到输出形变场。值得注意的是，除最后一级卷积层外的每一级卷积层均采用激活函数，引入激活函数能够优化神经网络的输出的性质，使其更加连续。
[0069]
例如，前4级的卷积层中包括连续卷积块a和连续卷积块b，最后一级的卷积层中则包括连续卷积块c，则上一级的连续卷积块a向下一级的连续卷积块a池化，第4级卷积层的连续卷积块a则连续卷积块c池化，连续卷积块c向第4级卷积层的连续卷积块b上采样，下一级的连续卷积块b向上一级的连续卷积块b上采样。且各级卷积层的输出通道数量是呈倍数递增的，但最后两级卷积层的输出通道数量一致，如呈2倍递增，第一级卷积层的输出通道数量为8，第二级卷积层的输出通道数量为16，第三级卷积层的输出通道数量为32，第四级和第五级卷积层的输出通道数量为64；或者是，第一级卷积层的输出通道数量为16，第二级卷积层的输出通道数量为32，第三级卷积层的输出通道数量为64，第四级和第五级卷积层
的输出通道数量为128。
[0070]
连续卷积块进行连续三层3*3*3卷积运算以及采用2*2*2池化和2*2*2上采样。需要说明的是，连续卷积块进行连续三层5*5*5卷积运算、连续三层7*7*7卷积运算等，且对于三维图像还可以采用连续二层卷运算，同样地，对于二维图像也可以采用连续二层卷积运算或连续三层卷积运算。而且，对于卷积层的级数至少设置为4级，可以根据训练设备硬件条件设置4级、5级、6级等。
[0071]
在本发明一些实施例中，激活函数为leaky relu(leaky rectified linear unit，带泄露修正线性单元)，激活函数leaky relu用数学式表达为：
[0072][0073]
且激活函数为leaky relu在负区间的斜率为0.2，即a＝0.2。需要说明的是，激活函数还可以是采用relu(rectified linear unit，修正线性单元)函数。
[0074]
在本发明一些实施例中，提供了一种图像配准设备，图像配准设备包括处理器和存储器，其中，存储器存储有可在处理器上运行的计算机程序，该计算机程序在被处理器执行时可实现如上述实施例所述的图像配准方法。
[0075]
本发明的实施例中还提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行如上述实施例中所述的图像配准方法。
[0076]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0077]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。