图像处理和神经网络构建方法、装置和存储介质与流程

1.本发明涉及图像处理领域，尤其涉及一种图像处理方法、装置和计算机可读存储介质，以及神经网络构建方法、装置和计算机可读存储介质。


背景技术：

2.针对图像进行按照结构的分割处理，以及进一步进行轮廓提取和缺陷检测是图像处理领域的重要研究方向。在当前的图像分割和缺陷检测过程中，通常会使用大量的标记数据来训练图像分割网络，以通过训练好的图像分割网络来实现图像按照结构的分割和基于分割结果的缺陷检测。
3.然而，由于图像中存在的物体颜色等因素可能在图像中引入噪声，从而影响了图像的结构特征的体现，这会导致图像按照结构的分割的精确度的降低并进一步影响缺陷检测的结果。
4.因此，需要一种能够有效利用图像的结构特征进行图像分割，从而提高图像分割结果的精确度的图像处理方法和装置。


技术实现要素：

5.为解决上述技术问题，根据本发明的一个方面，提供了一种图像处理方法，包括：获取输入图像；对所述输入图像进行处理，以增强所述输入图像的结构特征，获取结构图像；对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；至少根据所述共同结构特征，对所述输入图像按照结构进行分割，获取对所述输入图像的分割结果。
6.根据本发明的另一方面，提供了一种图像处理方法，包括：获取输入图像；利用神经网络对所述输入图像按照结构进行分割；其中，所述神经网络是通过如下方式训练的：获取输入训练图像；对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像；对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征；至少根据所述共同结构特征对所述输入训练图像按照结构进行分割，获取对所述输入训练图像的分割结果；将所获取的输入训练图像的分割结果与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。
7.根据本发明的另一方面，提供了一种用于图像处理的神经网络的构建方法，包括：构建包含编码器、解码器和共同特征提取层的神经网络，其中所述共同特征提取层级联于所述编码器和解码器之间；将所述编码器配置为对输入图像和结构图像分别进行编码，其中所述结构图像是通过对所述输入图像进行处理以增强所述输入图像的结构特征而得到的；将所述共同特征提取层配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；将所述解码器配置为根据所述编码器的编码结果，和所述共同结构特征，对所述输入图像按照结构进行分割，以获取对所述输入图像的分割结果。
8.根据本发明的另一方面，提供了一种图像处理装置，包括：获取单元，配置为获取输入图像；增强单元，配置为对所述输入图像进行处理，以增强所述输入图像的结构特征，获取结构图像；提取单元，配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；分割单元，配置为至少根据所述共同结构特征，对所述输入图像按照结构进行分割，获取对所述输入图像的分割结果。
9.根据本发明的另一方面，提供了一种图像处理装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取输入图像；对所述输入图像进行处理，以增强所述输入图像的结构特征，获取结构图像；对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；至少根据所述共同结构特征，对所述输入图像按照结构进行分割，获取对所述输入图像的分割结果。
10.根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取输入图像；对所述输入图像进行处理，以增强所述输入图像的结构特征，获取结构图像；对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；至少根据所述共同结构特征，对所述输入图像按照结构进行分割，获取对所述输入图像的分割结果。
11.根据本发明的另一方面，提供了一种图像处理装置，包括：获取单元，配置为获取输入图像；处理单元，配置为利用神经网络对所述输入图像按照结构进行分割；其中，所述处理单元所利用的神经网络是通过如下方式训练的：获取输入训练图像；对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像；对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征；至少根据所述共同结构特征对所述输入训练图像按照结构进行分割，获取对所述输入训练图像的分割结果；将所获取的输入训练图像的分割结果与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。
12.根据本发明的另一方面，提供了一种图像处理装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取输入图像；利用神经网络对所述输入图像按照结构进行分割；其中，所述神经网络是通过如下方式训练的：获取输入训练图像；对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像；对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征；至少根据所述共同结构特征对所述输入训练图像按照结构进行分割，获取对所述输入训练图像的分割结果；将所获取的输入训练图像的分割结果与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。
13.根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取输入图像；利用神经网络对所述输入图像按照结构进行分割；其中，所述神经网络是通过如下方式训练的：获取输入训练图像；对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像；对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征；至少根据所述共同结构特征对所述输入训练图
像按照结构进行分割，获取对所述输入训练图像的分割结果；将所获取的输入训练图像的分割结果与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。
14.根据本发明的另一方面，提供了一种用于图像处理的神经网络的构建装置，包括：构建单元，配置为构建包含编码器、解码器和共同特征提取层的神经网络，其中所述共同特征提取层级联于所述编码器和解码器之间；编码配置单元，将所述编码器配置为对输入图像和结构图像分别进行编码，其中所述结构图像是通过对所述输入图像进行处理以增强所述输入图像的结构特征而得到的；提取层配置单元，将所述共同特征提取层配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；解码配置单元，将所述解码器配置为根据所述编码器的编码结果，和所述共同结构特征，对所述输入图像按照结构进行分割，以获取对所述输入图像的分割结果。
15.根据本发明的另一方面，提供了一种用于图像处理的神经网络的构建装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：构建包含编码器、解码器和共同特征提取层的神经网络，其中所述共同特征提取层级联于所述编码器和解码器之间；将所述编码器配置为对输入图像和结构图像分别进行编码，其中所述结构图像是通过对所述输入图像进行处理以增强所述输入图像的结构特征而得到的；将所述共同特征提取层配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；将所述解码器配置为根据所述编码器的编码结果，和所述共同结构特征，对所述输入图像按照结构进行分割，以获取对所述输入图像的分割结果。
16.根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：构建包含编码器、解码器和共同特征提取层的神经网络，其中所述共同特征提取层级联于所述编码器和解码器之间；将所述编码器配置为对输入图像和结构图像分别进行编码，其中所述结构图像是通过对所述输入图像进行处理以增强所述输入图像的结构特征而得到的；将所述共同特征提取层配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；将所述解码器配置为根据所述编码器的编码结果，和所述共同结构特征，对所述输入图像按照结构进行分割，以获取对所述输入图像的分割结果。
17.根据本发明的上述图像处理方法、神经网络构建方法、装置和计算机可读存储介质，能够通过对输入图像进行结构特征的增强处理获取结构图像，并根据输入图像和结构图像的共同结构特征来对输入图像按照结构进行分割，从而能够有效去除输入图像中非结构特征对分割结果的影响，提高图像分割结果和后续缺陷检测的精确度。
附图说明
18.通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
19.图1示出结构相同颜色不同的两幅图像的示例；
20.图2示出根据本发明一个实施例的图像处理方法的流程图；
21.图3示出根据本发明一个实施例利用神经网络对输入图像进行颜色去除，以获取结构图像的示例；
22.图4示出根据本发明一个实施例利用神经网络对输入图像和结构图像分别进行分割的示例；
23.图5示出根据本发明一个实施例对输入图像和结构图像进行共同特征提取的示例；
24.图6示出根据本发明一个实施例对输入图像和结构图像的分割结果进行融合的示例；
25.图7示出根据本发明一个实施例对输入图像的分割结果进行轮廓提取和缺陷检测的示例；
26.图8示出根据本发明另一实施例的图像处理方法的流程图；
27.图9示出根据本发明一个实施例的用于图像处理的神经网络的构建方法的流程图；
28.图10示出根据本发明一个实施例的图像处理装置的框图；
29.图11示出根据本发明另一实施例的图像处理装置的框图；
30.图12示出根据本发明另一实施例的图像处理装置的框图；
31.图13示出根据本发明另一实施例的图像处理装置的框图；
32.图14示出根据本发明一个实施例的用于图像处理的神经网络的构建装置的框图；
33.图15示出根据本发明另一实施例的用于图像处理的神经网络的构建装置的框图。
具体实施方式
34.下面将参照附图来描述根据本发明实施例的图像处理方法、装置和计算机可读存储介质。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
35.在针对所获取的输入图像进行结构上的分割和缺陷检测的过程中，通常需要使用大量的标记数据来训练图像分割网络，以通过训练好的图像分割网络来实现图像按照结构的分割和基于分割结果的缺陷检测。然而，在实际检测过程中，图像中物体复杂的颜色和图案分布会对图像按照结构的分割造成显著的影响，从而增加了基于结构的图像分割的难度，降低了缺陷检测的精确度。图1示出了在结构上具有相同的图像分割区域，但分别具有不同颜色的两幅图像的示例。图1中的左右两幅图像所示出的鞋面规格一致，织物材料也相同，其区别仅在于左图的鞋面具有较浅的单一颜色，而右图的鞋面具有深色的复杂花纹。在图1的示例中，会导致针对左右两幅图像按照结构的图像分割的难度偏差很大，针对深色复杂花纹的图像的分割难度会显著大于针对单一浅色的图像的分割难度，并且针对深色复杂花纹的图像分割的精确度也可能相对于针对单一浅色的图像分割精确度大大降低。
36.因此，希望提供一种能够有效去除输入图像中非结构特征(例如颜色、花纹等)产生的噪声对按照结构分割的图像分割结果的影响，从而提高图像分割结果的精确度的图像处理方法和装置。此外，根据本发明实施例的图像处理方法、装置和计算机可读存储介质可以适用于多种应用场景，例如织物纹理、路面、芯片表面等各种情况下的图像分割和缺陷检测。
37.下面将参照图2描述根据本发明实施例的图像处理方法。图2示出该图像处理方法200的流程图。
38.如图2所示，在步骤s201中，获取输入图像。
39.在本步骤中，输入图像可以来自利用诸如照相机、摄像机等图像采集装置所获取的输入图像，例如可以是二维图像或者视频中截取的某帧二维图像。此外，输入图像也可以来自某一个或多个神经网络中的任一层的输出图像等，在此不做限制。
40.在步骤s202中，对所述输入图像进行处理，以增强所述输入图像的结构特征，获取结构图像。
41.在本步骤中，增强所述输入图像的结构特征的具体操作可以包括：对所述输入图像进行颜色去除、边缘增强、纹理增强、对比度增强、噪音去除、分辨率调整中的至少一个。可选地，可以利用各种图像处理方式来进行上述操作中的至少一个操作，例如，可以选择相应的神经网络来进行上述至少一个操作。图3示出了根据本发明一个实施例利用神经网络对输入图像进行颜色去除，以获取结构图像的示例。如图3所示，可以将具有复杂的颜色花纹的输入图像a输入至神经网络，例如生成网络中，并经由图示的编码和解码过程以获取体现增强的输入图像的结构特征的结构图像b。在编码过程中，可以利用生成网络中多组采用不同参数的卷积、归一化和池化过程的处理来提取不同尺度的结构特征。首先，可以对输入图像进行卷积，得到卷积映射。然后，可以利用线性校正单元和批量归一化方法对卷积映射进行归一化，得到归一化卷积映射。随后，可以对归一化卷积映射进行最大池化或者平均池化处理。为了获得丰富的、多尺度的结构特征，可以在处理过程中对各个相关参数进行调整，并多次重复上述过程，以分别提取多尺度的结构特征映射。最后，可以在解码过程中通过卷积、归一化和上采样等方法恢复特征映射的分辨率，并得到融合后的结构图像，其具有增强的所述输入图像的结构特征。
42.当然，还可以对输入图像进行例如边缘增强结合噪音去除的方式、对比度增强、纹理增强结合分辨率调整的方式等等进行处理。上述对输入图像进行处理以增强结构特征的方式仅为示例，在实际应用中，可以采用任何增强输入图像结构特征的一种或多种方式进行处理，在此不做限制。
43.在步骤s203中，对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征。
44.具体地，可以利用神经网络对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征可以包括：针对神经网络分别输入所述输入图像和所述结构图像；利用所述神经网络，分别对所述输入图像和所述结构图像在多个不同步长上进行编码，得到所述输入图像和所述结构图像各个不同步长上的编码特征；根据所述输入图像和所述结构图像各个不同步长上的编码特征，获取所述输入图像和所述结构图像的共同结构特征。在上述步骤中，可以强制关注输入图像和结构图像的结构特征，而忽略颜色、图案等其他特征，从而能够使得所获取的输入图像和结构图像的共同结构特征对具有相同结构、不同颜色图案的情况具有较强的鲁棒性。
45.在步骤s204中，至少根据所述共同结构特征，对所述输入图像按照结构进行分割，获取对所述输入图像的分割结果。
46.在本步骤中，可以利用所述神经网络，至少根据所述共同结构特征对所述输入图像和所述结构图像分别进行分割，并随后基于预定规则对分别分割的结果进行融合，作为对所述输入图像的分割结果。
47.图4示出了根据本发明一个实施例利用神经网络对输入图像和结构图像分别进行分割的示例。在图4中，将图3中的输入图像a以及所获取的结构图像b分别输入至神经网络，例如分割网络中，并在编码过程中分别对输入图像a和结构图像b的特征进行编码。随后，可以在编码后，从编码的特征中提取出输入图像和结构图像的共同结构特征。在提取共同结构特征之后，可以将编码的特征和提取的共同结构特征组合在一起，得到组合特征，并在解码过程中对得到的组合特征进行解码，根据解码后的特征输出对输入图像a和结构图像b分别的分割结果，即图4中的a’和b’。
48.图5示出了根据本发明一个实施例对输入图像和结构图像进行共同特征提取的示例。如图5所示，可以分别利用多个不同步长的卷积块从所述输入图像a和所述结构图像b中提取出不同感受野的特征，从而获取所述输入图像a和所述结构图像b在多个不同步长上的编码特征。随后，可以将输入图像a和所述结构图像b的对应步长上的特征进行连接，并将上述过程进行多次重复，直至获取所述输入图像和所述结构图像的共同结构特征。其中，所述输入图像和所述结构图像的共同结构特征可以包括所获取的在各个不同步长上的共同结构特征，也可以包括在其中部分步长上的共同结构特征，在此不做限制。
49.图6示出了根据本发明一个实施例对输入图像和结构图像的分割结果a’和b’进行融合的示例。如图6所示，可以利用神经网络，例如融合网络，将接收到的分割结果a’和b’进行融合。例如，可以首先对分割结果a’和b’进行聚合，并进行特征提取，以得到提取后的特征图；随后，可以基于预定规则对提取得到的特征图进行融合，作为对所述输入图像的分割结果c。
50.在本发明一个实施例中，可以进一步根据对所述输入图像的分割结果提取所述输入图像的轮廓，以用于所述输入图像中所包含物体的轮廓显示、图像识别和分析等各种用途。此外，根据本发明另一个实施例，还可以将进一步所述输入图像的轮廓与标准轮廓进行比较，以对所述输入图像进行缺陷检测。
51.图7示出了根据本发明一个实施例对输入图像的分割结果c进行轮廓提取和缺陷检测的示例。在图7中，可以首先获取输入图像按照结构最终的分割结果c，并对分割结果c进行轮廓和/或特征点信息的提取，以得到输入图像的轮廓。随后，可以利用预先获取的标准轮廓与输入图像的轮廓进行比较，并计算标准轮廓与输入图像的轮廓之间的差别，例如可以是标准轮廓与输入图像的轮廓之间的距离。当得到二者的差别之后，可以根据所述差别从输入图像的轮廓中检测缺陷，并可以进一步输出所检测得到的缺陷位置以及轮廓偏差的程度(或称置信度)。
52.根据本发明实施例的上述图像处理方法能够通过对输入图像进行结构特征的增强处理获取结构图像，并根据输入图像和结构图像的共同结构特征来对输入图像按照结构进行分割，从而能够有效去除输入图像中非结构特征对分割结果的影响，提高图像分割结果和后续缺陷检测的精确度。
53.下面参照图8描述根据本发明实施例的图像处理方法。图8示出该图像处理方法800的流程图。
54.在步骤s801中，获取输入图像。
55.在本步骤中，输入图像可以来自利用诸如照相机、摄像机等图像采集装置所获取的输入图像，例如可以是二维图像或者视频中截取的某帧二维图像。此外，输入图像也可以
来自某一个或多个神经网络中的任一层的输出图像等，在此不做限制。
56.在步骤s802中，利用神经网络对所述输入图像按照结构进行分割；其中，所述神经网络是通过如下方式训练的：获取输入训练图像；对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像；对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征；至少根据所述共同结构特征对所述输入训练图像按照结构进行分割，获取对所述输入训练图像的分割结果；将所获取的输入训练图像的分割结果与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。
57.在本步骤中，可以将输入图像利用神经网络按照结构进行分割，从而获取所述输入图像的分割结果。其中，这里的神经网络的训练方式与图2中所述的过程类似，也就是说，可以将标记过的用于训练的输入训练图像利用图2所示的过程按照结构进行分割，得到输入训练图像的分割结果，并与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。其中，本发明实施例中的神经网络的训练可以通过输入大量的用于训练的输入训练图像来对神经网络的参数进行多次更新和迭代，以尽量使得训练得到的输入训练图像的分割结果与所标记的输入训练图像的真实分割结果之间的差别最小。具体的操作方法参见图2所述，在此不再赘述。
58.根据本发明一个实施例，对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征可以包括：分别获取所述输入训练图像和所述结构训练图像在不同尺度上的结构特征；根据所述输入训练图像和所述结构训练图像在不同尺度上的结构特征，获取所述输入训练图像和所述结构训练图像的共同结构特征。
59.根据本发明另一实施例，对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像可以包括：对所获取的结构训练图像进行反向处理，以获取监督训练图像，将所获取的监督训练图像与所述输入训练图像进行比较，根据比较结果对所述结构训练图像的获取进行监督，调整所述结构训练图像的获取结果，其中，所述反向处理为增强所述输入训练图像的结构特征的逆处理。可选的，可以通过所训练的另一个生成网络以尽量将结构训练图像向输入训练图像的方向进行转换，以使得所获取的监督训练图像尽量接近于输入训练图像。从而，通过将生成的监督训练图像的结构和样式与输入训练图像进行比较，调整神经网络的训练参数。
60.根据本发明另一实施例，对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像还可以包括：将所获取的结构训练图像与至少一个真实结构图像进行比较，利用比较结果对所述结构训练图像的获取进行监督，调整所述结构训练图像的获取结果。具体地，可以将通过训练得到的结构训练图像与一个或多个真实结构图像进行比较，如果判断所训练的结构训练图像与真实结构图像的比较结果为真，则可以据此认为结构训练图像足够接近于真实结构图像，因此足够真实，从而也说明神经网络的参数足够收敛。
61.在本发明实施例的神经网络训练过程中，可以利用上述神经网络训练产生的所有预测与监督结果计算神经网络的损失，从而通过将损失最小化来不断更新神经网络的参数。例如，在上述神经网络训练过程中，可以分别计算结构训练图像的生成、结构训练图像
与真实结构图像的比较结果、输入训练图像和结构训练图像分别分割的结果、输入训练图像的分割结果等各个过程中的损失，并通过这些损失的加权和计算神经网络的总损失，从而通过将神经网络的总损失最小化来更新神经网络参数并确定最终使用的神经网络模型。
62.根据本发明实施例的上述图像处理方法能够通过对输入图像进行结构特征的增强处理获取结构图像，并根据输入图像和结构图像的共同结构特征来对输入图像按照结构进行分割，从而能够有效去除输入图像中非结构特征对分割结果的影响，提高图像分割结果和后续缺陷检测的精确度。
63.下面参照图9描述根据本发明实施例的用于图像处理的神经网络的构建方法。图9示出该神经网络的构建方法900的流程图。在本发明实施例中，图9所示的神经网络的构建方法所构建的神经网络即可用于前述图像处理方法的处理流程，相似的神经网络结构和各具体操作步骤在此不再赘述。
64.在步骤s901中，构建包含编码器、解码器和共同特征提取层的神经网络，其中所述共同特征提取层级联于所述编码器和解码器之间。
65.在步骤s902中，将所述编码器配置为对输入图像和结构图像分别进行编码，其中所述结构图像是通过对所述输入图像进行处理以增强所述输入图像的结构特征而得到的。
66.在步骤s903中，将所述共同特征提取层配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征。
67.在步骤s904中，将所述解码器配置为根据所述编码器的编码结果，和所述共同结构特征，对所述输入图像按照结构进行分割，以获取对所述输入图像的分割结果。
68.根据本发明实施例的上述神经网络的构建方法能够构建神经网络，使得在利用该神经网络进行图像处理时，通过对输入图像进行结构特征的增强处理获取结构图像，并根据输入图像和结构图像的共同结构特征来对输入图像按照结构进行分割，从而能够有效去除输入图像中非结构特征对分割结果的影响，提高图像分割结果和后续缺陷检测的精确度。
69.下面，参照图10来描述根据本发明实施例的图像处理装置。图10示出了根据本发明实施例的图像处理装置1000的框图。如图10所示，图像处理装置1000包括获取单元1010、增强单元1020、提取单元1030和分割单元1040。除了这些单元以外，图像处理装置1000还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的图像处理装置1000执行的下述操作的具体细节与在上文中参照图2描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
70.图10中的图像处理装置1000的获取单元1010获取输入图像。
71.获取单元1010获取的输入图像可以来自利用诸如照相机、摄像机等图像采集装置所获取的输入图像，例如可以是二维图像或者视频中截取的某帧二维图像。此外，输入图像也可以来自某一个或多个神经网络中的任一层的输出图像等，在此不做限制。
72.增强单元1020对所述输入图像进行处理，以增强所述输入图像的结构特征，获取结构图像。
73.增强单元1020增强所述输入图像的结构特征的具体操作可以包括：对所述输入图像进行颜色去除、边缘增强、纹理增强、对比度增强、噪音去除、分辨率调整中的至少一个。
可选地，可以利用各种图像处理方式来进行上述操作中的至少一个操作，例如，可以选择相应的神经网络来进行上述至少一个操作。图3示出了根据本发明一个实施例利用神经网络对输入图像进行颜色去除，以获取结构图像的示例。如图3所示，可以将具有复杂的颜色花纹的输入图像a输入至神经网络，例如生成网络中，并经由图示的编码和解码过程以获取体现增强的输入图像的结构特征的结构图像b。在编码过程中，可以利用生成网络中多组采用不同参数的卷积、归一化和池化过程的处理来提取不同尺度的结构特征。首先，可以对输入图像进行卷积，得到卷积映射。然后，可以利用线性校正单元和批量归一化方法对卷积映射进行归一化，得到归一化卷积映射。随后，可以对归一化卷积映射进行最大池化或者平均池化处理。为了获得丰富的、多尺度的结构特征，可以在处理过程中对各个相关参数进行调整，并多次重复上述过程，以分别提取多尺度的结构特征映射。最后，可以在解码过程中通过卷积、归一化和上采样等方法恢复特征映射的分辨率，并得到融合后的结构图像，其具有增强的所述输入图像的结构特征。
74.当然，还可以对输入图像进行例如边缘增强结合噪音去除的方式、对比度增强、纹理增强结合分辨率调整的方式等等进行处理。上述对输入图像进行处理以增强结构特征的方式仅为示例，在实际应用中，可以采用任何增强输入图像结构特征的一种或多种方式进行处理，在此不做限制。
75.提取单元1030对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征。
76.具体地，提取单元1030可以利用神经网络对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征可以包括：针对神经网络分别输入所述输入图像和所述结构图像；利用所述神经网络，分别对所述输入图像和所述结构图像在多个不同步长上进行编码，得到所述输入图像和所述结构图像各个不同步长上的编码特征；根据所述输入图像和所述结构图像各个不同步长上的编码特征，获取所述输入图像和所述结构图像的共同结构特征。在上述步骤中，可以强制关注输入图像和结构图像的结构特征，而忽略颜色、图案等其他特征，从而能够使得所获取的输入图像和结构图像的共同结构特征对具有相同结构、不同颜色图案的情况具有较强的鲁棒性。
77.分割单元1040至少根据所述共同结构特征，对所述输入图像按照结构进行分割，获取对所述输入图像的分割结果。
78.分割单元1040可以利用所述神经网络，至少根据所述共同结构特征对所述输入图像和所述结构图像分别进行分割，并随后基于预定规则对分别分割的结果进行融合，作为对所述输入图像的分割结果。
79.图4示出了根据本发明一个实施例利用神经网络对输入图像和结构图像分别进行分割的示例。在图4中，将图3中的输入图像a以及所获取的结构图像b分别输入至神经网络，例如分割网络中，并在编码过程中分别对输入图像a和结构图像b的特征进行编码。随后，可以在编码后，从编码的特征中提取出输入图像和结构图像的共同结构特征。在提取共同结构特征之后，可以将编码的特征和提取的共同结构特征组合在一起，得到组合特征，并在解码过程中对得到的组合特征进行解码，根据解码后的特征输出对输入图像a和结构图像b分别的分割结果，即图4中的a’和b’。
80.图5示出了根据本发明一个实施例对输入图像和结构图像进行共同特征提取的示
例。如图5所示，可以分别利用多个不同步长的卷积块从所述输入图像a和所述结构图像b中提取出不同感受野的特征，从而获取所述输入图像a和所述结构图像b在多个不同步长上的编码特征。随后，可以将输入图像a和所述结构图像b的对应步长上的特征进行连接，并将上述过程进行多次重复，直至获取所述输入图像和所述结构图像的共同结构特征。其中，所述输入图像和所述结构图像的共同结构特征可以包括所获取的在各个不同步长上的共同结构特征，也可以包括在其中部分步长上的共同结构特征，在此不做限制。
81.图6示出了根据本发明一个实施例对输入图像和结构图像的分割结果a’和b’进行融合的示例。如图6所示，可以利用神经网络，例如融合网络，将接收到的分割结果a’和b’进行融合。例如，可以首先对分割结果a’和b’进行聚合，并进行特征提取，以得到提取后的特征图；随后，可以基于预定规则对提取得到的特征图进行融合，作为对所述输入图像的分割结果c。
82.在本发明一个实施例中，可以进一步根据对所述输入图像的分割结果提取所述输入图像的轮廓，以用于所述输入图像中所包含物体的轮廓显示、图像识别和分析等各种用途。此外，根据本发明另一个实施例，还可以进一步将所述输入图像的轮廓与标准轮廓进行比较，以对所述输入图像进行缺陷检测。
83.图7示出了根据本发明一个实施例对输入图像的分割结果c进行轮廓提取和缺陷检测的示例。在图7中，可以首先获取输入图像按照结构最终的分割结果c，并对分割结果c进行轮廓和/或特征点信息的提取，以得到输入图像的轮廓。随后，可以利用预先获取的标准轮廓与输入图像的轮廓进行比较，并计算标准轮廓与输入图像的轮廓之间的差别，例如可以是标准轮廓与输入图像的轮廓之间的距离。当得到二者的差别之后，可以根据所述差别从输入图像的轮廓中检测缺陷，并可以进一步输出所检测得到的缺陷位置以及轮廓偏差的程度(或称置信度)。
84.根据本发明实施例的上述图像处理装置能够通过对输入图像进行结构特征的增强处理获取结构图像，并根据输入图像和结构图像的共同结构特征来对输入图像按照结构进行分割，从而能够有效去除输入图像中非结构特征对分割结果的影响，提高图像分割结果和后续缺陷检测的精确度。
85.下面，参照图11来描述根据本发明实施例的图像处理装置。图11示出了根据本发明实施例的图像处理装置1100的框图。如图11所示，该装置1100可以是计算机或服务器。
86.如图11所示，图像处理装置1100包括一个或多个处理器1110以及存储器1120，当然，除此之外，图像处理装置1100还可能包括输入装置、输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图8所示的图像处理装置1100的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置1100也可以具有其他组件和结构。
87.处理器1110可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1120中所存储的计算机程序指令以执行期望的功能，可以包括：获取输入图像；对所述输入图像进行处理，以增强所述输入图像的结构特征，获取结构图像；对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；至少根据所述共同结构特征，对所述输入图像按照结构进行分割，获取对所述输入图像的分割结果。
88.存储器1120可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1110可以运行所述程序指令，以实现上文所述的本发明的实施例的图像处理装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
89.下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取输入图像；对所述输入图像进行处理，以增强所述输入图像的结构特征，获取结构图像；对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；至少根据所述共同结构特征，对所述输入图像按照结构进行分割，获取对所述输入图像的分割结果。
90.下面，参照图12来描述根据本发明实施例的图像处理装置。图12示出了根据本发明实施例的图像处理装置1200的框图。如图12所示，图像处理装置1200包括获取单元1210和处理单元1220。除了这些单元以外，图像处理装置1200还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的图像处理装置1200执行的下述操作的具体细节与在上文中参照图8描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
91.图12中的图像处理装置1200的获取单元1210获取输入图像。
92.获取单元1210获取的输入图像可以来自利用诸如照相机、摄像机等图像采集装置所获取的输入图像，例如可以是二维图像或者视频中截取的某帧二维图像。此外，输入图像也可以来自某一个或多个神经网络中的任一层的输出图像等，在此不做限制。
93.处理单元1220利用神经网络对所述输入图像按照结构进行分割；其中，所述神经网络是通过如下方式训练的：获取输入训练图像；对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像；对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征；至少根据所述共同结构特征对所述输入训练图像按照结构进行分割，获取对所述输入训练图像的分割结果；将所获取的输入训练图像的分割结果与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。
94.处理单元1220可以将输入图像利用神经网络按照结构进行分割，从而获取所述输入图像的分割结果。其中，这里的神经网络的训练方式与图2中所述的过程类似，也就是说，可以将标记过的用于训练的输入训练图像利用图2所示的过程按照结构进行分割，得到输入训练图像的分割结果，并与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。其中，本发明实施例中的神经网络的训练可以通过输入大量的用于训练的输入训练图像来对神经网络的参数进行多次更新和迭代，以尽量使得训练得到的输入训练图像的分割结果与所标记的输入训练图像的真实分割结果之间的差别最小。具体的操作方法参见图2所述，在此不再赘述。
95.根据本发明一个实施例，对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征可以包括：分别获取所述输入训练图像和所述结构训练图像在不同尺度上的结构特征；根据所述输入训练图像和所述结构
训练图像在不同尺度上的结构特征，获取所述输入训练图像和所述结构训练图像的共同结构特征。
96.根据本发明另一实施例，对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像可以包括：对所获取的结构训练图像进行反向处理，以获取监督训练图像，将所获取的监督训练图像与所述输入训练图像进行比较，根据比较结果对所述结构训练图像的获取进行监督，调整所述结构训练图像的获取结果，其中，所述反向处理为增强所述输入训练图像的结构特征的逆处理。可选的，可以通过所训练的另一个生成网络以尽量将结构训练图像向输入训练图像的方向进行转换，以使得所获取的监督训练图像尽量接近于输入训练图像。从而，通过将生成的监督训练图像的结构和样式与输入训练图像进行比较，调整神经网络的训练参数。
97.根据本发明另一实施例，对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像还可以包括：将所获取的结构训练图像与至少一个真实结构图像进行比较，利用比较结果对所述结构训练图像的获取进行监督，调整所述结构训练图像的获取结果。具体地，可以将通过训练得到的结构训练图像与一个或多个真实结构图像进行比较，如果判断所训练的结构训练图像与真实结构图像的比较结果为真，则可以据此认为结构训练图像足够接近于真实结构图像，因此足够真实，从而也说明神经网络的参数足够收敛。
98.在本发明实施例的神经网络训练过程中，可以利用上述神经网络训练产生的所有预测与监督结果计算神经网络的损失，从而通过将损失最小化来不断更新神经网络的参数。例如，在上述神经网络训练过程中，可以分别计算结构训练图像的生成、结构训练图像与真实结构图像的比较结果、输入训练图像和结构训练图像分别分割的结果、输入训练图像的分割结果等各个过程中的损失，并通过这些损失的加权和计算神经网络的总损失，从而通过将神经网络的总损失最小化来更新神经网络参数并确定最终使用的神经网络模型。
99.根据本发明实施例的上述图像处理装置能够通过对输入图像进行结构特征的增强处理获取结构图像，并根据输入图像和结构图像的共同结构特征来对输入图像按照结构进行分割，从而能够有效去除输入图像中非结构特征对分割结果的影响，提高图像分割结果和后续缺陷检测的精确度。
100.下面，参照图13来描述根据本发明实施例的图像处理装置。图13示出了根据本发明实施例的图像处理装置1300的框图。如图13所示，该装置1300可以是计算机或服务器。
101.如图13所示，图像处理装置1300包括一个或多个处理器1310以及存储器1320，当然，除此之外，图像处理装置1300还可能包括输入装置、输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图13所示的图像处理装置1300的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置1300也可以具有其他组件和结构。
102.处理器1310可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1020中所存储的计算机程序指令以执行期望的功能，可以包括：获取输入图像；利用神经网络对所述输入图像按照结构进行分割；其中，所述神经网络是通过如下方式训练的：获取输入训练图像；对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像；对所述输入训练图像和所述
结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征；至少根据所述共同结构特征对所述输入训练图像按照结构进行分割，获取对所述输入训练图像的分割结果；将所获取的输入训练图像的分割结果与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。
103.存储器1320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1310可以运行所述程序指令，以实现上文所述的本发明的实施例的图像处理装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
104.下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取输入图像；利用神经网络对所述输入图像按照结构进行分割；其中，所述神经网络是通过如下方式训练的：获取输入训练图像；对所述输入训练图像进行处理，以增强所述输入训练图像的结构特征，获取结构训练图像；对所述输入训练图像和所述结构训练图像进行处理，提取所述输入训练图像和所述结构训练图像的共同结构特征；至少根据所述共同结构特征对所述输入训练图像按照结构进行分割，获取对所述输入训练图像的分割结果；将所获取的输入训练图像的分割结果与输入训练图像的真实分割结果进行比较，以调整所述神经网络的参数。
105.下面，参照图14来描述根据本发明实施例的用于图像处理的神经网络的构建装置。图14示出了根据本发明实施例的构建装置1400的框图。如图14所示，构建装置1400包括构建单元1410、编码配置单元1420、提取层配置单元1430和解码配置单元1440。除了这些单元以外，构建装置1400还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的构建装置1400执行的下述操作的具体细节与在上文中参照图9描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
106.图14中的构建装置1400的构建单元1410构建包含编码器、解码器和共同特征提取层的神经网络，其中所述共同特征提取层级联于所述编码器和解码器之间。
107.编码配置单元1420将所述编码器配置为对输入图像和结构图像分别进行编码，其中所述结构图像是通过对所述输入图像进行处理以增强所述输入图像的结构特征而得到的。
108.提取层配置单元1430将所述共同特征提取层配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征。
109.解码配置单元1440将所述解码器配置为根据所述编码器的编码结果，和所述共同结构特征，对所述输入图像按照结构进行分割，以获取对所述输入图像的分割结果。
110.根据本发明实施例的上述神经网络的构建装置能够构建神经网络，使得在利用该神经网络进行图像处理时，通过对输入图像进行结构特征的增强处理获取结构图像，并根据输入图像和结构图像的共同结构特征来对输入图像按照结构进行分割，从而能够有效去除输入图像中非结构特征对分割结果的影响，提高图像分割结果和后续缺陷检测的精确度。
111.下面，参照图15来描述根据本发明实施例的用于图像处理的神经网络的构建装置。图15示出了根据本发明实施例的构建装置1500的框图。如图15所示，该装置1500可以是计算机或服务器。
112.如图15所示，构建装置1500包括一个或多个处理器1510以及存储器1520，当然，除此之外，构建装置1500还可能包括输入装置、输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图15所示的构建装置1500的组件和结构只是示例性的，而非限制性的，根据需要，构建装置1500也可以具有其他组件和结构。
113.处理器1510可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1020中所存储的计算机程序指令以执行期望的功能，可以包括：构建包含编码器、解码器和共同特征提取层的神经网络，其中所述共同特征提取层级联于所述编码器和解码器之间；将所述编码器配置为对输入图像和结构图像分别进行编码，其中所述结构图像是通过对所述输入图像进行处理以增强所述输入图像的结构特征而得到的；将所述共同特征提取层配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；将所述解码器配置为根据所述编码器的编码结果，和所述共同结构特征，对所述输入图像按照结构进行分割，以获取对所述输入图像的分割结果。
114.存储器1520可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1510可以运行所述程序指令，以实现上文所述的本发明的实施例的构建装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的构建方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
115.下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：构建包含编码器、解码器和共同特征提取层的神经网络，其中所述共同特征提取层级联于所述编码器和解码器之间；将所述编码器配置为对输入图像和结构图像分别进行编码，其中所述结构图像是通过对所述输入图像进行处理以增强所述输入图像的结构特征而得到的；将所述共同特征提取层配置为对所述输入图像和所述结构图像进行处理，提取所述输入图像和所述结构图像的共同结构特征；将所述解码器配置为根据所述编码器的编码结果，和所述共同结构特征，对所述输入图像按照结构进行分割，以获取对所述输入图像的分割结果。
116.当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
117.注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
118.本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到
的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
119.本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
120.另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
121.以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(asic)或处理器。
122.可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(dsp)、asic、现场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如dsp和微处理器的组合，多个微处理器、与dsp核协作的一个或多个微处理器或任何其他这样的配置。
123.结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(ram)、只读存储器(rom)、快闪存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
124.在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
125.所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，盘(disc)包括紧凑盘(cd)、激光盘、光盘、数字通用盘(dvd)、软盘和蓝光盘。
126.因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个
或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
127.软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
128.此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如ram、rom、诸如cd或软盘等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
129.其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
130.可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
131.提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不希望被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
132.为了例示和描述的目的已经给出了以上描述。此外，此描述不希望将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。