医学超声图像识别方法、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种医学超声图像识别方法、设备及存储介质。


背景技术：

2.超声具有无电离辐射、经济适用、灵活性强等优点，正由于这些优点，超声图像在疾病（例如乳腺癌）的诊断上应用广泛。目前医生通过主观判断识别超声图像以对病人进行疾病诊断，疾病诊断结果的准性不高。


技术实现要素：

3.本发明实施例通过提供一种医学超声图像识别方法、设备及存储介质，旨在解决医生通过主观判断识别超声图像以对病人进行疾病诊断，疾病诊断结果的准性不高的技术问题。
4.本发明实施例提供了一种医学超声图像识别方法，所述医学超声图像识别方法，包括：采用预先训练的深度学习分割模型对待处理超声图像中的病灶进行分割，得到第一掩膜图像；采用预先训练的主动轮廓模型对所述第一掩膜图像中的病灶进行分割，得到第二掩膜图像；根据所述第一掩膜图像对所述第二掩膜图像中的病灶进行过滤，得到第三掩膜图像；提取所述第三掩膜图像中的病灶对应的先验特征、形状特征以及纹理特征；对所述先验特征、所述形状特征以及所述纹理特征进行融合，得到所述第三掩膜图像中的病灶对应的联合特征；根据所述联合特征确定所述待处理超声图像中的病灶的分类级别。
5.在一实施例中，所述采用预先训练的深度学习分割模型对待处理超声图像中的病灶进行分割，得到第一掩膜图像的步骤之前，还包括：获取原始超声图像；对所述原始超声图像进行各向异性扩散滤波，得到平滑图像；对所述平滑图像进行自适应直方图均衡化处理，得到所述待处理超声图像。
6.在一实施例中，所述根据所述第一掩膜图像对所述第二掩膜图像中的病灶进行过滤，得到第三掩膜图像的步骤包括：比对所述第一掩膜图像与所述第二掩膜图像，以得到所述第二掩膜图像中的病灶与所述第二掩膜图像中的病灶的差异信息；采用所述差异信息对所述第二掩膜图像中的病灶进行过滤，得到第三掩膜图像。
7.在一实施例中，所述先验特征至少包括所述病灶的形状规则度、方位特征、边缘特
征、回声模式、后方回声特征、钙化特征。
8.在一实施例中，提取所述第三掩膜图像中的病灶对应的形状特征的步骤包括：提取所述第三掩膜图像中的病灶的病灶区域轮廓；采用傅里叶描述符对所述病灶区域轮廓进行描述，得到所述形状特征。
9.在一实施例中，提取所述第三掩膜图像中的病灶对应的纹理特征的步骤包括：按照多个预设角度和多个预设像素距离确定所述第三掩膜图像中的病灶对应的多个灰度共生矩阵；根据各个所述灰度共生矩阵中的特征向量确定所述纹理特征。
10.在一实施例中，所述根据所述联合特征确定所述待处理超声图像中的病灶的分类级别的步骤包括：对所述联合特征进行归一化处理；将归一化处理后的所述联合特征输入预设分类模型，得到所述待处理超声图像中的病灶的分类级别。
11.在一实施例中，所述预设分类模型的训练过程包括:获取预设超声图像训练集；基于所述预设超声图像训练集，采用五折交叉验证法对待训练分类模型进行迭代训练；在所述待训练分类模型的收敛值小于预设阈值，停止对所述待训练分类模型的训练，并将停止训练的待训练分类模型保存为所述预设分类模型。
12.此外，为实现上述目的，本发明还提供了一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的医学超声图像识别程序，所述医学超声图像识别程序被所述处理器执行时实现上述的医学超声图像识别方法的步骤。
13.此外，为实现上述目的，本发明还提供了一种存储介质，其上存储有医学超声图像识别程序，所述医学超声图像识别程序被处理器执行时实现上述的医学超声图像识别方法的步骤。
14.本发明实施例中提供的一种医学超声图像识别方法、设备及存储介质的技术方案，至少具有如下技术效果或优点：由于采用了采用预先训练的深度学习分割模型对待处理超声图像中的病灶进行分割，得到第一掩膜图像，采用预先训练的主动轮廓模型对第一掩膜图像中的病灶进行分割，得到第二掩膜图像，根据第一掩膜图像对第二掩膜图像中的病灶进行过滤，得到第三掩膜图像，提取第三掩膜图像中的病灶对应的先验特征、形状特征以及纹理特征，对先验特征、形状特征以及纹理特征进行融合，得到第三掩膜图像中的病灶对应的联合特征，根据联合特征确定待处理超声图像中的病灶的分类级别的技术方案，解决了医生通过主观判断识别超声图像以对病人进行疾病诊断，疾病诊断结果的准性不高的技术问题，通过对超声图像进行多次分割，使得得到的最终分割结果图像更加精细，然后基于最终分割结果图像可以全面的提取到病灶对应的多类型病灶特征，有利于提高病灶分类的准确率。
附图说明
15.图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明医学超声图像识别方法的一实施例的流程示意图；图3为本发明的第一掩膜图像与第二掩膜图像的对比图；图4为本发明的乳腺病灶轮廓的边缘区域效果图；图5为本发明医学超声图像识别方法中步骤s230的具体流程示意图。
具体实施方式
16.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
17.如图1所示，图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
18.需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。
19.如图1所示，该终端设备可以包括：处理器1001，例如cpu，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如wi-fi接口）。存储器1005可以是高速ram存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
20.本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
21.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及医学超声图像识别程序。其中，操作系统是管理和控制终端设备硬件和软件资源的程序，医学超声图像识别程序以及其它软件或程序的运行。
22.在图1所示的终端设备中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的医学超声图像识别程序。
23.在本实施例中，终端设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器上运行的医学超声图像识别程序，其中：处理器1001调用存储器1005中存储的医学超声图像识别程序时，执行以下操作：采用预先训练的深度学习分割模型对待处理超声图像中的病灶进行分割，得到第一掩膜图像；采用预先训练的主动轮廓模型对所述第一掩膜图像中的病灶进行分割，得到第二掩膜图像；根据所述第一掩膜图像对所述第二掩膜图像中的病灶进行过滤，得到第三掩膜图像；提取所述第三掩膜图像中的病灶对应的先验特征、形状特征以及纹理特征；对所述先验特征、所述形状特征以及所述纹理特征进行融合，得到所述第三掩膜图像中的病灶对应的联合特征；
根据所述联合特征确定所述待处理超声图像中的病灶的分类级别。
24.处理器1001调用存储器1005中存储的医学超声图像识别程序时，还执行以下操作：获取原始超声图像；对所述原始超声图像进行各向异性扩散滤波，得到平滑图像；对所述平滑图像进行自适应直方图均衡化处理，得到所述待处理超声图像。
25.处理器1001调用存储器1005中存储的医学超声图像识别程序时，还执行以下操作：比对所述第一掩膜图像与所述第二掩膜图像，以得到所述第二掩膜图像中的病灶与所述第二掩膜图像中的病灶的差异信息；采用所述差异信息对所述第二掩膜图像中的病灶进行过滤，得到第三掩膜图像。
26.处理器1001调用存储器1005中存储的医学超声图像识别程序时，还执行以下操作：提取所述第三掩膜图像中的病灶的病灶区域轮廓；采用傅里叶描述符对所述病灶区域轮廓进行描述，得到所述形状特征。
27.处理器1001调用存储器1005中存储的医学超声图像识别程序时，还执行以下操作：按照多个预设角度和多个预设像素距离确定所述第三掩膜图像中的病灶对应的多个灰度共生矩阵；根据各个所述灰度共生矩阵中的特征向量确定所述纹理特征。
28.处理器1001调用存储器1005中存储的医学超声图像识别程序时，还执行以下操作：对所述联合特征进行归一化处理；将归一化处理后的所述联合特征输入预设分类模型，得到所述待处理超声图像中的病灶的分类级别。
29.处理器1001调用存储器1005中存储的医学超声图像识别程序时，还执行以下操作:获取预设超声图像训练集；基于所述预设超声图像训练集，采用五折交叉验证法对待训练分类模型进行迭代训练；在所述待训练分类模型的收敛值小于预设阈值，停止对所述待训练分类模型的训练，并将停止训练的待训练分类模型保存为所述预设分类模型。
30.本发明实施例提供了医学超声图像识别方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，该医学超声图像识别方法应用于疾病诊断。
31.如图2所示，在本发明的一实施例中，本发明的医学超声图像识别方法，包括以下步骤：步骤s210：采用预先训练的深度学习分割模型对待处理超声图像中的病灶进行分割，得到第一掩膜图像。
32.本实施例中，所述待处理超声图像是乳腺超声图像，乳腺超声图像中包含了乳腺病灶。具体的，深度学习分割模型是预先训练得到的，获取到待处理超声图像之后，将待处理超声图像作为深度学习分割模型的输入，深度学习分割模型对待处理超声图像中的乳腺病灶进行第一次分割，得到关于乳腺病灶第一次分割后的掩膜图像，也称mask图像，关于乳腺病灶第一次分割后的掩膜图称为第一掩膜图像。
33.进一步的，步骤s210之前，还包括：获取原始超声图像；对所述原始超声图像进行各向异性扩散滤波，得到平滑图像；对所述平滑图像进行自适应直方图均衡化处理，得到所述待处理超声图像。
34.其中，原始超声图像是指医学设备采集的原始乳腺超声图像，对原始乳腺超声图像进行各向异性扩散滤波处理后，可以使得图像平滑，减少图像散斑，对原始乳腺超声图像进行各向异性扩散滤波处理后得到的图像称为平滑图像。进而，对平滑图像进行自适应直方图均衡化处理，从而增强平滑图像的对比度，对平滑图像进行自适应直方图均衡化处理的平滑图像即为待处理超声图像。
35.步骤s220：采用预先训练的主动轮廓模型对所述第一掩膜图像中的病灶进行分割，得到第二掩膜图像。
36.本实施例中，主动轮廓模型是预先训练得到的，是一种目标轮廓描述方法，应用于基于形状的目标分割。得到第一掩膜图像之后，从第一掩膜图像中提取乳腺病灶的病灶轮廓，如图3所示，图3中的n表示从第一掩膜图像中提取乳腺病灶的病灶轮廓。将乳腺病灶的病灶轮廓作为二次分割的水平集，采用主动轮廓模型对第一掩膜图像中的病灶进行第二次分割，第二次分割的分割结果为分割后的第一掩膜图像，表示为第二掩膜图像。得到第二掩膜图像之后，通过第二掩膜图像可以提取到第二掩膜图像中的乳腺病灶的病灶轮廓，图3中的m表示第二掩膜图像中的乳腺病灶的病灶轮廓。
37.步骤s230：根据所述第一掩膜图像对所述第二掩膜图像中的病灶进行过滤，得到第三掩膜图像。
38.分别得到第一掩膜图像和第二掩膜图像后，根据第一掩膜图像对第二掩膜图像中的病灶进行过滤，即将第二掩膜图像中的病灶与第一掩膜图像中的病灶的具有的差异区域进行滤除，保留没有差异的区域，即实现了对第二掩膜图像中的病灶的过滤，过滤后的第二掩膜图像是最终的分割结果图，称为第三掩膜图像。
39.步骤s240：提取所述第三掩膜图像中的病灶对应的先验特征、形状特征以及纹理特征。
40.本实施例中，对第三掩膜图像进行特征提取，得到第三掩膜图像中的乳腺病灶对应的先验特征、形状特征以及纹理特征。先验特征至少包括乳腺病灶的形状规则度、方位特征、边缘特征、回声模式、后方回声特征和钙化特征，先验特征、形状特征以及纹理特征通过特征值进行表示。
41.形状规则度包括卵圆形和不规则，形状规则度的提取方式为：基于第三掩膜图像，计算乳腺病灶的病灶区域的拟合椭圆与病灶区域之间的差异程度adee、以及计算及乳腺病灶轮廓的边界上的点到拟合椭圆的平均距离cad，通过差异程度adee和平均距离cad来表示形状规则度，即形状规则度对应2个特征值，分别是差异程度adee和平均距离cad。差异程度
adee的计算公式以及平均距离cad计算公式如下：（1）；（2）；公式（1）和（2）中，ae表示病灶区域的拟合椭圆的像素数量，a
t
表示病灶区域的像素数量，a
e∩t
表示病灶区域和等效椭圆交叉区域的像素数量，n表示乳腺病灶轮廓的边界点的总个数，vmini表示乳腺病灶轮廓的边界第i个点到拟合椭圆的最小距离。
42.方位特征包括平行和非平行，方位特征的提取方式为：基于第三掩膜图像，首先计算病灶区域拟合椭圆的旋转角度，然后计算旋转角度与90
°
的差的绝对值，绝对值表示为a，以及计算第三掩膜图像中包含病灶区域的最小外接矩形的高与宽的比值，比值表示为r。方位特征包括2个特征值，分别是a和r，当绝a越接近90
°
度以及r越大表示乳腺病灶的方位越不平行，也就是说乳腺病灶生长的方向与皮肤层越不平行。a和r计算公式分别如下所示：（3）；（4）；公式（3）和（4）中，angle表示病灶区域拟合椭圆的旋转角度、height表示包含病灶区域的最小外接矩形的高，width表示包含病灶区域的最小外接矩形的宽。
43.边缘特征包括清晰与不清晰、有分叶和无分叶、成角和不成角、有毛刺和无毛刺，本实施例基于第三掩膜图像从模糊性、角性、微叶性和针状性四个方面去衡量乳腺病灶的边缘特征。边缘特征的提取方式为：关于计算乳腺病灶的边缘特征的模糊度，如图4所示，采用形态学梯度抽取乳腺病灶的边缘区域，然后用拉普拉斯模板获取边缘区域的像素拉普拉斯梯度值，最后计算出边缘区域的像素拉普拉斯梯度值的和，模糊度的计算公式如下所示：（5）；公式（5）中，blur表示乳腺病灶的边缘特征的模糊度，
▽
f(x，y)表示坐标(x，y)处的拉普拉斯梯度值，m表示乳腺病灶的边缘区域。
44.关于计算乳腺病灶的边缘特征的角性和微叶性，首先计算病灶区域的凸包与第三掩膜图像的差分图（差异图），然后计算差分图中轮廓的个数numberpeaks，以及差分图中每个轮廓到病灶轮廓的最大距离v，用个数numberpeaks来衡量边缘的角性，用最大距离v的平均值avgdistance来衡量边缘的微叶性。
45.关于计算乳腺病灶的边缘特征的针状性，采用病灶区域的最小凸包与病灶区域之间的像素数量差异性adch来衡量乳腺病灶的边缘特征的针状性，像素数量差异性adchd的计算公式如下所示：（6）；公式（6）中，ac表示病灶区域的最小凸包的像素数量，a
t
表示病灶区域的像素数量。
46.综上，边缘特征对应4个特征值，分别是模糊度blur、个数numberpeaks、最大距离v的平均值avgdistance、像素数量差异性adch。
47.回声模式包括无回声、低回声、不均匀回声、等回声和高回声，回声模式的提取方式为：基于第三掩膜图像，首先计算人体脂肪层的像素平均值，然后对乳腺病灶区域的mask图像做腐蚀操作处理，避免乳腺病灶边缘对内部回声的影响，然后确定出乳腺病灶的内部像素值中的总像素值、小于10的像素数量、小于人体脂肪层的像素灰度平均值的像素数目、大于人体脂肪层的像素平均值的像素数目、在人体脂肪层的像素灰度平均值（
±
10）周围的像素数目。其中，总像素值表示为s0、小于10的像素数量表示为s1、小于人体脂肪层的像素灰度平均值的像素数目表示为s2、大于人体脂肪层的像素平均值的像素数目表示为s3、在人体脂肪层的像素灰度平均值（
±
10）周围的像素数目表示为s4。然后分别计算s1与s0的比值e1，即e1=s1/s0；s2与s0的比值e2，即e2=s2/s0；s3与s0的比值e3，即e3=s3/s0；s4与s0的比值e4，即e4=s4/s0。其中，e1、e2、e3以及e4是回声模式对应的4个特征值。
48.通过e1-e4分别与预设阈值进行比较，以通过比较结果确定回声模式。例如预设阈值设置为1，如果e1越趋近1，则该乳腺病灶为无回声的可能性越大；如果e2越趋近1，则该乳腺病灶为低回声的可能性越大；如果e3越趋近1，则该乳腺病灶为高回声的可能性越大；如果e4越趋近1，则该乳腺病灶为等回声的可能性越大。
49.后方回声特征包括衰减、无变化、增强和混合型，后方回声特征的提取方式为：基于第三掩膜图像，计算乳腺病灶所在区域的平均灰度值，表示为p1，以及计算乳腺病灶的后方区域的平均灰度值，表示为p2，进而计算p1与p2的比值ac，通过比值ac衡量乳腺病灶的后方回声特征，比值ac是后方回声特征的1个特征值。
50.钙化特征包括无钙化和有钙化，钙化特征的提取方式为：基于第三掩膜图像，利用阈值化提取乳腺病灶内部的亮区域，计算亮区域的面积area，通过面积area来判断乳腺病灶内部是否存在钙化。其中，面积area是钙化特征的1个特征值。
51.基于第三掩膜图像，对先验特征中的乳腺病灶的形状规则度、方位特征、边缘特征、回声模式、后方回声特征和钙化特征进行提取后，得到先验特征对应的14个特征值。
52.基于第三掩膜图像，乳腺病灶对应的形状特征的提取方式为：提取第三掩膜图像中的病灶的病灶区域轮廓，采用傅里叶描述符对病灶区域轮廓进行描述，得到形状特征。即，先从第三掩膜图像中提取出乳腺病灶的病灶区域轮廓，然后采用傅里叶描述符对病灶区域轮廓进行描述，从而计算得到乳腺病灶对应的形状特征，所述形状特征包括若干个特征值，根据实际需求从形状特征中截取预设数量个特征值，例如，预设数量为52，即从形状特征中截取52个特征值。
53.基于第三掩膜图像，乳腺病灶对应的纹理特征的提取方式为：按照多个预设角度和多个预设像素距离确定第三掩膜图像中的病灶对应的多个灰度共生矩阵，根据各个灰度共生矩阵中的特征向量确定纹理特征。其中，多个预设角度分别是（0
°
、45
°
、90
°
、135
°
），（0
°
、45
°
、90
°
、135
°
）分别表示四个方向。预设像素距离的数量根据实际需求设定，每个预设像素距离都不相同，本实施例中设置所述数量为3，即预设像素距离具有3种，3种预设像素距离互不相同。进而，按照四个方向的三种预设像素距离计算第三掩膜图像中的乳腺病灶对应的灰度共生矩阵，计算得到的灰度共生矩阵共12个，通过12个灰度共生矩阵中的特征量来表示乳腺病灶对应的纹理特征。其中，每个灰度共生矩阵包括对比度、能量、熵、逆方
差、相关性，共5种特征量，通过12个灰度共生矩阵共提取了60个特征量，将60个特征量的值作为纹理特征的60个特征值。
54.步骤s250：对所述先验特征、所述形状特征以及所述纹理特征进行融合，得到所述第三掩膜图像中的病灶对应的联合特征。
55.本实施例中，通过计算第三掩膜图像中的乳腺病灶对应的先验特征、形状特征以及纹理特征，总共得到126个特征值。对先验特征、形状特征以及纹理特征进行融合，也就是将先验特征对应的特征值、形状特征对应的特征值以及纹理特征对应的特征值进行拼接，得到一个包括126个特征值的特征值矩阵，通过特征值矩阵表示第三掩膜图像中的乳腺病灶对应的联合特征。
56.步骤s260：根据所述联合特征确定所述待处理超声图像中的病灶的分类级别。
57.本实施例中，将联合特征作为预设分类模型的输入，预设分类模型对联合特征识别之后，输出待处理超声图像中的乳腺病灶的分类级别。其中，预设分类模型是指svm分类模型。预设分类模型的训练过程包括获取预设超声图像训练集，基于预设超声图像训练集，采用五折交叉验证法对待训练分类模型进行迭代训练，如果待训练分类模型的收敛值大于或者等于预设阈值，则认为此时训练后的待训练分类模型无法满足实际需求，模型的输出结果的误差较大，继续采用五折交叉验证法对待训练分类模型进行迭代训练；如果待训练分类模型的收敛值小于预设阈值，表示此时训练后的待训练分类模型可以满足实际需求，即模型的输出结果的误差较小，则停止对待训练分类模型的训练，并将停止训练的待训练分类模型保存为预设分类模型，即svm分类模型训练完成。
58.具体的，步骤s260包括：对所述联合特征进行归一化处理，将归一化处理后的所述联合特征输入预设分类模型，得到所述待处理超声图像中的病灶的分类级别。其中，考虑到联合特征中的各个特征值在数值类型上可能不是统一标准，对联合特征进行归一化处理之后，联合特征中的每个特征值介于0-1之间。进而，将归一化处理后的联合特征输入svm分类模型，svm分类模型输出乳腺病灶的分类级别。例如，svm分类模型的输出是bi-rads4，即所述待处理超声图像中乳腺病灶的分类级别是bi-rads4。
59.本实施例根据上述技术方案，可以自动对超声图像中的病灶进行分类分级，辅助医生进行超声诊断。本发明通过对超声图像进行多次分割，使得得到的最终分割结果图像更加精细，然后基于最终分割结果图像可以全面的提取到病灶对应的多类型病灶特征，有利于提高病灶分类的准确率。
60.如图4所示，本发明的医学超声图像识别方法中的步骤s230包括以下步骤：步骤s231：比对所述第一掩膜图像与所述第二掩膜图像，以得到所述第二掩膜图像中的病灶与所述第二掩膜图像中的病灶的差异信息；步骤s232：采用所述差异信息对所述第二掩膜图像中的病灶进行过滤，得到第三掩膜图像。
61.具体的，将第一掩膜图像与第二掩膜图像进行比对，得到第二掩膜图像中的病灶与第二掩膜图像中的病灶的差异信息，所述差异信息包括差异较小区域和差异较大区域，差异小的区域如毛刺、角点、针状体，差异大的区域如伪影、回声，将第二掩膜图像中的病灶对应的差异较小区域进行保留，将第二掩膜图像中的病灶对应的差异较大区域进行滤除，从而得到第三掩膜图像，有利于后续病灶特征提取的准确性。
62.进一步的，本发明还提供了一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的医学超声图像识别程序，所述医学超声图像识别程序被所述处理器执行时实现上述的医学超声图像识别方法的步骤。
63.进一步的，本发明还提供了一种存储介质，其上存储有医学超声图像识别程序，所述医学超声图像识别程序被处理器执行时实现上述的医学超声图像识别方法的步骤。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
64.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
65.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
66.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
67.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
68.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
69.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。