小肠状态异常检测方法、装置及电子设备与流程

1.本发明涉及医疗影像智能诊断技术领域，尤其是涉及一种小肠状态异常检测方法、装置及电子设备。


背景技术：

2.在现今的小肠疾病检测行业中，胶囊内镜图像诊断系统是主要的检测工具，但是由于小肠疾病病症形态形势复杂多样且稀有病症病例数稀少，该胶囊内镜图像诊断系统难以获取足够的标签数据去构造可覆盖所有种类小肠疾病的诊断模型，同时胶囊内镜图像诊断系统在进行检测过程中的检测量大，长时间的检测工作导致浪费大量人力物力，进而导致医生的专注力下降，导致误诊和漏诊，因此，研发一种融合人工智能方法的胶囊内镜图像智能诊断系统以基于胶囊内窥镜图像中的空间尺度关联性去检测小肠疾病是未来小肠疾病诊断的主要方向。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种小肠状态异常检测方法、装置及电子设备，以改善上述技术问题。
4.第一方面，本发明实施例提供了一种小肠状态异常检测方法，所述方法包括以下步骤：
5.将待检测小肠图像分割成多个子图像；
6.将多个所述子图像输入至预先训练好的异常评估模型，得到每个所述子图像的状态异常置信度；
7.根据每个所述子图像的状态异常置信度，确定所述待检测小肠图像的检测结果。
8.结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述异常评估模型包括特征提取模块和状态评估模块；
9.所述将多个所述子图像输入至预先训练好的异常评估模型，得到每个所述子图像的状态异常置信度，包括：
10.对于每个所述子图像，将该子图像输入至所述特征提取模块进行特征提取，得到该子图像的图像特征；
11.将该子图像的图像特征输入至所述状态评估模块进行与无病症图像的比对，得到该子图像相对于所述无病症图像的状态异常置信度。
12.结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据每个所述子图像的状态异常置信度，确定所述待检测小肠图像的检测结果，包括：
13.所述从多个所述子图像中筛选出状态异常置信度大于预设的置信度阈值的候选子图像；
14.根据所述候选子图像，确定与所述待检测小肠图像对应的状态异常的小肠部位。
15.结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种
可能的实施方式，其中，述根据所述候选子图像，确定与所述待检测小肠图像对应的状态异常的小肠部位，包括：
16.将所述候选子图像与预先存储的假状态子图像进行比对，得到特征相似度；其中，所述假状态子图像为无病症图像被分割成的多个正常子图像中差异评分高于预设的状态异常分数阈值的正常子图像；
17.从所述候选子图像中剔除特征相似度高于预设相似度的候选子图像，得到目标子图像；
18.将所述目标子图像对应的小肠部位确定为状态异常的小肠部位。
19.结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：
20.获取原始样本图像；
21.将所述原始样本图像分割成多个样本子图像，得到子图像集；
22.将所述子图像集分为训练子集和测试子集；
23.将所述训练子集输入至待训练的异常评估模型，对所述待训练的异常评估模型进行训练，以生成训练后的异常评估模型；
24.将所述测试子集输入至所述训练后的异常评估模型，对所述异常评估模型进行测试，以得到训练好的异常评估模型。
25.结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述对所述子特征图进行重组，得到特征图，包括：
26.利用通道拼接算法对所述子特征图进行重组，得到特征图。
27.第二方面，本发明实施例还提供一种小肠状态异常检测装置，所述装置包括：
28.图像分割模块，用于将待检测小肠图像分割成多个子图像；
29.异常评估模块，用于将多个所述子图像输入至预先训练好的异常评估模型，得到每个所述子图像的状态异常置信度；
30.异常确定模块，用于根据每个所述子图像的状态异常置信度，确定所述待检测小肠图像的检测结果。
31.结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述异常评估模型包括特征提取模块和状态评估模块：
32.所述异常评估模块具体用于；
33.对于每个所述子图像，将该子图像输入至所述特征提取模块进行特征提取，得到该子图像的图像特征；
34.将该子图像的图像特征输入至所述状态评估模块进行与无病症图像的比对，得到该子图像相对于所述无病症图像的状态异常置信度。
35.结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述异常确定模块具体用于：
36.从多个所述子图像中筛选出状态异常置信度大于预设的置信度阈值的候选子图像；
37.根据所述候选子图像，确定与所述待检测小肠图像对应的状态异常的小肠部位。
38.第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器
中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上文所述的方法。
39.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上文所述的方法。
40.本发明实施例带来了以下有益效果：本发明实施例提供的一种小肠状态异常检测方法、装置及电子设备，首先将待检测小肠图像分割成多个子图像，然后将多个子图像输入至预先训练好的异常评估模型，得到每个子图像的状态异常置信度，最后根据每个子图像的状态异常置信度，最终确定待检测小肠图像的检测结果。本发明实施例的小肠状态异常检测方法、装置及电子设备，通过将待检测小肠图像分割成多个子图像，并根据预先训练好的异常评估模型来获取每个子图像的状态异常置信度，进而根据状态异常置信度来确定小肠图像是否异常，可以确保对待检测小肠图像中任意一块区域都进行独立评估，防止了误诊和漏诊，提高了检测结果的准确性，并解决了难以获取足够的标签数据去构造可覆盖所有种类小肠疾病的诊断模型的技术问题。
41.本发明的其他特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构中实现和获得。
42.为使本发明的上述目的、特征和优点能够更加明显易懂，下文特举优选实施例，并配合所附附图，作详细说明如下。
附图说明
43.为了更清楚地说明本发明的具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明实施例提供的一种小肠状态异常检测方法的流程图；
45.图2为本发明实施例提供的另一种小肠状态异常检测方法的流程图；
46.图3为本发明实施例提供的将待检测小肠图像分割成多个子图像的过程示意图；
47.图4为本发明实施例提供的一种异常评估模型的训练过程和应用过程的流程图；
48.图5为本发明实施例提供的一种小肠状态异常检测装置的结构框图；
49.图6为本发明实施例提供的对置信度结果进行分析的流程图；
50.图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.在现今的小肠疾病检测行业中，胶囊内镜图像诊断系统是主要的检测工具，但是
由于小肠疾病病症形态形势复杂多样且稀有病症病例数稀少，该胶囊内镜图像诊断系统难以获取足够的标签数据去构造可覆盖所有种类小肠疾病的诊断模型，同时胶囊内镜图像诊断系统在进行检测过程中的检测量大，长时间的检测工作导致浪费大量人力物力，进而导致医生的专注力下降，导致误诊和漏诊，因此，研发一种融合人工智能方法的胶囊内镜图像智能诊断系统以基于胶囊内窥镜图像中的空间尺度关联性去检测小肠疾病是未来小肠疾病诊断的主要方向。基于此，本发明实施例提供了一种小肠状态异常检测方法、装置及电子设备，以缓解上述问题。
53.为了便于对本实施例进行理解，首先对本发明实施例所公开的一种小肠状态异常检测方法进行详细介绍。
54.本发明实施例提供了一种小肠状态异常检测方法，该方法可以由具有数据处理能力的电子设备执行，该电子设备可以是台式机、笔记本电脑、掌上电脑、平板电脑或手机等。参见图1所示的一种小肠状态异常检测方法的流程图，该方法主要包括以下步骤：
55.步骤s102：将待检测小肠图像分割成多个子图像。
56.其中，可将待检测小肠图像分割成多个尺寸相同或不同的子图像，但优选地，将待检测小肠图像分割成多个尺寸向相同的子图像，这样更有助于对小肠图像的检测工作，本发明实施例对小肠图像的尺寸问题并不进行限制。
57.步骤s104：将多个上述子图像输入至预先训练好的异常评估模型，得到每个子图像的状态异常置信度。
58.在一些可能的实施例中，可以将卷积神经网络(convolutional neural network，cnn)模型融合到一长短时记忆(long short term memory，lstm)网络模型中，以构建异常评估模型cnn
‑
lstm，其中，经由cnn提取的图像特征将作为lstm的输入。
59.步骤s106：根据每个上述子图像的状态异常置信度，确定待检测小肠图像的检测结果。
60.其中，置信度为统计学中的一个概念，用于表示待测参数落入某区间范围的概率或可能性，那么，本发明实施例中的状态异常置信度即为待测图像参数落入预设状态异常区间内的概率或可能性，因此可以根据每个子图像的状态异常置信度，确定该子图像对应的小肠部位是否为状态异常的小肠部位。
61.本发明实施例带来了以下有益效果：本发明实施例通过一种小肠状态异常检测方法，首先将待检测小肠图像分割成多个子图像，然后将多个子图像输入至预先训练好的异常评估模型，得到每个子图像的状态异常置信度，最后根据每个子图像的状态异常置信度，最终确定待检测小肠图像的检测结果。本发明实施例的小肠状态异常检测方法、装置及电子设备，通过将待检测小肠图像分割成多个子图像，并根据预先训练好的异常评估模型来获取每个子图像的状态异常置信度，进而根据状态异常置信度来确定小肠图像是否异常，可以确保对待检测小肠图像中任意一块区域都进行独立评估，防止了误诊和漏诊，提高了检测结果的准确性，并解决了难以获取足够的标签数据去构造可覆盖所有种类小肠疾病的诊断模型的技术问题。
62.为了便于对图1中的方法的理解，我们对图1中的内容进行了进一步的细化，参照图2所示的另一种小肠状态异常检测方法的流程图，在实际使用时，上述异常评估模型包括特征提取模块和状态评估模块，该方法还可以通过以下步骤实现：
63.步骤s202：将待检测小肠图像分割成多个子图像。
64.参照图3所示的将待检测小肠图像分割成多个子图像的过程示意图，如图3所示，该过程包括四个步骤：
65.第一步，选取一个固定大小的图像，如图3第一步中的矩形框对应的图像。
66.第二步，以该图像的中心圈出一定半径的圆形区域作为待检测小肠图像。
67.第三步，以固定大小的图像遍历该待检测小肠图像，以分割成多个子图像。
68.第四步，以该固定大小的图像作为待检图像，并以其他遍历出的子图像为关联性图像。
69.需要说明的是，上述过程是以多个子图像的尺寸均相同为例进行说明的，在其他实施例中，该多个子图像的尺寸也可以是不同或不完全相同的。
70.步骤s204：对于每个子图像，将该子图像输入至特征提取模块进行特征提取，得到该子图像的图像特征。
71.其中，异常评估模型中的特征提取模块为cnn，其对子图像进行特征提取，并将提取出的图像特征输入至异常评估模型中的状态评估模块lstm进行与无病症图像的比对。
72.步骤s206：将该子图像的图像特征输入至状态评估模块进行与无病症图像的比对，得到该子图像相对于无病症图像的状态异常置信度。
73.理论上，在无病症的小肠图像中，由于在无病症的情况下，肠道内部的形态和颜色均保持高度的一致性，因此，任意区域的图像特征与周围其他区域的图像特征保持高度的一致性。而对于有病症的小肠图像中，异常区域的图像与无病症的小肠图像将表现出完全不同形态和/或颜色，形态和/或颜色与病症图像相差越大，异常置信度越大，反之，形态和/或颜色与病症图像相差越小则异常信度越小。
74.步骤s208：从多个子图像中筛选出状态异常置信度大于预设的置信度阈值的候选子图像。
75.其中，多个子图像中的状态异常置信度小于预设的置信度阈值的子图像可以确定为无病症图像。
76.步骤s210：根据上述候选子图像，确定与待检测小肠图像对应的状态异常的小肠部位。
77.本发明实施例提供了两种可确定状态异常的小肠部位的方法：
78.第一种方法：直接将候选子图像对应的小肠部位，确定为状态异常的小肠部位。
79.第二种方法：首先确定出状态异常置信度大于预设的置信度阈值的候选子图像，然后再从候选子图像中剔除无病症图像被分割成的多个正常子图像中差异评分高于预设的状态异常分数阈值的正常子图像，即剔除假异常图像，将剔除操作后剩余的候选子图像对应的小肠部位，确定为状态异常的小肠部位。
80.基于此，上述步骤s210可以通过如下过程实现：将候选子图像与预先存储的假状态子图像进行比对，得到特征相似度；其中，该假状态子图像为无病症图像被分割成的多个正常子图像中差异评分高于预设的状态异常分数阈值的正常子图像；从上述候选子图像中剔除特征相似度高于预设相似度的候选子图像，得到目标子图像；将上述目标子图像对应的小肠部位确定为状态异常的小肠部位。
81.在第二种方法中，通过剔除候选子图像中的假异常图像，使得该小肠状态异常检
测的精确度更高，可以防止假异常图像造成的误诊现象。
82.综上所述，本发明的小肠状态异常检测方法，首先将待检测小肠图像分割成多个子图像，然后将多个子图像输入至预先训练好的异常评估模型，得到每个子图像的状态异常置信度，最后根据每个子图像的状态异常置信度，最终确定待检测小肠图像的检测结果。本发明实施例的小肠状态异常检测方法、装置及电子设备，通过将待检测小肠图像分割成多个子图像，并根据预先训练好的异常评估模型来获取每个子图像的状态异常置信度，进而根据状态异常置信度来确定小肠图像是否异常，可以确保对待检测小肠图像中任意一块区域都进行独立评估，防止了误诊和漏诊，提高了检测结果的准确性，并解决了难以获取足够的标签数据去构造可覆盖所有种类小肠疾病的诊断模型的技术问题。
83.为了得到训练好的异常评估模型，首先需要对待训练的异常评估模型进行训练，然后利用该训练好的异常评估模型应用于对待检测小肠图像的检测，参照图4所示的一种异常评估模型的训练过程和应用过程的流程图，该流程包括模型训练和模型应用两个阶段。
84.其中，在异常评估模型的模型训练阶段，通过训练异常评估模型得到预先训练好的异常评估模型，对异常评估模型的训练过程如下：获取原始样本图像；将该原始样本图像分割成多个样本子图像，得到子图像集；将该子图像集分为训练子集和测试子集；将训练子集输入至待训练的异常评估模型，对该待训练的异常评估模型进行训练，以生成训练后的异常评估模型；将测试子集输入至训练后的异常评估模型，对该异常评估模型进行测试，以得到训练好的异常评估模型。上述对异常评估模型的训练过程即图4中左半部分，通过图像分割模块将原始样本图像分割成多个子图像，然后利用该多个子图像对异常评估模型进行训练和测试，以构建训练好的异常评估模型—cnn
‑
lstm模型。
85.而在异常评估模型的模型应用阶段，如图4所示的右半部分，首先将待检测图像同训练过程中一样分割成多个子图像作为训练好的cnn
‑
lstm模型的输入，得到的置信度值再输入到置信度比较单元进行与预设的置信度阈值的比较，在置信度大于与预设的置信度阈值的子图像中剔除假异常子图像后，得到的子图像中均为状态异常图像，从而触发异常报警。
86.对应于上述实施方式提供的小肠状态异常检测方法，本发明实施例还提供了一种小肠状态异常检测装置，图5本发明实施例提供的一种小肠状态异常检测装置的结构框图。如图5所示，该装置包括：
87.图像分割模块501，用于将待检测小肠图像分割成多个子图像；
88.异常评估模块502，用于将多个所述子图像输入至预先训练好的异常评估模型，得到每个所述子图像的状态异常置信度；
89.异常确定模块503，用于根据每个所述子图像的状态异常置信度，确定所述待检测小肠图像的检测结果。
90.综上所述，本发明的小肠状态异常检测装置，首先将待检测小肠图像分割成多个子图像，然后将多个子图像输入至预先训练好的异常评估模型，得到每个子图像的状态异常置信度，最后根据每个子图像的状态异常置信度，最终确定待检测小肠图像的检测结果。本发明实施例的小肠状态异常检测方法、装置及电子设备，通过将待检测小肠图像分割成多个子图像，并根据预先训练好的异常评估模型来获取每个子图像的状态异常置信度，进
而根据状态异常置信度来确定小肠图像是否异常，可以确保对待检测小肠图像中任意一块区域都进行独立评估，防止了误诊和漏诊，提高了检测结果的准确性，并解决了难以获取足够的标签数据去构造可覆盖所有种类小肠疾病的诊断模型的技术问题。
91.进一步地，异常评估模型包括特征提取模块和状态评估模块；
92.上述异常评估模块502还用于：
93.对于每个所述子图像，将该子图像输入至所述特征提取模块进行特征提取，得到该子图像的图像特征；
94.将该子图像的图像特征输入至所述状态评估模块进行与无病症图像的比对，得到该子图像相对于所述无病症图像的状态异常置信度。
95.进一步地，上述异常确定模块503还用于：
96.从多个所述子图像中筛选出状态异常置信度大于预设的置信度阈值的候选子图像；
97.根据所述候选子图像，确定与所述待检测小肠图像对应的状态异常的小肠部位。
98.进一步地，上述异常确定模块503还用于：
99.将所述候选子图像与预先存储的假状态子图像进行比对，得到特征相似度；其中，所述假状态子图像为无病症图像被分割成的多个正常子图像中差异评分高于预设的状态异常分数阈值的正常子图像；
100.从所述候选子图像中剔除特征相似度高于预设相似度的候选子图像，得到目标子图像；
101.将所述目标子图像对应的小肠部位确定为状态异常的小肠部位。
102.进一步地，上述装置还包括训练模块，该训练模块用于：
103.获取原始样本图像；
104.将所述原始样本图像分割成多个样本子图像，得到子图像集；
105.将所述子图像集分为训练子集和测试子集；
106.将所述训练子集输入至待训练的异常评估模型，对所述待训练的异常评估模型进行训练，以生成训练后的异常评估模型；
107.将所述测试子集输入至所述训练后的异常评估模型，对所述异常评估模型进行测试，以得到训练好的异常评估模型。
108.为了对异常评估模型有进一步的了解，我们对其建立规则进行描述，以基于该规则根据该置信度结果进一步确定待检小肠图像是否异常，异常评估模型的规则如下：
109.规则一：小肠形态呈现各种各样的形态和颜色，对于无病症图像，从其分割得到的子图像的真实状态与预测状态不匹配的情况也是时有发生的，因此，有必要在判断异常时将假异常情况考虑进来。
110.规则二：对于待检小肠图分割得到的子图像，如果这些子图像中存在与其周围关联区域的子图像差异较大的子图像时，则该子图像将很有可能是含有病变的图像。
111.规则三：如果这些子图像中存在具有置信度的异常高值的子图像时，该子图像将很有可能是含有病变的图像。
112.参照图6所示的对置信度结果进行分析的流程图，上述异常确定模块503包括置信度比较单元601、假异常消除单元602和态势评估单元603，当多个子图像各自的置信度结果
输入到置信度比较单元601时，筛选出置信度大于预设的置信度阈值的子图像，并将这些子图像输入到假异常消除单元602，消除与预先存储的假状态子图像相似度高于预设相似度的子图像之后的子图像并输入至态势评估单元603，当消除相似度高于预设相似度的子图像之后得到的子图像满足规则二和规则三中的内容时，则态势评估单元603确定该子图像对应的小肠部位状态异常。
113.本发明实施例提供的小肠状态异常检测装置，与上述实施例提供的小肠状态异常检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
114.本发明实施例还提供了一种电子设备。参见图7所示的一种电子设备的结构示意图，该电子设备包括：处理器700，存储器701，总线702和通信接口703，所述处理器700、通信接口703和存储器701通过总线702连接；处理器700用于执行存储器701中存储的可执行模块，例如计算机程序。
115.其中，存储器701可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non
‑
volatile memory，简称nvm)，例如至少一个磁盘存储器。通过至少一个通信接口(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
116.总线702可以是工业标准体系结构(industry standard architecture，简称isa)总线、外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
117.其中，存储器701用于存储程序，所述处理器700在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的装置所执行的方法可以应用于处理器700中，或者由处理器700实现。
118.处理器700可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器700中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器700可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field
‑
programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701，处理器700读取存储器701中的信息，结合其硬件完成上述方法的步骤。
119.另外，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上文所述的方法。
120.本发明实施例所提供的小肠状态异常检测方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
121.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
122.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
123.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
124.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
125.最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。