图像分类方法、装置、电子设备、计算机可读存储介质与流程

1.本发明涉及图像聚类技术领域，尤其是涉及一种图像分类方法、装置、电子设备、计算机可读存储介质。


背景技术：

2.卷积神经网络(cnn)作为深度学习的热门方法，通过对图像进行一系列的卷积和池化操作，得到图像的高阶特征，再通过全连接层(fc)对特征进行分类以达到对图像的分类。基于卷积神经网络的图像分类技术在分类精度上取得了巨大的进步，具有非常高的实用价值，在智能交通等应用场景中常被用来对车辆，车牌类型，车牌国别等进行分类。但是卷积神经网络对于小目标的物体的检测准确率有待提升，使得图像分类精度不足。


技术实现要素：

3.本发明提供一种图像分类方法、装置、电子设备、计算机可读存储介质，该方法能够提高图像分类结果的准确性。
4.为解决上述技术问题，本发明提供的第一个技术方案为：提供一种图像分类方法，包括：获取包含待处理目标的待处理图像；对待处理图像进行特征提取，得到多个特征集合；每一特征集合包含空间特征和语义特征，不同特征集合包含的空间特征和语义特征不同；空间特征是基于待处理目标在待处理图像中的位置信息确定的，语义特征是基于待处理目标的属性信息确定的；基于多个特征集合对待处理目标进行目标分类。
5.其中，对待处理图像进行特征提取，得到多个特征集合的步骤，包括：对待处理图像进行处理，得到第一特征集合；对第一特征集合进行处理，得到第二特征集合；对第二特征集合进行处理，得到第三特征集合；对第三特征集合进行处理，得到第四特征集合；其中，第一特征集合、第二特征集合、第三特征集合以及第四特征集合各自包含的空间特征对目标分类的影响值依次减小；第一特征集合、第二特征集合、第三特征集合以及第四特征集合各自包含的语义特征对目标分类的影响值依次增大。
6.其中，基于多个特征集合对待处理目标进行分类的步骤之前，还包括：将待处理图像输入特征提取网络；特征提取网络包括依次串联的第一卷积层、第二卷积层、第三卷积层和第四卷积层；利用第一卷积层对第一特征集合进行处理，得到第一特征图；利用第二卷积层对第二特征集合进行处理，得到第二特征图；利用第三卷积层对第三特征集合进行处理，得到第三特征图；利用第四卷积层对第四特征集合进行处理，得到第四特征图。
7.其中，第一卷积层、第二卷积层、第三卷积层以及第四卷积层为1
×
1卷积层。
8.其中，基于多个特征集合对待处理目标进行目标分类的步骤，包括：将第四特征集合与第四特征图进行融合，得到第一融合特征；将第三特征图与第一融合特征进行融合，得到第二融合特征；将第二特征图与第二融合特征进行融合，得到第三融合特征；将第一特征图与第三融合特征进行融合，得到第四融合特征；基于第一融合特征、第二融合特征、第三融合特征以及第四融合特征对待处理目标进行目标分类。
9.其中，基于第一融合特征、第二融合特征、第三融合特征以及第四融合特征对待处理目标进行目标分类的步骤，包括：分别利用分类器对第一融合特征、第二融合特征、第三融合特征以及第四融合特征进行分类，进而得到第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果；基于第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果，确定待处理目标的分类结果。
10.其中，基于第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果，确定待处理目标的分类结果的步骤，包括：确定第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果的平均值；对平均值进行归一化处理，得到待处理目标的分类结果。
11.其中，将第三特征图与第一融合特征进行融合，得到第二融合特征的步骤，包括：对第一融合特征进行上采样处理，将第三特征图与上采样处理后的第一融合特征进行特征融合，得到第二融合特征；将第二特征图与第二融合特征进行融合，得到第三融合特征的步骤，包括：对第二融合特征进行上采样处理，将第二特征图与上采样处理后的第二融合特征进行特征融合，得到第三融合特征；将第一特征图与第三融合特征进行融合，得到第四融合特征的步骤，包括：对第三融合特征进行上采样处理，将第一特征图与上采样处理后的第三融合特征进行特征融合，得到第四融合特征。
12.为解决上述技术问题，本发明提供的第二个技术方案为：提供一种图像分类装置，图像分类装置包括：获取模块，用于获取包含待处理目标的待处理图像；特征提取模块，用于对待处理图像进行特征提取，得到多个特征集合；每一特征集合包含空间特征和语义特征，不同特征集合包含的空间特征和语义特征不同；空间特征是基于待处理目标在待处理图像中的位置信息确定的，语义特征是基于待处理目标的属性信息确定的；分类模块，用于基于多个特征集合对待处理目标进行目标分类。
13.为解决上述技术问题，本发明提供的第三个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，存储器存储有程序指令，处理器从存储器调取程序指令以执行上述任一项的方法。
14.为解决上述技术问题，本发明提供的第四个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的方法。
15.本发明的有益效果，区别于现有技术的情况，本发明对待处理图像进行特征提取，每一特征集合包含空间特征和语义特征，不同特征集合包含的空间特征和语义特征不同；空间特征基于待处理目标在待处理图像中的位置信息确定的，语义特征是基于待处理目标的属性信息确定的；基于多个特征集合对待处理目标进行目标分类。该方法将空间特征与语义特征进行结合，能够提高分类结果的准确性。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
17.图1为本发明图像分类方法的一实施例的流程示意图；
18.图2为resnet18网络的一实施例的示意图；
19.图3为图像分类方法的另一实施例的流程示意图；
20.图4为图1中步骤s12的第三实施例的流程示意图；
21.图5为本发明残差模块的一实施例的示意图；
22.图6为本发明图像分类装置的一实施例的结构示意图；
23.图7为本发明电子设备的一实施例的结构示意图；
24.图8为本发明计算机可读存储介质的一实施例的结构示意图。
具体实施方式
25.现有技术具有一种面向图像分类的深度卷积神经网络的优化方法，该方法的设计要点是通过采用最大均值池化方式和在多个全连接层采用maxout激活函数，提高所学特征的精度以达到优化目的。并且隐层的二值哈希编码使用网络能够学习高效二值哈希编码，从而减少计算开销。该方案虽然依靠隐层的二值哈希编码减少计算开销，但二值哈希编码将造成精度损失，使提升效果被削弱。
26.现有技术具有一种基于空间融合池化的深度神经网络方法，该方法的设计要点是基于空间融合池化的深度卷积神经网络提取更为稳定的特征，保持网络的平移不变形，得到更具表达力的特征从而提升图像识别分类任务的准确率。同时通过空间融合池化降低了空间通道数，提升了网络运行效率，从而提升图像识别分类任务的效率。但是该方法空间融合池化只是在同一层进行空间上的融合，即其融合的特征尺度相同，虽然对提取的特征起到了一定的改善作用，但并没有利用网络其他层提取特征进行补充，整体提升效果有限，最终就是导致模型学习到的特征不够，从而导致使用模型对图像进行分类的准确度降低。
27.本技术提供一种图像分类方法，该方法能够改进网络提取特征的局限性，提升网络在学习过程中提取的特征的丰富度，从而使得网络能够学习到更多的图像特征，进而使得训练后的模型对图像进行分类的准确度提升。下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.请参见图1，为本发明图像分类方法的第一实施例的流程示意图，具体包括：
29.步骤s11：获取包含待处理目标的待处理图像。
30.具体的，可以从外部接收包含待处理目标的待处理图像，也可以通过摄像装置拍摄图像，得到包含待处理目标的待处理图像。
31.步骤s12：对待处理图像进行特征提取，得到多个特征集合；每一特征集合包含空间特征和语义特征，不同特征集合包含的空间特征和语义特征不同。
32.作为一种实施例，本技术实施例中上述空间特征可以是基于待处理图像中的待处理目标在待处理图像中的位置信息确定的，上述语义特征可以是基于待处理目标的属性信息确定的，其中空间特征和语义特征的具体内容将在下文中做进一步说明。
33.作为一种实施例，本步骤中可以但不局限于利用网络模型对待处理图像进行特征提取，进而得到多个特征集合，每一特征集合包含空间特征和语义特征，不同特征集合包含的空间特征和语义特征不同。本技术的网络模型包括骨干网络以及特征金字塔网络。骨干
网络为resnet18网络，该网络通过cifar100公开数据集训练得到，cifar100公开数据集的图像尺寸为32
×
32，resnet18网络能够平衡计算开销。特征金字塔网络为fpn网络。
34.本实施例中，为了使得resnet18网络能够应用于小尺寸的图像分类，将原来的resnet18网络中步长为2的7
×
7卷积层以及步长为2的3
×
3最大池化层去掉，替换为1个步长为1的3
×
3卷积层，后续级联4个残差模块，其中第一个残差模块通过步长为1的3
×
3卷积层调整提取的特征集合，后面3个残差模块通过步长为2的3
×
3卷积层提取分类所需的其余的特征集合。能够在确保语义特征和空间特征提取充分的同时避免因为下采样过多导致最后的特征图过小而丢失信息。具体如图2所示，其中，残差模块1、残差模块2、残差模块3、残差模块4用于提取特征集合。
35.进一步的，为了确保语义特征提取充分的同时，避免因为下采样过多导致最后的特征图过小而丢失信息，在4个残差模块后分别加入1
×
1的卷积层，用以调整相应残差模块的特征图深度，然后接入fpn网络，通过上采样将下层包含更多语义信息的特征图与上层特征图对其，融合得到新的特征图。具体的如图3所示。
36.具体请结合图3以及图4，步骤s12具体包括：
37.步骤s121：对待处理图像进行处理，得到第一特征集合。
38.具体的，利用如图2所示的残差模块1对待处理图像进行处理，得到第一特征集合。
39.在一实施例中，利用残差模块1对待处理图像进行处理，得到第一特征集合之前，还包括：利用3
×
3的卷积层对待处理图像进行处理。如图3所示，利用3
×
3的卷积层对待处理图像进行处理，然后将输出结果输入至残差模块1中进行处理，得到第一特征集合。
40.在一具体实施例中，待处理图像在经过3
×
3的卷积层处理后，还可以利用bn层对输出结果进行处理，然后将输出结果输入至残差模块1中进行处理，得到第一特征集合。
41.在一实施例中，如图5所示，图5为残差模块的一实施例的示意图。具体的，残差模块1包括依次级联的两个卷积层，卷积层为3
×
3的卷积层。也即待处理图像经过3
×
3卷积层以及bn层处理之后，将处理结果输入至残差模块1的输出层中，经过3
×
3卷积层1以及3
×
3卷积层2处理，得到第一处理结果，然后将输入层的数据经1
×
1卷积层处理后，得到第二处理结果，将第一处理结果与第二处理结果进行求和，利用激活函数对求和结果进行处理，进而得到第一特征集合。
42.进一步的，可以在残差模块中的每一个3
×
3卷积层后续接一个bn层，例如，3
×
3卷积层1后接bn层1，3
×
3卷积层2后接bn层2。
43.步骤s122：对第一特征集合进行处理，得到第二特征集合。
44.结合图3，在一实施例中，利用残差模块2对第一特征集合进行处理，得到第二特征集合。
45.步骤s123：对第二特征集合进行处理，得到第三特征集合。
46.利用残差模块3对第二特征集合进行处理，得到第三特征集合。
47.步骤s124：对第三特征集合进行处理，得到第四特征集合。
48.利用残差模块4对第三特征集合进行处理，得到第四特征集合。
49.其中，残差模块1、残差模块2、残差模块3以及残差模块4均为图5所示。
50.在一实施例中，由于残差模块1是对待处理图像进行下采样处理，残差模块2是对第一特征集合进行下采样处理，残差模块3是对第二特征集合进行下采样处理，残差模块4
是对第三特征集合进行下采样处理，因此第一特征集合、第二特征集合、第三特征集合以及第四特征集中各自包含的空间特征对目标分类的影响值依次减小；第一特征集合、第二特征集合、第三特征集合以及第四特征集合各自包含的语义特征对目标分类的影响值依次增大；其中不同的特征(即本技术实施例中的语义特征和空间特征)对目标分类的影响值，可以但不局限于理解为不同的特征相对于目标分类这一操作的影响程度或重要程度；一个特征对目标分类的影响值越大，则在进行目标分类的过程中更加偏向于基于该特征去判别目标的类别等。
51.作为一种实施例，本技术实施例中空间特征基于待处理目标在待处理图像中的位置信息确定的，语义特征是基于待处理目标的属性信息确定的；以下对空间特征和语义特征进行进一步的示例性说明：
52.比方说，一张大小为256x256的图像内是一张熊猫的照片，“熊猫”这个物体并不会占据整个图像，有一定的空间留白，还会有诸如地面或者树枝等等背景。所谓“空间特征”即是指我们需要分类的物体，也就是熊猫在图中的相对位置，这里的相对位置是相对于参照物来决定的，可以是整张图像(如果没有其他背景干扰)，也可以是相对背景的(比如熊猫坐在一颗树枝上)或者其他物体(比如熊猫和饲养员)。神经网络在处理图像时，早期会保留比较明显的物体与物体之间的边界。例如，在本技术中通过残差模块1之后得到的特征集合，这些特征集合中能给分类器提供的信息主要是物体与物体之间的界限，即所谓的空间特征。随着网络深度的增加，在本技术中即为通过后续的残差模块处理之后，由于下采样的关系，所得特征图大小在减小，物体与物体之间的边界开始模糊，最终变成无法用人眼辨识的抽象图代表需要分类的物体(即熊猫)，这些人眼无法辨识的抽象图即为本技术所指的语义特征。在整个网络的处理过程中，随着特征图的减小，物体与物体之间的边界模糊，即特征集合中空间特征逐渐丢失，所得的特征越来越抽象，即特征集合中用于描述待分类物体的属性信息的语义特征被提取并保留了下来。需要说明的是，图像中背景和其他物体的语义特征在这个过程也被提取出来，在最后的特征集合，即本专利中残差模块4处理后的特征集合中存在并对网络分类产生干扰。空间特征也不是完全丢失，只是在一些情况，尤其是背景和待分类物体“重合”较多的情况下，会导致最后提取出来的特征中也出现“重合”的情况，对网络分类的干扰很大。总得来说，随着特征集合中空间特征的丢失，待分类物体的语义特征越来越明显，同时背景对分类的影响也就开始显现。传统通过神经网络进行图像分类的方法聚焦于如何提取到更好的抽象语义特征，即让最后的特征更加具有泛化能力以更好的对抗背景和其他物体的干扰。本技术采用的是引入fpn来让参与分类的特征中既保留原本适合分类的抽象语义特征，又增加了在原本网络处理图像时慢慢丢失的边界信息(即空间特征)来帮助分类器正确认识到抽象语义特征中有用的部分。
53.步骤s13：基于多个特征集合对待处理图像进行目标分类。
54.具体的，利用第一卷积层对第一特征集合进行处理，得到第一特征图，利用第二卷积层对第二特征集合进行处理，得到第二特征图；利用第三卷积层对第三特征集合进行处理，得到第三特征图；利用第四卷积层对第四特征集合进行处理，得到第四特征图。
55.在一实施例中，第一卷积层、第二卷积层、第三卷积层以及第四卷积层均为1
×
1卷积层。具体的，每一个残差模块后均连接一个1
×
1卷积层，以使得得到的特征图(第一特征图、第二特征图、第三特征图以及第四特征图)尺寸匹配。如图3所示，残差模块1后接一个1
×
1卷积层，残差模块2后接一个1
×
1卷积层，残差模块3后接一个1
×
1卷积层，残差模块4后接一个1
×
1卷积层。
56.利用该卷积层(1
×
1卷积层)分别对第一特征集合、第二特征集合、第三特征集合以及第四特征集合进行处理，得到尺寸匹配的第一特征图、第二特征图、第三特征图以及第四特征图。
57.在一实施例中，如图3所示，在得到第一特征图、第二特征图、第三特征图以及第四特征图之后，利用特征融合层1将第四特征集合与第四特征图进行融合，得到第一融合特征；利用特征融合层2将第三特征图与第一融合特征进行融合，得到第二融合特征；利用特征融合层3将第二特征图与第二融合特征进行融合，得到第三融合特征；利用特征融合层4将第一特征图与第三融合特征进行融合，得到第四融合特征。进一步基于第一融合特征、第二融合特征、第三融合特征以及第四融合特征对待处理目标进行目标分类。
58.在一实施例中，分别利用分类器对第一融合特征、第二融合特征、第三融合特征以及第四融合特征进行分类，进而得到第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果；基于第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果确定待处理目标的分类结果。具体的，如图3所示，利用分类器1对第一融合特征进行分类，得到第一子分类结果；利用分类器2对第二融合特征进行分类，得到第二子分类结果；利用分类器3对第三融合特征进行分类，得到第三子分类结果；利用分类器4对第四融合特征进行分类，得到第四子分类结果。在一实施例中，进一步计算第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果的平均值，对平均值进行归一化处理，进而得到待处理目标的分类结果。在一实施例中，还可以利用归一化层如softmax层对分类结果进行归一化处理，进而得到分类结果。
59.在一实施例中，还利用上采样层1对第一融合特征进行上采样处理，将第三特征图与上采样处理后的第一融合特征进行特征融合，得到第二融合特征；利用上采样层2对第二融合特征进行上采样处理，将第二特征图与上采样处理后的第二融合特征进行特征融合，得到第三融合特征；利用上采样层3对第三融合特征进行上采样处理，将第一特征图与上采样处理后的第三融合特征进行特征融合，得到第四融合特征。
60.本技术的图像分类方法，将残差模块的输出的特征图与上一个残差块输出的特征图通过空间卷积融合成具有原本大特征图两倍深度的新特征图，既保留了用来融合的特征图中相应的语义信息和空间信息，同时避免过多的增加网络计算开销。以此得到的分类结果更加准确。
61.本技术的图像分类方法可以基于图3所示的分类模型实现，在模型训练时，在网络的输入层对输入图像进行随机裁剪，并将裁剪后的图像和裁剪水平翻转180度后的图像一起输入图3的网络模型中。计算训练数据集的均值文件。网络模型不经过预训练，对隐层和输出层的全职采用随机初始化的方式对网络参数进行初始化。向初始化后的网络模型中输入训练样本和标签，通过反向传播算法在训练数据集上调整网络参数，定义损失函数为网络所有输出与二值化标签的交叉熵之和，最小化损失函数值。测试图像分类卷积神经网络，过程为：将预处理号的测试数据集送入训练好的网络模型，网络的精度为softmax层输出概率最大的类别与输入标签的匹配程度。
62.本技术使用fpn网络取代空间融合池化，将网络深层包含更多语义信息的特征与
网络浅层包含更多空间信息的特征融合，获得了更加精确的特征表达，更加显著的降低了语义鸿沟。同时，由于不同的融合尺度中包含的空间和语义信息不同，最小的特征图中包含较多语义信息和较少空间信息，最大的特征图中包含较多空间信息和较少语义信息，相应的分类输出结果会有所不同。将所有的输出取均值，获得的图像分类结果更加准确。
63.请参见图6，为本发明图像分类装置的一实施例的结构示意图，具体包括获取模块61、特征提取模块62以及分类模块63。
64.其中，获取模块61用于获取包含待处理目标的待处理图像。
65.特征提取模块62用于对待处理图像进行特征提取，得到多个特征集合；每一特征集合包含空间特征和语义特征，不同特征集合包含的空间特征和语义特征不同；空间特征基于待处理目标在待处理图像中的位置信息确定的，语义特征是基于待处理目标的属性信息确定的。
66.具体的，特征提取模块62用于对待处理图像进行处理，得到第一特征集合；对第一特征集合进行处理，得到第二特征集合；对第二特征集合进行处理，得到第三特征集合；对第三特征集合进行处理，得到第四特征集合；其中，第一特征集合、第二特征集合、第三特征集合以及第四特征集合各自包含的空间特征对目标分类的影响值依次减小；第一特征集合、第二特征集合、第三特征集合以及第四特征集合各自包含的语义特征对目标分类的影响值依次增大。。
67.在一实施例中，分类模块63用于基于多个特征集合对待处理目标进行目标分类。
68.具体的，分类模块63用于将待处理图像输入特征提取网络；特征提取网络包括依次串联的第一卷积层、第二卷积层、第三卷积层和第四卷积层；利用第一卷积层对第一特征集合进行处理，得到第一特征图；利用第二卷积层对第二特征集合进行处理，得到第二特征图；利用第三卷积层对第三特征集合进行处理，得到第三特征图；利用第四卷积层对第四特征集合进行处理，得到第四特征图。第一卷积层、第二卷积层、第三卷积层以及第四卷积层为1
×
1卷积层。分类模块63将第四特征集合与第四特征图进行融合，得到第一融合特征；将第三特征图与第一融合特征进行融合，得到第二融合特征；将第二特征图与第二融合特征进行融合，得到第三融合特征；将第一特征图与第三融合特征进行融合，得到第四融合特征；基于第一融合特征、第二融合特征、第三融合特征以及第四融合特征对待处理目标进行目标分类。
69.在一实施例中，分类模块63还分别利用分类器对第一融合特征、第二融合特征、第三融合特征以及第四融合特征进行分类，进而得到第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果；基于第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果，确定待处理目标的分类结果。
70.在一实施例中，分类模块63还用于确定第一子分类结果、第二子分类结果、第三子分类结果以及第四子分类结果的平均值；对平均值进行归一化处理，得到待处理目标的分类结果。
71.在一实施例中，分类模块63还用于对第一融合特征进行上采样处理，将第三特征图与上采样处理后的第一融合特征进行特征融合，得到第二融合特征；对第二融合特征进行上采样处理，将第二特征图与上采样处理后的第二融合特征进行特征融合，得到第三融合特征；对第三融合特征进行上采样处理，将第一特征图与上采样处理后的第三融合特征
进行特征融合，得到第四融合特征。
72.本技术的图像分类装置，将残差模块的输出的特征图与上一个残差块输出的特征图通过空间卷积融合成具有原本大特征图两倍深度的新特征图，既保留了用来融合的特征图中相应的语义信息和空间信息，同时避免过多的增加网络计算开销。以此得到的分类结果更加准确。
73.本技术使用fpn网络取代空间融合池化，将网络深层包含更多语义信息的特征与网络浅层包含更多空间信息的特征融合，获得了更加精确的特征表达，更加显著的降低了语义鸿沟。同时，由于不同的融合尺度中包含的空间和语义信息不同，最小的特征图中包含较多语义信息和较少空间信息，最大的特征图中包含较多空间信息和较少语义信息，相应的分类输出结果会有所不同。将所有的输出取均值，获得的图像分类结果更加准确。
74.请参见图7，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。
75.存储器202用于存储实现上述任意一项的设备的方法的程序指令。
76.处理器201用于执行存储器202存储的程序指令。
77.其中，处理器201还可以称为cpu(central processing unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
78.存储器202可以为内存条、tf卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
79.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
80.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
81.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
82.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。
83.请参阅图8，为本发明计算机可读存储介质的结构示意图。本技术的存储介质存储有能够实现上述所有方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
84.以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。