视频样本的标注方法、装置、计算机设备及存储介质与流程

1.本技术涉及机器学习领域，尤其涉及一种视频样本的标注方法、装置、计算机设备及存储介质。


背景技术：

2.目前，智能机器人在用户日常生活中广泛应用，其中机器人功能主要依赖于resnet、yolo等复杂深度神经网络模型实现。为了保证深度神经网络模型的性能，需要大量标注数据集对模型进行训练。
3.目前，对于应用于机器人的网络模型的数据集构建过程主要包括：数据采集人员在真实场景下使用专业相机对目标进行拍摄，得到原始视频数据；数据筛选人员对原始视频数据进行筛选，剔除曝光异常或目标模糊的原始视频数据；数据标注人员使用专业软件按照预设规则对原始视频数据进行标注，得到标注后的样本集。但是数据标注人员在标注过程中会不可避免的引入标签噪声问题，标签噪声问题是指目标类别易混淆、标注人员认知差异等不可控因素导致样本集存在样本类别被错误标注的问题，其会使样本集的标注结果质量差，从而导致模型训练效果差。


技术实现要素：

4.本技术提供了一种视频样本的标注方法、装置、计算机设备及存储介质，以解决当前视频样本的标注结果质量差的技术问题。
5.为了解决上述技术问题，本技术实施例提供了一种视频样本的标注方法，包括：
6.获取初始视频数据，所述初始视频数据包括初始标注图像和未标注图像；
7.基于所述初始标注图像，调整预设的第一视频目标分割模型的模型参数，得到第二视频目标分割模型；
8.利用所述第二视频目标分割模型，对所述未标注图像进行精细标注，得到第一标注图像；
9.利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数；
10.若所述第一质量分数大于预设阈值，则确认所述初始视频数据标注完成，得到视频样本集。
11.本实施例通过获取初始视频数据，并基于所述初始标注图像，调整预设的第一视频目标分割模型的模型参数，得到第二视频目标分割模型，以使第二视频目标分割模型学习到初始标注图像的标注特征；以及利用所述第二视频目标分割模型，对所述未标注图像进行精细标注，得到第一标注图像，实现图像标注，降低人工成本和时间成本；再利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数，若所述第一质量分数大于预设阈值，则确认所述初始视频数据标注完成，得到视频样本集，从而提高视频样本的标注质量，使得模型训练更加容易。
12.在一实施例中，所述初始标注图像包含初始掩膜标注数据，所述基于所述初始标注图像，调整预设的第一视频目标分割模型的模型参数，得到第二视频目标分割模型，包括：
13.利用所述第一视频目标分割模型，根据所述初始掩膜标注数据，对所述初始标注图像进行精细标注，得到第二标注图像，所述第二标注图像包含第二掩膜标注数据；
14.利用所述maskscoring rcnn模型，对所述第二标注图像进行质量评价，得到第二质量分数；
15.若所述第二质量分数大于预设阈值，则根据所述第二掩膜标注数据，更新所述第一视频目标分割模型的模型参数，得到所述第二视频目标分割模型。
16.本实施例通过对初始标注模型进行精细标注，并结合质量评价，提高初始标注模型的标注质量，同时使第二视频目标分割模型学习高质量的标注特征，进一步提高视频样本的标注质量。
17.在一实施例中，所述利用所述第一视频目标分割模型，根据所述初始掩膜标注数据，对所述初始标注图像进行精细标注，得到第二标注图像，包括：
18.利用所述第一视频目标分割模型，根据所述初始掩膜标注数据，确定所述初始标注图像中的第二目标位置；
19.提取所述第二目标位置的第二目标掩膜；
20.将所述第二目标掩膜作为第二掩膜标注数据，对所述初始标注图像进行标注，得到所述第二标注图像。
21.本实施例通过第一视频目标分割模型提取采集初始标注图像的掩膜特征，并采用掩膜特征实现对初始标注图像的精细标注，提高标注质量。
22.在一实施例中，所述利用所述第二视频目标分割模型，对所述未标注图像进行精细标注，得到第一标注图像，包括：
23.利用所述第二视频目标分割模型，根据所述第二标注图像中的第二掩膜标注数据，预测所述未标注图像中的第一目标位置；
24.提取所述第一目标位置的第一目标掩膜；
25.将所述第一目标掩膜作为第一掩膜标注数据，对所述未标注图像进行标注，得到所述第一标注图像。
26.本实施例通过第二视频目标分割模型提取未标注图像的掩膜特征，并采用掩膜特征实现对未标注图像的精细标注，提高标注质量。
27.在一实施例中，所述第一标注图像包含第一掩膜标注数据，所述利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数，包括：
28.利用所述maskscoring rcnn模型，预测所述第一标注图像的第三掩膜标注数据；
29.计算所述第一掩膜标注数据与所述第三掩膜标注数据之间的交并比，所述交并比为所述第一质量分数。
30.本实施例通过maskscoring rcnn模型预测第一标注图像的掩膜，再将其预测的掩膜与第二视频目标分割模型提取的掩膜进行对比，以实现质量评估，从而便于后续优化标注质量。
31.在一实施例中，所述利用maskscoring rcnn模型，预测所述第一标注图像的第三
掩膜标注数据，包括：
32.利用所述maskscoring rcnn模型，提取所述第一标注图像的多个候选区域；
33.提取每个所述候选区域的区域特征；
34.根据所述区域特征，对所述候选区域进行掩膜预测，得到所述第一标注图像的第三掩膜标注数据。
35.本实施例通过目标检测和区域特征提取，实现掩膜预测。
36.在一实施例中，所述利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数之后，还包括：
37.若所述第一质量分数不大于预设阈值，则执行循环标注步骤，直至所述第一质量分数大于预设阈值或者循环次数达到预设次数，则确认所述初始视频数据标注完成，得到视频样本；其中所述循环标注步骤，包括：
38.基于用户输入的标注信息，对所述第一标注图像进行补充标注，得到第三标注图像；
39.利用所述第二视频目标分割模型，对所述第三标注图像进行标注修正，得到第四标注图像；
40.利用所述maskscoring rcnn模型，对所述第四标注图像进行质量评价，得到新的第一质量分数。
41.本实施例通过人机交互的方式对质量差的标注图像进行修正，提高视频数据的标注质量。
42.第二方面，本技术实施例提供一种视频样本的标注装置，包括：
43.获取模块，用于获取初始视频数据，所述初始视频数据包括初始标注图像和未标注图像；
44.调整模块，用于基于所述初始标注图像，调整预设的第一视频目标分割模型的模型参数，得到第二视频目标分割模型；
45.标注模块，用于利用所述第二视频目标分割模型，对所述未标注图像进行精细标注，得到第一标注图像；
46.评价模块，用于利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数；
47.确认模块，用于若所述第一质量分数大于预设阈值，则确认所述初始视频数据标注完成，得到视频样本集。
48.第三方面，本技术实施例提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的视频样本的标注方法。
49.第四方面，本技术实施例一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的视频样本的标注方法。
50.需要说明的是，上述第二方面至第四方面的有益效果请参照上述第一方面的相关描述，在此不再赘述。
附图说明
51.图1为本技术实施例提供的系统架构示意图；
52.图2为本技术实施例提供的视频样本的标注方法的流程示意图；
53.图3为本技术实施例提供的第一视频目标分割模型的精细标注过程的图像示意图；
54.图4为本技术实施例提供的第二视频目标分割模型的精细标注过程的图像示意图；
55.图5为本技术实施例提供的视频样本的标注装置的结构示意图；
56.图6为本技术实施例提供的计算机设备的结构示意图。
具体实施方式
57.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
58.如相关技术记载，对于应用于机器人的网络模型的数据集构建过程主要包括：数据采集人员在真实场景下使用专业相机对目标进行拍摄，得到原始视频数据；数据筛选人员对原始视频数据进行筛选，剔除曝光异常或目标模糊的原始视频数据；数据标注人员使用专业软件按照预设规则对原始视频数据进行标注，得到标注后的样本集。但是数据标注人员在标注过程中会不可避免的引入标签噪声问题，标签噪声问题是指目标类别易混淆、标注人员认知差异等不可控因素导致样本集存在样本类别被错误标注的问题，其会使样本集的标注结果质量差，从而导致模型训练效果差。
59.为此，本技术实施例提供一种视频样本的标注方法、装置、计算机设备及存储介质，通过获取初始视频数据，并基于所述初始标注图像，调整预设的第一视频目标分割模型的模型参数，得到第二视频目标分割模型，以使第二视频目标分割模型学习到初始标注图像的标注特征；以及利用所述第二视频目标分割模型，对所述未标注图像进行精细标注，得到第一标注图像，实现图像标注，降低人工成本和时间成本；再利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数，若所述第一质量分数大于预设阈值，则确认所述初始视频数据标注完成，得到视频样本集，从而提高视频样本的标注质量，使得模型训练更加容易。
60.参照图1，图1为本技术实施例提供的一种系统架构示意图，包括机器人系统和人机交互标注系统。其中机器人系统包括数据采集模块、通信模块、数据存储模块和中央控制模块。人机交互标注系统包括服务器和多个计算机设备。
61.数据采集模块：接受中央控制模块的指令，完成相机设备的高度、倾角等参数设置；获取图像数据，并且将数据传输到数据存储模块；向中央控制模块反馈当前工作状态信息。
62.通信模块：作为机器人系统与外界的通信接口，可以与中央控制模块完成双向通信，既能够接受外界的控制指令，也能够向外界反馈机器人当前的工作状态信息。
63.数据存储模块：接受中央控制模块的指令，向中央控制模块反馈当前工作状态信
息，存储来自数据采集模块的大规模数据。
64.中央控制模块：作为机器人系统的决策中心，既可以获取其余模块的工作状态信息，也能够向其余模块发送指令，从而协调各模块的工作。
65.参照图2，图2为本技术实施例提供的一种视频样本的标注方法的流程示意图。本技术实施例的视频样本的标注方法可应用与上述计算机设备，该计算机设备包括但不限于智能手机、平板电脑、笔记本电脑、桌上型计算机和个人数字助理等计算设备。如图2所示，视频样本的标注方法包括步骤s101至s105，详述如下：
66.步骤s101，获取初始视频数据，所述初始视频数据包括初始标注图像和未标注图像。
67.在本步骤中，初始视频数据包含连续的多帧视频图像，视频图像包括初始标注图像和未标注图像。初始标注图像为对图像进行简单标记后的视频图像，例如，对于图像中的用户目标，通常情况下，用户目标的掩膜需要包围这个用户目标，而简单标注则可以是采用一条短直线标注用户目标。可以理解的是，对于未标注图像，初始标注图像的数量是极少，如10000帧视频图像中，100帧初始标注图像，9900帧未标注图像。
68.步骤s102，基于所述初始标注图像，调整预设的第一视频目标分割模型的模型参数，得到第二视频目标分割模型。
69.在本步骤中，第一视频目标分割模型基于vos(video object segmentation)算法构建得到，vos算法可以是osvos、feelvos或dyenet等。示例性地，选择一个网络(比如vgg－16)在imagenet上进行分类预训练，训练结束时删去原有分类层，嵌入一个新的损失函数：像素级sigmoid平衡交叉熵(pixel－wise sigmoid balanced cross entropy)。以使每一个像素都可以被分类成前景或背景；在davis－2016训练集上再训练嵌入损失函数后的网络。在推断的时候，每当要分割新的视频帧图片，就首先用第一帧的真实标注微调模型，然后进行后续视频帧图片的分割。
70.步骤s103，利用所述第二视频目标分割模型，对所述未标注图像进行精细标注，得到第一标注图像。
71.在本步骤中，精细标注为完整标注图像所需要的标注信息的过程，例如，视频图像中用户目标的掩膜数据，则标注包围整个用户目标的掩膜数据。可选地，对于视频样本中的未标注图像，利用第二视频目标分割模型根据已标注图像中目标的位置，预测目标在未标注图像中的位置，并检测目标的掩膜数据，将掩膜数据用于标注未标注图像。
72.步骤s104，利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数。
73.在本实施例中，maskscoring rcnn模型包括主干网络backbone、包围框检测网络rcnn head、掩膜识别网络mask head以及准确度评估网络maskiou head。通过maskscoring rcnn模型预测未标注图像中的标注数据，再利用该标注数据与第一标注图像中的标注数据进行对比，以确定第一标注图像的质量。
74.步骤s105，若所述第一质量分数大于预设阈值，则确认所述初始视频数据标注完成，得到视频样本集。
75.在本实施例中，第一质量分数大于预设阈值，则说明第一标注图像的标注质量符合要求，当所有第一标注图像的第一质量分数均大于预设阈值时，初始视频数据标注完成，
得到视频样本集。
76.示例性地，假设有10000张拍摄行人的图片需要标注，按照传统方法，数据标注人员需要对10000张图片逐张进行精细标注。而按照本技术实施例提出的视频样本的标注方法，具体操作：(1)数据标注人员只需对10000张图片中的任意100张图片进行简单标注；(2)将10000张图片(包括9900张未标注图片和100张简单标注的图片)输入系统，系统采用vos算法基于100张图片上的简单标注信息对全部10000张图片进行精细标注(此时精细标注的质量可能达不到数据标注人员精细标注的质量，所以后面要对标注质量打分，循环使用vos算法进行精细标注)；(3)系统采用mask scoring r－cnn算法对这10000张图片的标注质量进行打分；(4)系统挑出标注质量得分最低的若干张图片(假设10张)，由数据标注人员这些张图片补充标注信息；(5)将10000张图片再次输入系统，系统采用vos算法基于已有标注信息对图片再次进行精细标注。上述步骤循环往复，直到图片标注质量得分满足要求为止。可见，整个过程中人工标注的图片只有110张，远远少于传统方法需要标注10000张的工作量。
77.在一实施例中，所述初始标注图像包含初始掩膜标注数据，所述基于所述初始标注图像，调整预设的第一视频目标分割模型的模型参数，得到第二视频目标分割模型，包括：
78.利用所述第一视频目标分割模型，根据所述初始掩膜标注数据，对所述初始标注图像进行精细标注，得到第二标注图像，所述第二标注图像包含第二掩膜标注数据；
79.利用所述maskscoring rcnn模型，对所述第二标注图像进行质量评价，得到第二质量分数；
80.若所述第二质量分数大于预设阈值，则根据所述第二掩膜标注数据，更新所述第一视频目标分割模型的模型参数，得到所述第二视频目标分割模型。
81.在本实施例中，通过第一视频目标分割模型，对初始标注图像进行精细标注，以使第一视频目标分割模型学习到第二标注图像的标注特征，如图像中的目标位置、大小和形状等，从而能够用于后续对未标注图像的自动化标注。
82.可选地，若第二质量分数不大于预设阈值，则反馈给用户，用户通过人机交互修正标注数据，从而调整第一视频目标分割模型的模型参数，直至全部第二标注图像的第二质量分数大于预设阈值，则完成模型参数调整。
83.可选地，所述利用所述第一视频目标分割模型，根据所述初始掩膜标注数据，对所述初始标注图像进行精细标注，得到第二标注图像，包括：
84.利用所述第一视频目标分割模型，根据所述初始掩膜标注数据，确定所述初始标注图像中的第二目标位置；
85.提取所述第二目标位置的第二目标掩膜；
86.将所述第二目标掩膜作为第二掩膜标注数据，对所述初始标注图像进行标注，得到所述第二标注图像。
87.示例性地，如图3所示的第一视频目标分割模型的精细标注过程的图像示意图，左图为初始标注图像，右图为第二标注图像，从而第一视频目标分割模型，根据初始标注图像中的标注数据，识别用户位置，并提取用户掩膜数据，采用该用户掩膜数据对初始标注图像进行标注，得到第二标注图像，将用户掩膜数据作为第二掩膜标注数据。
88.在一实施例中，所述利用所述第二视频目标分割模型，对所述未标注图像进行精
细标注，得到第一标注图像，包括：
89.利用所述第二视频目标分割模型，根据所述第二标注图像中的第二掩膜标注数据，预测所述未标注图像中的第一目标位置；
90.提取所述第一目标位置的第一目标掩膜；
91.将所述第一目标掩膜作为第一掩膜标注数据，对所述未标注图像进行标注，得到所述第一标注图像。
92.在本实施例中，示例性地，如图4所示第二视频目标分割模型的精细标注过程的图像示意图，图4中的左图为第二标注图像，中图和右图为未标注图像，以左图中的用户为第二掩膜标注数据，预测在中图的用户的第一目标位置，并提取第一目标掩膜，同样地，以中图的用户为第一掩膜标注数据，预测在右图的用户的第一目标位置，并提取第一目标掩膜，依次类推。
93.在一实施例中，所述第一标注图像包含第一掩膜标注数据，所述利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数，包括：
94.利用所述maskscoring rcnn模型，预测所述第一标注图像的第三掩膜标注数据；
95.计算所述第一掩膜标注数据与所述第三掩膜标注数据之间的交并比，所述交并比为所述第一质量分数。
96.在本实施例中，经过vos算法分割后，得到第一掩膜标注数据，将该第一掩膜标注数据作为groundtruthmask，即假设该第一掩膜标注数据是第一标注图像的真实标注信息。经过maskscoring rcnn模型，预测得到第三掩膜标注数据。利用maskiouhead网络计算所预测的第三掩膜标注数据和第一掩膜标注数据之间的iou(一种测量在特定数据集中检测相应物体准确度的一个指标)，从而得到第一标注图像的第一质量分数。
97.可选地，质量分数可以设定为0至1分，也可以设置为0至100分等，分数越低说明数据标注质量越低，分数越高说明数据标注质量越高。
98.在一实施例中，所述利用maskscoring rcnn模型，预测所述第一标注图像的第三掩膜标注数据，包括：
99.利用所述maskscoring rcnn模型，提取所述第一标注图像的多个候选区域；
100.提取每个所述候选区域的区域特征；
101.根据所述区域特征，对所述候选区域进行掩膜预测，得到所述第一标注图像的第三掩膜标注数据。
102.在本实施例中，通过backbone网络提取第一标注图像的proposal(即与对象类别无关的候选区域)，通过rcnn head网络和mask head网络提取每个proposal的特征，并对proposal进行分类、bbox回归和mask预测，得到第三掩膜标注数据。
103.在一实施例中，所述利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数之后，还包括：
104.若所述第一质量分数不大于预设阈值，则执行循环标注步骤，直至所述第一质量分数大于预设阈值或者循环次数达到预设次数，则确认所述初始视频数据标注完成，得到视频样本；其中所述循环标注步骤，包括：
105.基于用户输入的标注信息，对所述第一标注图像进行补充标注，得到第三标注图像；
106.利用所述第二视频目标分割模型，对所述第三标注图像进行标注修正，得到第四标注图像；
107.利用所述maskscoring rcnn模型，对所述第四标注图像进行质量评价，得到新的第一质量分数。
108.在本实施例中，通过人机标注交互系统的计算机，用户对质量分数低的第一标注图像进行补充标注，并由计算机与服务器进行通信，完成标注修正。
109.为了执行上述方法实施例对应的视频样本的标注方法，以实现相应的功能和技术效果。参见图5，图5示出了本技术实施例提供的一种视频样本的标注装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本技术实施例提供的视频样本的标注装置，包括：
110.获取模块501，用于获取初始视频数据，所述初始视频数据包括初始标注图像和未标注图像；
111.调整模块502，用于基于所述初始标注图像，调整预设的第一视频目标分割模型的模型参数，得到第二视频目标分割模型；
112.标注模块503，用于利用所述第二视频目标分割模型，对所述未标注图像进行精细标注，得到第一标注图像；
113.评价模块504，用于利用maskscoring rcnn模型，对所述第一标注图像进行质量评价，得到第一质量分数；
114.确认模块505，用于若所述第一质量分数大于预设阈值，则确认所述初始视频数据标注完成，得到视频样本集。
115.在一实施例中，调整模块502，包括：
116.第一标注单元，用于利用所述第一视频目标分割模型，根据所述初始掩膜标注数据，对所述初始标注图像进行精细标注，得到第二标注图像，所述第二标注图像包含第二掩膜标注数据；
117.评价单元，用于利用所述maskscoring rcnn模型，对所述第二标注图像进行质量评价，得到第二质量分数；
118.第一更新单元，用于若所述第二质量分数大于预设阈值，则根据所述第二掩膜标注数据，更新所述第一视频目标分割模型的模型参数，得到所述第二视频目标分割模型。
119.在一实施例中，第一标注单元，包括：
120.确定子单元，用于利用所述第一视频目标分割模型，根据所述初始掩膜标注数据，确定所述初始标注图像中的第二目标位置；
121.第一提取子单元，用于提取所述第二目标位置的第二目标掩膜；
122.标注子单元，用于将所述第二目标掩膜作为第二掩膜标注数据，对所述初始标注图像进行标注，得到所述第二标注图像。
123.在一实施例中，标注模块503，包括：
124.第一预测单元，用于利用所述第二视频目标分割模型，根据所述第二标注图像中的第二掩膜标注数据，预测所述未标注图像中的第一目标位置；
125.提取单元，用于提取所述第一目标位置的第一目标掩膜；
126.第二标注单元，用于将所述第一目标掩膜作为第一掩膜标注数据，对所述未标注
图像进行标注，得到所述第一标注图像。
127.在一实施例中，评价模块504，包括：
128.第二预测单元，用于利用所述maskscoring rcnn模型，预测所述第一标注图像的第三掩膜标注数据；
129.计算单元，用于计算所述第一掩膜标注数据与所述第三掩膜标注数据之间的交并比，所述交并比为所述第一质量分数。
130.在一实施例中，第二预测单元，包括：
131.第二提取子单元，用于利用所述maskscoring rcnn模型，提取所述第一标注图像的多个候选区域；
132.第三提取子单元，用于提取每个所述候选区域的区域特征；
133.预测子单元，用于根据所述区域特征，对所述候选区域进行掩膜预测，得到所述第一标注图像的第三掩膜标注数据。
134.在一实施例中，标注装置还包括：
135.执行模块，用于若所述第一质量分数不大于预设阈值，则执行循环标注步骤，直至所述第一质量分数大于预设阈值或者循环次数达到预设次数，则确认所述初始视频数据标注完成，得到视频样本；其中所述循环标注步骤，包括：
136.补充模块，用于基于用户输入的标注信息，对所述第一标注图像进行补充标注，得到第三标注图像；
137.修正模块，用于利用所述第二视频目标分割模型，对所述第三标注图像进行标注修正，得到第四标注图像；
138.第二评价模块，用于利用所述maskscoring rcnn模型，对所述第四标注图像进行质量评价，得到新的第一质量分数。
139.上述的视频样本的标注装置可实施上述方法实施例的视频样本的标注方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本技术实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
140.图6为本技术一实施例提供的计算机设备的结构示意图。如图6所示，该实施例的计算机设备6包括：至少一个处理器60(图6中仅示出一个)处理器、存储器61以及存储在所述存储器61中并可在所述至少一个处理器60上运行的计算机程序62，所述处理器60执行所述计算机程序62时实现上述任意方法实施例中的步骤。
141.所述计算机设备6可以是智能手机、平板电脑和桌上型计算机等计算设备。该计算机设备可包括但不仅限于处理器60、存储器61。本领域技术人员可以理解，图6仅仅是计算机设备6的举例，并不构成对计算机设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
142.所称处理器60可以是中央处理单元(central processing unit，cpu)，该处理器60还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
143.所述存储器61在一些实施例中可以是所述计算机设备6的内部存储单元，例如计算机设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述计算机设备6的外部存储设备，例如所述计算机设备6上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
144.另外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
145.本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
146.在本技术所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
147.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
148.以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围。特别指出，对于本领域技术人员来说，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。