基于多层次监督的多模态数据手术行为识别方法

1.本发明属于智能医疗、视频识别技术领域，具体涉及一种基于多层次监督的多模态数据手术行为识别方法、系统、设备。


背景技术：

2.手术行为识别是智能医疗领域的一个重要发展方向。手术质量的高低对病人的生命健康至关重要，而不同经验的医生所做手术的质量差别很大。如果能使用智能系统对年轻医生的手术进行识别，并对手术的合规性给予相应的指导，将有利于加快年轻医生手术水平的提升。其中的关键步骤就是手术行为的识别。手术行为的记录往往涉及多个模态的数据，如何充分利用各模态数据间的互补关系是有效识别行为的重要保障。各模态数据中，视频数据蕴含的信息量巨大，目前主流的学习方法，往往需要大量的高质量精细标注，但视频数据的标注所需人力成本很高，尤其是需要大量的专业医护人员标注，给视频标注带来很多的困难。本专利就针对此需求和其面对的难题，提出一种利用多模态数据在多层次监督下的手术识别方法。


技术实现要素：

3.为了解决现有技术中的上述问题，即为了解决现有手术行为识别方法因缺乏大量的高质量精细标注数据，导致手术行为识别精度、鲁棒性较差的问题，本发明第一方面，提出了一种基于多层次监督的多模态数据手术行为识别方法，该方法包括以下步骤：
4.s100，获取设定时间内包含具体手术行为的待识别视频帧序列及其对应的语音序列，作为输入数据；
5.s200，基于所述输入数据，通过训练好的多层次手术行为类别识别神经网络模型得到待识别视频帧序列中各具体手术行为的类别识别结果；
6.其中，所述多层次手术行为类别识别神经网络模型基于深度神经网络构建。
7.在一些优选的实施方式中，所述多层次手术行为类别识别神经网络模型，其训练方法为：
8.a100，获取训练样本数据，构建训练集；所述训练样本数据包括包含手术行为的视频帧序列、语音序列以及视频帧序列中各手术行为的类别识别结果的真值标签；
9.a200，根据所述训练样本数据，统计各类别手术行为对应的概率直方图，并基于所述概率直方图，计算分布熵；
10.a300，判断当前类别的手术行为的分布熵是否大于设定的分布熵下限阈值，若大于，则跳转a500，否则，跳转a400；
11.a400，选取概率直方图对应概率最小的两个手术行为类别进行合并，合并后并跳转步骤a300；
12.a500，合并结束后，将各类别的手术行为输入预构建的多层次手术行为类别识别神经网络模型，得到手术行为的类别识别结果，作为预测结果；
13.基于所述预测结果、所述各手术行为的类别识别结果的真值标签，通过预构建的损失函数计算损失值，并更新所述多层次手术行为类别识别神经网络模型的模型参数；
14.a600，将a500合并结束后得到的各合并的手术行为类别进行分解，将分解后的各类别的手术行为，作为新的训练样本数据，重复执行a200-a500；
15.a700，迭代执行a600，直至不存在新的合并类，得到训练好的多层次手术行为类别识别神经网络模型。
16.在一些优选的实施方式中，将a500合并结束后得到的各合并的手术行为类别进行分解，其方法为：将合并的手术行为类别中每一个手术行为小类作为一类。
17.在一些优选的实施方式中，所述预构建的损失函数，其构建方法为：
18.基于多层次手术行为类别识别神经网络模型softmax层输出的各类别手术行为的预测概率与预标注的精细行为标签，构建关于视频精细标注判别准确性和工具识别准确性的约束，作为第一损失函数；所述精细行为标签为包含短促动作的手术行为类别的真值标签；
19.通过弱监督对视频帧序列中的各帧行为类别识别结果在时域上进行无穷范数求和，得到对应的二值化识别向量，结合视频粗粒度行为分类标签，构建第二损失函数；所述视频粗粒度行为为设定时长的视频帧序列的各帧中包含的短促动作构建的行为集合；
20.基于视频帧序列中各帧对应的前景行为特征与背景行为特征，分别构建前景模长的约束函数、背景模长的约束函数，作为第三损失函数、第四损失函数；
21.对多层次手术行为类别识别神经网络模型softmax层输出的各类别手术行为的预测概率与预获取的增强标签的分布概率求kl散度，进而构建第五损失函数；所述增强标签为通过弱监督约束优化获得的视频粗粒度行为中各短促动作的伪标签；
22.获取视频模态数据、语音模态数据对应的预测结果，并计算同一时间点两模态数据对应的预测结果之间的余弦距离，进而构建第六损失函数；所述视频模态数据即视频帧序列中各帧的视频数据；所述语音模态数据即语音序列中各帧的语音数据；
23.采用线性映射将手术行为识别结果映射到手术工具识别结果，进而构建第七损失函数。
24.在一些优选的实施方式中，所述预构建的损失函数为：
[0025][0026][0027][0028][0029][0030]
[0031][0032][0033][0034][0035]
其中，表示总损失，表示第一损失函数，表示第二损失函数，表示第六损失函数，表示第七损失函数，表示第五损失函数，表示第四损失函数，表示第三损失函数，p
t，c1
表示多层次手术行为类别识别神经网络模型softmax层输出的各类别手术行为对应的预测概率，t表示遍历的手术时间下标，c1表示手术行为类别的集合，y
t，c1
表示精细行为分类标签，t表示整个手术行为持续时间，z
t
表示通过弱监督对视频帧序列各帧行为类别识别的结果在时域上进行无穷范数求和，得到的二值化识别向量，表示视频粗粒度行为对应的预测结果，所述视频粗粒度行为为设定时长的视频帧序列的各帧中包含的短促动作构建的行为集合，y
t
表示视频粗粒度行为分类标签，即视频粗粒度行为类别的真值标签，v
t
表示t时刻视频模态数据对应的预测结果，表示t时刻视频模态数据对应的预测结果的转置，a
t
表示t时刻语音模态数据对应的预测结果，p
t
表示手术行为类别对应的预测结果，表示t时刻各类别手术行为对应的预测概率，表示手术工具识别结果，q
t，c1
表示增强标签的分布概率所述增强标签为通过弱监督约束优化获得的视频粗粒度行为中各短促动作的伪标签，s表示遍历背景特征出现类别的下标，s表示前景和背景特征类别的集合，p
t，s
表示精细行为分类标签对应的分布概率，s
act
表示前景特征类别的集合，s
bkg
表示背景特征类别的集合，i、j表示下标，m表示预设定的手术行为特征最大截断值，f
n，i
表示前景特征的预测概率，f
n，j
表示背景特征的预测概率。
[0036]
本发明的第二方面，提出了一种基于多层次监督的多模态数据手术行为识别系统，该系统包括：数据获取模块、类别识别模块；
[0037]
所述数据获取模块，配置为获取设定时间内包含具体手术行为的待识别视频帧序列及其对应的语音序列，作为输入数据；
[0038]
所述类别识别模块，配置为基于所述输入数据，通过训练好的多层次手术行为类别识别神经网络模型得到待识别视频帧序列中各具体手术行为的类别识别结果；
[0039]
其中，所述多层次手术行为类别识别神经网络模型基于深度神经网络构建。
[0040]
本发明的第三方面，提出了一种设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于多层次监督的多模态数据手术行为识别方法。
[0041]
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于多层次监督的多模态数据手术行为识别方法。
[0042]
本发明的有益效果：
[0043]
本发明提升了手术行为识别精度、鲁棒性。
[0044]
1)本发明综合利用了手术行为弱监督标注和强监督标注数据进行手术行为识别，从而可大量节省医护人员的人力资源，加速了成熟的面向实际临床应用的手术行为识别技术的形成。可用于对医生的手术过程录像进行识别和分解，从而帮助指导初级医护人员更容易、更快的掌握、提升手术技术。
[0045]
2)本发明充分利用了多模态数据，通过利用多模态数据间的相容性，得到鲁棒的手术行为识别结果；
[0046]
3)本发明采用基于多层次手术行为类别兼并的类别平衡方法，缓解手术行为中各种行为类别分布比例不均衡的问题。
附图说明
[0047]
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本技术的其他特征、目的和优点将会变得更明显。
[0048]
图1是本发明一种实施例的基于多层次监督的多模态数据手术行为识别方法的流程示意图；
[0049]
图2是本发明一种实施例的基于多层次监督的多模态数据手术行为识别系统的框架示意图；
[0050]
图3是本发明一种实施例的手术行为类别以及手术行为识别的简略流程示意图；
[0051]
图4是本发明一种实施例的弱监督模块的框架示意图；
[0052]
图5是本发明一种实施例的适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0053]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0055]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0056]
本发明的一种基于多层次监督的多模态数据手术行为识别方法，如图1所示，该方法包括以下步骤：
[0057]
s100，获取设定时间内包含具体手术行为的待识别视频帧序列及其对应的语音序列，作为输入数据；
[0058]
s200，基于所述输入数据，通过训练好的多层次手术行为类别识别神经网络模型得到待识别视频帧序列中各具体手术行为的类别识别结果；
[0059]
其中，所述多层次手术行为类别识别神经网络模型基于深度神经网络构建。
[0060]
为了更清晰地对本发明基于多层次监督的多模态数据手术行为识别方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
[0061]
在下述实施例中，先对多层次手术行为类别识别神经网络模型的训练过程进行阐述，在对基于多层次监督的多模态数据手术行为识别方法获取具体手术行为的类别识别结果的过程进行详述。
[0062]
1、多层次手术行为类别识别神经网络模型的训练过程
[0063]
a100，获取训练样本数据，构建训练集；所述训练样本数据包括包含手术行为的视频帧序列、语音序列以及视频帧序列中各手术行为的类别识别结果的真值标签；
[0064]
在本实施例中，先获取模型的训练样本数据，训练样本数据包括包含手术行为的视频帧序列、语音序列(即多模态数据)以及视频帧序列中各手术行为的类别识别结果的真值标签，基于训练样本数据构建训练集。
[0065]
a200，根据所述训练样本数据，统计各类别手术行为对应的概率直方图，并基于所述概率直方图，计算分布熵；
[0066]
a300，判断当前类别的手术行为的分布熵是否大于设定的分布熵下限阈值，若大于，则跳转a500，否则，跳转a400；
[0067]
a400，选取概率直方图对应概率最小的两个手术行为类别进行合并，合并后并跳转步骤a300；
[0068]
在本实施例中，由于各类别手术行为的分布不平衡，因此采用迭代多层次监督的方式处理类别不平衡额问题，将一个不均衡的行为识别问题，转变为多个行为分类相对均衡的识别问题，提高了总体的识别效果。即设定类别的分布熵下限阈值(简称为分布熵下限)：s
low
，基于训练数据与测试数据的各类别行为频率统计概率相似的假设，统计训练数据中各类别出现概率直方图，并计算各类别的分布熵，按照分类熵判别当前分类的分布是否足够均衡，如果不均衡采用兼并(即进行长尾行为类别兼并)最小出现概率行为的方法，增强分类均衡性，如图3所示。将原手术行为识别问题分解为，满足分布熵下限的多层次类别识别，并在各个层次上，分别按照a500介绍的步骤进行行为识别。
[0069]
a500，合并结束后，将各类别的手术行为输入预构建的多层次手术行为类别识别神经网络模型，得到手术行为的类别识别结果，作为预测结果；
[0070]
基于所述预测结果、所述各手术行为的类别识别结果的真值标签，通过预构建的损失函数计算损失值，并更新所述多层次手术行为类别识别神经网络模型的模型参数；
[0071]
在本实施例中，如果当前经过若干轮类别合并后的类别的分布熵大于分布熵下限阈值，则按照当前的类别合并结果，对当前合并后的训练集标注类进行行为识别，完成第一层的手术行为识别，得到手术行为的类别识别结果，即预测结果。
[0072]
识别结束后，基于预测结果、各手术行为的类别识别结果的真值标签，通过预构建的损失函数计算损失值，并更新多层次手术行为类别识别神经网络模型的模型参数。所述多层次手术行为类别识别神经网络模型基于深度神经网络构建。
[0073]
其中，本发明的一个关键点在于设计合理反映模态间约束、多层次标注、任务间约束的行为识别模型损失函数。损失函数包括：强监督约束：反映如：牵拉、锐性分离、钝性分离、凝结等手术基本短促动作的精细标注约束的精细行为判别约束和反映器械标准准确性
约束的医疗器械判别约束；弱监督约束：反映如：探查、游离后纵隔胸膜、离断叶间裂等具有临床意义的视频粗粒度类别标注(即视频粗粒度分类标签)准确性的类别标注判别误差，增大不同种类行为特征分布距离的前景行为类间距最大化约束，反映背景行为特征分布均匀性先验假设的；增强弱监督约束：反映弱监督加强标注的分类比例标注误差；反映语音模态信号与视频模态信号一致性的语音/视频嵌入特征相似性约束和多模态分类一致性约束。预构建的损失函数其构建过程具体为：
[0074]
a510，设计并构建关于视频精细标注判别准确性和工具识别准确性的约束，我们使用逻辑回归损失函数约束依次通过模型的lstm模块、全连接层和softmax得到的各类别手术行为对应的预测概率p
t，c1
与少量手工标注的精细行为标注(即精细行为分类标签：包含短促动作的手术行为类别的真值标签)y
t，c1
的关系；将构建的约束函数(即损失函数)，作为第一损失函数，第一损失函数为：
[0075][0076]
其中，表示第一损失函数，t表示遍历的手术时间下标，c1表示手术行为类别的集合。
[0077]
a520，利用弱监督约束中视频粗粒度分类标注设计并构建判别损失函数，通过弱监督(即神经网络的反向传播)对各帧行为类别识别的结果在时域上进行无穷范数求和，得到长视频片段的二值化识别向量：z
t
，结合弱监督约束中视频粗粒度分类标签，将构建的约束函数(即损失函数)，作为第二损失函数，第二损失函数为：
[0078][0079]
其中，表示第二损失函数，表示视频粗粒度行为对应的预测结果，所述视频粗粒度行为为设定时长的视频帧序列的各帧中包含的短促动作构建的行为集合，y
t
表示视频粗粒度行为分类标签，即视频粗粒度行为类别的真值标签，t表示整个手术行为持续时间。
[0080]
a530，引入反映弱监督前景行为和背景行为差异的损失函数。通过引入两个先验标准：第一，前景行为特征的模长较大，而背景行为的模长较小；第二，背景行为特征分布趋向于均匀分布。通过引入表征这两点约束的损失函数，对整体分类优化结果进行约束。关于前景模长的约束函数(即第三损失函数)为：
[0081][0082]
其中，其中，表示第三损失函数，f
n，i
表示前景特征的预测概率，f
n，j
表示背景特征的预测概率，s
act
表示前景特征类别的集合，s
bkg
表示背景特征类别的集合，i、j表示下标，m表示预设定的手术行为特征最大截断值。
[0083]
关于背景模长的约束函数(即第四损失函数)为：
[0084][0085]
其中，表示第四损失函数，s表示遍历背景特征出现类别的下标，s表示前景和
背景特征类别的集合，p
t，s
表示精细行为分类标签对应的分布概率。
[0086]
a540，对于弱监督增强标签约束中增强弱监督行为识别标注，对增强后标签(即增强标签，增强标签为所述增强标签为通过弱监督约束优化获得的视频粗粒度行为中各短促动作的伪标签)分布概率q
t，c1
(其中，分布概率在本发明中通过混合高斯函数获取)与各类别手术行为预测概率p
t，c1
求kl散度。约束函数(即第五损失函数)如下式所示：
[0087][0088]
其中，表示第五损失函数。
[0089]
a550，使用手术多模态语音和视频模态数据判别结果融合的约束，使用不同模态数据识别结果向量v
t
和a
t
的余弦距离作为损失函数(即第六损失函数)：
[0090][0091]
其中，表示第六损失函数，表示t时刻视频模态数据对应的预测结果的转置，v
t
表示t时刻视频模态数据对应的预测结果，视频模态数据即视频帧序列中各帧的视频数据，a
t
表示t时刻语音模态数据对应的预测结果，语音模态数据即语音序列中各帧的语音数据。
[0092]
弱监督部分模块框架图，如图4所示，弱监督部分模块包含利用前景行为和背景行为的先验标准约束优化模块，以及弱监督产生的增强标签与强监督标签一致性约束优化模块。具体为：先通过深度神经网络提取输入数据(包含视频帧序列和语音序列的多模态数据)的l3d特征，然后对l3d特征进行特征嵌入处理，处理后依据时间序列，通过l2范数提取前背景度量，提取后依据时间序列进行行为分割(包括伪前景行为分割和伪背景行为分割)，分割后，基于前景特征和背景特征，构建第三损失函数(即图4中的不确定损失函数)，基于精细行为分类标签对应的分布概率，构建第四损失函数(即图4中的背景分布信息熵损失函数)进而区分前景行为特征和背景行为特征，并输出背景分布以及目标背景的分布。
[0093]
另外，基于行为粗粒度分类的弱监督约束，构建第二损失函数(即图4中的粗粒度分类损失函数)，基于由粗粒度行为标签(即视频粗粒度分类标签)生成细粒度行为伪标签与细粒度行为(即视频粗粒度行为中包含的短促动作)标注标签分布概率一致性先验，构建第五损失函数(即图4中的增强标注损失函数)，进而生成细粒度行为伪标签。
[0094]
a560，由于手术行为与器械存在强相关性，关于多任务学习方面，采用线性映射将行为识别空间的结果(即手术行为识别结果)映射到工具识别空间，使用的损失函数(即第七损失函数)为：
[0095][0096]
其中，表示第七损失函数，p
t
表示手术行为类别对应的预测结果，表示t时刻各类别手术行为对应的预测概率，表示手术工具识别结果。
[0097]
a570，综合利用a510、a520、a530、a540、a550、a560中介绍的约束，构建多约束弱监督的多模态手术行为多任务识别约束函数(即预构建的损失函数)：
[0098][0099]
其中，表示总损失。
[0100]
a600，将a500合并结束后得到的各合并的手术行为类别进行分解，将分解后的各类别的手术行为，作为新的训练样本数据，重复执行a200-a500；
[0101]
在本实施例中，将合并的手术行为类别中每一个手术行为小类作为一类(即将合并的类恢复至未合并之前的状态)，对于每一个分解后的合并类，重复a200-a500，进行向下层次的类别兼并与分解。
[0102]
即对于已通过类别兼并的行为识别问题，进一步拆解为精细化识别子问题，在保证识别类别分布均衡的基础上，可实现与原不均衡识别问题同等粒度的精细行为识别。
[0103]
a700，迭代执行a600，直至不存在新的合并类，得到训练好的多层次手术行为类别识别神经网络模型。
[0104]
在本实施例中，迭代执行a600，对各个层次的手术行为进行分类识别，直到不存在新的兼并类，完成多层次的多层次手术行为类别识别神经网络模型的训练。
[0105]
2、基于多层次监督的多模态数据手术行为识别方法
[0106]
s100，获取设定时间内包含具体手术行为的待识别视频帧序列及其对应的语音序列，作为输入数据；
[0107]
在本实施例中，获取包含具体手术行为的待识别视频帧序列及其对应的语音序列。
[0108]
s200，基于所述输入数据，通过训练好的多层次手术行为类别识别神经网络模型得到待识别视频帧序列中各具体手术行为的类别识别结果。
[0109]
在本实施例中，将获取的包含具体手术行为的待识别视频帧序列及其对应的语音序列输入训练好的多层次手术行为类别识别神经网络模型，得到待识别视频帧序列中各具体手术行为的类别识别结果。
[0110]
本发明第二实施例的一种基于多层次监督的多模态数据手术行为识别系统，如图2所示，具体包括以下模块：数据获取模块100、类别识别模块200；
[0111]
所述数据获取模块100，配置为获取设定时间内包含具体手术行为的待识别视频帧序列及其对应的语音序列，作为输入数据；
[0112]
所述类别识别模块200，配置为基于所述输入数据，通过训练好的多层次手术行为类别识别神经网络模型得到待识别视频帧序列中各具体手术行为的类别识别结果；
[0113]
其中，所述多层次手术行为类别识别神经网络模型基于深度神经网络构建。
[0114]
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0115]
需要说明的是，上述实施例提供的基于多层次监督的多模态数据手术行为识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0116]
本发明第三实施例的一种基于多层次监督的多模态数据手术行为识别装置，包括
采集设备、中央处理设备；
[0117]
所述采集设备包括摄像机、照相机、语音采集设备(例如麦克风)，用于获取设定时间内包含具体手术行为的待识别视频帧序列及其对应的语音序列，作为输入数据；
[0118]
所述中央处理设备包括gpu，配置为基于输入数据，通过训练好的多层次手术行为类别识别神经网络模型得到待识别视频帧序列中各具体手术行为的类别识别结果；其中，所述多层次手术行为类别识别神经网络模型基于深度神经网络构建。
[0119]
本发明第四实施例的一种设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于多层次监督的多模态数据手术行为识别方法。
[0120]
本发明第五实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于多层次监督的多模态数据手术行为识别方法。
[0121]
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的基于多层次监督的多模态数据手术行为识别装置、设备、计算机可读存储介质的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
[0122]
下面参考图5，其示出了适于用来实现本技术方法、系统、装置实施例的服务器的计算机系统的结构示意图。图5示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0123]
如图5所示，计算机系统包括中央处理单元(cpu，central processing unit)501，其可以根据存储在只读存储器(rom，read only memory)502中的程序或者从存储部分508加载到随机访问存储器(ram，random access memory)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统操作所需的各种程序和数据。cpu501、rom 502以及ram503通过总线504彼此相连。输入/输出(i/o，input/output)接口505也连接至总线504。
[0124]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan(局域网，local area network)卡、调制解调器等的网络接口卡的通讯部分509。通讯部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0125]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu501执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、
便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0126]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0127]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0128]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0129]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0130]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。