信息处理方法、装置、计算机设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种信息处理方法、装置、计算机设备及存储介质。


背景技术：

2.随着计算机技术的不断深入发展，越来越多的多媒体数据被发布，那么，为了提升被发布的多媒体数据对用户的吸引力，可通过为多媒体数据的评论信息生成相应的回复信息，从而形成互动，达到吸引用户的目标。现有的生成评论信息的回复信息的方式，大都是基于回复模板进行生成的，而基于回复模板进行回复信息生成的方式，使回复信息缺乏变通，且还需定时对回复模板进行更新，从而导致生成的回复信息准确性较低，由此可见，如何灵活生成较高准确性的回复信息成为了当前的研究热点。


技术实现要素：

3.本发明实施例提供了一种信息处理方法、装置、计算机设备及存储介质，可提升生成的回复信息的准确性。
4.一方面，本发明实施例提供了一种信息处理方法，包括：
5.获取多媒体数据的内容信息及针对所述多媒体数据的目标评论信息；
6.获取全局描述信息，所述全局描述信息用于描述所述内容信息和所述目标评论信息的信息语义；
7.采用所述全局描述信息识别出针对所述目标评论信息的回复类型，并获取与所述回复类型相匹配的回复策略；
8.按照所述回复策略，并基于所述多媒体数据的内容信息生成所述目标评论信息的回复信息，以及输出所述回复信息。
9.再一方面，本发明实施例提供了一种信息处理装置，包括：
10.获取单元，用于获取多媒体数据的内容信息及针对所述多媒体数据的目标评论信息；
11.所述获取单元，还用于获取全局描述信息，所述全局描述信息用于描述所述内容信息和所述目标评论信息的信息语义；
12.处理单元，用于采用所述全局描述信息识别出针对所述目标评论信息的回复类型，并获取与所述回复类型相匹配的回复策略；
13.所述处理单元，还用于按照所述回复策略，并基于所述多媒体数据的内容信息生成所述目标评论信息的回复信息，以及输出所述回复信息。
14.再一方面，本发明实施例提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持计算机设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如下步骤：
15.获取多媒体数据的内容信息及针对所述多媒体数据的目标评论信息；
16.获取全局描述信息，所述全局描述信息用于描述所述内容信息和所述目标评论信息的信息语义；
17.采用所述全局描述信息识别出针对所述目标评论信息的回复类型，并获取与所述回复类型相匹配的回复策略；
18.按照所述回复策略，并基于所述多媒体数据的内容信息生成所述目标评论信息的回复信息，以及输出所述回复信息。
19.再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时，所述程序指令被处理器执行时，用于执行如第一方面所述的信息处理方法。
20.在本技术实施例中，计算机设备可在需要为多媒体数据的评论信息生成回复信息时，将获取多媒体数据的内容信息和目标评论信息，以及用于对该内容信息和目标评论信息的信息语义进行描述的全局描述信息，进一步地，该计算机设备可采用该全局描述信息识别出针对该目标评论信息的回复类型，从而该计算机设备可按照与该回复类型匹配的回复策略，及该多媒体数据的内容信息生成该目标评论信息的回复类型，使计算机设备实现了基于评论信息的信息类型的差异，采用差异化的回复策略来生成不同信息类型的评论信息的回复信息，而基于评论信息的信息类型的不同，采用差异化的回复策略进行回复信息的生成，提升了在回复信息的生成过程中的多样性，此外，由于在生成回复信息的过程中，充分考虑了多媒体数据的内容信息，从而也就可提升计算机设备生成的回复信息的合理性和准确性。
附图说明
21.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明实施例提供的一种模型调用关系的示意图；
23.图2是本发明实施例提供的一种信息处理方法的示意流程图；
24.图3是本发明实施例提供的一种信息处理方法的示意流程图；
25.图4a是本发明实施例提供的一种评论回复模型的示意图；
26.图4b是本发明实施例提供的一种生成模型的示意图；
27.图5是本发明实施例提供的一种信息处理装置的示意性框图；
28.图6是本发明实施例提供的一种计算机设备的示意性框图。
具体实施方式
29.本技术实施例提出了一种信息处理方法，使计算机设备可在生成针对多媒体数据中评论信息(如目标评论信息)的回复信息时，将根据待回复的目标评论信息的信息类型的不同，采取不同回复策略进行回复信息的生成，也就是说，该计算机设备在生成目标评论信息的回复信息时，生成的回复信息与待回复的目标评论信息紧密相关，从而也就可有效提升计算机设备在为评论信息生成回复信息时的准确度。其中，该多媒体数据包括融合了文
本、声音和图像等多种媒体形式的数据，该多媒体数据例如可以是视频数据，或音频数据等，在本技术实施例中，主要以该多媒体数据为视频数据为例进行说明，而其他的多媒体数据同样可参见本技术实施例；此外，评论信息包括由用户发送的，针对多媒体数据的主观或客观的阐述信息，该评论信息可以是用户发送的问题信息，或者也可以是与该多媒体数据相关(或无关)的描述信息等，可以理解，针对多媒体数据的评论信息的数量可以为一个或多个，且每个用户可以向该多媒体数据发送的评论信息的数量也可以是一个或多个，在本技术实施例中提出的目标评论信息可以是该多媒体数据接收到的一个或多个评论信息中的任意一个。其中，该多媒体数据的评论信息可包括文本信息，表情信息及音视频信息中的一种或多种，而本技术实施例所提及的目标评论信息，为针对评论信息中的文本信息，而在该目标评论信息包括了表情信息和/或音视频信息时，可将该表情信息和/或音视频信息进行文本转换，从而得到文本的评论信息。其中，所述计算机设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)、车载终端等各种类型的终端设备，或者，该计算机设备也可以是服务器，在本技术实施例中，主要以该计算机设备为终端设备进行示例性说明。
30.在一个实施例中，基于该目标评论信息所表达的语义，该目标评论信息可被划分为不同的信息类型，其中，如果该目标评论信息所表达的语义与询问出处、询问人物等客观问题相关，或与多媒体数据的内容讨论，个人态度性评论等相关，那么该计算机设备可确定该目标评论信息的信息类型为客观事实型；而如果该目标评论信息所表达的语义与上述语义无关，则该计算机设备可认为该目标评论信息的信息类型为通用类型。那么在计算机设备确定该目标评论信息的信息类型为客观事实型时，该计算机设备将采取与客观事实型关联的回复策略进行回复信息的生成，而与客观事实型关联的回复策略是一种使用开放域技术，并基于多媒体数据的内容信息结合该目标评论信息进行回复信息构建的策略，其中，开放域技术时一种基于深度学习的智能问答技术，那么也就可以理解，如果该回复信息是计算机设备采用与客观事实型关联的回复策略进行构建的，将充分考虑多媒体数据的内容和目标评论信息的语义，从而可提升构建的回复信息的准确性。如果计算机设备确定该目标评论信息的信息类型为通用型，则该计算机设备则可结合该多媒体数据的情节类型，及该多媒体数据的内容信息为该目标评论信息生成相应的回复信息，基于为用户发送的评论信息生成相应的回复信息，有助于提升多媒体数据与用户之间的用户粘性，从而提升用户满意度。此外，由于计算机设备在为目标评论信息生成相应的回复信息时，可采用不同的回复策略进行回复信息的生成，也就提升了计算机设备在生成回复信息时的多样性。
31.在一个实施例中，计算机设备基于待回复的目标评论信息的信息类型的不同，所采用的不同回复策略是通过调用不同的模型实现的，在计算机设备确定该目标评论信息的信息类型为客观事实型时，该计算机设备则可调用评论回复模型进行回复信息的生成，而如果计算机设备确定该目标评论信息的信息类型为通用型，该计算机设备则是通过调用生成模型进行回复信息的生成的。其中，该评论回复模型和该生成模型均是基于深度学习得到的网络模型，该评论回复模型和生成模型是可采用如图1所示的方式进行连接，该计算机设备在确定出需要对多媒体数据进行评论回复时，可在确定出待回复的目标评论信息后，先将该目标评论信息输入评论回复模型，从而可基于该评论回复模型对该目标评论信息的处理，确定该目标评论信息是否为客观事实型，在一个实施例中，如果在计算机设备将目标
评论信息输入到评论回复模型后，得到了针对该目标评论信息的回复信息，则说明该目标评论信息的信息类型是客观事实型，否则，该评论回复模型可将该目标评论信息进一步输入到生成模型中，从而可由该生成模型为该目标评论信息生成相应的回复信息。也就是说，计算机设备在为目标评论信息生成相应的回复信息时，是通过调用评论回复模型对该目标评论信息进行处理，从而确定出该目标评论信息的信息类型，然后，再基于该目标评论信息的信息类型，可确定是直接调用本评论回复模型为该目标评论信息生成相应的回复信息，或是调用生成模型为该目标评论信息生成相应的回复信息。
32.请参见图2，是本技术实施例提出的一种信息处理方法的示意流程图，该信息处理方法可由上述的计算机设备执行，如图2所示，该方法可包括：
33.s201，获取多媒体数据的内容信息及针对多媒体数据的目标评论信息。
34.s202，获取全局描述信息，全局描述信息用于描述内容信息和目标评论信息的信息语义。
35.在步骤s201和步骤s202中，该多媒体数据包括被发布到某个平台(或应用程序)中的视频或音频等，在多媒体数据被发布到后，为了提升多媒体数据对用户的吸引力，或为了提升用户在该多媒体数据的发布平台的用户粘性，计算机设备可在将多媒体数据发布到相应的平台后，为针对该多媒体数据的评论信息生成相应的回复信息，而基于计算机设备为评论信息生成相应回复信息，可引导发布评论信息的用户围绕该多媒体数据进行进一步地讨论，而基于该讨论，又可进一步实现对其他用户吸引，有助于提升多媒体数据对用户的吸引力，从而也就可提升该多媒体数据对应发布平台的用户粘性。
36.在一个实施例中，若计算机设备从多媒体数据包括的评论信息中，确定需要为目标评论信息生成相应的回复信息，则该计算机设备可先获取该多媒体数据的内容信息及目标评论信息。其中，该多媒体数据的内容信息包括该多媒体数据中的文本信息，在该多媒体数据为视频时，视频的内容信息所包括的文本信息可包括：基于光学字符识别(optical character recognition，ocr)技术从视频的图像帧中提取出的文字，基于自动语音识别技术(automated speech recognition，asr)从视频的语音转换得到的文本，此外，该文本信息还可包括视频的题目(title)、主题标签(topic标签)、创作类型、运营类型、已有评论以及回复等文本信息。而该目标评论信息则可以是由任意用户提交的任一评论信息，在本技术实施例中，对计算机设备从多媒体数据的一个或多个评论信息中选取出目标评论信息的方式不做限定。此外，该多媒体数据的内容信息还包括该多媒体数据的图像信息，其中，在该多媒体数据为视频时，该视频的图像信息则可以包括该视频中的部分或全部视频帧。在一个实施例中，该文本信息还可以包括该目标评论信息的创作者信息，如创作者标识(identify，id)、简介、等级、用户画像等信息。
37.在一个实施例中，基于计算机设备对多媒体数据的内容信息和目标评论信息的获取，该计算机设备还将获取针对该内容信息和目标评论信息的全局描述信息，其中，该全局描述信息是用于对该内容信息和该目标评论信息进行描述，也就是说，该全局描述信息是包括了内容信息所包括的语义和目标评论信息的语义的，那么可以理解，计算机设备通过对全局描述信息的获取，可使计算机设备在生成目标评论信息的回复信息的过程中，充分考虑目标评论信息的语义及内容信息的语义，以保证生成的回复信息的合理性和准确性。其中，该计算机设备在获取该全局描述信息时，可先基于该内容信息中包括的文本信息的
编码序列，及该目标评论信息的编码序列进行第一编码序列的构建，进而可基于该第一编码序列中各分词的词向量，并结合自注意力机制得到该全局描述信息，其中，该计算机设备在基于第一编码序列中各分词的词向量，及自注意力机制得到全局描述信息时，可通过计算该第一编码序列中各分词的词向量，以及各词向量之间的关联关系来进行确定。
38.在计算机设备获取到多媒体数据的内容信息及目标评论信息，并在获取到全局描述信息后，则可基于该全局描述信息确定出针对该目标评论信息的回复类型，从而采取相应的回复策略进行回复信息的生成，即转而执行步骤s203。
39.s203，采用全局描述信息识别出针对目标评论信息的回复类型，并获取与回复类型相匹配的回复策略。
40.s204，按照回复策略，并基于多媒体数据的内容信息生成目标评论信息的回复信息，以及输出回复信息。
41.在步骤s203和步骤s204中，计算机设备在基于全局描述信息识别出针对目标评论信息的回复类型时，是该计算机设备在基于该全局描述信息确定该目标评论信息的信息类型后，通过确定出的目标评论信息的信息类型所确定出的。其中，评论信息的信息类型包括客观事实型和通用型，客观事实型的评论信息是指能通过该评论信息及多媒体数据查找出对应答案的评论信息，该客观事实型的评论信息例如可以是针对该多媒体数据中包括的人物角色的询问信息等，而通用型的评论信息则是指无法查找出特定答案的评论信息，在本技术实施例中，可将除客观事实型的评论信息之外的任意评论信息作为通用型的评论信息。在一个实施例中，由于一个信息类型与一个回复类型相关联，那么，该计算机设备在确定出目标评论信息的信息类型后，也就得到了该目标评论信息的回复类型，而基于该计算机设备对回复类型的确定，则可获取与该回复类型匹配的回复策略，并基于获取的回复策略进行回复信息的生成。
42.在一个实施例中，计算机设备基于确定出的回复类型，获取与回复类型匹配的回复策略以进行回复信息生成的过程，即是对不同模型进行调用，并生成回复信息的过程。其中，在计算机设备确定出的回复类型是与客观事实型的信息类型相关联的，则该计算机设备将通过调用评论回复模型进行回复信息的生成，而如果该计算机设备确定出的回复类型是与通用型的信息类型相关联的，则该计算机设备是通过对生成模型进行调用并生成回复信息的。
43.在计算机设备通过调用评论回复模型生成回复信息时，该评论回复模型是根据由内容信息包括的文本信息及目标评论信息编码得到的第一编码序列生成的，在具体实现中，计算机设备在调用评论回复模型基于第一编码序列生成该目标评论信息的回复信息时，将分别调用该评论回复模型中的两个线性层分别对该第一编码序列中的各词向量进行识别处理，从而确定出该第一编码序列中各词向量为回复信息的起始位置的概率，及该第一编码序列中各词向量为回复信息的结束位置的概率，那么进一步地，计算机设备可基于该第一编码序列中的各词向量分别对应为起始位置的概率及结束位置的概率，从该第一编码序列中选取部分或全部编码序列进行解码，从而得到针对该目标评论信息的回复信息。而若计算机设备确定需要调用生成模型进行回复信息的生成，那么，该生成模型在生成该回复信息时，则是通过对由内容信息所包括的文本信息及图像信息生成的第二编码序列进行解码得到的，在一个实施例中，计算机设备在调用生成模型并基于第二编码序列解码得
到回复信息时，将根据该第二编码序列执行注意力(attention)操作并得到回复信息，而由于在调用生成模型进行回复信息的生成时执行了注意力操作，也就使得计算机设备在根据第二编码序列生成的回复信息的合理性。
44.在本技术实施例中，计算机设备可在需要为多媒体数据的评论信息生成回复信息时，将获取多媒体数据的内容信息和目标评论信息，以及用于对该内容信息和目标评论信息的信息语义进行描述的全局描述信息，进一步地，该计算机设备可采用该全局描述信息识别出针对该目标评论信息的回复类型，从而该计算机设备可按照与该回复类型匹配的回复策略，及该多媒体数据的内容信息生成该目标评论信息的回复类型，使计算机设备实现了基于评论信息的信息类型的差异，采用差异化的回复策略来生成不同信息类型的评论信息的回复信息，而基于评论信息的信息类型的不同，采用差异化的回复策略进行回复信息的生成，提升了在回复信息的生成过程中的多样性，此外，由于在生成回复信息的过程中，充分考虑了多媒体数据的内容信息，从而也就可提升计算机设备生成的回复信息的合理性和准确性。
45.请参见图3，是本技术实施例提出的一种信息处理方法的示意流程图，该信息处理方法可由上述的计算机设备执行，如图3所示，该方法可包括：
46.s301，获取多媒体数据的内容信息及针对多媒体数据的目标评论信息，内容信息包括多媒体数据的文本信息。
47.计算机设备获取的多媒体数据的内容信息至少包括了多媒体数据的文本信息，该文本信息包括从该多媒体数据中抽取出的文本，如多媒体数据的ocr、asr、title等，此外，该文本信息还可包括与该多媒体数据中相关的文本，如多媒体数据的主题(topic)标签、创作类型等。在一个实施例中，该内容信息还可包括该多媒体数据的图像信息，该图像信息可包括从该多媒体数据中抽取出的部分或全部图像帧，而计算机设备获取的目标评论信息则可以是从该多媒体数据所包括的全部评论信息中选取出的任意一个，那么，基于计算机设备对该多媒体数据的内容信息及目标评论信息的获取，该计算机设备获取针对该文本信息和该目标评论信息的全局描述信息。而需要说明的是，该计算机设备所获取的多媒体数据的内容信息中所包括的文本信息还包括该多媒体数据中已有回复的评论信息，及对应的回复，从而也就使计算机设备在生成目标评论信息的回复信息的过程中，可结合已有回复的评论信息进行生成，进而也就可提升该计算机设备所生成的回复信息的合理性。
48.计算机设备在获取到多媒体数据的内容信息和目标评论信息后，则可分别对该内容信息中的文本信息及该目标评论信息进行分词处理，从而基于各分词的语义得到针对该文本信息和目标评论信息的全局描述信息。
49.s302，获取第一编码序列，第一编码序列包括文本信息中各分词的词向量，及目标评论信息中各分词的词向量。
50.s303，根据任一分词的词向量及其他任一分词的词向量，计算任一分词与其他任一分词之间的相似度，并基于相似度对每个分词的词向量进行加权处理。
51.s304，将由加权处理后的词向量构成的向量序列，作为针对文本信息和目标评论信息的全局描述信息。
52.在步骤s302～步骤s304中，计算机设备在获取第一编码序列时，可在获取到多媒体数据的文本信息及目标评论信息后，对目标评论信息进行分词处理，得到目标评论信息
对应的分词序列，并对多媒体数据的文本信息(如ocr、asr、title、topic标签、创作类型、运营类型、已有评论以及回复等文本信息)进行分词处理，得到文本信息的分词序列；进而，该计算机设备可将目标评论信息的分词序列，及文本信息的分词序列进行序列拼接，得到目标拼接序列。其中，该计算机设备在对得到目标拼接序列后，还将在该目标评论信息的分词序列及文本信息的分词序列之间添加分隔符，以及在该目标拼接序列起始位置添加起始字符。其中，该分隔符可以是[sep]，起始字符为[cls]，那么如果该目标评论信息的分词序列为a序列(假设为x1x2x3)，文本信息的分词序列为b序列(假设为y1y2y3)，那么，计算机设备在将该目标评论信息的分词序列及文本信息的分词序列进行拼接，并添加分隔符和起始字符后，得到的目标拼接序列为clsx1x2x3sepy1y2y3。
[0053]
在一个实施例中，在一个实施例中，计算机设备在将目标评论信息的分词序列及文本信息的分词序列进行序列拼接，并得到目标拼接序列时，该计算机设备还可获取将目标评论信息的分词序列的序列长度，及文本信息的分词序列的序列长度，其中，该目标评论信息的分词序列的序列长度即是上述a序列x1x2x3的序列长度，而文本信息的分词序列的序列长度即是上述b序列y1y2y3的序列长度。计算机设备在分别获取到目标评论信息的分词序列的序列长度，及文本信息的分词序列的序列长度后，则可进一步确定目标评论信息的分词序列的序列长度，及文本信息的分词序列的序列长度之间的长度和，即是如上述的a序列x1x2x3与b序列y1y2y3之间的长度和，那么，该计算机设备可在该长度和小于等于长度阈值时，将目标评论信息的分词序列及文本信息的分词序列直接拼接得到的序列作为目标拼接序列；而如果该长度和大于长度阈值，则该计算机设备可基于目标评论信息的分词序列的序列长度及长度阈值，对文本信息的分词序列进行序列分割，并将每个分割序列分别与目标评论信息的分词序列进行拼接，得到的每个拼接序列均为目标拼接序列。在一个实施例中，该长度阈值例如可以是512，那么如上述的，如果计算机设备确定a序列x1x2x3与b序列y1y2y3之间的长度和小于等于512，那么，该计算机设备则去确定得到的目标拼接序列为cls x1x2x3sep y1y2y3；在另一种实现方式中，若计算机设备确定a序列x1x2x3与b序列y1y2y3之间的长度和大于512，若计算机设备确定a序列x1x2x3的序列长度为300，那么，该计算机设备在对b序列y1y2y3进行序列分割时，可基于该长度阈值512，对b序列y1y2y3按照长度为212的子序列长度进行分割，若b序列y1y2y3被分割为序列y1y2(其对应的序列长度为212)，及序列y3(其对应序列长度为106)，那么，该计算机设备最终得到的目标拼接序列包括：cls x1x2x3sep y1y2，以及cls x1x2x3sep y3。
[0054]
计算机设备在得到目标拼接序列后，则可对目标拼接序列中的各分词进行编码处理，从而得到第一编码序列，也就使得第一编码序列包括了该多媒体数据的文本信息中各分词的词向量，以及目标评论信息中各分词的词向量，而计算机设备在获取得到第一编码序列，并确定出第一编码序列中文本信息中各分词的词向量及目标评论信息中各分词的词向量后，可采用自注意力(self-attention)机制，使每个分词从多个角度获取全局描述信息，进而深入理解该文本信息和目标评论信息的语义。在一个实施例中，计算机设备在采用自注意力机制获取全局描述信息时，可根据该第一编码序列中任一分词的词向量及该其他任一分词的词向量进行确定，在具体实现中，该计算机设备可计算该任一分词的词向量与其他任一分词的词向量之间的相似度，该相似度可以理解为针对该任一分词与其他任一分词之间的注意力分数，从而使该计算机设备可根据该任一分词与其他任一分词之间的注意
力分数，对相应分词的词向量进行加权处理，并将加权处理后的词向量作为全局描述信息。可以理解的是，基于对全局描述信息的获取，可有效提升计算机设备对多媒体数据的文本信息及目标评论信息的整体语义的理解，那么，也就可提升后续生成的针对该目标评论信息的回复信息的合理性。在一个实施例中，计算机设备在得到该全局描述信息后，可将该全局描述信息作为第一编码序列的起始字符，并采用目标字符对作为起始字符的全局描述信息进行指示，其中，该目标字符可以为字符cls。那么可以理解，该计算机设备则可通过对该第一编码序列的起始字符cls的读取，实现获取到该全局描述信息，而计算机设备在获取到全局描述信息后，则可采用该全局描述信息识别出针对该目标评论信息的回复类型，并采用与该回复类型匹配的回复策略进行回复信息的生成，即转而执行步骤s305。
[0055]
在一个实施例中，该计算机设备在对目标拼接序列中的各分词进行编码处理，得到第一编码序列时，该计算机设备可直接基于分词与向量之间的映射关系，将目标拼接序列中的相应分词进行向量转换，从而得到第一编码序列。或者，该计算机设备在对目标拼接序列中的各分词进行编码，从而得到第一编码序列的过程中，还可在对目标拼接序列的各分词进行编码处理时，将其他的分词信息引入到分词向量中，在具体实现中，该计算机设备可在得到每个分词的分词向量时，还可为每个分词向量生成位置向量和/或类型向量，从而提升计算机设备得到的第一编码序列的各分词向量的信息丰富度，也就使计算机设备实现了在编码过程中，将目标拼接序列的各分词较多分词信息进行引入，而基于将较多信息的引入，可使计算机设备在基于编码得到的第一编码序列得到全局描述信息的准确性。在一个实施例中，该位置向量用于指示相应分词向量对应分词下目标拼接序列中的位置，该类型向量则用于指示该分词向量对应的分词是哪种文本信息(或目标评论信息)，如可指示该分词向量对应的分词为ocr、asr、title、topic标签、创作类型、运营类型、已有评论及对应回复、或者目标评论信息中的哪一种。
[0056]
s305，采用全局描述信息识别出针对目标评论信息的回复类型，并获取与回复类型相匹配的回复策略。
[0057]
在一个实施例中，该第一编码序列可以是通过调用评论回复模型生成的，评论回复模型是采用深度学习训练得到的模型，该第一编码序列是由评论回复模型的编码器对内容信息包括的多媒体数据的文本信息，及目标评论信息进行编码得到，其中，该评论回复模型的模型结构可如图4a所示，该评论回复模型包括编码器、判别网络和解码器，如图4a所示，该判别网络和解码器分别和编码器相连，而编码器用于对由多媒体数据的文本信息及目标评论信息构成的目标拼接序列进行编码处理，并得到第一编码序列，而该判别网络是一个线性层(如图4a中由40标记的线性层)，用于根据该编码器输出的第一编码序列，对针对该目标评论信息的信息类型(或针对该目标评论信息的回复类型)进行确定，该解码器则将基于该判别网络的判别结果，并基于编码器得到的第一编码序列生成回复信息。其中，该第一编码序列是将该文本信息和该目标评论信息输入到用于进行序列化的embedding网络(一种序列化网络)后得到的，该embedding网络可以是该在该评论回复模型中独立的网络，或者也可以内置于评论回复模型的编码器中。
[0058]
那么，在计算机设备通过编码器得到第一编码序列，可将全局描述信息作为第一编码序列包括的起始字符进行记录，该计算机设备在采用全局描述信息识别出针对目标评论信息的回复类型时，可调用评论回复模型中的判别网络对所述全局描述信息进行识别处
理，得到类型判别分值；其中，该判别网络可先对全局描述信息进行识别处理，得到一个数值类型的初始分数，然后，该判别网络可调用sigmoid函数(一种平滑函数)将初始分数转换成0～1的概率值，而该概率值用于指示该目标评论信息可基于该第一编码序列找到准确答案的概率，在一个实施例中，该转换得到的概率值即是类型判别分值，计算机设备在得到针对目标评论信息的类型判别分值后，则可根据类型判别分值确定目标评论信息的信息类型，在一个实施例中，该编码器在生成第一编码序列后，可直接将第一编码序列输入判别网络，从而使该判别网络通过识别第一编码序列的起始字符从而获取得到全局描述信息，并基于该全局描述信息确定针对该目标评论信息的回复类型，或者，该编码器在生成该第一编码序列后，也可仅将该第一编码序列的起始字符中记录的全局描述信息输入到判别网络中，从而使该判别网络基于全局描述信息识别出针对该目标评论信息的回复类型。
[0059]
在一个实施例中，由于一个信息类型与一个回复类型相关联，信息类型包括客观事实型或通用型，那么，计算机设备基于确定出的目标评论信息的信息类型，可得到针对目标评论信息的相应回复类型，也就是说，该计算机设备确定出的针对目标评论信息的回复类型包括对客观事实型的目标评论信息的回复类型，以及对通用型的目标评论信息的回复类型。在计算机设备确定出针对目标评论信息的回复类型后，则可获取与确定出的回复类型匹配的回复策略，其中，该计算机设备在获取与回复类型相匹配的回复策略时，如果计算机设备确定基于判别网络确定出的类型判别分值大于等于预设分数阈值，则该计算机设备确定基于该第一编码序列可得到该目标评论信息对应的准确正确答案，那么，该计算机设备则可将客观事实型关联的回复类型作为目标评论信息的回复类型，并将用于指示通过评论回复模型进行信息回复的策略作为回复策略，从而可进一步调用评论回复模型(即该评论回复信息包括的解码器)进行回复信息的生成。在另一种实现方式中，如果计算机设备基于判别网络确定出的类型判别分值小于预设分数阈值，则说明计算机设备基于该第一编码序列无法找到与该目标评论信息对应的答案，那么，该计算机设备则可将通用型关联的回复类型作为目标评论信息的回复类型，并将用于指示通过生成模型进行信息回复的策略作为回复策略，从而也就可调用生成模型进行回复信息的生成。
[0060]
在一个实施例中，该评论回复模型中的编码器可以是albert(a lite bert，一种轻量级的词向量编码模型)，以提升训练收敛速度以及效果，而判别网络是一个线性网络层，解码器则是双线性网络层，其中，上述提及的评论回复模型是训练完成的模型，而对该评论回复模型的训练过程可以是对该编码器，判别网络及解码器进行联合训练得到的，或者，也可以是对该评论回复模型中的编码器，判别网络及解码器进行分别训练得到的，其中，在分别对评论回复模型中进行训练时，可采用交叉熵损失函数对该评论回复模型中的判别网络进行训练。
[0061]
s306，按照回复策略，并基于多媒体数据的内容信息生成目标评论信息的回复信息，以及输出回复信息。
[0062]
计算机设备在根据获取得到的回复策略进行回复信息的生成时，若回复策略指示通过调用评论回复模型生成回复信息，则该计算机设备可通过调用评论回复模型包括的解码器来进行回复信息的生成，其中，如图4a所示，该解码器由两个线性层组成，即该评论回复模型中的解码器包括第一线性层和第二线性层。在一个实施例中，构成解码器的两个线性层中的一个线性层用来对第一编码序列中所包括的全部词向量进行映射处理，得到该第
一编码序列中的每个词向量为回复起始位置的分数(或概率)，另一个线性层同样也用来对该第一编码序列中的词向量进行映射，并进而得到该第一编码序列中每个词向量为回复结束位置的分数(或概率)。也就是说，计算机设备在按照回复策略，并基于多媒体数据的内容信息生成目标评论信息的回复信息时，可采用评论回复模型中解码器中的第一线性层，对从编码器获取的第一编码序列进行识别处理，确定构成第一编码序列的各分词对应词向量为回复信息的起始位置的概率，以及，采用评论回复模型中解码器中的第二线性层，对从编码器获取的第一编码序列进行识别处理，确定构成第一编码序列的各分词对应词向量为回复信息的结束位置的概率；那么更进一步地，该计算机设备可根据第一编码序列中各词向量分别为回复起始位置的概率及为回复结束位置的概率，从第一编码序列中截取出部分编码序列，并对部分编码序列进行解码处理，得到目标评论信息的回复信息。
[0063]
在一个实施例中，该解码器在分别确定该第一编码序列中各词向量对应为起始位置的概率(或为结束位置的概率)时，得到的概率值是经过sigmoid函数转换后的，处于0～1区间，且互相独立的值。同样的，在对该解码器进行训练时，也可使用交叉熵作为损失函数进行训练。那么，在计算机设备根据第一编码序列中各词向量分别为回复起始位置的概率及为回复结束位置的概率，从第一编码序列中截取出部分编码序列时，该计算机设备可基于上述确定出的概率，确定出符合回复限制条件的起始结束位置，进而可将符合该回复限制条件的起始结束位置进行排序，并选取出对应组合概率最大的起始结束位置对应的词向量进行回复信息的生成。在具体实现中，该计算机设备可从第一编码序列中选取出满足回复限制条件的回复起始位置和回复结束位置，回复限制条件包括以下一项或两项：回复结束位置大于回复起始位置，基于选取出的回复起始位置和回复结束位置确定出的编码序列长度大于长度阈值；进一步地，该计算机设备可根据选取出的回复起始位置对应词向量的概率，及相应的回复结束位置对应词向量的概率，选取出组合概率最大的作为回复起始位置的词向量和作为回复结束位置的词向量，并将由选取出的词向量以及处于选取出的词向量之间的词向量作为部分编码序列。举例来说，若计算机设备确定出的第一编码序列为cls x1x2x3sep y1y2y3，若该计算机设备确定出的符合限制条件的起始位置对应的词向量包括x1和x3，结束位置对应的词向量包括y1和y2，那么，基于相应的选取组合概率最大化的原则，该计算机设备确定对应组合概率最大化的词向量为x1和y2，则该计算机设备可确定从该第一编码序列中选取出的部分编码序列为cls x1x2x3sep y1y2，并可基于对该部分编码序列的解码得到回复信息。
[0064]
在一个实施例中，若回复策略指示该计算机设备将通过调用生成模型生成回复信息，那么，该计算机设备在按照回复策略，并基于多媒体数据的内容信息生成目标评论信息的回复信息时，该计算机设备可调用生成模型对内容信息包括的多媒体数据的图像信息，及内容信息包括的多媒体数据的文本信息的分词序列进行编码处理，得到第二编码序列，该第二编码序列包括文本信息中各分词的词向量；进而可调用生成模型，为第二编码序列中的各词向量添加相应的全局描述信息，得到新的第二编码序列，那么，该计算机设备在得到新的第二编码序列后，则可获取多媒体数据对应的目标情节标签，并采用新的第二编码序列和目标情节标签生成目标评论信息的回复信息。在一个实施例中，该计算机设备在调用生成模型对内容信息包括的多媒体数据的图像信息，及内容信息包括的多媒体数据的文本信息的分词序列进行编码处理，得到第二编码序列时，可先获取多媒体数据中各图像的
图像向量，及分词序列的序列长度；从而可在序列长度小于等于长度阈值时，将图像向量添加到分词序列的起始字符，如上述的[cls]，并得到第二编码序列；此外，该计算机设备可在该序列长度大于长度阈值时，基于长度阈值对分词序列进行序列分割，并在每个分割序列的起始字符处添加图像向量，得到新的分割序列，得到的每个新的分割序列为第二编码序列。同样的，长度阈值和确定第一编码序列的过程中涉及的长度阈值可以是相同的，也可以是不同的，即该长度阈值也可以是512等。
[0065]
在一个实施例中，由于该多媒体数据的文本信息包括视频标题、标签、ocr、asr、现有评论及回复等，那么，该计算机设备在得到该文本信息的分词序列时，可先分别对视频标题、标签、ocr、asr、现有评论及回复进行分词，然后采用分隔符(如上述的[sep])对来源相同的分词进行分隔拼接，从而得到该文本信息的分词序列。而在计算机设备得到该文本信息的分词序列后，则可对该分词序列中每个分词进行编码处理，并由每个分词的词向量构成第二编码序列。同样的，为了丰富第二编码序列中各词向量的语义，还可在生成第二编码序列后，为该第二编码序列中的每个词向量添加相应的位置向量和类型向量，而计算机设备在获取到多媒体数据的图像向量后，可先对该图像向量进行线性变换，使该图像向量和第二编码序列中的各词向量保持向量的维度一致，进而可将线性变换后的图像相连添加到第二编码序列的起始字符中。此外，该计算机设备还可基于该长度阈值进行位数补充，如该计算机设备在确定该分词序列的序列长度小于该长度阈值时，可为该分词序列添加占位符以使添加占位符后的分词序列的序列长度等于该长度阈值，其中，该占位符例如可以是[pad]。
[0066]
在一个实施例中，该生成模型是一种循环神经网络结构，如图4b所示，该生成模型包括编码器(如图4b中由41标记的网络)，情节分类网络(如图4b中由42标记的网络)，及生成网络(如图4b中由43标记的网络)，其中，该编码器用于生成上述的第二编码序列，该编码器采用transformerencoder结构(一种编码结构)将输入信息(如上述的多媒体数据的文本信息和图像信息)通过多层attention操作(或self-attention操作)，将原始向量(即向量序列，如上述的第二编码序列)转化为具有抽象语义的向量表示，这个输入向量表示序列中的每个向量既包含了词语的语义信息，又包含了当前的上下文语境信息。其中，该attention操作是由自注意力模块(self-attention模块)执行的，self-attention操作是通过计算每两个向量之间的相似度，将每个向量与其他所有向量的相似度归一化成为和为1的权重，再用得到的权重与其他向量加权求和得到当前向量，进而得到编码序列中每个分词的全局描述信息的，那么，在进行self-attention操作后每个向量都可以获得其他向量所携带的信息，从而使每个向量都可以获得与自身相关的全局描述信息，从而使生成模型可获得相应的语法和语义等。
[0067]
该情节分类网络用于使计算机设备获得该多媒体数据对应的目标情节标签，其中，该情节分类网络基于编码器输出的向量(如第一编码序列中的任一词向量)作为输入，并将该第一编码序列中的任一词向量与所有情节类型向量进行点乘，此时每个情节类型得到一个分数，经过sigmoid函数得到0-1区间的概率值，此概率值表示该多媒体数据属于该情节类型的概率，在得到所有情节类型概率的值后，选择大于预设阈值的情节类型作为目标情节类型进行输出。其中，该情节分类网络在训练时，将先为每一个情节类型随机生成一个对应的向量进行训练，并在训练时使类型标签(label)使用mvlit-hot向量(一种多分类
向量)进行训练，其中，mulit-hot向量是一种将包含某个情节类型则对应位置设置为1，否则设置为0的向量。
[0068]
计算机设备在采用训练完成的情节分类网络获取该多媒体数据的目标情节标签时，可先获取任一情节标签对应的标签向量，并将新的第二编码序列与任一标签向量进行向量运算，得到新的第二编码序列与任一标签向量之间的匹配度，然后可选取出对应匹配度大于等于匹配度阈值的标签向量对应的情节标签，作为多媒体数据的目标情节标签。那么，在计算机设备获取到目标情节标签后，则可调用该生成模型中的生成网络，并采用新的第二编码序列和目标情节标签生成目标评论信息的回复信息。在一个实施例中，该生成模型中的生成网络的网络结构采用transformerdecoder结构(一种解码结构)，其输入包含编码器输出的所有向量序列(即第二编码序列)，以及情节分类网络输出的目标情节标签(label向量)，decoder的初始状态分别采用上述的情节类型label向量，以此来生成和该视频(多媒体数据)情节类型有关的评论，因此可以为该多媒体数据生成多个与不同情节类型相关的评论。而编码器输出的向量序列用于解码器的attention操作，便于解码器获取更相关的信息，促使评论生成结果更合理通顺。
[0069]
该计算机设备在基于第二编码序列和目标情节标签生成回复信息时，该生成网络的具体解码过程是先挑选出多个概率最大的视频情节向量(情节类型标签)，分别以选取出的视频情节向量为transformer decoder的初始化向量开始进行decoder侧的编码。解码宏观步骤是根据初始化向量预测出第一个回复分词(token)，根据初始化向量和第一个token预测出第二个token，依次类推，直到预测出的token是终止符号或是预测长度达到阈值。具体步骤是先用拿到的视频情节向量经过一层线性映射，再用映射后的向量与transformerencoder输出向量计算相似度，并利用相似度分数和encoder向量计算得到和该视频情节相关的向量，再通过此向量和词表矩阵点乘，得到第一个token的概率分布，挑选出概率最大的k个分别作为第一个token，和情节向量一起输入到transformerencoder中，用来预测第二个token，以此类推，最终得到的输出就类似于树结构，每一条从树的根节点到叶子节点的路线就是一条评论，每一条评论的分数就是路径上各个token概率的乘积，最终挑选出分数最大的k个评论即可。那么，在模型预测完成后，该计算机设备则可从每个视频情节类型挑选出topk的评论，作为该目标评论信息的回复进行输出。
[0070]
也就是说，该计算机设备可基于目标情节标签对应的标签向量，及新的第二编码序，预测得到第i回复分词；i≥1，且为正整数；进而可采用第i回复分词预测得到第i 1回复分词，那么在在得到的第i j回复分词满足预测终止条件时，该计算机设备则可基于预测得到的i j个回复分词生成目标评论信息的回复信息；j≥1，且为正整数。而在计算机设备基于目标情节标签对应的标签向量，及新的第二编码序，预测得到第i回复分词时，该计算机设备可对目标情节标签的标签向量进行映射处理，得到标签向量的映射向量，并计算新的第二编码序列与映射向量之间的相似度；从而可根据相似度及新的第二编码序列生成与目标情节标签关联的情节标签的标签向量；进而也就可基于生成的关联的情节标签的标签向量及词表矩阵，生成词表矩阵中各分词被选取为第i回复分词的概率分布，并基于概率分布从词表矩阵中选取出一个或多个分词作为第i回复分词。进而可推理得到上述的树结构，并选取出最终的回复信息进行输出。
[0071]
在本技术实施例中，计算机设备可在获取到多媒体数据的内容信息和目标评论信
息后，基于该内容信息中所包括的多媒体数据的文本信息和该目标评论信息获取得到第一编码序列，而在计算机设备获取到第一编码序列后，可根据该第一编码序列中任一分词的词向量及其他任一分词的词向量之间的相似度，得到针对该文本信息和目标评论信息的全局描述信息，从而使计算机设备可基于该全局描述信息确定出针对该目标评论信息的不同回复策略，对于客观事实型的评论信息，可基于评论回复模型从多媒体数据的文本信息中确定出相应的回复，极大提高了客观事实型评论信息的准确性，而针对通用型的评论信息，可采用深度生成模型，并结合多媒体数据的类型标签进行回复信息的生成，以提升该计算机设备生成的回复信息的合理性和准确性，此外，由于该计算机设备在进行回复信息的生成时，对已有的评论及回复进行了参考，且在进行编码序列的构建时参考了多媒体数据在不同模态下的相关信息，也就使计算机设备在基于该编码序列生成相应回复信息时的准确性和多样性。
[0072]
基于上述信息处理方法实施例的描述，本发明实施例还提出了一种信息处理装置，该信息处理装置可以是运行于上述计算机设备中的一个计算机程序(包括程序代码)。该信息处理装置可用于执行如图2和图3所述的信息处理方法，请参见图5，该信息处理装置包括：获取单元501和处理单元502。
[0073]
获取单元501，用于获取多媒体数据的内容信息及针对所述多媒体数据的目标评论信息；
[0074]
所述获取单元501，还用于获取全局描述信息，所述全局描述信息用于描述所述内容信息和所述目标评论信息的信息语义；
[0075]
处理单元502，用于采用所述全局描述信息识别出针对所述目标评论信息的回复类型，并获取与所述回复类型相匹配的回复策略；
[0076]
所述处理单元502，还用于按照所述回复策略，并基于所述多媒体数据的内容信息生成所述目标评论信息的回复信息，以及输出所述回复信息。
[0077]
在一个实施例中，所述获取单元501，具体用于：
[0078]
获取第一编码序列，所述第一编码序列包括所述文本信息中各分词的词向量，及所述目标评论信息中各分词的词向量；
[0079]
根据任一分词的词向量及其他任一分词的词向量，计算所述任一分词与所述其他任一分词之间的相似度，并基于所述相似度对所述每个分词的词向量进行加权处理；
[0080]
将由加权处理后的词向量构成的向量序列，作为针对所述文本信息和所述目标评论信息的全局描述信息。
[0081]
在一个实施例中，所述获取单元501，具体用于：
[0082]
对所述目标评论信息进行分词处理，得到所述目标评论信息对应的分词序列，并对所述文本信息进行分词处理，得到所述文本信息的分词序列；
[0083]
将所述目标评论信息的分词序列，及所述文本信息的分词序列进行序列拼接，得到目标拼接序列；
[0084]
对所述目标拼接序列中的各分词进行编码处理，得到第一编码序列。
[0085]
在一个实施例，所述全局描述信息被作为第一编码序列的起始字符，所述第一编码序列是通过调用评论回复模型生成的，所述评论回复模型是采用深度学习训练得到的模型，所述第一编码序列是由所述评论回复模型的编码器对所述内容信息包括的所述多媒体
数据的文本信息，及所述目标评论信息进行编码得到，所述编码器与判别网络相连；所述处理单元502，具体用于：
[0086]
调用所述评论回复模型中的判别网络对所述全局描述信息进行识别处理，得到类型判别分值；所述全局描述信息是通过所述编码器获取所述第一编码序列的起始字符得到的；
[0087]
根据所述类型判别分值，确定所述目标评论信息的信息类型，其中，一个信息类型与一个回复类型相关联，所述信息类型包括客观事实型、通用型中至少一种。
[0088]
在一个实施例中，若所述回复策略指示通过调用评论回复模型进行信息回复，所述评论回复模型还包括解码器，所述解码器和所述编码器相连，所述编码器用于对所述内容信息包括的所述多媒体数据的文本信息，及所述目标评论信息进行编码，以得到第一编码序列，所述解码器包括第一线性层和第二线性层；所述处理单元502，具体用于：
[0089]
采用所述评论回复模型中解码器中的所述第一线性层，对从所述编码器获取的第一编码序列进行识别处理，确定构成所述第一编码序列的各分词对应词向量为回复信息的起始位置的概率；
[0090]
采用所述评论回复模型中解码器中的所述第二线性层，对从所述编码器获取的第一编码序列进行识别处理，确定构成所述第一编码序列的各分词对应词向量为回复信息的结束位置的概率；
[0091]
根据所述第一编码序列中各词向量分别为回复起始位置的概率及为回复结束位置的概率，从所述第一编码序列中截取出部分编码序列，并对所述部分编码序列进行解码处理，得到所述目标评论信息的回复信息。
[0092]
在一个实施例中，若所述回复策略指示通过调用生成模型生成所述回复信息；所述处理单元602，具体用于：
[0093]
调用所述生成模型对所述内容信息包括的所述多媒体数据的图像信息，及所述内容信息包括的所述多媒体数据的文本信息的分词序列进行编码处理，得到第二编码序列；所述第二编码序列包括所述文本信息中各分词的词向量；
[0094]
调用所述生成模型，为所述第二编码序列中的各词向量添加相应的全局描述信息，得到新的第二编码序列；
[0095]
获取所述多媒体数据对应的目标情节标签，并采用所述新的第二编码序列和所述目标情节标签生成所述目标评论信息的回复信息。
[0096]
在本技术实施例中，获取单元501可在需要为多媒体数据的评论信息生成回复信息时，将获取多媒体数据的内容信息和目标评论信息，以及用于对该内容信息和目标评论信息的信息语义进行描述的全局描述信息，进一步地，处理单元502可采用该全局描述信息识别出针对该目标评论信息的回复类型，从而该处理单元502可按照与该回复类型匹配的回复策略，及该多媒体数据的内容信息生成该目标评论信息的回复类型，可实现基于评论信息的信息类型的差异，采用差异化的回复策略来生成不同信息类型的评论信息的回复信息，而基于评论信息的信息类型的不同，采用差异化的回复策略进行回复信息的生成，提升了在回复信息的生成过程中的多样性，此外，由于在生成回复信息的过程中，充分考虑了多媒体数据的内容信息，从而也就可提升生成的回复信息的合理性和准确性。
[0097]
请参见图6，是本发明实施例提供的一种计算机设备的结构示意性框图。如图6所
示的本实施例中的计算机设备可包括：一个或多个处理器601；一个或多个输入设备602，一个或多个输出设备603和存储器604。上述处理器601、输入设备602、输出设备603和存储器604通过总线605连接。存储器604用于存储计算机程序，所述计算机程序包括程序指令，处理器601用于执行所述存储器604存储的程序指令。
[0098]
所述存储器604可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，ram)；存储器604也可以包括非易失性存储器(non-volatile memory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，ssd)等；存储器604还可以包括上述种类的存储器的组合。
[0099]
所述处理器601可以是中央处理器(central processing unit，cpu)。所述处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)等。该pld可以是现场可编程逻辑门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)等。所述处理器601也可以为上述结构的组合。
[0100]
本发明实施例中，所述存储器604用于存储计算机程序，所述计算机程序包括程序指令，处理器601用于执行存储器604存储的程序指令，用来实现上述如图2和图3中相应方法的步骤。
[0101]
在一个实施例中，所述处理器601被配置调用所述程序指令，用于执行：
[0102]
获取多媒体数据的内容信息及针对所述多媒体数据的目标评论信息；
[0103]
获取全局描述信息，所述全局描述信息用于描述所述内容信息和所述目标评论信息的信息语义；
[0104]
采用所述全局描述信息识别出针对所述目标评论信息的回复类型，并获取与所述回复类型相匹配的回复策略；
[0105]
按照所述回复策略，并基于所述多媒体数据的内容信息生成所述目标评论信息的回复信息，以及输出所述回复信息。
[0106]
本发明实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述如图2或图3所示的方法实施例。其中，所述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0107]
以上所揭露的仅为本发明的局部实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。