基于虚拟空间的多对象交互方法及相关设备与流程

1.本公开涉及数据处理技术领域，尤其涉及一种基于虚拟空间的多对象交互方法及相关设备。


背景技术：

2.本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.众所周知，语言的学习需要依靠大量的交流练习来进行提高。然而，现有的线上语言学习模式虽然能够实现不同用户之间的实时语音交互，但是无法为人们提供逼真和沉浸式的语言环境，这会降低人们的学习兴趣，导致学习效率降低和学习效果不好。


技术实现要素：

4.有鉴于此，非常需要一种改进的方法，能够有效地改善语言学习中学习兴趣和学习效率降低、学习效果不好的问题。
5.本公开示例性实施例提供了一种基于虚拟空间的多对象交互方法，包括：
6.获取现实世界中第一对象的第一语音数据，并向所述现实世界中的第二对象输出：所述虚拟空间中的第一虚拟对象输出所述第一语音数据；其中，所述第一虚拟对象与所述第一对象相对应；
7.获取所述第二对象针对所述第一语音数据的第二语音数据；
8.解析所述第一语音数据得到第一标签，以及解析所述第二语音数据得到第二标签；
9.基于预设的标签映射关系判断所述第二标签是否与所述第一标签相匹配；
10.响应于所述第二标签与所述第一标签相匹配，向所述现实世界中所有对象输出：所述虚拟空间中的第二虚拟对象输出所述第二语音数据，所述第二虚拟对象与所述第二对象相对应。
11.在一些实施例中，所述第二对象包括多个子对象，所述第二语音数据包括对应于所述子对象的第二语音子数据；
12.所述虚拟空间中的第二虚拟对象输出所述第二语音数据，还包括：基于所述第二语音子数据的获取时间顺序，由所述虚拟空间中对应的子虚拟对象依次输出所述第二语音子数据，所述子虚拟对象与所述子对象相对应。
13.在一些实施例中，方法还包括：
14.所述虚拟空间中的第一虚拟对象输出所述第一语音数据时，向所述第二对象在所述虚拟空间中显示与所述第一语音数据对应的第一文本数据；
15.以及所述虚拟空间中的第二虚拟对象输出所述第二语音数据时，向所有对象在所述虚拟空间中显示与所述第二语音数据对应的第二文本数据。
16.在一些实施例中，方法还包括：
17.响应于所述第二标签与所述第一标签不匹配，提示所述第二对象所述第二语音数据与所述第一语音数据不匹配，以及重新输入所述第二语音数据。
18.在一些实施例中，方法还包括：
19.获取现实世界中的第一空间图像数据以及所述第一空间图像数据对应的第一测绘信息；
20.基于所述第一空间图像数据和所述第一测绘信息构建所述虚拟空间。
21.在一些实施例中，所述第一空间图像数据包括至少一个第一空间对象以及所述第一空间对象的第一空间图像信息，所述第一测绘信息包括所述第一空间对象的第一坐标信息；
22.基于所述第一空间图像数据和所述第一测绘信息构建所述虚拟空间，包括：
23.基于所述第一空间对象的第一坐标信息计算得到所述第一空间对象的第一尺寸信息；
24.基于所述第一空间图像数据确定所述第一空间对象的第一相对位置信息；
25.基于所述第一空间对象的第一尺寸信息、所述第一相对位置信息和所述第一空间图像信息构建所述第一空间对象的第一三维模型；
26.基于所述第一空间图像信息对所述第一三维模型进行渲染，形成所述虚拟空间。
27.在一些实施例中，方法还包括：
28.获取关于所述虚拟空间的第二空间图像数据，以及所述第二空间图像数据对应的第二测绘信息；
29.基于所述第二空间图像数据与所述第一空间图像数据的不同更新所述虚拟空间。
30.在一些实施例中，方法还包括：
31.确定所述图像数据中的季节信息，并基于所述季节信息设置所述虚拟空间的季节标签；
32.存储具有不同季节标签的所述虚拟空间；
33.获取当前时间信息，并基于所述当前时间信息显示具有对应季节标签的所述虚拟空间。
34.在一些实施例中，所述虚拟空间包括具有第一空间坐标信息的第一虚拟空间和具有第二空间坐标信息的第二虚拟空间，所述方法还包括：
35.基于所述第一空间坐标信息和所述第二空间坐标信息，将所述第一虚拟空间和所述第二虚拟空间组合得到具有第三空间坐标信息的第三虚拟空间。
36.在一些实施例中，方法还包括：
37.基于所述虚拟空间唯一标识信息进入所述虚拟空间。
38.在一些实施例中，方法还包括：
39.确定所述第一空间图像数据的地理位置信息，并基于所述地理位置信息设置所述虚拟空间的地点标签；
40.将所述地点标签作为所述虚拟空间的所述唯一标识信息。
41.在一些实施例中，方法还包括：
42.向所述第二对象显示所述虚拟空间中位于第一虚拟位置的所述第一虚拟对象，以及向所述第一对象显示所述虚拟空间中位于第二虚拟位置的所述第二虚拟对象。
43.在一些实施例中，方法还包括：
44.获取所述第一对象的第一图像信息，并基于所述第一图像信息生成所述第一虚拟对象；
45.基于所述第一图像信息控制所述第一虚拟对象显示第一表情和/或第一动作；
46.和/或，
47.获取所述第二对象的第二图像信息，并基于所述第二图像信息生成所述第二虚拟对象；
48.基于所述第二图像信息控制所述第二虚拟对象显示第二表情和/或第二动作。
49.基于同一发明构思，本公开示例性实施例还提供了一种基于虚拟空间的多对象交互装置，包括：
50.获取模块，用于获取现实世界中第一对象的第一语音数据；
51.输出模块，用于向所述现实世界中的第二对象输出：所述虚拟空间中的第一虚拟对象输出所述第一语音数据；其中，所述第一虚拟对象与所述第一对象相对应；
52.所述获取模块还用于获取所述第二对象针对所述第一语音数据的第二语音数据；
53.语音解析模块，用于解析所述第一语音数据得到第一标签，以及解析所述第二语音数据得到第二标签；
54.标签匹配模块，用于基于预设的标签映射关系判断所述第二标签是否与所述第一标签相匹配；
55.所述输出模块还用于响应于所述第二标签与所述第一标签相匹配，向所述现实世界中所有对象输出：所述虚拟空间中的第二虚拟对象输出所述第二语音数据，所述第二虚拟对象与所述第二对象相对应。
56.基于同一发明构思，本公开示例性实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的基于虚拟空间的多对象交互方法。
57.基于同一发明构思，本公开示例性实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任一项所述的基于虚拟空间的多对象交互方法。
58.基于同一发明构思，本公开示例性实施例还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如上任一项所述的基于虚拟空间的多对象交互方法。
59.基于同一发明构思，本公开示例性实施例还提供了一种终端设备，包括：
60.传感器，用于采集现实世界中第一对象的第一实时信息或采集第二对象的第二实时信息；
61.存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
62.将所述第一语音数据发送至服务器；
63.接受来自所述服务器的第二语音数据，并向第一对象输出所述第二语音数据；
64.其中，所述服务器获取现实世界中第二对象针对所述第一语音数据的第二语音数据；并解析所述第一语音数据得到第一标签，以及解析所述第二语音数据得到第二标签；基
于预设的标签映射关系判断所述第二标签是否与所述第一标签相匹配；响应于所述第二标签与所述第一标签相匹配，向所述现实世界中的第一对象输出所述第二语音数据；
65.或者，
66.存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
67.输出所述虚拟空间中的第一语音数据；
68.获取所述第二对象针对所述第一语音数据的第二语音数据，并将所述第二语音数据发送至所述服务器。
69.从上面所述可以看出，本公开提供的基于虚拟空间的多对象交互方法及相关设备，通过在虚拟场景中对多个对象的交流内容进行匹配，展示匹配成功的交流内容，为语言学习用户提供良好的沉浸式语音学习环境，减少了目前线上交流的不真实感，提高了语言学习互动的沉浸感，提升了口语的学习效果和学习效率。同时还可以突破线下空间、时间及其他客观因素的限制，便于语言学习用户随时随地进行口语练习。
附图说明
70.为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
71.图1为本公开示例性实施例的应用场景示意图。
72.图2为本公开示例性实施例的应用场景示意图。
73.图3为本公开示例性实施例的基于虚拟场景的多个对象的交互方法的示意性流程图。
74.图4为本公开示例性实施例的语言学习的流程示意图。
75.图5a为本公开示例性实施例的基于虚拟场景的多个对象的交互装置结构示意图。
76.图5b为本公开示例性实施例的终端设备的结构示意图。
77.图6为本公开示例性实施例的电子设备结构示意图。
具体实施方式
78.下面将参考若干示例性实施方式来描述本技术的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本技术的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
79.根据本公开的实施方式，提出了一种基于虚拟空间的多对象交互方法及相关设备。
80.在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
81.为了方便理解，下面对本公开实施例中涉及的名词进行解释：
82.虚拟现实(vr，virtual reality)：利用计算机技术生成现实世界对应的模拟环境
即虚拟空间。该虚拟空间通过多种传感设备，根据用户自身的感觉，使用人的自然技能对虚拟世界的物体进行考察或操作；同时提供视觉、听觉、触觉等多通道的信息，使用户通过视、听、摸等直观而又自然的实时感知，并使参与者沉浸于模拟环境中。
83.下面参考本公开的若干代表性实施方式，详细阐释本技术的原理和精神。
84.发明概述
85.本公开的方案旨在提供基于虚拟空间的多对象交互方法及相关设备，以实现一种改进的基于虚拟空间的多对象交互方案。
86.目前，学习用户在进行线上语言学习时一般通过录播课程、直播课程或视频聊天等方式。录播课程的学习用户只能被动地接收知识点，不能进行交互，即使有交互也是用户与机器之间的交互，而机器交互的句式比较固定，无法根据学习不同的用户和不同的情况做出不同的响应。直播课程或视频聊天虽然能够实现不同用户的实时语音交互，但是无法为用户提供逼真和沉浸式的语言环境，降低了用户的学习兴趣，导致学习效率变低。此外，当参与交互的用户都对语言不够精通时，在交互过程中无法自行判断大家输出的语句是否正确，这样会使得用户虽然参与了语言交互来练习口语，但是学习效果却不高。
87.在实现本公开的过程中，发明人发现上述现有技术均存在明显不足。传统的语言学习交互方式不能为参与的用户提供真实和沉浸式的语言氛围，降低了用户的学习兴趣，导致学习效率变低、学习效果不好。尤其是对年龄小的用户，他们在语言练习时需要更沉浸的语言环境、更有趣的学习方式、更高效的反馈和更趣味的互动。
88.然而，虚拟现实场景具有多感知性、浸没感和交互性等特点，虚拟现实场景可以弥补现有的语言学习过程中互动沉浸感的不足。结合语音匹配技术对参与用户输出的语句进行解析匹配，实现交互过程的智能反馈，有利于用户对输出语句的正确性进行判断，提高学习效果。
89.基于上述虚拟现实技术的特点，以及针对于上述现有技术存在的问题，本公开提供了一种基于虚拟空间的多对象交互方法及相关设备，通过在虚拟场景中对多个对象的交流内容进行匹配，展示匹配成功的交流内容，为语言学习用户提供良好的沉浸式语音学习环境，减少了目前线上交流的不真实感，提高了语言学习互动的沉浸感，提升了口语的学习效果和学习效率。同时还可以突破线下空间、时间及其他客观因素的限制，便于语言学习用户随时随地进行口语练习。
90.在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。
91.应用场景总览
92.参考图1，其为本公开实施例提供的基于虚拟控件的多对象交互方法的应用场景示意图。该应用场景包括服务器101以及终端设备，例如终端设备102a、终端设备102b、终端设备102c、
……
、终端设备102n。其中，服务器101与终端设备102a、终端设备102b、终端设备102c、
……
、终端设备102n之间均可通过有线或无线的通信网络连接。
93.服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
94.终端设备包括但不限于智能可穿戴设备以及配置有智能可穿戴设备的桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、个人数字助理(personal digital assistant，pda)或其它能够实现上述功能的电子设备等。
95.在一些实施例中，图1中的应用场景还可以包括数据存储系统103，用于为服务器101提供数据存储功能。数据存储系统103也可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。应了解，数据存储系统103可以设置于服务器101内部，也可以独立于服务器101设置，在此不做限制。
96.参考图2，其为本公开实施例提供的基于虚拟空间的多对象交互方法的应用场景示意图。结合图1和图2，服务器101可以用于向终端设备102a、终端设备102b、终端设备102c、
……
、终端设备102n的用户a、用户b、用户c、
……
、用户n提供各种虚拟场景，例如室内场景或室外场景。用户a、用户b、用户c、用户n可以选择同一虚拟场景，例如通过建立同一虚拟场景的会话链接使得用户a、用户b、用户c、用户n分别通过各自的终端设备102a、终端设备102b、终端设备102c、终端设备102n进入同一虚拟场景，以实现用户a、用户b、用户c、用户n在该虚拟场景中的语言学习过程。例如图2中，用户a、用户b、用户c与用户n可以位于现实世界中不同的地理位置，分别通过终端设备102a、终端设备102b、终端设备102c、终端设备102n与服务器101进行通信，进入虚拟空间，如校园操场的虚拟空间。那么，用户a、用户b、用户c、用户n可以经由服务器101在该校园操场的虚拟空间中建立各自对应的虚拟对象a’、虚拟对象b’、虚拟对象c’(图2中未示出)、虚拟对象n’。各自的终端设备102a、终端设备102b、终端设备102n通过采集现实世界中用户a、用户b、用户c、用户n的行为数据(例如声音数据和动作数据)发送至服务器101，例如，用户a、用户b、用户c、用户n以学校操场为主题进行交流，讨论学校操场中的建筑和操场上其他虚拟对象(可以是现实世界中的用户在该虚拟空间所对应的虚拟对象，也可以是由计算机为了丰富该虚拟空间所构建的完全虚拟的预设对象)的运动情况，以练习相关的语言(可以是各个国家的语音，例如英语、日语、法语等)表达。服务器101接收到这些行为数据将其转换为虚拟场景中对应的虚拟数据，并基于虚拟数据控制虚拟对象a’、虚拟对象b’、虚拟对象n’做出与对应的用户a、用户b、用户n一致的动作，并通过终端设备102c向用户c进行展示。那么，用户c可以通过其终端设备102c看到虚拟场景中的虚拟对象a’、虚拟对象b’、虚拟对象n’的动作以及听到他们的声音，从而实现多个对象的语言学习交流。
97.在该虚拟空间中进行语言交流时，在该虚拟空间中进行语言交流时，用户可以基于固定的一个或多个内容主题和/或一个或多个语法句式进行语言练习，并结合语义分析和匹配，对用户的输出形成实时反馈，在提供良好的沉浸式语音学习环境的同时，及时帮助用户校正语言的表达，提高语言学习效果。例如，用户a、用户b、用户c可以在虚拟空间room1中围绕内容主题subject/语法句式gamma来进行英语口语练习。用户a输出语句sentence-a，可以对语句sentence-a进行语义分析，判断语句sentence-a是否与主题subject/语法句式gamma相匹配，即判断语句sentence-a是否与主题subject相关/是否符合语法句式gamma的用法。如果语句sentence-a与主题subject相匹配/符合语法句式gamma的用法，则可以向虚拟空间room1内的其他用户b和用户c展示：虚拟对象a’输出语句sentence-a。如果
sentence-a与主题subject不匹配/不符合语法句式gamma的用法，则说明用户a所说的语句偏离了围绕主题subject/出现语法错误，此时可以不向其他用户b和用户c展示用户a的语句sentence-a。进一步地，还可以提示用户a输出的语句与主题不符/出现语法错误。进一步地，可以引导用户a重新输入。这样，可以利用语义分析和匹配技术对参与的用户形成及时反馈，避免用户在练习时偏离主题，保证语言学习的练习效果。
98.此外，用户a输出语句sentence-a后，对语句sentence-a进行语义分析时，还可以确定语句sentence-a的至少一个标签la1、la2，
……
。接着用户b输出语句sentence-b，此时可以对语句sentence-b进行语义分析，确定语句sentence-b的至少一个标签lb1、lb2，
……
；将用户a的标签la1、la2，
……
与用户b的标签lb1、lb2，
……
进行匹配，如果用户a的标签与用户b的标签之间存在相互匹配的标签，则说明语句sentence-a和语句sentence-b相匹配，可以向虚拟空间room1中的其他用户a、用户c展示：虚拟对象b’输出语句sentence-b。如果用户a的标签与用户b的标签之间不存在相互匹配的标签，则说明用户b输出的语句sentence-b与用户a输出的语句sentence-a不匹配，即用户b可能没有围绕主题subject或与用户a输出的语句sentence-a无关，没有与用户a形成有效的交流，此时可以提示用户b输出的语句与用户a的输出无关。进一步地，可以引导用户b重新输出新语句。
99.应了解，在用户b输出语句sentence-b，对语句sentence-b进行语义分析时，还可以判断语句sentence-b是否与主题subject相关/是否符合语法句式gamma的用法，具体过程与语句sentence-a相似，在此不再赘述。该步骤可以是在与语句sentence-a的标签匹配之前、同时或之后，再在此不做限制。
100.在该虚拟空间中进行语言交流时，用户还可以自由地进行语言练习，即不固定内容主题或语法句式。用户a输出语句sentence-a时，向虚拟空间room1中的其他用户b、用户c展示：虚拟对象a’输出语句sentence-a。同时，对语句sentence-a进行语义分析，以确定语句sentence-a的至少一个标签la1、la2，
……
。随后，用户b输出语句sentence-b时，可以对语句sentence-b进行语义分析，确定语句sentence-b的至少一个标签lb1、lb2，
……
。将用户a的标签la1、la2，
……
与用户b的标签lb1、lb2，
……
进行匹配，如果用户a的标签与用户b的标签之间存在相互匹配的标签，则说明语句sentence-a和语句sentence-b相匹配，用户b与用户a形成有效的对话，可以向虚拟空间room1中的其他用户a、用户c展示：虚拟对象b’输出语句sentence-b。如果用户a的标签与用户b的标签之间不存在相互匹配的标签，则说明用户b输出的语句sentence-b与用户a输出的语句sentence-a不匹配，用户b输出的语句sentence-b与用户a输出的语句sentence-a无关，没有与用户a形成有效的交流，此时可以不向其他用户a、用户c展示用户b的语句sentence-b。进一步地，可以引导用户b重新输出新语句。
101.应了解，在虚拟空间内也可以类似地进行其他国家的语言练习，在此不做限制。
102.本公开实施例的方法，实现了在一虚拟空间中多个对象的语言交流，并对交流内容进行匹配，并将匹配成功的内容输出。一方面为用户提供了良好的沉浸式语音学习环境，减少了目前线上交流的不真实感，提高了语言学习互动的沉浸感；另一方面，通过语音分析和匹配，及时对用户交流内容进行反馈，提升了口语的学习效果和学习效率。以及突破线下空间、时间及其他客观因素的限制，便于语言学习用户随时随地进行口语练习。
103.下面结合图1和图2的应用场景，来描述根据本公开示例性实施方式的基于虚拟空
间的多对象交互方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
104.示例性方法
105.首先，本公开实施例提供了一种基于虚拟空间的多对象交互方法，可以由服务器执行，如图1和图2中的服务器101。参考图3，本公开实施例的基于虚拟空间的多对象交互方法300，可以进一步包括如下步骤。
106.用户在进入虚拟空间之前，可以建立或更新自己的虚拟对象。虚拟对象可以基于预设的形象建立，也可以基于用户的真实形象建立。其中，基于预设的形象建立可以保护用户的隐私；基于真实形象建立对应的虚拟对象，更能反映用户的真实表情，有利于促进用户之间的交流，提升交流的真实感。在建立虚拟对象时还可以根据需要设置预设动作，用于在虚拟空间中预设场景(例如满足预设条件时)下执行的动作。
107.在一些实施例中，在步骤s301之前，方法300可以包括：
108.获取所述第一对象的预设图像信息或第一图像信息；
109.基于所述预设图像信息或所述第一图像信息生成所述第一对象在虚拟空间中对应的所述第一虚拟对象。
110.具体实施中，预设图像信息可以包括预设人物形象信息或第一对象的历史图像信息；该预设图像信息可以存储于第一终端设备中，由服务器从第一终端设备中获取；第一图像信息可以包括第一对象通过终端设备进入虚拟空间的实时图像信息。其中，第一对象可以根据需要选择经由预设人物形象信息、历史图像信息或第一图像信息来在虚拟场景中建立第一虚拟对象。
111.在一些实施例中，第一虚拟对象的属性与对应的所述第一对象一致。其中，属性可以包括身高、体型、皮肤颜色、服装、脸型、五官等等。
112.应了解，连接至虚拟场景的其他对象也可以采用类似的方法建立各自的虚拟对象，过程与上述实施例中第一虚拟对象的建立类似，在此不再赘述。
113.用户可以选择直接进入虚拟空间以进行语言交流，还可以先选择先自学后再进入虚拟空间进行交流，如图4所示。图4示出了根据本公开实施例的语言学习的流程示意图。图4中，用户在创建对应的虚拟对象后，可以选择不同的学习方式，包括先自学再交流的第一模式，或直接交流的第二模式。同时，用户可以选择学习内容，包括固定内容主题、固定语法句型或自由交流等。
114.对于第一模式，用户在确定学习内容的固定内容主题或固定语法句型后，先进行该学习内容的自主学习。具体地，可以先向用户展示预设的学习数据，预设的学习数据可以是词语发言、词语释义、词语动画、词语例句、文章阅读、文章讲解等内容。用户可以根据预设的学习数据进行发音练习或跟读练习或读文章，得到用户的自学语音数据。可以对该自学语音数据进行评测，例如基于训练好的评测模型进行评测。进一步地，可以根据用户的评测结果判断是否进入第二模式。当用户的评测结果达标时可以确定用户完成自主学习；用户完成自主学习后，可以直接进入第二模式，或响应于用户确定进入第二模式的操作指令后进入第二模式。当用户的评测结果不达标时可以提示和/或引导用户对不达标的地方重新学习，也可以响应于用户确定进入第二模式的操作指令后进入第二模式。
115.对于第二模式，用户可以选择新建虚拟空间后进入，也可以选择进入已将创建的虚拟空间。虚拟空间的建立或更新可以基于当前用户上传的关于现实世界的图像数据和对应的测绘信息构建或更新，也可以是基于其他用户上传的关于现实世界的图像数据和对应的测绘信息构建或更新。
116.在一些实施例中，方法300还可以包括：
117.获取现实世界中的第一空间图像数据以及所述第一空间图像数据对应的第一测绘信息；
118.基于所述第一空间图像数据和所述第一测绘信息构建所述虚拟空间。
119.其中，可以从现实世界中采集一空间的图像数据和测绘信息，该测绘信息可以包括该空间的整体尺寸，以及该空间中所包含的各个对象的实际尺寸或地理位置坐标(例如经纬度)等信息。可以根据空间的整体尺寸，空间中各个对象的实际尺寸、相对位置建立三维模型，形成虚拟空间。该虚拟空间所显示的所有情况均与现实世界中一致，进一步保证了虚拟空间的真实感。
120.在一些实施例中，所述第一空间图像数据包括至少一个第一空间对象以及所述第一空间对象的第一空间图像信息，所述第一测绘信息包括所述第一空间对象的第一坐标信息；
121.基于所述第一空间图像数据和所述第一测绘信息构建所述虚拟空间，包括：
122.基于所述第一空间对象的第一坐标信息计算得到所述第一空间对象的第一尺寸信息；
123.基于所述第一空间图像数据确定所述第一空间对象的第一相对位置信息；
124.基于所述第一空间对象的第一尺寸信息、所述第一相对位置信息和所述第一空间图像信息构建所述第一空间对象的第一三维模型；
125.基于所述第一空间图像信息对所述第一三维模型进行渲染，形成所述虚拟空间。
126.具体来说，现实世界中的空间可以包括一个或多个对象，例如图2中所示，学校操场中可以包括多个植物对象、多个建筑对象、多个篮球架对象、天空对象、跑道对象、篮球场地面对象等。可以对该空间的各个对象的坐标进行测绘，据此可以计算得到各个对象的尺寸信息；结合该空间的空间图像信息则可以计算得到各个对象之间的相对位置信息。将各个对象的尺寸信息、相对位置信息和空间图像信息建立各个对象的三维模型，再根据空间图像信息所显示的颜色分别进行渲染，从而形成虚拟空间。此外，还可以直接基于空间图像信息构建三维模型以形成虚拟空间，此时该虚拟空间的尺寸可以与现实世界不同。
127.由于现实世界中的每个空间随着时间的推移可能会发生变化，例如该空间的对象可能会增加、减少或变更，环境也可能会随着季节的变化而变化，所以，为了与现实世界保持一致，提升学习环境的真实感，还可以对虚拟空间进行更新；或建立对应于同一空间的具有不同标签的多个虚拟空间，当现实世界的该空间发生变化时，基于不同的标签来显示对应的虚拟空间。
128.在一些实施例中，方法300还可以包括：
129.获取关于所述虚拟空间的第二空间图像数据，以及所述第二空间图像数据对应的第二测绘信息；
130.基于所述第二空间图像数据与所述第一空间图像数据的不同更新所述虚拟空间。
131.其中，第二空间图像数据可以与第一空间图像数据不同时间的空间的图像数据。可以比较第二空间图像数据和第一空间图像数据得到二者的差异数据，并根据该差异数据对虚拟空间进行更新。例如，第二空间图像数据与第一空间图像数据相比，新增了对象object1则基于第二空间图像数据和第二测绘信息得到对象object1的尺寸信息和与其他不变对象的相对位置信息，并将渲染后的object1增加至虚拟空间中。第二空间图像数据与第一空间图像数据相比，减少了对象object2则从当前虚拟空间中移除对象object2。第二空间图像数据与第一空间图像数据相比，对象object3发生了变化，则基于变化后的对象object3替换当前虚拟空间中的对象object3。
132.在一些实施例中，方法300还包括：
133.确定所述图像数据中的季节信息，并基于所述季节信息设置所述虚拟空间的季节标签；
134.存储具有不同季节标签的所述虚拟空间；
135.获取当前时间信息，并基于所述当前时间信息显示具有对应季节标签的所述虚拟空间。
136.其中，可以采集现实世界中空间的不同季节的空间图像数据，并分别建立各个季节的虚拟空间，该虚拟空间设置有对应的季节标签以指示该虚拟空间中的季节。当用户进入该虚拟空间room2时，可以根据当前时间和该虚拟空间room2对应现实世界中的地理位置location2来确定当前季节信息season2，则向用户展示季节标签为season2的虚拟空间。
137.在一些实施例中，虚拟空间可以具有唯一标识信息。其中，唯一标识信息可以指能够唯一确定虚拟空间的信息。在一些实施例中，唯一标识信息可以包括id信息。例如，id信息可以包括编号或名称等。
138.在一些实施例中，方法300还可以包括：基于所述虚拟空间唯一标识信息进入所述虚拟空间。例如，虚拟空间room3的唯一标识信息为room3-summer，则通过该唯一标识信息room3-summer则可以进入夏季场景下的虚拟空间room3；虚拟空间room4的唯一标识信息为31415，则通过该唯一标识信息31415则可以进入夏季场景下的虚拟空间room4。
139.在一些实施例中，方法300还包括：
140.确定所述第一空间图像数据的地理位置信息，并基于所述地理位置信息设置所述虚拟空间的地点标签；
141.将所述地点标签作为所述虚拟空间的所述唯一标识信息。
142.其中，可以将现实世界中空间的地理位置信息作为虚拟空间的地点标签，由于第一空间图像数据为该空间的图像数据，采集时可以同时获取该空间的地理位置信息。例如，地理位置信息可以是xx学校操场还可以是其他表示方式。可以将地点标签作为虚拟空口的唯一标识信息，这样用户可以直接从唯一标识信息判断出虚拟空间的场景，有利于用户方便快捷且准确地选择虚拟空间。
143.在虚拟场景中，用户还可以根据自己的个性化需求对已建立的虚拟空间进行组合，从而形成新的虚拟空间。如此可以方便用户按照自己的偏好来构建虚拟空间，有利于满足用户对语音学习环境的个性化需求。
144.在一些实施例中，所述虚拟空间包括具有第一空间坐标信息的第一虚拟空间和具有第二空间坐标信息的第二虚拟空间，所述方法还包括：
145.基于所述第一空间坐标信息和所述第二空间坐标信息，将所述第一虚拟空间和所述第二虚拟空间组合得到具有第三空间坐标信息的第三虚拟空间。
146.其中，第一空间坐标信息、第二空间坐标信息和第三空间坐标信息可以是各个虚拟空间在整个虚拟世界中的虚拟坐标信息，与现实世界中的坐标信息不同。例如，虚拟空间room5具有空间坐标信息i5(x5，y5，z5)和虚拟空间room6均具有空间坐标信息i6(x6，y6，z6)，用户可以基于空间坐标信息i5和空间坐标信息i6得到新的空间坐标信息i7＝(x5，y5，z5) (x6，y6，z6)，从而将虚拟空间room5和虚拟空间room6组合形成新的虚拟空间room7。
147.在一些实施例中，第三虚拟空间也可以具有唯一标识信息。例如第三虚拟空间的唯一标识信息可以包括第三空间坐标信息。在虚拟世界中，虚拟空间可以基于各自的空间坐标信息分布，虚拟对象经过这些虚拟空间时，可以看到这些新的虚拟空间，并选择加入这些新的虚拟空间中，例如基于第三空间坐标信息可以加入新组合的第三虚拟空间。
148.在一些实施例中，所述方法300还可以包括：
149.向所述第二对象显示所述虚拟空间中位于第一虚拟位置的所述第一虚拟对象，以及向所述第一对象显示所述虚拟空间中位于第二虚拟位置的所述第二虚拟对象。
150.其中，用户进入虚拟空间后，可以看到该虚拟空间中哪些位置上有哪些虚拟对象，这样不会发生虚拟对象之间的位置冲突。
151.在一些实施例中，方法300还可以包括：建立所述虚拟空间的会话连接。例如，图2中的任意一个用户进入虚拟空间时可发起一虚拟空间的会话连接，其他用户可以在任意时刻通过该会话连接进入到该虚拟空间中。
152.在用户进入虚拟空间之前，可以确定好学习内容为固定内容主题、固定语法句型或自由交流。用户进入虚拟空间后可以开始与虚拟空间中的其他对象进行交流。
153.在步骤s301处，获取现实世界中第一对象的第一语音数据，并向所述现实世界中的第二对象输出：所述虚拟空间中的第一虚拟对象输出所述第一语音数据；其中，所述第一虚拟对象与所述第一对象相对应。
154.其中，对象可以是通过终端设备与服务器之间的通信连接进入虚拟空间的用户，例如图2中的用户a、用户b、用户c和用户n。具体地，虚拟空间的学习内容为固定主题，例如fruit。可以通过第一对象的第一终端设备来采集第一对象的第一实时交互信息。第一对象可以是用户a，第一终端设备可以是终端设备102a。用户a输出第一语音数据sentence-a：“what’s your favorite fruit？”。可以对sentence-a进行语音分析，并确定sentence-a与主题“fruit”相匹配，则向第二对象(例如用户b、用户c和用户n)展示在虚拟空间中第一虚拟对象a’输出第一语音数据sentence-a。
155.在一些实施例中，第一实时交互信息可以包括如下至少一种：第一对象的第一语音信息、第一图像信息或第一动作信息。具体实施中，第一终端设备(如图2中的终端设备102a)采集第一对象(如图2中的用户a)的第一实时交互信息，并将该第一实时交互信息发送至服务器101；服务器101从第一终端设备获取该第一实时交互信息。
156.在一些实施例中，所述方法300还包括：
157.获取所述第一对象的第一图像信息，并基于所述第一图像信息生成所述第一虚拟对象；
158.基于所述第一图像信息控制所述第一虚拟对象显示第一表情和/或第一动作。
159.其中，第一图像信息可以是第一对象的实时图像信息，那么据此可以将第一图像信息中所显示的第一对象的第一表情/第一动作映射到虚拟空间的第一虚拟对象上，从而辅助第一对象的语言表达。
160.在一些实施例中，所述方法300还包括：
161.所述虚拟空间中的第一虚拟对象输出所述第一语音数据时，向所述第二对象在所述虚拟空间中显示与所述第一语音数据对应的第一文本数据。
162.其中，第一文本数据可以与第一语音数据一致，例如，第一语音数据包括“what’s your favorite fruit？”，第一文本数据可以是“what’s your favorite fruit？”。第一文本数据也可以是第一语句数据所对应的翻译文本，例如“你最喜欢什么水果？”这样，对于初学的用户，有利于帮助其进行理解，快速地融入到语言交流中，避免由于不能理解而无法回答，导致学习效率和学习兴趣降低的问题。应了解，上述第一文本数据和第一语音数据仅为举例说明，并不旨在对其进行限制，第一文本数据和第一语音数据均可以是其他国家语言的任意组合，在此不做限定。
163.在步骤s302处，获取所述第二对象针对所述第一语音数据的第二语音数据。
164.其中，可以通过第二对象的第二终端设备来采集第二对象的第二实时交互信息。第二对象可以是用户b、用户c、用户n，第一终端设备可以是终端设备102b、102c、102n。第二对象在听到用户a输出的第一语音数据sentence-a后，可以针对第一语音数据sentence-a输出第二语音数据。例如，用户b回答sentence-b：“my favorite fruit is apple.”；用户c回答sentence-c：“my favorite fruit is watermelon.”；用户n回答sentence-n：“i like summer.”165.在一些实施例中，所述方法300还包括：
166.获取所述第二对象的第二图像信息，并基于所述第二图像信息生成所述第二虚拟对象；
167.基于所述第二图像信息控制所述第二虚拟对象显示第二表情和/或第二动作。
168.其中，第二图像信息可以是第二对象的实时图像信息，那么据此可以将第二图像信息中所显示的第二对象的第二表情/第二动作映射到虚拟空间的第二虚拟对象上，从而辅助第二对象的语言表达。
169.在步骤s303处，解析所述第一语音数据得到第一标签，以及解析所述第二语音数据得到第二标签。
170.具体来说，解析语音数据得到相应的标签可以基于语音识别和语义分析技术。解析第一语音数据sentence-a：“what’s your favorite fruit？”可以得到第一标签，例如la1“fruit”。解析第二语音数据sentence-b：“my favorite fruit is apple.”可以得到第二标签lb1“apple”。解析第二语音数据sentence-c：“my favorite fruit is watermelon.”可以得到第二标签lc1“watermelon”。解析第二语音数据sentence-n：“i like summer.”可以得到第二标签ln1“summer”。
171.在步骤s304处，基于预设的标签映射关系判断所述第二标签是否与所述第一标签相匹配。
172.其中，标签映射关系可以指标签之间的相匹配关系。例如，fruit包括apple和watermelon，则标签“fruit”与标签“apple”、标签“watermelon”相匹配；fruit与summer无
关，则标签“fruit”与标签“summer”不匹配。而season包括summer，所以标签“summer”与标签“summer”相匹配。应了解，上述匹配关系仅为举例说明，并不旨在对匹配关系进行限定，标签之间的匹配关系可以根据需要进行设置，标签映射关系可以是一个标签可以与多个标签相匹配，也可以是多个标签与多个标签相匹配，在此不做限制。
173.在步骤s305处，响应于所述第二标签与所述第一标签相匹配，向所述现实世界中所有对象输出：所述虚拟空间中的第二虚拟对象输出所述第二语音数据，所述第二虚拟对象与所述第二对象相对应。
174.具体来说，第二标签lb1“apple”、第二标签lc1“watermelon”与第一标签“fruit”相匹配，则可以显示在虚拟空间中第二虚拟对象b’输出sentence-b：“my favorite fruit is apple.”、第二虚拟对象c’输出sentence-c：“my favorite fruit is watermelon.”。
175.在一些实施例中，所述第二对象包括多个子对象，所述第二语音数据包括对应于所述子对象的第二语音子数据；
176.所述虚拟空间中的第二虚拟对象输出所述第二语音数据，还包括：基于所述第二语音子数据的获取时间顺序，由所述虚拟空间中对应的子虚拟对象依次输出所述第二语音子数据，所述子虚拟对象与所述子对象相对应。
177.具体来说，第二对象可以包括第二对象：用户b和用户c，第二语音数据包括对应于所述子对象的第二语音子数据sentence-b和sentence-c。用户b在时间t1输出sentence-b，用户c在时间t2输出sentence-c，如果时间t1在时间t2之前，则先向用户a和用户c、用户n展示虚拟空间中第二虚拟对象b’输出sentence-b，再展示第二虚拟对象c’输出sentence-c。
178.在一些实施例中，所述方法300还包括：
179.所述虚拟空间中的第二虚拟对象输出所述第二语音数据时，向所有对象在所述虚拟空间中显示与所述第二语音数据对应的第二文本数据。
180.同样地，与第一文本数据类似，第二文本数据可以与第二语音数据一致，也可以是第二语句数据所对应的翻译文本，以帮助用户进行理解，提高学习效率和学习效果。
181.在一些实施例中，所述方法300还包括：
182.响应于所述第二标签与所述第一标签不匹配，提示所述第二对象所述第二语音数据与所述第一语音数据不匹配，以及重新输入所述第二语音数据。
183.具体来说，第二标签ln1“summer”与第一标签“fruit”不匹配，则说明第二对象用户n没有针对用户a的语句进行有效地交流，此时在虚拟空间中与用户n对应的虚拟对象n’并不输出任何语句。其他用户a、用户b、用户c均不会听到用户n输出的sentence-n。进一步地，可以在虚拟空间中以显示提示语(例如字幕)的方式和/或播放提示语音的方式提示用户n其输出的语音数据与第一语音数据不匹配。此时，其他用户a、用户b、用户c也可以听到该提示语音和/或看到该提示语，或者用户a、用户b、用户c听不到该提示语音和/或看不到该提示语，即可以仅对用户n进行提示。进一步地，可以提示用户n重新输入语音数据。进一步地，还可以给出参考例句，同样以提示语和/或提示语音的方式提供至用户n，结合语义分析和匹配的优势，对用户的输出及时反馈和/或校正，以提高用户的学习效果和学习效率。
184.示例性设备
185.参考图5a，基于与上述任意基于虚拟空间的多对象交互方法实施例相同的发明构思，本公开实施例还提供了一种基于虚拟空间的多对象交互装置。
186.所述的基于虚拟空间的多对象交互装置，包括：
187.获取模块，用于获取现实世界中第一对象的第一语音数据；
188.输出模块，用于向所述现实世界中的第二对象输出：所述虚拟空间中的第一虚拟对象输出所述第一语音数据；其中，所述第一虚拟对象与所述第一对象相对应；
189.所述获取模块还用于获取所述第二对象针对所述第一语音数据的第二语音数据；
190.语音解析模块，用于解析所述第一语音数据得到第一标签，以及解析所述第二语音数据得到第二标签；
191.标签匹配模块，用于基于预设的标签映射关系判断所述第二标签是否与所述第一标签相匹配；
192.所述输出模块还用于响应于所述第二标签与所述第一标签相匹配，向所述现实世界中所有对象输出：所述虚拟空间中的第二虚拟对象输出所述第二语音数据，所述第二虚拟对象与所述第二对象相对应。
193.上述实施例的装置用于实现前述示例性基于虚拟空间的多对象交互方法部分中任一实施例中相应的基于虚拟空间的多对象交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
194.参考图5b，基于与上述任意基于虚拟空间的多对象交互方法实施例相同的发明构思，本公开实施例还提供了一种终端设备，包括：
195.传感器，用于采集现实世界中第一对象的第一实时交互信息(例如第一语音数据、第一图像信息、第一动作信息)或采集第二对象的第二实时交互信息(例如第二语音数据、第二图像信息、第二动作信息)；
196.存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
197.将所述第一语音数据发送至服务器；
198.接受来自所述服务器的第二语音数据，并向第一对象输出所述第二语音数据；
199.其中，所述服务器获取现实世界中第二对象针对所述第一语音数据的第二语音数据；并解析所述第一语音数据得到第一标签，以及解析所述第二语音数据得到第二标签；基于预设的标签映射关系判断所述第二标签是否与所述第一标签相匹配；响应于所述第二标签与所述第一标签相匹配，向所述现实世界中的第一对象输出所述第二语音数据；
200.或者，
201.存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
202.输出所述虚拟空间中的第一语音数据；
203.获取所述第二对象针对所述第一语音数据的第二语音数据，并将所述第二语音数据发送至所述服务器。
204.在一些实施例中，所述传感器包括如下至少一种：图像传感器(例如ar3d相机)、运动传感器(例如陀螺仪)或声音传感器(例如麦克风)。其中，图像传感器可以捕捉用户多个角度的照片数据，形成用户图库，并将用户图库传中的图像数据传输至服务器(如图1和图2中的服务器101)，以进行3d算法合成虚拟对象的建立。运动传感器可以设置在智能穿戴设备(例如，vr智能头盔、vr智能眼镜、身体穿戴智能传感设备等)上，用户通过智能穿戴设备
将运动传感器固定在身体的各个部位，能够实现对用户运动信息的准确采集，例如前述实施例中对第一对象的第一动作信息和第二对象的第二动作信息的采集。
205.在一些实施例中，终端设备还可以包括：输入端口，用于将第一实时交互信息或第二实时交互信息传输到服务器。例如，运动传感器可以将捕捉到第一对象或第二对象的不同空间和时间的运动信号传输到服务器，通过相应的动画合成算法合成相应的运动动画，并将合成后的运动动画映射到虚拟环境中，实现用户和虚拟环境的直接交互。声音传感器可以将捕捉到第一对象或第二对象的语音数据传输到服务器，并将该语音数据映射到虚拟环境中的虚拟对象，作为虚拟对象的语音输出。
206.在一些实施例中，终端设备还可以包括：输出端口，用于向第一对象或第二对象输出相应的数据。例如，服务器将第一对象和第二对象各自的运动动画分别映射到智能设备中，给第一对象和第二对象呈现对方的实时运动画面，从而使得第一对象和第二对象能够直观地看到对方的动作。服务器将第一对象和第二对象各自的语音数据分别映射到智能设备中，实时地给第一对象和第二对象输出对方的语音，从而使得第一对象和第二对象能够结合动作和语音实现沉浸式的交流氛围，更具真实性。
207.需要说明的是，根据本公开实施例的基于虚拟空间的多对象交互方法，可以基于本公开实施例中的终端设备实现，也可以与其他智能穿戴设备实现，例如，可以通过sdk的接入方式，定义一个抽象的sdk接入接口实现任意智能穿戴设备接入至虚拟空间中，在此不做限制。
208.基于与上述任意基于虚拟空间的多对象交互方法实施例相同的发明构思，本公开实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于虚拟空间的多对象交互方法。
209.图6示出了本公开示例性实施例的电子设备结构示意图，该设备可以包括：处理器610、存储器620、输入/输出接口630、通信接口640和总线650。其中处理器610、存储器620、输入/输出接口630和通信接口640通过总线650实现彼此之间在设备内部的通信连接。
210.处理器610可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
211.存储器620可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器620中，并由处理器610来调用执行。
212.输入/输出接口630用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
213.通信接口640用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
214.总线650包括一通路，在设备的各个组件(例如处理器610、存储器1020、输入/输出接口630和通信接口640)之间传输信息。
215.需要说明的是，尽管上述设备仅示出了处理器610、存储器620、输入/输出接口630、通信接口640以及总线650，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
216.上述实施例的电子设备用于实现前述示例性方法部分中任一实施例中相应的基于虚拟空间的多对象交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
217.示例性程序产品
218.基于与上述任意基于虚拟空间的多对象交互方法实施例相同的发明构思，本公开实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行前述示例性方法部分中任一实施例中相应基于虚拟空间的多对象交互方法。
219.上述非暂态计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
220.上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上示例性方法部分中任一实施例所述的基于虚拟空间的多对象交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
221.本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
222.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
223.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
224.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无
线、电线、光缆、rf等等，或者上述的任意合适的组合。
225.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(lan)或广域网(wan))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
226.应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
227.也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。
228.也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
229.此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
230.申请文件中提及的动词“包括”、“包含”及其词形变化的使用不排除除了申请文件中记载的那些元素或步骤之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。
231.虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。