一种车用多模态交互方法、装置及车辆与流程

1.本技术涉及车辆交互技术领域，具体涉及一种车用多模态交互方法、装置及车辆。


背景技术：

2.由于驾驶员在驾驶过程中需要保持手眼专注于路况，使得语音交互成为智能座舱的标配核心功能。与此同时，语音交互由于语言表达本身的不准确性和歧义性，语音表达经常出现意图不明确或存在歧义，导致很多人类认为非常自然的对话并不能被车机理解。针对这类问题，对话系统往往需要再次进行语音交互确认，由此降低了对话效率和使用感受。
3.因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。


技术实现要素：

4.本发明的目的在于提供一种车用多模态交互方法来至少解决上述的一个技术问题。
5.本发明的一个方面，提供一种车用多模态交互方法，所述车用多模态交互方法包括：
6.获取第一用户请求信息；
7.判断能否根据所述第一用户请求信息执行唯一操作；若否，则
8.获取所述用户语音指令之前生成的至少一个用户交互行为信息；
9.预设用户交互行为信息获取策略；
10.根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息；
11.根据所述第二用户请求信息生成控制信息；
12.将控制信息发送给车辆的对应控制机构，以使车辆的对应控制机构根据控制信息对车辆进行控制。
13.可选地，所述获取第一用户请求信息包括：
14.获取用户语音指令；
15.解析所述用户语音指令，从而获取第一用户语义；
16.根据所述第一用户语义生成第一用户请求信息。
17.可选地，所述根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息包括：
18.获取每个用户交互行为信息对应的领域信息；
19.获取领域-可执行动作数据库，所述领域-可执行动作数据库至少包括一个领域信息，及对应的可执行动作信息；
20.根据所述领域-可执行动作数据库、用户交互行为信息和第一用户请求信息，获取一个或多个用户交互行为信息，称为用户行为信息集；
21.判断所述行为信息集内的用户交互行为信息是否为一个，若是，则
22.根据所述行为信息集内的用户交互行为信息和所述第一用户请求信息生成第二用户请求信息。
23.可选地，所述根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息还包括：
24.判断所述行为信息集内的用户交互行为信息是否为多个，若是，则
25.获取用户交互行为信息筛选策略；
26.根据所述用户交互行为信息筛选策略在所述行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息；
27.根据最终的用户交互行为信息和所述第一用户请求信息生成第二用户请求信息。
28.可选地，所述用户交互行为信息筛选策略包括第一筛选策略；
29.所述行为信息集中的用户交互行为信息包含被执行对象信息；
30.所述根据所述用户交互行为信息筛选策略在所述行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息包括：
31.解析所述被执行对象信息是否包含位置信息，若是，则
32.使用第一筛选策略筛选出最终的用户交互行为信息：
33.获取用户发出语音指令时的位置信息，称为第一位置信息；
34.所述被执行对象信息包含的位置信息，称为第二位置信息；
35.筛选出与第一位置信息相同的第二位置信息所对应的用户交互行为信息作为最终的用户交互行为信息。
36.可选地，所述用户交互行为信息筛选策略还包括第二筛选策略；
37.所述根据所述用户交互行为信息筛选策略在所述行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息还包括：
38.解析所述被执行对象信息是否包含位置信息，若否，则
39.使用第二筛选策略筛选出最终的用户交互行为信息：
40.获取所述行为信息集中的用户交互行为信息所对应的用户行为时间；
41.获取用户发出语音指令时的时间；
42.筛选与用户发出语音指令时的时间最接近的用户行为时间所对应的用户交互行为信息作为最终的用户交互行为信息。
43.可选地，所述根据最终的用户交互行为信息和所述第一用户请求信息生成第二用户请求信息包括：
44.将所述最终的用户交互行为信息与第一用户请求信息组合，形成第二用户请求信息。
45.可选地，所述用户交互行为信息包括以下一项或多项：
46.用户语音信息；
47.手势交互信息；
48.触控交互信息；
49.按键交互信息。
50.本发明的另一个方面还提供了一种车用多模态交互装置，所述车用多模态交互装置包括：
51.第一用户请求信息获取模块，所述第一用户请求信息获取模块用于获取第一用户请求信息；
52.判断模块，所述判断模块用于判断能否根据所述第一用户请求信息执行唯一操作；
53.用户行为获取模块，所述用户行为获取模块用于获取所述用户语音指令之前生成的至少一个用户交互行为信息；
54.用户交互行为信息获取策略预设模块，所述用户交互行为信息获取策略预设模块用于预设用户交互行为信息获取策略；
55.第二请求信息生成模块，所述第二请求信息生成模块用于在所述判断模块判断为否时，根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息；
56.控制信息生成模块，所述控制信息生成模块用于根据所述第二用户请求信息生成控制信息；
57.发送模块，所述发送模块用于将控制信息发送给车辆的对应控制机构，以使车辆的对应控制机构根据控制信息对车辆进行控制。
58.本发明的又一个方面还提供了一种车辆，所述车辆包括如上述的车用多模态交互装置。
59.有益效果
60.本技术的车用多模态交互方法通过获取第一用户请求信息(，然后判断第一用户请求信息是否具有多个可执行动作，最后根据用户交互行为信息和第一用户请求信息来获取第二用户请求信息，从而在用户语音指令具有歧义时，进行语义精准判断，从而实现以较少交互次数和交互方式切换频次的情况下，满足用户的需求。
附图说明
61.图1是本技术一实施例的车用多模态交互方法的流程示意图。
62.图2是本技术一实施例的能够实现图1所示的车用多模态交互方法的电子设备示意图。
具体实施方式
63.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
64.由于驾驶员在驾驶过程中需要保持手眼专注于路况，使得语音交互成为智能座舱的标配核心功能。与此同时，语音交互由于语言表达本身的不准确性和歧义性，语音表达经常出现意图不明确或存在歧义，导致很多人类认为非常自然的对话并不能被车机理解。针
对这类问题，对话系统往往需要融合更多的上下文信息，以便进一步明确语义。例如，驾驶员需要打开车窗，并通过实体按键完成开窗操作，随后发出语音指令“再开大点”，仅通过语言本身无法理解该指令(是开车窗、天窗还是空调？)，但对于人来说显然是开窗(因为刚刚通过按键调整过车窗，说“再开大点”明显是在之前按键操控上下文的基础上下达的语音指令)；再如，副驾驶观看视频，通过屏幕触控完成视频搜索并播放，随后发出语音指令“换成相声”，仅从语言本身会错误理解为“搜索有声节目-相声”，但用户真实意图是希望“搜索视频-相声”。
65.在传统的对话系统中：包括五部分——语音识别、语义理解、对话管理、回复生成、tts。语音识别将用户声音信号识别成文本query；语义解析将文本理解为结构化信息(领域domain、意图intention、槽位值对slots)，例如，打开副驾驶车窗
‑‑
》(domain＝
‘
车辆控制’,intention＝
‘
车窗控制’，slots＝{位置＝《副驾驶，front_left》})。对话管理对结构化语义信息进行处理，经过对话状态追踪和对话策略模块，维护当前对话状态states(当前轮数、意图、槽位值对等)，同时输出系统下一步需要采取的动作action(包括：执行、询问、引导等)，例如，对于上例的query的语义结果，action＝
‘
执行’，表示可以直接执行用户指令；又如对于query＝
‘
我要导航’，action＝(
‘
询问’，slot＝
‘
目的地’)，表示系统需要询问用户目的地。回复生成基于对话管理模块的结果，生成回复tts，例如，对于上例的query＝打开副驾驶车窗，tts＝
‘
好的’；query＝我要导航，tts＝
‘
您要导航去哪里’。最后语音合成模块将回复转化为声音信号，通过扬声器播报给用户。播报完毕之后，对话系统开始等待用户下一轮的指令。
66.可以看到，在语音交互中，对话系统的对话管理模块，在维护当前t 1时刻的对话状态state时，依赖于之前t时刻的对话状态state、之前t时刻的动作action、当前t 1时刻的语义intention和slots。
67.在语音交互中，对话系统的任务是解析出对话中用户的意图和槽位并进行对话管理，例如：我要去公园
‑‑
》意图＝导航，目的地＝公园，起点＝当前位置。针对前述问题，市场上的对话系统通过融合多模信息解决语音交互歧义性问题的方案主要有以下三种：
68.1.可见即可说(gui融合语音交互)：以车机页面的显示内容(例如：周杰伦的歌曲列表)作为上下文信息，通过对话系统的意图识别(打开/关闭/设置/播放/收藏等)和指代消解(通过序号第x个或文本“七里香”命中列表中的元素)技术，让用户可以用语音交互(可说)来替代触控完成页面操作。此类技术：a.适合表示屏幕触控操作产生的上下文信息，不能解决按键、手势类的上下文信息表示；b.无法完成车机可见范围外的语音操控，例如，如果“相声”并不属于视频页面可见元素，则“播放相声”指令无法命中页面元素，该语音指令仍然会被错误理解。
69.2.多模态融合语音交互：此类多模态信息主要有车辆环境信息(路况、天气等)、车内驾乘信息(人数、位置、注意力等)。融合交互的方法主要是通过对上述视觉/传感器信息经过理解转化为结构化的车辆状态，与语音信息进行融合处理，推断用户意图并进行决策。此类技术：a.用于表示车辆的状态，未考虑用户对汽车的操控指令，例如，只知道现在车窗是打开状态，但并不知道用户是何时以何种方式打开。
70.3.手势融合语音交互：此类融合交互主要是通过语音指令触发，当语音指令包含特定意图时(例如，“那是哪条街道”)，触发车内摄像头采集并识别手势(例如，识别到用户
手指指向车的左前方)，融合交互系统会结合地图信息，查询并播报车辆左前方的街道名称。此类方法：a.处理语音交互和手势同时发生场景，手势信息用来补全语义信息。但语音交互中未考虑手势操控指令的上下文信息。
71.在车载场景，车机系统为驾乘人员提供了多模态的人机操控方式与车辆交互，完成导航、娱乐、车控等操作，包括：按键(方向盘、中控台、车窗、座椅、空调等实体按键)、触控(屏幕点击、滑动等)、语音(语音指令)、手势(挥手、横扫、画圈等)。
72.本技术主要通过对实体按键/触控/手势等多模态交互操作解析、转译成统一的上下文语义表示，在对话系统中进行对话管理，解决语音交互中的泛意图(即字面意图不明确或存在歧义)的语义解析问题。
73.图1是本技术一实施例的车用多模态交互方法的流程示意图。
74.参照图1，本技术提供了一种车用多模态交互方法，车用多模态交互方法包括：
75.获取第一用户请求信息；
76.判断能否根据第一用户请求信息执行唯一操作；若否，则
77.获取用户语音指令之前生成的至少一个用户交互行为信息；
78.预设用户交互行为信息获取策略；
79.根据用户交互行为信息获取策略、用户交互行为信息和第一用户请求信息，生成第二用户请求信息；
80.根据第二用户请求信息生成控制信息；
81.将控制信息发送给车辆的对应控制机构，以使车辆的对应控制机构根据控制信息对车辆进行控制。
82.本技术的车用多模态交互方法获取第一用户请求信息(例如，用户说“再开大点”)，然后判断第一用户请求信息是否具有多个可执行动作(例如，“再开大点”中执行动作可以是开窗户，也可以是开空调，)，最后根据用户交互行为信息(例如，按键打开车窗)和第一用户请求信息来获取第二用户请求信息(例如，车窗在开大点)，从而在用户语音指令具有歧义时，进行语义精准判断，从而实现以较少交互次数和交互方式切换频次的情况下，满足用户的需求。
83.在一实施例中，获取第一用户请求信息包括：
84.获取用户语音指令；
85.解析用户语音指令，从而获取第一用户语义；
86.根据第一用户语义生成第一用户请求信息。
87.在一实施例中，根据用户交互行为信息获取策略、用户交互行为信息和第一用户请求信息，生成第二用户请求信息包括：
88.获取每个用户交互行为信息对应的领域信息；
89.获取领域-可执行动作数据库，领域-可执行动作数据库至少包括一个领域信息，及对应的可执行动作信息；
90.根据领域-可执行动作数据库、用户交互行为信息和第一用户请求信息，获取一个或多个用户交互行为信息，称为用户行为信息集；
91.判断行为信息集内的用户交互行为信息是否为一个，若是，则
92.根据行为信息集内的用户交互行为信息和第一用户请求信息生成第二用户请求
信息。
93.举例来说，获取每个用户交互行为信息对应的领域信息；
94.采集到多个用户行为信息分别是“按键打开车窗”和“触控屏幕播放视频”，其中，“按键打开车窗”可以解析为(领域＝车窗控制，意图＝车窗控制,槽位对＝{操作＝《-,open》,位置＝《-,front_left》,开关程度＝《-,10％》}，“触控屏幕播放相声视频”可以解析为(领域＝多媒体控制，意图＝播放视频，槽位对＝{操作＝《-,play》(这里因为是触控屏幕，所以为
“‑”
),视频名称＝《相声,-》(这里因为没有规范化的结果，所以为
“‑”
)})。
95.用户的语音指令，例如“在开大一点”经过解析后的第一用户请求信息为(领域＝？，意图＝？,slots＝{操作＝《开,open》,位置＝《-,？》,开关程度＝《大点,plus》})；
96.预设领域-可执行动作数据库，例如，
97.领域权限车窗控制打开、关闭、开关程度多媒体控制搜索视频、搜索语音
98.根据领域-可执行动作数据库、用户交互行为信息和第一用户请求信息，获取一个或多个用户交互行为信息，称为用户行为信息集；
99.通过领域-可执行动作数据库可以知道，车窗控制领域对应的权限有开关程度，多媒体控制领域对应的权限没有开关程度，所以，此时的行为信息集包括“按键打开车窗”，而不包括“触控屏幕播放视频”。
100.在一实施例中，根据用户交互行为信息获取策略、用户交互行为信息和第一用户请求信息，生成第二用户请求信息还包括：
101.判断行为信息集内的用户交互行为信息是否为多个，若是，则
102.获取用户交互行为信息筛选策略；
103.根据用户交互行为信息筛选策略在行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息；
104.根据最终的用户交互行为信息和第一用户请求信息生成第二用户请求信息。
105.用户交互行为信息筛选策略包括第一筛选策略；
106.行为信息集中的用户交互行为信息包含被执行对象信息；
107.根据用户交互行为信息筛选策略在行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息包括：
108.解析被执行对象信息是否包含位置信息，若是，则
109.使用第一筛选策略筛选出最终的用户交互行为信息：
110.获取用户发出语音指令时的位置信息，称为第一位置信息；
111.被执行对象信息包含的位置信息，称为第二位置信息；
112.筛选出与第一位置信息相同的第二位置信息所对应的用户交互行为信息作为最终的用户交互行为信息。
113.下面举例说明，如何使用第一筛选策略筛选出最终的用户交互行为信息，
114.例如，行为信息集中的第一个用户交互行为信息为打开主驾驶窗户，第二个用户交互行为信息为打开副驾驶窗户，获取的用户发声位置信息为副驾驶，筛选第二个用户交互行为信息作为最终的用户交互行为信息。
115.在一实施例中，用户交互行为信息筛选策略还包括第二筛选策略；
116.根据用户交互行为信息筛选策略在行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息还包括：
117.解析被执行对象信息是否包含位置信息，若否，则
118.使用第二筛选策略筛选出最终的用户交互行为信息：
119.获取行为信息集中的用户交互行为信息所对应的用户行为时间；
120.获取用户发出语音指令时的时间；
121.筛选与用户发出语音指令时的时间最接近的用户行为时间所对应的用户交互行为信息作为最终的用户交互行为信息。
122.下面举例说明，如何使用第二筛选策略筛选出最终的用户交互行为信息，
123.例如，行为信息集中的第一个用户交互行为信息所对应的用户行为时间为早上8点，第二个用户交互行为信息所对应的用户行为时间为8点2分，用户发出语音指令时的时间为8点5分，筛选第二个用户交互行为信息作为最终的用户交互行为信息。
124.在一实施例中，根据最终的用户交互行为信息和第一用户请求信息生成第二用户请求信息包括：
125.将最终的用户交互行为信息与第一用户请求信息组合，形成第二用户请求信息。
126.举例来说，获取最终的用户交互行为信息中的领域、意图和槽位值对；
127.获取第一用户请求信息中的领域，和/或意图，和/或槽位值对；
128.将所述最终的用户交互行为信息中的领域、意图和槽位值对补充到用户第一用户请求信息中缺失的对应信息，形成第二用户请求信息。
129.具体而言，完整的语音指令应该包含领域、意图和槽位值对；
130.第一用户请求信息中不包含完整的上述信息，所以将用户行为请求信息与第一用户请求信息进行组合，形成第二用户请求信息。
131.在一实施例中，用户交互行为信息包括以下一项或多项：
132.用户语音信息；
133.手势交互信息；
134.触控交互信息；
135.按键交互信息。
136.可以理解的是，用户行为信息可以是一句话(例如，请开空调)、一个手势交互(例如，一个手势运动轨迹)、一个按键交互(例如，打开主驾驶车窗)、一个触控交互(例如，通过屏幕打开空调)等，不论是那种情况，都可以通过本技术的方法去判断是否可以结合用户交互行为信息来生成第二用户请求信息。
137.本技术还提供了一种车用多模态交互装置，车用多模态交互装置包括：
138.第一用户请求信息获取模块，第一用户请求信息获取模块用于获取第一用户请求信息；
139.判断模块，判断模块用于判断能否根据第一用户请求信息执行唯一操作；
140.用户行为获取模块，用户行为获取模块用于获取用户语音指令之前生成的至少一个用户交互行为信息；
141.用户交互行为信息获取策略预设模块，用户交互行为信息获取策略预设模块用于
预设用户交互行为信息获取策略；
142.第二请求信息生成模块，第二请求信息生成模块用于在判断模块判断为否时，根据用户交互行为信息获取策略、用户交互行为信息和第一用户请求信息，生成第二用户请求信息；
143.控制信息生成模块，控制信息生成模块用于根据第二用户请求信息生成控制信息；
144.发送模块，发送模块用于将控制信息发送给车辆的对应控制机构，以使车辆的对应控制机构根据控制信息对车辆进行控制。
145.本技术还提供了一种车辆，车辆包括如上述的车用多模态交互装置。
146.可以理解的是，上述对方法的描述，也同样适用于对装置的描述。
147.本技术还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的车用多模态交互方法。
148.本技术还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的车用多模态交互方法。
149.图2是能够实现根据本技术一个实施例提供的车用多模态交互方法的电子设备的示例性结构图。
150.如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
151.也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的车用多模态交互方法。
152.在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的车用多模态交互方法。
153.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
154.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
155.计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器
(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数据多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
156.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
157.此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
158.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
159.在本实施例中所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
160.存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
161.在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，
计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本技术虽然以较佳实施例公开如上，但其实并不是用来限定本技术，任何本领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改，因此，本技术的保护范围应当以本技术权利要求所界定的范围为准。
162.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
163.此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
164.虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。