回声消除方法、装置、设备及存储介质与流程

1.本申请涉及声学技术领域，更具体地，涉及一种回声消除方法、一种回声消除装置、一种音频设备以及一种计算机可读存储介质。


背景技术：

2.目前，通过会议系统以及智能音箱等实现双方远距离交流，已经成为常见的交流方式。
3.以会议系统为例，远端音频设备在接收到远端用户发出语音后，将远端用户所发出的语音发送至近端音频设备。近端设备的喇叭对远端用户发出的语音进行播放。同时，近端音频设备的扬声器会采集其喇叭所播放的远端用户所发出的语音，并将该远端用户所发出的语音至远端设备。这样，远端用户会通过远端音频设备可听到自己的语音。为了避免这一情况发生，通常在近端音频设备中设置回音消除模块。
4.但是，即使在近端音频设备中设置回音消除模块，仍存在远端用户通过远端音频设备听到自己的语音的情况发生，这大大降低了交流质量。


技术实现要素：

5.本申请的一个目的是提供一种用于回声消除的新技术方案。
6.根据本申请的第一方面，提供了一种回声消除方法，所述方法应用于音频设备，所述音频设备包括麦克风、振动传感器以及扬声器，包括：
7.获取第一播放语音信号以及第一振动信号，所述第一播放语音信号为所述麦克风在所述扬声器播放输入语音信号期间所采集到的音频信号，所述第一振动信号为所述振动传感器在所述麦克风位置处采集到的振动信号；
8.根据所述第一振动信号，确定第二振动信号，所述第二振动信号为所述第一振动信号经传播路径传播后所形成的振动信号；
9.从所述第一播放语音信号中剔除所述第二振动信号，得到第二播放语音信号；
10.获取参考信号，所述参考信号为所述音频设备的输入语音信号所对应的回声估计信号；
11.从所述第二播放语音信号中剔除所述参考信号，得到输出语音信号。
12.可选的，所述获取参音信号，包括：
13.获取所述输入语音信号；
14.根据所述输入语音信号以及自适应滤波器，确定所述参考信号。
15.可选的，所述方法还包括：
16.根据所述输入语音信号、所述输出语音信号，更新所述自适应滤波器的参数。
17.可选的，所述根据所述第一振动信号，确定第二振动信号，包括：
18.获取所述传播路径对应的传递函数；
19.根据所述第一振动信号和所述传递函数，确定所述第二振动信号。
20.可选的，所述从所述第一播放语音信号中剔除所述第二振动信号，得到第二播放语音信号，包括：
21.根据所述第二振动信号的发生时刻以及所述第一播放语音信号的发生时刻，确定所述第二振动信号相对于所述第一播放语音信号的延时；
22.根据所述第二振动信号的幅度以及所述所述第一播放语音信号的幅度，确定所述第二振动信号相对于所述第一播放语音信号的放大倍数；
23.根据所述延时以及所述放大倍数，从所述第一播放语音信号中剔除所述第二振动信号，得到第二播放语音信号。
24.可选的，所述方法还包括：
25.提供用于输入所述传递函数的输入接口；
26.响应于所述输入接口的输入，获取所述传递函数。
27.可选的，所述振动传感器为加速度计。
28.根据本申请的第二方面，提供了一种回声消除装置，应用于音频设备，所述音频设备包括麦克风、振动传感器以及扬声器，包括：
29.第一获取模块，用于获取第一播放语音信号以及第一振动信号，所述第一播放语音信号为所述麦克风在所述扬声器播放输入语音信号期间所采集到的音频信号，所述第一振动信号为所述振动传感器在所述麦克风位置处采集到的振动信号；
30.确定模块，用于根据所述第一振动信号，确定第二振动信号，所述第二振动信号为所述第一振动信号经传播路径传播后所形成的振动信号；
31.第一剔除模块，用于从所述第一播放语音信号中剔除所述第二振动信号，得到第二播放语音信号；
32.第二获取模块，用于获取参考信号，所述参考信号为所述音频设备的输入语音信号所对应的回声估计信号；
33.第二剔除模块，用于从所述第二播放语音信号中剔除所述参考信号，得到输出语音信号。
34.根据本申请的第三方面，提供了一种音频设备，包括麦克风、振动传感器、扬声器以及如第二方面所述的装置；或者，
35.包括麦克风、振动传感器、扬声器、存储器以及处理器；
36.其中，所述扬声器用于播放输入语音；
37.所述麦克风用于在扬声器播放输入音频信号期间采集第一播放语音信号；
38.所述振动传感器用于在所述麦克风位置处采集振动信号；
39.所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面中任一项所述的方法。
40.根据本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。
41.在本实施例中，提供了一种回声消除方法，该方法应用于音频设备。该音频设备包括包括麦克风、振动传感器以及扬声器，该方法包括：获取第一播放语音信号以及第一振动信号，第一播放语音信号为麦克风在扬声器播放输入语音信号期间所采集到的音频信号，第一振动信号为振动传感器在麦克风位置处采集到的振动信号；根据第一振动信号，确定
第二振动信号，第二振动信号为第一振动信号经传播路径传播后所形成的振动信号；从第一播放语音信号中剔除第二振动信号，得到第二播放语音信号；获取参考信号，参考信号为音频设备的输入语音信号所对应的回声估计信号；从第二播放语音信号中剔除参考语音信号，得到输出语音信号。在本实施例中，从第一播放语音信号中剔除第二振动信号，可以将由于音频播放设备的机壳或者扬声器周围其他零件的振动带来的第二振动信号剔除掉。这样，经剔除得到的第二播放语音信号，为麦克风对扬声器实际上播放的音频信号进行采集得到的音频信号。即本实施例中，音频设备可以准确的得到扬声器实际上播放的音频信号，即第二播放语音信号。在此基础上，由于参考信号近似于第二播放语音信号，因此，从第二播放语音信号中剔除参考语音信号后，输出语音信号近似于0。这样，音频播放设备可实现回声基本完全消除。进一步的，与音频设备通信的远端音频设备的远端用户几乎听不到自己的声音。这大大的提高了交流质量。
42.通过以下参照附图对本申请的示例性实施例的详细描述，本申请的其它特征及其优点将会变得清楚。
附图说明
43.被结合在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且连同其说明一起用于解释本申请的原理。
44.图1是本申请实施例提供的一种回声消除方法的流程示意图；
45.图2是本申请实施例提供的一种回声消除装置的结构示意图；
46.图3是本申请实施例提供的一种音频设备的结构示意图。
具体实施方式
47.现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
48.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
49.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
50.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
51.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
52.<方法实施例>
53.本申请实施例提供了一种回声消除方法，该方法应用于音频设备。该音频设备包括麦克风、振动传感器以及扬声器。
54.在一个示例中，音频设备可示例性的为智能音箱、会议系统中的近端音频设备等。
55.如图1所示，本申请实施例提供的回声消除方法包括如下s1100
‑
s1500：
56.s1100、获取第一播放语音信号以及第一振动信号。
57.其中，第一播放语音信号为麦克风在扬声器播放输入语音信号期间所采集到的音频信号，第一振动信号为振动传感器在麦克风位置处采集到的振动信号。
58.在本实施例中，扬声器对音频设备接收到的输入语音信号进行播放。其中，输入语音信号为与音频设备进行通信的远端音频设备向音频设备发送的音频信号。
59.在本实施中，麦克风可以为单个麦克风，也可以为麦克风阵列。以及，麦克风用于对音频设备所处环境中的环境语音进行采集。可以理解的是，在实际场景中，环境语音可以为第一播放语音信号，还可以为所处环境中的声源所发出的声音(例如使用音频设备的用户的说话声)。因此，麦克风需要对第一播放语音信号以及所处环境中的声源所发出的声音进行区分。具体区分的实现可以为：由于所处环境中的声源所发出的声音通常是与第一播放语音信号在时序上是分开的，因此，可将扬声器播放音频信号期间，麦克风采集到的音频信号记为第一播放语音信号。对应的，将扬声器未播放音频信号期间，麦克风采集到的音频信号记为所处环境中的声源所发出的声音。
60.在本实施例中，振动传感器可尽可能的靠近麦克风的外壳，这样，振动传感器可采集到更为准确的第一振动信号。当然，振动传感器还可设置在其他位置，只要其可采集麦克风处的振动信号即可。
61.在一个示例中，振动传感器可以为一个加速度计。当然，还可以为其他类型的感应振动信号的传感器。
62.s1200、获取第一振动信号，确定第二振动信号。
63.其中，第二振动信号为第一振动信号经传播路径传播后所形成的振动信号。
64.在本实施例中，传播路径指的是，第一振动信号从振动传感器所在位置处进入麦克风的路径。
65.在本实施例中，确定第二振动信号的原因在于，在实际场景中，麦克风采集到的振动信号为第一振动信号经过传播路径传播后所形成的振动信号，即第二振动信号。
66.s1300、从第一播放语音信号中剔除第二振动信号，得到第二播放语音信号。
67.在本实施例中，申请人发现，音频设备的扬声器在播放输入语音的情况下，当扬声器所播放的输入语音的音量较大时，会引起音频播放设备的机壳或者扬声器周围其他零件的振动。此时，麦克风在采集到扬声器实际上播放的音频信号的基础上，还会采集到由于前述振动所带来的振动信号(该振动信号具体为第二振动信号)。而这两个信号会混合在一起形成第一播放语音信号。这样，音频播放设备在采用传统的消回声技术时，会将第一播放语音信号误识别为扬声器实际上播放的音频信号。在此基础上，由于音频设备无法准确的识别到扬声器实际上播放的音频信号，因此导致回声无法完全消除。进一步的导致与音频设备通信的远端音频设备的远端用户存在听到自己的声音的情况。
68.在本实施例中，从第一播放语音信号中剔除第二振动信号得到的第二播放语音信号，为麦克风对扬声器实际上播放的音频信号进行采集得到的音频信号。即本实施例中，音频设备可以准确的识别到扬声器实际上播放的音频信号。
69.s1400、获取参考信号。
70.其中，参考信号为音频设备的输入语音信号所对应的回声估计信号。
71.在本实施例中，回声估计信号为，输入语音信号经扬声器播放后，被音频设备所处环境反射、吸收等之后被麦克风所采集到的信号。
72.可以理解的是，上述的参考信号近似于上述的第二播放语音信号。
73.s1500、从第二播放语音信号中剔除参考信号，得到输出语音信号。
74.在本实施例中，由于参考信号近似于第二播放语音信号，因此，从第二播放语音信号中剔除参考语音信号后，输出语音信号近似于0。这样，音频播放设备可实现回声基本完全消除。进一步的，与音频设备通信的远端音频设备的远端用户几乎听不到自己的声音。这大大的提高了交流质量。
75.在本实施例中，提供了一种回声消除方法，该方法应用于音频设备。该音频设备包括包括麦克风、振动传感器以及扬声器，该方法包括：获取第一播放语音信号以及第一振动信号，第一播放语音信号为麦克风在扬声器播放输入语音信号期间所采集到的音频信号，第一振动信号为振动传感器在麦克风位置处采集到的振动信号；根据第一振动信号，确定第二振动信号，第二振动信号为第一振动信号经传播路径传播后所形成的振动信号；从第一播放语音信号中剔除第二振动信号，得到第二播放语音信号；获取参考信号，参考信号为音频设备的输入语音信号所对应的回声估计信号；从第二播放语音信号中剔除参考语音信号，得到输出语音信号。在本实施例中，从第一播放语音信号中剔除第二振动信号，可以将由于音频播放设备的机壳或者扬声器周围其他零件的振动带来的第二振动信号剔除掉。这样，经剔除得到的第二播放语音信号，为麦克风对扬声器实际上播放的音频信号进行采集得到的音频信号。即本实施例中，音频设备可以准确的得到扬声器实际上播放的音频信号，即第二播放语音信号。在此基础上，由于参考信号近似于第二播放语音信号，因此，从第二播放语音信号中剔除参考语音信号后，输出语音信号近似于0。这样，音频播放设备可实现回声基本完全消除。进一步的，与音频设备通信的远端音频设备的远端用户几乎听不到自己的声音。这大大的提高了交流质量。
76.在本申请的一个实施例中，上述s1400可通过如下s1410和s1420来实现：
77.s1410、获取输入语音信号。
78.s1420、根据输入语音信号以及自适应滤波器，确定参考信号。
79.在本实施例中，自适应滤波器用于估计一个逼近真实回声路径的回声路径。在此基础上，将输入语音信号输入至自适应滤波器中，可以得到参考信号。
80.需要说明的是，自适应滤波器的初始参数是默认的。在后续过程中，自适应滤波器的参数被不断的更新，这样，自适应滤波器所估计的回声路径更加逼近于真实回声路径。在此基础上，本申请实施例提供的回声消除方法还包括如下s1430：
81.s1430、根据输入语音信号、输出语音信号，更新自适应滤波器的参数。
82.在本实施例中，上述s1430的具体实现可以为，将输入语音信号、输出语音信号输入至自适应滤波算法中，以更新自适应滤波器的参数。
83.其中，自适应滤波算法可示例性的为lms算法、nlms算法或者nsaf算法等。
84.在本申请的一个实施例中，上述s1200的具体实现可通过如下s1210与s1220来实现：
85.s1210、获取传播路径对应的传递函数。
86.在本实施例中，传播路径对应的传递函数通常为音频设备的开发人员实现测试得到，且预先存储在音频设备中的。
87.s1220、根据第一振动信号和传递函数，确定第二振动信号。
88.在本实施例中，将第一振动信号与传递函数的乘积，确定为第二振动信号。
89.在上述s1210与s1220所示实施例的基础上，本申请实施例提供的回声消除方法还包括如下s1211和s1212：
90.s1211、提供用于输入传递函数的输入接口。
91.在本实施例中，输入接口用于供音频设备的开发人员输入传递函数。
92.s1212、响应于输入接口的输入，获取传递函数。
93.在本实施例中，音频设备在接收到输入接口输入的传递函数后，响应该输入接口的输入以获取传递函数，并将该传递函数进行存储。
94.在本实施例中，通过设置输入接口，可便于音频设备的开发人员输入传递函数。
95.在本申请的一个实施例中，上述s1300可通过如下s1310
‑
s1330来实现：
96.s1310、根据第二振动信号的发生时刻以及第一播放语音信号的发生时刻，确定第二振动信号相对于第一播放语音信号的延时。
97.s1320、根据第一振动信号的幅度以及第一播放语音信号的幅度，确定第一振动信号相对于第一播放语音信号的放大倍数。
98.s1330、根据延时以及放大倍数，从第一播放语音信号中剔除第二振动信号，得到第二播放语音信号。
99.在本实施例中，由于第二振动信号对应的传播路径和第一播放语音信号对应的传播路径不相同，因此，第二振动信号相对于第一播放语音信号存在一定的延迟。为了从第一播放语音信号中准确的剔除第二振动信号，需保持第二振动信号与第一播放语音信号的时间同步以及幅度同步。
100.在上述内容的基础上，可根据第一播放语音信号的发生时刻与第二振动信号的发生时刻的差值，确定出第二振动信号相对于第一播放语音信号的延时。进一步的，在第二振动信号的基础上增加该确定出的延时，可保持第二振动信号与第一播放语音信号的时间同步。
101.需要说明的是，第二振动信号的发生时刻近似于第一振动信号的发生时刻，因此，可将第一振动信号的发生时刻作为第二振动信号的发生时刻。或者，可在第一振动信号的发生时刻基础上，增加预设时长，以得到第二振动信号的发生时刻，其中，预设时长可根据经验进行设置。
102.以及，可第一播放语音信号的幅度与第二振动信号的幅度之间的比值，确定出第二振动信号相对于第一播放语音信号的放大倍数。在此基础上，在第二振动信号的基础上乘以该确定出的放大倍数，可保持第二振动信号与第一播放语音信号的幅度同步。
103.<例子>
104.结合上述内容，本申请实施例提供了一种回声消除方法，包括如下步骤：
105.s2001、获取第一播放语音信号以及第一振动信号。
106.s2002、获取传播路径对应的传递函数。
107.s2003、根据第一振动信号和传递函数，确定第二振动信号。
108.s2004、根据第二振动信号的发生时刻以及第一播放语音信号的发生时刻，确定第二振动信号相对于第一播放语音信号的延时。
109.s2005、根据第二振动信号的幅度以及第一播放语音信号的幅度，确定第二振动信
号相对于第一播放语音信号的放大倍数。
110.s2006、根据延时以及放大倍数，从第一播放语音信号中剔除第二振动信号，得到第二播放语音信号。
111.s2007、获取输入语音信号。
112.s2008、根据输入语音信号以及自适应滤波器，确定参考信号。
113.s2009、从第二播放语音信号中剔除参考信号，得到输出语音信号。
114.s2010、根据输入语音信号、输出语音信号，更新自适应滤波器的参数。
115.<装置实施例>
116.本申请还提供了一种回声消除装置200，应用于音频设备，所述音频设备包括麦克风、振动传感器以及扬声器。以及，如图2所示，该回声消除装置200包括：第一获取模块210、确定模块220、第一剔除模块230、第二获取模块240以及第二剔除模块250。其中：
117.第一获取模块210，用于获取第一播放语音信号以及第一振动信号，所述第一播放语音信号为所述麦克风在所述扬声器播放输入语音信号期间所采集到的音频信号，所述第一振动信号为所述振动传感器在所述麦克风位置处采集到的振动信号；
118.确定模块220，用于根据所述第一振动信号，确定第二振动信号，所述第二振动信号为所述第一振动信号经传播路径传播后所形成的振动信号；
119.第一剔除模块230，用于从所述第一播放语音信号中剔除所述第二振动信号，得到第二播放语音信号；
120.第二获取模块240，用于获取参考信号，所述参考信号为所述音频设备的输入语音信号所对应的回声估计信号；
121.第二剔除模块250，用于从所述第二播放语音信号中剔除所述参考信号，得到输出语音信号。
122.在一个实施例中，所述第二获取模块240包括第一获取单元和第一确定单元，其中：
123.第一获取单元用于获取所述输入语音信号。
124.第一确定单元用于根据所述输入语音信号以及自适应滤波器，确定所述参考信号。
125.在一个实施例中，本申请实施例提供的消回声装置还包括更新模块，其中：
126.更新模块用于根据所述输入语音信号、所述输出语音信号，更新所述自适应滤波器的参数。
127.在一个实施例中，确定模块220包括第二获取单元以及第二确定单元，其中：
128.第二获取单元用于获取所述传播路径对应的传递函数；
129.第二确定单元根据所述第一振动信号和所述传递函数，确定所述第二振动信号。
130.在一个实施例中，上述第一剔除模块具体用于：
131.根据所述第二振动信号的发生时刻以及所述第一播放语音信号的发生时刻，确定所述第二振动信号相对于所述第一播放语音信号的延时；
132.根据所述第二振动信号的幅度以及所述所述第一播放语音信号的幅度，确定所述第二振动信号相对于所述第一播放语音信号的放大倍数；
133.根据所述延时以及所述放大倍数，从所述第一播放语音信号中剔除所述第二振动
信号，得到第二播放语音信号。
134.在一个实施例中，本申请实施例提供的消回声装置还包括提供模块以及响应模块。其中：
135.提供模块用于提供用于输入所述传递函数的输入接口；
136.响应模块用于响应于所述输入接口的输入，获取所述传递函数。
137.在一个实施例中，所述振动传感器为加速度计。
138.<设备实施例>
139.本申请实施例提供了一种音频设备300，该音频设备300包括麦克风310、振动传感器320、扬声器330以及如上述装置实施例所提供的回声消除装置200。
140.或者，如图3所示，包括麦克风310、振动传感器320、扬声器330、存储器340以及处理器350。
141.其中，所述扬声器330用于播放输入语音；
142.所述麦克风310用于在扬声器330播放输入音频信号期间采集第一播放语音信号；
143.所述振动传感器320用于在所述麦克风310位置处采集振动信号；
144.所述存储器340用于存储计算机指令，所述处理器350用于从所述存储器340中调用所述计算机指令，以执行如上述方法实施例中任一项所述的方法。
145.<存储介质实施例>
146.本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的方法。
147.本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
148.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
149.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
150.用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的
任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
151.这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
152.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
153.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
154.附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
155.以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。