一种乐器音色建模方法、装置、音源器和存储介质与流程

1.本技术涉及乐器技术领域，特别是涉及一种乐器音色建模方法、装置、音源器和存储介质。


背景技术：

2.打击乐器也叫“敲击乐器”，通过敲打乐器本体而发出声音。有些打击乐器是有固定音高的，如云锣、编钟等，还有一些打击乐器无固定音高，如拍板、梆子、板鼓、腰鼓、铃鼓等。根据不同的发音体来区分，打击乐器可分为两类：(1)“革鸣乐器”也叫“膜鸣乐器”，就是通过敲打蒙在乐器上的皮膜或革膜而发声的乐器，如各种鼓类乐器；(2)“体鸣乐器”，就是通过敲打乐器本体而发声的乐器，如钟、木鱼、各种锣、钹、铃等。演奏者可以通过身体，特别是手来直接打击乐器的表面，也可以通过鼓棒或者鼓槌来打击乐器的表面产生震动。这里的打击包括任何力度的接触，包括摩擦和按压，乐器的震动会推动周围的空气振动，从而产生人耳可识别的具有音乐性的音频信号。
3.电子打击乐器是一种基于打击乐器的电子设备。和打击乐器一样，电子打击乐器也有可以打击的发音体，用户采用和类似演奏打击乐器相同的方式方法来操作电子打击乐器，但是电子打击乐器本身不能直接将震动转换为具有音乐性的音频信号。电子打击乐器都包含传感器或者触发器，以将演奏者的物理打击操作产生的震动信号首先转换成电信号。电子打击乐器一般还都包含一个音源器，音源器一般都是一个载有可执行代码的计算单元。由震动信号转换出来的电信号会先耦合到音源器，音源器对耦合的电信号通过一定的方法进行处理并生成对应的音频电信号，该音频电信号通过电声设备比如音箱或者耳机转换成人耳可识别的音频信号。
4.将打击对应的电信号转换为音频电信号的方法主要有三种，一种是基于采样的方法，一种是基于合成的方法，还有采样和合成结合的方法(其中采样部分的方法和第一种方法是一样的)。其中，基于采样的方法是现在采用的最普遍的方法。音源器对接收的电信号进行分析，选取一个合适的采样，并对该采样进行实时音效处理，然后输出。
5.现有技术中，所有的音效处理都是实时进行的，这对音源器的运算速度和资源大小都有比较高的要求；而且无论音源器的运算能力有多强，这些音效处理都不可避免的会带来一定的延迟；如果某些需要大运算时间的算法，比如移调，运行的过于频繁，那么可能带来的延迟可能被演奏者感知，从而影响演奏的感觉。


技术实现要素：

6.基于此，有必要针对上述技术问题，提供一种乐器音色建模方法、装置、音源器和存储介质，能够让部分音效处理提前进行，尽量少的占用计算资源，还可以减少复杂运算带来的延迟。
7.一种乐器音色建模方法，包括：
8.获取乐器的输入采样组，所述采样组包括多个采样样本；
9.对每个采样样本进行短时傅里叶变换，得到所述采样样本的幅度谱；对所述采样样本的幅度谱进行分离变换，得到与所述采样样本的幅度谱相对应的音调频谱和噪音频谱；根据所述音调频谱和所述噪音频谱，得到每个采样样本的前置采样；
10.获取乐器的输入振动信号，对所述振动信号进行转换，得到与所述振动信号相对应的电信号；根据所述电信号和所述前置采样，对音色进行建模并输出。
11.在一个实施例中，对所述采样样本的幅度谱进行分离变换，得到与所述采样样本的幅度谱相对应的音调频谱和噪音频谱包括：
12.对所述采样样本的幅度谱进行分离变换，得到与所述采样样本的幅度谱相对应的音调频谱；
13.根据所述采样样本的幅度谱和所述音调频谱，得到与所述采样样本的幅度谱相对应的噪音频谱。
14.在一个实施例中，对所述采样样本的幅度谱进行分离变换，得到与所述采样样本的幅度谱相对应的音调频谱包括：
15.基于峰值检测算法，对所述采样样本的幅度谱进行分析，得到所述幅度谱的多个局部最大值，并得到与各个局部最大值的频格位置；
16.基于峰值插值算法以及各个局部最大值的频格位置，对所述局部最大值进行插值，得到所述局部最大值的频率、幅度和相位；
17.基于峰值延续算法以及所述局部最大值的频率、幅度和相位，提取各个局部最大值的峰值轨迹；
18.基于加法合成原理以及各个局部最大值的峰值轨迹，得到与所述采样样本的幅度谱相对应的音调频谱。
19.在一个实施例中，根据所述采样样本的幅度谱和所述音调频谱，得到与所述采样样本的幅度谱相对应的噪音频谱包括：
20.根据所述采样样本的幅度谱和所述音调频谱，得到残差信号的幅度谱；
21.根据所述残差信号的幅度谱，计算所述残差信号的频谱包络，得到与所述采样样本的幅度谱相对应的噪音频谱。
22.在一个实施例中，根据所述采样样本的幅度谱和所述音调频谱，得到残差信号的幅度谱包括：
23.对所述音调频谱进行短时傅里叶变换，将时域波形转变到频域波形，得到所述音调频谱的频域音调频谱；
24.从所述采样样本的幅度谱中减掉所述频域音调频谱，得到残差信号的幅度谱。
25.在一个实施例中，对每个采样样本进行短时傅里叶变换，得到所述采样样本的幅度谱包括：
26.对每个采样样本进行短时傅里叶变换，将每个采样样本的时域波形转变为频域波形，得到所述采样样本的幅度谱。
27.在一个实施例中，对每个采样样本进行短时傅里叶变换，将每个采样样本的时域波形转变为频域波形，得到所述采样样本的幅度谱包括：
28.对每个采样样本进行短时傅里叶变换，将每个采样样本的时域波形转变为频域波形，得到初始幅度谱；
29.采用等响度曲线函数作用于所述初始幅度谱，得到所述采样样本的幅度谱。
30.一种乐器音色建模装置，包括：
31.获取模块，用于获取乐器的输入采样组，所述采样组包括多个采样样本；
32.处理模块，用于对每个采样样本进行短时傅里叶变换，得到与所述采样样本的幅度谱；对所述采样样本的幅度谱进行分离变换，得到与所述采样样本的幅度谱相对应的音调频谱和噪音频谱；根据所述音调频谱和所述噪音频谱，得到每个采样样本的前置采样；
33.输出模块，用于获取乐器的输入振动信号，对所述振动信号进行转换，得到与所述振动信号相对应的电信号；根据所述电信号和所述前置采样，对音色进行建模并输出。
34.一种音源器，包括：存储单元、计算单元、电源单元、触发单元以及人机交互单元；
35.所述存储单元存储有计算机程序；
36.所述计算单元执行所述计算机程序时实现乐器音色建模方法的步骤；
37.所述电源单元为所述存储单元、所述计算单元、所述触发单元以及所述人机交互单元提供电源；
38.所述触发单元接收外部触发信号并发送给所述计算单元；
39.所述人机交互单元为使用者提供可操作的界面，并将使用者的操作发送给所述计算单元。
40.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
41.获取乐器的输入采样组，所述采样组包括多个采样样本；
42.对每个采样样本进行短时傅里叶变换，得到所述采样样本的幅度谱；对所述采样样本的幅度谱进行分离变换，得到与所述采样样本的幅度谱相对应的音调频谱和噪音频谱；根据所述音调频谱和所述噪音频谱，得到每个采样样本的前置采样；
43.获取乐器的输入振动信号，对所述振动信号进行转换，得到与所述振动信号相对应的电信号；根据所述电信号和所述前置采样，对音色进行建模并输出。
44.上述乐器音色建模方法、装置、音源器和存储介质，在接收电信号之前，对每个采样样本进行变换，得到与采样样本的幅度谱相对应的音调频谱和噪音频谱，并进一步得到每个采样样本的前置采样；也就是说，本技术对采样样本进行了前置处理，将部分音效处理(前期处理类的音效处理运算)提前一次性根据用户的选择执行，得到前置采样，而不需要重复的对每一次触发的采样都重新运算，因此，能够尽量减少占用的计算资源，留更多运算资源给后期处理部分，提高运算速度，还可以减少复杂运算带来的系统延迟，提升用户的演奏手感。
附图说明
45.图1为一个实施例中乐器音色建模方法的流程示意图；
46.图2为一个实施例中步骤104的流程示意图；
47.图3为现有技术的音色建模流程图；
48.图4为一个实施例中音色建模流程图；
49.图5为一个实施例中乐器音色建模装置的结构框图；
50.图6为一个实施例中音源器的结构示意框图；
51.图7为一个实施例中触发单元的示意图；
52.图8为一个实施例中人机交互单元的示意图。
具体实施方式
53.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
54.如图1所示，本技术提供一种乐器音色建模方法，在一个实施例中，包括以下步骤：
55.步骤102，获取乐器的输入采样组，采样组包括多个采样样本。
56.采样样本即一段采样的音频，一般来说都是在专业的录音环境通过专业的录音设备对某个原声的乐器发出的原始音频进行采样并记录，从而生成的。仅仅针对打击乐器来说，打击的力度不同、打击的位置不同以及打击的手法不同都会产生不同的声音，采样的过程就是尽可能的全面的对同一个乐器的不同演奏状态下发出的声音进行记录。随着技术的发展，采样的数据也有可能不是来自于真实存在的乐器，可以是人工合成的音频数据，但是最终在音源器内的呈现都是一样性质的。
57.采样组是多个采样样本的集合，对于一个乐器来说，可以有一个或多个采样组。多个不同的采样组构成采样库，采样库存储在音源器的存储单元中。用户在演奏之前，会在音源器的采样库中选择使用哪一个采样组。
58.步骤104，对每个采样样本进行短时傅里叶变换，得到采样样本的幅度谱；对采样样本的幅度谱进行分离变换，得到与采样样本的幅度谱相对应的音调频谱和噪音频谱；根据音调频谱和噪音频谱，得到每个采样样本的前置采样。
59.具体的：
60.对每个采样样本进行短时傅里叶变换，将每个采样样本的时域波形转变为频域波形，得到初始幅度谱(普通的幅度谱)；采用等响度曲线函数作用于初始幅度谱，得到采样样本的幅度谱。
61.对采样样本的幅度谱进行分离变换，得到与采样样本的幅度谱相对应的音调频谱；根据采样样本的幅度谱和音调频谱，得到与采样样本的幅度谱相对应的噪音频谱。
62.更具体的：
63.基于峰值检测算法，对采样样本的幅度谱进行分析，得到所述幅度谱的多个局部最大值，并得到与各个局部最大值的频格位置；基于峰值插值算法以及各个局部最大值的频格位置，对局部最大值进行插值，得到局部最大值的频率、幅度和相位；基于峰值延续算法以及局部最大值的频率、幅度和相位，提取各个局部最大值的峰值轨迹；基于加法合成原理以及各个局部最大值的峰值轨迹，得到与采样样本的幅度谱相对应的音调频谱。
64.对音调频谱进行短时傅里叶变换，将时域波形转变到频域波形，得到音调频谱的频域音调频谱；从采样样本的幅度谱中减掉频域音调频谱，得到残差信号的幅度谱；根据残差信号的幅度谱，计算残差信号的频谱包络，得到与采样样本的幅度谱相对应的噪音频谱。
65.详细流程如图2所示。其中，目标样本以及加法合成后的音调样本都是时域的，因此都需要经过stft(即傅里叶变换)转换为频域；频率包络是对频率求包络的数学方法，是一种现有技术；频率合成也是一种现有技术；频谱合成后得到的样本是频域的，需要经过
istft(即反傅里叶变换)转换为时域；
66.本实施例中，输入的采样样本是时域信号，对其进行短时傅里叶变换(stft)，将波形分解为多个正弦分量，可以得到该时域信号的频谱信号，频谱信号包括初始幅度谱和初始相位谱。
67.实际情况中，不同频率下即使幅度相同，他们的实际听感也可能不同，因此整个频率范围内的等响度曲线是不平坦的，可以使用fletcher-munson等响度曲线函数作用于初始幅度谱，以获取符合人耳听感的幅度谱曲线。
68.分离变换包括峰值检测、峰值插值、峰值延续以及加法合成的操作。
69.峰值检测算法是一种现有技术，在特定的频率和幅度范围内，检测幅度谱的局部最大值，局部最大值有多个，并记录多个局部最大值对应的频格位置。需要说明，特定的频率和幅度范围可以根据目标乐器的频响特点和实际需要决定，例如，需要提取20hz-2000hz的局部最大值就可以将频率设定在此范围，或者需要提取幅度大于-30db的局部最大值，就可以将幅度设定在此范围。幅度谱有很多峰值，傅里叶变换以帧为单位，一个峰值为一个频率轨道。
70.峰值插值算法是一种现有技术，根据局部最大值对应的频格位置，对局部最大值进行插值，得到局部最大值处准确的频率、幅度和相位。stft中一个bin表示频率间隔。为了获得更加精确的峰值信息，使用抛物线插值，通过峰值最高的三个样本拟合抛物线，从而估计真实的峰值位置和高度；对于相位部分，采用简单的线性差值即可。
71.峰值延续算法是一种现有技术，提取各个局部最大值的峰值轨迹，每个轨迹代表一个正弦波。
72.加法合成原理是一种现有技术，根据所得峰值轨迹中的特征，合成音调频谱，也可根据需要修改音调频谱的频率与幅度。
73.合成的音调频谱是时域信号，需要再次进行短时傅里叶变换，将时域转变到频域，以得到频域音调频谱。
74.从采样样本的幅度谱中减去频域音调频谱，得到一组残差信号的幅度谱。
75.根据残差信号的幅度谱，计算残差信号的频谱包络，并合成噪声信号，得到噪音频谱，也可根据需要修改噪音频谱的频率与幅度。
76.将音调频谱和噪音频谱相加得到最终的合成信号并输出，同时存储在音源器的存储单元中。
77.步骤106，获取乐器的输入振动信号，对振动信号进行转换，得到与振动信号相对应的电信号；根据电信号和所述前置采样，对音色进行建模并输出。
78.如图3所示，现有技术中，音色建模流程是：打击乐器发音体，产生振动信号
→
传感器转换成电信号
→
解析电信号并选择一个采样
→
对采样进行音效处理
→
输出运算结果
→
产生声音
→
重复打击过程并持续产生声音。
79.在本实施例中，音效处理可以细分成两种类型，一种是前期处理，一种是后期处理。前期处理比较有代表性的是建模类型的，比如用户可以选择腔体材质、鼓皮材质以及其它物理模型相关的特征参数集。后期处理比较有代表性的是对最终输出音频信号进行直接运算从而改变声音的特性的，比如混响、压缩等。
80.需要说明：本技术得到的幅度谱包括上述特征参数集(材质等)，还包括噪声。
81.如图4所示，本技术中，音色建模流程是：用户选择一个采样组，并选择音色处理
→
对该采样组内的所有采样样本进行前期音效处理，并将处理生成的结果作为触发用采样(即前置采样)
→
打击乐器发音体，产生振动信号
→
传感器转换成电信号
→
解析电信号并选择一个采样
→
对采样样本进行后期音效处理
→
输出运算结果
→
产生声音
→
重复打击过程并持续产生声音。
82.本实施例的工作过程是：用户选择一个采样组，然后选择针对该组采样需要进行的音色处理；在用户完成这个操作以后，对当前的采样组进行一次统一的前期音效处理，并重构生成一组新的对应处理结果的采样组(即前置采样)；当用户打击乐器时，产生的振动信号被传感器接收并转换成电信号发送给音源器；音源器充分分析耦合过来的代表了演奏者打击动作的电信号，并从中分析出打击的力度、位置和手法等演奏信息，然后根据这些信息来决定从当前的采样组中选取一个合适的采样；对该采样进行一系列的实时的后期音效处理，比如混响、延迟、移调或者压缩等；输出被处理过的音频电信号，该音频电信号会被还原成人耳能够感知的声音。
83.需要说明的是，在用户打击乐器并产生振动信号后，所有的处理流程与传统的设备一致，但是这时实际输出的是重构以后的新采样，也就是说，音源器在接收电信号以后选择采样时，选择的是前置采样中的采样，即经过前期音效处理以后的采样。
84.另外，一般来说电子打击乐器都会提供一个方法来让用户对音效处理的一些音色参数进行设置，这些参数设置会改变上述音效处理的输出结果从而达到定制化音色的作用。也就是选择采样组和选择音色处理的步骤。
85.本实施例中，前期音效处理采用的核心思想是：将目标样本的音频变换到频域，并将其分解为音调部分(tonal)和噪声部分(noise)。通过修改音调部分的特征，如基频音高、基频音高偏移、峰值个数、谐波分布等，来模拟不同的腔体材质、鼓皮材质、敲击位置，最终得到音调频谱；通过修改噪声部分的特征，如包络精确度、滤波、adsr等，来模拟不同的瞬态变化、打击力度变化，最终得到噪音频谱；还可以通过将音调部分和噪声部分与其他的音频样本组合，来创造更加具有创意的音色；最后将每个部分的样本变换回时域并组合起来形成最终的音色。本方法不仅适用于鼓的音色合成，也适用于其他乐器和声音的分解与合成。
86.需要说明，对于修改音调部分的特征，本技术是在峰值延续与加法合成之间进行的，而现有技术是在音效处理与输出运算结果之间进行的，音调部分自然是从高到低的，本技术可以修改为从低到高，且在峰值延续与加法合成之间进行，能够丰富音色的塑造能力；对于修改噪声部分的特征，本技术是在频谱包络与频谱合成的步骤及其之间进行的，可以扩展音色，而现在技术不包含该步骤。
87.上述乐器音色建模方法，在接收电信号之前，对每个采样样本进行变换，得到与采样样本的幅度谱相对应的音调频谱和噪音频谱，并进一步得到每个采样样本的前置采样；也就是说，本技术对采样样本进行了前置处理，将部分音效处理(前期处理类的音效处理运算)提前一次性根据用户的选择执行，得到前置采样，而不需要重复的对每一次触发的采样都重新运算，因此，能够尽量减少占用的计算资源，留更多运算资源给后期处理部分，提高运算速度，还可以减少复杂运算带来的系统延迟，提升用户的演奏手感。
88.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的
执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
89.如图5所示，本技术还提供一种乐器音色建模装置，在一个实施例中，包括：获取模块502、处理模块504和输出模块506，其中：
90.获取模块502，用于获取乐器的输入采样组，所述采样组包括多个采样样本；
91.处理模块504，用于对每个采样样本进行短时傅里叶变换，得到与所述采样样本的幅度谱；对所述采样样本的幅度谱进行分离变换，得到与所述采样样本的幅度谱相对应的音调频谱和噪音频谱；根据所述音调频谱和所述噪音频谱，得到每个采样样本的前置采样；
92.输出模块506，用于获取乐器的输入振动信号，对所述振动信号进行转换，得到与所述振动信号相对应的电信号；根据所述电信号和所述前置采样，对音色进行建模并输出。
93.关于乐器音色建模装置的具体限定可以参见上文中对于乐器音色建模方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
94.如图6所示，本技术还提供一种音源器，尤其是电子打击乐器的音源器，在一个实施例中，包括：存储单元、计算单元、电源单元、触发单元以及人机交互单元；
95.存储单元存储有计算机程序；计算单元执行计算机程序时实现乐器音色建模方法的步骤；电源单元为存储单元、计算单元、触发单元以及人机交互单元提供电源；触发单元接收外部触发信号并发送给计算单元；人机交互单元为使用者提供可操作的界面，并将使用者的操作发送给计算单元。
96.本实施例中，音源器还包括外壳，用于安装所有的其它单元(存储单元、计算单元、电源单元、触发单元以及人机交互单元)并保证其它单元之间的物理连接。
97.各单元之间的连接关系是：触发单元、计算单元以及人机交互单元依次电连，计算单元还与存储单元电连，存储单元、计算单元、触发单元以及人机交互单元均与电源单元电连。
98.存储单元是一个基于非易失性存储器件的电子部件，用于存储采样库。其中的存储器件可以是eeprom、flash、emmc或者sd卡等，也可以是可拔插式的，比如sd卡或者tf卡。存储单元可以由一片芯片构成，也可以由多个芯片构成；可以是多种存储方式并存，比如同时具有emmc和sd卡。存储单元和计算单元通过特定的通讯机制(该机制为现有技术)进行耦合，以使计算单元可以对存储单元内的采样库进行读写、删除等操作。采样库为一系列采样样本的文件，存储单元会对这些文件采用一种树状结构的文件系统来分类。一般的做法是最顶层为不同的乐器类别，比如爵士鼓、印度鼓和非洲鼓等，在每一个乐器类别中又可以根据不同的型号或者不同的生产厂商进行进一步的分类，具体的分类标准和树状结构的层级可以按照不同的需求来特殊设定，但是用户最终是可以选定该树状结构中最下一层分类的中的某一个文件夹，而该文件夹内的所有文件即一个采样组。具体的文件系统实现可以是fat、fat32或者其他自定义标准。
99.计算单元是一个基于处理器的带存储介质的电子部件。其中的处理器可以是dsp、
fpga、微处理器或者asic，存储介质用以存储处理器可以执行的运算代码即计算机程序。
100.电源单元与外部电源相连，给音源器内的子单元(存储单元、计算单元、电源单元、触发单元以及人机交互单元)供电并提供电源管理。
101.触发单元是一个将外部触发信号(指：各种打击操作)转换成计算单元可以理解的电信号的电子部件。一般地，触发单元分为两种。第一种是直接连接外部触发源的触发单元；这种触发单元一般都具有一个或者一组接插件，用以连接一个或者多个外部触发源；接插件可以是一个db-25插座，也可以是多个ts或者trs音频插座，还可以是其它和外部触发源兼容的接口形式；外部触发源可以是鼓、镲片、打击垫或者其它形式的器件；外部触发源是用户演奏时主要操作的界面，具体实施方式有多种形式，本技术不做具体限制，但是所有的外部触发源都至少有一个触发器，当用户打击外部触发源时，触发器会产生一定特性的电信号，比如使用的比较多的触发器是压电陶瓷片；如图7所示的一种触发单元连接外部触发源的实现方式，其中压电陶瓷片的信号通过音频插头接入到插座，插座把相应的电信号耦合给滤波电路进行滤波处理，比如去除毛刺信号、生成包络信号等，然后滤波电路将信号耦合到放大电路进行信号的放大；在这种方案中，触发单元还要负责将放大的模拟信号转换为数字信号，具体的转换可以通过模数转换器来完成；需要说明，模数转换器也有可能是计算单元的一部分，比如有的单片机或者dsp内置模数转换器。第二种是通过通讯接口接收触发信息的触发单元；这种触发单元一般都具有一个或者多个通讯接口，并且通过通讯接口来接收外部设备发送的数字触发信息；通讯接口根据实际的需求可以是5-pin din、usb、蓝牙或wi-fi；通讯接口遵循一定的通讯协议，从而实现触发单元和外部设备的信息交换，比较常用的通讯协议为midi协议。需要说明，在这两种方案中，触发单元和计算单元之间均具有数据通讯连接，连接方式可以是通过aio、pio、i2c或spi等多种形式，触发单元通过该数据连接将数字信号传送给计算单元。
102.人机交互单元是一个将使用者的操作(指：选择采样组和音色处理等)转换成计算单元可以理解的信号的电子部件。人机交互单元包括：显示器件、发生器件和操控器件。显示器件用于提供视觉可识别的信号给用户，包括显示屏，发光二极管等形式；发声器件用于提供听觉可识别的信号给用户，比如通过蜂鸣器、扬声器或者提供耳机连接等；操控器件用于将用户的肢体动作(主要是手部动作)转换为计算单元可以理解的电信号，包括用户可以操作的结构，例如带旋钮的电位器、可按压的开关、可感应用户手指操作的触摸传感器等。人机交互单元的一个实例如图8所示。
103.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
104.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强
型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
105.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
106.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。