中英文混合的语音合成方法、装置、电子设备和存储介质与流程

1.本发明涉及语言处理技术领域，具体地说，涉及一种中英文混合的语音合成方法、装置、电子设备和存储介质。


背景技术：

2.大型的在线旅行服务公司有大量的用户需要服务，通过语音合成技术，结合语音识别、对话管理、自然语言理解以及自然语言生成等模块建立外呼机器人，能够节省人工成本并高效服务用户。其中，语音合成的播报效果对能否使用户获得更好的服务体验起到至关重要的作用。
3.随着旅游业务的不断拓展，产生大量的海外服务和海外用户需要对接，大量的中英文混合信息需要进行播报。基于此，建立了中英文混合的语音合成模型(下文简称模型)，主要思想是用一个人的声音合成出中英文混合文本的音频。
4.模型在训练时，采用两个说话人录制数据集，由中文说话人录制中文数据集，英文说话人录制英文数据集，送入模型中学习中英文音素对应的发音；合成时，控制说话人声音保持不变，得到同一说话人的音频。
5.但是，由于中英文两种语音的音素到梅尔(mel)频谱的映射空间分布有很大差异，模型很难将中英文的发音同时学好。具体来说，模型在学习音素到梅尔频谱的映射时，中文音频送入的音素是特征(character)级别的拼音，例如：“拼音”送入现有模型的是“pin1 yin1”；英文音频送入的是character级别的大写英文单词或字母，例如：words。中英文虽然送入模型的character相同，但是两种语音在发相同音时送入模型的音素却不统一，导致模型受到说话人影响，合成效果有瑕疵。
6.需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

7.有鉴于此，本发明提供一种中英文混合的语音合成方法、装置、电子设备和存储介质，能够将中文和英文转换成统一的cmu音素，实现将中英文发音映射至同一发音空间中，有效提升中英文混合语音的合成效果。
8.本发明的一个方面提供一种中英文混合的语音合成方法，包括：对包含中文文本和英文文本的初始文本进行正则化，将所述中文文本转换成带音调的拼音，将所述英文文本转换成单词；将正则化后的文本与对应的初始音频对齐，获得带停顿韵律的对齐文本；对所述对齐文本进行音素转换，将所述对齐文本中的拼音和单词分别转换成对应的cmu音素；将每个cmu音素转换成音素向量输入声学模型，获得对应于所述初始文本的梅尔谱特征；将所述梅尔谱特征输入声码器，合成目标音频。
9.在一些实施例中，所述对所述对齐文本进行音素转换之前，还包括：获得覆盖所有拼音的声母和韵母，并获得cmu发音词典；建立第一转换关系，使每个声母和每个韵母根据
所述第一转换关系映射至所述cmu发音词典中对应的cmu音素，且每个音调根据所述第一转换关系转换成不同于所述cmu发音词典中的重读标识的数字标识；建立第二转换关系，使不在所述cmu发音词典中的单词根据所述第二转换关系转换成对应的cmu音素。
10.在一些实施例中，所述对所述对齐文本进行音素转换，包括：根据所述第一转换关系，将所述对齐文本中的拼音转换成对应的cmu音素；根据所述cmu发音词典和/或所述第二转换关系，将所述对齐文本中的单词转换成对应的cmu音素；以及，返回所述对齐文本中的停顿韵律。
11.在一些实施例中，所述将所述中文文本转换成带音调的拼音，包括：对所述中文文本中的标点符号进行处理，保留逗号、句号和问号并转换成英文格式；对所述中文文本中的数字和符号进行处理，将所述数字和符号按照实际场景读法转换成中文格式；将处理后的中文文本中的所有中文转换成带音调的拼音。
12.在一些实施例中，所述将所述英文文本转换成单词，包括：对所述英文文本中的标点符号进行处理，保留逗号、句号、单引号和问号并转换成英文格式；将所述英文文本中的数字转换成单词。
13.在一些实施例中，所述将正则化后的文本与对应的初始音频对齐，包括：将正则化后的文本中的拼音和单词与所述初始音频进行对齐；根据所述初始音频的各段静音时长，在对齐后的初始文本的对应位置添加各级停顿韵律。
14.在一些实施例中，所述声学模型基于seq2seq的编码器
‑
解码器网络构建，包括双向长短期记忆网络、多层卷积神经网络和全连接层，并采用注意力机制学习音素向量与梅尔谱特征之间的对齐关系。
15.在一些实施例中，所述声学模型包括中文编码器和英文编码器；训练时，将训练文本同时输入所述中文编码器和所述英文编码器；使用时，将拼音对应的音素向量输入所述中文编码器，将单词对应的音素向量输入所述英文编码器。
16.在一些实施例中，所述声码器基于melgan的生成对抗网络构建。
17.本发明的另一个方面提供一种中英文混合的语音合成装置，包括：正则化模块，配置为对包含中文文本和英文文本的初始文本进行正则化，将所述中文文本转换成带音调的拼音，将所述英文文本转换成单词；对齐模块，配置为将正则化后的文本与对应的初始音频对齐，获得带停顿韵律的对齐文本；音素转换模块，配置为对所述对齐文本进行音素转换，将所述对齐文本中的拼音和单词分别转换成对应的cmu音素；声学模型模块，配置为将每个cmu音素转换成音素向量输入声学模型，获得对应于所述初始文本的梅尔谱特征；声码器模块，配置为将所述梅尔谱特征输入声码器，合成目标音频。
18.本发明的再一个方面提供一种电子设备，包括：一处理器；一存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现上述任意实施例所述的中英文混合的语音合成方法。
19.本发明的又一个方面提供一种计算机可读的存储介质，用于存储程序，所述程序被处理器执行时实现上述任意实施例所述的中英文混合的语音合成方法。
20.本发明与现有技术相比的有益效果至少包括：
21.本发明对中英文混合文本进行处理，获得拼音和单词后，将拼音和单词转换成统一的cmu音素，实现将中英文发音映射至同一发音空间中，使模型通过训练只学习到音素的
发音，与说话人的声音无关，能够有效提升中英文混合文本的语音合成效果，使外呼机器人的语音播报更加自然逼真，流畅准确，以便代替真人客服，满足不断激增的大量业务需求，并提升用户的使用交互体验。
22.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
23.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1示出本发明一实施例中中英文混合的语音合成方法的步骤示意图；
25.图2示出本发明一实施例中通过声学模型处理cmu音素的流程示意图；
26.图3示出本发明一实施例中中英文混合的语音合成装置的模块示意图；
27.图4示出本发明一实施例中电子设备的结构示意图；
28.图5示出本发明一实施例中计算机可读的存储介质的结构示意图。
具体实施方式
29.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本发明全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
30.附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
31.此外，附图中所示的流程仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤可以分解，有的步骤可以合并或部分合并，且实际执行的顺序有可能根据实际情况改变。具体描述时使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。需要说明的是，在不冲突的情况下，本发明的实施例及不同实施例中的特征可以相互组合。
32.图1示出一实施例中中英文混合的语音合成方法的主要步骤，参照图1所示，中英文混合的语音合成方法包括：步骤s110，对包含中文文本和英文文本的初始文本进行正则化，将中文文本转换成带音调的拼音，将英文文本转换成单词；步骤s120，将正则化后的文本与对应的初始音频对齐，获得带停顿韵律的对齐文本；步骤s130，对对齐文本进行音素转换，将对齐文本中的拼音和单词分别转换成对应的卡内基梅隆大学(cmu)音素；步骤s140，将每个cmu音素转换成音素向量输入声学模型，获得对应于初始文本的梅尔谱特征；步骤s150，将梅尔谱特征输入声码器，合成目标音频。
33.上述的语音合成方法，对中英文混合文本进行处理获得拼音和单词后，将拼音和
单词转换成统一的cmu音素，实现将中英文发音映射至同一发音空间中，使模型通过训练只学习到音素的发音，与说话人的声音无关，能够有效提升中英文混合文本的语音合成效果，使外呼机器人的语音播报更加自然逼真，流畅准确，以便代替真人客服，满足不断激增的大量业务需求，并提升用户的使用交互体验。
34.下面分别对中英文混合的语音合成方法的各个步骤进行详细说明。
35.步骤s110中，文本正则化阶段，分别对中文文本和英文文本进行正则化处理。将中文文本转换成带音调的拼音，包括：首先，对中文文本中的标点符号进行处理，保留逗号、句号和问号三种标点符号，并将该三种标点符号转换成英文格式的标点符号。其次，对中文文本中的阿拉伯数字和符号进行处理，将阿拉伯数字和符号按照实际场景读法转换成中文格式，例如：“订单尾号3319”转换成“订单尾号三三幺九”，“现在是23：20”转换成“现在是二十三点二十分”，“10.21.145.232”转换成“幺零点二幺点幺四五点二三二”。最后，将处理后的中文文本中的所有中文转换成带音调的拼音，例如：“中英文语音合成”转换成“zhong1 ying1 wen2 yu3 yin1 he2 cheng2”。
36.将英文文本转换成单词，包括：对英文文本中的标点符号进行处理，保留逗号、句号、单引号和问号，将其余标点符号删掉，并将保留下的标点符号转换成英文格式的标点符号；将英文文本中的阿拉伯数字转换成单词，例如：“13dollars”转换成“thirteen dollars”。
37.步骤s120中，将正则化后的文本与对应的初始音频对齐，包括：将正则化后的文本中的拼音和单词与初始音频进行对齐；根据初始音频的各段静音时长，在对齐后的初始文本的对应位置添加各级停顿韵律。
38.具体来说，在数据后处理阶段，将经过正则化处理的文本中的单词和拼音，以及初始文本对应的初始音频，通过montreal forced aligner工具进行强制对齐，并得到的textgrid文件中的音素及duration信息提取出来，根据静音时长加上各级停顿韵律符号，得到带停顿韵律的对齐文本。
39.进一步地，可将对齐文本中的各拼音和单词转换成对应的字典索引，以供后续使用。
40.步骤s130中，对对齐文本进行音素转换之前，还包括：获得覆盖所有拼音的声母和韵母，并获得cmu发音词典；建立第一转换关系，使每个声母和每个韵母根据第一转换关系映射至cmu发音词典中对应的cmu音素，且每个音调根据第一转换关系转换成不同于cmu发音词典中的重读标识的数字标识；建立第二转换关系，使不在cmu发音词典中的单词根据第二转换关系转换成对应的cmu音素。
41.具体来说，在发音词典建立阶段，确定一套较全的英文单词对应的cmu发音字典，大致包含13万余条cmu音素。对于中文数据，首先统计中文拼音的声母与韵母，使统计出的声母韵母能够包含所有拼音，例如：根据100000句相关场景话术的拼音，统计出所有的声母和韵母。然后将所有的声母和韵母与cmu发音词典中的cmu音素建立对应关系，即建立拼音转cmu音素的第一转换规则。可编写程序将拼音转换为cmu音素，使每个拼音中的声母韵母都有对应的cmu音素，结尾处再加上音调；考虑到英文的cmu音素中含有“1、2、3”这样的重读标识符，为防止音调与英文cmu音素中的数字含义重复，将音调转换为11、22、33、44和55，分别代表拼音中的一声、二声、三声、四声和轻声。在一个示例中，“pin1 yin1”经过第一转换
规则，得到对应的cmu音素为“p iy n11 y iy n11”。
42.对于英文数据，直接13万余词的cmu发音词典匹配替换，即对于英文单词和字母，首先判断该单词或字母是否在cmu发音词典中，若在则直接替换为对应的cmu音素，若不在可通过python的g2p_en包将其转换为对应的cmu音素。
43.通过利用cmu发音词典构建一套统一的中英文音素，同时建立拼音转cmu音素及单词转cmu音素的规则，在模型(主要指声学模型)训练时，可将训练数据全部利用建立的规则进行处理，使模型通过训练只学习到音素的发音，与说话人的声音无关，降低模型训练难度，提高模型训练效果。在实际合成音频时，可以指定说话人，模型能够利用指定说话人的音色合成出中英文混合文本的音频。
44.进而，利用cmu发音词典及建立的第一转换关系和第二转换关系，在中英文混合文本转统一音素阶段，对对齐文本进行音素转换，包括：区分对齐文本中的拼音、单词和停顿韵律；对于拼音，根据第一转换关系转换成对应的cmu音素；对于单词，根据cmu发音词典和/或第二转换关系转换成对应的cmu音素；对于停顿韵律，不做处理直接原样返回。
45.步骤s140中，声学模型基于seq2seq的编码器
‑
解码器(encoder
‑
decoder)网络构建，包括双向长短期记忆网络、多层卷积神经网络和全连接层等网络结构。考虑到语音合成是一对多的关系，即输入的一个音素对应多帧的mel频谱，因此采用注意力机制学习音素向量与梅尔谱特征之间的对齐关系。另外，考虑到中文发音和英文发音有很大差别，声学模型采用两个编码器，即中文编码器和英文编码器；在训练阶段，训练文本同时输入两个编码器中，以减少两个编码器对于另一种语言编码的误差；在实际使用时，将拼音对应的音素向量输入中文编码器，将单词对应的音素向量输入英文编码器，以获得准确的梅尔谱特征。
46.图2示出一实施例中通过声学模型处理cmu音素的流程，参照图2所示，包括：s210，输入cmu音素；s220，转为音素向量；s230，得到编码输出；s240，拼接说话人特征、语言特征和编码输出；s250，利用注意力机制，进行逐帧解码；s260，输出指定维度的梅尔谱特征。声学模型的原理是已有的，本发明主要对数据集的处理进行优化，利用统一的cmu音素，将中英文混合文本的发音映射至同一发音空间中，解决原有中文因素与英文音素不在同一发音空间中，导致模型训练难度大，模型效果差的问题，使模型训练简化，效果提升，进而有效提升中英文混合文本的语音合成效果，使语音外呼机器人播报中英文时的效果更好。
47.步骤s150中，声码器基于melgan的生成对抗网络构建，能够将梅尔频谱转为wav音频。
48.下面结合酒店场景，对训练阶段中英文混合的语音合成方法的具体实施进行说明。在本发明的具体实施中，主要包括以下七部分：数据集准备、发音词典建立、文本正则化处理、数据后处理、声学模型建模、声码器和模型训练。
49.在数据集准备阶段，可使用在线旅行服务平台的自有数据，数据集中的中文语料从酒店客服与商家的通话记录中提取并标注，英文语料从海外订单中提取并标注，分别由中文母语和英文母语的两位人工客服经培训后录制，可在录音棚中录制以提升录制效果。总计录制10000条48khz的中文音频和10000条48khz的英文音频，音频总时长约为21小时，录制后经数据标注人员进行核对。
50.在发音词典建立阶段，首先找一套较全的英文单词对应的cmu音素发音词典，大致包含13万余条英文单词和字母。然后统计中文拼音文本的声母与韵母，建立一套拼音转cmu
音素的规则，即编写程序将拼音转为cmu音素，使每个拼音中的声母韵母都有对应的cmu音素，结尾处再加上与英文cmu音素中的阿拉伯数字含义相区分的音调，例如将音调变为11、22、33、44和55，分别代表拼音中的一声、二声、三声、四声和轻声。再通过python的g2p_en包将不在cmu音素发音词典中的单词进行转换，得到英文单词的cmu音素。
51.在文本正则化阶段，首先核对文本与音频匹配与否，确认无误后对中英文文本分别进行正则化处理，其中需特别注意含有阿拉伯数字的文本，按照真实场景下的读法将其转为正确的字符，标点符号也只保留逗号、句号、问号等有效标点符号。
52.在数据后处理阶段，首先将所有的标点符号去掉，只保留英文单词和拼音字符，通过montreal forced aligner对齐工具将文本和音频进行强制对齐，通过汉字的字级别的对齐以及英文的词级别的对齐，使音频和文本内容匹配，便于后续模型能够更好地学习对齐关系，并在每一条文本中加入语言标签，供后续声学模型建模使用。之后将对齐结果的拼音字符和英文单词和字母进行cmu音素转换，得到cmu音素。再将拼音中的每个cmu音素经过embedding层，转换为模型能够使用的向量。
53.在声学模型建模阶段，声学模型可采用已有模型，采用双向长短期记忆网络、多层卷积神经网络和全连接层等神经网络结构构建seq2seq模型，并采用注意力机制进行对齐学习，加快模型的收敛。此外，模型加入说话人特征和语言特征，与编码输出进行拼接；在解码过程中，将模型的音频送入判别器，期望与真实语言标签一样，并且将判别器输出的信息送入解码过程的每一步，建立判别器输出信息与说话人音色之间的映射关系。在解码器之后接全连接层，用于生成指定维度的梅尔谱特征。
54.在声码器阶段，使用melgan模型，可将梅尔谱特征合成音频。
55.在模型训练阶段，声学模型和声码器单独训练。首先通过montreal forced aligner对齐工具将文本和音频进行强制对齐，再将对齐后的数据进行cmu音素的转换，并将文本信息转为可供模型使用的向量，将向量送入声学模型中训练；由于数据量较大，且为使模型能够更稳定，共计训练30万次，直至损失基本收敛，文本音素与梅尔谱已经对齐。声码器的训练利用melgan的生成对抗网络模型训练，将梅尔频谱转换为真实的音频。
56.本发明实施例还提供一种中英文混合的语音合成装置，可用于实现上述任意实施例描述的中英文混合的语音合成方法。上述任意实施例描述的语音合成方法的特征和原理均可应用至下面的语音合成装置实施例。在下面的语音合成装置实施例中，对已经阐明的关于中英文混合语音合成的特征和原理不再重复说明。
57.图3模块示出一实施例中中英文混合的语音合成装置的主要模块，参照图3所示，中英文混合的语音合成装置300包括：正则化模块310，配置为对包含中文文本和英文文本的初始文本进行正则化，将中文文本转换成带音调的拼音，将英文文本转换成单词；对齐模块320，配置为将正则化后的初始文本与对应的初始音频对齐，获得带停顿韵律的对齐文本；音素转换模块330，配置为对对齐文本进行音素转换，将对齐文本中的拼音和单词分别转换成对应的cmu音素；声学模型模块340，配置为将每个cmu音素转换成音素向量输入声学模型，获得对应于初始文本的梅尔谱特征；声码器模块350，配置为将梅尔谱特征输入声码器，合成目标音频。
58.进一步地，中英文混合的语音合成装置300还可包括实现上述各语音合成方法实施例的其他流程步骤的模块，各个模块的具体原理可参照上述各语音合成方法实施例的描
述，此处不再重复说明。
59.如上所述，本发明的中英文混合的语音合成装置，能够对中英文混合文本进行处理，获得拼音和单词后，将拼音和单词转换成统一的cmu音素，实现将中英文发音映射至同一发音空间中，使模型通过训练只学习到音素的发音，与说话人的声音无关，能够有效提升中英文混合文本的语音合成效果，使外呼机器人的语音播报更加自然逼真，流畅准确，以便代替真人客服，满足不断激增的大量业务需求，并提升用户的使用交互体验。
60.本发明实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，可执行指令被处理器执行时，实现上述任意实施例描述的中英文混合的语音合成方法。
61.如上所述，本发明的电子设备能够对中英文混合文本进行处理，获得拼音和单词后，将拼音和单词转换成统一的cmu音素，实现将中英文发音映射至同一发音空间中，使模型通过训练只学习到音素的发音，与说话人的声音无关，能够有效提升中英文混合文本的语音合成效果，使外呼机器人的语音播报更加自然逼真，流畅准确，以便代替真人客服，满足不断激增的大量业务需求，并提升用户的使用交互体验。
62.图4是本发明实施例中电子设备的结构示意图，应当理解的是，图4仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。
63.如图4所示，电子设备600以通用计算设备的形式表现。电子设备600的组件包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
64.其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行上述任意实施例描述的中英文混合的语音合成方法的步骤。例如，处理单元610可以执行如图1所示的步骤。
65.存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
66.存储单元620还可以包括具有一个或多个程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
67.总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
68.电子设备600也可以与一个或多个外部设备700通信，外部设备700可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备700使得用户能与该电子设备600进行交互通信。电子设备600也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动
器以及数据备份存储平台等。
69.本发明实施例还提供一种计算机可读的存储介质，用于存储程序，程序被执行时实现上述任意实施例描述的中英文混合的语音合成方法。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述任意实施例描述的中英文混合的语音合成方法。
70.如上所述，本发明的计算机可读的存储介质能够对中英文混合文本进行处理，获得拼音和单词后，将拼音和单词转换成统一的cmu音素，实现将中英文发音映射至同一发音空间中，使模型通过训练只学习到音素的发音，与说话人的声音无关，能够有效提升中英文混合文本的语音合成效果，使外呼机器人的语音播报更加自然逼真，流畅准确，以便代替真人客服，满足不断激增的大量业务需求，并提升用户的使用交互体验。
71.图5是本发明的计算机可读的存储介质的结构示意图。参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd
‑
rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
72.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
73.计算机可读的存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
74.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。
75.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的
保护范围。