一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种文本翻译方法和相关装置与流程

2021-12-08 00:41:00 来源:中国专利 TAG:


1.本技术涉及翻译技术领域,特别是涉及一种文本翻译方法和相关装置。


背景技术:

2.随着ai技术的快速发展,原来越多的ai技术被应用于文本翻译,例如通过翻译模型能将源语种的第一文本翻译为目标语种的第二文本。
3.相关技术中,在通过文本对来训练翻译模型时,一个文本对中通常包括作为模型输入的源语种文本和作为训练标签的目标语种文本,但是训练效果较差,导致通过翻译模型对源语种中文本进行翻译时,得到的翻译结果并不理想。


技术实现要素:

4.为了解决上述技术问题,本技术实施例提供了一种文本翻译方法,处理设备可以结合源语种和目标语种所对应词语片段之间的翻译映射关系,调节用于训练初始翻译模型的相关参数,使训练得到翻译模型能够基于该翻译映射关系对源语种文本进行翻译,从而使翻译得到的目标语种下的翻译文本更加贴合源语种文本的文本含义,提高翻译效果。
5.本技术实施例公开了如下技术方案:
6.第一方面,本技术实施例公开了一种文本翻译方法,获取翻译文本训练集,所述翻译文本训练集包括多个文本样本对,所述文本样本对包括源语种的第一文本和目标语种的第二文本,所述第二文本为所述第一文本在所述目标语种下的翻译文本;
7.确定所述第二文本所包括词语片段在所属文本样本对中的关联参数,其中,目标文本样本对为所述多个文本样本对中的任意一个,所述关联参数用于体现所述目标文本样本对的第二文本中目标词语片段和所述目标文本样本对的第一文本中词语片段之间的翻译映射关系;所述方法包括:
8.根据所述目标文本样本对中的第一文本,通过初始翻译模型确定在所述目标语种下的模型翻译文本;
9.基于对应的关联参数,确定所述目标文本样本对的第二文本所包括词语片段分别与所述模型翻译文本对应的词语损失参数;
10.根据所述词语损失参数对所述初始翻译模型进行训练,得到翻译模型;
11.通过所述翻译模型将所述源语种下的待处理文本翻译为所述目标语种下的翻译文本。
12.第二方面,本技术实施例公开了一种文本翻译装置,所述装置包括获取单元、第一确定单元、第二确定单元、第三确定单元、训练单元和翻译单元:
13.所述获取单元,用于获取翻译文本训练集,所述翻译文本训练集包括多个文本样本对,所述文本样本对包括源语种的第一文本和目标语种的第二文本,所述第二文本为所述第一文本在所述目标语种下的翻译文本;
14.所述第一确定单元,用于确定所述第二文本所包括词语片段在所属文本样本对中
的关联参数,其中,目标文本样本对为所述多个文本样本对中的任意一个,所述关联参数用于体现所述目标文本样本对的第二文本中目标词语片段和所述目标文本样本对的第一文本中词语片段之间的翻译映射关系;
15.所述第二确定单元,用于根据所述目标文本样本对中的第一文本,通过初始翻译模型确定在所述目标语种下的模型翻译文本;
16.所述第三确定单元,用于基于对应的关联参数,确定所述目标文本样本对的第二文本所包括词语片段分别与所述模型翻译文本对应的词语损失参数;
17.所述训练单元,用于根据所述词语损失参数对所述初始翻译模型进行训练,得到翻译模型;
18.所述翻译单元,用于通过所述翻译模型将所述源语种下的待处理文本翻译为所述目标语种下的翻译文本。
19.第三方面,本技术实施例公开了一种计算机设备,所述设备包括处理器以及存储器:
20.所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
21.所述处理器用于根据所述程序代码中的指令执行第一方面中所述的文本翻译方法。
22.第四方面,本技术实施例公开了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行第一方面中所述的文本翻译方法。
23.由上述技术方案可以看出,为了提高翻译质量,可以获取翻译文本训练集,该翻译文本训练集包括多个文本样本对,该文本样本对包括源语种的第一文本和目标语种的第二文本,该第二文本为第一文本在目标语种下的翻译文本。随后,可以确定第二文本所包括词语片段在所属文本样本对中的关联参数,该目标文本样本对为多个文本样本对中的任意一个,该关联参数用于体现目标文本样本对的第二文本中目标词语片段和目标文本样本对的第一文本中词语片段之间的翻译映射关系。在进行模型训练时,可以根据该目标文本样本对中的第一文本,通过初始翻译模型确定在目标语种下的模型翻译文本,通过该模型翻译文本与该目标文本样本对中的第二文本能够体现出该初始翻译模型在进行翻译时的差异。基于对应的关联参数,可以确定该目标文本样本对的第二文本所包括词语片段分别与模型翻译文本对应的词语损失参数。由于通过翻译映射关系可以对两种语种之间词语片段翻译的准确度进行分析,因此该词语损失参数能够在结合翻译映射关系的基础上体现出该第二文本所包括词语片段对翻译准确性的影响程度。根据该词语损失参数可以对该初始翻译模型进行训练,从而使该初始翻译模型能够对翻译准确性具有不同影响程度的词语片段采用不同的学习力度进行学习,得到翻译模型,通过该翻译模型可以将源语种下的待处理文本翻译为目标语种下的翻译文本,进而可以通过更加准确的词语翻译使该翻译文本贴合待处理文本在源语种下对应的含义,提高翻译准确度。
附图说明
24.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本
申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
25.图1为本技术实施例提供的一种实际应用场景中文本翻译方法的示意图;
26.图2为本技术实施例提供的一种文本翻译方法的流程图;
27.图3为本技术实施例提供的一种实验结果图表;
28.图4为本技术实施例提供的一种实验结果图表;
29.图5为本技术实施例提供的一种初始翻译模型的示意图;
30.图6为本技术实施例提供的一种文本翻译装置的结构框图;
31.图7为本技术实施例提供的一种计算机设备的结构图;
32.图8为本技术实施例提供的一种服务器的结构图。
具体实施方式
33.下面结合附图,对本技术的实施例进行描述。
34.语言翻译是ai技术的热门应用之一。在相关技术中,对翻译模型进行训练时,通常只会参考目标语种的词语频次信息,来对各个词语所对应的训练权重进行相应调整,从而使该翻译模型所翻译得到的目标语种文本能够符合目标语种的语言特点。然而,这种训练方式会导致翻译模型无法学习到源语种的语言特点,从而会导致翻译结果无法准确体现出源语种文本的文本含义,翻译效果较差。
35.为了解决上述技术问题,本技术实施例提供了一种文本翻译方法,处理设备可以结合源语种和目标语种所对应词语片段之间的翻译映射关系,调节用于训练初始翻译模型的相关参数,使训练得到翻译模型能够基于该翻译映射关系对源语种文本进行翻译,从而使翻译得到的目标语种下的翻译文本更加贴合源语种文本的文本含义,提高翻译效果。
36.可以理解的是,该方法可以应用于处理设备上,该处理设备为具有数据处理功能的处理设备,例如可以是具有数据处理功能的终端设备或服务器。该方法由终端设备或服务器独立执行,也可以应用于终端设备和服务器通信的网络场景,通过终端设备和服务器配合运行。其中,终端设备可以为手机、台式计算机、个人数字助理(personal digital assistant,简称pda)、平板电脑等设备。服务器可以理解为是应用服务器,也可以为web服务器,在实际部署时,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。
37.本技术实施例可以应用有区块链技术,如在本技术所公开的文本翻译方法中,所确定出的关联参数以及训练得到翻译模型可以保存在区块链中,以便相关人员或相关设备可以较为便利的获取该参数或模型,进行文本翻译、模型训练等操作。
38.此外,本技术还涉及人工智能(artificial intelligence,ai)技术。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
39.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中,本技术主要涉及自然语言处理和机器学习技术。
40.自然语言处理(nature language processing,nlp)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
41.机器学习(machine learning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
42.例如,在本技术实施例中,通过自然语言处理技术,处理设备可以使初始翻译模型能够对第一文本的文本含义进行理解的识别,确定出对应的模型翻译文本;通过机器学习技术,处理设备能够训练得到更加精准的翻译模型,从而能够使翻译得到的翻译文本准确度更高,提高翻译效果。
43.为了便于理解本技术实施例提供的技术方案,接下来,将结合一种实际应用场景,对本技术实施例提供的一种文本翻译方法进行介绍。
44.参见图1,图1为本技术实施例提供的一种实际应用场景中文本翻译方法的示意图,在该实际应用场景中,处理设备为服务器101。
45.服务器101首先可以获取翻译文本训练集,该翻译文本训练集中包括多个文本样本对,例如可以包括文本样本对1~文本样本对n,每一个文本样本对中都包括源语种的第一文本和目标语种的第二文本,以文本样本对1为例,该第二文本为第一文本在目标语种下的翻译文本。
46.为了提高翻译模型的翻译效果,服务器101可以将源语种与目标语种之间的翻译映射关系作为模型训练的参考因素,从而使训练得到的翻译模型能够基于该翻译映射关系,输出更加贴合源语种语言含义的输出结果。服务器101可以将该文本样本对1作为目标文本样本对,确定该第二文本所包括目标词语片段在所属文本样本对中的关联参数,该关联参数用于体现该目标词语片段和目标文本样本对的第一文本词语片段之间的翻译映射关系,该翻译映射关系能够体现出该目标词语片段与该第一文本词语片段之间的映射多样化程度。
47.在训练过程中,服务器101可以根据该目标文本样本对中的第一文本,通过初始翻译模型确定在目标语种下的模型翻译文本。可以理解的是,在对该目标文本样本对中的第一文本进行翻译时,如果该目标词语片段与该第一文本中的词语片段之间有较为多样性的
映射关系时,即使该模型翻译文本中的词语片段与该目标词语片段不一致,也有较大可能为具有与该目标词语片段相同含义的词语片段,对体现该第一文本含义的影响较低。而当目标词语片段与第一文本中的词语片段有较为单一的映射关系时,说明当该模型翻译文本中不包括该目标词语片段时,则有较大概率为该初始翻译模型翻译出了准确度较低的词语片段,对体现第一文本含义的影响较大。因此,服务器101可以基于对应的关联参数,来确定目标文本样本对的第二文本所包括词语片段分别与该模型翻译文本对应的词语损失参数,从而可以通过该词语损失参数对具有不同翻译映射关系的词语片段进行有针对性的学习。
48.服务器101可以根据该词语损失参数对初始翻译模型进行训练,使该初始翻译模型能够基于翻译映射关系,调节对不同词语片段的学习力度,例如可以加大对一些翻译映射关系单一的词语片段的学习力度,同时在保障翻译效果的情况下降低一些翻译映射关系多样的词语片段的学习力度,得到翻译模型。服务器101可以通过该翻译模型将源语种下的待处理文本翻译为目标语种下的翻译文本,该翻译文本能够结合该翻译映射关系,更加准确的体现出该待处理文本在源语种下的含义,提高翻译效果。
49.接下来,将结合附图,对本技术实施例提供的一种文本翻译方法进行介绍。
50.参见图2,图2为本技术实施例提供的一种文本翻译方法的流程图,该方法包括:
51.s201:获取翻译文本训练集。
52.可以理解的是,两种语言所包括词语片段(token)之间的翻译映射关系在一定程度上能够用于分析翻译结果的准确度,以及能够用于衡量模型对该词语片段的学习难度。词语片段是指由一个或多个词语组成的片段,该翻译映射关系是指源语言文本所包括词语片段与对应的目标语言文本所包括词语片段之间的映射关系,该目标语言文本为通过翻译该源语言文本所得到的。例如,英文文本中的“happy”在中文文本中可以翻译为“快乐”、“开心”等词语片段,“happy”与“快乐”、“开心”之间就具有一定的翻译映射关系。
53.其中,部分词语片段由于含义比较多样等原因,在源语种和目标语种之间可能具有较为复杂的翻译映射关系,例如“happy”在中文文本中既可以翻译为“快乐”,也可以翻译为“开心”,这类词语片段所对应的多个具有翻译映射关系的词语片段通常可以相互替换,对翻译结果所表达的源语种文本含义的影响较低;部分词语片段又可能具有较为单一的翻译关系,例如源语种中一些技术性较强的词语片段可能在翻译为目标语种中的固定词语片段时才能较为准确的表达该词语片段的含义,如中文“轴承”在英文中翻译为“bearing”较为准确,翻译结果中得到其他词语片段则有较大可能为出现了翻译不准确的问题。由此可见,基于该翻译映射关系,处理设备可以确定出不同词语片段对源语种文本含义的影响程度,从而能够基于该影响程度对输出该翻译结果的翻译模型进行有针对性的学习训练,使训练得到的翻译模型能够尽可能的还原源语种文本的文本含义。
54.首先,处理设备可以获取翻译文本训练集,该翻译文本训练集包括多个文本样本对,该文本样本对包括源语种的第一文本和目标语种的第二文本,该第二文本为第一文本在目标语种下的翻译文本。通过该第一文本和第二文本,处理设备可以分析得到两种语种所包括词语片段之间的翻译映射关系,从而在进行模型训练时除了可以考虑目标语种的语言特点,还可以综合源语种与目标语种之间的翻译映射关系进行训练,使最终得到的翻译模型通过输出的翻译结果能够尽可能的还原源语种文本的文本含义。
55.s202:确定第二文本所包括词语片段在所属文本样本对中的关联参数。
56.其中,目标文本样本对可以为多个样本对中的任意一个,该关联参数用于体现目标文本样本对的第二文本中目标词语片段和目标文本样本对的第一文本中词语片段之间的翻译映射关系,该关联参数的数值在一定程度上能够体现出该翻译映射关系的复杂度。
57.若第一文本中词语片段除了目标词语片段之外,还可以翻译为其他词语片段,或除了该词语片段源语种中还有其他词语片段可以翻译为该目标词语片段时,则该目标词语片段与该第一文本中词语片段之间可能具有较为复杂的翻译映射关系;若在该翻译文本训练集所包括的文本中,该第一文本中的词语片段与该目标词语片段有接近一对一的映射关系,则目标词语片段与该第一文本中的词语片段之间的翻译映射关系可能较为简单。
58.可以理解的是,由于同一文本样本对中的第二文本为第一文本在目标语种下的翻译文本,因此该第一文本中存在与该第二文本所包括词语片段具有翻译映射关系的词语片段。基于此,处理设备在确定关联参数时,通过确定该第二文本所包括词语片段在所属文本样本对中的关联参数,可以较为准确的体现出该第二文本所包括词语片段与第一文本所包括词语片段之间翻译映射关系的复杂程度。若不针对所属文本样本对来确定,而是确定第二文本所包括词语片段在整个翻译文本训练集中的关联参数,会由于缺乏对具有翻译映射关系的词语片段的针对性,导致确定出的关联参数难以准确的反映出翻译映射关系的复杂度,进而在后续确定用于进行模型训练的相关参数时,会导致参数准确度较低,模型训练效果较差。
59.可以理解的是,在s201~s202中所进行的训练集确定动作以及关联参数的确定动作并不是训练模型之前所必须进行的动作。例如,在最初一次模型训练后,用于进行该次模型训练的翻译文本训练集以及已经确定出的关联参数还可以用于其他初始翻译模型的训练中,而不需要重新获取新的翻译文本训练集并重新确定关联参数,从而提高了模型训练的便利性。
60.s203:根据目标文本样本对中的第一文本,通过初始翻译模型确定在目标语种下的模型翻译文本。
61.在训练过程中,处理设备可以先获取初始翻译模型,然后通过该初始翻译模型对目标文本样本对中的第一文本进行翻译,得到在目标语种下的模型翻译文本。
62.s204:基于对应的关联参数,确定目标文本样本对的第二文本所包括词语片段分别与模型翻译文本对应的词语损失参数。
63.上已述及,通过词语片段之间的翻译映射关系,处理设备可以确定出不同词语片段对于源语种文本含义体现的影响程度,而关联参数可以体现出词语片段之间的翻译映射关系,因此,处理设备可以基于该关联参数对该初始翻译模型进行训练,从而使初始翻译模型输出的翻译结果更加贴合源语种文本的文本含义。
64.处理设备可以基于对应的关联参数,确定目标文本样本对的第二文本所包括词语片段分别与模型翻译文本对应的词语损失参数,该词语损失参数用于调节该初始翻译模型的学习力度。从而,处理设备可以通过该词语损失参数,对具有不同影响程度的词语片段进行不同力度的学习。
65.其中,若所对应的关联参数体现出的翻译映射关系较为复杂,则说明该词语片段在源语种中可能存在多个具有翻译映射关系的词语片段,或该词语片段为第一文本所包括词语片段在翻译后可以得到的多个词语片段中的一个。由于翻译映射关系较为复杂,因此
可能具有多个词语片段可以作为该第一文本所包括词语片段的翻译结果。此时,若该第二文本所包括词语片段与该模型翻译文本中对应的词语片段不同,通常情况下对体现第一文本文本含义的影响程度较低。例如,“happy”在第二文本中可以对应于“快乐”,在模型翻译文本中对应于“开心”,这种不同对含义体现的影响较低,因此,处理设备可以通过词语损失参数为此类词语片段设定较小的学习力度,即告知初始翻译模型即使对如何确定出该类词语片段的学习力度较小,对最终输出结果准确性的影响也较低,从而,降低了训练该初始翻译模型所需的时间和精力。
66.若所对应的关联参数体现出的翻译映射关系较为单一,则说明该词语片段在源语种中具有较为单一的词语片段与其对应,即在正常情况下,在翻译该源语种词语片段时,会得到该第二文本中所对应的词语片段。因此,若该第二文本中的词语片段在该模型翻译文本中未出现,说明有较大概率出现了翻译错误的问题。例如,“轴承”这一词语片段在英文中的通常翻译为“bearing”,若第一文本中具有“轴承”这一词语片段,但对应的模型翻译文本中不具有“bearing”这一词语片段,则大概率为该初始翻译模型产生了错误的翻译结果。此时,处理设备可以通过词语损失参数为此类第二文本中的词语片段设定较大的学习力度,使该初始翻译模型能够以较大力度对如何翻译得到该类词语片段进行学习,从而提高翻译模型对该类词语片段的翻译准确度。
67.s205:根据词语损失参数对初始翻译模型进行训练,得到翻译模型。
68.通过上述步骤确定出的词语损失参数,处理设备可以使该初始翻译模型对具有不同影响程度的词语片段进行不同力度的学习,从而既可以提高对一些影响程度较低的词语片段的学习速度,又可以提高对一些影响程度较高的词语片段的学习精度,使得到的翻译模型可以在保障翻译效率的前提下,尽可能提高对源语种文本含义的表达准确度。
69.s206:通过翻译模型将源语种下的待处理文本翻译为目标语种下的翻译文本。
70.由于该翻译模型是基于由源语种的第一文本和目标语种的第二文本所组成的翻译文本训练集训练得到的,因此在得到该翻译模型后,在实际应用中可以将源语种的待处理文本作为该翻译模型的模型输入,较为准确的得到在目标语种下的翻译文本,该待处理文本可以为任意包括源语种词语片段的文本。
71.由上述技术方案可以看出,为了提高翻译质量,可以确定第二文本所包括词语片段在所属文本样本对中的关联参数,该关联参数用于体现目标文本样本对的第二文本中目标词语片段和目标文本样本对的第一文本中词语片段之间的翻译映射关系。在进行模型训练时,可以根据该目标文本样本对中的第一文本,通过初始翻译模型确定在目标语种下的模型翻译文本,通过该模型翻译文本与该目标文本样本对中的第二文本能够体现出该初始翻译模型在进行翻译时的差异。基于对应的关联参数,可以确定该目标文本样本对的第二文本所包括词语片段分别与模型翻译文本对应的词语损失参数。由于通过翻译映射关系可以对两种语种之间词语片段翻译的准确度进行分析,因此该词语损失参数能够在结合翻译映射关系的基础上体现出该第二文本所包括词语片段对翻译准确性的影响程度。根据该词语损失参数可以对该初始翻译模型进行训练,从而使该初始翻译模型能够对翻译准确性具有不同影响程度的词语片段采用不同的学习力度进行学习,进而可以通过更加准确的词语翻译使该翻译文本贴合待处理文本在源语种下对应的含义,提高翻译准确度。
72.在相关技术中,对翻译模型进行训练时,通常只会基于目标语种所包括的各个词
语片段在目标语种中出现的词频(token frequence)来确定词语片段所对应的训练权重,从而解决翻译结果中词语片段分布不均衡的问题。然而,这种方式一方面没有考虑到源语种的语言特点,另一方面词频相似的词语片段可能在源语种中有着截然不同的翻译映射关系,如果为具有相似词频的词语片段分配相同的训练权重,可能会导致训练结果较差,难以准确的体现出源语种文本的文本含义。如图3所示,图3为本技术实施例提供的一种实验结果图表,该图表横坐标为互信息(mutual information)值,该互信息值能够体现出目标语种词语片段与源语种词语片段之间的翻译映射关系,互信息值越高,翻译映射关系越为单一。由该图表可见,词频相同词语片段可能对应有多种多样的互信息值,因此如果只基于词频来确定训练权重,则无法有效的体现出该翻译映射关系,从而无法使得到的翻译结果与源语种文本之间进行准确映射,翻译效果较差。
73.上已述及,通过词语损失参数,处理设备可以对具有不同翻译映射关系的词语片段进行不同力度的学习。具体的,在训练过程中,处理设备可以以目标文本样本对的第二文本所包括词语片段为粒度,分别确定该目标文本样本对的第二文本所包括词语片段与模型翻译文本对应的词语差异,然后根据目标文本样本对的第二文本所包括词语片段分别对应的关联参数确定损失权重,该损失权重用于调节模型在对各个词语片段进行学习时的学习力度,损失权重的数值越大,该模型在对词语片段进行学习时的学习力度也就越大,即提高翻译得到该词语片段的准确度。
74.由上述内容可知,词语片段所对应的翻译映射关系越复杂,在出现对应该词语片段的翻译错误时,对体现源语种文本含义的影响程度也就越低。同时,翻译映射关系越复杂,说明该第二文本所包括词语片段与第一文本所包括词语片段之间的映射关系较为多样化,例如该第一文本所包括词语片段可能具有包括该第二文本所包括词语片段在内的多种词语片段的翻译结果,对于模型来说学习该词语片段是否翻译准确的难度也就越高。
75.如图4所示,图4为本技术实施例提供的一种实验图表,该图表以平均双语互信息(bilingual mutual information,简称bmi)值为横坐标,语篇词汇多样性测度(measure of textual lexical diversity,简称mtld)值和双语学习评估(bilingual evaluation understudy,简称bleu)值为纵坐标的图表,该bmi值可以用于体现词语片段之间的翻译映射关系,bmi值越高,词语片段之间的翻译映射关系越单一。平均bmi值是指文本样本对中第二文本所包括词语片段所对应bmi值的平均值,该平均bmi值能够体现出该第二文本整体上与所属文本样本对中第一文本之间的翻译映射关系。实线代表bleu值,bleu值越高表明翻译结果越准确,即用于进行翻译训练的文本样本对对翻译模型来说学习难度较低;虚线代表mtld值,mtld值越高表明翻译结果中的词汇多样性越高。由图表中所体现出的实验结果可知,当第二文本的平均bmi值越高,即第二文本与所属文本样本对中第一文本之间翻译映射关系越为单一时,翻译结果中的词汇多样性越低,翻译结果越准确,即翻译模型对该文本样本对学习难度越低。由此可见,通过所对应的关联参数在一定程度上可以体现出翻译模型对于词语片段的学习难度。
76.基于此,为了在提高初始翻译模型学习效果的同时,降低该初始翻译模型整体的学习难度,提高学习效率,在基于关联参数确定损失权重时,该损失权重的数值可以与所标识翻译映射关系的复杂程度呈反相关。
77.处理设备可以根据该词语差异和对应的损失权重确定词语损失参数,从而在基于
该词语损失参数进行模型训练时,可以对所对应翻译映射关系较为单一的词语片段进行较大力度的学习,对所对应翻译映射关系较为复杂的词语片段进行较小力度的学习。由于翻译映射关系单一的词语片段在出现翻译错误时,对源语种文本含义的影响程度较大,同时学习该词语片段的难度较低,因此可以通过设定较高的损失权重来对此类词语片段的翻译错误设定较低容忍度,从而可以提高翻译结果对源语种文本含义的准确度;由于翻译映射关系复杂的词语片段在出现翻译错误时对源语种文本含义的影响程度相对较小,同时学习该词语片段的难度较高,因此可以通过设定较低的损失权重来对此类词语片段的翻译错误设定较高容忍度,从而可以在保障翻译结果对源语种文本含义准确度的前提下,在一定程度上降低模型的学习难度,进而在学习准确度和学习难度两方面都起到较为良好的改进效果。
78.为了更加准确的对损失权重进行确定,处理设备还可以引入多种超参数来对关联参数进行调节,并基于调节后的关联参数确定该损失权重。在一种可能的实现方式中,在根据关联参数确定损失权重时,处理设备可以根据第一超参数、第二超参数和该关联参数确定损失权重,该第一超参数用于对关联参数进行缩放,该第二超参数用于确定该损失权重的下限数值。从而,通过该第一超参数和第二超参数,处理设备可以对该损失权重的数值进行更加精准的调节,进而可以使该初始翻译模型对词语片段进行更加合理的学习。
79.例如,如下列公式所示,该公式为一种用于确定损失权重的公式:
80.w(y
j
)=s
·
bmi(x,y
j
) b
81.其中,w(y
j
)为词语片段y
j
对应的损失权重,bmi(x,y
j
)为词语片段y
j
在所述文本样本对中的关联参数,x为该词语片段所属文本样本对中的第一文本,s为第一超参数,用于对bmi值进行缩放;b为第二超参数,用于确定w(y
j
)的下限数值。
82.对于bmi值较大的词语片段,初始翻译模型可以认为这部分词语片段的翻译映射关系较为单一,通过较大的损失权重来放大这部分词语片段的损失,进行力度更大的学习;对于bmi值较小的词语片段,初始翻译模型可以认为这部分词语片段的映射关系较为复杂,学习难度较高,可以通过较小的损失权重来缩小这部分词语片段的损失,从而可以避免因过度学习陷入局部最优的情况。处理设备可以通过下列公式来确定损失参数:
[0083][0084]
其中,为某一文本样本对中第二文本所对应的损失参数,该第二文本中包括m个词语片段,w(y
j
)
·
logp(y
j
|y<j,x)表示第j个词语片段y
j
对应的词语损失参数,logp(y
j
|y<j,x)为处理设备结合第j个词语片段之间的词语片段所对应的翻译结果,确定出的第j个词语片段翻译准确的概率,该概率能够体现出第j个词语片段与模型翻译文本对应的词语差异。通过该损失参数,初始翻译模型可以确定出对第二文本中各个词语片段的学习力度,进而能够对该第二文本与第一文本之间的翻译关系进行整体学习,提高对第一文本的翻译精度。
[0085]
上述内容主要为对如何确定词语损失参数进行详细介绍,接下来,将重点介绍如何确定词语片段所对应的关联参数。上已述及,关联参数可以用于体现目标文本样本对的第二文本中目标词语片段和目标文本样本对的第一文本中词语片段之间的翻译映射关系,
因此关联参数越准确,所体现出的翻译映射关系也就越准确,基于该关联参数确定出的损失权重等相关参数也就越合理,进而能够训练得到更加准确的翻译模型。基于此,为了提高模型训练的准确度,在确定关联参数时,处理设备可以结合该目标词语片段和第一文本中词语片段的共现频率参数以及各个词语片段分别对应的词频参数,该共现频率用于体现两个词语片段出现在同一文本样本对中的频率,该词频参数用于体现词语片段在该翻译文本训练集中的出现频率,从而结合该共现频率参数和各个词语片段对应的词频参数能够体现出词语片段单独或出现的频率与词语片段共同出现频率之间的差异情况,进而体现出两个词语片段之间的翻译映射关系。
[0086]
在一种可能的实现方式中,该目标文本样本对的第一文本可以包括n个词语片段,第二文本可以包括m个词语片段,该目标词语片段可以为m个词语片段中的第j个词语片段。针对该目标文本样本对中的第j个词语片段,在确定第二文本所包括词语片段在所属文本样本对中的关联参数时,处理设备可以确定该第j个词语片段分别与n个词语片段所构成的片段对在多个文本样本对中的共现频率参数,该共现频率参数用于体现该片段对在多个文本样本对中的出现频率。同时,处理设备还可以确定n个词语片段分别在多个文本样本对中的第一词频参数,该第一词频参数用于体现该n个词语片段分别在该多个文本样本对中的出现频率。
[0087]
根据该共现频率参数和第一词频参数,处理设备可以确定该第j个词语片段在该目标文本样本对中的关联参数。可以理解的是,若该第一词频参数与该共现频率参数较为接近,则说明在第一文本所包括的n个词语片段中具有词语片段与该第j个词语片段有较为单一的翻译映射关系,即文本样本对所包括的第一文本中出现该词语片段时,有较大概率在该文本样本对所包括的第二文本中也会出现该第j个词语片段,该第j个词语片段为该词语片段主要对应的翻译结果。若该第一词频参数与该共现频率参数差距较大,则说明该第一文本中所包括的n个词语片段与该第j个词语片段具有较为复杂的翻译映射关系,即该第j个词语片段很大可能只是该第一文本中所包括n个词语片段中某一词语片段所对应的多个翻译结果中的一个,因此该第一词频参数会大于该共现频率参数。由此可见,通过该共现频率参数和第一词频参数能够确定出该第j个词语片段与该目标文本样本对中第一文本所包括词语片段之间的翻译映射关系。
[0088]
由上述内容可见,通过该第一词频参数和共现频率参数,能够准确反映出该第j个词语片段是否为第一文本中词语片段的多种翻译结果之一。为了能够从更加丰富的维度体现该翻译映射关系,进一步提高翻译映射关系的准确性,在一种可能的实现方式中,处理设备还可以判断源语种是否存在多个词语片段能够将该第j个词语片段作为翻译结果,从而能够从另一维度来分析该第j个词语片段是否具有复杂的翻译映射关系。
[0089]
在一种可能的实现方式中,处理设备可以确定第j个词语片段在多个文本样本对中的第二词频参数,该第二词频参数用于体现该第j个词语片段在多个文本样本对中的出现频率。处理设备可以根据该共现频率参数、第一词频参数和第二词频参数,确定该第j个词语片段在目标文本样本对中的关联参数。
[0090]
其中,在结合该第二词频参数后,若该第二词频参数与共现频率参数差距较小,则在一定程度上可以说明该n个词语片段中存在词语片段为源语种中将该第j个词语片段作为翻译结果的主要词语片段,即该第j个词语片段与该n个词语片段中的词语片段具有较为
单一的翻译映射关系;若该第二词频参数与共现频率参数差距较大,则说明源语种中除了该n个词语片段中的词语片段外,还有其他多个词语片段可以将该第j个词语片段作为翻译结果,即该第j个词语片段与该n个词语片段中的词语片段具有较为复杂的翻译映射关系。由此可见,通过结合该第一词频参数、第二词频参数和共现频率参数,不仅能够体现出该n个词语片段是否在目标语种中具有多种翻译结果,还能够体现出源语种中是否具有多个词语片段能够将该第j个词语片段作为翻译结果,从而能够从两种维度体现该第j个词语片段在该目标文本样本对中的翻译映射关系,进一步提高该关联参数的准确度,最终提高模型训练的合理性,得到更加准确的翻译模型。
[0091]
可以理解的是,当该第j个词语片段与该n个词语片段中的词语片段并不是一对一的翻译映射关系,及互相不为唯一的翻译结果时,该第j个词语片段在不同文本样本对中可能具有不同的关联参数。例如,在某一文本样本对中,第一文本所包括的词语片段在目标语种中可能具有多种翻译结果,第二文本中所包括的该第j个词语片段只是其中的一种,则在确定该第j个词语片段对应该文本样本对的关联参数时,第j个词语片段与该词语片段所构成的片段对对应的共现频率参数就会远小于第一词频参数;在另一文本样本对中,该第j个词语片段可能是第一文本中某一词语片段在目标语种中的唯一翻译结果,则在确定该第j个词语片段在该文本样本对中对应的关联参数时,第j个词语片段与该词语片段所构成的片段对对应的共现频率参数会较为接近该词语片段对应的第一词频参数。由此可见,相同的第j个词语片段在不同文本样本对中可能对应有不同的关联参数。基于此,通过针对所属文本样本对的关联参数进行模型训练,可以使初始翻译模型基于相同第j个词语片段与不同第一文本词语片段的翻译映射情况进行有针对性的学习,从而能够最终翻译模型确定出的翻译文本更加贴合源语种文本的文本含义。
[0092]
如下列公式所示,该公式为一种用于确定关联参数的公式,该关联参数可以为互信息参数bmi:
[0093][0094]
其中,bmi(x,y
j
)为第j个词语片段在所属文本样本对中的关联参数,n为该文本样本对中第一文本所包括词语片段的数量,f(x
i
,y
j
)为由词语片段y
j
和词语片段x
i
所组成片段对的共现频率参数,f(x
i
)为词语片段x
i
对应的第一词频参数,f(y
j
)为词语片段y
j
对应的第二词频参数,k为翻译文本训练集中的文本样本对的总数量。除了bmi值外,其他能够体现出词语片段之间翻译映射关系的参数也可以作为关联参数,例如可以根据第一文本词语片段与第二文本词语片段之间的置信度来确定关联参数,该置信度可以用于标识在翻译第一文本词语片段时,得到第二文本词语片段的概率。
[0095]
此外,通过共现频率参数和词频参数来体现片段对和词语片段出现频率的方式也可以包括多种。由于该确定方式中包括多种参数,为了提高关联参数的合理性,处理设备可以设定同一方式中出现的多个参数为同一衡量标准下的参数。在一种可能的实现方式中,该共现频率参数可以用于标识多个文本样本对中共同出现片段对的文本样本对数量,针对n个词语片段中的第i个词语片段,该第一词频参数可以用于标识多个文本对中出现第i个词语片段的文本数量,针对第j个词语片段,该第二词频参数可以用于标识多个文本对中分
别出现第j个词语片段的文本数量,从而能够使上述三个参数都能够以文本的数量为衡量标准来确定词频参数,提高了关联参数的合理性。
[0096]
在另一种可能的实现方式中,该共现频率参数还可以用于标识多个文本样本对中共同出现片段对的次数,针对n个词语片段中的第i个词语片段,该第一词频参数可以用于标识多个文本对中出现第i个词语片段的次数,针对第j个词语片段,该第二词频参数可以用于标识多个文本对中分别出现第j个词语片段的次数。通过该方式,可以对在同一文本对中重复出现的词语片段进行更加详细的统计,从而使得到的关联参数能够更加准确、全面的体现出翻译映射关系。同时,上述参数都是以词语片段的出现次数为衡量标准进行确定的,因此也能够使多个参数维持在同一维度,确保了所确定出的关联参数的合理性。同时,基于不同的参数确定方式,处理设备还可以适应性调节基于该关联参数所确定出的损失权重,从而使确定出的损失权重更加合理。
[0097]
可以理解的是,翻译文本训练集中可能存在部分词语片段具有过于复杂的翻译映射关系,即一个词语片段可能在另一语种中具有数量较多的词语片段与之对应。此时,对于初始翻译模型来说,此类词语片段可能学习难度过高,如果使初始翻译模型过度对该类词语片段进行学习,可能会导致学习效率较差,同时也难以得到良好的学习效果。上已述及,翻译映射关系越复杂,词语片段对翻译结果准确度的影响也就越低,因此,具有过于复杂翻译映射关系的词语片段对翻译结果的影响也较低,基于此,在一种可能的实现方式中,为了去除这部分词语片段对模型训练所带来的不良影响,提高模型训练的效率和准确度,处理设备可以基于关联参数对词语片段进行筛选。
[0098]
若关联参数中包括数值小于阈值的目标关联参数,在根据该词语损失参数对初始翻译模型进行训练的过程中,可以忽略基于该目标关联参数确定的词语损失参数,例如可以将该目标关联参数确定的词语损失参数设为0,从而避免初始翻译模型由于对该类词语片段过度学习而影响学习效率,提高学习训练的合理性。
[0099]
例如,在具体的模型训练过程中,如图5所示,图5展示了一种初始翻译模型的示意图,该初始翻译模型中包括编码器(encoders)和解码器(decoders),处理设备可以将文本样本对中的法语文本作为第一文本输入到编码器中,然后通过解码器得到翻译出的英语文本作为模型翻译文本。首先,为了提高模型的训练效率,处理设备可以通过最小化交叉熵损失函数来对模型训练一定步数,例如可以训练10万步,该最小化交叉熵损失函数如下:
[0100][0101]
其中m为该第一文本所对应第二文本中词语片段的个数,logp(y
j
|y<j,x)表示第二文本第j个词语片段与该模型翻译文本对应的词语差异。通过该最小化交叉熵损失函数,处理设备可以基于词语片段之间的差异来训练初始翻译模型,使该初始翻译模型能够学习到如何使确定出的翻译结果接近于输入的第一文本所对应的第二文本。随后,为了提高训练精度,处理设备可以根据第二文本所包括词语片段对应的关联参数确定词语损失参数,并基于该词语损失参数对该初始翻译模型进行10万步的训练。在第二段训练过程中,处理设备可以将关联参数低于0.4的词语片段所对应的损失权重设置为0,从而避免初始翻译模型在学习这部分翻译映射关系过于复杂的词语片段时耗费大量时间,进一步提高模型训练
的效率。
[0102]
基于上述实施例提供的一种文本翻译方法,本技术实施例还提供了一种文本翻译装置,参见图6,图6为本技术实施例提供的一种文本翻译装置600的结构框图,该装置600包括获取单元601、第一确定单元602、第二确定单元603、第三确定单元604、训练单元605和翻译单元606:
[0103]
获取单元601,用于获取翻译文本训练集,所述翻译文本训练集包括多个文本样本对,所述文本样本对包括源语种的第一文本和目标语种的第二文本,所述第二文本为所述第一文本在所述目标语种下的翻译文本;
[0104]
第一确定单元602,用于确定所述第二文本所包括词语片段在所属文本样本对中的关联参数,其中,目标文本样本对为所述多个文本样本对中的任意一个,所述关联参数用于体现所述目标文本样本对的第二文本中目标词语片段和所述目标文本样本对的第一文本中词语片段之间的翻译映射关系;
[0105]
第二确定单元603,用于根据所述目标文本样本对中的第一文本,通过初始翻译模型确定在所述目标语种下的模型翻译文本;
[0106]
第四确定单元604,用于基于对应的关联参数,确定所述目标文本样本对的第二文本所包括词语片段分别与所述模型翻译文本对应的词语损失参数;
[0107]
训练单元605,用于根据所述词语损失参数对所述初始翻译模型进行训练,得到翻译模型;
[0108]
翻译单元606,用于通过所述翻译模型将所述源语种下的待处理文本翻译为所述目标语种下的翻译文本。
[0109]
在一种可能的实现方式中,第四确定单元604具体用于:
[0110]
以所述目标文本样本对的第二文本所包括词语片段为粒度,分别确定所述目标文本样本对的第二文本所包括词语片段与所述模型翻译文本对应的词语差异;
[0111]
根据所述目标文本样本对的第二文本所包括词语片段分别对应的关联参数确定损失权重;
[0112]
根据所述词语差异和对应的所述损失权重确定所述词语损失参数,其中,所述损失权重的数值与所标识翻译映射关系的复杂程度呈反相关。
[0113]
在一种可能的实现方式中,第四确定单元604具体用于:
[0114]
根据第一超参数、第二超参数和所述关联参数确定所述损失权重,所述第一超参数用于对所述关联参数进行缩放,所述第二超参数用于确定所述损失权重的下限数值。
[0115]
在一种可能的实现方式中,所述目标文本样本对的第一文本包括n个词语片段,第二文本包括m个词语片段,所述目标词语片段为所述m个词语片段中的第j个词语片段;
[0116]
针对所述目标文本样本对中的所述第j个词语片段,第一确定单元602具体用于:
[0117]
确定所述第j个词语片段分别与所述n个词语片段所构成的片段对在所述多个文本样本对中的共现频率参数;
[0118]
确定所述n个词语片段分别在所述多个文本样本对中的第一词频参数;
[0119]
根据所述共现频率参数和所述第一词频参数确定所述第j个词语片段在所述目标文本样本对中的所述关联参数。
[0120]
在一种可能的实现方式中,装置600还包括第五确定单元:
[0121]
第五确定单元,用于确定所述第j个词语片段在所述多个文本样本对中的第二词频参数;
[0122]
第一确定单元602具体用于:
[0123]
根据所述共现频率参数、所述第一词频参数和所述第二词频参数,确定所述第j个词语片段在所述目标文本样本对中的所述关联参数。
[0124]
在一种可能的实现方式中,所述共现频率参数用于标识所述多个文本样本对中共同出现所述片段对的文本样本对数量;
[0125]
针对所述n个词语片段中的第i个词语片段,所述第一词频参数用于标识所述多个文本对中出现第i个词语片段的文本数量;
[0126]
针对所述第j个词语片段,所述第二词频参数用于标识所述多个文本对中分别出现第j个词语片段的文本数量。
[0127]
在一种可能的实现方式中,所述共现频率参数用于标识所述多个文本样本对中共同出现所述片段对的次数;
[0128]
针对所述n个词语片段中的第i个词语片段,所述第一词频参数用于标识所述多个文本对中出现第i个词语片段的次数;
[0129]
针对所述第j个词语片段,所述第二词频参数用于标识所述多个文本对中分别出现第j个词语片段的次数。
[0130]
在一种可能的实现方式中,训练单元605具体用于:
[0131]
若所述关联参数中包括数值小于阈值的目标关联参数,在根据所述词语损失参数对所述初始翻译模型进行训练的过程中,忽略基于所述目标关联参数确定的词语损失参数。
[0132]
本技术实施例还提供了一种计算机设备,下面结合附图对该设备进行介绍。请参见图7所示,本技术实施例提供了一种设备,该设备还可以是终端设备,该终端设备可以为包括手机、平板电脑、个人数字助理(personal digital assistant,简称pda)、销售终端(point of sales,简称pos)、车载电脑等任意智能终端,以终端设备为手机为例:
[0133]
图7示出的是与本技术实施例提供的终端设备相关的手机的部分结构的框图。参考图7,手机包括:射频(radio frequency,简称rf)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真(wireless fidelity,简称wifi)模块770、处理器780、以及电源790等部件。本领域技术人员可以理解,图7中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0134]
下面结合图7对手机的各个构成部件进行具体的介绍:
[0135]
rf电路710可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器780处理;另外,将设计上行的数据发送给基站。通常,rf电路710包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,简称lna)、双工器等。此外,rf电路710还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobile communication,简称gsm)、通用分组无线服务(general packet radio service,简称gprs)、码分多址(code division multiple access,简称
cdma)、宽带码分多址(wideband code division multiple access,简称wcdma)、长期演进(long term evolution,简称lte)、电子邮件、短消息服务(short messaging service,简称sms)等。
[0136]
存储器720可用于存储软件程序以及模块,处理器780通过运行存储在存储器720的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0137]
输入单元730可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元730可包括触控面板731以及其他输入设备732。触控面板731,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板731可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器780,并能接收处理器780发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731,输入单元730还可以包括其他输入设备732。具体地,其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0138]
显示单元740可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元740可包括显示面板741,可选的,可以采用液晶显示器(liquid crystal display,简称lcd)、有机发光二极管(organic light

emitting diode,简称oled)等形式来配置显示面板741。进一步的,触控面板731可覆盖显示面板741,当触控面板731检测到在其上或附近的触摸操作后,传送给处理器780以确定触摸事件的类型,随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图7中,触控面板731与显示面板741是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板731与显示面板741集成而实现手机的输入和输出功能。
[0139]
手机还可包括至少一种传感器750,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板741的亮度,接近传感器可在手机移动到耳边时,关闭显示面板741和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
[0140]
音频电路760、扬声器761,传声器762可提供用户与手机之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号,传输到扬声器761,由扬声器761转换为声音信号输出;另一方面,传声器762将收集的声音信号转换为电信号,由音频电路760接收后转
换为音频数据,再将音频数据输出处理器780处理后,经rf电路710以发送给比如另一手机,或者将音频数据输出至存储器720以便进一步处理。
[0141]
wifi属于短距离无线传输技术,手机通过wifi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图7示出了wifi模块770,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
[0142]
处理器780是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器720内的软件程序和/或模块,以及调用存储在存储器720内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器780可包括一个或多个处理单元;优选的,处理器780可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器780中。
[0143]
手机还包括给各个部件供电的电源790(比如电池),优选的,电源可以通过电源管理系统与处理器780逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0144]
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
[0145]
在本实施例中,该终端设备所包括的处理器780还具有以下功能:
[0146]
获取翻译文本训练集,所述翻译文本训练集包括多个文本样本对,所述文本样本对包括源语种的第一文本和目标语种的第二文本,所述第二文本为所述第一文本在所述目标语种下的翻译文本;
[0147]
确定所述第二文本所包括词语片段在所属文本样本对中的关联参数,其中,目标文本样本对为所述多个文本样本对中的任意一个,所述关联参数用于体现所述目标文本样本对的第二文本中目标词语片段和所述目标文本样本对的第一文本中词语片段之间的翻译映射关系;
[0148]
根据所述目标文本样本对中的第一文本,通过初始翻译模型确定在所述目标语种下的模型翻译文本;
[0149]
基于对应的关联参数,确定所述目标文本样本对的第二文本所包括词语片段分别与所述模型翻译文本对应的词语损失参数;
[0150]
根据所述词语损失参数对所述初始翻译模型进行训练,得到翻译模型;
[0151]
通过所述翻译模型将所述源语种下的待处理文本翻译为所述目标语种下的翻译文本。
[0152]
本技术实施例还提供一种服务器,请参见图8所示,图8为本技术实施例提供的服务器800的结构图,服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,简称cpu)822(例如,一个或一个以上处理器)和存储器832,一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器822可以设置为与存储介质830通信,在服务器800上执行存储介质830中的一系列指令操作。
[0153]
服务器800还可以包括一个或一个以上电源826,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口858,和/或,一个或一个以上操作系统841,例如windows servertm,mac os xtm,unixtm,linuxtm,freebsdtm等等。
[0154]
上述实施例中由服务器所执行的步骤可以基于图8所示的服务器结构。
[0155]
本技术实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述各个实施例所述的文本翻译方法中的任意一种实施方式。
[0156]
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:read

only memory,缩写:rom)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0157]
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
[0158]
以上所述,仅为本技术的一种具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应该以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献