一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

分类模型训练方法、翻译方法、装置及电子设备与流程

2022-02-22 19:39:05 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,尤其涉及自然语言处理、机器学习技术领域。


背景技术:

2.同声传译是即时的将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。目前,同声传译主要由人工议员完成,但全球仅有3000名合格的同传译员,且只能连续工作15-20分钟,译出率只有60%。因此,希望通过计算机辅助人类进行同声传译工作,即利用机器进行语音翻译,也称为机器同传。然而,现有技术中的机器同传,经常出现翻译不准确的情况,翻译质量不高。


技术实现要素:

3.本公开提供了一种分类模型训练方法、翻译方法、装置及电子设备。
4.根据本公开的一方面,提供了一种分类模型训练方法,包括:
5.获取双语平行语料,双语平行语料包括源语言语料和目标语言语料;
6.确定源语言语料中的可翻译片段和不可翻译片段;可翻译片段是基于源语言语料中的无歧义片段确定的;
7.基于可翻译片段和不可翻译片段,训练分类模型。
8.根据本公开的另一方面,提供了一种翻译方法,包括:
9.获取待翻译源语言片段;
10.将待翻译源语言片段输入分类模型,在分类模型的分类结果为可翻译的情况下,翻译待翻译源语言片段;
11.其中,分类模型是根据本公开任一实施例中的方法训练得到的。
12.根据本公开的另一方面,提供了一种分类模型训练装置,包括:
13.获取模块,用于获取双语平行语料,双语平行语料包括源语言语料和目标语言语料;
14.确定模块,用于确定源语言语料中的可翻译片段和不可翻译片段;可翻译片段是基于源语言语料中的无歧义片段确定的;
15.训练模块,用于基于可翻译片段和不可翻译片段,训练分类模型。
16.根据本公开的另一方面,提供了一种翻译装置,包括:
17.获取模块,用于获取待翻译源语言片段;
18.翻译模块,用于将待翻译源语言片段输入分类模型,在分类模型的分类结果为可翻译的情况下,翻译待翻译源语言片段;
19.其中,分类模型是根据本公开任一实施例中的方法训练得到的。
20.根据本公开的另一方面,提供了一种电子设备,包括:
21.至少一个处理器;以及
22.与该至少一个处理器通信连接的存储器;其中,
23.该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任一实施例中的方法。
24.根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行本公开任一实施例中的方法。
25.根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开任一实施例中的方法。
26.本公开提供了一种分类模型训练方法、翻译方法、装置及电子设备,从双语平行语料的源语言语料中确定可翻译片段和不可翻译片段,可翻译片段是基于源语言语料中的无歧义片段确定的,基于可翻译片段和不可翻译片段,训练分类模型,将训练完成的分类模型应用到翻译中,可以使翻译的结果更加准确,满足高质量和低时延的需求。
27.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
28.附图用于更好地理解本方案,不构成对本公开的限定。其中:
29.图1为本公开一实施例中分类模型训练方法的示意图;
30.图2为本公开一实施例中获取无歧义语义片段的示意图;
31.图3为本公开一实施例中源语言句子切分的示意图;
32.图4为本公开一实施例中确定可翻译片段的示意图;
33.图5为本公开一实施例中分类模型训练方法的流程图;
34.图6为本公开一实施例中翻译方法的流程图;
35.图7为本公开一实施例中分类模型训练装置的示意图;
36.图8为本公开一实施例中确定模块的示意图;
37.图9为本公开一实施例中翻译装置的示意图;
38.图10是用来实现本公开实施例的分类模型训练方法或翻译方法的电子设备的框图。
具体实施方式
39.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
40.本公开实施例提供了一种分类模型训练方法,图1是本公开一实施例的分类模型训练方法的流程图,该方法可以应用于分类模型训练装置,例如,该装置在部署于终端或服务器或其它处理设备执行的情况下,可以执行分类模型训练等。其中,终端可以为用户设备(ue,user equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(pda,personal digital assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示,包括:
41.步骤s101,获取双语平行语料,双语平行语料包括源语言语料和目标语言语料;
42.可以从预先构建的双语平行语料库中获取双语平行语料,双语平行语料包括多个句子对,每个句子对中包括一个源语言句子和对应的该源语言句子翻译成的目标语言句子。源语言语料包括源语言句子,目标语言语料包括目标语言句子。
43.步骤s102,确定源语言语料中的可翻译片段和不可翻译片段;可翻译片段是基于源语言语料中的无歧义片段确定的;
44.基于双语平行语料,从源语言语料中确定出可翻译片段和不可翻译片段,其中,可翻译片段可以是一个词,也可以是多个词组成的词组或短语,若一个源语言片段不是可翻译片段,则为不可翻译片段。
45.其中,根据平行语料可以得到多个源语言片段和每个源语言片段对应的至少一个目标语言片段,无歧义片段是指对应一个目标语言片段的源语言片段。若一个源语言片段为无歧义片段,则进一步确定该源语言片段是否是可翻译片段。
46.步骤s103,基于可翻译片段和不可翻译片段,训练分类模型。
47.根据是否为可翻译片段,对源语言语料中的源语言句子进行切分,利用源语言语料中的可翻译片段和不可翻译片段,构造训练样本集训练分类模型,训练好的分类模型可以用于源语言和目标语言的翻译中。
48.其中,在训练分类模型时,初始模型可以是任意的文本分类模型,本公开对此不做限定。
49.本公开提供了一种分类模型训练方法,从双语平行语料的源语言语料中确定可翻译片段和不可翻译片段,可翻译片段是基于源语言语料中的无歧义片段确定的,基于可翻译片段和不可翻译片段,训练分类模型,将训练完成的分类模型应用到翻译中,可以使翻译的结果更加准确,满足高质量和低时延的需求。
50.其中,如何确定可翻译片段,具体见如下实施例:
51.在一种可能的实现方式中,确定源语言语料中的可翻译片段,包括:
52.确定源语言语料中的多个无歧义片段,以及多个无歧义片段各自对应的第一目标语言片段;
53.基于多个无歧义片段和各自对应的第一目标语言片段,确定源语言语料中的多个可翻译片段。
54.在实际应用中,根据平行语料中的源语言句子和对应的翻译成的目标语言句子,可以确定出源语言语料中的每个句子中的无歧义片段,以及每个无歧义片段对应到目标语言句子中的目标语言片段。每个无歧义片段对应一个目标语言片段,即为第一目标语言片段。对于每个无歧义片段,根据该无歧义片段和对应的第一目标语言片段,可以确定出该无歧义片段是否是可翻译片段,从而可以得到多个可翻译片段。
55.本公开实施例中,根据无歧义片段和对应的第一目标语言片段,进一步筛选出可翻译片段和不可翻译片段,可以作为分类模型的训练样本集。
56.在一种可能的实现方式中,基于多个无歧义片段和各自对应的第一目标语言片段,确定源语言语料中的多个可翻译片段,包括:
57.对于每一无歧义片段,获取以无歧义片段为开头的至少一个源语言句子,对至少一个源语言句子进行翻译,得到各源语言句子各自对应的目标语言句子;
58.基于各无歧义片段、各无歧义片段各自对应的第一目标语言片段和各目标语言句子,确定源语言语料中的多个可翻译片段。
59.在实际应用中,对于每个无歧义片段,将该无歧义片段输入生成式预训练(generative pre-training,gpt)模型,gpt模型输出以该无歧义片段为开头的至少一个源语言句子,将这些源语言句子进行翻译,得到每个源语言句子对应的目标语言句子,将该无歧义片段对应的第一目标语言片段与目标语言句子中该无歧义片段对应的目标语言片段进行比对,根据比对结果确定该无歧义片段是否为可翻译片段。其中,由于根据每个无歧义片段可能得到gpt模型输出的多个以该无歧义片段为开头的源语言句子,从而得到多个翻译之后的目标语言句子,可以将第一目标语言片段与该无歧义片段对应的每个目标语言句子依次进行比对,确定该无歧义片段是否为可翻译片段。
60.本公开实施例中,通过构造无歧义片段为开头的句子并进行翻译,基于第一目标语言片段和翻译后的目标语言句子进行比对,来确定无歧义片段是否是可翻译片段,这样得到的可翻译片段作为分类模型的训练样本训练完成的分类模型,可以考虑到更多可能性对翻译结果带来的差异,模型应用到翻译过程中可以使翻译的结果更加准确。
61.在一种可能的实现方式中,基于各无歧义片段、各无歧义片段各自对应的第一目标语言片段和各目标语言句子,确定源语言语料中的多个可翻译片段,包括:
62.对于每一无歧义片段,获取目标语言句子中与无歧义片段对应的至少一个第二目标语言片段;
63.将第一目标语言片段与至少一个第二目标语言片段满足预设的匹配条件的无歧义片段作为源语言语料中的可翻译片段。
64.在实际应用中,将无歧义片段开头的源语言句子和该句子翻译成的目标语言句子中的词语进行对齐,得到无歧义片段对应的目标语言句子中的目标语言片段,即第二目标语言片段。由于根据每个无歧义片段可能得到gpt模型输出的多个以该无歧义片段为开头的源语言句子,从而得到多个翻译之后的目标语言句子,可以将第一目标语言片段与每个目标语言句子中的第二目标语言片段依次进行比对,若无歧义片段对应的第一目标语言片段和该无歧义片段对应的每一个第二目标语言片段满足预设的匹配条件,则该无歧义片段为可翻译片段,否则,该无歧义片段为不可翻译片段。其中,预设的匹配条件可以是第一目标语言片段与每个目标语言句子中的第二目标语言片段均匹配,或者满足预设的匹配度阈值,可以根据具体需要进行配置。
65.本公开实施例中,根据第一目标语言片段与至少一个第二目标语言片段的匹配程度确定可翻译片段,这样得到的可翻译片段作为分类模型的训练样本训练完成的分类模型,应用到翻译过程中可以使翻译的结果更加准确。
66.在一种可能的实现方式中,确定源语言语料中的多个无歧义片段,以及多个无歧义片段各自对应的第一目标语言片段,包括:
67.将双语平行语料中的源语言词语和目标语言词语进行对齐处理;
68.根据对齐之后的源语言词语和目标语言词语,确定源语言语料中的多个无歧义片段,以及多个无歧义片段各自对应的第一目标语言片段。
69.在实际应用中,将双语平行语料中的源语言句子和目标语言句子进行词语对齐,可以通过词语对齐工具,例如,giza,利用期望最大化算法(expectation-maximum,em)对句
子中的词语进行源语言和目标语言的对齐,记录对齐信息。根据对齐信息,可以确定源语言语料中的多个无歧义片段和多个第一目标语言片段。
70.本公开实施例中,可以从双语平行语料中确定无歧义片段和对应的第一目标语言片段,作为确定可翻译片段的基础。
71.在一种可能的实现方式中,根据对齐之后的源语言词语和目标语言词语,确定源语言语料中的多个无歧义片段,以及多个无歧义片段各自对应的第一目标语言片段,包括:
72.根据对齐之后的源语言词语和目标语言词语,得到包含源语言词语的源语言片段和对应的至少一个目标语言片段;
73.将对应一个目标语言片段的源语言片段作为无歧义片段,将无歧义片段对应的目标语言片段作为第一目标语言片段。
74.在实际应用中,统计源语言和目标语言的对齐信息,并记录在短语表中。短语表中记录了源语言片段和该源语言片段对应的至少一个第一目标语言片段,源语言片段包括至少一个源语言词语,目标语言片段包括至少一个目标语言词语。若源语言片段只有一个对应的第一目标语言片段,则将源语言片段作为无歧义片段,该源语言片段对应的第一目标语言片段作为无歧义片段对应的第一目标语言片段。针对双语平行语料中的每一个句对及其对齐信息,从前往后逐字判断目标语言每一个词所对应的源语言片段。如果对应的源语言片段是无歧义片段,就在此处进行一次切分,从而得到多个无歧义片段和各自对应的第一目标语言片段。
75.本公开实施例中,根据源语言词语和目标语言词语的对齐信息可以得到无歧义片段和对应的第一目标语言片段,作为获取可翻译片段的基础。
76.在一种可能的实现方式中,基于可翻译片段和不可翻译片段,训练分类模型,包括:
77.获取可翻译片段和不可翻译片段各自对应的类别标签;
78.将可翻译片段、不可翻译片段、以及各自对应的类别标签作为训练样本集,训练分类模型。
79.在实际应用中,可以通过人工标注或机器标注的方式,配置可翻译片段和不可翻译片段分别对应的类别标签,例如,可翻译片段的类别标签可以为1,不可翻译片段的类别标签可以为0。利用可翻译片段、不可翻译片段、以及各自对应的类别标签构造训练样本集,训练分类模型。
80.本公开实施例中,基于可翻译片段和不可翻译片段,训练分类模型,将训练完成的分类模型对输入的源语言片段进行分类识别,将该分类模型应用到翻译中,可以使翻译的结果更加准确。
81.下面通过几个具体的实施例对本公开的技术方案进行详细介绍。
82.图2为本公开一实施例中获取无歧义语义片段的示意图。如图2所示,
83.首先,进行句子对齐。源语言句子1:this is made possible through close collaboration;对应的目标语言句子1:这是通过紧密协作实现的。源语言句子2:if you are cold,close the window;对应的目标语言句子2:你要是冷就把窗户关上。分别将源语言句子和对应的目标语言句子进行词语对齐,如图2所示,对于源语言句子1和对应的目标语言句子1:“this”和“这”对齐;“is”和“是”对齐;“made”和“实现的”对齐;“possible”和“实现的”对齐;“through”和“通过”对齐;“close”和“紧密”对齐;“collaboration”和“协作”对齐。对于源语言句子2和对应的目标语言句子2:“if”和“要是”对齐;“you”和“你”对齐;“cold”和“冷”对齐;“close”和“关上”对齐;“window”和“窗户”对齐。
84.然后,获取短语表。根据源语言句子1和目标语言句子1、源语言句子2和目标语言句子2的对齐信息,得到短语表,如图2所示的“close

紧密/关上、close collaboration

紧密协作、close the window

把窗户关上”。
85.最后,对源语言句子进行切分。短语表中的“collaboration”、“close the window”分别对应一个目标语言片段,则“collaboration”、“close the window”为无歧义片段,而“close”对应两个目标语言片段“紧密、关上”,则“close”不是无歧义片段,如果对应的源语言片段是无歧义片段,就在此处进行一次切分,从而得到多个无歧义片段,源语言句子1可以切分为4个片段:this、is、made possible through、close collaboration;源语言句子2可以切分为3个片段:if you、are cold、close the window。
86.图3为本公开一实施例中源语言句子切分的示意图。如图3所示,对于源语言句子1:this is made possible through close collaboration;对应的目标语言句子1:这是通过紧密协作实现的。根据短语表进行判断,对于“这”对应的“this”,判断“this”是否只对应一个目标语言片段,如果是,则在“this”后面进行切分,依次判断“是”对应的“is”是否只对应一个目标语言片段

直到对源语言句子切分完成,得到多个无歧义片段。其中,pointer表示词在句子中从左到右的位置顺序。
87.图4为本公开一实施例中确定可翻译片段的示意图。如图4所示,若“cut the banana”为一个无歧义片段,对应的第一目标语言片段为“切香蕉”,将“cut the banana”输入gpt模型,得到源语言句子a:cut the banana and the apple。源语言句子b:cut the banana here。对源语言句子a、源语言句子b进行翻译,得到目标语言句子c:切香蕉和苹果、目标语言句子d:把香蕉切在这里。将对源语言句子a、源语言句子b与各自对应的目标语言句子c、目标语言句子d进行词语对齐,“cut the banana”在目标语言句子c中对应的第二目标语言片段为“切香蕉”,“cut the banana”在目标语言句子d中对应的第二目标语言片段为“香蕉切”,如果预设的匹配条件是无歧义片段的第一目标语言片段和该无歧义片段对应的所有第二目标语言片段均匹配,才能确定该无歧义片段为可翻译片段,则由于无歧义片段“cut the banana”其中一个第二目标语言片段“香蕉切”与“cut the banana”对应的第一目标语言片段不匹配(如图中所示的“不一致”),则无歧义片段“cut the banana”为不可翻译片段。
88.图5为本公开一实施例中分类模型训练方法的流程图。如图5所示,该方法包括:
89.步骤s501,获取双语平行语料,双语平行语料包括源语言语料和目标语言语料;
90.步骤s502,确定源语言语料中的多个无歧义片段,以及多个无歧义片段各自对应的第一目标语言片段;
91.步骤s503,对于每一无歧义片段,获取以无歧义片段为开头的至少一个源语言句子,对至少一个源语言句子进行翻译,得到各源语言句子各自对应的目标语言句子;
92.步骤s504,对于每一无歧义片段,获取目标语言句子中与无歧义片段对应的至少一个第二目标语言片段;
93.步骤s505,将第一目标语言片段与至少一个第二目标语言片段满足预设的匹配条
件的无歧义片段作为源语言语料中的可翻译片段;
94.步骤s506,获取可翻译片段和不可翻译片段各自对应的类别标签,将可翻译片段、不可翻译片段、以及各自对应的类别标签作为训练样本集,训练分类模型。
95.本公开实施例中,通过构造无歧义片段为开头的句子并进行翻译,基于第一目标语言片段和翻译后的目标语言句子进行比对,来确定无歧义片段是否是可翻译片段,这样得到的可翻译片段和不可翻译片段作为分类模型的训练样本训练完成的分类模型,可以考虑到更多可能性对翻译结果带来的差异,模型应用到翻译过程中可以使翻译的结果更加准确。
96.本公开实施例提供了一种翻译方法,图6为本公开一实施例中翻译方法的流程图,该方法可以应用于翻译装置,例如,该装置在部署于终端或服务器或其它处理设备执行的情况下,可以执行分类模型训练等。其中,终端可以为用户设备(ue,user equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(pda,personal digital assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图6所示,翻译方法可以包括:
97.步骤s601,获取待翻译源语言片段;
98.本公开实施例中,在翻译过程中,可以接收待翻译源语言句子,对句子进行切分,得到待翻译源语言片段,也可以直接接收源语言片段,例如,在机器同声传译的翻译过程中,可以接收流式的待翻译源语言片段。其中,待翻译源语言片段包括至少一个源语言词语。
99.步骤s602,将待翻译源语言片段输入分类模型,在分类模型的分类结果为可翻译的情况下,翻译待翻译源语言片段;
100.其中,分类模型是根据本公开实施例中任一项的分类模型训练方法训练得到的。接收到待翻译源语言片段之后,可以通过分类模型的分类结果来确定是否翻译源语言片段。可以理解的是,翻译待翻译源语言片段的内容的具体方式,本公开不做限定。
101.相关技术中,如果利用无歧义片段训练分类模型,无歧义片段可能在不同场景下产生不同的翻译结果,因此,利用无歧义片段训练的分类模型应用到翻译中,可能出现翻译不准确的问题。
102.因此,本公开技术方案在无歧义片段的基础上,进一步确定可翻译片段,利用可翻译片段和不可翻译片段作为训练样本训练分类模型,可以考虑到更多可能性对翻译结果带来的差异,模型应用到翻译过程中可以使翻译的结果更加准确,满足高质量和低时延的需求。
103.在一种可能的实现方式中,本实施例中的翻译方法还包括:
104.在分类模型的分类结果为不可翻译的情况下,获取新的源语言片段,将待翻译源语言片段和新的源语言片段进行拼接,得到当前的待翻译源语言片段并输入分类模型;
105.在当前的分类结果为可翻译的情况下,则对当前的待翻译源语言片段进行翻译;
106.在当前的分类结果为不可翻译的情况下,则持续获取新的源语言片段并与上一次的待翻译源语言片段进行拼接后输入分类模型,直到当前的分类结果为可翻译,对当前的待翻译源语言片段进行翻译。
107.在实际应用中,在分类模型的分类结果为不可翻译的情况下,也就是说,待翻译源
语言片段不是可翻译片段,在持续进行的翻译过程中,持续获取新的源语言片段,将待翻译源语言片段和新的源语言片段进行拼接,得到当前的待翻译源语言片段,并输入分类模型,通过分类模型来确定拼接之后的是否为可翻译片段,在当前的分类结果为可翻译的情况下,则对当前的待翻译源语言片段进行翻译;在当前的分类结果为不可翻译的情况下,则持续获取新的源语言片段并与上一次的待翻译源语言片段进行拼接后输入分类模型,直到当前的分类结果为可翻译,对当前的待翻译源语言片段进行翻译。
108.本公开实施例中,持续获取待翻译源语言片段,并通过分类模型的分类结果来确定对待翻译源语言片段进行翻译,还是继续获取新的源语言片段,拼接后再次进行判断,可以持续对流式源语言进行翻译,满足机器同声传译的高质量和低时延的需求。
109.图7为本公开一实施例中分类模型训练装置的示意图。如图7所示,分类模型训练装置可以包括:
110.获取模块701,用于获取双语平行语料,双语平行语料包括源语言语料和目标语言语料;
111.确定模块702,用于确定源语言语料中的可翻译片段和不可翻译片段;可翻译片段是基于源语言语料中的无歧义片段确定的;
112.训练模块703,用于基于可翻译片段和不可翻译片段,训练分类模型。
113.本公开提供了一种分类模型训练装置,从双语平行语料的源语言语料中确定可翻译片段和不可翻译片段,可翻译片段是基于源语言语料中的无歧义片段确定的,基于可翻译片段和不可翻译片段,训练分类模型,将训练完成的分类模型应用到翻译中,可以使翻译的结果更加准确,满足高质量和低时延的需求。
114.图8为本公开一实施例中确定模块的示意图。如图8所示,在一种可能的实现方式中,确定模块包括第一确定单元801和第二确定单元802;
115.第一确定单元801,用于确定源语言语料中的多个无歧义片段,以及多个无歧义片段各自对应的第一目标语言片段;
116.第二确定单元802,用于基于多个无歧义片段和各自对应的第一目标语言片段,确定源语言语料中的多个可翻译片段。
117.在一种可能的实现方式中,第二确定单元802,具体用于:
118.对于每一无歧义片段,获取以无歧义片段为开头的至少一个源语言句子,对至少一个源语言句子进行翻译,得到各源语言句子各自对应的目标语言句子;
119.基于各无歧义片段、各无歧义片段各自对应的第一目标语言片段和各目标语言句子,确定源语言语料中的多个可翻译片段。
120.在一种可能的实现方式中,第二确定单元802在基于各无歧义片段、各无歧义片段各自对应的第一目标语言片段和各目标语言句子,确定源语言语料中的多个可翻译片段时,用于:
121.对于每一无歧义片段,获取目标语言句子中与无歧义片段对应的至少一个第二目标语言片段;
122.将第一目标语言片段与至少一个第二目标语言片段满足预设的匹配条件的无歧义片段作为源语言语料中的可翻译片段。
123.在一种可能的实现方式中,第一确定单元801,具体用于:
124.将双语平行语料中的源语言词语和目标语言词语进行对齐处理;
125.根据对齐之后的源语言词语和目标语言词语,确定源语言语料中的多个无歧义片段,以及多个无歧义片段各自对应的第一目标语言片段。
126.在一种可能的实现方式中,第一确定单元801在根据对齐之后的源语言词语和目标语言词语,确定源语言语料中的多个无歧义片段,以及多个无歧义片段各自对应的第一目标语言片段时,用于:
127.根据对齐之后的源语言词语和目标语言词语,得到包含源语言词语的源语言片段和对应的至少一个目标语言片段;
128.将对应一个目标语言片段的源语言片段作为无歧义片段,将无歧义片段对应的目标语言片段作为第一目标语言片段。
129.在一种可能的实现方式中,训练模块703,用于:
130.获取可翻译片段和不可翻译片段各自对应的类别标签;
131.将可翻译片段、不可翻译片段、以及各自对应的类别标签作为训练样本集,训练分类模型。
132.图9为本公开一实施例中翻译装置的示意图。如图9所示,翻译装置包括:
133.获取模块901,用于获取待翻译源语言片段;
134.翻译模块902,用于将待翻译源语言片段输入分类模型,在分类模型的分类结果为可翻译的情况下,翻译待翻译源语言片段;
135.其中,分类模型是根据本公开实施例中任一项的方法训练得到的。
136.在一种可能的实现方式中,翻译模块902,还用于:
137.在分类模型的分类结果为不可翻译的情况下,获取新的源语言片段,将待翻译源语言片段和新的源语言片段进行拼接,得到当前的待翻译源语言片段并输入分类模型;
138.在当前的分类结果为可翻译的情况下,则对当前的待翻译源语言片段进行翻译;
139.在当前的分类结果为不可翻译的情况下,则持续获取新的源语言片段并与上一次的待翻译源语言片段进行拼接后输入分类模型,直到当前的分类结果为可翻译,对当前的待翻译源语言片段进行翻译。
140.本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述方法实施例中的对应描述,在此不再赘述。
141.本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
142.根据本公开的另一方面,提供了一种电子设备,包括:
143.至少一个处理器;以及
144.与该至少一个处理器通信连接的存储器;其中,
145.该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任一实施例中的方法。
146.根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行本公开任一实施例中的方法。
147.根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开任一实施例中的方法。
148.图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
149.如图10所示,设备1000包括计算单元1001,其可以根据存储在只读存储器(rom)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(ram)1003中的计算机程序,来执行各种适当的动作和处理。在ram 1003中,还可存储设备1000操作所需的各种程序和数据。计算单元1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
150.设备1000中的多个部件连接至i/o接口1005,包括:输入单元1006,例如键盘、鼠标等;输出单元1007,例如各种类型的显示器、扬声器等;存储单元1008,例如磁盘、光盘等;以及通信单元1009,例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
151.计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理,例如分类模型训练方法、翻译方法。例如,在一些实施例中,分类模型训练方法、翻译方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1008。在一些实施例中,计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到ram 1003并由计算单元1001执行时,可以执行上文描述的分类模型训练方法、翻译方法的一个或多个步骤。备选地,在其他实施例中,计算单元1001可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行分类模型训练方法、翻译方法。
152.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
153.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
154.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
155.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
156.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
157.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
158.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
159.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献