跨语言对齐模型的训练方法及装置、电子设备与流程
本技术涉及自然语言处理,特别涉及一种跨语言对齐模型的训练方法及装置、电子设备、计算机可读存储介质、计算机程序产品。
背景技术:
1、跨语言对齐是多语言大模型、机器翻译、跨语言检索、跨语言问答与多语种知识迁移中的基础能力。其核心目标不是简单地把一种语言翻译成另一种语言,而是在不同语言之间建立稳定、可复用的语义对应关系,使同一语义内容在不同语言表示下尽可能落入一致或可比较的表示空间。
2、现有多语言大模型的训练通常同时依赖多种数据源,包括人工平行语料、机器翻译伪平行语料、网页挖掘句对以及单语语料的回译数据。但在实际的工业应用中,不同语言的数据规模、分布、书写系统、句法结构、词形变化和文化表达方式差异较大。这些客观差异导致了训练样本质量极不均衡、噪声样本比例偏高、低资源语言样本严重不足等一系列难题。在这样的背景下,若直接将全部收集到的样本混合进行模型训练,模型非常容易过早偏向高资源语言和容易对齐的简单样本,从而造成跨语言对齐效果极不稳定。
3、针对上述多语言训练数据的问题,目前业界最接近的现有技术主要有以下几种策略:
4、静态阈值过滤法:一种常见的现有技术是对收集到的平行语料进行静态阈值过滤,然后将所有通过该固定阈值的句对直接混合,用于训练语言表示模型或翻译模型。
5、固定采样比例法:另一类现有技术是通过机器翻译构建伪平行语料后,按照事先设定好的固定采样比例进行多语混合训练。
6、基础课程学习法:还有一些方法采用了通用的课程学习(curriculum learning)思想。但其课程顺序的编排通常仅仅依据简单的句长、词频或人工规则,且未与跨语言句对置信度、复杂样本难度以及训练过程中的模型实时反馈进行联动。
7、上述现有技术在面对大规模、高噪声的多语种语料时,存在以下显著缺点:
8、1. 早期训练空间易受污染:由于现有技术仅采用单次静态阈值筛选,候选句对中潜藏的语义偏移、术语错配、翻译腔、语言识别错误和网页噪声极其容易混入训练集中,并在训练的初期阶段对模型的表示空间造成严重的污染。
9、2. 长尾与困难样本持续被低估:由于不同语言、不同领域和不同来源的数据质量存在巨大差异,固定采样比例的策略会导致高资源语言和高置信度样本长期占据主导优势;而低资源语言、跨脚本样本、长句样本以及代码切换样本的作用则被持续低估和边缘化。
10、3. 模型易陷入收敛不稳定与过拟合:由于现有的训练顺序缺乏由易到难的科学递进机制,导致模型在尚未形成稳定跨语言语义锚点的时候,就被大量高难度样本和噪声样本强烈干扰。这极易导致模型出现收敛不稳定、梯度震荡或过拟合到表层翻译模式的严重问题。
11、4. 缺乏反馈与纠错机制:由于现有技术严重缺少在训练过程中的动态重评分机制和层级调整手段,样本的质量变化、模型跨语言能力的提升以及不同语言间学习进度的客观差异,都无法被及时有效地反馈到后续的训练调度策略中。
技术实现思路
1、本技术提供了一种跨语言对齐模型的训练方法及装置、电子设备,用以提高训练的跨语言对齐模型的精度、稳定性和鲁棒性。
2、第一方面,本技术实施例提供了一种跨语言对齐模型的训练方法,包括:
3、获取包含多个句对的语料集;
4、对每个句对进行质量评估和难度评估,根据评估结果将所述语料集划分为至少包括高质量样本层和高难度样本层的多个层级;
5、设置多个训练阶段,各阶段按照预设策略从所述多个层级中抽取样本进行对齐模型的训练,所述预设策略使得在训练过程中高质量样本的引入比例逐步降低且高难度样本的引入比例逐步提高;
6、在每个阶段训练结束后,基于当前对齐模型对语料集中的部分样本进行重评估,并根据重评估结果更新样本层级以用于后续阶段训练,直至满足预设终止条件。
7、在一实施例中,所述评估结果包括综合置信度,所述质量评估包括:
8、基于所述句对的语义相似度、来源可靠度、长度匹配度和术语一致性中的至少一项计算所述句对的基础置信度;
9、当所述基础置信度处于模糊边界区间内时,计算所述句对的结构一致性分值和/或循环一致性分值;根据所述基础置信度,结构一致性分值和/或循环一致性分值,确定所述句对的综合置信度;
10、当所述基础置信度不处于模糊边界区间内时,将所述基础置信度作为所述综合置信度。
11、在一实施例中,所述评估结果包括静态难度分值,所述难度评估包括:基于所述句对的长度特征、词形变化特征、语序差异特征和代码混合特征中的至少一项计算所述句对的静态难度分值。
12、在一实施例中,所述多个层级还包括中等样本层和噪声层,所述噪声层中的样本不参与训练。
13、在一实施例中,所述按照预设策略从所述多个层级中抽取样本,包括:
14、按照预设混合比例从各层级中采样,随着阶段推进,调整所述预设混合比例。
15、在一实施例中,所述按照预设策略从所述多个层级中抽取样本,包括:
16、在每个层级内按照所述层级内语言对的样本量,确定该层级内所述语言对的采样概率。
17、在一实施例中,所述训练采用加权损失函数,其中样本的权重与所述样本的置信度及当前阶段序号相关联。
18、在一实施例中,所述基于当前对齐模型对语料集中的部分样本进行重评估,包括:
19、利用当前对齐模型的指数滑动平均副本,重新计算所述语料集中部分样本的语义一致性和对齐损失移动平均值;
20、根据重新计算的语义一致性和对齐损失移动平均值,确定所述语料集中部分样本的动态置信度和动态难度分值;
21、根据所述语料集中部分样本的动态置信度和动态难度分值,更新样本层级。
22、在一实施例中,所述根据重评估结果更新样本层级,包括:
23、根据进入阈值和退出阈值,当样本在连续多个评估周期满足迁移条件后调整所述样本所在层级。
24、第二方面,本技术实施例还提供了一种跨语言对齐模型的训练装置,包括:
25、语料获取模块,用于获取包含多个句对的语料集;
26、层级划分模块,用于对每个句对进行质量评估和难度评估,根据评估结果将所述语料集划分为至少包括高质量样本层和高难度样本层的多个层级;
27、模型训练阶段,用于设置多个训练阶段,各阶段按照预设策略从所述多个层级中抽取样本进行对齐模型的训练,所述预设策略使得在训练过程中高质量样本的引入比例逐步降低且高难度样本的引入比例逐步提高;
28、反馈更新模块,用于在每个阶段训练结束后,基于当前对齐模型对语料集中的部分样本进行重评估,并根据重评估结果更新样本层级以用于后续阶段训练,直至满足预设终止条件。
29、第三方面,本技术实施例还提供了一种电子设备,包括:
30、存储器,用于存储计算机可执行指令;
31、处理器,用于执行所述存储器中存储的计算机可执行指令时,实现上述跨语言对齐模型的训练方法。
32、第四方面,本技术实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令被处理器执行时,实现上述跨语言对齐模型的训练方法。
33、第五方面,本技术实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机可执行指令,所述计算机可执行指令存储在计算机可读存储介质中;
34、其中,电子设备的处理器从所述计算机可读存储介质中读取所述计算机可执行指令,并执行所述计算机可执行指令时,实现上述跨语言对齐模型的训练方法。
35、本技术提供的技术方案,通过对句对进行质量评估和难度评估,根据质量评估和难度评估结果,对语料集进行质量和难度的分层,设置多个训练阶段,在训练过程中高质量样本的引入比例逐步降低且高难度样本的引入比例逐步提高,在每个训练阶段结束后,进行重新评估和分层,以用于后续阶段训练,直到结束,由此,在模型训练的早期阶段可以减少低质量样本的引入,提高初始对齐过程的稳定性,降低训练早期的梯度波动和表示退化风险,减少明显噪声样本的无效计算,在每个阶段训练结束后,进行重新评估和样本分层,可将模型能力变化及语言资源差异反馈到后续训练调度中,提高模型的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com