用于基于连接机制时间分类的自动语音识别的软遗忘的制作方法

技术特征：
1.一种计算机实现的方法，包括：由一个或多个计算机处理器利用一个或多个训练批来训练第一模型，其中所述一个或多个训练批中的每个训练批包括一个或多个信息块；响应于所述第一模型的训练的完成，由一个或多个计算机处理器利用所述一个或多个训练批来发起第二模型的训练；由一个或多个计算机处理器对用于所述第二模型的所述一个或多个训练批中的每一个训练批的每个信息块的随机块大小进行抖动；由一个或多个计算机处理器在一个或多个非重叠的连续抖动信息块上展开所述第二模型；以及响应于所述第二模型的展开，由一个或多个计算机处理器通过应用双子正则化来减少所述第二模型的过度拟合。2.根据权利要求1所述的方法，其中，所述第一模型是全话语双向长短期记忆网络。3.根据权利要求1所述的方法，其中，所述第二模型是基于块的双向长短期记忆网络。4.根据权利要求1所述的方法，其中，从连接机制时间分类损失计算所述一个或多个非重叠的连续抖动信息块。5.根据权利要求1所述的方法，其中，所述信息块是声学序列。6.根据权利要求1所述的方法，其中，所述训练批包括一个或多个声学序列，其中，每个声学序列具有相关联的文本标记。7.根据权利要求1所述的方法，进一步包括：响应于第二模型的训练的完成，由一个或多个计算机处理器布置第一模型；以及响应于第二模型的训练的完成，由一个或多个计算机处理器将所述第二模型布置到一个或多个生产环境。8.根据权利要求1所述的方法，其中，双子正则化包括所述第二模型的损失值和连接机制时间分类损失，其中，损失值是所述第一模型和所述第二模型与所述第一模型的隐藏状态之间的均方误差。9.一种计算机程序产品，包括：一个或多个计算机可读存储介质和存储在所述一个或多个计算机可读存储介质上的程序指令，所存储的程序指令包括：用于利用一个或多个训练批来训练第一模型的程序指令，其中所述一个或多个训练批中的每个训练批包括一个或多个信息块；用于响应于所述第一模型的所述训练的完成，利用所述一个或多个训练批发起第二模型的训练的程序指令；用于对用于所述第二模型的所述一个或多个训练批中的每一个训练批的每个信息块的随机块大小进行抖动的程序指令；用于在一个或多个非重叠的连续抖动信息块上展开所述第二模型的程序指令；以及用于响应于所述第二模型的展开通过应用双子正则化来减少所述第二模型的过度拟合的程序指令。10.根据权利要求9所述的计算机程序产品，其中，所述第一模型是全话语双向长短期记忆网络。
11.根据权利要求9所述的计算机程序产品，其中，所述第二模型是基于块的双向长短期记忆网络。12.根据权利要求9所述的计算机程序产品，其中，从连接机制时间分类损失计算所述一个或多个非重叠的连续抖动信息块。13.根据权利要求9所述的计算机程序产品，其中，存储在所述一个或多个计算机可读存储介质上的所述程序指令包括：用于响应于第二模型的训练的完成，由一个或多个计算机处理器布置第一模型的程序指令；以及用于响应于第二模型的训练的完成，由一个或多个计算机处理器将所述第二模型布置到一个或多个生产环境的程序指令。14.根据权利要求9所述的计算机程序产品，其中，双子正则化包括所述第二模型的损失值和连接机制时间分类损失，其中，所述损失值是所述第一模型和所述第二模型与所述第一模型的隐藏状态之间的均方误差。15.一种计算机系统，包括：一个或多个计算机处理器；一个或多个计算机可读存储介质；以及存储在计算机可读存储介质上以供所述一个或多个处理器中的至少一个执行的程序指令，所存储的程序指令包括：用于利用一个或多个训练批来训练第一模型的程序指令，其中所述一个或多个训练批中的每个训练批包括一个或多个信息块；用于响应于所述第一模型的所述训练的完成，利用所述一个或多个训练批发起第二模型的训练的程序指令；用于对用于所述第二模型的所述一个或多个训练批中的每一个训练批的每个信息块的随机块大小进行抖动的程序指令；用于在一个或多个非重叠的连续抖动信息块上展开所述第二模型的程序指令；以及用于响应于所述第二模型的展开通过应用双子正则化来减少所述第二模型的过度拟合的程序指令。16.根据权利要求15所述的计算机系统，其中，所述第一模型是全话语双向长短期记忆网络。17.根据权利要求15所述的计算机系统，其中，所述第二模型是基于块的双向长短期记忆网络。18.根据权利要求15所述的计算机系统，其中，从连接机制时间分类损失计算所述一个或多个非重叠的连续抖动信息块。19.根据权利要求15所述的方法，其中，所述信息块是声学序列。20.根据权利要求15所述的方法，其中，所述训练批包括一个或多个声学序列，其中，每个声学序列具有相关联的文本标记。21.根据权利要求15所述的计算机系统，其中，存储在所述一个或多个计算机可读存储介质上的所述程序指令包括：用于响应于第二模型的训练的完成，由一个或多个计算机处理器布置第一模型的程序
指令；以及用于响应于第二模型的训练的完成，由一个或多个计算机处理器将所述第二模型布置到一个或多个生产环境的程序指令。22.根据权利要求15所述的计算机系统，其中，双子正则化包括所述第二模型的损失值和连接机制时间分类损失，其中，所述损失值是所述第一模型和所述第二模型与所述第一模型的隐藏状态之间的均方误差。23.一种计算机程序，包括程序代码手段，当所述程序在计算机上运行时，所述程序代码手段适于执行根据权利要求1至14中任一项所述的方法。

技术总结
在软遗忘训练的方法中，一个或多个计算机处理器利用一个或多个训练批来训练第一模型，其中一个或多个训练批中的每个训练批包括一个或多个信息块。一个或多个计算机处理器响应于完成第一模型的训练，利用一个或多个训练批来发起对第二模型的训练。一个或多个计算机处理器抖动用于第二模型的一个或多个训练批中的每一个的每个信息块的随机块大小。一个或多个计算机处理器在一个或多个非重叠的连续抖动信息块上展开第二模型。响应于第二模型的展开，一个或多个计算机处理器通过应用双子正则化来减少用于第二模型的过度拟合。化来减少用于第二模型的过度拟合。化来减少用于第二模型的过度拟合。


技术研发人员：K
受保护的技术使用者：国际商业机器公司
技术研发日：2020.08.17
技术公布日：2022/5/6