语言模型训练方法及装置和词组推荐方法及装置与流程

技术特征：
1.一种语言模型训练方法，其特征在于，所述方法包括：获取历史输入语句，其中，所述历史输入语句携带场景属性信息，且所述历史输入语句中的两个字词之间存在关联标签；将所述历史输入语句中的样本字词输入神经网络模型，得到第一预测结果；基于所述场景属性信息对应的权重，对所述第一预测结果进行加权运算，得到加权结果；根据所述加权结果与标签信息之间的差异，调整所述神经网络模型的模型参数和所述权重，并返回执行所述将所述历史输入语句中的样本字词输入神经网络模型，得到第一预测结果的步骤，其中，所述标签信息为所述历史输入语句中与所述样本字词存在关联标签的字词的信息；在达到训练停止条件时，获得完成训练的语言模型。2.根据权利要求1所述的方法，其特征在于，在所述将所述历史输入语句中的样本字词输入神经网络模型，得到第一预测结果之前，所述方法还包括：从公共语料库中获取多个公共字词；利用所述多个公共字词，对初始神经网络模型进行训练，得到所述神经网络模型，其中，针对每个公共字词，所述初始神经网络模型的输出为该公共字词的关联字词预测结果。3.根据权利要求2所述的方法，其特征在于，所述利用所述多个公共字词，对初始神经网络模型进行训练，得到所述神经网络模型，包括：针对各公共字词，获取该公共字词中每个字的拼音；利用所述每个字及所述每个字的拼音，对初始神经网络模型进行训练，得到所述神经网络模型。4.根据权利要求2或3所述的方法，其特征在于，所述利用所述多个公共字词，对初始神经网络模型进行训练，得到所述神经网络模型，包括：获取当前待处理的公共字词；将所述当前待处理的公共字词输入初始神经网络模型，得到第二预测结果；将所述第二预测结果和当前的初始神经网络模型的模型参数输入预设似然函数，得到模型参数的似然值；若所述模型参数的似然值未达到所述预设似然函数的最大值，则调整所述当前的初始神经网络模型的模型参数，将下一个待处理的公共字词作为当前待处理的公共字词，并返回执行所述将所述当前待处理的公共字词输入初始神经网络模型，得到第二预测结果的步骤；若所述似然值达到所述预设似然函数的最大值，则确定当前的初始神经网络模型为所述神经网络模型。5.根据权利要求1至3任一项所述的方法，其特征在于，所述场景属性信息，包括以下信息中的至少一种：所述历史输入语句输入时的时间点、地理位置、展示所述历史输入语句的历史应用程序的类型、以及所述历史输入语句对应有历史通信对象时所述历史通信对象与用户的关系信息。6.一种词组推荐方法，其特征在于，所述方法包括：
在接收到用户输入的当前字词时，获取当前的场景属性信息；基于所述当前字词和所述当前的场景属性信息，利用预先训练得到的语言模型，获得所述当前字词的关联字词，其中，所述语言模型采用上述权利要求1至5任一项所述的语言模型训练方法得到；基于所述当前字词和所述关联字词，推荐关联词组。7.根据权利要求6所述的方法，其特征在于，所述基于所述当前字词和所述当前的场景属性信息，利用预先训练得到的语言模型，获得所述当前字词的关联字词，包括：将所述当前字词和所述当前的场景属性信息输入所述语言模型，获得所述当前字词的多个候选关联字词、以及每个候选关联字词的权重，其中，任一候选关联字词的权重与所述当前的场景属性信息对应；针对每个候选关联字词，利用该候选关联字词的权重对该候选关联字词进行加权；根据加权结果，从所述多个候选关联字词中确定所述当前字词的关联字词。8.根据权利要求7所述的方法，其特征在于，所述根据加权结果，从所述多个候选关联字词中确定所述当前字词的关联字词，包括：按照加权结果从大到小的顺序，从所述多个候选关联字词中选取指定数量个字词，作为所述当前字词的关联字词；所述基于所述当前字词和所述关联字词，推荐关联词组，包括：针对每个关联字词，在所述当前字词的下一位置排列该关联字词，得到关联词组；推荐所述关联词组。9.根据权利要求6至8任一项所述的方法，其特征在于，所述基于所述当前字词和所述当前的场景属性信息，利用预先训练得到的语言模型，获得所述当前字词的关联字词，包括：基于所述当前字词的拼音和所述当前的场景属性信息，利用预先训练得到的语言模型，获得与所述当前字词的拼音关联的关联字词。10.根据权利要求6至8任一项所述的方法，其特征在于，所述当前的场景属性信息，包括以下信息中的至少一种：输入所述当前字词时的时间点、地理位置、展示所述当前字词的应用程序的类型、以及所述当前字词对应有当前通信对象时所述当前通信对象与用户的关系信息。11.一种语言模型训练装置，其特征在于，所述装置包括：历史输入获取模块，被配置为获取历史输入语句，其中，所述历史输入语句携带场景属性信息，且所述历史输入语句中的两个字词之间存在关联标签；预测模块，被配置为将所述历史输入语句中的样本字词输入神经网络模型，得到第一预测结果；场景加权模块，被配置为基于所述场景属性信息对应的权重，对所述第一预测结果进行加权运算，得到加权结果；循环模块，被配置为根据所述加权结果与标签信息之间的差异，调整所述神经网络模型的模型参数和所述权重，并返回执行所述将所述历史输入语句中的样本字词输入神经网络模型，得到第一预测结果的步骤，其中，所述标签信息为所述历史输入语句中与所述样本字词存在关联标签的字词的信息；
模型确定模块，被配置为在达到训练停止条件时，获得完成训练的语言模型。12.根据权利要求11所述的装置，其特征在于，所述装置还包括：预训练模块，被配置为：从公共语料库中获取多个公共字词；利用所述多个公共字词，对初始神经网络模型进行训练，得到所述神经网络模型，其中，针对每个公共字词，所述初始神经网络模型的输出为该公共字词的关联字词预测结果。13.根据权利要求12所述的装置，其特征在于，所述预训练模块，进一步被配置为：针对各公共字词，获取该公共字词中每个字的拼音；利用所述每个字及所述每个字的拼音，对初始神经网络模型进行训练，得到所述神经网络模型。14.根据权利要求12或13所述的装置，其特征在于，所述预训练模块，进一步被配置为：获取当前待处理的公共字词；将所述当前待处理的公共字词输入初始神经网络模型，得到第二预测结果；将所述第二预测结果和当前的初始神经网络模型的模型参数输入预设似然函数，得到模型参数的似然值；若所述模型参数的似然值未达到所述预设似然函数的最大值，则调整所述当前的初始神经网络模型的模型参数，将下一个待处理的公共字词作为当前待处理的公共字词，并返回执行所述将所述当前待处理的公共字词输入初始神经网络模型，得到第二预测结果的步骤；若所述似然值达到所述预设似然函数的最大值，则确定当前的初始神经网络模型为所述神经网络模型。15.根据权利要求11至13任一项所述的装置，其特征在于，所述场景属性信息，包括以下信息中的至少一种：所述历史输入语句输入时的时间点、地理位置、展示所述历史输入语句的历史应用程序的类型、以及所述历史输入语句对应有历史通信对象时所述历史通信对象与用户的关系信息。16.一种词组推荐装置，其特征在于，所述装置包括：场景信息获取模块，被配置为在接收到用户输入的当前字词时，获取当前的场景属性信息；关联字词确定模块，被配置为基于所述当前字词和所述当前的场景属性信息，利用预先训练得到的语言模型，获得所述当前字词的关联字词，其中，所述语言模型采用上述权利要求1至5任一项所述的语言模型训练方法得到；推荐模块，被配置为基于所述当前字词和所述关联字词，推荐关联词组。17.根据权利要求16所述的装置，其特征在于，所述关联字词确定模块，进一步被配置为：将所述当前字词和所述当前的场景属性信息输入所述语言模型，获得所述当前字词的多个候选关联字词、以及每个候选关联词组的权重，其中，任一候选关联字词的权重与所述当前的场景属性信息对应；针对每个候选关联字词，利用该候选关联字词的权重对该候选关联字词进行加权；
根据加权结果，从所述多个候选关联字词中确定所述当前字词的关联字词。18.根据权利要求17所述的装置，其特征在于，所述关联字词确定模块，进一步被配置为：按照加权结果从大到小的顺序，从所述多个候选关联字词中选取指定数量个字词，作为所述当前字词的关联字词；所述推荐模块，进一步被配置为：针对每个关联字词，在所述当前字词的下一位置排列该关联字词，得到关联词组；推荐所述关联词组。19.根据权利要求16至18任一项所述的装置，其特征在于，关联字词确定模块，进一步被配置为：基于所述当前字词的拼音和所述当前的场景属性信息，利用预先训练得到的语言模型，获得与所述当前字词的拼音关联的关联字词。20.根据权利要求16至18任一项所述的装置，其特征在于，所述当前的场景属性信息，包括以下信息中的至少一种：输入所述当前字词时的时间点、地理位置、展示所述当前字词的应用程序的类型、以及所述当前字词对应有当前通信对象时所述当前通信对象与用户的关系信息。21.一种计算设备，其特征在于，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令实现权利要求1至5任意一项所述模型训练方法，或者权利要求6至10任意一项所述词组推荐方法的步骤。22.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至5任意一项所述模型训练方法，或者权利要求6至10任意一项所述词组推荐方法的步骤。

技术总结
本申请提供语言模型训练方法及装置、和词组推荐方法及装置，其中语言模型训练方法包括：获取历史输入语句，其中，历史输入语句携带场景属性信息，且历史输入语句中的两个字词之间存在关联标签；将历史输入语句中的样本字词输入神经网络模型，得到第一预测结果；基于场景属性信息对应的权重，对第一预测结果进行加权运算，得到加权结果；根据加权结果与标签信息之间的差异，调整神经网络模型的模型参数和权重，并返回执行将历史输入语句中的样本字词输入神经网络模型，得到第一预测结果的步骤；在达到训练停止条件时，获得完成训练的语言模型。本方案可以针对用户的输入习惯和输入场景，进行个性化的词组推荐。进行个性化的词组推荐。进行个性化的词组推荐。


技术研发人员：吴伟彤 李长亮 郭馨泽
受保护的技术使用者：北京金山数字娱乐科技有限公司
技术研发日：2021.08.19
技术公布日：2021/11/5