音频特征检测技术的制作方法

技术特征：
1.一种训练用于音频特征检测模型的用户特定扰动生成器的计算机实施的方法，所述计算机实施的方法包括：接收用户的一个或多个肯定音频样本，所述一个或多个肯定音频样本中的每一者都包括音频特征；接收所述用户的一个或多个否定音频样本，所述一个或多个否定音频样本中的每一者与所述一个或多个肯定音频样本中的至少一者共享声学相似性；以及对抗性地训练用户特定扰动生成器模型以生成用户特定扰动，所述训练是基于所述一个或多个肯定音频样本和所述一个或多个否定音频样本，其中利用所述用户特定扰动来扰动所述用户的音频样本致使音频特征检测模型辨识包括所述音频特征的所述用户的音频样本中的所述音频特征，并且制止辨识不包括所述音频特征的所述用户的音频样本中的所述音频特征。2.如权利要求1所述的计算机实施的方法，所述计算机实施的方法还包括：从所存储的一组一个或多个否定音频样本中选择与所述一个或多个肯定音频样本中的至少一者共享声学相似性的所述一个或多个否定音频样本中的每一者。3.如权利要求1所述的计算机实施的方法，其中对抗性地训练所述用户特定扰动生成器模型还包括：利用所述用户特定扰动来扰动所述一个或多个肯定音频样本中的第一肯定音频样本以生成所述一个或多个肯定音频样本的被扰动的肯定音频样本，以及调整所述用户特定扰动生成器模型以生成音频样本扰动，所述音频样本扰动增加在包括所述音频特征的预定音频样本与所述一个或多个肯定音频样本的被扰动的肯定音频样本之间的声学相似性。4.如权利要求1所述的计算机实施的方法，其中对抗性地训练所述用户特定扰动生成器模型还包括：利用所述用户特定扰动来扰动所述一个或多个肯定音频样本中的第一肯定音频样本以生成被扰动的肯定音频样本，利用所述用户特定扰动来扰动所述一个或多个否定音频样本中的第一否定音频样本以生成被扰动的否定音频样本，以及调整所述用户特定扰动生成器模型以生成音频样本扰动，所述音频样本扰动减小所述被扰动的肯定音频样本与所述被扰动的否定音频样本之间的声学相似性。5.如权利要求1所述的计算机实施的方法，其中对抗性地训练所述用户特定扰动生成器模型还包括：利用所述用户特定扰动来扰动音频特征检测模型内的所述一个或多个肯定音频样本中的第一肯定音频样本的内部表示，以生成所述第一肯定音频样本的被扰动的内部表示，以及调整所述用户特定扰动生成器模型以生成内部表示扰动，所述内部表示扰动增加包括所述音频特征的预定音频样本的内部表示与所述第一肯定音频样本的所述被扰动的内部表示之间的相似性。6.如权利要求1所述的计算机实施的方法，其中对抗性地训练所述用户特定扰动生成器模型还包括：
利用所述用户特定扰动来扰动音频特征检测模型内的所述一个或多个肯定音频样本中的第一肯定音频样本的内部表示，以生成所述第一肯定音频样本的被扰动的内部表示，利用所述用户特定扰动来扰动所述音频特征检测模型内的所述一个或多个否定音频样本中的第一否定音频样本的内部表示，以生成所述第一否定音频样本的被扰动的内部表示，以及调整所述用户特定扰动生成器模型以生成内部表示扰动，所述内部表示扰动减小所述第一肯定音频样本的所述被扰动的内部表示与所述第一否定音频样本的所述被扰动的内部表示之间的相似性。7.如权利要求1所述的计算机实施的方法，其中所述用户特定扰动是音频样本扰动，将利用所述音频样本扰动来扰动所述用户的音频样本以生成所述用户的被扰动的音频样本。8.如权利要求1所述的计算机实施的方法，所述计算机实施的方法还包括：通过所述用户特定扰动生成器模型生成所述用户特定扰动作为音频样本扰动；以及将所述音频样本扰动发送到音频特征检测模型，其中通过所述音频特征检测模型对基于被所述音频样本扰动所扰动的所述用户的音频样本的被扰动的音频样本进行分类，以确定所述音频样本是否包括所述音频特征。9.如权利要求1所述的计算机实施的方法，所述计算机实施的方法还包括：利用所述用户特定扰动来扰动所述用户的音频样本以生成被扰动的音频样本；以及将所述被扰动的音频样本发送到音频特征检测模型，其中通过所述音频特征检测模型对所述被扰动的音频样本进行分类，以确定所述音频样本是否包括所述音频特征。10.如权利要求1所述的计算机实施的方法，其中所述用户特定扰动是内部表示扰动，将利用所述内部表示扰动来扰动音频特征检测模型内的所述用户的音频样本的内部表示，以生成所述用户的所述音频样本的被扰动的内部表示。11.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时致使所述处理器执行以下步骤：接收用户的一个或多个肯定音频样本，所述一个或多个肯定音频样本中的每一者都包括音频特征；接收所述用户的一个或多个否定音频样本，所述一个或多个否定音频样本中的每一者与所述一个或多个肯定音频样本中的至少一者共享声学相似性；以及对抗性地训练用户特定扰动生成器模型以生成用户特定扰动，所述训练是基于所述一个或多个肯定音频样本和所述一个或多个否定音频样本，其中利用所述用户特定扰动来扰动所述用户的音频样本致使音频特征检测模型辨识包括所述音频特征的所述用户的音频样本中的所述音频特征，并且制止辨识不包括所述音频特征的所述用户的音频样本中的所述音频特征。12.如权利要求11所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括：基于从所述用户接收的所述一个或多个肯定音频样本而选择所述一个或多个否定音频样本中的每一者。13.如权利要求11所述的非暂时性计算机可读介质，其中所述一个或多个否定音频样本中的每一者是基于以下各项中的一者或多者而与所述一个或多个肯定音频样本中的至少一者共享声学相似性的所述用户的口头表达，
所述用户的口音，所述用户的方言，或所述用户的说话方式。14.如权利要求11所述的非暂时性计算机可读介质，其中接收所述用户的所述一个或多个否定音频样本还包括：请求所述用户提供所述一个或多个否定音频样本。15.如权利要求11所述的非暂时性计算机可读介质，其中所述用户特定扰动是音频样本扰动，将利用所述音频样本扰动来扰动所述用户的音频样本以生成所述用户的被扰动的音频样本。16.如权利要求11所述的非暂时性计算机可读介质，其中所述用户特定扰动是内部表示扰动，将利用所述内部表示扰动来扰动所述音频特征检测模型内的所述用户的音频样本的内部表示，以生成所述用户的所述音频样本的被扰动的内部表示。17.如权利要求11所述的非暂时性计算机可读介质，其中所述声学相似性是以下各项中的至少一者，所述一个或多个肯定音频样本中的第一肯定音频样本的频谱与所述一个或多个否定音频样本中的第一否定音频样本的频谱之间的频谱差异，所述频谱差异在频谱差异阈值内，或所述一个或多个肯定音频样本中的第一肯定音频样本的音素序列与所述一个或多个否定音频样本中的第一否定音频样本的音素序列之间的音素序列差异，所述音素序列差异在音素序列差异阈值内。18.一种确定用户与装置之间的交互的系统，所述系统包括：存储器，所述存储器存储指令，以及一个或多个处理器，所述一个或多个处理器执行所述指令以执行多个步骤，所述步骤包括：从用户接收音频样本；接收与所述用户相关联的用户特定扰动；以及基于所述音频样本和所述用户特定扰动而确定所述音频样本是否包括音频特征。19.如权利要求18所述的系统，其中：所述用户特定扰动是音频样本扰动；并且确定所述音频样本是否包括所述音频特征包括：利用所述音频样本扰动来扰动所述音频样本以生成被扰动的音频样本；以及经由音频特征检测模型对所述被扰动的音频样本进行分类。20.如权利要求18所述的系统，其中：所述用户特定扰动是内部表示扰动；并且确定所述音频样本是否包括所述音频特征包括：经由音频特征检测模型处理所述音频样本以生成所述音频样本的内部表示；利用所述内部表示扰动来扰动所述内部表示以生成被扰动的内部表示；以及经由所述音频特征检测模型对所述被扰动的内部表示进行分类。

技术总结
训练用于音频特征检测模型的用户特定扰动生成器包括：接收用户的一个或多个肯定音频样本，所述一个或多个肯定音频样本中的每一者都包括音频特征；接收所述用户的一个或多个否定音频样本，所述一个或多个否定音频样本中的每一者与所述一个或多个肯定音频样本中的至少一者共享声学相似性；以及对抗性地训练用户特定扰动生成器模型以生成用户特定扰动，所述训练是基于所述一个或多个肯定音频样本和所述一个或多个否定音频样本。利用所述用户特定扰动来扰动所述用户的音频样本可致使音频特征检测模型辨识包括所述音频特征的音频样本中的所述音频特征，和/或制止辨识不包括所述音频特征的音频样本中的所述音频特征。音频特征的音频样本中的所述音频特征。音频特征的音频样本中的所述音频特征。


技术研发人员：H.穆拉利达拉 G.乔斯 J.米斯特里 R.K.萨胡 S.克鲁西文蒂苏布拉曼耶斯瓦拉萨伊
受保护的技术使用者：哈曼国际工业有限公司
技术研发日：2022.07.12
技术公布日：2023/2/6