意图分类模型的评估方法和装置、设备、介质与流程

技术特征：
1.一种意图分类模型的评估方法，其特征在于，所述方法包括：获取原始语料，所述原始语料包括至少两个原始语句；对至少两个所述原始语句进行过滤处理，得到有效语句；根据预设的语法规则对所述有效语句进行扩充处理，得到语句组；其中，每一所述有效语句被扩充为包括至少两个初步语句的语句组，同一所述语句组的初步语句具有相同的参考意图类别；根据所述初步语句构建测试语料集；将所述测试语料集输入至预设的意图分类模型进行意图预测处理，得到预测意图类别；根据所述参考意图类别和所述预测意图类别计算评估值；其中，所述评估值用于表征所述意图分类模型的性能。2.根据权利要求1所述的方法，其特征在于，所述对至少两个所述原始语句进行过滤处理，得到有效语句，包括以下步骤之一：根据预设的关键特征对每个所述原始语句进行筛选处理，得到所述有效语句；所述关键特征包括以下特征的至少一种：对话场景特征、对话主题特征、客户情绪特征；或，根据预设的关键字对每个所述原始语句进行筛选处理，得到所述有效语句。3.根据权利要求1所述的方法，其特征在于，所述对至少两个所述原始语句进行过滤处理，得到有效语句，包括：获取所述原始语句的语句内容和属性信息；根据所述语句内容和所述属性信息检测所述原始语句的无效信息；将所述无效信息过滤，得到所述有效语句。4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据预设的语法规则对所述有效语句进行扩充处理，得到语句组，包括：对所述有效语句进行主体成分识别，得到至少两个主体成分；其中，每一所述主体成分包括谓语成分，每一所述主体成分还包括以下成分至少之一：主语成分、宾语成分；对每一所述主体成分进行扩充处理，得到初步语句；其中，所述扩充处理至少包括以下之一：成分顺序调整处理、成分删减处理、成分复制处理；根据所述初步语句得到所述语句组。5.根据权利要求4所述的方法，其特征在于，对每一所述主体成分进行扩充处理，得到初步语句，包括：对所述宾语成分进行语义解析处理，得到所述宾语成分的词类别；所述词类别包括非否定词；对包括所述非否定词的所述宾语成分进行删减处理，得到所述初步语句。6.根据权利要求1至3任一项所述的方法，其特征在于，所述根据预设的语法规则对所述有效语句进行扩充处理，得到语句组，包括：对所述有效语句进行主体成分识别，得到至少两个主体成分；其中，每一所述主体成分包括谓语成分，每一所述主体成分还包括以下成分至少之一：主语成分、宾语成分；对所述有效语句的每一所述主体成分进行成分顺序调整处理，得到第一扩充语句；
对所述第一扩充语句进行主体成分识别，得到至少两个所述主体成分；对所述第一扩充语句的每一所述主体成分进行成分删减处理，得到第二扩充语句；对所述第二扩充语句进行主体成分识别，得到至少两个所述主体成分；对所述第一扩充语句的每一所述主体成分进行成分复制处理，和/或对所述第二扩充语句的每一所述主体成分进行成分复制处理，得到第三扩充语句；将所述第一扩充语句、所述第二扩充语句和所述第三扩充语句进行合并处理，得到所述语句组。7.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述初步语句构建测试语料集，包括：获取历史样本总数，并根据所述参考意图类别获取历史正样本数量；其中，所述历史样本总数是所有初步语句的数量，所述历史正样本数量是包括所述参考意图类别的初步语句的数量；计算所述历史正样本数量与所述历史样本总数之间的比值，得到分布占比值；根据所述分布占比值、预设的分类权重和预设的总测试语句数量计算语句数量阈值；其中，所述分类权重为归一化因子，用于表征所述参考意图类别对应的重要程度；将目标语句数量的初步语句添加至所述测试语料集；其中，所述目标语句数量小于所述语句数量阈值。8.一种意图分类模型的评估装置，其特征在于，所述装置包括：获取模块，用于获取原始语料，所述原始语料包括至少两个原始语句；过滤模块，用于对至少两个所述原始语句进行过滤处理，得到有效语句；扩充模块，用于根据预设的语法规则对所述有效语句进行扩充处理，得到语句组；其中，每一所述有效语句被扩充为包括至少两个初步语句的语句组，同一所述语句组的初步语句具有相同的参考意图类别；测试语料集生成模块，用于根据所述初步语句构建测试语料集；预测模块，用于将所述测试语料集输入至预设的意图分类模型进行意图预测处理，得到预测意图类别；评估模块，用于根据所述参考意图类别和所述预测意图类别计算评估值；其中，所述评估值用于表征所述意图分类模型的性能。9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7任一项所述的方法的步骤。10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请实施例提供了一种意图分类模型的评估方法和装置、设备、存储介质，属于意图识别技术领域。该方法包括：获取原始语料，原始语料包括至少两个原始语句；对至少两个原始语句进行过滤处理，得到有效语句；根据预设的语法规则对有效语句进行扩充处理，得到语句组；其中，每一有效语句被扩充为包括至少两个初步语句的语句组，同一语句组的初步语句具有相同的参考意图类别；根据初步语句构建测试语料集；将测试语料集输入至预设的意图分类模型进行意图预测处理，得到预测意图类别；根据参考意图类别和预测意图类别计算评估值；其中，评估值用于表征意图分类模型的性能。本申请实施例能够提高对意图分类模型的评估准确率。够提高对意图分类模型的评估准确率。够提高对意图分类模型的评估准确率。


技术研发人员：田晓姣
受保护的技术使用者：中国平安人寿保险股份有限公司
技术研发日：2022.06.17
技术公布日：2022/9/13