货运语料聚类方法、装置、设备及计算机可读存储介质与流程

技术特征：
1.一种货运语料聚类方法，其特征在于，包括：提供预训练模型；通过货运语料库对所述预训练模型微调训练，得到货运语料模型；采用所述货运语料模型对待处理文本进行句子嵌入，得到动态语义向量，所述待处理文本为货运场景文本；以及对所述动态语义向量进行层次聚类，得到聚类结果。2.如权利要求1所述的货运语料聚类方法，其特征在于，所述提供预训练模型包括：构建句子转化器框架；在所述句子转化器框架下加载预训练模型，所述预训练模型为中文预训练模型。3.如权利要求1所述的货运语料聚类方法，其特征在于，所述预训练模型为bert-wwm模型或bert-wwm-ext模型。4.如权利要求1所述的货运语料聚类方法，其特征在于，所述对所述动态语义向量进行层次聚类包括：通过凝聚层次聚类模型对所述动态语义向量进行层次聚类。5.如权利要求1所述的货运语料聚类方法，其特征在于，还包括：对所述聚类结果进行意图标注。6.如权利要求5所述的货运语料聚类方法，其特征在于，所述对所述聚类结果进行意图标注包括：将所述聚类结果进行层次可视化处理，使得所述聚类结果显现多个语义层次；在所述多个语义层次中的预设语义层次上进行分类；逐层对分类中的差异类别进行去除或合并，得到处理后的所述聚类结果；对处理后的所述聚类结果进行意图标注。7.如权利要求5所述的货运语料聚类方法，其特征在于，在所述对所述聚类结果进行意图标注的步骤中，意图标注的意图标签包括：强高意向、一般高意向、一般非高意向、强非高意向、待处理非订单类语句。8.一种货运语料聚类装置，其特征在于，包括：初始模型模块，用于提供预训练模型；微调模块，用于通过货运语料库对所述预训练模型微调训练，得到货运语料模型；句子嵌入模块，用于采用所述货运语料模型对待处理文本进行句子嵌入，得到动态语义向量，所述待处理文本为货运场景文本；以及层次聚类模块，用于对所述动态语义向量进行层次聚类，得到聚类结果。9.一种货运语料聚类设备，其特征在于，所述货运语料聚类设备包括存储器和至少一个处理器，所述存储器中存储有计算机程序指令，所述至少一个处理器调用所述存储器中的所述计算机程序指令，使得所述货运语料聚类设备执行如权利要求1至7中任一项所述的货运语料聚类方法。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现如权利要求1至7中任一项所述的货运语料聚类方法。

技术总结
本发明公开一种货运语料聚类方法、装置、设备及计算机可读存储介质。货运语料聚类方法包括：提供预训练模型；通过货运语料库对预训练模型微调训练，得到货运语料模型；采用货运语料模型对待处理文本进行句子嵌入，得到动态语义向量，待处理文本为货运场景文本；以及对动态语义向量进行层次聚类，得到聚类结果。根据本发明实施例的货运语料聚类方法，货运语料模型能够计算不同场景下待处理文本的语义向量，对待处理文本进行句子嵌入，得到动态语义向量，使得货运语料聚类方法能够适应更复杂多变的货运场景。对动态语义向量进行层次聚类，能够得到聚类结果，实现对多种不同货运场景的货运领域文本进行聚类分析。货运领域文本进行聚类分析。货运领域文本进行聚类分析。


技术研发人员：闫晚丰 张治宇 蒋志强 周炜星 周吉龙
受保护的技术使用者：上海运柚科技有限公司
技术研发日：2022.10.21
技术公布日：2023/1/31