货运语料聚类方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及货运领域，特别涉及一种货运语料聚类方法、装置、设备及计算机可读存储介质。


背景技术：

2.货运语料的聚类处理在货运领域具有重要的作用。现有技术中，对货运语料的聚类处理大多使用静态的词向量模型，这种方式丢失了上下文之间的关联信息，在复杂多变的货运场景下适用性较差。


技术实现要素：

3.本发明提供一种货运语料聚类方法、装置、设备及计算机可读存储介质，聚类处理方式能够适应更复杂多变的货运场景。
4.第一方面，本发明实施例提供一种货运语料聚类方法，货运语料聚类方法包括：提供预训练模型；通过货运语料库对所述预训练模型微调训练，得到货运语料模型；采用所述货运语料模型对待处理文本进行句子嵌入，得到动态语义向量，所述待处理文本为货运场景文本；以及对所述动态语义向量进行层次聚类，得到聚类结果。
5.根据本发明第一方面的前述任一实施方式，所述提供预训练模型包括：构建句子转化器框架；在所述句子转化器框架下加载预训练模型，所述预训练模型为中文预训练模型。
6.根据本发明第一方面的前述任一实施方式，所述预训练模型为bert(转化器的双向编码器表示，bidirectional encoder representation from transformers)-wwm(全字掩码，whole word masking)模型或bert-wwm-ext模型。
7.根据本发明第一方面的前述任一实施方式，所述对所述动态语义向量进行层次聚类包括：通过凝聚层次聚类模型对所述动态语义向量进行层次聚类。
8.根据本发明第一方面的前述任一实施方式，货运语料聚类方法还包括：对所述聚类结果进行意图标注。
9.根据本发明第一方面的前述任一实施方式，述对所述聚类结果进行意图标注包括：将所述聚类结果进行层次可视化处理，使得所述聚类结果显现多个语义层次；在所述多个语义层次中的预设语义层次上进行分类；逐层对分类中的差异类别进行去除或合并，得到处理后的所述聚类结果；对处理后的所述聚类结果进行意图标注。
10.根据本发明第一方面的前述任一实施方式，在所述对所述聚类结果进行意图标注的步骤中，意图标注的意图标签包括：强高意向、一般高意向、一般非高意向、强非高意向、待处理非订单类语句。
11.第二方面，本发明实施例提供一种货运语料聚类装置，货运语料聚类装置包括：初始模型模块，用于提供预训练模型；微调模块，用于通过货运语料库对所述预训练模型微调训练，得到货运语料模型；句子嵌入模块，用于采用所述货运语料模型对待处理文本进行句
子嵌入，得到动态语义向量，所述待处理文本为货运场景文本；以及层次聚类模块，用于对所述动态语义向量进行层次聚类，得到聚类结果。
12.第三方面，本发明实施例提供一种货运语料聚类设备，所述货运语料聚类设备包括存储器和至少一个处理器，所述存储器中存储有计算机程序指令，所述至少一个处理器调用所述存储器中的所述计算机程序指令，使得所述货运语料聚类设备执行根据本发明第一方面的前述任一实施方式的货运语料聚类方法。
13.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现根据本发明第一方面的前述任一实施方式的货运语料聚类方法。
14.根据本发明实施例的货运语料聚类方法，通过货运语料库对预训练模型微调训练，得到货运语料模型，与现有技术采用静态词向量模型不同的是，该货运语料模型能够计算不同场景下待处理文本的语义向量，对待处理文本进行句子嵌入，得到动态语义向量，使得货运语料聚类方法能够适应更复杂多变的货运场景。对动态语义向量进行层次聚类，能够得到聚类结果，实现对多种不同货运场景的货运领域文本进行聚类分析。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
16.图1为本发明货运语料聚类方法一实施例的流程图；
17.图2为本发明货运语料聚类方法一实施例中对聚类结果进行意图标注步骤的流程图；
18.图3为本发明货运语料聚类装置一实施例的结构框图；
19.图4为本发明货运语料聚类设备一实施例的硬件结构示意图。
20.本发明目的的实现、功能特点及优点将结合实施例，参阅附图做进一步说明。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
23.另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现
相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
24.本发明实施例提供一种货运语料聚类方法，该货运语料聚类方法用于货运语料聚类设备。
25.图1为本发明货运语料聚类方法一实施例的流程图。货运语料聚类方法可以包括步骤s110至步骤s150。
26.在步骤s110中，提供预训练模型。
27.在一些实施例中，提供预训练模型的步骤s110可以包括：构建句子转化器(sentence-transformer)框架；在句子转化器框架下加载预训练模型，预训练模型为中文预训练模型。
28.在一些实施例中，预训练模型为bert(转化器的双向编码器表示，bidirectional encoder representation from transformers)-wwm(全字掩码，whole word masking)模型或bert-wwm-ext模型，bert-wwm-ext模型为bert-wwm模型的升级版本。
29.在步骤s120中，通过货运语料库对预训练模型微调(fine-tune)训练，得到货运语料模型。
30.在步骤s130中，采用货运语料模型对待处理文本进行句子嵌入，得到动态语义向量，待处理文本为货运场景文本。
31.在步骤s140中，对动态语义向量进行层次聚类，得到聚类结果。
32.在一些实施例中，对动态语义向量进行层次聚类的步骤s140包括：通过凝聚层次聚类(agglomerative clustering)模型对动态语义向量进行层次聚类。
33.在一些实施例中，在步骤s140之后，货运语料聚类方法还可以包括步骤s150，在步骤s150中，对聚类结果进行意图标注。
34.图2为本发明货运语料聚类方法一实施例中对聚类结果进行意图标注步骤的流程图。在一些实施例中，对聚类结果进行意图标注的步骤s150包括步骤s151至步骤s154。
35.在步骤s151中，将聚类结果进行层次可视化处理，使得聚类结果显现多个语义层次。
36.在步骤s152中，在多个语义层次中的预设语义层次上进行分类。
37.在步骤s153中，逐层对分类中的差异类别进行去除或合并，得到处理后的聚类结果。
38.在步骤s154中，对处理后的聚类结果进行意图标注。
39.在一些实施例中，在对聚类结果进行意图标注的步骤s150中，意图标注的意图标签包括：强高意向、一般高意向、一般非高意向、强非高意向、待处理非订单类语句。
40.根据本发明实施例的货运语料聚类方法，通过货运语料库对预训练模型微调训练，得到货运语料模型，与现有技术采用静态词向量模型不同的是，该货运语料模型能够计算不同场景下待处理文本的语义向量，对待处理文本进行句子嵌入，得到动态语义向量，使得货运语料聚类方法能够适应更复杂多变的货运场景。对动态语义向量进行层次聚类，能够得到聚类结果，实现对多种不同货运场景的货运领域文本进行聚类分析。
41.图3为本发明货运语料聚类装置一实施例的结构框图。货运语料聚类装置包括初始模型模块110、微调模块120、句子嵌入模块130以及层次聚类模块140。
42.初始模型模块110用于提供预训练模型。微调模块120用于通过货运语料库对预训练模型微调训练，得到货运语料模型。句子嵌入模块130用于采用货运语料模型对待处理文本进行句子嵌入，得到动态语义向量，待处理文本为货运场景文本。层次聚类模块140用于对动态语义向量进行层次聚类，得到聚类结果。
43.在一些实施例中，货运语料聚类装置还包括意图标注模块150，意图标注模块150用于对聚类结果进行意图标注。
44.根据本发明实施例的货运语料聚类装置，微调模块120能够通过货运语料库对预训练模型微调训练，得到货运语料模型。该货运语料模型与现有技术采用静态词向量模型不同的是，该货运语料模型能够计算不同场景下待处理文本的语义向量。句子嵌入模块130能够对待处理文本进行句子嵌入，得到动态语义向量，使得货运语料聚类装置能够适应更复杂多变的货运场景。层次聚类模块140对动态语义向量进行层次聚类，能够得到聚类结果，实现对多种不同货运场景的货运领域文本进行聚类分析。
45.本发明实施例提供一种货运语料聚类设备。图4为本发明货运语料聚类设备一实施例的硬件结构示意图。货运语料聚类设备包括存储器291和至少一个处理器292，存储器291中存储有计算机程序指令，至少一个处理器292调用存储器291中的计算机程序指令，使得货运语料聚类设备执行根据本发明前述任一实施方式的货运语料聚类方法。
46.货运语料聚类方法包括：提供预训练模型；通过货运语料库对预训练模型微调训练，得到货运语料模型；采用货运语料模型对待处理文本进行句子嵌入，得到动态语义向量，待处理文本为货运场景文本；以及对动态语义向量进行层次聚类，得到聚类结果。在一些实施例中，货运语料聚类方法还包括：对聚类结果进行意图标注。
47.上述处理器292可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
48.存储器291可以包括用于数据或计算机程序指令的大容量存储器。举例来说而非限制，存储器291可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器291可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器291可在综合网关容灾设备的内部或外部。在特定实施例中，存储器291是非易失性固态存储器。在特定实施例中，存储器291包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
49.在一个示例中，货运语料聚类设备的控制器还可包括通信接口293和总线294。如处理器292、存储器291、通信接口293通过总线294连接并完成相互间的通信。
50.通信接口293主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
51.总线294包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器291总线、微信道架构(mca)总线、外围组件互连(pci)总线、
pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线294可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
52.另外，结合上述实施例中的货运语料聚类方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述实施例中的任意一种货运语料聚类方法。
53.本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
54.以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
55.还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
56.以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。