一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

文本模板的生成方法和装置、计算机设备、存储介质与流程

2022-09-04 08:22:45 来源:中国专利 TAG:


1.本技术涉及自然语言语义理解技术领域,尤其涉及一种文本模板的生成方法和装置、计算机设备、存储介质。


背景技术:

2.在检索、推荐,人机对话等技术场景中,字符串的模板匹配是非常重要的一种落地实现,具有准确性高,性能好的特点,往往用于头部请求的匹配。当前,文本模板的生成效率较低。例如,相关技术中通过文本相似,文本聚类等技术手段抽取大量候选文本,人工在候选文本中提取有代表性的模板描述,这个过程需要大量的人工操作,会导致文本模板的生成效率低。因此,如何提供一种文本模板的生成方法,能够提高文本模板的生成效率,成为了亟待解决的技术问题。


技术实现要素:

3.本技术实施例的主要目的在于提出一种文本模板的生成方法和装置、计算机设备、存储介质,能够提高文本模板的生成效率。
4.为实现上述目的,本技术实施例的第一方面提出了一种文本模板的生成方法,所述方法包括:
5.获取待处理的输入文本;
6.对所述输入文本进行语义理解,得到多个原始分词以及每个所述原始分词对应的词类型;
7.对于每一个所述原始分词,通过预设的语义相似模型对所述原始分词进行近义词组的挖掘,以得到所述原始分词对应的多个近似词,并确定每个所述近似词对应的词类型,所述近似词对应的词类型和所述原始分词对应的词类型一致;
8.根据多个所述近似词、所述近似词对应的词类型以及所述输入文本得到多个初步文本;
9.对多个所述初步文本进行语义理解,得到多个目标分词以及每个所述目标分词对应的目标词类型;
10.在多个所述初步文本中,根据所述目标分词和所述目标词类型确定每一个所述初步文本的槽位;
11.对于每一个所述初步文本,将所述槽位上对应的目标分词从所述初步文本中去除,以得到多个初步文本模板;
12.根据多个所述初步文本模板得到目标文本模板。
13.根据本技术实施例第一方面的文本模板的生成方法,至少存在以下有益效果:对输入文本进行语义理解得到多个原始分词以及每个原始分词对应的词类型,并通过预设的语义相似模型对原始分词进行近似词组的挖掘,以根据得到的近似词得到多个初步文本,并通过对初步文本进行语义理解以确定每一个初步文本中的槽位,进而得到文本模板。本
申请实施例通过语义理解技术和语义相似模型对输入文本进行处理,自动生成大量的文本模板,相较于现有技术的人工标注生成方法,大大提高了文本模板的生成效率。
14.在一些实施例,所述通过预设的语义相似模型对所述原始分词进行近义词组的挖掘,以得到与所述原始分词对应的多个近似词,包括:
15.获取文本数据,对所述文本数据进行语义理解,得到多个词语片段;
16.对每一个所述词语片段进行向量表示,以得到多个词语向量,并对所述原始分词进行向量表示,以得到分词向量;
17.对于每一个所述词语向量,计算每一个所述词语向量与所述分词向量的近似距离,若所述近似距离小于预设的距离阈值,则将所述词语向量对应的词语片段作为一个所述近义词,以得到多个近似词。
18.在一些实施例,所述根据多个所述近似词、所述近似词对应的词类型、以及所述输入文本得到多个初步文本,包括:
19.对于每一个所述近似词,根据所述近似词对应的词类型在所述输入文本中匹配出对应的原始分词,并在所述输入文本中将所述对应的原始分词替换为所述近似词,得到所述初步文本。
20.在一些实施例,所述根据所述目标分词和所述目标词类型确定每一个所述初步文本的槽位,包括:
21.若同一所述目标词类型至少存在于两个所述初步文本中,则将所述目标词类型对应的目标分词作为槽位词;
22.根据已作为槽位词的所述目标分词确定每一个所述初步文本的槽位。
23.在一些实施例,所述根据多个所述初步文本模板得到目标文本模板,包括:
24.对每一个所述初步文本模板进行语义理解,得到多个模板分词以及每个所述模板分词对应的词类型;
25.对于每一个所述模板分词,若所述模板分词对应的词类型为预设类型,则在每一个所述初步文本模板中将所述模板分词替换为通配字符,以得到多个中间文本模板;其中,所述预设类型包括介词、拟声词、和语气词中的至少一种;
26.对于多个所述中间文本模板,计算多个所述中间文本模板的相似度,并根据所述相似度和所述通配字符对多个所述中间文本模板进行合并,以得到目标文本模板。
27.在一些实施例,所述根据多个所述初步文本模板得到目标文本模板,包括:
28.获取语料,并获取所述语料对应的原始文本模板;
29.根据所述语料从多个初步文本模板中得到所述语料对应的匹配文本模板;
30.计算所述原始文本模板和所述匹配文本模板的匹配相似度,若所述匹配相似度小于预设匹配相似度阈值,则删除所述匹配文本模板,以得到更新的目标文本模板。
31.在一些实施例,所述根据多个所述初步文本模板得到目标文本模板,包括:
32.获取日志,并通过预设的标签模型对所述日志进行标记,以确定所述日志对应的原始文本模板;
33.根据所述日志从多个初步文本模板中得到所述日志对应的匹配文本模板;
34.计算所述原始文本模板和所述匹配文本模板的匹配相似度,若所述匹配相似度小于预设匹配相似度阈值,则删除所述匹配文本模板,以得到更新的目标文本模板。
35.为实现上述目的,本技术实施例的第二方面提出了一种文本模板的生成装置,包括:
36.获取模块,用于获取待处理的输入文本;
37.第一语义理解模块,用于对所述输入文本进行语义理解,得到多个原始分词以及每个所述原始分词对应的词类型;
38.语义相似处理模块,用于对于每一个所述原始分词,通过预设的语义相似模型对所述原始分词进行近义词组的挖掘,以得到所述原始分词对应的多个近似词,并确定每个所述近似词对应的词类型,所述近似词对应的词类型和所述原始分词对应的词类型一致;
39.初步文本生成模块,用于根据多个所述近似词、所述近似词对应的词类型以及所述输入文本得到多个初步文本;
40.第二语义理解模块,用于对多个所述初步文本进行语义理解,得到多个目标分词以及每个所述目标分词对应的目标词类型;
41.槽位确定模块,用于在多个所述初步文本中,根据所述目标分词和所述目标词类型确定每一个所述初步文本的槽位;
42.初步文本模板生成模块,用于对于每一个所述初步文本,将所述槽位上对应的目标分词从所述初步文本中去除,以得到多个初步文本模板;
43.目标文本模板生成模块,用于根据多个所述初步文本模板得到目标文本模板。
44.为实现上述目的,本技术实施例的第三方面提出了一种计算机设备,所述计算机设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,所述程序被所述处理器执行时实现上述第一方面所述的方法。
45.为实现上述目的,本技术实施例的第四方面提出了一种存储介质,所述存储介质为计算机可读存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述第一方面所述的方法。
46.本技术提出的一种文本模板的生成方法和装置、计算机设备、存储介质,通过语义理解技术和语义相似模型对输入文本进行处理,自动生成大量的初步文本,进而自动生成大量的文本模板,相较于现有技术的人工标注生成方法,大大提高了文本模板的生成效率。还通过对相似的初步文本模板进行合并,减少相似的初步文本模板的数量,进而得到匹配效率更高的目标文本模板。还通过语料或日志对初步文本模板进行清洗,删除不能表达特定分类意图的初步文本模板,进而得到匹配精准度更高的目标文本模板。
附图说明
47.图1是本技术实施例提供的文本模板的生成方法的流程图;
48.图2是图1中的步骤s130的流程图;
49.图3是图1中的步骤s160的流程图;
50.图4是图1中的步骤s180的流程图;
51.图5是图1中的步骤s180的流程图;
52.图6是图1中的步骤s180的流程图;
53.图7是本技术实施例提供的文本模板的生成装置的模块结构框图;
54.图8是本技术实施例提供的计算机设备的硬件结构示意图。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本技术,并不用于限定本技术。
56.需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
57.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
58.首先,对本技术中涉及的若干名词进行解析:
59.人工智能(artificial intelligence,ai):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
60.自然语言处理(natural language processing,nlp):nlp用计算机来处理、理解以及运用人类语言(如中文、英文等),nlp属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息图像处理、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域,它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
61.信息抽取(information extraction,ner):从自然语言文本中抽取指定类型的实体、关系、事件等事实信息,并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的,例如句子、段落、篇章,文本信息正是由一些小的具体的单位构成的,例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取,当然,文本信息抽取技术所抽取的信息可以是各种类型的信息。
62.语料:即语言材料,语料是构成语料库的基本单元,通常是一定数量和规模的文本资源集合。语料规模可大可小,大至千万,甚至数亿句或更大,小至几百句。人们简单地用文本作为替代,并把文本中的上下文关系作为现实世界中语言的上下文关系的替代品。可以把一个文本集合称为语料库,当有几个这样的文本集合的时候,可称之为语料库集合。互联网本身就是一个巨大庞杂的语料库。语料根据不同标准可以有很多分类,比如,语料可以是
单语语料,也可以是多语种语料。
63.目前,在检索、推荐,人机对话等技术场景中,字符串的模板匹配是非常重要的一种落地实现,具有准确性高,性能好的特点,往往用于头部请求的匹配。当前,文本模板的生成效率低。例如,在相关技术中通过文本相似,文本聚类等技术手段抽取大量候选文本,人工在候选文本中提取有代表性的模板描述,这个过程需要大量的人工操作,会导致文本模板的生成效率低。因此,如何提供一种文本模板的生成方法,能够提高文本模板的生成效率,成为了亟待解决的技术问题。
64.基于此,本技术实施例的主要目的在于提出一种文本模板的生成方法和装置、计算机设备、存储介质,旨在提高文本模板的生成效率。
65.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
66.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
67.本技术实施例提供的文本模板的生成方法,涉及人工智能技术领域。本技术实施例提供的文本模板的生成方法可应用于终端中,也可应用于服务器端中,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等;服务器端可以配置成独立的物理服务器,也可以配置成多个物理服务器构成的服务器集群或者分布式系统,还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现文本模板的生成方法的应用等,但并不局限于以上形式。
68.本技术可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
69.本技术实施例提供一种文本模板的生成方法和装置、计算机设备、存储介质,具体通过如下实施例进行说明,首先描述本技术实施例中的文本模板的生成方法。
70.图1是本技术实施例提供的文本模板的生成方法的一个可选的流程图,图1中的方法可以包括但不限于包括步骤s110至步骤s180。
71.步骤s110,获取待处理的输入文本;
72.步骤s120,对输入文本进行语义理解,得到多个原始分词以及每个原始分词对应
的词类型;
73.步骤s130,对于每一个原始分词,通过预设的语义相似模型对原始分词进行近义词组的挖掘,以得到原始分词对应的多个近似词,并确定每个近似词对应的词类型,近似词对应的词类型和原始分词对应的词类型一致;
74.步骤s140,根据多个近似词、近似词对应的词类型以及输入文本得到多个初步文本;
75.步骤s150,对多个初步文本进行语义理解,得到多个目标分词以及每个目标分词对应的目标词类型;
76.步骤s160,在多个初步文本中,根据目标分词和目标词类型确定每一个初步文本的槽位;
77.步骤s170,对于每一个初步文本,将槽位上对应的目标分词从初步文本中去除,以得到多个初步文本模板;
78.步骤s180,根据多个初步文本模板得到目标文本模板。
79.通过步骤s110至步骤s180,本技术实施例对输入文本进行语义理解得到多个原始分词以及每个原始分词对应的词类型,并通过预设的语义相似模型对原始分词进行近似词组的挖掘,以根据得到的近似词得到多个初步文本,并确定每一个初步文本中的槽位,进而得到文本模板。本技术实施例通过语义理解技术和语义相似模型对输入文本进行处理,自动生成大量的文本模板,相较于现有技术的人工标注生成方法,大大提高了文本模板的生成效率。
80.在一些实施例的步骤s110中,获取待处理的输入文本,输入文本可以是指语料,语料往往是原始业务的有监督语料,因此语料会有对应的模板标签。例如在意图识别中,模型,会给出哪些句子属于哪些意图,然后要求模型进行分类。输入文本还可以是指日志,日志用于记载搜索引擎所执行的搜索请求和该搜索请求对应的搜索内容,例如,用户在某一搜索引擎中输入搜索内容为“今天天气好吗?”的搜索请求,但日志不记载该搜索请求对应的搜索结果,即日志是无监督数据,因此日志没有对应的模板标签。
81.在一些实施例的步骤s120中,对输入文本进行语义理解,得到多个原始分词以及每个原始分词对应的词类型。具体的,语义理解是指对文本进行分词,并标记出词的类别。例如输入文本可为“《孤女》是2010年九州出版社出版的小说,作者是余兼羽”,可通过现有的wordtag模型对输入文本进行语义理解,在对输入文本进行语义理解后,得到如表1所示的结果。
82.表1:
[0083][0084][0085]
在一些实施例的步骤s130中,对于每一个原始分词,通过预设的语义相似模型对
原始分词进行近义词组的挖掘,以得到原始分词对应的多个近似词,并确定每个近似词对应的词类型,近似词对应的词类型和原始分词对应的词类型一致。本实施例通过引入simcse语义相似模型,在输入文本中挖掘近义词组,具体是对输入文本中的每一个原始分词进行近似词组的挖掘。这样,针对特定分类的特定词汇,便可以自动生成一系列的近义词,从而引入语义泛化能力。
[0086]
请参阅图2,在一些实施例中,步骤s130可以包括但不限于包括步骤s210至步骤s230:
[0087]
步骤s210,获取文本数据,对文本数据进行语义理解,得到多个词语片段;
[0088]
步骤s220,对每一个词语片段进行向量表示,以得到多个词语向量,并对原始分词进行向量表示,以得到分词向量;
[0089]
步骤s230,对于每一个词语向量,计算每一个词语向量与分词向量的近似距离,若近似距离小于预设的距离阈值,则将词语向量对应的词语片段作为一个近义词,以得到多个近似词。
[0090]
通过步骤s210至步骤s230,本技术实施例通过对文本数据进行语义理解,能够得到大量的词语片段,利用simcse语义相似模型对词语片段进行向量表示,以及利用simcse语义相似模型对每一个原始分词进行向量表示,并计算每一个词语向量与分词向量的近似距离,若近似距离小于预设的距离阈值,则可得到大量的与原始分词对应的近似词。
[0091]
需要说明的是,步骤s210中的语义理解可进一步理解为短文本理解,可通过wordtag模型实现对文本数据的语义理解。另外,步骤s210中所指的文本数据包括语料和/或日志,其中,已在步骤s110中详细解释了语料和日志的概念,此处不再赘述。
[0092]
在一些实施例的步骤s140中,根据多个近似词、近似词对应的词类型以及输入文本得到多个初步文本。具体的,在现有技术的文本模板的生成过程中,是需要大量的候选文本,以及需要人工在候选文本中提取有代表性的文本模板,导致文本模板的生成效率低。因此,在本技术实施例中,先得到输入文本中的每一个原始分词的多个近似词,并根据多个近似词和输入文本自动生成大量的初步文本,即本技术实施例能够自动生成大量的候选文本。而且由于本技术的初步文本是根据近似词、近似词对应的词类型以及输入文本得到的,无需人工对初步文本进行标注,有助于提高文本模板的生成效率。另外,本技术的初步文本的生成无需人工参与,大大提高了初步文本的准确性。
[0093]
在一些实施例中,步骤s140可以包括但不限于包括:对于每一个近似词,根据近似词对应的词类型在输入文本中匹配出对应的原始分词,并在输入文本中将对应的原始分词替换为近似词,得到初步文本。本实施例通过使用近似词替代原始分词的方式,目的是模仿输入文本中的内容,生成相似的表述,得到的每一个初步文本都与输入文本相似,以便后续根据多个初步文本的相似性确定槽位,有助于提高文本模板的生成效率和准确性。
[0094]
在一些实施例的步骤s150中,对多个初步文本进行语义理解,得到多个目标分词以及每个目标分词对应的目标词类型。步骤s150中的具体语义理解过程可参照上述的步骤s110,此处不再赘述。
[0095]
在一些实施例的步骤s160中,在多个初步文本中,根据目标分词和目标词类型确定每一个初步文本的槽位。
[0096]
需要说明的是,槽位可以简单的理解为一种文本变量;如询问天气的文本模板为“[时间]天气好吗?”,其中“[时间]”就是一个槽位,槽位的内容可以是“今天”,“明天”,“昨天”等。
[0097]
还需要说明的是,若是某一目标词类型对应的目标分词越多,就越表明该目标词类型为重点类型,可以在每一个初步文本中将该重点类型对应的目标分词作为槽位词,进而确定每一个初步文本的槽位。
[0098]
请参阅图3,在一些实施例中,步骤s160可以包括但不限于包括步骤s310至步骤s320:
[0099]
步骤s310,若同一目标词类型至少存在于两个初步文本中,则将目标词类型对应的目标分词作为槽位词;
[0100]
步骤s320,根据已作为槽位词的目标分词确定每一个初步文本的槽位。
[0101]
通过步骤s310至步骤s320,若同一目标词类型至少存在于两个初步文本中,说明该目标词类型在多个初步文本至少对应有两个目标分词,进一步表明该目标词类型在初步文本中存在多种表述,因此可将目标词类型对应的目标分词作为槽位词,并确定每一个初步文本的槽位。以便后续当用户输入某一词语时,可根据该词语的词类型匹配出对应的槽位,从而得到匹配的文本模板,进而根据该词语和匹配的文本模板得到合成文本。例如当用户输入“今天”,可匹配出“[时间]”槽位,得到的文本模板可为“[时间]天气好吗?”,进而得到的合成文本为“今天天气好吗?”。
[0102]
在一些实施例的步骤s170中,对于每一个初步文本,将槽位上对应的目标分词从初步文本中去除,以得到多个初步文本模板。需要说明的是,每一个初步文本上可能存在多个槽位词,若将所有的槽位词都进行去除,得到的每一个初步文本模板中会存在多个槽位。在一些实施例中,是对初步文本模板中的槽位词进行筛选,以实现将权重最高的槽位词进行去除,而权重较低的槽位词不需要被去除,可以保留。例如:初步文本为“今天天气不错,挺风和日丽的”,该初步文本中的“今天”、“不错”和“风和日丽”被标记为槽位词,通过对初步文本进行筛选,确定将内容为“今天”的槽位词和内容为“风和日丽”的槽位词进行去除,得到的初步文本模板为“[时间]天气不错,挺[形容词]的”。可以理解的是,通过对初步文本中的多个槽位词进行筛选,可得到内容表达更加合理的初步文本模板。
[0103]
在一些实施例的步骤s180中,根据多个初步文本模板得到目标文本模板。具体的,多个初步文本模板中存在大量的相似文本模板,可对多个初步文本模板进行清洗,以得到目标文本模板。需要说明的是,目标文本模板的数量不限,可以是一个,也可是多个,但不会超过初步文本模板的数量。
[0104]
请参阅图4,在一些实施例中,步骤s180可以包括但不限于包括步骤s410至步骤s430:
[0105]
步骤s410,对每一个初步文本模板进行语义理解,得到多个模板分词以及每个模板分词对应的词类型;
[0106]
步骤s420,对于每一个模板分词,若模板分词对应的词类型为预设类型,则在每一个初步文本模板中将模板分词替换为通配字符,以得到多个中间文本模板;其中,预设类型包括介词,拟声词,语气词中的至少一种;
[0107]
步骤s430,对于多个中间文本模板,计算多个中间文本模板的相似度,并根据相似度和通配字符对多个中间文本模板进行合并,以得到目标文本模板。
[0108]
通过步骤s410至步骤s430,通过对相似的初步文本模板进行合并,减少相似的初步文本模板的数量,以得到匹配效率更高的目标文本模板。具体的,先对每一个初步模板进行语义理解,并将属于预设类型的模板分词替换为通配字符,得到对应的中间文本模板。再利用中间文本模板之间的相似度对中间文本模板进行合并,得到目标文本模板。本实施例能够减少相似的初步文本模板的数量,以提高后续应用阶段的文本模板的匹配度。需要说明的是,预设类型包括介词、拟声词、和语气词中的至少一种,但不仅限于介词、拟声词和语气词,预设类型还可以是助词、感叹词等,本实施例不做具体限定。
[0109]
在一实施例中,在初步文本模板合并时候,加入有如下两个相似的初步文本模板:1.[时间]天气真的[形容词_好]啊哈哈,2.[时间]天气真的[形容词_好]啊。通过语义理解后,确定“啊哈哈”和“啊”属于预设类型,并用通配字符w{n}对初步文本模板中的“啊哈哈”和“啊”进行替换。需要说明的是,w{n}代表着长度为0到n的任意字,n为正整数,n的取值就是被替换的模板分词的字符长度。从而得到“[时间]天气真的[形容词_好][w{3}]”和“[时间]天气真的[形容词_好][w{1}]”两个中间文本模板。若两个中间文本模板可以合并为目标文本模板,则用通配字符w{m1,m2}进行中间文本模板的合并,其中,w{m1,m2}代表着长度为m1到m2的任意字,m1对应中间文本模板中最小的n,m2对应中间文本模板中最大的n。即得到的目标文本模板为“[时间]天气真的[形容词_好][w{1,3}]”。
[0110]
请参阅图5,在一些实施例中,步骤s180可以包括但不限于包括步骤s510至步骤s530:
[0111]
步骤s510,获取语料,并获取语料对应的原始文本模板;
[0112]
步骤s520,根据语料从多个初步文本模板中得到语料对应的匹配文本模板;
[0113]
步骤s530,计算原始文本模板和匹配文本模板的匹配相似度,若匹配相似度小于预设匹配相似度阈值,则删除匹配文本模板,以得到更新的目标文本模板。
[0114]
通过步骤s510至步骤s530,本技术实施例对初步文本模板进行清洗,目的是得到匹配精准度更高的目标文本模板。具体的,通过一种带标签的输入(输入即语料,带标签是指语料自带有对应的原始文本模板)能从多个初步文本模板中得到匹配文本模板,并根据原始文本模板和匹配文本模板的匹配相似度确定该匹配文本模板是否合理,若匹配相似度小于预设匹配相似度阈值,说明该匹配文本模板过于泛化,不能表达特定分类意图,则删除该匹配文本模板,从而得到更新的目标文本模板。
[0115]
请参阅图6,在一些实施例中,步骤s180可以包括但不限于包括步骤s610至步骤s630:
[0116]
步骤s610,获取日志,并通过预设的标签模型对日志进行标记,以确定日志对应的原始文本模板;
[0117]
步骤s620,根据日志从多个初步文本模板中得到日志对应的匹配文本模板;
[0118]
步骤s630,计算原始文本模板和匹配文本模板的匹配相似度,若匹配相似度小于预设匹配相似度阈值,则删除匹配文本模板,以得到更新的目标文本模板。
[0119]
通过步骤s610至步骤s630,本技术实施例对初步文本模板进行清洗,目的是得到匹配精准度更高的目标文本模板。具体的,通过一种无标签的输入(输入即日志,无标签是指日志本身没有对应的原始文本模板)能从多个初步文本模板中得到匹配文本模板,由于日志是一种无标签的输入,因此需要通过预设的标签模型对日志进行标记,以确定日志对
应的原始文本模板。再根据原始文本模板和匹配文本模板的匹配相似度确定该匹配文本模板是否合理,若匹配相似度小于预设匹配相似度阈值,说明该匹配文本模板过于泛化,不能表达特定分类意图,则删除该匹配文本模板,从而得到更新的目标文本模板。
[0120]
需要说明的是,预设的标签模型目的是能自动获取到日志对应的标签,不需要人工进行标注,具体的标签模型可为语义分类神经网络模型、语义预测神经网络模型等,本技术实施例不作具体限定。
[0121]
在一实施例中,通过不同分类领域的语料或日志从多个初步文本中得到匹配文本模板,当某一匹配文本模板命中的语料或日志属于多个分类,则说明该匹配文本模板包含的信息不够纯,且该匹配文本模板不能表达特定分类意图,则删除该匹配文本模板,从而得到更新的目标文本模板。
[0122]
本技术实施例提出的文本模板的生成方法,本技术实施例通过语义理解技术和语义相似模型对输入文本进行处理,自动生成大量的初步文本,进而自动生成大量的文本模板,相较于现有技术的人工标注生成方法,大大提高了文本模板的生成效率。还通过对相似的初步文本模板进行合并,减少相似的初步文本模板的数量,进而得到匹配效率更高的目标文本模板。还通过语料或日志对初步文本模板进行清洗,删除不能表达特定分类意图的初步文本模板,进而得到匹配精准度更高的目标文本模板。
[0123]
请参阅图7,本技术实施例还提供一种文本模板的生成装置,可以实现上述一种文本模板的生成方法,图7为本技术实施例提供的文本模板的生成装置的模块结构框图,该装置包括:获取模块710、第一语义理解模块720、语义相似处理模块730、初步文本生成模块740、第二语义理解模块750、槽位确定模块760、初步文本模板生成模块770、目标文本模板生成模块780。其中,获取模块710用于获取待处理的输入文本;第一语义理解模块720用于对输入文本进行语义理解,得到多个原始分词以及每个原始分词对应的词类型;语义相似处理模块730用于对于每一个原始分词,通过预设的语义相似模型对原始分词进行近义词组的挖掘,以得到原始分词对应的多个近似词,并确定每个近似词对应的词类型,近似词对应的词类型和原始分词对应的词类型一致;初步文本生成模块740用于根据多个近似词、近似词对应的词类型以及输入文本得到多个初步文本;第二语义理解模块750用于对多个初步文本进行语义理解,得到多个目标分词以及每个目标分词对应的目标词类型;槽位确定模块760用于在多个初步文本中,根据目标分词和目标词类型确定每一个初步文本的槽位;初步文本模板生成模块770用于对于每一个初步文本,将槽位上对应的目标分词从初步文本中去除,以得到多个初步文本模板;目标文本模板生成模块780用于根据多个初步文本模板得到目标文本模板。
[0124]
本技术实施例的文本模板的生成装置,通过对输入文本进行语义理解得到多个原始分词以及每个原始分词对应的词类型,并通过预设的语义相似模型对原始分词进行近似词组的挖掘,以根据得到的近似词得到多个初步文本,并确定每一个初步文本中的槽位,进而得到文本模板。本技术实施例通过语义理解技术和语义相似模型对输入文本进行处理,自动生成大量的文本模板,相较于现有技术的人工标注生成方法,大大提高了文本模板的生成效率。
[0125]
需要说明的是,该文本模板的生成装置的具体实施方式与上述文本模板的生成方法的具体实施例基本相同,在此不再赘述。
[0126]
本技术实施例还提供了一种计算机设备,计算机设备包括:存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线,程序被处理器执行时实现上述文本模板的生成方法。该计算机设备可以为包括平板电脑、车载电脑等任意智能终端。
[0127]
请参阅图8,图8示意了另一实施例的计算机设备的硬件结构,计算机设备包括:
[0128]
处理器801,可以采用通用的cpu(central processing unit,中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit,asic)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本技术实施例所提供的技术方案;
[0129]
存储器802,可以采用只读存储器(read only memory,rom)、静态存储设备、动态存储设备或者随机存取存储器(random access memory,ram)等形式实现。存储器802可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器802中,并由处理器801来调用执行本技术实施例的文本模板的生成方法;
[0130]
输入/输出接口803,用于实现信息输入及输出;
[0131]
通信接口804,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如usb、网线等)实现通信,也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信;
[0132]
总线805,在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息;
[0133]
其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。
[0134]
本技术实施例还提供了一种存储介质,存储介质为计算机可读存储介质,用于计算机可读存储,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现上述文本模板的生成方法。
[0135]
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0136]
本技术实施例提出的文本模板的生成方法和装置、计算机设备和存储介质,通过语义理解技术和语义相似模型对输入文本进行处理,自动生成大量的初步文本,进而自动生成大量的文本模板,相较于现有技术的人工标注生成方法,大大提高了文本模板的生成效率。还通过对相似的初步文本模板进行合并,减少相似的初步文本模板的数量,进而得到匹配效率更高的目标文本模板。还通过语料或日志对初步文本模板进行清洗,删除不能表达特定分类意图的初步文本模板,进而得到匹配精准度更高的目标文本模板。
[0137]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
[0138]
本领域技术人员可以理解的是,图1-6中示出的技术方案并不构成对本技术实施
例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
[0139]
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0140]
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0141]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0142]
应当理解,在本技术中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
[0143]
在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0144]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0145]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0146]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,简称
rom)、随机存取存储器(random access memory,简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0147]
以上参照附图说明了本技术实施例的优选实施例,并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本技术实施例的权利范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献