意图识别方法、装置、计算机设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及意图识别方法、装置、计算机 设备及存储介质。


背景技术：

2.随着社会信息化，基于自然语言处理的智能客服、聊天机器人以及搜索 引擎等基于意图识别技术的应用开始广泛使用。
3.传统的意图识别方法一般通过构建意图识别模型，在构建过程中，需要 标注大量语料，并基于已经划分归类好的意图标签，将意图是被任务转换为 分类任务，使用基于机器学习或者深度学习的模型，实现对输入的意图标签 进行分类，实现意图识别的目的。这种方法通常需要大量的标注数据，并且， 在实际应用场景中，由于实际意图的复杂性和多样性，会将一些意图识别成 未知意图，造成在应用场景中的意图识别效果准确程度不高。


技术实现要素：

4.本发明提供一种意图识别方法、装置、计算机设备及存储介质，以提高 未知意图的识别准确率。
5.一种意图识别方法，包括：
6.从预设的数据库中获取样本标签数据和样本无标签数据，根据预设的正 负向分类方法对所述样本标签数据进行分类，得到至少一个输入文本对；
7.将所述输入文本对输入到预设的预训练模型中进行训练，得到初始语义 表征模型；
8.将所述样本标签数据输入到所述初始语义表征模型，得到样本标签向量， 将所述样本无标签数据输入到所述初始语义表征模型，得到样本无标签向量；
9.根据预设的聚类方法，对所述样本标签向量和所述样本无标签向量进行 聚类，得到聚类指数和聚类意图标签数据，其中，所述聚类意图标签数据包 括聚类文本和聚类意图标签数据；
10.基于所述聚类指数，通过所述聚类意图标签数据训练所述初始语义表征 模型，得到训练好的语义表征模型；
11.从用户端获取用户输入的待识别文本数据，将所述待识别文本数据输入 到所述训练好的语义表征模型，得到预测语义向量，将所述样本标签数据输 入到所述训练好的语义表征模型，得到验证语义向量；
12.通过所述聚类指数，根据匈牙利算法，计算所述预测语义向量与所述验 证语义向量之间的相似度结果，并根据所述相似度结果识别所述待识别文本 数据中的未知意图。
13.一种意图识别装置，包括：
14.数据获取模块，用于从预设的数据库中获取样本标签数据和样本无标签 数据，根据预设的正负向分类方法对所述样本标签数据进行分类，得到至少 一个输入文本对；
15.初始模型训练模块，用于将所述输入文本对输入到预设的预训练模型中 进行训练，得到初始语义表征模型；
16.样本向量生成模块，用于将所述样本标签数据输入到所述初始语义表征 模型，得到样本标签向量，将所述样本无标签数据输入到所述初始语义表征 模型，得到样本无标签向量；
17.聚类模块，用于根据预设的聚类方法，对所述样本标签向量和所述样本 无标签向量进行聚类，得到聚类指数和聚类意图标签数据，其中，所述聚类 意图标签数据包括聚类文本和聚类意图标签数据；
18.表征模型训练模块，用于基于所述聚类指数，通过所述聚类意图标签数 据训练所述初始语义表征模型，得到训练好的语义表征模型；
19.向量表征模块，用于从用户端获取用户输入的待识别文本数据，将所述 待识别文本数据输入到所述训练好的语义表征模型，得到预测语义向量，将 所述样本标签数据输入到所述训练好的语义表征模型，得到验证语义向量；
20.意图识别模块，用于通过所述聚类指数，根据匈牙利算法，计算所述预 测语义向量与所述验证语义向量之间的相似度结果，并根据所述相似度结果 识别所述待识别文本数据中的未知意图。
21.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在 所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上 述意图识别方法的步骤。
22.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序， 所述计算机程序被处理器执行时实现上述意图识别方法的步骤。
23.本发明提供的意图识别方法、装置、计算机设备及存储介质，通过获取 样本标签数据和样本无标签数据，根据预设的正负向分类方法对所述样本标 签数据进行分类，得到输入文本对；将所述输入文本对输入到预设好的预训 练模型中进行训练，得到初始语义表征模型；将所述样本标签数据和样本无 标签数据输入到所述初始语义表征模型，得到样本标签向量和样本无标签向 量；对所述样本标签向量和所述样本无标签向量进行聚类，得到聚类指数和 聚类意图标签数据，并通过聚类指数和聚类意图标签数据训练得到语义表征 模型；将所述待识别文本数据输入到所述语义表征模型，得到预测语义向量， 将所述样本标签数据输入到所述语义表征模型，得到验证语义向量；通过所 述聚类指数，根据匈牙利算法，计算所述预测语义向量与所述验证语义向量 之间的相似度结果，并根据所述相似度结果识别所述待识别文本数据中的未 知意图。通过对样本标签数据进行正负向分类，构建初始语义表征模型的语 义空间，通过已知的意图标标签，通过无监督学习识别未知意图，提高识别 出未知意图的准确性。
附图说明
24.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动性的前提下，还可以根据这些附图获得其他的附图。
25.图1是本发明一实施例中意图识别方法的一应用环境示意图；
26.图2是本发明一实施例中意图识别方法的一流程图；
27.图3是本发明一实施例中意图识别装置的结构示意图；
28.图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其 中，人工智能(artificialintelligence，ai)是利用数字计算机或者数字 计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用 知识获得最佳结果的理论、方法、技术及应用系统。
31.人工智能基础技术一般包括传感器、专用人工智能芯片、云计算、分布 式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软 件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技 术、自然语言处理技术以及机器学习/深度学习等几大方向。
32.本发明实施例提供的意图识别方法，可应用在如图1的应用环境中，其 中，终端设备通过网络与服务器进行通信。其中，终端设备可以但不限于各 种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服 务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
33.系统框架100可以包括终端设备、网络和服务器。网络用以在终端设备 和服务器之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、 无线通信链路或者光纤电缆等等。
34.用户可以使用终端设备通过网络与服务器交互，以接收或者发送消息等。
35.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电 子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture eperts group audio layer iii，动态影像专家压缩标准 音频层面3)、mp4(moving picture eperts group audio layer iv，动态 影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等 等。
36.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、 103上显示的页面提供支持的后台服务器，可以是独立的服务器，也可以是提 供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间 件服务、域名服务、安全服务、内容分发网络(contentdeliverynetwork， cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
37.需要说明的是，本发明实施例所提供的意图识别方法由服务器执行，相 应地，意图识别装置设置于服务器中。
38.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的， 根据实现需
要，可以具有任意数目的终端设备、网络和服务器，本发明实施 例中的终端设备具体可以对应的是实际生产中的应用系统。
39.在一实施例中，如图2所示，提供一种意图识别方法，以该方法应用在 图1中的服务器为例进行说明，包括如下步骤：
40.s10，从预设的数据库中获取样本标签数据和样本无标签数据，根据预设 的正负向分类方法对样本标签数据进行分类，得到至少一个输入文本对。
41.具体时，从预设的数据库中获取样本标签数据和样本无标签数据，根据 与目标文本的相似程度作为正负向分类的凭据，对样本标签数据进行重构， 得到输入文本对。
42.其中，预设的数据库可以是存储有样本标签数据的服务器、存储介质等。 样本标签数据包括多条文本数据，每条文本数据都带有其对应的意图标签， 例如，其中一条文本数据表示为s1＝{我37岁得了乙肝可以买e生保吗，保险 投保}，其中，“我37岁得了乙肝可以买e生保吗”表示文本数据s1的文本 数据，“保险投保”表示文本数据s1的意图标签。
43.样本无标签数据由多条文本数据组成，其中，每条文本数据对应的意图 是未知的。
44.输入文本对由目标文本数据、与目标文本数据的意图相似的正向文本， 与目标文本不相似的负向文本组成。例如，输入文本对＝{句子1，正向文本， 负向文本}，其中，句子1作为目标文本数据，句子1与正向文本的意图标签 相似，句子1与负向文本的意图标签不相似，根据样本标签数据包含的文本 数据的数量，针对同一目标文本数据的输入文本对会有多条。
45.判断文本数据的意图相似与否的方法包括但不限于计算文本数据之间的 相似度，根据相似度与预设阈值之间的差值，判断除目标文本数据之外的文 本数据是正向文本还是负向文本，因此，样本标签述句的正负向分类方法包 括但不限于计算目标文本数据与其他文本数据之间对象相似度。
46.s20，将输入文本对输入到预设的预训练模型中进行训练，得到初始语义 表征模型。
47.具体的，选择预设的深度学习/机器学习算法构建预训练模型，并通过输 入文本对对预训练模型进行训练，的带初始语义表征模型。
48.在本实施例中，预训练模型是基于bert模型构建的。其中，bert (bidirectional encoder representations from transformer)模型用以 获得文本丰富的语义信息，将文本的语义信息表示在特定的nlp(naturelanguage processing，自然语言处理)任务。
49.将输入文本对表示成字向量、文本向量和位置向量，bert模型将字向量、 文本向量和位置向量的加和作为bert模型的输入。
50.bert模型是基于transformer模型构建，并通过注意力机制构建 transformer模块，attention机制主要涉及到三个概念：query、key和value。 在上面增强字的语义表示这个应用场景中，目标字及其上下文的字都有各自 的原始value，attention机制将目标字作为query、其上下文的各个字作为 key，并将query与各个key的相似性作为权重，把上下文各个字的value融 入目标字的原始value中。attention机制将目标字和上下文各个字的语义向 量表示作为输入，首先通过线性变换获得目标字的query向量表示、上下文 各个字的key向量表示以及目标字与上下文各个字的原始value表示，然后 计算query向量与各个
key向量的相似度作为权重，加权融合目标字的value 向量和各个上下文字的value向量，作为attention的输出，即：目标字的 增强语义向量表示。
51.基于输入文本对的正向与负向的特征，在训练预训练模型时，设置损失 函数，使得在预训练模型的语义空间中，使得正向文本之间的文本表征尽可 能地接近，负向文本之间的文本表征尽可能地远。
52.s30，将样本标签数据输入到初始语义表征模型，得到样本标签向量，将 样本无标签数据输入到初始语义表征模型，得到样本无标签向量。
53.具体的，分别将样本标签数据中的文本数据、样本无标签数据中的文本 数据输入到初始语义表征模型，由初始语义表征模型得到样本标签数据的样 本标签向量、样本无标签数据的样本无标签向量。
54.其中，比如初始语义表征模型为g’，样本标签数据为sk，则样本标签向 量为featk＝g’(sk)；样本无标签数量为s
unk
，则样本无标签向量为feat
unk
＝g
’ꢀ
(s
unk
)。
55.s40，根据预设的聚类方法，对样本标签向量和样本无标签向量进行聚类， 得到聚类指数和聚类意图标签数据，其中，聚类意图标签数据包括聚类文本 和聚类意图标签数据。
56.具体的，在进行聚类之前，需要预先设置聚类簇的个数，在本实施例中， 聚类簇的个数设置为样本标签数据中的意图标签个数的倍数，即cluster_n＝ λ*n，通常λ＝1.25，该系数可根据实际业务场景修改。
57.按照设置的聚类簇个数，对样本标签向量和样本无标签向量进行聚类， 将意图标签相似的样本标签向量和/或样本无标签向量形成聚类簇，聚类结果 包括聚类簇的个数和每个聚类簇形成的聚类意图标签，形成聚类意图标签数 据。
58.作为一种可选方式，通过计算每个聚类簇的聚类评价指标，对聚类得到 的聚类簇进行筛除，将保留下来的聚类簇的聚类意图标签作为聚类意图标签 数据。
59.其中，聚类评价指标sc可根据如下公式计算：
[0060][0061]
其中，a为目标样本数据与聚类簇簇内其他样本数据的平均距离，b为样 目标样本数据与其他聚类簇内样本的平均距离，di表示第i个目标样本数据， n是指样本数据的个数。
[0062]
进一步的，作为一种实现方式，将聚类得到的聚类簇按照聚类簇里的样 本数据的个数累加，按照累加的个数将聚类簇进行排序，当排序中的样本数 据的个数超过全体样本数据的个数的t％时，将之后的簇视为无效簇，更新得 到的聚类簇的个数cluster_n作为聚类指数。
[0063]
s50，基于聚类指数，通过聚类意图标签数据训练初始语义表征模型，得 到训练好的语义表征模型。
[0064]
具体的，根据聚类指数，通过聚类得到的聚类意图标签数据训练初始语 义表征模型，当聚类评价指标连续k轮迭代没有提升或者迭代次数超过最大 迭代次数m，则终止迭代，得到语义表征模型。
[0065]
其中，k轮以及最大迭代次数m可根据实际需求设定，此处不作具体限定。
[0066]
s60，从用户端获取用户输入的待识别文本数据，将待识别文本数据输入 到训练好的语义表征模型，得到预测语义向量，将样本标签数据输入到训练 好的语义表征模型，得到验证语义向量。
[0067]
具体的，从用户端获取用户输入的待识别文本数据，将待识别文本数据 输入到语义表征模型，得到预测语义向量，并将样本标签数据输入到语义表 征模型，得到验证语义向量。
[0068]
s70，通过聚类指数，根据匈牙利算法，计算预测语义向量与验证语义向 量之间的相似度结果，并根据相似度结果识别待识别文本数据中的未知意图。
[0069]
具体的，通过聚类指数，对预测语义向量进行聚类，得到预测聚类结果， 其中，预测聚类结果包括预测意图标签和每个聚类簇的簇心。
[0070]
根据实际需求，设置验证语义向量的聚类个数，作为优选方式，聚类指 数应该大于验证语义向量的聚类个数。
[0071]
对验证语义向量进行聚类，得到验证聚类结果，其中，验证聚类结果包 括样本的验证标签，以及每个聚类簇的簇心。
[0072]
通过匈牙利算法，计算预测语义向量的簇心和验证语义向量的簇心之间 的距离，得到预测语义向量的簇心与验证语义向量的簇心之间的映射，因为 聚类指数大于验证语义向量的聚类个数，因此，预测语义向量的某些簇心没 有匹配到，则将没有被匹配的到的簇心对应的意图标签识别为未知意图。
[0073]
具体的，匈牙利算法是在图数据中寻找最大匹配的算法。
[0074]
本发明实施例提供的意图识别方法，通过获取样本标签数据和样本无标 签数据，根据预设的正负向分类方法对所述样本标签数据进行分类，得到输 入文本对；将所述输入文本对输入到预设好的预训练模型中进行训练，得到 初始语义表征模型；将所述样本标签数据和样本无标签数据输入到所述初始 语义表征模型，得到样本标签向量和样本无标签向量；对所述样本标签向量 和所述样本无标签向量进行聚类，得到聚类指数和聚类意图标签数据，并通 过聚类指数和聚类意图标签数据训练得到语义表征模型；将所述待识别文本 数据输入到所述语义表征模型，得到预测语义向量，将所述样本标签数据输 入到所述语义表征模型，得到验证语义向量；通过所述聚类指数，根据匈牙 利算法，计算所述预测语义向量与所述验证语义向量之间的相似度结果，并 根据所述相似度结果识别所述待识别文本数据中的未知意图。通过对样本标 签数据进行正负向分类，构建初始语义表征模型的语义空间，通过已知的意 图标标签，通过无监督学习识别未知意图，提高识别出未知意图的准确性。
[0075]
在本实施例中，作为一种可选的实现方式，在s10中，从预设的数据库 中获取样本标签数据和样本无标签数据，根据预设的正负向分类方法对样本 标签数据进行分类，得到至少一个输入文本对包括：
[0076]
s101，确定样本标签数据中的目标文本，通过向量转换的方式，计算目 标文本的目标文本向量和样本标签数据的其他文本数据的文本向量。
[0077]
s102，计算目标文本向量与其他文本数量的文本向量的相似度结果，将 相似度结果大于第一预设阈值的文本数据作为正向文本，将相似度结果小于 第二预设阈值的文本数据作为负向文本。
[0078]
s103，将目标文本、正向文本以及负向文本进行组成，构成输入文本对。
[0079]
具体的，确定样本标签数据中的目标文本，将目标文本以及样本标签数 据中的其他文本数据进行向量转换，得到向量之间的相似度结果，将相似度 结果大于第一预设阈值的文本数据作为正向文本，将相似度结果小于第二预 设阈值的文本数据作为负向文本。
[0080]
其中，第一预设阈值与第二预设阈值根据实际情况设定，一般情况下， 第一预设阈值可设置为90％～95等，第二预设阈值可设置为5％～10％等，即第一 预设阈值用于衡量目标文本与其他文本数据的类别的相似性，第二预设阈值 用于衡量目标文本与其他文本数据的类别的不相似性。
[0081]
在本实施例中，通过计算文本数据之间的向量相似结果，从而得到目标 文本的正向文本以及负向文本，从而用于构建输入文本对，直接计算文本数 据之间的相似度，即保留了文本原始的意图表示，在构建输入文本对时可以 直观表示出正负向的语义空间，便于提高后续聚类的效果。
[0082]
在本实施例中，作为一种可选的实现方式，,在s10中，从预设的数据库 中获取样本标签数据和样本无标签数据，根据预设的正负向分类方法对样本 标签数据进行分类，得到至少一个输入文本对包括：
[0083]
s111，确定样本标签数据的目标文本以及对应的意图标签，将目标文本 的意图标签作为目标意图标签。
[0084]
s112，通过文本匹配的方式，计算目标意图标签与样本标签数据中的意 图标签的相似度结果，相似度结果大于第一预设阈值的意图标签对应的文本 数据作为正向文本，相似度结果小于第二预设阈值的意图标签对应的文本数 据作为负向文本。
[0085]
s113，将目标文本、正向文本以及负向文本进行组合，得到输入文本对。
[0086]
具体的，通过确定目标文本的意图标签以及样本标签数据其他文本数据 的意图标签，通过文本匹配，将意图标签与目标文本的意图标签为同一类别 的文本数据作为正向文本，不是同一类别的文本数据作为负向文本。
[0087]
其中，根据相似度结果确定两者的意图标签是否是同一类别，具体是， 将相似度结果大于第一预设阈值的文本数据作为正向文本，将相似度结果小 于第二预设阈值的文本数据作为负向文本，具体的，第一预设阈值和第二预 设阈值根据实际需求设定。
[0088]
在本实施例中，基于文本数据的意图标签，确定目标文本的正向文本以 及负向文本，根据意图标签的类别构建输入文本对，在具有已知的意图标签 类别时，有利于提高对语义空间的正负向表征，便于提高后续聚类的效果。
[0089]
在本实施例中，作为一种可选的实现方式，在s20中，将输入文本对输 入到预设好的预训练模型中进行训练，得到初始语义表征模型包括：
[0090]
s201，基于注意力机制构建预训练模型，并构建正向损失函数和负向损 失函数。
[0091]
s202，通过正向损失函数和负向损失函数对预训练模型进行参数调整， 得到初始语义表征模型。
[0092]
具体的，预训练模型的损失函数根据如下公式表示：
[0093]
l(s，s
′
)＝loss
pos
loss
neg
[0094]
loss
pos
＝max(0，δ
pos-cos(g(s)，g(s
′
)))
[0095]
loss
neg
＝max(0，cos(g(s)，g(t))-δ
neg
)
[0096]
其中，loss
pos
表示正向损失函数，loss
neg
表示负向损失函数，g为初始语 义表征模型，s为目标文本，s’是正向文本，t是负向文本，δpos是指正向 损失函数的系数，δneg是指负向损失函数的系数。g(s)表示目标文本输入 到初始语义表征模型得到的语义向量，g(s')表示正向文本输入到初始语义表 征模型得到的语义向量，g(t)表示负向文本输入到初始语义表征模型得到的 语义向量。
[0097]
其中，正向损失函数和负向损失函数用以构建预训练模型的语义空间表 征，得到初始语义表征模型。
[0098]
在本实施例中，通过正向损失函数和负向损失函数训练预训练模型，使 得相同意图标签的文本数据在语义空间可以尽可能地接近，不同意图标签的 文本数量在语义空间的距离尽可能地远离，在根据初始语义表征模型输出的 语义向量进行聚类时，保证了最终的聚类效果，使得聚类簇中的样本的距离 更接近，从而确定每个聚类簇对应的意图标签。
[0099]
在本实施例中，作为一种可选的实现方式，在s40中，根据预设的聚类 方法，对样本标签向量和样本无标签向量进行聚类，得到聚类指数和聚类意 图标签数据包括：
[0100]
s401，根据预设的聚类簇数量，通过k-means聚类方式，对样本标签向 量和样本无标签向量进行聚类，得到至少一个聚类标签簇。
[0101]
s402，根据预设的筛选方式，在聚类标签簇中选择出目标聚类标签簇， 作为聚类意图标签数据，并根据目标聚类标签簇计算聚类指数。
[0102]
具体的，将样本标签向量和样本无标签向量进行聚类，将样本标签向量 中的已知意图标签通过聚类的方式，为样本无标签数据进行意图标签的分类， 从而得出新的意图标签。
[0103]
在本实施例中，通过k-means实现无监督聚类，将样本无标签向量和样 本标签向量进行聚类，得到基于聚类生成的新的意图标签，用于训练初始语 义表征模型，得到语义表征模型，进一步提高识别出未知意图的可能以及准 确程度。
[0104]
在本实施例中，作为一种可选的实现方式，在s70中，通过聚类指数， 根据匈牙利算法，计算预测语义向量与验证语义向量之间的相似度结果，并 根据相似度结果识别待识别文本数据中得到未知意图包括：
[0105]
s701，根据聚类指数，对预测语义向量进行聚类，得到预测聚类结果， 对验证语义向量进行聚类，得到验证聚类结果，其中，预测聚类结果包括预 测聚类簇，验证聚类结果包括验证聚类簇。
[0106]
s702，基于匈牙利算法，计算预测聚类结果与验证聚类结果之间的距离 矩阵，并基于最大匹配算法，识别出预测聚类结果中的未知意图。
[0107]
具体的，分别对预测语义向量和验证语义向量进行聚类，得到预测聚类 结果和验证聚类结果，其中，预测语义向量和验证语义向量都经语义表征模 型进行向量表征，再通过匈牙利算法计算预测聚类结果和验证聚类结果的匹 配结果，识别出待识别文本数据中的未知意图。
[0108]
在本实施例中，通过第一次聚类得到的聚类意图标签训练初始语义表征 模型，得到语义表征模型，用于拉近相似的语义之间的距离，拉远不相似的 语义之间的距离，利于对输出的语义向量的聚类效果，进而提高识别出未知 意图的可能性，在此基础上，有效提高识别出的意图是未知意图的准确性。
[0109]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后， 各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实 施过程构成任何限定。
[0110]
在一实施例中，提供一种意图识别装置，该意图识别装置与上述实施例 中意图识别方法一一对应。如图3所示，该意图识别装置包括数据获取模块 31、初始模型训练模块32、样本向量生成模块33、聚类模块34、表征模型训 练模块35、向量表征模块36和意图识别模块37。各功能模块详细说明如下：
[0111]
数据获取模块31，用于从预设的数据库中获取样本标签数据和样本无标 签数据，根据预设的正负向分类方法对样本标签数据进行分类，得到至少一 个输入文本对。
[0112]
初始模型训练模块32，用于将输入文本对输入到预设的预训练模型中进 行训练，得到初始语义表征模型。
[0113]
样本向量生成模块33，用于将样本标签数据输入到初始语义表征模型， 得到样本标签向量，将样本无标签数据输入到初始语义表征模型，得到样本 无标签向量。
[0114]
聚类模块34，用于根据预设的聚类方法，对样本标签向量和样本无标签 向量进行聚类，得到聚类指数和聚类意图标签数据，其中，聚类意图标签数 据包括聚类文本和聚类意图标签数据。
[0115]
表征模型训练模块35，用于基于聚类指数，通过聚类意图标签数据训练 初始语义表征模型，得到训练好的语义表征模型。
[0116]
向量表征模块36，用于从用户端获取用户输入的待识别文本数据，将待 识别文本数据输入到训练好的语义表征模型，得到预测语义向量，将样本标 签数据输入到训练好的语义表征模型，得到验证语义向量。
[0117]
意图识别模块37，用于通过聚类指数，根据匈牙利算法，计算预测语义 向量与验证语义向量之间的相似度结果，并根据相似度结果识别待识别文本 数据中的未知意图。
[0118]
进一步的，数据获取模块31包括：
[0119]
向量转换单元，用于确定所述样本标签数据中的目标文本，通过向量转 换的方式，计算所述目标文本的目标文本向量和所述样本标签数据的其他文 本数据的文本向量。
[0120]
正负向分类单元，用于计算所述目标文本向量与所述其他文本数量的文 本向量的相似度结果，将相似度结果大于第一预设阈值的文本数据作为正向 文本，将相似度结果小于第二预设阈值的文本数据作为负向文本。
[0121]
文本对生成单元，用于将所述目标文本、所述正向文本以及所述负向文 本进行组成，构成输入文本对。
[0122]
进一步的，数据获取模块31包括：
[0123]
意图确定单元，用于确定样本标签数据的目标文本以及对应的意图标签， 将目标文本的意图标签作为目标意图标签。
[0124]
意图匹配单元，用于通过文本匹配的方式，计算目标意图标签与样本标 签数据中的意图标签的相似度结果，相似度结果大于第一预设阈值的意图标 签对应的文本数据作为正向文本，相似度结果小于第二预设阈值的意图标签 对应的文本数据作为负向文本。
[0125]
文本组成单元，用于将目标文本、正向文本以及负向文本进行组合，得 到输入文本对。
[0126]
进一步的，初始模型训练模块32包括：
[0127]
损失函数构建单元，用于基于注意力机制构建预训练模型，并构建正向 损失函数和负向损失函数。
[0128]
模型构建单元，用于通过正向损失函数和负向损失函数对预训练模型进 行参数调整，得到初始语义表征模型。
[0129]
进一步的，聚类模块34包括：
[0130]
聚类单元，用于根据预设的聚类簇数量，通过k-means聚类方式，对样 本标签向量和样本无标签向量进行聚类，得到至少一个聚类标签簇。
[0131]
聚类指数生成单元，用于根据预设的筛选方式，在聚类标签簇中选择出 目标聚类标签簇，作为聚类意图标签数据，并根据目标聚类标签簇计算聚类 指数。
[0132]
进一步的，意图识别模块37包括：
[0133]
聚类结果单元，用于根据聚类指数，对预测语义向量进行聚类，得到预 测聚类结果，对验证语义向量进行聚类，得到验证聚类结果，其中，预测聚 类结果包括预测聚类簇，验证聚类结果包括验证聚类簇。
[0134]
意图识别单元，用于基于匈牙利算法，计算预测聚类结果与验证聚类结 果之间的距离矩阵，并基于最大匹配算法，识别出预测聚类结果中的未知意 图。
[0135]
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块 /单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定 意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖 不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品 或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出 的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本技术中所 出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另 外的划分方式。
[0136]
关于意图识别装置的具体限定可以参见上文中对于意图识别方法的限定， 在此不再赘述。上述意图识别装置中的各个模块可全部或部分通过软件、硬 件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中 的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处 理器调用执行以上各个模块对应的操作。
[0137]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器， 其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理 器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计 算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。 该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为 非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设 备的数据库用于存储意图识别方法中涉及到的数据。该计算机设备的网络接 口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实 现一种意图识别方法。
[0138]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储 在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实 现上述实施例中意图识别方法的步骤，例如图2所示的步骤s10至步骤s70 及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实 现上述实施例中意图识别装置的各模块/单元的功
能，例如图3所示模块31 至模块37的功能。为避免重复，这里不再赘述。
[0139]
所述处理器可以是中央处理单元(central processing unit，cpu)，还 可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、 专用集成电路(application specific integrated circuit，asic)、现成 可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻 辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是 微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计 算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
[0140]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行 或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器 内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程 序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需 的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储 根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
[0141]
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
[0142]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机 程序，计算机程序被处理器执行时实现上述实施例中意图识别方法的步骤， 例如图2所示的步骤s10至步骤s70及该方法的其它扩展和相关步骤的延伸。 或者，计算机程序被处理器执行时实现上述实施例中意图识别装置的各模块/ 单元的功能，例如图3所示模块31至模块37的功能。为避免重复，这里不 再赘述。
[0143]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储 于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如 上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对 存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失 性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、 电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存 储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非 局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同 步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、 同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram (rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram (rdram)等。
[0144]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以 上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而 将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划 分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0145]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参 照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技 术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱 离本发明各实施例技术方案的精神和范围，均应
包含在本发明的保护范围之 内。