一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

文本搜索意图识别方法、装置、电子设备及存储介质与流程

2022-06-05 03:42:52 来源:中国专利 TAG:


1.本公开涉及计算机互联网技术领域,尤其涉及一种文本搜索意图识别方法、装置、电子设备及存储介质。


背景技术:

2.文本搜索是指由手机、计算机等智能设备上提供的应用程序接收用户输入的搜索文本,并向用户返回搜索结果的过程。因而,如何理解用户搜搜意图,对于返回准确的搜索结果,显得十分重要。
3.在商机内容文本搜索领域,由于搜索内容比较广泛,涉及人、公司、项目、商机、直播、头条等方面,不同的用户,搜索意图不尽相同。与其他领域相比,商机内容搜索领域的用户登录信息维度也相对较多,包含个人、公司、行为、社交等诸多维度信息。另外,对于同一搜索内容,不同用户由于自身属性和行为偏好等原因,其搜索意图也不完全一致,例如,同样是搜索“科技”关键词,偏好看项目的用户其实是想搜索科技项目,而偏好看头条的用户更希望看到科技资讯。
4.显然,目前相关技术中提供的分词 全文检索的搜索方案,难以向用户提供个性化搜索服务,用户体验较差。
5.需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素:

6.本公开提供一种文本搜索意图识别方法、装置、电子设备及存储介质,至少在一定程度上克服相关技术中的文本搜索方案难以向用户提供个性化搜索服务的技术问题。
7.本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
8.根据本公开的一个方面,提供了一种文本搜索意图识别方法,该方法包括:获取目标用户输入的搜索文本,以及目标用户的基本属性信息和行为偏好数据;根据搜索文本,生成文本向量化编码特征;根据目标用户的基本属性信息和行为偏好数据,生成用户向量化编码特征;将文本向量化编码特征和用户向量化编码特征输入到预先练好的意图识别模型中,输出搜索文本的意图识别结果。
9.在一些实施例中,根据搜索文本,生成文本向量化编码特征包括:对搜索文本进行分词,得到包含一个或多个词语的分词列表;根据分词列表,获取至少一个命名实体和至少一个内容标签;根据搜索文本以及搜索文本对应的词语、命名实体和内容标签,生成搜索文本对应的文本向量化编码特征。
10.在一些实施例中,根据目标用户的基本属性信息和行为偏好数据,生成用户向量化编码特征包括:根据目标用户的基本属性信息,生成第一向量;根据目标用户的行为偏好数据,生成第二向量;对第一向量和第二向量进行拼接;将拼接结果输入到预先训练好的文
本卷积神经网络模型中,生成目标用户的用户向量化编码特征。
11.在一些实施例中,本公开实施例中提供的文本搜索意图识别方法还包括:根据目标用户的基本属性信息,生成目标用户的dense特征。
12.在一些实施例中,将文本向量化编码特征和用户向量化编码特征输入到预先练好的意图识别模型中,输出搜索文本的意图识别结果包括:根据文本向量化编码特征和用户向量化编码特征,生成交叉向量编码特征,其中,交叉向量编码特征为文本向量化编码特征和用户向量化编码特征的内积;将文本向量化编码特征、用户向量化编码特征、交叉向量编码特征以及目标用户的dense特征,输入到预先练好的意图识别模型中,输出搜索文本的意图识别结果。
13.在一些实施例中,本公开实施例中提供的文本搜索意图识别方法还包括:获取样本数据,其中,样本数据中包括多个用户输入搜索文本时获取到的dense特征、文本向量化编码特征、用户向量化编码特征、交叉向量编码特征以及对应的意图标签;根据样本数据,对预先搭建的深度神经网络分类模型进行训练,得到意图识别模型,其中,深度神经网络分类模型包括:一个深度神经网络和多个二分类神经网络,其中,二分类神经网络的数量等于意图个数。
14.在一些实施例中,意图识别结果包括:一个或多个意图分类,以及搜索文本属于每个意图分类的概率。
15.根据本公开的另一个方面,还提供了一种文本搜索意图识别装置,包括:数据获取模块,用于获取目标用户输入的搜索文本,以及目标用户的基本属性信息和行为偏好数据;数据处理模块,用于根据搜索文本,生成文本向量化编码特征;根据目标用户的基本属性信息和行为偏好数据,生成用户向量化编码特征;搜索意图识别模块,用于将文本向量化编码特征和用户向量化编码特征输入到预先练好的意图识别模型中,输出搜索文本的意图识别结果。
16.根据本公开的另一个方面,还提供了一种电子设备,该电子设备包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项文本搜索意图识别方法。
17.根据本公开的另一个方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意一项的文本搜索意图识别方法。
18.本公开的实施例所提供的文本搜索意图识别方法、装置、电子设备及存储介质,通过机器学习训练一个多分类的意图识别模型,结合用户的基本属性信息和行为偏好数据,对用户输入的搜索文本进行意图识别,能够准确识别出不同用户的搜索意图,更精准地定位搜索结果,提供个性化服务。
19.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
这些附图获得其他的附图。
21.图1示出本公开实施例中一种文本搜索意图识别系统架构示意图;
22.图2示出本公开实施例中一种文本搜索意图识别方法流程图;
23.图3示出本公开实施例中一种对搜索文本进行编码的流程图;
24.图4示出本公开实施例中一种对用户信息进行编码的流程图;
25.图5示出本公开实施例中一种意图识别模型示意图;
26.图6示出本公开实施例中一种意图识别模型的训练流程图;
27.图7示出本公开实施例中一种搜索意图识别流程图;
28.图8示出本公开实施例中一种文本搜索意图识别装置示意图;
29.图9示出本公开实施例中一种电子设备的结构框图;
30.图10示出本公开实施例中一种计算机存储介质示意图。
具体实施方式
31.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
32.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
33.为便于理解,在介绍本公开实施例之前,首先对本公开实施例中涉及到的几个名词进行解释如下:
34.word2vec:也称为word to vector,可以根据给定的语料库,通过优化后的训练模型快速有效地将一个词语表达成向量形式。
35.bert:全称为bidirectional encoder representations from transformers,利用大规模无标注语料训练、获得文本的语义表示,将文本的语义表示在特定的自然语言处理(natural language processing,nlp)任务中进行微调,可应用于该nlp任务。
36.bilstm:全称为bidirectional long short-term memory,由前向lstm(long short-term memory,长短期记忆)与后向lstm组合而成。
37.bigru:全称为bidirectional gating recurrent unit,双向门控循环单元。
38.textcnn:全称为text convolutional neural network,即基于卷积神经网络的文本分类模型。
39.hadamard积:即哈达玛积,是矩阵的一类运算,若a=(aij)和b=(bij)是两个同阶矩阵,若cij=aij
×
bij,则称矩阵c=(cij)为a和b的哈达玛积,或称基本积。
40.dnn:全称为deep neural network,即深度神经网络。
41.dense特征:即稠密特征,大多数取值为非零的一种特征,如年龄特征为32,性别为[1、0]或者[0、1]。
[0042]
下面结合附图,对本公开实施例的具体实施方式进行详细说明。
[0043]
图1示出了可以应用于本公开实施例的文本搜索意图识别方法或文本搜索意图识别装置的示例性系统架构的示意图。
[0044]
如图1所示,该系统架构包括终端设备101、网络102和服务器103。
[0045]
网络102用以在终端设备101和服务器103之间提供通信链路的介质,可以是有线网络,也可以是无线网络。
[0046]
可选地,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网,但也可以是任何网络,包括但不限于局域网(local area network,lan)、城域网(metropolitan area network,man)、广域网(wide area network,wan)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(hyper text mark-up language,html)、可扩展标记语言(extensible markuplanguage,xml)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(secure socket layer,ssl)、传输层安全(transport layer security,tls)、虚拟专用网络(virtual private network,vpn)、网际协议安全(internet protocolsecurity,ipsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
[0047]
终端设备101可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、增强现实设备、虚拟现实设备等。
[0048]
可选地,不同的终端设备101中安装的应用程序的客户端是相同的,或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同,该应用程序的客户端的具体形态也可以不同,比如,该应用程序客户端可以是手机客户端、pc客户端等。
[0049]
服务器103可以是提供各种服务的服务器,例如对用户利用终端设备101所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理,并将处理结果反馈给终端设备。
[0050]
可选地,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。
[0051]
本领域技术人员可以知晓,图1中的终端设备、网络和服务器的数量仅仅是示意性的,根据实际需要,可以具有任意数目的终端设备、网络和服务器。本公开实施例对此不作限定。
[0052]
在上述系统架构下,本公开实施例中提供了一种文本搜索意图识别方法,该方法可以由任意具备计算处理能力的电子设备执行。
[0053]
在一些实施例中,本公开实施例中提供的文本搜索意图识别方法可以由上述系统架构的终端设备执行;在另一些实施例中,本公开实施例中提供的文本搜索意图识别方法可以由上述系统架构中的服务器执行;在另一些实施例中,本公开实施例中提供的文本搜索意图识别方法可以由上述系统架构中的终端设备和服务器通过交互的方式来实现。
[0054]
图2示出本公开实施例中一种文本搜索意图识别方法流程图,如图2所示,本公开实施例中提供的文本搜索意图识别方法包括如下步骤:
[0055]
s202,获取目标用户输入的搜索文本,以及目标用户的基本属性信息和行为偏好数据。
[0056]
需要说明的是,上述s202中的搜索文本可以是用户通过各类应用输入的文本形式的搜索内容,可选地,这些搜索文本也可以是由用户输入的语音内容转换后的文本内容。上述基本属性信息可以是反映不同用户属性的一些信息,包括但不限于用户的年龄、性别以及用户所处的行业、地域等信息;上述行为偏好数据可以是根据用户历史搜索行为数据确定的,也可以是根据一些能够反映用户偏好的其他操作行为数据(包括但不限于对各类应用中的内容进行浏览、点击、收藏、转发等)确定的。
[0057]
例如,某个用户搜索过“山东有什么好的母婴项目”,“北京医疗科技项目”,则该用户的搜索行为偏好数据可以有“山东”、“母婴”、“北京”、“医疗”、“科技”等。
[0058]
当用户对某些项目、直播、资讯、商机等有过浏览、点击、收藏、转发等操作行为后,将这些项目、直播、资讯、商机等的关键词集合作为用户的操作行为偏好数据。例如,某个用户看过一个的项目a有关键词“农业”和“无人机”,还看过一个直播“农业”和“科技”,则该用户的行为偏好数据可包括:“农业”、“无人机”、“科技”。
[0059]
s204,根据搜索文本,生成文本向量化编码特征。
[0060]
需要说明的是,上述文本向量化编码特征可以是对搜索文本进行向量化处理和编码处理后得到的数据。可选地,向量化处理可采用但不限于word2vec模型或bert模型来实现;而编码处理可采用但不限于bilstm、bigru等神经网络模型来实现。
[0061]
在一些实施例中,上述s204具体可通过如下步骤来实现:对搜索文本进行分词,得到包含一个或多个词语的分词列表;根据分词列表,获取至少一个命名实体和至少一个内容标签;根据搜索文本以及搜索文本对应的词语、命名实体和内容标签,生成搜索文本对应的文本向量化编码特征。
[0062]
在具体实施时,可基于预先构建的分词词典,对搜索文本进行分词,得到搜索文本对应的词语;基于预先构建的实体词典,根据搜索文本对应的词语确定搜索文本对应的命名实体;基于预先构建的内容标签词典,根据搜索文本对应的词语确定搜索文本对应的内容标签。使用词向量模型对分词列表和搜索文本的全文本内容进行词向量编码,对搜索文本的全文文本进行向量化处理,得到搜索文本对应的全文文本特征,所有词向量的维度保持一致。
[0063]
s206,根据目标用户的基本属性信息和行为偏好数据,生成用户向量化编码特征。
[0064]
在一些实施例中,上述s206具体可通过如下步骤来实现:根据目标用户的基本属性信息,生成第一向量;根据目标用户的行为偏好数据,生成第二向量;对第一向量和第二向量进行拼接;将拼接结果输入到预先训练好的文本卷积神经网络模型中,生成目标用户的用户向量化编码特征。
[0065]
需要说明的是,本公开实施例中的文本卷积神经网络模型可以是预先通过机器学习对文本卷积神经网络进行训练的一个模型,将用户的特征向量输入给模型,能够输出用户的用户向量化编码特征。
[0066]
s208,将文本向量化编码特征和用户向量化编码特征输入到预先练好的意图识别
模型中,输出搜索文本的意图识别结果。
[0067]
需要说明的是,上述意图识别模型可以是通过机器学习对预先搭建好的网络模型进行训练得到的一个能够根据文本向量化编码特征和用户向量化编码特征对搜索文本进行意图识别的模型。
[0068]
在一些实施例中,本公开实施例中提供的文本搜索意图识别方法还包括如下步骤:根据目标用户的基本属性信息,生成目标用户的dense特征。
[0069]
因而,上述s208具体可通过如下步骤来实现:根据文本向量化编码特征和用户向量化编码特征,生成交叉向量编码特征,其中,交叉向量编码特征为文本向量化编码特征和用户向量化编码特征的内积;将文本向量化编码特征、用户向量化编码特征、交叉向量编码特征以及目标用户的dense特征,输入到预先练好的意图识别模型中,输出搜索文本的意图识别结果。
[0070]
本公开实施例中,根据用户基本属性信息提取dense特征和向量化特征,根据用户行为偏好数据的向量化特征,获取得到搜索和操作行为标签,如【搜索内容关键词1,搜索内容关键词2,操作内容关键词1,操作内容关键词2】,关于搜索内容和操作内容关键词的数量可以按照实际需要进行选择,也可以考虑根据不同标签出现的频次和先后顺序进行获取,然后使用textcnn等神经网络模型对行为偏好特征进行编码,得到用户向量化编码特征。
[0071]
在一些实施例中,在执行上述s208之前,本公开实施例中提供的文本搜索意图识别方法还包括如下步骤:获取样本数据,其中,样本数据中包括多个用户输入搜索文本时获取到的dense特征、文本向量化编码特征、用户向量化编码特征、交叉向量编码特征以及对应的意图标签;根据样本数据,对预先搭建的深度神经网络分类模型进行训练,得到意图识别模型,其中,深度神经网络分类模型包括:一个深度神经网络和多个二分类神经网络,其中,二分类神经网络的数量等于意图个数。该实施例中,利用多个二分类神经网络,能够实现多类意图的识别。
[0072]
在一些实施例中,上述s208输出的意图识别结果可包括:一个或多个意图分类,以及搜索文本属于每个意图分类的概率。
[0073]
图3示出本公开实施例中一种对搜索文本进行编码的流程图,如图3所示,具体包括:
[0074]
s302,获取用户输入的搜索文本;
[0075]
s304,对搜索文本进行分词;
[0076]
s306,根据分词结果获取词语、实体和内容标签;
[0077]
s308,对搜索文本、词语、实体和内容标签进行向量化;
[0078]
s310,根据bilstm和textcnn分别对词语、实体和内容标签进行编码;
[0079]
s312,输出搜索文本、分词、实体和内容标签的特征编码。
[0080]
在具体实施时,首先对用户输入的搜索文本进行分词处理,得到文本分词列表,根据分词列表获取至少一个实体(即预先使用训练好的命名实体识别模型从历史搜索文本中提取得到的词语)和至少一个内容标签(即根据行业词库预先设置好的词语,例如,“母婴”、“生鲜”等)。
[0081]
然后,对搜索文本包括分词列表、全文本、实体和内容标签的所有特征进行向量化表征。根据事先构建好的分词、实体和内容标签词向量词典,形式如{“科技”:embedding1,“农业”:embedding2...},使用前向最大匹配算法进行匹配,得到由搜索文本拆分而成的词语、实体和内容标签,及其相对应的词向量。此处的实体可包含3类,即人、公司、项目,分别如“张三”、“a科技公司”、“x应用”。使用词向量模型对分词列表和全文本内容进行词向量编码,对全文文本向量化得到全文文本特征,所有词向量的维度保持一致。这里词向量模型可以是word2vec模型,也可以是如bert等的预训练词向量模型。
[0082]
最后,对搜索文本分词列表使用神经网络模型(如bilstm或bigru)进行特征提取得到分词特征,获取搜索文本的词向量表达,将人、公司、项目实体和内容标签按照顺序和固定数量组成列表,例如【人1,公司1,项目1,内容标签1,内容标签2】,对列表使用神经网络模型(如textcnn)进行特征编码,得到搜索文本、分词、实体和内容标签的特征编码。
[0083]
图4示出本公开实施例中一种对用户信息进行编码的流程图,如图4所示,具体包括:
[0084]
s402,获取用户标识(例如,用户id);
[0085]
s404,根据用户标识获取基本属性信息和行为偏好数据;
[0086]
s406,获取基本属性信息的dense特征信息;
[0087]
s408,对基本属性信息和行为偏好数据进行向量拼接,并通过textcnn对向量拼接结果进行编码,得到向量化编码特征信息;
[0088]
s410,输出dense特征信息和向量化编码特征信息。
[0089]
在具体实施时,根据某个用户的用户标识获取该用户的基本属性信息和行为偏好信息。本公开实施例中用户的基本属性信息可包括但不限于:用户所处行业、地域、性别等信息,行为偏好数据可包括但不限于:用户的搜索行为偏好数据和操作行为偏好数据,操作行为包括但不限于:观看、点击、收藏、转发等。用户的搜索行为偏好数据可以是用户的历史搜索的关键词,如用户搜索过“山东有什么好的母婴项目”,“北京医疗科技项目”则用户的搜索行为偏好即有“山东”,“母婴”,“北京”,“医疗”,“科技”。用户的操作行为偏好数据可以是对哪些项目、直播、资讯、商机等有过上述操作行为,则这些项目、直播、资讯、商机等的关键词集合即为该用户的操作行为偏好数据。例如用户看过一个项目a有关键词“农业”和“无人机”,也看过一个直播“农业”和“科技”,则该用户的行为偏好即为[“农业”,“无人机”,“科技”]。
[0090]
对用户的基本属性信息和行为偏好数据进行向量表征,得到基本属性信息和行为偏好数据的dense特征信息和向量化特征信息,基本属性信息和行为偏好数据在向量化过程中保持向量维度与上述向量的维度一致,dense特征为稠密特征,大多数取值为非零的一种特征,如年龄特征为32,性别为[1、0]或者[0、1]。根据用户基本属性信息提取dense特征信息和向量化特征信息,根据用户行为偏好数据的向量化特征,获取得到搜索和操作行为标签,如【搜索内容关键词1,搜索内容关键词2,操作内容关键词1,操作内容关键词】,关于搜索内容和操作内容关键词的数量可以按照需要选择,也可以考虑根据不同标签出现的频次和先后顺序进行获取,使用神经网络(如textcnn)模型对向量拼接结果进行编码。
[0091]
图5示出本公开实施例中一种意图识别模型示意图,如图5所示,搭建dnn网络分类模型,将所有的dense类特征、向量化编码特征和交叉向量编码特征作为输入,在输入之后接入一个多层的dnn神经网络(网络层数和每层的节点个数可以自定义,如3层节点数为[1024、512、256]),对输入特征进行编码,得到的输出编码结果作为下一部分的输入,在下
一部分搭建多个二分类神经网络,个数对应意图个数,二分类神经网络结构可以完全一致,每个网络最后一层都需要接一个全连接层或者softmax来判断是否为该类意图的概率。即多个二分类神经网络共享相同的特征输入。
[0092]
对于用户信息的向量化编码特征和搜索文本的向量化编码特征,可通过product layer进行交叉,得到交叉向量特征,如用户端有个2个待交叉向量,搜索文本端有3个向量,则需要计算2
×
3=6次交叉,product layer可以采用向量内积,hadamard等方式进行计算,product layer层获取到的特征编码也作为意图识别模型的特征输入。内积的方式如w1=[1、2、1]、w2=[3、5、1]、则两个向量w1和w2的内积=1
×
3 2
×
5 1
×
1=14为一个标量、hadamard(w1
×
w2)=[1
×
3、2
×
5、1
×
1]=[3、10、1]仍然为一个同维度的向量。
[0093]
图6示出本公开实施例中一种意图识别模型的训练流程图,如图6所示,具体包括:
[0094]
s602,获取搜索文本、用户标识和意图标签;
[0095]
s604,对数据样本进行处理,生成训练和测试样本集;
[0096]
s606,对数据集进行特征编码获取组合特征编码;
[0097]
s608,构建意图识别模型,对训练集样本进行意图识别;
[0098]
s610,根据意图识别结果和训练数据集的标签,调整参数模型;
[0099]
s612,迭代训练过程,直到模型参数收敛,得到最终意图识别模型。
[0100]
在具体实施时,可根据分类模型得到多个意图识别结果,基于标签数据,确定每个二分类网络的损失值,基于多个二分类网络的损失值,最小化该损失值之和,调整得到整个分类模型的参数。
[0101]
关于正负样本的选择和构建:正负样本可以通过两部分来进行构建,一部分通过用户搜索日志来进行构建,另一部分通过实体和内容标签进行构建。通过日志构建即用户搜索文本的实际意图与模型识别的意图是一致的,则该样本作为实际意图二分类模型的正样本,该样本作为其他意图二分类模型的负样本。在具体实施时,可通过实体和内容标签进行构建样本,即通过实体、内容标签、实体与内容标签组合来构建样本,如“x应用”为项目意图的正样本,“苹果电脑”为头条资讯类意图,“张三”和“x应用”即为项目类意图。在得到样本的过程中保证正负样本的比例均衡,防止数据不均衡导致的模型效果较差。
[0102]
图7示出本公开实施例中一种搜索意图识别流程图,如图7所示,具体包括:
[0103]
s702,获取搜索文本、用户标识;
[0104]
s704,根据搜索文本获取分词、实体和内容标签;
[0105]
s706,根据用户标识获取基本属性信息和行为偏好数据;
[0106]
s708,对搜索文本、词语、实体和内容标签进行向量化并编码;
[0107]
s710,对用户的基本属性信息和行为偏好数据进行向量化并编码;
[0108]
s712,将搜索文本编码特征和用户编码特征输入训练好的意图识别模型;
[0109]
s714,根据意图识别模型得到意图识别结果。
[0110]
在具体实施时,根据用户标识获取对应的基本属性信息和行为偏好数据,进行向量化表征和特征编码得到输入特征,通过分类模型得到每个意图的概率,即代表属于该意图分类的强度,对每个意图的二分类网络设定一个强度阈值,若某个二分类网络识别结果高于强度阈值则作为结果输出,输出结果形式为[(意图一,0.8)、(意图二,0.66)、(意图四,0.62)]。
[0111]
基于同一发明构思,本公开实施例中还提供了一种文本搜索意图识别装置,如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似,因此该装置实施例的实施可以参见上述方法实施例的实施,重复之处不再赘述。
[0112]
图8示出本公开实施例中一种文本搜索意图识别装置示意图,如图8所示,该装置包括:数据获取模块81、数据处理模块82和搜索意图识别模块83。
[0113]
其中,数据获取模块81,用于获取目标用户输入的搜索文本,以及目标用户的基本属性信息和行为偏好数据;数据处理模块82,用于根据搜索文本,生成文本向量化编码特征;根据目标用户的基本属性信息和行为偏好数据,生成用户向量化编码特征;搜索意图识别模块83,用于将文本向量化编码特征和用户向量化编码特征输入到预先练好的意图识别模型中,输出搜索文本的意图识别结果。
[0114]
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0115]
在一些实施例中,上述数据处理模块82还用于:对搜索文本进行分词,得到包含一个或多个词语的分词列表;根据分词列表,获取至少一个命名实体和至少一个内容标签;根据搜索文本以及搜索文本对应的词语、命名实体和内容标签,生成搜索文本对应的文本向量化编码特征。
[0116]
在一些实施例中,上述数据处理模块82还用于:根据目标用户的基本属性信息,生成第一向量;根据目标用户的行为偏好数据,生成第二向量;对第一向量和第二向量进行拼接;将拼接结果输入到预先训练好的文本卷积神经网络模型中,生成目标用户的用户向量化编码特征。
[0117]
在一些实施例中,上述数据处理模块82还用于:根据目标用户的基本属性信息,生成目标用户的dense特征。
[0118]
在一些实施例中,上述搜索意图识别模块83还用于:根据文本向量化编码特征和用户向量化编码特征,生成交叉向量编码特征,其中,交叉向量编码特征为文本向量化编码特征和用户向量化编码特征的内积;将文本向量化编码特征、用户向量化编码特征、交叉向量编码特征以及目标用户的dense特征,输入到预先练好的意图识别模型中,输出搜索文本的意图识别结果。
[0119]
在一些实施例中,如图8所示,本公开实施例中提供的文本搜索意图识别装置还包括:意图识别模型训练模块84,用于获取样本数据,其中,样本数据中包括多个用户输入搜索文本时获取到的dense特征、文本向量化编码特征、用户向量化编码特征、交叉向量编码特征以及对应的意图标签;根据样本数据,对预先搭建的深度神经网络分类模型进行训练,得到意图识别模型,其中,深度神经网络分类模型包括:一个深度神经网络和多个二分类神经网络,其中,二分类神经网络的数量等于意图个数。
[0120]
在一些实施例中,上述搜索意图识别模块83输出的意图识别结果包括:一个或多个意图分类,以及搜索文本属于每个意图分类的概率。
[0121]
综上所述,本公开的实施例所提供的文本搜索意图识别方法和装置,结合用户的基本属性信息和行为偏好数据,识别用户输入搜索文本的意图,能够提供个性化的搜索意图识别,准确识别不同用户的搜索意图,提供更加个性化的内容或产品推荐。将本公开实施
例中提供的文本搜索意图识别方法应用于各类app中,识别用户搜索文本的真实意图,能够进一步提升意图识别的准确性,精准地定位搜索结果。
[0122]
通过本公开实施例,能够实现但不限于如下技术效果:

同时进行多个搜索意图的识别;

较好地衡量不同分类结果,使得结果更有可比性;

加强特征的表达能力,使得意图分类准确率更高;

考虑到不同用户的个体差异,使得推荐更加个性化。
[0123]
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
[0124]
下面参照图9来描述根据本公开的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
[0125]
如图9所示,电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于:上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。
[0126]
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元910执行,使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元910可以执行上述方法实施例的如下步骤:获取目标用户输入的搜索文本,以及目标用户的基本属性信息和行为偏好数据;根据搜索文本,生成文本向量化编码特征;根据目标用户的基本属性信息和行为偏好数据,生成用户向量化编码特征;将文本向量化编码特征和用户向量化编码特征输入到预先练好的意图识别模型中,输出搜索文本的意图识别结果。
[0127]
存储单元920可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(ram)9201和/或高速缓存存储单元9202,还可以进一步包括只读存储单元(rom)9203。
[0128]
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204,这样的程序模块9205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0129]
总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0130]
电子设备900也可以与一个或多个外部设备940(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备900交互的设备通信,和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口950进行。并且,电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0131]
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施
方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
[0132]
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质可以是可读信号介质或者可读存储介质。图10示出本公开实施例中一种计算机存储介质示意图,如图10所示,该计算机存储介质100上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
[0133]
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0134]
在本公开中,计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0135]
可选地,计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任意合适的组合。
[0136]
在具体实施时,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0137]
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0138]
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
[0139]
通过以上实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方
式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
[0140]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献