一种基于短语边界的关键信息匹配方法、装置及存储介质与流程

1.本发明属于关键信息匹配的技术领域，具体涉及一种基于短语边界的关键信息匹配方法、装置及存储介质。


背景技术：

2.随着互联网技术的迅速普及，互联网应用也蓬勃发展。高质量的内容不断涌现，越来越多的网民享受着互联网带来的便利。但同时，互联网的便捷性也成了不法分子传播非法信息的重要渠道。比如在网络中发布大量虚假信息，使用低俗等违禁用语，严重危害广大网民安全和用户体验。如何对不良违禁用语、违禁物品等关键短语信息进行精准匹配和处理成为了越来越多网络应用程序所需要解决的问题。
3.在现阶段的研究当中，常见的关键短语匹配方法有两种，一种是基于精准匹配的方法，另一种是基于分词匹配的方法；基于精准匹配的方法，即通过一个窗口大小和关键短语大小一致，滑窗遍历待检测的全文，通过比对出现在滑窗中的内容与关键短语是否一致进行匹配判断，但是这种方法虽然能够保证召回，无法解决精度问题，与目标短语相同的相邻的字词组合都会被匹配，会有较多被误识别的短语；另一种基于分词匹配的方法，即使用现有的分词框架对目标进行分词或者对待检测全文进行分词，然后在对分词结果进匹配，这种方法虽然能够提升匹配的精度，但受到现有分词算法对于未登陆词、多歧义嵌套短语以及长实体短语的分词效果差，会将目标短语分成多个短语等问题，直接影响了这类短语匹配结果，导致无法匹配到关键短语的现象时有发生。所以这种方法同样存在明显局限性和不足。
4.因而，现有的相关技术在关键信息匹配应用中存在以下不足：基于精准匹配的方法没有分析上下文的语义信息，得到的匹配结果可能在目标语境下并非是短语；基于现有分词匹配的方法在面对未登陆词时，由于无法正确分词导致无法正确匹配关键短语。
5.本发明的技术方案就是针对如上所述现有关键短语匹配存在的不足及现有研究技术存在的问题，提出了一种有效的基于短语边界的关键信息匹配方法、装置及存储介质，是非常有意义的。


技术实现要素：

6.为了解决现有关键短语匹配存在基于精准匹配的方法没有分析上下文的语义信息，得到的匹配结果可能在目标语境下并非是短语；基于现有分词匹配的方法在面对未登陆词时，由于无法正确分词导致无法正确匹配关键短语等不足和缺陷的问题，本发明提供一种基于短语边界的关键信息匹配方法、装置及存储介质，以解决上述存在的技术缺陷问题。
7.第一方面，本发明提出了一种基于短语边界的关键信息匹配方法，该方法包括如下步骤：
8.s1、获取训练数据集，基于获取的所述训练数据集构建短语边界识别模型，并进行
模型的训练；
9.s2、获取文本数据，导入所述短语边界识别模型将所述文本数据切分成短语；
10.s3、从所述文本数据的文本切分结果中匹配出目标短语。
11.优选的，在s1中所述短语边界识别模型基于bilstms crf算法模型构建。
12.进一步优选的，训练数据的构建包括：
13.s11、对训练数据进行分词处理，得到初步分词的结果；
14.s12、进一步根据语境进行分词结果校正和短语边界标注；
15.s13、得到以短语边界为标注点的训练数据集。
16.进一步优选的，在s1中模型的训练具体包括：
17.s14、以字为文本节点对目标文本进行切分，得到字集合w＝{w1,w2,
…
,wn}；
18.s15、进一步选择和构建预训练模型，从中获取得到字的分布表示
19.s16、通过构建bi-lstms层来获取目标文本的上下文信息，得到文本节点的表示xw：
[0020][0021][0022][0023]
其中，θ
lstm
是bi-lstms的参数。
[0024]
进一步优选的，还包括引入crf层自动学习约束，具体步骤如下：
[0025]
s21、将bi-lstms提取得到特征矩阵p
mn
作为crf层的输入，其中p
ij
代表xi到标签yj的非归一化概率，n为标签的类别数；
[0026]
s22、进一步由crf层输出相应的边界信息y∈(b-words,m-words,e-words,s)；
[0027]
s23、根据边界信息的标签类型，进行短语切分，得到文本的短语切分结果s。
[0028]
优选的，还包括：s4、将短语切分结果按字数长度进行区分存放，将同字数长度的短语存放在同一个集合中，通过判断目标短语的长度选择匹配集合。
[0029]
进一步优选的，具体包括：
[0030]
s41、获取切分结果s中短语的长度li(i∈(1,2,...,n)，其中n为s中短语数量；
[0031]
s42、根据不同的字数长度li将s中的短语存储到不同的子集合w中，同一个集合中的短语字数保持相同；
[0032]
s43、获取目标短语的长度判断是否存在存储短语字数长度为的短语集合若不存在返回目标短语未匹配成功信息，若存在继续步骤s44；
[0033]
s44、将目标短语与短语集合中的短语进行匹配，若成功，返回短语位置信息，否则返回目标短语未匹配成功信息。
[0034]
第二方面，本发明实施例还公开了一种基于短语边界的关键信息匹配装置，包括：
[0035]
获取单元：用于获取训练数据集、文本数据；
[0036]
构建单元：用于基于获取的所述训练数据集构建短语边界识别模型，构建训练数据；
[0037]
训练单元：用于对构建的短语边界识别模型进行训练；
[0038]
切分单元：用于将所述文本数据切分成短语；
[0039]
匹配单元：用于从所述文本数据的文本切分结果中匹配出目标短语。
[0040]
第三方面，本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
[0041]
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0042]
与现有技术相比，本发明的有益成果在于：
[0043]
(1)通过本发明方案的关键短语匹配方法，在进行短语匹配时，不仅充分考虑分析上下文的语义信息，得到更精准的短语边界信息，有效排除目标语境下非短语的匹配结果。
[0044]
(2)通过构建短语边界识别模型使得本方案不依赖于现有分词框架及其分词效果，能够有效解决当前分词算法对于未登陆词、多歧义嵌套短语以及长实体短语的分词效果差的问题，本发明的优越性可以在不良违禁用语、违禁物品等关键短语信息匹配和处理时有着广阔的市场和运用。
附图说明
[0045]
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
[0046]
图1是本发明的一个实施例可以应用于其中的示例性装置架构图；
[0047]
图2为本发明的实施例的基于短语边界的关键信息匹配方法的流程示意图；
[0048]
图3为本发明的实施例的基于短语边界的关键信息匹配方法的流程示意图整体流程示意图；
[0049]
图4为本发明的实施例的基于短语边界的关键信息匹配方法中文本节点表示学习示意图；
[0050]
图5为本发明的实施例的基于短语边界的关键信息匹配方法中短语边界识别模型的示意图；
[0051]
图6为本发明的实施例的基于短语边界的关键信息匹配方法中短语匹配过程的示意图；
[0052]
图7为本发明的实施例的基于短语边界的关键信息匹配系统的流程示意图；
[0053]
图8是适于用来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
[0054]
在以下详细描述中，参考附图，该附图形成详细描述的一部分，并且通过其中可实践本发明的说明性具体实施例来示出。对此，参考描述的图的取向来使用方向术语，例如“顶”、“底”、“左”、“右”、“上”、“下”等。因为实施例的部件可被定位于若干不同取向中，为了图示的目的使用方向术语并且方向术语绝非限制。应当理解的是，可以利用其他实施例或可以做出逻辑改变，而不背离本发明的范围。因此以下详细描述不应当在限制的意义上被采用，并且本发明的范围由所附权利要求来限定。
[0055]
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0056]
图1示出了可以应用本发明实施例的用于处理信息的方法或用于处理信息的装置的示例性系统架构100。
[0057]
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0058]
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0059]
终端设备101、102、103可以是具有通信功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0060]
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的校验请求信息进行处理的后台信息处理服务器。后台信息处理服务器可以对接收到的校验请求信息进行分析等处理，并得到处理结果(例如用于表征校验请求为合法请求的校验成功信息)。
[0061]
需要说明的是，本发明实施例所提供的用于处理信息的方法一般由服务器105执行，相应地，用于处理信息的装置一般设置于服务器105中。另外，本发明实施例所提供的用于发送信息的方法一般由终端设备101、102、103执行，相应地，用于发送信息的装置一般设置于终端设备101、102、103中。
[0062]
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或多个软件模块，在此不做具体限定。
[0063]
据中国互联网信息中心报道，截止2020年底，我国网民规模达到9.89亿，互联网普及率达70.4％。随着互联网技术的迅速普及，互联网应用也蓬勃发展。高质量的内容不断涌现，越来越多的网民享受着互联网带来的便利。但同时，互联网的便捷性也成了不法分子传播非法信息的重要渠道。比如在网络中发布大量虚假信息，使用低俗等违禁用语，严重危害广大网民安全和用户体验。如何对不良违禁用语、违禁物品等关键短语信息进行精准匹配和处理成为了越来越多网络应用程序所需要解决的问题。因此急需提出一种智能的处理办法。
[0064]
在现阶段的研究当中，常见的关键短语匹配方法有两种，一种是基于精准匹配的
方法，另一种是基于分词匹配的方法；基于精准匹配的方法，即通过一个窗口大小和关键短语大小一致，滑窗遍历待检测的全文，通过比对出现在滑窗中的内容与关键短语是否一致进行匹配判断，但是这种方法虽然能够保证召回，无法解决精度问题，与目标短语相同的相邻的字词组合都会被匹配，会有较多被误识别的短语；另一种基于分词匹配的方法，即使用现有的分词框架对目标进行分词或者对待检测全文进行分词，然后在对分词结果进匹配，这种方法虽然能够提升匹配的精度，但受到现有分词算法对于未登陆词、多歧义嵌套短语以及长实体短语的分词效果差，会将目标短语分成多个短语等问题，直接影响了这类短语匹配结果，导致无法匹配到关键短语的现象时有发生。所以这种方法同样存在明显局限性和不足。
[0065]
现有的相关技术在关键信息匹配应用中存在以下不足：
[0066]
1)基于精准匹配的方法没有分析上下文的语义信息，得到的匹配结果可能在目标语境下并非是短语。如：搜索军衔“上将”，匹配到了“学校明天早上将组织升旗仪式”中的“上将”，明显并非我们所是我们预期的结果。
[0067]
2)基于现有分词匹配的方法在面对未登陆词时，由于无法正确分词导致无法正确匹配关键短语。如：搜索电影名称“老炮儿”，由于分词算法将待检测目标句子“电影老炮儿即将上映”分成“电影/老炮/儿/即将/上映”，在对分词结果进行匹配时便无法检索到“老炮儿”；在面对多词组成的嵌套短语时同样也存在该问题，如：搜索酒店“七天酒店”时，分词算法容易会将“晚上入住七天酒店”分成“晚上/入住/七天/酒店”从而导致搜索不到“七天酒店”，而在当前语境中将“七天酒店”视为一个短语明显更加合适。
[0068]
为解决如上所述现有关键短语匹配技术中存在的明显不足和缺陷。本发明提出一种有效的基于短语边界的关键信息匹配方法，该方法通过学习目标文本的上下文信息，先结合语境对目标文本中的短语边界进行识别，在边界识别结果基础上对短语进行准确切分后进行信息匹配，从而解决现有技术中存在的不足。
[0069]
第一方面，图2示出了本发明的实施例公开了一种基于短语边界的关键信息匹配方法的流程示意图，如图2和图3所示，该方法包括如下步骤：
[0070]
s1、获取训练数据集，基于获取的所述训练数据集构建短语边界识别模型，并进行模型的训练；
[0071]
其中，构建短语边界识别模型的目的是解决现有分词算法对于未登陆词、多歧义嵌套短语以及长实体短语的分词效果差的问题，该模型利用上下文语境信息来识别更加精准的短语边界信息。
[0072]
具体的，在s1中所述短语边界识别模型基于bilstms crf算法模型构建。在其他实施例中，也可以采用crf，bilstms softmax，bilstms crf等等算法模型构建短语边界识别模型。
[0073]
其中，训练数据的构建包括：
[0074]
s11、对训练数据进行分词处理，得到初步分词的结果；
[0075]
s12、进一步根据语境进行分词结果校正和短语边界标注；
[0076]
s13、得到以短语边界为标注点的训练数据集。
[0077]
具体的，对训练数据进行标注，与现有以词语边界为标注点的方法不同的是，本方案以短语边界为标注点，如“晚上入住七天酒店”应当标注成“晚上/入住/七天酒店”。
[0078]
首先，对训练数据进行分词处理，得到初步分词结果。其次，在根据语境进行分词结果校正和短语边界标注。如：通过分词将“晚上入住七天酒店”分成“晚上/入住/七天/酒店”后，在根据语境得知“七天酒店”为机构名称短语，故将标注结果校正为：“晚上/入住/七天酒店”。最终，得到以短语边界为标注点的训练数据集。
[0079]
进一步的，在s1中模型的训练具体包括：
[0080]
s14、以字为文本节点对目标文本进行切分，得到字集合w＝{w1,w2,
…
,wn}；
[0081]
s15、进一步选择和构建预训练模型，从中获取得到字的分布表示
[0082]
s16、通过构建bi-lstms层来获取目标文本的上下文信息，得到文本节点的表示xw：
[0083][0084][0085][0086]
其中，θ
lstm
是bi-lstms的参数。
[0087]
具体的，在本实施例中对于词语边界识别的方法不做限制，可以是任意词语边界学习算法，常见的方法有crf，bilstms softmax，bilstms crf等等。在此实施例中以bilstms crf模型为例，首先学习输入文本节点的表示，节点的表示学习方法可以是任意的文本表示方法并不做限制。本实施例以bi-lstms为例学习字的分布表示来进行特征提取。具体示意图如下图4所示。
[0088]
s2、获取文本数据，导入所述短语边界识别模型将所述文本数据切分成短语；
[0089]
具体的，还包括引入crf层自动学习约束，以保证最终预测结果的有效性，具体示意图如下图5所示，具体步骤如下：
[0090]
s21、将bi-lstms提取得到特征矩阵p
mn
作为crf层的输入，其中p
ij
代表xi到标签yj的非归一化概率，n为标签的类别数；
[0091]
s22、进一步由crf层输出相应的边界信息y∈(b-words,m-words,e-words,s)；
[0092]
s23、根据边界信息的标签类型，进行短语切分，得到文本的短语切分结果s。
[0093]
s3、从所述文本数据的文本切分结果中匹配出目标短语。
[0094]
具体的，短语匹配是从文本切分结果s中匹配出目标短语。进一步的还包括：
[0095]
s4、将短语切分结果按字数长度进行区分存放，将同字数长度的短语存放在同一个集合中，通过判断目标短语的长度选择匹配集合。能够减少比对次数，可以有效提高匹配速度。
[0096]
进一步的，如图6所示，具体包括：
[0097]
s41、获取切分结果s中短语的长度li(i∈(1,2,...,n)，其中n为s中短语数量；
[0098]
s42、根据不同的字数长度li将s中的短语存储到不同的子集合w中，同一个集合中的短语字数保持相同；
[0099]
s43、获取目标短语的长度判断是否存在存储短语字数长度为的短语集合若不存在返回目标短语未匹配成功信息，若存在继续步骤s44；
[0100]
s44、将目标短语与短语集合中的短语进行匹配，若成功，返回短语位置信息，否则返回目标短语未匹配成功信息。
[0101]
第二方面，本发明的实施例还公开了一种基于短语边界的关键信息匹配装置，如图7所示，包括：
[0102]
获取单元71：用于获取训练数据集、文本数据；
[0103]
构建单元72：用于基于获取的所述训练数据集构建短语边界识别模型，构建训练数据；
[0104]
训练单元73：用于对构建的短语边界识别模型进行训练；
[0105]
切分单元74：用于将所述文本数据切分成短语；
[0106]
匹配单元75：用于从所述文本数据的文本切分结果中匹配出目标短语。
[0107]
通过本发明方案的关键短语匹配方法，在进行短语匹配时，不仅充分考虑分析上下文的语义信息，得到更精准的短语边界信息，有效排除目标语境下非短语的匹配结果。而且通过构建短语边界识别模型使得本方案不依赖于现有分词框架及其分词效果，能够有效解决当前分词算法对于未登陆词、多歧义嵌套短语以及长实体短语的分词效果差的问题。同时本方案较当前的技术研究会有更好的效果优势，本发明的优越性相信可以在不良违禁用语、违禁物品等关键短语信息匹配和处理时有着广阔的市场和运用。
[0108]
下面参考图8，其示出了适于用来实现本发明实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置600的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0109]
如图8所示，计算机装置600包括中央处理单元(cpu)601和图形处理器(gpu)602，其可以根据存储在只读存储器(rom)603中的程序或者从存储部分609加载到随机访问存储器(ram)606中的程序而执行各种适当的动作和处理。在ram 604中，还存储有装置600操作所需的各种程序和数据。cpu 601、gpu602、rom 603以及ram 604通过总线605彼此相连。输入/输出(i/o)接口606也连接至总线605。
[0110]
以下部件连接至i/o接口606：包括键盘、鼠标等的输入部分607；包括诸如、液晶显示器(lcd)等以及扬声器等的输出部分608；包括硬盘等的存储部分609；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至i/o接口606。可拆卸介质612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器611上，以便于从其上读出的计算机程序根据需要被安装入存储部分609。
[0111]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分610从网络上被下载和安装，和/或从可拆卸介质
612被安装。在该计算机程序被中央处理单元(cpu)601和图形处理器(gpu)602执行时，执行本发明的方法中限定的上述功能。
[0112]
需要说明的是，本发明所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0113]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0114]
附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0115]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
[0116]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行第一方面描述的方法步骤。
[0117]
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。