一种基于海量文档的相似文档搜索方法及设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种基于海量文档的相似文档搜索方法及设备。


背景技术：

2.在海量文档计算相似度时，一般是需要提取相似度高的文本，例如：去重、相关文档查询等等。这类技术一般使用基于倒排索引和距离公式(比如余弦距离等)的方法来处理，但是在样本量巨大，处理速度和并发有较高要求的场景，传统的方法处理速度较慢，不能满足需求，因此有多种改进的方法。
3.一般文本相似度计算分为两个步骤，第一步是找到所有可能相似的文档构成一个候选集合，第二步是用目标文档和所有的候选文档计算相似度，一般在使用的时候会取相似度靠前的多少个候选文档返回。或者设置一个相似度阈值，取该相似度阈值以上的候选文档返回；而在文本搜索的场景下，一般是取前多少条文本返回。在去重、寻找高相似文档的场景下一般是只取相似度阈值以上的文本。
4.在已有的相似度加速方法中，一般也是采用尽量减小初次召回集(即候选集合)的方法加速，即首先从大的文档集合当中召回少部分的样本，然后再对少部分的样本精确计算相似度。但是在如何减少初次召回集的同时，又不漏召回所有相似文档成为业界重要的研究课题。


技术实现要素：

5.本技术的一个目的是提供一种基于海量文档的相似文档搜索方法及设备，给出了不漏召回的同时，又能减少相似度计算量，从而大大提升了计算速度。
6.根据本技术的一个方面，提供了一种基于海量文档的相似文档搜索方法，其中，所述方法包括：
7.确定目标文档中的有效分词的分词数量；
8.基于预设相似度阈值和所述分词数量，确定召回词的召回数量；
9.获取待搜索的文档库中包含的所有词和每个所述词的词频，并按照词频从低到高的顺序，将所述文档库中包含的所有词中的、词频最低的所述召回数量对应的词均作为所述召回词；
10.从所述文档库中选取至少一个候选文档，其中，每个所述候选文档均包含所述召回数量的召回词；
11.计算所述目标文档分别与每个所述候选文档之间的相似度；
12.将所述相似度大于或等于所述预设相似度阈值时对应的候选文档，确定为与所述目标文档对应的相似文档。
13.进一步地，上述方法中，所述确定目标文档中的有效分词的分词数量，包括：
14.获取目标文档；
15.对所述目标文档进行分词处理，得到所述目标文档中的初始分词；
16.对所述目标文档中的初始分词进行去停用词处理，得到所述目标文档中的有效分词；
17.统计所述目标文档中的所述有效分词的分词数量。
18.进一步地，上述方法中，所述基于预设相似度阈值和所述分词数量，确定召回词的召回数量的计算公式为：
19.(1-t2)*l，
20.其中，t为所述预设相似度阈值，l为所述分词数量。
21.进一步地，上述方法中，所述从所述文档库中选取至少一个候选文档，其中，每个所述候选文档均包含所述召回数量的召回词，包括：
22.获取待搜索的文档库和所述文档库中的每个所述词在所述文档库中的一个或多个文档中的存储位置形成的倒排索引；
23.基于每个所述词的倒排索引，从所述文档库中选取均包含所述召回数量的召回词的至少一个候选文档。
24.进一步地，上述方法中，所述计算所述目标文档分别与每个所述候选文档之间的相似度，包括：
25.获取每个所述候选文档的正排索引，每个所述候选文档的正排索引用于存储所述候选文档中包含的所有词的列表；
26.分别基于每个所述候选文档的正排索引，获取每个所述候选文档对应的文本表征向量；
27.基于获取的所述目标文档对应的文本表征向量和每个所述候选文档对应的文本表征向量，计算所述目标文档分别与每个所述候选文档之间的相似度。
28.根据本技术的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述基于海量文档的相似文档搜索方法。
29.根据本技术的另一方面，还提供了一种基于海量文档的相似文档搜索设备，其中，该设备包括：
30.一个或多个处理器；
31.计算机可读介质，用于存储一个或多个计算机可读指令，
32.当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述基于海量文档的相似文档搜索方法。
33.与现有技术相比，本技术通过确定目标文档中的有效分词的分词数量；基于预设相似度阈值和所述分词数量，先确定召回词的召回数量；然后，获取待搜索的文档库中包含的所有词和每个所述词的词频，并按照词频从低到高的顺序，将所述文档库中包含的所有词中的、词频最低的所述召回数量对应的词均作为所述召回词，以确定所述召回数量的召回词具体为哪些词；从待搜索的文档库中选取至少一个候选文档，其中，每个所述候选文档均包含所述召回数量的召回词；计算所述目标文档分别与每个所述候选文档之间的相似度；将所述相似度大于或等于所述预设相似度阈值时对应的候选文档，确定为与所述目标文档对应的相似文档。本技术通过将预设相似度阈值之上的全部有效分词作为召回词进行
召回，且召回数量的召回词均选取的是词频最小的该召回数量的有效分词，不仅避免了进行后续相似度计算的备选文本的漏召回，还降低了后续进行相似度计算的备选文本的数量，从而大大提升了计算速度。
附图说明
34.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
35.图1示出根据本技术一个方面的一种基于海量文档的相似文档搜索方法的流程示意图；
36.图2示出根据本技术一个方面的一种基于海量文档的相似文档搜索方法在实际应用场景中的流程示意图。
37.附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
38.下面结合附图对本技术作进一步详细描述。
39.在本技术一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
40.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
41.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
42.举例来说，现有技术中的基于海量文档进行相似文档的搜索方法中，需要当前文档所有的词都用来参与召回。比如，假设一个词能召回10篇不同的召回文档，如果一篇文档有100个词，就需要计算1000个召回文档和当前文档计算相似度。而现有技术一般都是寻求如何提取关键词，用关键词来进行文档的召回。照此，若选择8个词做关键词，则会召回80个召回文档，那只需要计算80个召回文档和当前文档的相似度，计算量就只有原始计算量的8％，不仅计算量少一些，也确实快很多；但是剩下的92个词(100个词减去8个词)没有参与召回，会存在很大的漏召回的风险，也就是说剩下的920个待召回的文档当中可能存在相似文档，因为没有被召回，所以会被漏掉，而且取得关键词越少，计算量也会越少，但是漏召回的风险就会越高。
43.现有技术中均通过增加漏召回的风险来提高计算速度，而本技术可以通过推导余弦相似度，提出了一种基于海量文档的相似文档搜索方法，使得该方法在保证完全召回的
情况下，寻找参与召回的召回词的数量和相似阈值的关系，也就是为了召回所有在预设相似度阈值以上的文档，所有召回的文档必须包含一定数量的召回词当中的一个或者多个，不然召回的文档肯定达不到预设相似度阈值。通过这个推导，可以大幅减少初次召回的数量，同时能保证高于预设相似度阈值的文档都在这个初次召回的文档中，不会漏召回。
44.接着上述实施例中的举例，本技术只需选取m(需要通过目标文档的词语数量来计算)个词就能保证相似度在预设相似度阈值以上的文档都能被召回，而初次召回的文档的数量是m*10，计算量就是现有技术方法的m％。所以问题的关键就是如何准确求解这个m，多了会增加计算量，少了会增加漏召回的风险。再进一步地，其实每一个词召回的文档的数量是不一样的，有的多，有的少，而且由词语的长尾分布，有时少量的词出现在大量文档中，而大量的词只出现在少量的文档中，所以本技术在召回的时候，可以只用词频少的词汇召回，这样计算量会大大小于m％。鉴于此，本技术的一个方面提出了一种基于海量文档的相似文档搜索方法，该方法的具体流程示意图如图1所示，其中，所述方法包括步骤s11、步骤s12、步骤s13、步骤s14、步骤s15及步骤s16，具体包括如下步骤：
45.步骤s11，确定目标文档中的有效分词的分词数量；
46.步骤s12，基于预设相似度阈值和所述分词数量，确定召回词的召回数量；
47.步骤s13，获取待搜索的文档库中包含的所有词和每个所述词的词频，并按照词频从低到高的顺序，将所述文档库中包含的所有词中的、词频最低的所述召回数量对应的词均作为所述召回词；
48.步骤s14，从待搜索的所述文档库中选取至少一个候选文档，其中，每个所述候选文档均包含所述召回数量的召回词；
49.步骤s15，计算所述目标文档分别与每个所述候选文档之间的相似度；
50.步骤s16，将所述相似度大于或等于所述预设相似度阈值时对应的候选文档，确定为与所述目标文档对应的相似文档。
51.通过上述步骤s11至步骤s16，本技术通过将预设相似度阈值之上的全部有效分词作为召回词进行召回，且召回数量的召回词均选取的是词频最小的该召回数量的有效分词，不仅避免了进行后续相似度计算的备选文本的漏召回，保证了在预设相似度阈值之上的相似文档能够被全部召回，还降低了后续进行相似度计算的备选文本的数量，从而大大提升了计算速度。
52.例如，首先确定目标文档中的有效分词，比如有效分词1、有效分词2、有效分词3、
……
、有效分词(l-1)及有效分词l，及目标文档中的有效分词的分词数量l，即l个有效分词，其中，l为大于等于1的正整数。然后，按照设置的预设相似度阈值t和该目标文档中的分词数量l来确定待召回的召回词的数量，即召回数量m，其中，m为大于等于1的正整数。为了大幅减少后续在相似度计算时的计算量，同时保证在预设相似度阈值之上的备选文档能够全部被召回，计算并获取待搜索的文档库中包含的所有词和每个所述词的词频，并按照词频从低到高的顺序，将所述文档库中包含的所有词中的、词频最低的召回数量对应的有效分词均作为召回词；在本技术一优选实施例中，若目标文档中的有效分词的分词数量优选为100个，且结合预设相似度阈值和分词数量确定的召回词的召回数量为8个时，同时，待搜索的文档库中进行分词处理后得到的词有10000个，并统计文档库中的每个词在所述文档库中出现的词频，以得到文档库中包含的每个词的词频，并将这10000个词的词频，按照词
频从低到高的顺序进行排序，若文档库中包含的所有词中的词3、词114、词428、词1439、词3556、词5268、词7387及词8496为文档库中包含的10000个词中词频最低的8个词，则将文档库中包含的所有词中的词3、词114、词428、词1439、词3556、词5268、词7387及词8496均作为召回词，同时，召回词的召回数量n＝8。接着，从待搜索的文档库中选出至少一个候选文档，比如，候选文档1、候选文档2、候选文档3、
……
、候选文档(p-1)及候选文档p，p为大于等于1的正整数，其中，选取出来的每个候选文档中均包含词频最低的8个召回词，即选出来的每个候选文档中均包含文档库中包含的所有词中的词3、词114、词428、词1439、词3556、词5268、词7387及词8496。紧接着，计算目标文档分别与每个候选文档之间的相似度；最后，将计算所得的相似度大于或等于所述预设相似度阈值时对应的候选文档，确定为与目标文档对应的相似文档，实现了在海量的文档库中能够快速无漏的检索出目标文档的相似文档，不仅避免了漏召回，还降低了计算量，从而提高了计算速度。
53.接着本技术的上述实施例，所述步骤s11确定目标文档中的有效分词的分词数量，具体包括：
54.获取目标文档；
55.对所述目标文档进行分词处理，得到所述目标文档中的初始分词；
56.对所述目标文档中的初始分词进行去停用词处理，得到所述目标文档中的有效分词；
57.统计所述目标文档中的所述有效分词的分词数量。
58.如图2所示，在海量的待搜索的文档库中查询目标文档的相似文档之前，先获取目标文档，比如，输入目标文档或者导入目标文档或者上传目标文档；然后对目标文档进行分词处理，得到所述目标文档中的初始分词；为了避免重复的词语或者无用的词语对后续召回造成干扰，还需要对目标文档中的所有的初始分词进行去停用词处理，以得到所述目标文档中的有效分词，然后，统计所述目标文档中的所述有效分词的分词数量，比如，在一优选实施例中，目标文档有100个有效分词，实现了对目标文档的分词处理、去停用词处理及有效分词的分词数量的统计处理，以为后续在海量的待搜索的文档库中进行该目标文档对应的相似文档的搜索的准备。
59.接着本技术的上述实施例，所述步骤s12基于预设相似度阈值和所述分词数量，确定召回词的召回数量的计算公式为：
60.(1-t2)*l，
61.其中，t为所述预设相似度阈值，l为所述分词数量。
62.在本技术的实施例中，在基于设定的预设相似度阈值下，在一个海量的待搜索的文档库中计算目标文档的相似度，一般可以采用倒排表找到候选集合，然后再逐篇计算相似度。但是在海量的文档当中计算的时候，一般倒排表召回的语料数量仍然是非常巨大的，本技术需要通过推导余弦相似度计算公式，来得到了一个大大减少召回文本数量的方法，其中，
63.余弦相似度的计算公式如下：
64.65.其中，a、b表示两个文本的特征集合，用于指示两个同纬度的特征向量，长度为n。在文本相似度计算场景下，a或者b的值都是词频-逆文本频率指数(term frequency-inverse document frequency，tf-idf)值。在此，为了便于推导，本技术可以对上述公式进行简化。向量的每个维度值用0、1表示，其中，0表示没有出现，1表示出现了，则一个表示文档的向量可以表示成如下形式：
66.[1，0，1，0，1，1，1，1]
[0067]
余弦公式就可以简化成如下形式：
[0068][0069]
其中，ls表示两个文档共同出现的词的数量，其中l1表示目标文档中的词的数量，l2表示海量的文档库当中的任意一篇文档中的词的数量。
[0070]
本技术实施例计算只包含
ɑ
l1个词，而不包含(1-ɑ
)l1个词的文档s2和目标文档相似度的上限，
[0071]
令ls≤min(
ɑ
l1，l2)为相同词的数量，
[0072]
若
ɑ
l1《l2，则
[0073][0074]
若
ɑ
l1》l2，则
[0075][0076]
若
ɑ
l1＝l2，则
[0077][0078]
此时，令预设相似度阈值为t，设
[0079][0080]
可知，如果候选文档不包含(1-ɑ
)l1这些词，则候选文档和目标文档的上限就是反之，如果候选文档和目标文档的相似度要大于则必须包含(1-ɑ
)l1当中一个或者多个词，不然就不能达到预设相似度阈值t。
[0081]
1-ɑ
＝1-t2[0082]
所以可证，如果要得到相似度大于预设相似度阈值为t的文档，则必须包含目标文档(1-t2)l1个词当中的一个或者多个。由上述推导可知，l1是没有顺序要求的，因此本技术在步骤s13中，可以令(1-t2)l1为目标文档中的有效分词在整个目标文档对应的至少一个有效分词中的词频从低到高的顺序中，选择最靠前的(1-t2)l1个有效分词来作为目标文档的召回词，即出现次数最少的(1-t2)l1个有效分词，其中，l1＝l，使得基于预设相似度阈值t和
所述分词数量l，确定召回词的召回数量的计算公式为：
[0083]
(1-t2)*l，
[0084]
其中，t为所述预设相似度阈值，l为所述分词数量，实现了对从海量的文档库中进行目标文档的相似文档的搜索时，所需的召回词的召回数量的确定。
[0085]
然后，在步骤s14中，可以采用词频最低的(1-t2)l1个召回词来对待搜索的文档库进行文档过滤，选取出均包含有这(1-t2)l1个召回词的文档作为候选文档，候选文档的数量为一个或多个；然后在步骤s15中，继续计算采用余弦相似度的计算公式来计算目标文档分别与每个候选文档之间的相似度，最后，在步骤s16中，将计算所得的相似度大于或等于所述预设相似度阈值时对应的候选文档确定为与所述目标文档对应的相似文档，实现了对目标文档对应的相似文档的查找和计算。
[0086]
接着本技术的上述实施例，所述步骤s14从待搜索的文档库中选取至少一个候选文档，其中，每个所述候选文档均包含所述召回数量的召回词，具体包括：
[0087]
获取待搜索的文档库和所述文档库中的每个词在所述文档库中的一个或多个文档中的存储位置形成的倒排索引；
[0088]
基于每个所述词的倒排索引，从所述文档库中选取均包含所述召回数量的召回词的至少一个候选文档。
[0089]
如图2所示，为了能够快速的从待搜索的文档库中搜索出一个或多个候选文档，则首先获取待搜索的文档库和所述文档库中的每个词在所述文档库中的一个或多个文档中的存储位置形成的倒排索引(对应图2中的倒排表)，该倒排索引用于指示一个词及该词在文档库中的哪些文档中存在的映射关系，以便在本技术的实施例中，可以基于文档库中的每个词的倒排索引，从该文档库中选取均包含(1-t2)l1个召回词的一个或多个候选文档，实现了通过词的倒排索引的方式，能够快速地从文档库中筛选出可以作为目标文档的相似文档的一个或多个候选文档。
[0090]
接着本技术的上述实施例，所述步骤s15计算所述目标文档分别与每个所述候选文档之间的相似度，具体包括：
[0091]
获取每个所述候选文档的正排索引，每个所述候选文档的正排索引用于存储所述候选文档中包含的所有词的列表；
[0092]
分别基于每个所述候选文档的正排索引，获取每个所述候选文档对应的文本表征向量；
[0093]
基于获取的所述目标文档对应的文本表征向量和每个所述候选文档对应的文本表征向量，计算所述目标文档分别与每个所述候选文档之间的相似度。
[0094]
如图2所示，在计算目标文档分别与每个候选文档之间的相似度时，可以先获取每个候选文档的正排索引(对应图2中的正排表)，其中，每个候选文档的正排索引用于指示该候选文档中包含的所有词的列表，即该候选文档与其中的所有词之间的映射关系；然后，分别基于每个所述候选文档的正排索引，对应的获取每个所述候选文档对应的文本表征向量，该候选文档的文本表征向量中包含该候选文档中的所有词及其在候选文档中的存储位置；最后，获取目标文档的文本表征向量，并基于所述目标文档对应的文本表征向量和每个所述候选文档对应的文本表征向量，计算所述目标文档分别与每个所述候选文档之间的相似度，以实现对目标文档与每个候选文档之间的相似度的计算，便于后续通过计算所得的
相似度快速地筛选出目标文档的相似文档。
[0095]
通过本技术的上述所有实施例，给出了不漏召回，又能大幅减少相似度计算量，避免了现有技术中的如何减少召回但却没有解决漏召回的问题，也避免了现有技术中的通过增加漏召回的风险来提高计算速度，而本技术所有的实施例，不仅可以实现大幅减少计算量的同时，保证在预设相似度阈值之上的相似文档全部召回；还可以通过选取词频最小的召回数量的召回词来进行候选文档的选取，进一步降低了召回的候选文档的数量，从而可以大大提升计算速度。
[0096]
在实际的应用场景中，例如，在130万金融新闻的语料上做实验，随机抽取一千篇文档作为参与搜索的文档库，使用现有技术每一篇的文档平均召回数量是：1257596；而采用本技术的一个方面提供的一种基于海量文档的相似文档搜索方法，召回的数量是：13000，可见，本技术的一个方面提供的一种基于海量文档的相似文档搜索方法召回的数量是现有技术的1.03％，采用本技术的一个方面提供的一种基于海量文档的相似文档搜索方法之后平均减少了98％的召回，计算量和计算时间也相应减少了大约98％，效果非常显著。
[0097]
根据本技术的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述基于海量文档的相似文档搜索方法。
[0098]
根据本技术的另一方面，还提供了一种基于海量文档的相似文档搜索设备，其中，该设备包括：
[0099]
一个或多个处理器；
[0100]
计算机可读介质，用于存储一个或多个计算机可读指令，
[0101]
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述基于海量文档的相似文档搜索方法。
[0102]
在此，所述基于海量文档的相似文档搜索设备中的各实施例的详细内容，具体可参见上述基于海量文档的相似文档搜索方法的实施例的对应部分，在此，不再赘述。
[0103]
综上所述，本技术通过确定目标文档中的有效分词的分词数量；基于预设相似度阈值和所述分词数量，先确定需要召回的召回词的召回数量；然后，获取待搜索的文档库中包含的所有词和每个所述词的词频，并按照词频从低到高的顺序，将所述文档库中包含的所有词中的、词频最低的所述召回数量对应的词均作为所述召回词，以确定所述召回数量的召回词具体为哪些词；从待搜索的文档库中选取至少一个候选文档，其中，每个所述候选文档均包含所述召回数量的召回词；计算所述目标文档分别与每个所述候选文档之间的相似度；将所述相似度大于或等于所述预设相似度阈值时对应的候选文档，确定为与所述目标文档对应的相似文档。本技术通过将预设相似度阈值之上的全部有效分词作为召回词进行召回，且召回数量的召回词均选取的是词频最小的该召回数量的有效分词，不仅避免了进行后续相似度计算的备选文本的漏召回，还降低了后续进行相似度计算的备选文本的数量，从而大大提升了计算速度。
[0104]
需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本技术的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，
磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
[0105]
另外，本技术的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本技术的方法和/或技术方案。而调用本技术的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本技术的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本技术的多个实施例的方法和/或技术方案。
[0106]
对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。