基于文本相似度的数据去重方法、装置及存储介质和服务器与流程

1.本发明涉及大数据处理领域，具体涉及一种基于文本相似度的数据去重方法、装置及存储介质和服务器。


背景技术：

2.物联网和社交媒体的成功使云平台服务提供商们面临极大的挑战，各类数据中心每天都要处理分析海量的数据以挖掘出潜在的经济价值。但在数据分析的同时，还需要解决庞大的数据存储需求，云计算引领下的分布式存储方案成为解决数据存储问题的高效可靠的方案，但云端数据的大量增长导致云端负荷急剧增大,管理保存数据的成本及数据中心空间和能耗也变得越来越严重。
3.据统计，全球数据中有高达60％的数据是重复的，而在备份和归档存储系统中，重复数据高达80％-90％。重复数据删除被广泛应用在云端的存储备份与归档系统中。该技术是基于磁盘的备份存储系统中的专业数据缩减方案，旨在消除数据集合中的冗余数据，减少云服务提供商们在基础架构和硬件上的投资成本。然而现有数据去重改进方法，例如自适应的相似聚类算法(adaptive similar clustering algorithm，asca)、聚合binning等针对于提高重删率和精准度，反而忽略了实际应用场景中的系统效率。这类改进的计算密集型的数据去重方案，往往会占用系统大量的cpu资源和i/o资源，严重影响到系统读写性能和其他业务性能。


技术实现要素：

4.为解决上述技术问题，针对实际生产过程中计算密集型的数据去重方案，往往会占用系统大量的cpu资源和i/o资源，严重影响到系统读写性能和其他业务性能的问题。本发明提供一种基于文本相似度的数据去重方法、装置及存储介质和服务器，本发明对初始文本数据进行哈希计算后，通过结合层次聚类算法和k-means聚类算法分别对待处理数据进行相似集分类，并在此基础上进行初始数据去重和构建多级索引结构，在以后提交的增量文本数据中，通过多重索引结构与关联性内存置换策略完成数据去重与索引更新，从而减少cpu和磁盘资源的占用，提高数据去重的效率。
5.在本发明的第一方面，本发明提供了一种基于文本相似度的数据去重方法，所述方法包括：
6.对初始文本数据和增量文本数据进行预处理，分别获得初始文本数据和增量文本数据的数字指纹和哈希值；
7.从所述初始文本数据中抽取部分样本，采用层次聚类算法对部分初始文本数据哈希值进行分类，确定出k个相似集中心，将相似集中心哈希值和相似集中心标志作为一级索引；
8.采用k-means聚类算法将所有初始文本数据哈希值划分到k个相似集中心对应的分类中，以初始文本数据哈希值、数字指纹和存储路径作为主键，将主键和引用次数作为二
级索引，并将二级索引的地址指向一级索引；
9.通过检索二级索引，对具有相同主键的初始文本数据进行去重处理，并增加数据引用次数；统计每个二级索引数据引用次数的总量，将二级索引按照引用次数从大到小的顺序进行排列，选择前k/4的二级索引作为常驻索引；
10.构造出布隆过滤器，并将常驻索引中的初始文本哈希值填充布隆过滤器，在所述布隆过滤器中，利用增量文本数据的数字指纹和哈希值，结合常驻索引、二级索引和一级索引，对增量文本数据进行去重处理。
11.在本发明的第二方面，本发明还提供了一种基于文本相似度的数据去重装置，包括：
12.数据处理单元，用于对初始文本数据和增量文本数据进行预处理，分别获得初始文本数据和增量文本数据的数字指纹和哈希值；
13.一级索引单元，用于从所述初始文本数据中抽取部分样本，采用层次聚类算法对部分初始文本数据哈希值进行分类，确定出k个相似集中心，将相似集中心哈希值和相似集中心标志作为一级索引；
14.二级索引单元，用于采用k-means聚类算法将所有初始文本数据哈希值划分到k个相似集中心对应的分类中，以初始文本数据哈希值、数字指纹和存储路径作为主键，将主键和引用次数作为二级索引，并将二级索引的地址指向一级索引；
15.第一去重单元，用于通过检索二级索引，对具有相同主键的初始文本数据进行去重处理，并增加数据引用次数；
16.常用索引单元，用于统计每个二级索引数据引用次数的总量，将二级索引按照引用次数从大到小的顺序进行排列，选择前k/4的二级索引作为常驻索引；
17.布隆过滤器，用于存储常驻索引中的初始文本哈希值，并提供检索；
18.第二去重单元，用于在所述布隆过滤器中，利用增量文本数据的数字指纹和哈希值，结合常驻索引、二级索引和一级索引，对增量文本数据进行去重处理。
19.在本发明的第三方面，本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的基于文本相似度的数据去重方法。
20.在本发明的第四方面，本发明还提供了一种服务器，包括处理器和存储器；所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如本发明第一方面所述的基于文本相似度的数据去重方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。
21.本发明的优点及有益效果如下：
22.本发明提供的一种基于文本相似度的数据去重方法、装置及存储介质和服务器，将初始的海量数据文件通过结合层次聚类和k-means聚类，充分利用两种聚类方法的优势来自适应性地创建出相似集和主键，保持数据去重效率和重删率平衡，并合理构建多级索引，为后面的增量数据去重任务提供基础；在增量文件的去重过程中，利用自适应性的内存置换算法，提高内存命中率，有效减少磁盘i/o操作，极大减少去重任务对系统资源的占用，有效降低企业数据的存储成本。
附图说明
23.下面将结合附图及实施例对本发明作进一步说明，附图中：
24.图1为本发明实施例中作为海量数据去重的系统架构图；
25.图2为本发明实施例中一种基于文本相似度的数据去重方法流程图；
26.图3为本发明实施例中的多级索引结构图；
27.图4为本发明实施例中的另一种数据去重方法流程图；
28.图5为本发明实施例中的初始文本数据去重流程图；
29.图6为本发明实施例中的增量文本数据去重流程图；
30.图7为本发明实施例中基于文本相似度的数据去重装置结构图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.图1为本发明实施例中作为海量数据去重的系统架构图，如图1所示，在云平台中，只有系统管理员有权限对磁盘数据进行去重操作，其中云平台中包括多个子系统，本发明的重点在于去重系统，所以其他app系统不发明并不关注，在本发明中，用户请求的资源都通过文件系统存储在后台磁盘中，一方面，存储在磁盘中的文件可以输入到去重系统中，另一方面，去重系统可以将这些文件进行去重处理后输出到磁盘中，从而完成对磁盘文件的去重；由于云平台中业务系统繁多，为了减少对业务系统服务器的影响，由管理员选择在合适的时间节点，对云平台后台持久化的数据内容进行去重操作。
33.图2是本发明实施例中一种基于文本相似度的数据去重方法流程图，如图2所示，所述方法包括：
34.101、对初始文本数据和增量文本数据进行预处理，分别获得初始文本数据和增量文本数据的数字指纹和哈希值；
35.在本发明实施例中，需要分别对所述初始文本数据和增量文本数据进行预处理，而初始文本数据主要指的是将长期累计的，没有去重的备份数据作为初始文本数据，而增量文本数据则主要指的每天新增的备份数据，因此，初始文本数据是海量的，而增量文本数据可能只是初始文本数据的一部分，并且与初始文本数据具有一定的关联性，基于此，本发明将会利用初始文本数据来构建出多级索引结构，并对初始文本数据去重，利用这个多级索引结构再来对增量文本数据进行处理。
36.在本发明实施例中，所采用的预处理方式主要是使用局部敏感哈希算法simhash对每个文本数据进行哈希运算，由于simhash存在的局限性：不同的文本数据会在极小概率的情况下会产生相同的哈希值，所以同时需要使用消息摘要算法md5为每个文本数据生成独一无二的数字指纹，该数字指纹实际上是作为数据标识，用于区分不同的文本数据。
37.102、从所述初始文本数据中抽取部分样本，采用层次聚类算法对部分初始文本数据哈希值进行分类，确定出k个相似集中心，将相似集中心哈希值和相似集中心标志作为一级索引；
38.在本发明实施例中，考虑到初始文本数据是海量的，如果将所有的初始文本数据直接划分为k个类簇将会耗费大量的计算资源，为了减少资源浪费，本发明首先需要从所有的初始文本数据中抽取出部分样本数据，抽取比例可由实际情况决定，将数据抽取完成以后，需要采用层次聚类算法对抽取出的初始文本数据哈希值进行分类，划分为k个类簇，并在这些类簇中挑选出中心哈希值作为聚类中心，即相似集中心；在层次聚类的最后阶段，为每个相似集中心随机分配独特的id作为相似集类标志，将相似集类标志和相似集中心simhash值构成最初的一级索引结构中的两个属性字段，如图3所示。
39.在本发明的一些实施例中，还需要对一级索引进行初始化，这里的初始化能够去除一级索引中的无关信息。
40.103、采用k-means聚类算法将所有初始文本数据哈希值划分到k个相似集中心对应的分类中，以初始文本数据哈希值、数字指纹和存储路径作为主键，将主键和引用次数作为二级索引，并将二级索引的地址指向一级索引；
41.在本发明实施例中，将相似集中心，k值以及所有的初始文本数据哈希值，作为k-means聚类算法的输入，将所有的初始文本数据哈希值分别划分到对应的k个相似集中心中，本发明所采用的k-means聚类算法仅仅只采用了一次迭代过程，不需要考虑相似集中心的迭代过程，只需要将所有的初始文本数据哈希值划分到对应的相似集中心即可，通过层次聚类算法与k-means聚类算法的结合，充分利用两种聚类方法的优势来自适应性地创建相似集，能够保持数据去重效率和重删率平衡，并且能够保证聚类的计算效率，满足海量数据的计算实时性要求。
42.在上述过程中，通过两次聚类，将每个初始文本数据都划分到对应的相似集中心，因此每种初始文本数据哈希值都属于一个相似集中心，因此通过该相似集中心所构成的一级索引就能锁定该初始文本数据哈希值所处的聚类中心，为了检索到具体的初始文本数据，需要利用k-means聚类算法的分类结果，将分类后的初始文本数据哈希值、数字指纹和存储路径作为唯一主键，将主键与引用次数共同构成二级索引的属性字段，如图3所示，同时将二级索引的地址指向一级索引，这样就可以直接通过二级索引找到对应的文本数据，当不清楚该文本数据的二级索引时，还可以借用一级索引来找到指向对应的二级索引，再利用二级索引完成检索工作。
43.在本发明的一些实施例中，还需要对二级索引进行初始化，二级索引初始化的同时还需要对海量的初始文本数据去重，在这个过程中，通过检索已有二级索引的主键，以确定是否存在重复数据；如果存在重复主键，只更新主键对应二级索引记录的数据引用次数属性，对重复数据不进行磁盘存储，返回唯一数据的信息作为元数据信息要素；如果不存在重复主键，对数据进行磁盘存储，同时添加新的二级索引记录。
44.104、通过检索二级索引，对具有相同主键的初始文本数据进行去重处理，并增加数据引用次数；统计每个二级索引数据引用次数的总量，将二级索引按照引用次数从大到小的顺序进行排列，选择前k/4的二级索引作为常驻索引；
45.在本发明实施例中，还需要统计每个二级索引数据引用次数的总量，将二级索引按照大小顺序进行排序，根据实际系统生产环境，取前k/4个二级索引作为常驻索引放入内存中，当然，还可以选择其他数量的二级索引作为常驻索引放在内存中。
46.在本发明的优选实施例中，对所有的常驻索引还需要维护一个常驻索引表，如图3
所示，用于记录二级索引所对应的相似集中心与其关联的二级索引所对应的相似集中心，以及置换因子，关联索引所对应的相似集中心与置换因子所在的属性列都记为空值，在后续过程中，置换因子为内存置换策略提供参考依据，根据重新计算的索引置换因子，换出置换因子小于二级索引的常驻索引，换入置换因子大于常驻索引的二级索引，可以更新常驻索引表。
47.105、构造出布隆过滤器，并将常驻索引中的初始文本哈希值填充布隆过滤器，在所述布隆过滤器中，利用增量文本数据的数字指纹和哈希值，结合常驻索引、二级索引和一级索引，对增量文本数据进行去重处理。
48.在本发明实施例中，通过redis构造布隆过滤器，根据实际系统生产环境，自行调节布隆过滤器大小，并利用常用索引中的初始文本数据哈希值属性填充布隆过滤器。
49.对于增量文本数据的去重过程，执行如下：
50.如果增量文本数据的哈希值在布隆过滤器中存在，则通过检索常驻索引对具有相同主键的增量文本数据进行去重处理，并更新常驻索引中的引用次数；对不具有相同主键的增量文本数据存储到磁盘中，并添加新的二级索引记录；
51.如果增量文本数据的哈希值在布隆过滤器中不存在，则计算该哈希值与一级索引中的相似集中心的汉明距离，通过最小汉明距离找到增量文本数据所在的相似集，根据一级索引中所存储的二级索引的地址，通过检索对应的二级索引对具有相同主键的增量文本数据进行去重处理，并更新二级索引中的引用次数；对不具有相同主键的增量文本数据存储到磁盘中，并新增二级索引记录。
52.由于增量文本数据的去重过程涉及到常用索引的置换问题，因此，需要计算出增量文本数据所涉及的二级索引的置换因子，根据重新计算的置换因子，换出置换因子小于二级索引的常驻索引，换入置换因子大于常驻索引的二级索引，更新常驻索引表。
53.置换因子的计算公式表示为：
54.wap(x)＝f(x) find(swap(y)r(y,x))，
[0055][0056]
其中，swap(x)即为二级索引x的置换因子；f(x)为当前任务下二级索引x的内存保留因子，f(y)为常驻索引y的内存保留因子；r(y,x)为常驻索引y与x的关联系数；find表示遍历常驻索引表，
ɑ
表示第一权重因子，用于保证内存保留因子的稳定性和合理性，避免发生差距过大的情况；p1表示二级索引x的参与度概率，即当前任务下x参与到的文件数占所有数据文件的比重；dxi为文件i用到的二级索引x次数，dni为文件i的数据块总数，n为当前任务下二级索引x参与到的去重文件数量；f(x)为上次任务计算的索引x内存保留因子。
[0057]
关联系数的计算公式表示为：
[0058]
r(x,y)＝ωmax(r(x,y1),r(x,y2)
……
r(x,yj))
±
(1-ω)r’(x,y’)其中，max用于解决二级索引x与其他索引关联，选择关联因子最大的；r’(x,y’)是上一次任务中与二级索引x关联最紧密的二级索引y’的关联因子，当y＝y’时取正，否则取负，ω表示第二权重因子，用来减少后续的内存抖动问题；；r(x,yj)表示二级索引x与其他二级索引yj的关联因子，其表达式为：
[0059][0060]
其中，j＝1,2,
…
,j，j表示与二级索引x关联的二级索引数量；p2为条件概率，即当前任务下某个文件中已有二级索引x参与时，索引y也参与的概率；m为当前任务下文件总数；count(x,yj)则是用来统计二级索引x记录与yj记录前后同时出现的次数的函数。
[0061]
图4给出了一种实施例的数据去重方法流程图，如图4所示，在本发明实施例中，首先需要由系统管理员选择合适的去重时间节点，倘若不存在符合设定条件的去重时间节点，则放弃本次去重任务；倘若存在符合设定条件的去重时间节点，然后再根据内存中是否存在处理过的索引记录选择初始数据去重操作或者增量数据去重操作。
[0062]
图5给出了本发明实施例中的初始文本数据去重流程图，如图5所示，该过程包括：
[0063]
如果选择的是初始数据去重操作，则首先需要输入所有的初始文本数据哈希值，对所有的初始文本数据进行预处理；对所有文本数据等距随机抽样，并通过凝聚的层次聚类算法对所抽取样本的哈希值数据做简单的初始分类操作，得到k个大类，并在这些大类中挑选出中心哈希值作为聚类中心，即相似集中心；在层次聚类的最后阶段，为每个相似集中心随机分配独特的id作为相似集类标志，相似集类标志和相似集中心simhash值构成最初的一级索引结构中的两个属性字段。将相似集中心，k值以及所有的初始文本数据哈希值，作为k-means聚类算法的输入，进行二次聚类操作，这个过程中同时在聚类过程中完成创建二级索引、初始文本数据去重任务；将每个初始文本数据的哈希值、md5值和其存储路径来构成其唯一主键，同时添加数据引用次数，共同构成二级索引的属性字段。统计每个二级索引数据引用次数的总量，将二级索引按照大小顺序进行排序，根据实际系统生产环境，取前k/4个二级索引作为常驻索引放入内存中。
[0064]
图6给出了本发明实施例中的增量文本数据去重流程图，如图6所示，该过程包括：
[0065]
如果选择的是增量文本数据去重操作，那么对当前任务下的增量文本数据进行预处理；计算出增量文本数据的simhash值和md5值，并在布隆过滤器中对该增量文本数据的simhash值进行检索该值是否存在；
[0066]
如果该增量文本数据的simhash值在布隆过滤器中不存在，则需要计算该增量文本数据的simhash值与一级索引中所有的相似集中心的汉明距离，利用最小汉明距离找到该增量文本数据所在的聚类，同时添加新的二级索引记录；这个过程中，如果大量数据都不存在于常用索引中，则需要将常用索引置换出来，即还需要通过重新计算该增量文本数据所涉及的二级索引的置换因子，去更新常驻索引和常驻索引表。
[0067]
如果该增量文本数据的simhash值在布隆过滤器中存在，由于布隆过滤器存在的缺陷：检索存在的值不一定存在，故此时仍然需要通过常驻索引来进一步的校验。
[0068]
如果该增量文本数据的simhash值在常驻索引中也存在，则更新增量文本数据所涉及的二级索引记录，同时不对增量文本数据进行存储，并返回对应的元数据信息；最后需要通过重新计算该增量文本数据所涉及的二级索引的置换因子，去更新常驻索引和常驻索引表；
[0069]
如果该增量文本数据的simhash值在常驻索引中不存在，则计算该增量文本数据的simhash值与一级索引中所有的相似集中心的汉明距离，利用最小汉明距离找到该增量
文本数据所在的聚类，查询相应的二级索引。若该增量文本数据的simhash值在二级索引中不存在，则为二级索引添加新的记录；该增量文本数据的simhash值对应的数据是非重复数据，需要存储到磁盘中，返回对应的元数据信息；若该增量文本数据的simhash值在二级索引中存在，则更新二级索引对应记录的去重数据的引用次数字段，由于该增量文本数据的simhash值对应的数据是重复数据，不对增量文本数据进行存储，并返回对应的元数据信息；最后需要通过重新计算该增量文本数据所涉及的二级索引的置换因子，去更新常驻索引和常驻索引表。
[0070]
在本实施例中，除了需要判断增量文本数据的哈希值是否存在于布隆过滤器，还需要进一步判断是否存在于常驻索引中，按照是否存在与常驻索引中再进行下一步的判断，能够避免布隆过滤器存在的缺陷，保证检索过程的准确性和有效性。
[0071]
图7是本发明实施例中一种基于文本相似度的数据去重装置结构图，如图5所示，数据去重装置200包括：
[0072]
数据处理单元201，用于对初始文本数据和增量文本数据进行预处理，分别获得初始文本数据和增量文本数据的数字指纹和哈希值；
[0073]
一级索引单元202，用于从所述初始文本数据中抽取部分样本，采用层次聚类算法对部分初始文本数据哈希值进行分类，确定出k个相似集中心，将相似集中心哈希值和相似集中心标志作为一级索引；
[0074]
二级索引单元203，用于采用k-means聚类算法将所有初始文本数据哈希值划分到k个相似集中心对应的分类中，以初始文本数据哈希值、数字指纹和存储路径作为主键，将主键和引用次数作为二级索引，并将二级索引的地址指向一级索引；
[0075]
第一去重单元204，用于通过检索二级索引，对具有相同主键的初始文本数据进行去重处理，并增加数据引用次数；
[0076]
常用索引单元205，用于统计每个二级索引数据引用次数的总量，将二级索引按照引用次数从大到小的顺序进行排列，选择前k/4的二级索引作为常驻索引；
[0077]
布隆过滤器206，用于存储常驻索引中的初始文本哈希值，并提供检索；
[0078]
第二去重单元207，用于在所述布隆过滤器中，利用增量文本数据的数字指纹和哈希值，结合常驻索引、二级索引和一级索引，对增量文本数据进行去重处理。
[0079]
本发明实施例还提供一种服务器，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)(例如，一个或一个以上处理器)和存储器，一个或一个以上存储应用程序或数据的存储介质(例如一个或一个以上海量存储设备)。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器可以设置为与存储介质通信，在服务器上执行存储介质中的一系列指令操作。
[0080]
具体地，在存储介质中储存的应用程序包括数据去重的应用程序，且该程序可以包括上述数据去重装置200中的数据处理单元201，一级索引单元202，二级索引单元203，第一去重单元204，常用索引单元205，布隆过滤器206和第二去重单元207，在此不进行赘述。更进一步地，中央处理器20可以设置为与存储介质通信，在服务器上执行存储介质中储存的数据去重的应用程序对应的一系列操作。
[0081]
服务器还可以包括一个或一个以上电源，一个或一个以上有线或无线网络接口，和/或，一个或一个以上操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
[0082]
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被服务器的处理器所执行时，可以实现：
[0083]
对初始文本数据和增量文本数据进行预处理，分别获得初始文本数据和增量文本数据的数字指纹和哈希值；
[0084]
从所述初始文本数据中抽取部分样本，采用层次聚类算法对部分初始文本数据哈希值进行分类，确定出k个相似集中心，将相似集中心哈希值和相似集中心标志作为一级索引；
[0085]
采用k-means聚类算法将所有初始文本数据哈希值划分到k个相似集中心对应的分类中，以初始文本数据哈希值、数字指纹和存储路径作为主键，将主键和引用次数作为二级索引，并将二级索引的地址指向一级索引；
[0086]
通过检索二级索引，对具有相同主键的初始文本数据进行去重处理，并增加数据引用次数；统计每个二级索引数据引用次数的总量，将二级索引按照引用次数从大到小的顺序进行排列，选择前k/4的二级索引作为常驻索引；
[0087]
构造出布隆过滤器，并将常驻索引中的初始文本哈希值填充布隆过滤器，在所述布隆过滤器中，利用增量文本数据的数字指纹和哈希值，结合常驻索引、二级索引和一级索引，对增量文本数据进行去重处理。
[0088]
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0089]
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0090]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。