一种基于贝叶斯公式的数据清洗方法、终端及存储介质

1.本发明涉及计算机技术领域，尤其涉及的是一种基于贝叶斯公式的数据清洗方法、终端及存储介质。


背景技术：

2.真实世界中的数据存在着缺失、拼写不当和不完整性等错误，作为解决数据错误的有效方法，数据清洗一直是研究热点；数据清洗，对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据-致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
3.现有的数据清洗方式主要有以下几种形式：
4.1、bayeswipe：该技术对原始数据直接进行贝叶斯网络建模，并在数据上直接运行来清洗数据，可以实现容易上手的因果推理清洗，但该技术对贝叶斯清洗的概念应用不够完善：通过贝叶斯公式的转换求pr(g|t)＝pr(t)pr(t|g)/pr(g)，其中g为干净值，t为观测值，并且仅要求用户提供数据是离散型还是连续性的先验判断，内部再数据类型根据提供相应的预处理，缺少专家知识先验的描述，导致清洗准确率低。
5.2、pclean：该技术对原始数据进行概率编程，编码每列数据的分布以及各列数据之间的连接关系，可以达到非常不错的precision、recall以及运行时间效果。但该技术要求用户必须非常了解数据以及需要具有概率编程的知识作为支撑，使用成本非常高，不容易上手。
6.3、holoclean：该技术将概率推理应用于特征工程部分，通过将专家知识转化因子图推理，用于向量化数据并打上(干净/脏)标签，再进行分类器训练，最后用于整个数据的清洗。该技术不使用因果推断而是基于关联关系的推理，这简化了建模难度，并且充分利用了节点的互信息，能达到相对不错的precision、recall以及运行时间。但同样是对专家成本要求很高，用户需要制定相关的数据规则，需要有推理系统deepdive的知识支撑，以及无法对所求结果进行解释。
7.因此，现有技术还有待改进。


技术实现要素：

8.本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种基于贝叶斯公式的数据清洗方法、终端及存储介质，以解决数据清洗方式存在的使用难度高及清洗准确率低的技术问题。
9.本发明解决技术问题所采用的技术方案如下：
10.第一方面，本发明提供一种基于贝叶斯公式的数据清洗方法，包括：
11.获取原始数据和预先定义的先验知识；
12.根据所述先验知识构建贝叶斯网络和关联关系，根据所述贝叶斯网络对所述原始
数据进行因果推理，得到贝叶斯网络的概率得分；
13.根据所述关联关系确定所述原始数据的关联关系得分，并根据所述概率得分和所述关联关系得分之和对所述原始数据进行清洗，得到清洗后的数据版本。
14.在一种实现方式中，所述获取原始数据和预先定义的先验知识，之前包括：
15.预先根据输入的约束条件定义所述先验知识。
16.在一种实现方式中，所述根据先验知识构建贝叶斯网络和关联关系，根据所述贝叶斯网络对所述原始数据进行因果推理，得到贝叶斯网络的概率得分，包括：
17.构建全局性的有向图生成算法，并根据所述有向图生成算法和所述先验知识进行结构学习，得到学习后的贝叶斯网络；
18.根据所述学习后的贝叶斯网络对所述原始数据进行扫描，推理得到每个数据框取每个数据的概率。
19.在一种实现方式中，所述构建全局性的有向图生成算法，并根据所述有向图生成算法和所述先验知识进行结构学习，得到学习后的贝叶斯网络，包括：
20.通过分解节点得到逆协方差矩阵，并通过所述逆协方差矩阵生成上三角矩阵；
21.根据所述上三角矩阵得到第一有向图边，并根据所述先验知识和操作指令增加或删除第二有向图边，得到有向无环图；
22.根据所述有向无环图进行参数学习，得到所述贝叶斯网络的条件概率表；
23.根据所述条件概率表得到所述学习后的贝叶斯网络。
24.在一种实现方式中，所述根据学习后的贝叶斯网络对所述原始数据进行扫描，推理得到每个数据框取每个数据的概率，包括：
25.以记录为单位对所述原始数据进行扫描；
26.在每条记录中将每个属性设置为缺失，并通过其他与之有关联的属性推导出缺失值；
27.将所述缺失值作为每个数据框取每个数据的概率。
28.在一种实现方式中，所述根据关联关系确定所述原始数据的关联关系得分，并根据所述概率得分和所述关联关系得分之和对所述原始数据进行清洗，得到清洗后的数据版本，包括：
29.确定所述贝叶斯网络中同一列中不同值之间的距离；
30.确定所述贝叶斯网络中每两列的取值范围内每个值之间的关系得分；
31.计算所述贝叶斯网络中每个值的距离与关系得分之和，得到最终概率得分；
32.根据所述最终概率得分和观测值对所述原始数据进行清洗，得到清洗后的数据版本。
33.在一种实现方式中，所述确定贝叶斯网络中每两列的取值范围内每个值之间的关系得分，包括：
34.在每两列的取值范围内，计算每个值在数据中共同出现的得分；
35.根据所述共同出现的得分得到共现字典，并在所述共现字典中介入所述先验知识；
36.根据所述先验知识对每两列的取值范围内每个值之间的关系进行评分，得到所述关系得分。
37.在一种实现方式中，所述基于贝叶斯公式的数据清洗方法还包括：
38.对当前值进行推理时，排除与当前值属性节点直接相连的所有父节点和子节点；
39.根据剩余节点的关联关系计算得到当前值的关联关系得分，并将当前值归一化0到1。
40.第二方面，本发明还提供一种终端，包括：处理器以及存储器，所述存储器存储有基于贝叶斯公式的数据清洗程序，所述基于贝叶斯公式的数据清洗程序被所述处理器执行时用于实现如第一方面所述的基于贝叶斯公式的数据清洗方法的操作。
41.第三方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有基于贝叶斯公式的数据清洗程序，所述基于贝叶斯公式的数据清洗程序被处理器执行时用于实现如第一方面所述的基于贝叶斯公式的数据清洗方法的操作。
42.本发明采用上述技术方案具有以下效果：
43.本发明通过获取原始数据和预先定义的先验知识，根据所述先验知识构建贝叶斯网络和关联关系，根据所述贝叶斯网络对所述原始数据进行因果推理，得到贝叶斯网络的概率得分，以及根据所述关联关系确定所述原始数据的关联关系得分，并根据所述概率得分和所述关联关系得分之和对所述原始数据进行清洗，得到清洗后的数据版本。本发明结合容易上手的用户知识先验信息、贝叶斯网络在脏数据上的建模能力以及数据里存在着若干互信息的关联关系，对原始数据进行扫描清洗，降低了数据清洗的难度，提高了数据清洗的准确率和召回率。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
45.图1是本发明的一种实现方式中基于贝叶斯公式的数据清洗方法的流程图。
46.图2是本发明的一种实现方式中基于贝叶斯公式的数据清洗框架的示意图。
47.图3是本发明的一种实现方式中终端的功能原理图。
48.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
49.为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
50.示例性方法
51.传统的数据清洗方式中，一种是通过贝叶斯公式的转换求得需要清洗的数据，并且要求用户提供数据是离散型还是连续性的先验判断，内部再数据类型根据提供相应的预处理，缺少专家知识先验的描述，导致清洗准确率低；另外一种是通过对原始数据进行概率编程，编码每列数据的分布以及各列数据之间的连接关系，要求用户必须非常了解数据以及需要具有概率编程的知识作为支撑，使用成本非常高，不容易上手。
52.针对上述技术问题，本实施例中结合容易上手的用户知识先验信息、贝叶斯网络在脏数据上的建模能力以及数据里存在着若干互信息的关联关系，对原始数据进行扫描清洗，降低了数据清洗的难度，提高了数据清洗的准确率和召回率。
53.如图1所示，本发明实施例提供一种基于贝叶斯公式的数据清洗方法，包括以下步骤：
54.步骤s100，获取原始数据和预先定义的先验知识。
55.在本实施例中，所述基于贝叶斯公式的数据清洗方法应用于终端中，所述终端包括但不限于：计算机以及移动终端等设备。
56.在本实施例中，通过结合容易上手的用户知识先验信息、贝叶斯网络在脏数据上的建模能力以及数据里存在着若干互信息的关联关系，设计了基于新的贝叶斯公式对原始数据进行扫描清洗。
57.在本实施例中，在所述终端中设置有用于数据清洗的bclean系统，以所述bclean系统为平台对数据进行清洗；在实施本实施例中的数据清洗方法之前，需要在所述bclean系统中输入相应的约束条件，并根据输入的约束条件定义所述先验知识；其中，所述约束条件为用户定义的sql(指代用户定义的先验知识的方式，类似于定义一张数据表)；通过将所述用户定义的sql输入到bclean系统中，bclean系统可以利用所述用户定义的sql生成数据清洗时所需要的先验知识。
58.具体地，在本实施例的一种实现方式中，步骤s100之前包括以下步骤：
59.步骤s001，预先根据输入的约束条件定义所述先验知识。
60.在本实施例的一种实现方式中，所述先验知识用于描述原始数据的统计指标，其中包括所述原始数据的最大长度(值)、最小长度(值)、数据类型以及符合的pattern形式等。
61.在本实施例的一种实现方式中，在所述bclean系统中输入相应的约束条件时，还需要在所述bclean系统中输入需要清洗的原始数据；其中，所述原始数据可以是某个数据库中的数据，也可以是多个数据库中的数据；在所述原始数据中，数据之间存在强相关、弱相关的关联关系，所述强相关即为因果关系，本实施例中作为贝叶斯网络的节点关系，形似于当a＝1，b＝2，则根据(a，b)
→
c的关系，可以得出c＝3；弱相关即为关联关系，本实施例中的形式则类似于统计共现频率，即(a＝1，b＝2)同时出现了3次，而(a＝1，b＝3)同时出现了1次，则(a，b)的关联关系为(a＝1，b＝2)的初始分布为0.75，(a＝1，b＝3)的初始分布为0.25。
62.本实施例中通过将原始数据和用户定义的简单的sql约束输入到bclean系统中，可以在bclean系统中生成贝叶斯网络，并构建数据之间的关联关系，从而对于所需要数据分别算贝叶斯网络的概率得分和关联关系的概率得分，利用计算得到的概率得分进行数据清洗。
63.如图1所示，在本发明实施例的一种实现方式中，基于贝叶斯公式的数据清洗方法还包括以下步骤：
64.步骤s200，根据所述先验知识构建贝叶斯网络和关联关系，根据所述贝叶斯网络对所述原始数据进行因果推理，得到贝叶斯网络的概率得分。
65.在本实施例中，用于数据清洗的算法模型为基于贝叶斯公式转换得到的新贝叶斯
公式；即通过贝叶斯公式pr(g|obs)＝pr(obs|g)pr(g)/pr(t)转换得到lnpr(g)＝(lnpr(g|obs)) (lnpr(obs)-lnpr(obs|g))，将转换得到的新贝叶斯公式分成两个部分进行求解，分别计算贝叶斯网络的概率得分和关联关系的概率得分；可以理解的是，通过求解能使lnpr(g)达到最大值的干净数据g来进行数据清洗，并且原始数据obs需要经过用户定义的先验知识预处理，这可以对数据进行粗糙的错误检测。
66.具体地，在本实施例的一种实现方式中，步骤s200包括以下步骤：
67.步骤s201，构建全局性的有向图生成算法，并根据所述有向图生成算法和所述先验知识进行结构学习，得到学习后的贝叶斯网络；
68.步骤s202，根据所述学习后的贝叶斯网络对所述原始数据进行扫描，推理得到每个数据框取每个数据的概率。
69.在本实施例中，对于新贝叶斯公式的第一部分(lnpr(g|obs))，本实施例中将其定义为通过观测值obs因果推理得到g的结果，即将其定义为贝叶斯网络；所述第一部分处理的过程为，要推理当前属性a在该条数据t下的干净值t[a]，并且有因果关系(b，c)
→
a，那么首先将a值视作缺失值，然后根据b，c的值确定a的最终值，如当(b＝1，c＝2)则a＝3，当(b＝3，c＝4)则a＝7。即b，c为观测值，基于观测值推理出清洗值。
[0070]
针对所述第一部分的构建方式，已有传统的结构学习算法，但由于大多数都是基于枚举算法和贪婪算法，这使得在针对多节点，多度数的网络结构学习的时候消耗大量时间并且会学习到局部最优的结构，即从数据全局来看并不是最好的。
[0071]
本实施例中使用基于fdx(fdx是一种结构学习算法)改进得到的全局性的有向图生成算法进行结构学习。
[0072]
具体地，在本实施例的一种实现方式中，步骤s201包括以下步骤：
[0073]
步骤s201a，通过分解节点得到逆协方差矩阵，并通过所述逆协方差矩阵生成上三角矩阵；
[0074]
步骤s201b，根据所述上三角矩阵得到第一有向图边，并根据所述先验知识和操作指令增加或删除第二有向图边，得到有向无环图；
[0075]
步骤s201c，根据所述有向无环图进行参数学习，得到所述贝叶斯网络的条件概率表；
[0076]
步骤s201d，根据所述条件概率表得到所述学习后的贝叶斯网络。
[0077]
具体地，在本实施例中，通过分解节点得到的逆协方差矩阵，利用得到的逆协方差矩阵生成上三角矩阵；即通过公式o＝(i-b)v(i-b)^t，其中o为逆协方差矩阵，i为单位矩阵，v为对角阵，b为所求的上三角矩阵。
[0078]
进一步地，根据上三角矩阵得到有向图的边，并且根据用户在系统中输入的操作指令，在得到的有向图的边中介入根据知识过滤适合的边；即通过fdx得到的有向图，用户可以自行增删有向边，使其变为另一个有向无环图。然后，将得到的有向图进行参数学习，得到整个网络的条件概率表；其中，所述条件概率表用于在清洗阶段给出每个候选干净值的正确概率，可以理解的是，根据所述条件概率表可以计算得到需要清洗数据在贝叶斯网络的概率得分。
[0079]
在本实施例中，根据所述条件概率表得到所述学习后的贝叶斯网络，即所述条件概率表为第一部分(lnpr(g|obs))的学习后的参数；通过所述条件概率表即可对所述原始
数据中的每个数据进行扫描，得到每个属性下每个数据框取每个数据的概率，即得到需要清洗数据在贝叶斯网络的概率得分。
[0080]
具体地，在本实施例的一种实现方式中，步骤s202包括以下步骤：
[0081]
步骤s202a，以记录为单位对所述原始数据进行扫描；
[0082]
步骤s202b，在每条记录中将每个属性设置为缺失，并通过其他与之有关联的属性推导出缺失值；
[0083]
步骤s202c，将所述缺失值作为每个数据框取每个数据的概率。
[0084]
具体地，在本实施例中，可以按照记录为单位对所述原始数据中的每个数据进行扫描；即每次扫描一条记录，每条记录中，对每个属性先当作缺失，再通过其他与之有关联的属性推理出该缺失值，扫描完成即为第一次清洗完成；可以理解的是，所述第一次清洗为粗清洗的过程。
[0085]
在本实施例中通过第一部分(lnpr(g|obs))实现原始数据中因果关系的清洗过程，该部分对清洗效果影响占主要部分，即第一部分的清洗过程主要是通过因果关系的推理进行的，当第一部分的网络结构好时，可以使得第一部分具有高的清洗准确率和召回率，反之亦然。
[0086]
如图1所示，在本发明实施例的一种实现方式中，基于贝叶斯公式的数据清洗方法还包括以下步骤：
[0087]
步骤s300，根据所述关联关系确定所述原始数据的关联关系得分，并根据所述概率得分和所述关联关系得分之和对所述原始数据进行清洗，得到清洗后的数据版本。
[0088]
在本实施例中，对于新贝叶斯公式的第二部分(lnpr(obs)-lnpr(obs|g))，本实施例中将其视作观测值的得分减去由候选干净值的得分而得到关联关系得分；其中，所述关联关系为除因果关系外其他节点(互信息节点)的关联关系，所述候选值得分通过上述转换后的贝叶斯公式求解得到；所述第二部分仅考虑在贝叶斯网络中当前推理节点与其他所有未与其直接相连的节点(互信息的节点)的关联关系得分。
[0089]
具体地，在本实施例的一种实现方式中，步骤s300包括以下步骤：
[0090]
步骤s301，确定所述贝叶斯网络中同一列中不同值之间的距离；
[0091]
步骤s302，确定所述贝叶斯网络中每两列的取值范围内每个值之间的关系得分；
[0092]
步骤s303，计算所述贝叶斯网络中每个值的距离与关系得分之和，得到最终概率得分；
[0093]
步骤s304，根据所述最终概率得分和观测值对所述原始数据进行清洗，得到清洗后的数据版本。
[0094]
在本实施例中，所述第二部分(lnpr(obs)-lnpr(obs|g))，需要确定贝叶斯网络中同一列中不同值的之间距离得分，以及确定所述贝叶斯网络中每两列的取值范围内每个值之间的关系得分，通过将每个数据的距离得分和关系得分进行相加，得到所述原始数据中各数据的因果关系和关联关系的概率得分，即得到所述最终概率得分；根据所述最终概率得分和观测值对所述原始数据进行清洗，得到清洗后的数据版本。
[0095]
具体地，在本实施例的一种实现方式中，步骤s303包括以下步骤：
[0096]
步骤s302a，在每两列的取值范围内，计算每个值在数据中共同出现的得分；
[0097]
步骤s302b，根据所述共同出现的得分得到共现字典，并在所述共现字典中介入所
述先验知识；
[0098]
步骤s302c，根据所述先验知识对每两列的取值范围内每个值之间的关系进行评分，得到所述关系得分。
[0099]
在本实施例中，在不同的两列之间不同的值的计算中，计算其在两列数据中共同出现的得分，将其记录为共现字典；其中，所述共现字典以分数来衡量而非出现频率，即(a＝1，b＝2)出现了3次，(a＝3，b＝2)出现了1次，但是由于有限制条件a《2，那么(a＝1，b＝2)得分为3 1 1＝5，(a＝3，b＝2)得分为1-1 1＝1)，其中介入用户先验信息(如上述，介入用户先验用于评分，是施加惩罚之还是正常得分)，当某一行的数据稍微违反用户要求时，对该得分施加惩罚(扣分)，最低为0。
[0100]
进一步地，所述共现字典记录了列(节点)之间的互信息，即关联关系。对于当前值的干净值推理时，将与当前属性节点直接相连的父节点、子节点全部排除，然后根据得到的关联关系计算当前值的关联关系得分，并将值归一化至0到1。
[0101]
在本实施例中，所述第二部分(lnpr(obs)-lnpr(obs|g))部分对于清洗效果影响占次要地位，主要是进行可信度推理，对于当前值为正确值时，被贝叶斯网络推理成正确的时候添加正的得分，被贝叶斯网络推理成错误的时候会添加更多的得分；对于当前值为错误值时，被贝叶斯网络推理成错误的时候添加惩罚，被贝叶斯网络推理成正确的时候添加更多的惩罚。
[0102]
在本发明实施例的一种实现方式中，基于贝叶斯公式的数据清洗方法还包括以下步骤：
[0103]
步骤s400，对当前值进行推理时，排除与当前值属性节点直接相连的所有父节点和子节点；
[0104]
步骤s500，根据剩余节点的关联关系计算得到当前值的关联关系得分，并将当前值归一化0到1。
[0105]
在本实施例中，由于遍历推理会增加不必要的工作量，并且当贝叶斯网络过大时(结构和条件概率表过大)，会极大地增加清洗时间；因此，可以在bclean系统中利用关联关系对推理空间进行初步的过滤。而且，由于关联关系是互信息字典，访问速度较快，先用其进行遍历，算出每个观测值的关联关系评分，当高于用户设定的阈值时，将其当作正确值，不对其进行推理，可以避免后续的过程；在具体的应用场景中，用户设定的阈值可设定为0.1至0.6，因为归一化后大多数值落在0.5值0.6的区间。
[0106]
如图2所示，根据图2中的结构及流程，在本实施例的一种实际应用场景中，清洗过程为：将原始数据和用户定义的简单的sql(指代用户定义先验知识的方式，类似于在定义一张数据表)约束输入到bclean系统中，然后bclean进行贝叶斯网络生成和关联关系构建，然后对于所需要数据分别算贝叶斯网络的概率得分和关联关系的概率得分，最终相加得到最终的概率得分，并选取最大得分的那个值，若与观测值相同，则认为当前值时正确的不需要清洗；若与观测值不同，则认为观测值是错的，并将其改为得分最大的那个值。扫描完整个数据后，得到更干净的版本返回给用户。
[0107]
本实施例通过上述技术方案达到以下技术效果：
[0108]
本实施例结合容易上手的用户知识先验信息、贝叶斯网络在脏数据上的建模能力以及数据里存在着若干互信息的关联关系，对原始数据进行扫描清洗，降低了数据清洗的
难度，提高了数据清洗的准确率和召回率。
[0109]
示例性设备
[0110]
基于上述实施例，本发明还提供一种终端，包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，所述处理器用于提供计算和控制能力；所述存储器包括存储介质以及内存储器；所述存储介质存储有操作系统和计算机程序；所述内存储器为所述存储介质中的操作系统和计算机程序的运行提供环境；所述接口用于连接外部设备，例如，移动终端以及计算机等设备；所述显示屏用于显示相应的信息；所述通讯模块用于与云端服务器或移动终端进行通讯。
[0111]
所述计算机程序被所述处理器执行时用以实现一种基于贝叶斯公式的数据清洗方法的操作。
[0112]
本领域技术人员可以理解的是，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0113]
在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，所述存储器存储有基于贝叶斯公式的数据清洗程序，所述基于贝叶斯公式的数据清洗程序被所述处理器执行时用于实现如上所述的基于贝叶斯公式的数据清洗方法的操作。
[0114]
在一个实施例中，提供了一种存储介质，其中，所述存储介质存储有基于贝叶斯公式的数据清洗程序，所述基于贝叶斯公式的数据清洗程序被所述处理器执行时用于实现如上所述的基于贝叶斯公式的数据清洗方法的操作。
[0115]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
[0116]
综上，本发明提供了一种基于贝叶斯公式的数据清洗方法、终端及存储介质，方法包括：获取原始数据和预先定义的先验知识；根据所述先验知识构建贝叶斯网络和关联关系，根据所述贝叶斯网络对所述原始数据进行因果推理，得到贝叶斯网络的概率得分；根据所述关联关系确定所述原始数据的关联关系得分，并根据所述概率得分和所述关联关系得分之和对所述原始数据进行清洗，得到清洗后的数据版本。本发明结合容易上手的用户知识先验信息、贝叶斯网络在脏数据上的建模能力以及数据里存在着若干互信息的关联关系，对原始数据进行扫描清洗，降低了数据清洗的难度，提高了数据清洗的准确率和召回率。
[0117]
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。