一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于类别平衡的数据清洗方法与流程

2022-09-04 05:03:13 来源:中国专利 TAG:


1.本发明涉及数据处理技术领域,尤其是一种基于类别平衡的数据清洗方法。


背景技术:

2.随着经济的发展,社会的进步,信息化技术已在各行各业中普及应用并且快速的更新换代。并且随着信息量的激增,迎来了大数据及人工智能的时代。在这个时间即是宝贵财富的时代,如何快速处理大规模的数据及如何从海量数据中快速且准确的提取重要信息则是目前的研究热点。
3.对于分类任务而言,所使用的训练集的质量是至关重要的,它的大小、所包含的数据都会影响到学习器的性能。噪声数据和缺失数据都会使学习模型的分类正确率降低,冗余数据虽不会极大程度的影响分类模型中决策边界的构建,但是会增加训练的时间。


技术实现要素:

4.本发明要解决的技术问题是提供一种基于类别平衡的数据清洗方法,能够解决现有技术的不足,能够实现精确清洗并得到关键数据,对于人工智能和机器学习技术有着重要意义。
5.为解决上述技术问题,本发明所采取的技术方案如下。
6.一种基于类别平衡的数据清洗方法,包括以下步骤:
7.a、用户输入需要抽取关键数据的数据集d以及需要的关键数据的个数n,将数据集d在每个类别中按照2:1的比例划分训练集d1和测试集;
8.b、计算每个类别中应选出关键数据的个数;
9.c、对数据集d进行含缺失值样本的删除、按类别对异常样本进行删除,并进行归一化操作,消除因量纲不同带来的影响,并按类别划分子集;
10.d、对每个子集进行数据清洗操作,选取规定数量的关键数据,构成最终关键数据集;
11.e、对关键数据进行补全。
12.作为优选,步骤b中,计算每个类别中应选出关键数据的个数包括以下步骤,
13.li=[xi*n/n0],其中li为第i个类别中关键据数,xi为第i个类别的样本数,n0为训练集d1中的样本数;
[0014]
当∑li>n时,及每个类别应选的关键数据数的总和大于既定的关键数n,t=∑l
i-n,将不同类别按照关键数据个数降序排列,对前t个类别进行每个类别减少一个关键数据的操作;
[0015]
当∑li<n时,及每个类别应选的关键数据数的总和小于既定的关键数n,t=n-∑li,将不同类别按照关键数据个数降序排列,对前t个类别进行每个类别增加一个关键数据的操作;
[0016]
当存在某一类别关键数据个数为0时,则增加一个关键数据,同时将当前关键数据
最多的类别减少一个关键数据。
[0017]
作为优选,步骤d中,对每个子集进行数据清洗操作包括以下步骤,
[0018]
d1、当li小于子集中关键数据的特征类别数量,且子集中关键数据数量大于关键数据的特征类别数量时,使用关键数据的特征构造特征矩阵,对特征矩阵进行正交变换,然后将特征矩阵的协方差矩阵进行特征分解,得到投影坐标系,使用投影坐标系对特征矩阵进行投影降维,然后选取贡献率大于设定阈值的主成分作为清洗后的关键数据;当子集中关键数据数量小于关键数据的特征类别数量时,对关键数据进行若干次聚类处理,每次聚类选取若干个特征类别,选取的特征类别数量小于关键数据数量,根据选取的特征类别与关键数据的关联度进行聚类,记录每次聚类处理产生的孤立关键数据,最后按照记录次数对关键数据进行降序排列,从记录次数最多的关键数据开始删除,直至达到预设的清洗比例;
[0019]
d2、当li大于子集中关键数据包含的特征类别数量时,在每一个特征中提取一个关键数据,特征选择顺序随机生成,循环若干次,直至li小于子集中关键数据包含的特征类别数量后,转至步骤d1进行处理。
[0020]
作为优选,步骤e中,对关键数据进行补全包括以下步骤,
[0021]
e1、当特征类别大于关键数据数量时,在数据清洗之后生成的最终关键数据集中包含数据量最大的若干个特征类别中选取关键数据进行补全;
[0022]
e2、当特征类别小于关键数据数量时,按照预设标准选取关键数据进行补全。
[0023]
作为优选,步骤e1中,使用的特征类别的数量的确定原则为,
[0024]
将特征类别按照数据量的多少降序排列,在保证选取关键数据的相关性小于设定阈值且使用的特征类别最少的前提下,从数据量最多的特征类别开始提取关键数据。
[0025]
作为优选,步骤e2中,所述预设标准为,
[0026]
选取的关键数据之间的相关性小于设定阈值,且选取的关键数据与现有关键数据之间的相关性小于选取的关键数据之间的相关性。
[0027]
采用上述技术方案所带来的有益效果在于:本发明针对于分类任务,提出了类别平衡的概念,从而保证抽取的关键数据的类别样本数占比与原始数据集中的一致,从而解决不平衡数据集所产生的误分问题。在数据清洗过程中,根据数据的不同状态设计了不同的清洗流程,有效的去除了数据中的噪声干扰,提高了后续数据处理的正确率。
附图说明
[0028]
图1是本发明一个具体实施方式的原理图。
具体实施方式
[0029]
参照图1,本发明一个具体实施方式包括以下步骤:
[0030]
a、用户输入需要抽取关键数据的数据集d以及需要的关键数据的个数n,将数据集d在每个类别中按照2:1的比例划分训练集d1和测试集;
[0031]
b、计算每个类别中应选出关键数据的个数;
[0032]
c、对数据集d进行含缺失值样本的删除、按类别对异常样本进行删除,并进行归一化操作,消除因量纲不同带来的影响,并按类别划分子集;
[0033]
d、对每个子集进行数据清洗操作,选取规定数量的关键数据,构成最终关键数据集;
[0034]
e、对关键数据进行补全。
[0035]
步骤b中,计算每个类别中应选出关键数据的个数包括以下步骤,
[0036]
li=[xi*n/n0],其中li为第i个类别中关键据数,xi为第i个类别的样本数,n0为训练集d1中的样本数;
[0037]
当∑li>n时,及每个类别应选的关键数据数的总和大于既定的关键数n,t=∑l
i-n,将不同类别按照关键数据个数降序排列,对前t个类别进行每个类别减少一个关键数据的操作;
[0038]
当∑li<n时,及每个类别应选的关键数据数的总和小于既定的关键数n,t=n-∑li,将不同类别按照关键数据个数降序排列,对前t个类别进行每个类别增加一个关键数据的操作;
[0039]
当存在某一类别关键数据个数为0时,则增加一个关键数据,同时将当前关键数据最多的类别减少一个关键数据。
[0040]
步骤d中,对每个子集进行数据清洗操作包括以下步骤,
[0041]
d1、当li小于子集中关键数据的特征类别数量,且子集中关键数据数量大于关键数据的特征类别数量时,使用关键数据的特征构造特征矩阵,对特征矩阵进行正交变换,然后将特征矩阵的协方差矩阵进行特征分解,得到投影坐标系,使用投影坐标系对特征矩阵进行投影降维,然后选取贡献率大于设定阈值的主成分作为清洗后的关键数据;当子集中关键数据数量小于关键数据的特征类别数量时,对关键数据进行若干次聚类处理,每次聚类选取若干个特征类别,选取的特征类别数量小于关键数据数量,根据选取的特征类别与关键数据的关联度进行聚类,记录每次聚类处理产生的孤立关键数据,最后按照记录次数对关键数据进行降序排列,从记录次数最多的关键数据开始删除,直至达到预设的清洗比例;
[0042]
d2、当li大于子集中关键数据包含的特征类别数量时,在每一个特征中提取一个关键数据,特征选择顺序随机生成,循环若干次,直至li小于子集中关键数据包含的特征类别数量后,转至步骤d1进行处理。
[0043]
步骤e中,对关键数据进行补全包括以下步骤,
[0044]
e1、当特征类别大于关键数据数量时,在数据清洗之后生成的最终关键数据集中包含数据量最大的若干个特征类别中选取关键数据进行补全;
[0045]
e2、当特征类别小于关键数据数量时,按照预设标准选取关键数据进行补全。
[0046]
步骤e1中,使用的特征类别的数量的确定原则为,
[0047]
将特征类别按照数据量的多少降序排列,在保证选取关键数据的相关性小于设定阈值且使用的特征类别最少的前提下,从数据量最多的特征类别开始提取关键数据。
[0048]
步骤e2中,所述预设标准为,
[0049]
选取的关键数据之间的相关性小于设定阈值,且选取的关键数据与现有关键数据之间的相关性小于选取的关键数据之间的相关性。
[0050]
数据清洗效果验证
[0051]
在本方法的方法验证部分,选择了环保行业12个主要污染行业数据集。数据集描
述如下。
[0052]
数据集名称数据集长维数类数钢铁行业数据集3500054玻璃行业数据集3500054焦化行业数据集3500054煤炭行业数据集3500054制药行业数据集3500054制革行业数据集3500054印染行业数据集3500054玻璃行业数据集3500054水泥行业数据集3500054电力行业数据集3500054垃圾焚烧行业数据集3500054污水治理行业数据集3500054
[0053]
选择5个常见的分类器进行方法验证:朴素贝叶斯、决策树、决策表、提升算法、支持向量机,使用分类正确率作为性能评估指标。方法验证中使用的数据集,同样需要在类别中按2:1的比例划分为训练集d1和测试集d2,本方法的数据清洗工作在训练集d1中进行。由于本方法中需要用户输入关键数据的个数n,因此在本方法验证环节中设置n的个数为3倍的维数(3*f_n),即按最大max_s、最小min_s、平均mean_s三种标准各选择3*f_n个关键数据。最后,将按三个标准选择到的关键数据集合进行合并,得到最终关键数据集合rs,具体的样本数量见表2。在方法验证正确率评估过程中,将分别对比4种关键数据集max_s、min_s、mean_s和合并后的关键数据集rs的分类正确率,以及4种关键集的结果中最高的一个与原始训练集d1的对比结果,从而验证方法的可行性。下表为样本量对比,rs关键数据集的数量是由最大max_s、最小min_s、平均mean_s的3种样本集合并所得。
[0054]
数据集名称训练集d1关键数据集关键数据数钢铁行业数据集28179182686089玻璃行业数据集25727133614454焦化行业数据集26932142694756煤炭行业数据集27712172425747制药行业数据集29833192896429制革行业数据集22591112493749印染行业数据集21304134824494玻璃行业数据集20081152535084水泥行业数据集23145133684456电力行业数据集23432174325810垃圾焚烧行业数据集19933118313943污水治理行业数据集12680103863462
[0055]
下表给出在5个分类器上d1及4种关键数据集中所得到的最高的分类正确率的对比结果。方法验证结果较好的是在朴素贝叶斯分类器上有7个数据集使用关键数据集作为
训练集后的分类正确率有所提升,其次是决策树分类器上有5个;效果较为不明显的是支持向量机分类器上只有3个数据集在经本方法后分类正确率有所提升,但就整体结果而言都可初步判定本方法是可行的。其原因是本方法选择的关键数据集去除了大量噪声数据对分类预测的干扰,从而证明了本方法的有效性。
[0056][0057][0058]
下表为5个分类器的效率对比,在这些数据集上的方法验证可证明本方法是有效的,没有任何一个的效率值低于1。并且在污水治理行业、水泥行业、钢铁行业、焦化行业这4个数据集上的表现是非常好的,效率达到了五十倍以上。原因由表2的训练样本量及表3的分类正确率可知,训练样本的大量减少,同时分类正确率近乎不变、甚至有所提升,因此,分类效率得到了极大的提升,说明本方法可以提升分类任务中的学习性能。其次,在五个分类器中,对于同一个数据集的效率对比,朴素贝叶斯较其他的四个分类器获得的表现更为优秀,可认为本方法对于朴素贝叶斯分类器能获得更好的分类效果。最后,经效率分析结果的显示,本方法达到了预期的目标。
[0059]
[0060][0061]
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
[0062]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献