基于K近邻算法的异常数据检测方法、系统、设备、介质与流程

技术特征：
1.一种基于k近邻算法的异常数据检测方法，其特征在于，所述检测方法包括：基于预设标准在待检测原始数据集中确定一正常数据与一异常数据；所述正常数据和所述异常数据组成已分类数据集；在所述待检测原始数据集中随机选取一个未分类数据，并基于综合校验规则计算所述未分类数据与所述已分类数据集中每一已分类数据之间的相似度；按照所述相似度从大到小的顺序进行排序，选取前k个相似度对应的已分类数据作为所述未分类数据的k个邻居；根据所述k个邻居的类别确定所述未分类数据的类别，成为已分类数据，并将所述已分类数据放入所述已分类数据集；所述类别包括正常数据和异常数据；判断所述待检测原始数据集中是否有未分类数据；若是，则返回“在所述待检测原始数据集中随机选取一个未分类数据”的步骤，直至所述待检测数据集中的每一未分类数据均已被检测；若否，则根据所述已分类数据集确定异常数据。2.根据权利要求1所述的检测方法，其特征在于，所述基于综合校验规则计算所述未分类数据与所述已分类数据集中每一已分类数据之间的相似度具体包括：对于所述已分类数据集中每一已分类数据，计算所述未分类数据与所述已分类数据之间的字符长度匹配度、特殊字符匹配度和数据类型匹配度；对所述字符长度匹配度、所述特殊字符匹配度和所述数据类型匹配度进行加权求和，得到所述未分类数据与所述已分类数据之间的相似度。3.根据权利要求2所述的检测方法，其特征在于，所述计算所述未分类数据与所述已分类数据之间的字符长度匹配度具体包括：分别计算所述未分类数据的第一字符长度和所述已分类数据的第二字符长度；判断所述第一字符长度是否小于所述第二字符长度；若是，则以所述第一字符长度和所述第二字符长度的比值作为所述未分类数据与所述已分类数据之间的字符长度匹配度；若否，则以所述第二字符长度和所述第一字符长度的比值作为所述未分类数据与所述已分类数据之间的字符长度匹配度。4.根据权利要求2所述的检测方法，其特征在于，所述计算所述未分类数据与所述已分类数据之间的特殊字符匹配度具体包括：判断所述未分类数据和所述已分类数据中是否存在特殊字符；所述特殊字符为除英文字母、数字、汉字、标点符号之外的字符；若所述未分类数据和所述已分类数据中均存在特殊字符，或者所述未分类数据和所述已分类数据中均不存在特殊字符，则所述未分类数据与所述已分类数据之间的特殊字符匹配度为1；否则，则所述未分类数据和所述已分类数据之间的特殊字符匹配度为0。5.根据权利要求2所述的检测方法，其特征在于，所述计算所述未分类数据与所述已分类数据之间的数据类型匹配度具体包括：判断所述未分类数据和所述已分类数据的数据类型是否相同；所述数据类型包括汉字、数字和英文字母；
若是，则所述未分类数据与所述已分类数据之间的数据类型匹配度为1；否则，则所述未分类数据与所述已分类数据之间的数据类型匹配度为0。6.根据权利要求1所述的检测方法，其特征在于，所述根据所述k个邻居的类别确定所述未分类数据的类别具体包括：将所述k个邻居中多数邻居的类别作为所述未分类数据的类别。7.根据权利要求6所述的检测方法，其特征在于，当所述k个邻居中，k/2个邻居为正常数据，k/2个邻居为异常数据时，则所述未分类数据的类别与所述k个邻居中相似度最高的邻居的类别相同。8.一种基于k近邻算法的异常数据检测系统，其特征在于，所述检测系统包括：已分类数据集确定模块，用于基于预设标准在待检测原始数据集中确定一正常数据与一异常数据；所述正常数据和所述异常数据组成已分类数据集；相似度计算模块，用于在所述待检测原始数据集中随机选取一个未分类数据，并基于综合校验规则计算所述未分类数据与所述已分类数据集中每一已分类数据之间的相似度；邻居确定模块，用于按照所述相似度从大到小的顺序进行排序，选取前k个相似度对应的已分类数据作为所述未分类数据的k个邻居；类别确定模块，用于根据所述k个邻居的类别确定所述未分类数据的类别，成为已分类数据，并将所述已分类数据放入所述已分类数据集；所述类别包括正常数据和异常数据；判断模块，用于判断所述待检测原始数据集中是否有未分类数据；返回模块，用于若是，则返回“在所述待检测原始数据集中随机选取一个未分类数据”的步骤，直至所述待检测数据集中的每一未分类数据均已被检测；异常数据确定模块，用于若否，则根据所述已分类数据集确定异常数据。9.一种基于k近邻算法的异常数据检测设备，其特征在于，包括：处理器；以及存储器，其中存储计算机可读程序指令，其中，在所述计算机可读程序指令被所述处理器运行时执行如权利要求1-7任一项所述的检测方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述检测方法的步骤。

技术总结
本发明公开一种基于K近邻算法的异常数据检测方法、系统、设备、介质，涉及异常数据检测技术领域，以解决现有的检测方法复用性差的问题。所述检测方法包括：基于综合校验规则计算未分类数据与已分类数据集中每一已分类数据之间的相似度，并按照相似度确定未分类数据的K个邻居，根据K个邻居的类别确定未分类数据的类别，进而基于相似度确定待检测原始数据集中每一数据的类别，以确定所有的异常数据，实现异常数据检测。本发明所用的方法可以适用于所有场景下的异常数据检测，通用性强。本发明提供的基于K近邻算法的异常数据检测方法、系统、设备、介质用于对异常数据检测方法进行优化，复用性强。复用性强。复用性强。


技术研发人员：韩雅安 张文宏 于岗
受保护的技术使用者：航天科工网络信息发展有限公司
技术研发日：2021.12.08
技术公布日：2022/4/29