数据检测方法、装置、设备及计算机存储介质与流程

技术特征：
1.一种数据检测方法，其特征在于，包括：获取多个待检测数据和检测规则，所述检测规则包括检测信息；计算所述多个待检测数据的局部稀疏率，所述局部稀疏率表示所述多个待检测数据为异常数据的概率；从所述多个待检测数据中去除所述局部稀疏率大于或等于修剪因子的待检测数据，得到多个目标数据，所述修剪因子为所有所述多个待检测数据的局部稀疏率的近似平均；计算所述多个目标数据的局部稀疏系数；将所述局部稀疏系数大于第一阈值的目标数据确定为异常数据；根据所述检测信息对所述异常数据进行检测，得到数据检测结果。2.根据权利要求1所述的方法，其特征在于，所述计算所述多个待检测数据的局部稀疏率，具体包括：将所述多个待检测数据中的每个数据依次确定为目标待检测数据；对每个目标待检测数据，分别执行以下步骤：获取所述目标待检测数据与任一非目标待检测数据之间的第一距离，所述非目标待检测数据为所述多个待检测数据中除所述目标待检测数据以外的其他待检测数据；将与所述目标待检测数据的第一距离小于或等于第二阈值的非目标待检测数据，组成第一数据集；基于所述第一数据集和所述第一距离，计算所述目标待检测数据的局部稀疏率。3.根据权利要求1所述的方法，其特征在于，所述计算所述多个目标数据的局部稀疏系数，具体包括：将所述多个目标数据中的每个数据依次确定为第一目标数据；对每个第一目标数据，分别执行以下步骤：计算所述第一目标数据的局部稀疏率和任一非第一目标数据的局部稀疏率，所述非第一目标数据为所述多个目标数据中除所述第一目标数据以外的其他目标数据；将与所述第一目标数据的距离小于或等于第三阈值的非第一目标数据，组成第二数据集；基于所述第一目标数据的局部稀疏率、所述任一非第一目标数据的局部稀疏率和所述第二数据集，计算所述第一目标数据的局部稀疏系数。4.根据权利要求1所述的方法，其特征在于，所述检测规则还包括告警规则；在所述根据所述检测信息对所述异常数据进行检测，得到数据检测结果之后，所述方法还包括：在所述数据检测结果指示所述异常数据为目标异常数据的情况下，根据所述告警规则，生成告警信息。5.根据权利要求4所述的方法，其特征在于，所述检测规则还包括告警方式信息；在所述根据所述告警规则，生成告警信息之后，所述方法还包括：根据所述告警方式信息，输出所述告警信息。6.根据权利要求4所述的方法，其特征在于，在所述根据所述告警规则，生成告警信息之后，所述方法还包括：将所述告警信息发送给抽取-转换-装载etl平台，以使所述etl平台进行相应处理。
7.一种数据检测装置，其特征在于，所述装置包括：获取模块，用于获取多个待检测数据和检测规则，所述检测规则包括检测信息；概率计算模块，用于计算所述多个待检测数据的局部稀疏率，所述局部稀疏率表示所述多个待检测数据为异常数据的概率；修剪模块，用于从所述多个待检测数据中去除所述局部稀疏率大于或等于修剪因子的待检测数据，得到多个目标数据，所述修剪因子为所有所述多个待检测数据的局部稀疏率的近似平均；系数计算模块，用于计算所述多个目标数据的局部稀疏系数；确定模块，用于将所述局部稀疏系数大于第一阈值的目标数据确定为异常数据；检测模块，用于根据所述检测信息对所述异常数据进行检测，得到数据检测结果。8.根据权利要求7所述的装置，其特征在于，所述检测规则还包括告警规则；所述装置还包括：生成模块，用于在所述数据检测结果指示所述异常数据为目标异常数据的情况下，根据所述告警规则，生成告警信息。9.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的数据检测方法。10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的数据检测方法。

技术总结
本申请公开了一种数据检测方法、装置、设备及计算机存储介质。该方法包括：获取多个待检测数据和检测规则，检测规则包括检测信息；计算多个待检测数据的局部稀疏率；从多个待检测数据中去除局部稀疏率大于或等于修剪因子的待检测数据，得到多个目标数据，修剪因子为所有多个待检测数据的局部稀疏率的近似平均；计算多个目标数据的局部稀疏系数；将局部稀疏系数大于第一阈值的目标数据确定为异常数据；根据检测信息对异常数据进行检测，得到数据检测结果。采用本申请提供的数据检测方法、装置、设备及计算机存储介质，可以大大提高数据检测的准确性，降低数据质量问题处理的难度和复杂性，提高数据质量管理的效率。提高数据质量管理的效率。提高数据质量管理的效率。


技术研发人员：马东洋
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2021.05.19
技术公布日：2022/11/22