数据表异常查找方法、装置、介质及电子设备与流程

1.本发明涉及数据表处理技术领域，特别涉及为一种数据表异常查找方法、装置、介质及电子设备。


背景技术：

2.随着大数据技术的不断发展，数据库中数据表的管理以及异常查找也变得越来越重要，数据库中异常数据表查找可以帮助用户快速定位异常数据，以及帮助用户快速定完成异常数据分析。目前来说，在进行数据表查找时，首先将业务系统的数据经过抽取、清洗转换之后加载到对照表中，以便将分散、零乱、标准不统一的数据整合到一起，并将对应的例如数据类型填写到对照表相应的位置，进而按照顺序依次进行比对，填写异常报告。这样，难以快速、准确地查找数据库中异常数据表。


技术实现要素：

3.本发明旨在解决难以快速、准确地查找数据库中异常数据表的技术问题，提供一种数据表异常查找方法、装置、介质及电子设备。
4.本发明为解决技术问题采用如下技术手段：本发明第一方面，提供一种数据表异常查找方法，所述方法包括：针对数据库中的任一数据表，获取所述数据表的预设重要系数；并，根据预先配置的时长规则，将所述数据库中所述时长规则内的数据表作为参考数据表；将所述数据表与所述参考数据表进行比对，确定所述数据表的空间膨胀系数；根据所述预设重要系数以及所述空间膨胀系数，在预设的异常等级中确定所述数据表对应的目标异常等级，并根据各所述目标异常等级生成膨胀报告脚本。
5.在一种优选的实施方式中，在所述针对数据库中的任一数据表，获取所述数据表的预设重要系数之前，包括：响应于用户创建时域的操作，根据所述用户输入的会话所需的属性及配置信息，调用时域开始函数，注册时域变量；基于所述时域变量，使用挂钩程序连接存储有所述数据表的所述数据库。
6.在一种优选的实施方式中，所述根据所述预设重要系数以及所述空间膨胀系数，在预设的异常等级中确定所述数据表对应的目标异常等级，包括：根据所述数据库中存储的数据表的数量，建立相应容量的对照表；将各所述预设重要系数添加至所述对照表的第一预设位置，并将所述预设重要系数对应的所述空间膨胀系数添加至所述对照表中相应的第二预设位置；针对所述对照表进行异常划分，并在预设的异常等级中确定所述数据表对应的目标异常等级。
7.在一种优选的实施方式中，所述预设重要系数是根据所述数据表中存储数据的重
要程度确定的。
8.在一种优选的实施方式中，所述将所述数据表与所述参考数据表进行比对，确定所述数据表的空间膨胀系数，包括：针对所述数据表中的每一数据，基于皮尔逊相关系数算法，计算所述每一数据与所述参考数据表中每一数据之间的线性相关值；并，根据所述预设重要系数以及所述数据表，确定所述数据表中的每一数据的权重系数值；基于肯德尔系数算法，以所述权重系数值为第一属性值、所述线性相关值为第二属性值，计算同序对数以及异序对数；并，以所述权重系数值为输入矩阵长度、所述同序对数的数值为输入矩阵维度构建输入向量矩阵，以及以所述线性相关值为转移概率矩阵长度、所述异序对数的数值为转移概率矩阵维度构建转移向量矩阵；基于所述转移向量矩阵，将所述输入向量矩阵作为输入矩阵输入到预先训练的空间膨胀系数模型，得到所述空间膨胀系数模型输出的针对每一数据的空间膨胀系数；其中，所述空间膨胀系数模型包括卷积神经网络模型以及条件随机场模型，所述空间膨胀系数模型是以基于样本数据表以及参考数据表得到的输入向量矩阵作为卷积训练样本进行卷积训练，得到该数据表中每一数据的空间膨胀得分，并将基于所述样本数据表以及所述参考数据表得到的转移向量矩阵作为转移概率矩阵，以及将以该数据表中数据的个数为发射概率矩阵长度、所述同序对数与异序对数之和为发射概率矩阵维度，根据该数据表中每一数据的空间膨胀得分构建的矩阵作为发射概率矩阵进行条件随机场模型训练得到的。
9.在一种优选的实施方式中，所述根据各所述目标异常等级生成膨胀报告脚本，包括：将各所述目标异常等级进行标记，并根据所述标记以及各所述目标异常等级生成膨胀报告脚本。
10.本发明第二方面，提供一种数据表异常查找装置，所述装置包括：获取模块，用于针对数据库中的任一数据表，获取所述数据表的预设重要系数；并，参考模块，用于根据预先配置的时长规则，将所述数据库中所述时长规则内的数据表作为参考数据表；比对模块，用于将所述数据表与所述参考数据表进行比对，确定所述数据表的空间膨胀系数；生成模块，用于根据所述预设重要系数以及所述空间膨胀系数，在预设的异常等级中确定所述数据表对应的目标异常等级，并根据各所述目标异常等级生成膨胀报告脚本。
11.在一种优选的实施方式中，所述装置还包括：创建模块，用于在所述针对数据库中的任一数据表，获取所述数据表的预设重要系数之前，响应于用户创建时域的操作，根据所述用户输入的会话所需的属性及配置信息，调用时域开始函数，注册时域变量；并，
基于所述时域变量，使用挂钩程序连接存储有所述数据表的所述数据库。
12.在一种优选的实施方式中，所述生成模块，用于：根据所述数据库中存储的数据表的数量，建立相应容量的对照表；将各所述预设重要系数添加至所述对照表的第一预设位置，并将所述预设重要系数对应的所述空间膨胀系数添加至所述对照表中相应的第二预设位置；针对所述对照表进行异常划分，并在预设的异常等级中确定所述数据表对应的目标异常等级。
13.在一种优选的实施方式中，所述预设重要系数是根据所述数据表中存储数据的重要程度确定的。
14.在一种优选的实施方式中，所述比对模块，用于：针对所述数据表中的每一数据，基于皮尔逊相关系数算法，计算所述每一数据与所述参考数据表中每一数据之间的线性相关值；并，根据所述预设重要系数以及所述数据表，确定所述数据表中的每一数据的权重系数值；基于肯德尔系数算法，以所述权重系数值为第一属性值、所述线性相关值为第二属性值，计算同序对数以及异序对数；并，以所述权重系数值为输入矩阵长度、所述同序对数的数值为输入矩阵维度构建输入向量矩阵，以及以所述线性相关值为转移概率矩阵长度、所述异序对数的数值为转移概率矩阵维度构建转移向量矩阵；基于所述转移向量矩阵，将所述输入向量矩阵作为输入矩阵输入到预先训练的空间膨胀系数模型，得到所述空间膨胀系数模型输出的针对每一数据的空间膨胀系数；其中，所述空间膨胀系数模型包括卷积神经网络模型以及条件随机场模型，所述空间膨胀系数模型是以基于样本数据表以及参考数据表得到的输入向量矩阵作为卷积训练样本进行卷积训练，得到该数据表中每一数据的空间膨胀得分，并将基于所述样本数据表以及所述参考数据表得到的转移向量矩阵作为转移概率矩阵，以及将以该数据表中数据的个数为发射概率矩阵长度、所述同序对数与异序对数之和为发射概率矩阵维度，根据该数据表中每一数据的空间膨胀得分构建的矩阵作为发射概率矩阵进行条件随机场模型训练得到的。
15.在一种优选的实施方式中，所述生成模块，用于将各所述目标异常等级进行标记，并根据所述标记以及各所述目标异常等级生成膨胀报告脚本。
16.本发明第三方面，提供一种计算机存储介质，其上存储有计算机程序，该计算机程序包括计算机可读代码，当所述计算机可读代码在计算处理设备上运行时，导致所述计算处理设备执行根据第一方面中任一项所述的数据表异常查找方法的步骤。
17.本发明第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述的数据表异常查找方法的步骤。
18.有益效果：通过针对数据库中的任一数据表，获取数据表的预设重要系数；根据预先配置的
时长规则，将数据库中时长规则内的数据表作为参考数据表；将数据表与参考数据表进行比对，确定数据表的空间膨胀系数；根据预设重要系数以及空间膨胀系数，在预设的异常等级中确定数据表对应的目标异常等级，并根据各目标异常等级生成膨胀报告脚本。这样，基于时长规则内的数据表作为参考数据表确定数据表的空间膨胀系数；根据预设重要系数以及空间膨胀系数，在预设的异常等级中确定数据表对应的目标异常等级，可以快速、准确地查找数据库中异常数据表。
附图说明
19.图1为本发明一实施例中的数据表异常查找方法的流程图；图2为本发明另一实施例中的数据表异常查找方法的流程图；图3为为本发明一实施例中的实现图1中s14的流程图；图4为本发明一实施例中的数据表异常查找装置的框图；图5为本发明另一实施例中的数据表异常查找装置的框图。
20.本发明为目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
21.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
22.下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.需要说明的是，在本公开中，说明书和权利要求书以及附图中的术语“s11”、“s21”等是用于区别方法步骤，而不必理解为描述特定的执行顺序。
24.参考附图1，为本发明一实施例中的数据表异常查找方法的流程图，如图1所示，所述数据表异常查找方法包括以下步骤。
25.在步骤s11中，针对数据库中的任一数据表，获取所述数据表的预设重要系数；在步骤s12中，根据预先配置的时长规则，将所述数据库中所述时长规则内的数据表作为参考数据表；具体地，时长规则可以是每一数据表前7日，即将数据库中在该数据表之前7日的数据表作为参考数据表。
26.在步骤s13中，将所述数据表与所述参考数据表进行比对，确定所述数据表的空间膨胀系数；具体地，空间膨胀系数可以是按照比分比进行统计的。
27.在步骤s14中，根据所述预设重要系数以及所述空间膨胀系数，在预设的异常等级中确定所述数据表对应的目标异常等级，并根据各所述目标异常等级生成膨胀报告脚本。
28.上述技术方案，通过针对数据库中的任一数据表，获取数据表的预设重要系数；根据预先配置的时长规则，将数据库中时长规则内的数据表作为参考数据表；将数据表与参考数据表进行比对，确定数据表的空间膨胀系数；根据预设重要系数以及空间膨胀系数，在预设的异常等级中确定数据表对应的目标异常等级，并根据各目标异常等级生成膨胀报告
脚本。这样，基于时长规则内的数据表作为参考数据表确定数据表的空间膨胀系数；根据预设重要系数以及空间膨胀系数，在预设的异常等级中确定数据表对应的目标异常等级，可以快速、准确地查找数据库中异常数据表。
29.在一种优选的实施方式中，参考图2为本发明另一实施例中的数据表异常查找方法的流程图，在步骤s11中，在所述针对数据库中的任一数据表，获取所述数据表的预设重要系数之前，包括以下步骤。
30.在步骤s21中，响应于用户创建时域的操作，根据所述用户输入的会话所需的属性及配置信息，调用时域开始函数，注册时域变量；在步骤s22中，基于所述时域变量，使用挂钩程序连接存储有所述数据表的所述数据库。
31.在一种优选的实施方式中，参考图3为本发明一实施例中的实现图1中步骤14的流程图，在步骤s14中，所述根据所述预设重要系数以及所述空间膨胀系数，在预设的异常等级中确定所述数据表对应的目标异常等级，包括以下步骤。
32.在步骤s141中，根据所述数据库中存储的数据表的数量，建立相应容量的对照表；在步骤s142中，将各所述预设重要系数添加至所述对照表的第一预设位置，并将所述预设重要系数对应的所述空间膨胀系数添加至所述对照表中相应的第二预设位置；具体地，将各所述预设重要系数添加至所述对照表的第一列，将所述预设重要系数对应的所述空间膨胀系数添加至所述对照表中相应的第二列。或者，将各所述预设重要系数添加至所述对照表的第一排，将所述预设重要系数对应的所述空间膨胀系数添加至所述对照表中相应的第二排。
33.在步骤s143中，针对所述对照表进行异常划分，并在预设的异常等级中确定所述数据表对应的目标异常等级。
34.在一种优选的实施方式中，所述预设重要系数是根据所述数据表中存储数据的重要程度确定的。
35.在一种优选的实施方式中，在步骤s13中，所述将所述数据表与所述参考数据表进行比对，确定所述数据表的空间膨胀系数，包括：针对所述数据表中的每一数据，基于皮尔逊相关系数算法，计算所述每一数据与所述参考数据表中每一数据之间的线性相关值；并，根据所述预设重要系数以及所述数据表，确定所述数据表中的每一数据的权重系数值；基于肯德尔系数算法，以所述权重系数值为第一属性值、所述线性相关值为第二属性值，计算同序对数以及异序对数；并，以所述权重系数值为输入矩阵长度、所述同序对数的数值为输入矩阵维度构建输入向量矩阵，以及以所述线性相关值为转移概率矩阵长度、所述异序对数的数值为转移概率矩阵维度构建转移向量矩阵；基于所述转移向量矩阵，将所述输入向量矩阵作为输入矩阵输入到预先训练的空间膨胀系数模型，得到所述空间膨胀系数模型输出的针对每一数据的空间膨胀系数；其中，所述空间膨胀系数模型包括卷积神经网络模型以及条件随机场模型，所述空间膨胀系数模型是以基于样本数据表以及参考数据表得到的输入向量矩阵作为卷积训
练样本进行卷积训练，得到该数据表中每一数据的空间膨胀得分，并将基于所述样本数据表以及所述参考数据表得到的转移向量矩阵作为转移概率矩阵，以及将以该数据表中数据的个数为发射概率矩阵长度、所述同序对数与异序对数之和为发射概率矩阵维度，根据该数据表中每一数据的空间膨胀得分构建的矩阵作为发射概率矩阵进行条件随机场模型训练得到的。
36.在一种实施方式中，在每一数据表存储至所述数据库时，根据用户给定表征存储数据的重要程度，为该数据表添加相应的预设重要系数，并将预设重要系数与该数据表一同存储。
37.在另一种实施方式中，在每一数据表存储至所述数据库时，根据预先设置的重要程度参数，确定该数据表中存储数据相应的预设重要系数，并将预设重要系数与该数据表一同存储。
38.具体地，预设重要系数可以为1
‑
10级。
39.在一种优选的实施方式中，在步骤s14中，所述根据各所述目标异常等级生成膨胀报告脚本，包括：将各所述目标异常等级进行标记，并根据所述标记以及各所述目标异常等级生成膨胀报告脚本。
40.基于相同的发明构思，本公开还提供一种数据表异常查找装置，用于执行上述实施例提供的数据表异常查找方法的步骤，该装置可以以软件、硬件或者两者相结合的方式实现数据表异常查找方法。参考附图4，为本发明一实施例中的数据表异常查找装置100的框图，如图4所示，所述装置100包括：获取模块110、参考模块120、比对模块130和生成模块140。
41.其中，获取模块110，用于针对数据库中的任一数据表，获取所述数据表的预设重要系数；并，参考模块120，用于根据预先配置的时长规则，将所述数据库中所述时长规则内的数据表作为参考数据表；比对模块130，用于将所述数据表与所述参考数据表进行比对，确定所述数据表的空间膨胀系数；生成模块140，用于根据所述预设重要系数以及所述空间膨胀系数，在预设的异常等级中确定所述数据表对应的目标异常等级，并根据各所述目标异常等级生成膨胀报告脚本。
42.上述装置基于时长规则内的数据表作为参考数据表确定数据表的空间膨胀系数；根据预设重要系数以及空间膨胀系数，在预设的异常等级中确定数据表对应的目标异常等级，可以快速、准确地查找数据库中异常数据表。
43.在一种优选的实施方式中，参考附图5，为本发明另一实施例中的数据表异常查找装置100的框图，如图5所示，所述装置100还包括：创建模块150，用于在所述针对数据库中的任一数据表，获取所述数据表的预设重要系数之前，响应于用户创建时域的操作，根据所述用户输入的会话所需的属性及配置信息，调用时域开始函数，注册时域变量；并，基于所述时域变量，使用挂钩程序连接存储有所述数据表的所述数据库。
44.在一种优选的实施方式中，所述生成模块140，用于：根据所述数据库中存储的数据表的数量，建立相应容量的对照表；将各所述预设重要系数添加至所述对照表的第一预设位置，并将所述预设重要系数对应的所述空间膨胀系数添加至所述对照表中相应的第二预设位置；针对所述对照表进行异常划分，并在预设的异常等级中确定所述数据表对应的目标异常等级。
45.在一种优选的实施方式中，所述预设重要系数是根据所述数据表中存储数据的重要程度确定的。
46.在一种优选的实施方式中，所述比对模块130，用于：针对所述数据表中的每一数据，基于皮尔逊相关系数算法，计算所述每一数据与所述参考数据表中每一数据之间的线性相关值；根据所述预设重要系数以及所述数据表，确定所述数据表中的每一数据的权重系数值；基于肯德尔系数算法，以所述权重系数值为第一属性值、所述线性相关值为第二属性值，计算同序对数以及异序对数；并，以所述权重系数值为输入矩阵长度、所述同序对数的数值为输入矩阵维度构建输入向量矩阵，以及以所述线性相关值为转移概率矩阵长度、所述异序对数的数值为转移概率矩阵维度构建转移向量矩阵；基于所述转移向量矩阵，将所述输入向量矩阵作为输入矩阵输入到预先训练的空间膨胀系数模型，得到所述空间膨胀系数模型输出的针对每一数据的空间膨胀系数；其中，所述空间膨胀系数模型包括卷积神经网络模型以及条件随机场模型，所述空间膨胀系数模型是以基于样本数据表以及参考数据表得到的输入向量矩阵作为卷积训练样本进行卷积训练，得到该数据表中每一数据的空间膨胀得分，并将基于所述样本数据表以及所述参考数据表得到的转移向量矩阵作为转移概率矩阵，以及将以该数据表中数据的个数为发射概率矩阵长度、所述同序对数与异序对数之和为发射概率矩阵维度，根据该数据表中每一数据的空间膨胀得分构建的矩阵作为发射概率矩阵进行条件随机场模型训练得到的。
47.在一种优选的实施方式中，所述生成模块，用于将各所述目标异常等级进行标记，并根据所述标记以及各所述目标异常等级生成膨胀报告脚本。
48.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
49.此外值得说明的是，为描述的方便和简洁，说明书中所描述的实施例均属于优选实施例，其所涉及的部分并不一定是本发明所必须的，例如，获取模块110和参考模块120，在具体实施时可以是相互独立的装置也可以是同一个装置，本公开对此不作限定。
50.本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序包括计算机可读代码，当所述计算机可读代码在计算处理设备上运行时，导致所述计算处理设备执行根据前述任一项所述的数据表异常查找方法的步骤。
51.本发明实施例还提供一种电子设备，包括：存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现前述任一项所述的数据表异常查找方法的步骤。
52.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
53.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
54.此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。