基于神经网络的数据规范性检查方法、装置、设备及介质与流程

技术特征：
1.一种基于神经网络的数据规范性检查方法，其特征在于，包括：获取待检查的数据；将待检查的数据输入预训练的数据类型识别模型，得到每列数据的数据类型；将每列数据以及对应的数据类型输入预训练的规范性检查模型，得到每列数据的规范性检查结果。2.根据权利要求1所述的方法，其特征在于，将待检查的数据输入预训练的数据类型识别模型之前，还包括：制定目标数据类别，所述目标数据类别为一级或多级目标数据类别；获取每个最小级别的目标数据类别对应的数据并进行标注，得到第一数据集；将所述第一数据集分为训练集和测试集，根据所述训练集和测试集训练所述数据类型识别模型。3.根据权利要求1所述的方法，其特征在于，将待检查的数据输入预训练的数据类型识别模型，得到每列数据的数据类型，包括：将待检查的数据输入预训练的数据类型识别模型，得到每列数据中每个数据的数据类型；对每列数据中所有数据的数据类型进行投票，将比例较多的数据类型作为该列数据的数据类型，将数据类型比例相等的列定义为其他类型，将无法识别数据类型的列定义为其他类型；统计其他类型的数据列中的数据类型，并进行标注，得到更新后的训练数据集；根据更新后的训练数据集训练所述数据类型识别模型，得到更新后的数据类型识别模型；根据所述更新后的数据类型识别模型再次识别其他类型的数据列的数据类型，直到得到所有数据列的数据类型。4.根据权利要求1所述的方法，其特征在于，将每列数据以及对应的数据类型输入预训练的规范性检查模型之前，还包括：根据待检查数据对应的部门业务，设定待检查数据类别，所述待检查数据类别为一级数据类别；获取所述待检查数据类别对应的数据并进行标注，得到第二数据集，其中，所述第二数据集中的数据格式满足预设的规范性检查规则；将所述第二数据集分为训练集和测试集，根据所述训练集和测试集训练所述规范性检查模型。5.根据权利要求4所述的方法，其特征在于，将每列数据以及对应的数据类型输入预训练的规范性检查模型，得到每列数据的规范性检查结果，包括：将每列数据以及对应的数据类型输入预训练的规范性检查模型；判断每列数据的数据类型是否属于所述待检查数据类别，若不属于，则确定该列数据的格式不规范。6.根据权利要求5所述的方法，其特征在于，还包括：若某列数据的数据类型属于预设的所述待检查数据类别，则输出该列数据中每个数据的数据类型；
判断该列数据中每个数据的数据类型是否全部相同，若全部相同，则确定该列数据的格式规范；若不是全部相同，则确定该列数据的格式不规范。7.根据权利要求1-6任一项所述的方法，其特征在于，所述数据类型识别模型以及所述规范性检查模型的神经网络结构为改进的gae网络结构，所述改进的gae网络结构包括编码层以及反编码层，所述编码层包括依次连接的gnn网络以及fc网络，所述反编码层包括fc网络。8.一种基于神经网络的数据规范性检查装置，其特征在于，包括：获取模块，用于获取待检查的数据；识别模块，用于将待检查的数据输入预训练的数据类型识别模型，得到每列数据的数据类型；检查模块，用于将每列数据以及对应的数据类型输入预训练的规范性检查模型，得到每列数据的规范性检查结果。9.一种基于神经网络的数据规范性检查设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7任一项所述的基于神经网络的数据规范性检查方法。10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令被处理器执行以实现如权利要求1至7任一项所述的一种基于神经网络的数据规范性检查方法。

技术总结
本申请公开了一种基于神经网络的数据规范性检查方法、装置、设备及介质，所述方法包括：获取待检查的数据；将待检查的数据输入预训练的数据类型识别模型，得到每列数据的数据类型；将每列数据以及对应的数据类型输入预训练的规范性检查模型，得到每列数据的规范性检查结果。根据本申请实施例提供的数据规范性检查方法，大大提高了数据规范性检查的效率，增加了数据类型的识别能力以及泛化能力，从而避免由于正则表达式的局限性和强匹配性导致的数据类型识别遗漏，还减少了人员对公共数据的接触，从而保障了数据共享和使用安全。从而保障了数据共享和使用安全。从而保障了数据共享和使用安全。


技术研发人员：俞弘毅 单超炳 郑聪 龚小龙 李克勤 麻志毅
受保护的技术使用者：浙江省北大信息技术高等研究院
技术研发日：2022.01.19
技术公布日：2022/5/30