一种基于深度学习的校园数据质量智能管控方法与系统与流程

摘要: 本发明涉及校园数据治理,尤其涉及一种基于深度学习的校园数据质量智能管控方法与系统。背景技术:1、在高校信息化运行体系中,教务、学工、财务等业务系统各自独立建设并...
一种基于深度学习的校园数据质量智能管控方法与系统与流程

本发明涉及校园数据治理,尤其涉及一种基于深度学习的校园数据质量智能管控方法与系统。

背景技术:

1、在高校信息化运行体系中,教务、学工、财务等业务系统各自独立建设并长期运行,各系统产生的数据经交换平台汇聚至数据中心,再向下游的统计分析、决策支持、上报报送等应用提供数据服务。

2、从数据形态看,经交换平台汇聚至数据中心的数据可归为三类:一是以二维关系表组织、字段名与字段类型明确的结构化业务数据,如学生基本信息表、选课记录表、收费明细表;二是以数据字典、编码对照表形式存在的半结构化描述数据,用于解释业务数据中各字段取值的含义;三是公文附件、影像材料和自由文本等非结构化数据。其中,非结构化数据不含字段定义,其治理以内容提取和全文检索为主;半结构化描述数据本身即治理所依据的参照基准,不作为被管控的对象。需要通过字段映射与取值稽核完成质量管控的,主要为结构化业务数据。

3、在校园数据治理的工程实践中,主流手段是基于规则引擎的映射转换与质量稽核,预先为每类数据源定义字段映射关系、编码对照表和校验规则,数据接入时由规则引擎逐条匹配并执行转换,再以规则校验结果标记异常记录。规则的定义依赖数据治理人员对源系统数据字典和业务含义的人工梳理,映射与校验逻辑以脚本或配置形式固化在治理平台中。当业务系统因升级改造调整数据表结构、新增字段或变更字典项时,既有规则无法感知此类变化,由此产生字段映射错位、编码无法对应所导致的转换失败或静默错误,异常数据因规则未覆盖而被放行,数据治理人员需反复排查并手工修订规则。

4、为提升规则维护的自动化程度,业内引入了基于相似度计算的字段匹配方案。此类方法通过计算源字段名与标准字段名之间的编辑距离、语义相似度等指标来自动推荐映射关系,以减少人工梳理工作量。但校园业务系统的字段命名方式存在差异,同一业务含义在不同系统中可能以拼音缩写、英文简称或自定义编码表示,而相似度计算仅能捕捉字符层面的浅层关联。当字段名与业务含义之间缺乏字面关联时,相似度方法无法建立正确映射,仍需人工介入确认。

5、在质量校验方面,部分方案采用基于统计分布的异常检测方法,对数值型字段建立取值分布模型,将偏离分布的记录判定为异常,但校园数据中大量核心字段属于编码型、文本型数据,如学号、课程代码、院系名称等,其取值规律体现在业务规则和编码规范中,而非统计分布上。统计方法对这类字段的异常识别能力有限。

6、深度学习广泛用于数据质量检测与字段关系识别,通常借助神经网络自动提取字段编码、类型与取值分布等特征,并通过端到端学习实现映射与质量规则的统一表征。然而在校园多源业务系统中,各系统表结构各异,编码型字段常同义异名、类型相同而语义不同,通用模型难以在映射与校验间建立一致对应,易致字段映射错位、编码无法对应,引发转换失败。字段间层级约束与表间挂靠关系难以在逐字段特征中表达,上游取值错误会沿依赖链逐级放大。业务系统表结构或字典项局部变更时,已有模型难以感知并联动更新映射与校验结果。

技术实现思路

1、有鉴于此,本发明旨在提供一种基于深度学习的校园数据质量智能管控方法与系统,以解决校园结构化业务数据中传统方法难以自适应识别异常字段的问题。

2、一种基于深度学习的校园数据质量智能管控方法,包括:

3、a1:采集业务数据表、各业务系统对应的数据字典与校园元数据标准文件,依次进行重复记录剔除、枚举值清洗、关联统计与统一存储处理,得到预处理后的业务数据表集合、元数据标准字段定义表、字段依存关系表与字段值取值域统计信息;

4、a2:根据预处理后的业务数据表集合、元数据标准字段定义表与字段值取值域统计信息,进行字段编码、映射编码、局部异常提取与全局异常融合处理,得到字段映射特征矩阵与异常模式特征;

5、a3:根据字段映射特征矩阵、异常模式特征与字段依存关系表,进行邻接矩阵构建、节点特征融合、图卷积传播、序列增强、长程依赖聚合与趋势分解融合处理,得到字段约束节点特征、字段依存邻接矩阵与约束传播联合表征;

6、a4:根据字段映射特征矩阵、异常模式特征与约束传播联合表征,进行门控卷积融合、注意力重标定、门控对齐、门控融合与上下文编码增强处理,得到映射异常融合特征、约束增强融合特征与质量管控核心特征;

7、a5:根据质量管控核心特征,进行字段映射解码、质量校验解码与结果合成判定处理,得到字段映射解码结果与质量异常判定结果;

8、a6:根据字段映射解码结果、质量异常判定结果,将字段映射解码结果映射至元数据标准字段定义表中对应的标准字段,并对质量异常判定结果为异常的字段记录附加质量异常标识。

9、进一步的,所述a1步骤,还包括:

10、a11:采集教务系统、学工系统、财务系统汇聚的业务数据表,数据类型为结构化关系表数据,包括字段名、字段类型、字段长度、字段取值;对所述业务数据表,采用基于主键唯一性约束的重复记录剔除方法滤除重复记录,得到清洗后的业务数据表;

11、a12:采集各业务系统对应的数据字典,数据类型为半结构化描述数据,包括取值枚举范围、编码层级结构、值域约束;对所述数据字典,根据数据字典的取值枚举范围,剔除缺失枚举值与越界枚举值,得到清洗后的数据字典;

12、a13:采集校园元数据标准文件,数据类型为结构化定义数据,包括元数据标准字段定义表与字段依存关系表;

13、a14:对清洗后的业务数据表、清洗后的数据字典,将清洗后的数据字典中的值域约束与清洗后的业务数据表中的字段取值进行关联比对,再按字段统计取值枚举的命中比例、越界取值占比与空值占比,得到字段值取值域统计信息;

14、a15:对所有清洗后的业务数据表,进行统一存储,得到预处理后的业务数据表集合。

15、进一步的,所述a2步骤,还包括:

16、对预处理后的业务数据表集合中的字段名进行嵌入层操作得到字段名编码,对预处理后的业务数据表集合中的字段类型进行嵌入层操作得到字段类型编码,对元数据标准字段定义表中的标准字段名进行嵌入层操作得到标准字段定义编码;将字段名编码与字段类型编码进行维度拼接,得到拼接编码;对拼接编码依次进行线性投影操作和通道与词元全局混合操作,再与拼接编码相加,得到字段交互特征;将字段交互特征经线性投影操作后的结果作为查询,将标准字段定义编码经多层感知机操作后的结果分别作为键和值,进行交叉注意力操作,再与字段交互特征经线性投影操作后的结果相加,得到原始字段映射特征;将原始字段映射特征经线性投影操作后,进行门控线性单元门控操作,再与原始字段映射特征相加,得到字段映射特征矩阵;

17、对字段值取值域统计信息依次进行线性投影操作和层归一化操作,得到字段值取值域统计特征;将字段映射特征矩阵作为查询,将字段值取值域统计特征经线性投影操作后的结果分别作为键和值,进行交叉注意力操作,再与字段映射特征矩阵相加,得到统计约束交互特征;对统计约束交互特征依次进行高斯误差线性单元激活操作、在第1维插入长度为1的序列维、深度可分离一维卷积操作、移除长度为1的序列维,再与统计约束交互特征相加,得到局部模式特征;对局部模式特征先在第1维插入长度为1的序列维,进行门控卷积操作,移除长度为1的序列维,再与局部模式特征相加,得到细粒度局部异常特征;

18、对细粒度局部异常特征依次进行层归一化操作和通道与词元全局混合操作,再与细粒度局部异常特征相加,得到全局混合特征;对全局混合特征经线性投影操作后,进行自注意力操作,再与全局混合特征相加,得到全局异常依赖特征;将全局异常依赖特征与细粒度局部异常特征进行维度拼接,对拼接结果依次进行线性投影操作和门控线性单元门控操作,再与全局异常依赖特征经线性投影操作后的结果相加,得到异常模式特征。

19、需要进一步说明的是,校园各业务系统自建的数据表在字段命名上并无统一约定,同一个学生的学号在一张表里叫学号,在另一张表里却叫学生编号或另一种英文写法,数据治理人员只能对照元数据标准逐字段人工比对,仅依赖字段名字符串相似度匹配,遇到同义异名便直接失效,改为仅依赖字段类型匹配,同为字符型的日期与学号又会被错判为同一个标准字段--两类线索各自单独使用时都会在特定工况下失效;字段值中超出量程、格式违规、成片为空这类质量问题必须结合该字段的取值域分布才能辨识,而名称语义与取值分布属于两套彼此独立的信息来源,人工难以同时权衡,其后果是映射关系不可靠,脏数据顺着字段一路流进下游质量管控环节;

20、字段编码环节承接的是命名与类型两类原始线索;字段名与字段类型分别经嵌入层操作得到字段名编码与字段类型编码,拼接后由通道与序列位置的全局混合操作完成全局混合并保留残差,得到字段交互特征--使每个字段在编码时不再孤立地依据自身名称,而是携带了同一张表内其他字段的上下文关系;以此字段交互特征经线性投影作为查询,以标准字段定义编码同时充当键和值执行交叉注意力,使每个字段与候选标准字段逐一对齐打分,输出字段映射特征矩阵--使得命名习惯各异但语义相同的字段,例如学号与学生编号,能够在对齐打分中被拉到相近的表征位置,字段名毫无字面重叠时仍可被识别为同一标准字段;而类型相同但语义不同的字段因携带了表内上下文线索,在表征空间中不会被强行归并,日期与学号这类同类型异义字段因此得以区分--使同义异名与同类型异义两种工况下的失效概率均有下降;

21、字段值取值域统计信息经层归一化与线性投影得到字段值取值域统计特征,与字段映射特征矩阵执行交叉注意力,形成统计约束交互特征,使映射表征在语义对齐的基础上被取值域分布进一步约束;随后经高斯误差线性单元激活、深度可分离一维卷积与门控卷积两级残差提取,得到细粒度局部异常特征--使得超出量程与格式违规这类异常在单字段层面即可被标记,而成片为空这类异常往往表现为序列中连续多个相邻字段同时缺失,深度可分离一维卷积在字段序列的相邻位置间逐段捕捉,使其在局部范围内即可被辨识,无需等到下游校验环节才暴露;原本分散在映射与质检两个环节的痛点被同时转化为向量空间中可计算的偏差,映射错位与数据越界得以在同一表征上联合判断,有助于减少脏数据向下游质量管控环节的传导;

22、全局异常模式的融合补足了局部提取难以覆盖的跨字段关联;细粒度局部异常特征经层归一化与全局混合操作得到全局混合特征,再经自注意力聚合得到全局异常依赖特征,最终与细粒度局部异常特征拼接后经门控操作输出异常模式特征;局部卷积的感受范围有限,当某张业务表出现成片字段为空或整段取值域整体偏移时,异常分散在多个相隔较远的字段上,单字段的局部特征并不显著;全局依赖聚合使这类跨字段异常在整表范围内被关联起来,与局部特征互为补充--由此得到的异常模式特征在单字段越界与跨字段成片异常两类工况下均有对应的表征来源,对字段数量较多、异常分布稀疏的业务表尤其有助于保持识别的稳定性;

23、现有技术中,处理字段映射通常依赖字段名字符串相似度匹配或字段类型匹配,前者在同义异名场景下会失效,后者会将同为字符型的日期与学号错判为同一标准字段;另一些方案先完成人工映射再单独进行数据质量校验,名称语义与取值分布两套信息在流程上被割裂,映射关系是否正确无法由取值分布反向印证,质量问题往往要等到下游环节才暴露;本发明将字段名编码、字段类型编码与标准字段定义编码置于同一交叉注意力结构中完成对齐打分,输出字段映射特征矩阵,又在该表征上引入字段值取值域统计特征执行二次交叉注意力,使映射语义与取值分布在同一向量空间内被联合约束,最后由深度可分离一维卷积与门控卷积提取细粒度局部异常特征、由全局混合与自注意力聚合全局异常依赖特征,得到异常模式特征--映射关系的可靠性由取值域分布提供反向印证,数据越界与成片为空等质量问题在字段映射阶段即被定位。

24、进一步的,所述a3步骤,还包括:

25、对字段依存关系表经邻接矩阵构建操作处理,得到字段依存邻接矩阵;

26、所述邻接矩阵构建操作的构建方式包括:将预处理后的业务数据表集合中的字段作为节点,将字段依存关系表中记录的字段间层级依存关系作为边,构建字段依存图;将字段依存图表示为矩阵,矩阵中行对应字段为列对应字段的上级字段时元素取1、否则取0;对矩阵按行归一化,每行元素之和为1,得到字段依存邻接矩阵;

27、对字段映射特征矩阵与异常模式特征进行维度拼接操作,得到拼接结果;对拼接结果在第1维插入长度为1的序列维,再经多尺度卷积操作处理,得到多尺度卷积融合特征;对多尺度卷积融合特征经双向门控循环单元操作处理后,再经移除长度为1的序列维处理,得到第一支路结果;对多尺度卷积融合特征经移除长度为1的序列维处理,得到第二支路结果;将第一支路结果与第二支路结果相加,得到字段约束节点特征;

28、对字段约束节点特征经层归一化操作处理,得到层归一化后的字段约束节点特征;对层归一化后的字段约束节点特征与字段依存邻接矩阵经图卷积网络操作处理,得到第一图传播结果;对层归一化后的字段约束节点特征与字段依存邻接矩阵经图同构网络操作处理,得到第二图传播结果;将第一图传播结果与第二图传播结果相加,得到图传播融合特征;对图传播融合特征在第1维插入长度为1的序列维,再经一维卷积操作处理,得到一维卷积结果;对一维卷积结果经高斯误差线性单元激活操作处理,得到激活结果;对激活结果经时序卷积网络操作处理,再经移除长度为1的序列维处理,得到时序卷积结果;将时序卷积结果与图传播融合特征相加,得到字段级约束传播特征。

29、对字段级约束传播特征在第1维插入长度为1的序列维,经结构化状态空间模型操作处理,再经移除长度为1的序列维处理,得到长程上下文聚合结果;将长程上下文聚合结果与字段级约束传播特征相加,得到长程上下文聚合特征;对长程上下文聚合特征在第1维插入长度为1的序列维,经层归一化操作处理,得到层归一化长程上下文聚合特征;对层归一化长程上下文聚合特征经因果膨胀卷积堆叠操作处理,得到因果膨胀卷积结果;对因果膨胀卷积结果经频域自相关注意力与序列趋势周期分解操作处理,再经移除长度为1的序列维处理,得到分解结果;将分解结果与长程上下文聚合特征相加,得到约束传播联合表征。

30、需要进一步说明的是,主数据表与明细表之间通过学号这一主键字段形成上下级挂靠,父子记录之间存在硬性取值约束--选课记录必须隶属于某个已经存在的学生,课程号必须落在对应培养方案的范围之内;这类约束并非单条记录的属性,而是沿表间关联逐级传导的关系,一旦上游字段的取值出现错误,该错误会顺着挂靠关系逐级放大,污染整条数据链路;同时字段层级本身处在持续变动之中,业务系统一次改版就可能新增、合并或调整字段之间的从属关系,数据治理人员依靠电子表格逐条梳理,面对成百上千个字段难以穷尽列举,改版后关系表也难以在短时间内同步更新;

31、字段映射特征矩阵与异常模式特征所描述的都是单个字段自身的情况,两者拼接之后仍不足以表达字段之间的从属结构;本发明先以字段依存关系表为基础构建邻接矩阵--以字段为节点、以表中记录的字段间层级依存关系为边构建字段依存图,字段为另一字段的上级字段的位置标记连接、其余位置标记不连接,再按行归一化,把谁约束谁这一业务语义固化为可参与运算的字段依存邻接矩阵;随后把字段映射特征矩阵与异常模式特征拼接后插入序列维,经多尺度卷积得到多尺度卷积融合特征,再由双向门控循环单元沿序列两个方向提取上下文信息并经残差相加得到字段约束节点特征--字段从彼此独立的打分单元转变为带有位置关系的节点;多尺度卷积使同一批字段既能捕获细粒度的局部映射偏差,也能捕获整表层面的模式一致性,双向门控循环单元则让每个字段的特征中带有其前后字段的状态,为后续沿依存边传播约束提供既含自身判据又含上下文参照的输入;当业务系统改版导致字段从属关系变动时,只需更新字段依存关系表,邻接矩阵随之重建,而不必重新梳理整张表的判定规则;

32、上级字段的约束能否落到下级字段上,取决于传播是否沿正确的依赖边进行--在学生表与选课表之间的学号挂靠关系中,上级学号字段一旦映射错误,其影响应当顺边传递到选课表一侧,而非停留在本地;字段约束节点特征经层归一化后在字段依存邻接矩阵上分别执行图卷积网络操作与图同构网络操作,两路结果相加得到图传播融合特征;图卷积网络按邻域权重对相邻字段的约束状态作平滑聚合,图同构网络在聚合时保留节点自身状态与邻域状态的区分度,两者相加后,处于依存链不同层级位置的字段在传导强弱上呈现可区分的响应,处于链末端的选课表字段与处于链首端的学生表字段不再被同等对待;随后对图传播融合特征依次执行一维卷积操作、非线性激活函数处理与时序卷积网络操作,并将时序卷积网络操作的输出与图传播融合特征残差相加,得到字段级约束传播特征;由此,上游字段的映射错误不再被当作孤立的本地事件,而是沿依存边逐级向下游扩散,使下游字段的约束状态中携带上游是否违反约束的信息,原本静默放大的污染链路在数值层面被显式表达;时序卷积网络带来的扩大感受野作用,使跨越多个层级的传导路径--例如经由多张中间表抵达的下级字段,也能进入同一字段的表征范围,而不只覆盖直接相邻的一级关系;

33、经逐级传播得到的字段级约束传播特征虽已包含层级传导信息,但跨越多张表的级联依赖往往间隔较远,且字段取值在序列维度上常带有周期性重复与缓慢变化的趋势--这类规律性变化容易与实质性的约束违反相互混淆;字段级约束传播特征输入结构化状态空间模型完成长程上下文聚合并经残差相加,得到长程上下文聚合特征,使序列中相隔较远的字段即便不直接相邻,其状态对该字段的影响也能被纳入;随后对长程上下文聚合特征作层归一化并输入因果膨胀卷积堆叠,以逐层扩大的感受野覆盖更长的字段序列,其输出再送入频域自相关注意力与序列趋势周期分解,把序列中的周期性重复成分与趋势成分分离出去,得到约束传播联合表征,使得判定结果对字段取值自身的节律变化有较好的一致性;同时,层级约束是否被违反这一原本依赖人工判读的问题,被转化为可以在依存结构上传播、可以相互比较的数值差异,使数据治理人员能够定位到约束违反的源头层级,而不必在整表范围内逐条核对。

34、进一步的,所述a4步骤,还包括:

35、a41:根据字段映射特征矩阵与异常模式特征,进行门控卷积融合与通道注意力重标定,得到映射异常融合特征;

36、a42:根据映射异常融合特征与约束传播联合表征,进行跨模态门控对齐与序列门控融合,得到约束增强融合特征;

37、a43:根据约束增强融合特征,进行双向序列上下文编码与全局注意力增强,得到质量管控核心特征。

38、进一步的,所述a4步骤,还包括:

39、先对字段映射特征矩阵与异常模式特征进行维度拼接操作,得到拼接结果;对所述拼接结果在第1维插入长度为1的序列维后,经门控卷积操作处理,再移除长度为1的序列维,得到门控卷积结果;将所述门控卷积结果与所述拼接结果相加,得到映射异常融合中间特征;对所述映射异常融合中间特征在第1维插入长度为1的序列维后,依次经层归一化操作、门控循环单元操作处理,再移除长度为1的序列维,经通道注意力重标定操作处理,得到重标定结果;将所述重标定结果与所述映射异常融合中间特征相加,得到映射异常融合特征;

40、对映射异常融合特征、约束传播联合表征和约束传播联合表征分别进行线性投影操作,将得到的三个线性投影结果进行交叉注意力操作,再经门控线性单元门控操作处理,得到交叉注意力门控结果;将所述交叉注意力门控结果与所述映射异常融合特征相加,得到约束对齐特征;对所述约束对齐特征与所述约束传播联合表征进行维度拼接操作,得到第二拼接结果;对所述第二拼接结果在第1维插入长度为1的序列维后,依次经层归一化操作、门控循环单元操作处理,再移除长度为1的序列维,经线性投影操作处理,再经门控线性单元门控操作处理,得到第二门控结果;对所述约束对齐特征进行线性投影操作,得到约束对齐线性投影结果;将所述第二门控结果与所述约束对齐线性投影结果相加,得到约束增强融合特征;

41、对所述约束增强融合特征在第1维插入长度为1的序列维后,依次经高斯误差线性单元激活操作、一维卷积操作、双向长短期记忆网络操作处理,再移除长度为1的序列维,得到质量管控时序结果;将所述质量管控时序结果与所述约束增强融合特征相加,得到质量管控时序特征;对所述质量管控时序特征在第1维插入长度为1的序列维后,依次经层归一化操作、通道注意力重标定操作、自注意力操作处理,再移除长度为1的序列维,得到自注意力结果;将所述自注意力结果与所述质量管控时序特征相加,得到质量管控核心特征。

42、需要进一步说明的是,字段映射错误或取值越界与层级约束被违反这两类问题往往同时发生并互为因果--同一条记录可能字段名映射正确但取值超出量程,也可能取值看起来正常却挂在了错误的上级字段之下,甚至前者正是后者引发的连锁结果;两条链路各自独立输出时,质量管控人员只能分别打开两张结果清单,在同一条记录上逐字段手工比对,而面对日均上万条的表记录,人工交叉核对在时间上难以完成,也无法判断哪一处异常才是根因--最终是告警条目大量重复,关键的坏记录被淹没在噪声清单里,质量管控动作无法落地;

43、字段映射特征矩阵与异常模式特征分别从字段映射关系和取值异常模式两个角度刻画同一条记录,但两者在通道维度上各有侧重--直接拼接只能得到简单堆叠的信息;当同一条记录出现字段名映射正确而取值超出量程这类复合异常时,简单堆叠无法让质量管控人员快速锁定实际携带映射异常信息的维度;先将字段映射特征矩阵与异常模式特征拼接,经门控卷积处理并残差相加,得到映射异常融合中间特征;再依次经门控循环单元、层归一化与通道注意力重标定,并残差相加,得到映射异常融合特征;门控卷积在局部感受野内对两类特征作选择性融合,使与映射异常相关的通道得到增强、噪声通道受到抑制;通道注意力重标定则从全局通道层面进一步挑出实际携带映射异常信息的维度;由此,在多条表记录的场景下,这类复合异常能够获得更集中的通道表征,后续根因定位不必再依赖人工逐字段翻查两张清单,有助于减少比对工作量,并为判断根因提供更清晰的通道依据;

44、即便映射异常分支已经得到较为集中的表征,但层级约束信息与映射异常信息处于不同表征空间,若只是并列存放,当取值正常却挂在错误上级字段之下时,同一条记录上哪一处异常是根因仍然无法判别;以映射异常融合特征经线性变换后的结果作为查询,以约束传播联合表征经线性变换后的结果同时作为键和值进行交叉注意力处理,并经门控激活与残差相加,得到约束对齐特征;再将约束对齐特征与约束传播联合表征拼接,依次经门控循环单元、层归一化与门控激活融合,得到约束增强融合特征;交叉注意力使层级约束信息按字段位置对齐注入到映射异常分支,字段位置对应关系得以保留,约束违反与取值异常在相同字段维度上相互印证;门控激活则控制约束信息注入的强度,避免无关约束干扰映射异常判断;由此,两条链路实现双向印证,使得由层级约束违反引发的连锁取值异常能够被追溯,而不是在两张清单上各自呈现为互不相关的条目,从而将哪一处才是根因异常的判别从人工经验转为可计算的表征;

45、两条链路完成对齐与门控融合后,约束增强融合特征已经包含字段位置、取值异常与层级约束的联合信息,但当异常跨越多个字段与多个层级时,局部窗口内的融合结果尚不足以刻画这种长距离依赖关系;对约束增强融合特征依次进行一维卷积处理、高斯误差线性单元激活与双向长短期记忆网络处理,并残差相加,得到质量管控时序特征;再依次经层归一化、通道注意力重标定与自注意力处理,并残差相加,得到质量管控核心特征;一维卷积与双向长短期记忆网络从前后两个方向编码序列上下文,前向传递捕获上游字段对下游字段的约束传递,后向传递捕获下游异常对上游字段的反馈影响;自注意力处理则从全局范围增强关键异常位置的表征权重;由此,同一条记录上哪一处才是根因异常变为可判别、可排序的核心表征,直接支撑质量管控的定位与处置。

46、进一步的,所述a5步骤,还包括:

47、产出字段映射解码特征与字段映射概率的子步骤:先对质量管控核心特征在第1维插入长度为1的序列维,经层归一化操作、高斯误差线性单元激活操作、一维卷积操作处理后,移除长度为1的序列维,再与质量管控核心特征相加,得到字段映射解码中间特征;对字段映射解码中间特征在第1维插入长度为1的序列维,经层归一化操作、门控循环单元操作处理后,移除长度为1的序列维,得到字段映射解码特征;对字段映射解码特征经线性投影操作处理后,在标准字段数目维上经归一化指数函数处理,得到字段映射概率;

48、产出质量异常概率的子步骤:对字段映射解码特征经层归一化操作处理,对字段映射概率经线性投影操作并行处理两次,将层归一化操作处理后的字段映射解码特征、两次线性投影操作处理后的字段映射概率输入交叉注意力操作,再与字段映射解码特征相加,得到质量校验对齐特征;对质量校验对齐特征在第1维插入长度为1的序列维,经层归一化操作、高斯误差线性单元激活操作、一维卷积操作、双向门控循环单元操作处理后,移除长度为1的序列维,得到质量校验时序特征;对质量校验时序特征经线性投影操作处理后,经逻辑函数处理,得到质量异常概率;

49、产出字段映射解码结果与质量异常判定结果的子步骤:对字段映射概率进行最大索引选取操作,得到字段映射解码结果;对质量异常概率与质量异常判定阈值进行阈值判定操作,得到质量异常判定结果。

50、本发明还公开了一种基于深度学习的校园数据质量智能管控系统,包括:

51、数据预处理模块:采集业务数据表、各业务系统对应的数据字典与校园元数据标准文件,依次进行重复记录剔除、枚举值清洗、关联统计与统一存储处理,得到预处理后的业务数据表集合、元数据标准字段定义表、字段依存关系表与字段值取值域统计信息;

52、编码与全局异常融合模块:根据预处理后的业务数据表集合、元数据标准字段定义表与字段值取值域统计信息,进行字段编码、映射编码、局部异常提取与全局异常融合处理,得到字段映射特征矩阵与异常模式特征;

53、特征融合与趋势分解融合模块:根据字段映射特征矩阵、异常模式特征与字段依存关系表,进行邻接矩阵构建、节点特征融合、图卷积传播、序列增强、长程依赖聚合与趋势分解融合处理,得到字段约束节点特征、字段依存邻接矩阵与约束传播联合表征;

54、上下文编码增强模块:根据字段映射特征矩阵、异常模式特征与约束传播联合表征,进行门控卷积融合、注意力重标定、门控对齐、门控融合与上下文编码增强处理,得到映射异常融合特征、约束增强融合特征与质量管控核心特征;

55、质量校验解码模块:根据质量管控核心特征,进行字段映射解码、质量校验解码与结果合成判定处理,得到字段映射解码结果与质量异常判定结果;

56、质量异常判定模块:根据字段映射解码结果、质量异常判定结果,将字段映射解码结果映射至元数据标准字段定义表中对应的标准字段,并对质量异常判定结果为异常的字段记录附加质量异常标识。

57、与现有技术相比,本发明的有益效果在于:

58、(1)针对传统方法依赖人工规则、难以自适应识别编码型字段异常的问题,本发明采集校园业务数据与校园元数据标准,通过深度学习对字段映射和质量校验联合建模,并依据校园元数据标准与数据字典进行约束判定;由此,本发明能够自动建立并维护跨系统复用编码型字段的对应关系,减少人工梳理规则的工作量;当业务系统表结构或字典项发生局部变更时,本发明能够感知变化并联动更新映射与校验结果,降低字段映射错位、编码无法对应所导致的转换失败;同时,本发明依据校园元数据标准与数据字典判定取值合规性,对异常字段记录附加质量异常标识,使字段映射与质量校验结果更易解释,缓解数据治理人员反复排查与手工修订规则的压力。

59、(2)针对多源业务表字段同义异名、类型相同语义不同的问题,本发明将字段名编码、字段类型编码与标准字段定义编码放入同一交叉注意力结构中完成对齐打分,再将字段值取值域统计信息注入其中作二次约束,对于超出量程、格式违规以及连续多个相邻字段同时为空等质量问题,本发明在字段映射阶段即可标记,不必等到下游校验环节才暴露;取值域分布反向印证映射关系是否可靠,数据治理人员无需再逐字段人工比对,脏数据向下游质量管控环节的传导也随之减少。

60、(3)针对上下游字段的层级约束无法在逐字段特征中表达、上游取值错误沿表间挂靠逐级放大的问题,本发明把字段依存关系固化为邻接矩阵上的可运算拓扑,使约束沿依赖边逐级传播,而非逐条硬性判定;图卷积网络与图同构网络并行作用,保留不同层级位置上字段传导强弱的差异;长程上下文聚合与频域自相关注意力、序列趋势周期分解配合,覆盖跨越多张中间表抵达的级联依赖,同时把课程号的周期性循环、学号的递增趋势与实质性的约束违反信号分开;业务系统改版时,本发明只需更新字段依存关系表即可重建邻接矩阵,并据此定位约束违反的源头层级。

61、(4)针对映射异常与约束违反两条清单各自独立输出、人工交叉核对难辨根因的问题,本发明在通道层面用门控卷积与通道注意力重标定,挑出真正携带映射异常信息的维度,再以交叉注意力把层级约束信息按字段位置对齐注入映射异常分支,保留字段位置对应关系,让取值异常与约束违反在相同字段维度上相互印证;门控激活控制注入强度,避免无关约束干扰判断;本发明随后从前后两个方向编码序列上下文,前向传递捕获上游字段对下游字段的约束传递,后向传递捕获下游异常对上游字段的反馈影响,再由自注意力从全局范围提升关键异常位置的表征权重,使得同一条记录上哪一处才是根因异常由此变得可判别、可排序,重复告警能按根因归并。