基于结构化表征的暗数据语义关联方法及系统与流程

本发明涉及数据治理与跨机构数据融合，具体涉及基于结构化表征的暗数据语义关联方法及系统。

背景技术：

1、随着大数据与跨域联合计算技术的发展，异构系统数据治理与跨机构数据融合系统通常采用基于数据表头、字段名称或元数据字典的语义匹配方式来实现多源结构化数据的特征对齐与重构。

2、在多源结构化数据特征对齐的过程中，数据治理系统需要利用自然语言处理技术对各异构数据表的表头元数据进行语义相似度计算，或由人工针对特定的数据接口制定静态的字段映射规则，从而完成对齐语义的构建及异构数据表的重构。

3、然而，在面对缺乏表头定义、字段名无意义或被故意混淆的暗数据场景时，由于系统彻底失去了显式的元数据锚点，传统基于表头的静态语义解析逻辑完全失效。在此环境下，若仅依赖数据列的底层值分布形态进行独立逆向推导，由于不同业务场景下的值分布形态各异且存在大量交叉重叠，极易导致高维特征空间的局部特征严重混淆；同时，局部独立的列值比对抹杀了数据表内部列与列之间的多维上下文结构拓扑关系，在将局部特征传递至全局对齐阶段时，会因多维结构信息的降维丢失而产生组合爆炸形式的误匹配，从而使得系统无法在完全无先验人工标注的无监督环境中构建具有唯一确定性的全局最优映射，此外，在完成异构特征的映射对齐后，面对海量的数据表，缺乏有效手段突破字段数量与顺序不一致的壁垒以快速筛选近似结构的数据表，更难以在行级别精准挖掘出指向同一物理对象的跨表相似数据实体；因此，如何消除高维分布重叠引发的局部混淆、有效挖掘并利用数据表内部的列间上下文拓扑关系，以及构建全局拓扑同构的最优映射，以及进而在海量异构表中精准识别并输出跨表的相似数据集合，是本领域亟需解决的关键技术问题。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于结构化表征的暗数据语义关联方法，通过提取数据值集合拼接列特征向量并引入列间滑动窗口构建值域图谱以生成列嵌入向量，结合参考嵌入向量构建约束关系矩阵采用投影目标函数降维并聚类输出标注嵌入向量，以及采用最优传输理论计算迁移成本构建代价矩阵并推导概率转移矩阵，达到消除高维分布重叠引发的局部特征混淆、充分挖掘数据表内部的列间上下文拓扑关系，并基于提取的列匹配对输出确定性重构数据表的效果。

2、为实现上述目的，本发明提供如下技术方案：

3、第一方面，本发明提供了基于结构化表征的暗数据语义关联方法，包括：

4、获取多源数据并提取数值型列与字符型列的数据值集合进行拼接，得到列特征向量，依据列特征向量引入列间滑动窗口统计列间共现概率，构建并输出值域图谱，依据值域图谱进行随机游走采样构建节点共现矩阵，对节点共现矩阵执行奇异值分解，得到列嵌入向量；

5、获取参考嵌入向量，并结合列嵌入向量构建联合特征矩阵，利用联合特征矩阵构建约束关系矩阵，依据约束关系矩阵设定投影目标函数，基于投影目标函数对联合特征矩阵执行降维投影，得到流形投影向量，对流形投影向量执行无监督聚类，得到连通簇与噪声点集合，对连通簇分配簇标签，输出标注嵌入向量；

6、基于标注嵌入向量计算迁移成本，利用迁移成本构建并输出代价矩阵，基于代价矩阵构建核矩阵，对核矩阵进行交替更新与元素级重构，得到概率转移矩阵，从概率转移矩阵中提取列匹配对，依据列匹配对构建特征对齐字典并执行对齐重构操作，输出重构数据表。

7、进一步地，所述列特征向量的获取方法包括：

8、统计数据值集合中能够无损解析为数值的元素在所述数据值集合中的占比，得到数值元素占比；

9、当数值元素占比大于预设的类型判定门限时，将对应的数值型列或字符型列判定为目标数值型列，并计算目标数值型列的偏度、峰度以及高斯混合模型特征向量；

10、当所述数值元素占比小于或等于预设的类型判定门限时，将对应的数值型列或字符型列判定为目标字符型列，并从目标字符型列中提取正则轮廓编码与字符级频率向量；

11、将所述偏度、峰度、高斯混合模型特征向量、正则轮廓编码与字符级频率向量按固定顺序拼接且在缺失特征位置补零，输出列特征向量。

12、进一步地，所述高斯混合模型特征向量的计算方法包括：

13、将目标数值型列中全部能够无损解析为数值的元素作为拟合样本，预设由多个高斯分量构成的高斯混合模型，每个高斯分量由混合权重、分量均值、分量方差构成；

14、交替执行期望步骤与最大化步骤以对高斯混合模型的参数进行迭代求解，在期望步骤中依据当前各高斯分量的参数计算每一个拟合样本归属于各个高斯分量的后验概率，在最大化步骤中依据后验概率对各个高斯分量的混合权重、分量均值与分量方差执行加权更新；

15、当迭代收敛后，提取全部高斯分量各自更新后的混合权重、分量均值与分量方差进行按序拼接，输出高斯混合模型特征向量。

16、进一步地，所述正则轮廓编码与字符级频率向量的获取方法包括：

17、将目标字符型列的每一个字符串元素中的数字、大写字母与小写字母进行统一映射与逐字符替换，生成形态模板串，统计出现频次最高的前八个形态模板串，计算形态模板串各自的归一化出现频率，将形态模板串及其归一化出现频率进行组合，构成正则轮廓编码；

18、利用滑动窗口对字符串元素依次切分，提取出连续二字符子串并汇总，统计出现频次最高的前三十二个连续二字符子串，计算连续二字符子串各自的归一化出现频率，将连续二字符子串及其对应的归一化出现频率进行组合，构成字符级频率向量。

19、进一步地，所述值域图谱的获取方法包括：

20、利用列间滑动窗口在多源数据上进行滑动，统计任意两个数值型列或字符型列的取值均非空占位符时的共现计数以及机会计数，将共现计数除以机会计数，得到列间共现概率；

21、为每一个数值型列与字符型列实例化数据列节点，并将对应的列特征向量作为节点特征向量，从数据值集合中截取原始数据值并实例化为数据值节点；

22、将原始数据值在对应的数据值集合中的出现频次除以对应的数值型列或字符型列的非空数据行的总行数，得到频次占比；

23、以列间共现概率作为权重在数据列节点之间建立无向连接线作为列关联边，以频次占比作为权重在数据列节点与数据值节点之间建立无向连接线作为值归属边，输出值域图谱。

24、进一步地，所述列嵌入向量的获取方法包括：

25、以值域图谱中的每一个数据列节点与数据值节点作为游走起点，依据与当前所处节点相连的列关联边或值归属边的权重经归一化处理得到的状态转移概率，执行预设的游走步长与预设的采样次数的随机游走采样，生成包含节点访问序列的游走序列集合；

26、设置序列上下文窗口在节点访问序列中滑动，统计共同出现的任意两个节点组成的节点对的原始频次，填入节点共现矩阵；

27、计算各节点对的逐点互信息值替换原始频次，生成逐点互信息加权矩阵；

28、对逐点互信息加权矩阵执行奇异值分解操作，提取左奇异向量列并进行按比例缩放，得到低维稠密向量作为列嵌入向量。

29、进一步地，所述约束关系矩阵的构建方法包括：

30、将参考嵌入向量与列嵌入向量按行进行堆叠拼接，构建联合特征矩阵；

31、从联合特征矩阵中任意抽取两条列嵌入向量或参考嵌入向量组成嵌入向量对，从多源数据中提取嵌入向量对对应的数值型列或字符型列在各数据行上的数据值集合；

32、将数据值集合中的原始数据值映射为离散的符号；

33、统计同一数据行上表现为各离散的符号的联合出现概率与独立出现概率计算互信息熵，并计算嵌入向量对间的欧氏距离；

34、将全部互信息熵填入预设的第一对称矩阵构成互信息熵子矩阵，将全部欧氏距离填入预设的第二对称矩阵构成欧氏距离子矩阵，将互信息熵子矩阵与欧氏距离子矩阵拼接，输出约束关系矩阵。

35、进一步地，所述流形投影向量的获取方法包括：

36、提取约束关系矩阵中记录的互信息熵与欧氏距离，设定投影目标函数，计算互信息熵的中位数作为互信息熵判定阈值；

37、以联合特征矩阵中的每一条列嵌入向量与参考嵌入向量为图节点、以欧氏距离决定图节点之间连接概率构建初始近邻图，将互信息熵大于互信息熵判定阈值的图节点的连接概率设定为最高概率值，将互信息熵小于或等于互信息熵判定阈值的图节点的连接概率设定为最低概率值以完成邻接拓扑改造；

38、为近邻图中的每一个图节点分配初始的连续的低维空间坐标，计算投影目标函数相对于各图节点的低维空间坐标的梯度，沿着梯度下降方向不断更新低维空间坐标至满足预设的收敛条件，将收敛后得到的低维空间坐标作为流形投影向量。

39、进一步地，所述标注嵌入向量的获取方法包括：

40、统计全部流形投影向量的欧氏距离，设置邻域半径；

41、统计与任一流形投影向量的欧氏距离小于或等于邻域半径的其他流形投影向量的数量，若该数量大于或等于最小邻域点数，则将该流形投影向量判定为核心点；

42、当两个流形投影向量间存在由核心点构成的连续传递路径，且路径上相邻向量的欧氏距离均小于或等于邻域半径时，判定二者为相互密度可达的流形投影向量；

43、将相互密度可达的流形投影向量归入预设的同一个连通簇中，将孤立的流形投影向量划分至预设的噪声点集合中；

44、若连通簇包含参考嵌入向量对应的流形投影向量，将出现频次最高的参考簇标签作为簇标签，否则分配匿名簇编号作为簇标签，将确定的簇标签赋予对应的流形投影向量，输出标注嵌入向量。

45、进一步地，所述代价矩阵的构建方法包括：

46、统计多源数据中的源数据表与目标数据表，以及分别包含的未知数据列的总数量，将各未知数据列对应的标注嵌入向量作为一个支撑点，计算总数量的倒数作为赋予每一个支撑点的概率质量，分别构成源离散分布流形与目标离散分布流形；

47、计算源离散分布流形与目标离散分布流形中各未知数据列对对应的标注嵌入向量之间的推土机距离；

48、对携带有不一致的簇标签的未知数据列跨簇映射施加代价惩罚，将施加惩罚后的推土机距离作为特征匹配的迁移成本；

49、将全部未知数据列对的迁移成本填入预设的二维实数矩阵的对应交叉位置，构建输出代价矩阵。

50、进一步地，所述重构数据表的输出方法包括：

51、将代价矩阵中的迁移成本除以预设的熵正则系数并取负数后，执行指数化运算得到核矩阵；

52、依据概率质量分别构建源质量向量与目标质量向量，并初始化左缩放向量与右缩放向量；

53、利用源质量向量除以核矩阵与右缩放向量乘积的行和向量更新左缩放向量，利用目标质量向量除以核矩阵与更新后的左缩放向量乘积的列和向量更新右缩放向量，交替迭代至收敛；

54、利用收敛后的左缩放向量、右缩放向量与核矩阵执行逐元素相乘，得到概率转移矩阵；

55、提取概率转移矩阵中各行的最大映射概率，将对应的未知数据列组合为列匹配对，或标记为孤立数据列；

56、利用列匹配对构建特征对齐字典，依据特征对齐字典拼接源数据表与目标数据表的未知数据列，并对孤立数据列执行空值占位填充，输出重构数据表。

57、进一步地，所述相似数据集合的获取方法包括：

58、从概率转移矩阵中提取全部列匹配对的总数量并分别除以源数据表与目标数据表各自包含的未知数据列总数，得到两个占比数值，将最大的占比数值作为表级结构相似度；

59、若表级结构相似度大于或等于预设的表级相似度阈值，则判定源数据表与目标数据表为近似结构数据表；

60、获取并遍历特征对齐字典中的键值对，将具有确定性映射关系的未知数据列定义为交集数据列；

61、从源数据表与目标数据表中提取交集数据列的列值序列，在同行索引位置上截取原始数据值并执行格式标准化处理，得到标准化数据值；

62、利用标准化数据值计算综合相似度量值，若综合相似度量值大于或等于预设的实体判定阈值，则判定对应数据行为相似数据，将近似结构数据表中全部相似数据汇总为相似数据集合。

63、第二方面，本发明提供基于结构化表征的暗数据语义关联系统，其用于实现上述基于结构化表征的暗数据语义关联方法，所述系统包括：

64、图谱嵌入模块：用于获取多源数据并提取数值型列与字符型列的数据值集合进行拼接，得到列特征向量，依据列特征向量引入列间滑动窗口统计列间共现概率，构建并输出值域图谱，依据值域图谱进行随机游走采样构建节点共现矩阵，对节点共现矩阵执行奇异值分解，得到列嵌入向量；

65、聚类标注模块：用于获取参考嵌入向量，并结合列嵌入向量构建联合特征矩阵，利用联合特征矩阵构建约束关系矩阵，依据约束关系矩阵设定投影目标函数，基于投影目标函数对联合特征矩阵执行降维投影，得到流形投影向量，对流形投影向量执行无监督聚类，得到连通簇与噪声点集合，对连通簇分配簇标签，输出标注嵌入向量；

66、代价重构模块：用于基于标注嵌入向量计算迁移成本，利用迁移成本构建并输出代价矩阵，基于代价矩阵构建核矩阵，对核矩阵进行交替更新与元素级重构，得到概率转移矩阵，从概率转移矩阵中提取列匹配对，依据列匹配对构建特征对齐字典并执行对齐重构操作，输出重构数据表，依据特征对齐字典提取交集数据列并执行相似度量计算，得到相似数据集合。

67、与现有技术相比，本发明所达到的有益效果：

68、本发明通过提取列特征向量并构建值域图谱生成列嵌入向量，实现脱离表头文本的特征构建，解决失去显式的元数据锚点导致静态语义解析逻辑失效及局部特征严重混淆的痛点；约束关系矩阵与投影目标函数将连续特征降维并聚类输出标注嵌入向量，完成了从连续的低维空间坐标向离散的业务语义单元的精准锚定，解决了全局对齐时缺乏离散语义锚点引发匹配模糊的问题；基于推土机距离构建代价矩阵并求解概率转移矩阵，避免了单一列独立比对引发的多维上下文结构拓扑关系降维丢失与匹配冲突，完成了确定性的数据表重构。