一种数据血缘关系的生成方法和设备与流程

1.本技术涉及数据领域，尤其是一种数据血缘关系的生成方法和设备。


背景技术：

2.数据血缘关系是指数据在产生、处理、流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系。
3.一般的数据血缘关系生成设备在使用过程中较为麻烦，而且在闲置过程中不方便进行拆卸组装，不利于搬运时对内部的设备进行保护。因此，针对上述问题提出一种数据血缘关系的生成方法和设备。


技术实现要素：

4.在本实施例中提供了一种数据血缘关系的生成方法和设备用于解决现有技术中的数据血缘生成设备不方便快速显示关系以及使用不方便问题。
5.根据本技术的一个方面，提供了一种数据血缘关系的生成方法，所述生成方法步骤如下：
6.(1)获取多个数据储存库中的数据；
7.(2)将所获取的数据进行转换；
8.(3)通过特定数据处理程序对数据进行处理；
9.(4)生成处理后的数据血缘关系表；
10.(5)显示数据血缘关系表。
11.进一步地，所述步骤(1)中先通过输入模块将数据血缘关系查询的信号输送到处理器，然后通过接收模块接收信号，通过处理模块进行处理信号，只提供输送模块将信号输送给数据获取器，通过数据获取器在多个数据储存器内部获取相关的数据，然后将数据输送到处理器。
12.进一步地，所述步骤(2)中处理器将数据通过接收模块接收后，然后通过处理模块对数据进行转换处理，转换后的数据通过输送模块输送到处理器。
13.进一步地，所述步骤(3)中可以将数据根据相应数据处理方式进行处理，然后处理后发送给生成器。
14.进一步地，所述步骤(4)中可以生成器可以进行生成数据血缘关系表，然后可以通过对比模块对数据进行对比验证。
15.进一步地，所述步骤(5)中可以通过显示屏显示处理器输送的原始数据，也可以通过显示屏进行显示所相应的数据血缘关系表。
16.进一步地，包括壳体、安装机构和连接机构，所述壳体内腔安装处理器，所述处理器一侧分别安装处理器和生成器，所述生成器内部设有若干对比模块，所述处理器内部设有处理模块、输送模块和接收模块，所述壳体一侧表面安装显示屏，所述壳体顶部中央安装数据获取器，所述数据获取器通过互联网连接数据储存器，所述处理器通过互联网连接输
入模块；
17.所述安装机构包括定位架和驱动盒，所述壳体内腔顶部固接驱动盒，所述驱动盒内腔设有两个生成器，两个所述生成器相背一侧均固接丝杠，所述丝杠表面套有滑套，所述滑套底端贯穿驱动盒固接移动板，所述移动板底部固接固定管，所述固定管内腔设有挡板，所述挡板顶部通过弹簧连接固定管内壁，且挡板底部中央固接活动杆，所述活动杆底端贯穿固定管固接定位架。
18.进一步地，所述连接机构包括插块和定位杆，所述壳体位于底座顶部中央，所述底座内部开设安装槽，所述安装槽内部设有移动架，所述移动架内腔设有相啮合的移动架，所述壳体底部固接插块，所述插块位于底座表面凹槽内部，所述移动架一侧固接定位杆，所述定位杆贯穿底座延伸至插块内部。
19.进一步地，所述驱动盒一侧安装电机，电机输送端连接第一锥齿轮，所述第一锥齿轮与两个第二锥齿轮相啮合，所述丝杠一侧转动连接驱动盒内壁，所述丝杠通过螺纹连接滑套，所述固定管底部圆形缺口直径大于活动杆杆径且小于挡板直径，所述壳体内腔设有四个定位架，且位于壳体底端的两个定位架固接壳体内部相固接。
20.进一步地，所述壳体两侧均开设通风口，通风口内部安装防尘网，且壳体内腔两侧均安装有通风口相对应的风机，所述底座一侧安装两个旋钮，两个所述旋钮均贯穿底座延伸至安装槽内部固接驱动齿轮。
21.通过本技术上述实施例，采用了生成方法和设备，解决了数据血缘生成设备不方便快速显示关系以及使用不方便问题，取得了便于进行安装使用以及转运效果。
附图说明
22.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
23.图1为本技术一种实施例的流程示意图；
24.图2为本技术一种实施例的相同示意图；
25.图3为本技术一种实施例的设备立体示意图；
26.图4为本技术一种实施例的设备整体示意图；
27.图5为本技术一种实施例的图4的a处局部放大示意图；
28.图6为本技术一种实施例的图4的b处局部放大示意图。
29.图中：1、壳体，2、防尘网，3、风机，4、移动板，5、数据获取器，6、固定管，7、滑套，8、丝杠，9、驱动盒，10、定位架，11、安装槽，12、移动架，13、处理器，14、插块，15、定位杆，16、底座，17、驱动齿轮，18、第一锥齿轮，19、弹簧，20、活动杆，21、挡板，22、第二锥齿轮，23、显示屏，24、旋钮，25、处理器，26、对比模块，27、输入模块，28、输送模块，29、处理模块，30、数据储存器，31、接收模块，32、生成器。
具体实施方式
30.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的
附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
31.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.在本技术中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本技术及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
33.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本技术中的具体含义。
34.此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
35.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
36.本实施例中的数据血缘关系的生成设备可以适用于各种数据血缘关系的生成方法和设备，例如，在本实施例提供了如下一种数据血缘关系的生成方法和设备，本实施例中的数据血缘关系的生成设备可以用于如下数据血缘关系的生成方法和设备。
37.一种数据血缘关系的生成方法和设备包括：根据待分析数据库中所有表的元数据信息获取文本列数据和数值列数据；根据所述文本列数据获取文本数据指纹，所述文本数据指纹是与所述文本列数据对应的唯一的定长数字片段；根据所述数值列数据获取数值数据指纹，所述数值数据指纹是与所述数值列数据对应的唯一的定长数字片段；根据所述文本数据指纹和所述数值数据指纹生成所述待分析数据库的数据血缘关系。
38.根据所述文本数据指纹和所述数值数据指纹生成所述待分析数据库的数据血缘关系，具体为：根据所述文本数据指纹确定不同表之间列与列的待处理文本数据指纹；根据所述数值数据指纹确定不同表之间列与列的待处理数值数据指纹；根据各所述待处理文本数据指纹的余弦相似度和各所述待处理数值数据指纹的闵式距离生成所述数据血缘关系。
39.根据各所述待处理文本数据指纹的余弦相似度和各所述待处理数值数据指纹的闵式距离生成所述数据血缘关系，具体为：根据各所述待处理文本数据指纹的余弦相似度进行层次聚类，并基于预设相似度阈值确定各层的文本指纹血缘关系；根据各所述待处理数值数据指纹的闵式距离进行层次聚类，并基于预设距离阈值确定各层的数值指纹血缘关
系；根据所述文本指纹血缘关系和所述数值指纹血缘关系生成所述数据血缘关系。
40.在根据待分析数据库中所有表的元数据信息获取文本列数据和数值列数据之前，所述方法还包括：获取各所述表中的总记录数和最小时间。
41.根据所述文本指纹血缘关系和所述数值指纹血缘关系生成所述数据血缘关系，具体为：比较所述文本指纹血缘关系和所述数值指纹血缘关系，并将相同的文本指纹血缘关系和数值指纹血缘关系进行归一化处理后确定前期血缘关系；根据所述前期血缘关系从各所述总记录数中确定目标总记录数，并从各所述最小时间中确定目标最小时间；根据所述目标总记录数或所述目标最小时间确定所述前期血缘关系的方向后生成所述数据血缘关系。
42.根据所述文本列数据获取文本数据指纹，具体为：基于对所述文本列数据进行去重处理获取目标文本列数据；根据摘要算法对所述目标文本列数据进行计算后获取所述文本数据指纹。
43.根据所述数值列数据获取数值数据指纹，具体为：确定所述数值列数据的特征值，所述特征值包括均值，最小值、最大值、第一四分位数、中位数、第三四分位数、方差，标准差、百分位数；根据摘要算法对所述特征值进行计算后获取所述数值数据指纹。
44.在基于对所述文本列数据进行去重处理获取目标文本列数据之前，还包括：去除所述文本列数据中的异常值，所述异常值包括长文本、和或0、和或 1。
45.在确定所述数值列数据的特征值之前，还包括：去除所述数值列数据中的无效值，所述无效值包括空值、和或0、和或或1；
46.若在去除当前数值列数据中所述无效值后，所述当前数值列数据不存在，放弃处理所述当前数值列数据。
47.相对应的，本发明还提出了一种数据血缘关系的生成设备，所述设备包括：第一获取模块，用于根据待分析数据库中所有表的元数据信息获取文本列数据和数值列数据；第二获取模块，用于根据所述文本列数据获取文本数据指纹，所述文本数据指纹是与所述文本列数据对应的唯一的定长数字片段；第三获取模块，用于根据所述数值列数据获取数值数据指纹，所述数值数据指纹是与所述数值列数据对应的唯一的定长数字片段；生成模块，用于根据所述文本数据指纹和所述数值数据指纹生成所述待分析数据库的数据血缘关系。
48.当然本实施例也可以用于其他结构的数据血缘关系的生成方法和设备。在此不再一一赘述，下面对本技术实施例的数据血缘关系的生成设备进行介绍。
49.请参阅图1
‑
6所示，一种数据血缘关系的生成方法，所述生成方法步骤如下：
50.(1)获取多个数据储存库中的数据；
51.(2)将所获取的数据进行转换；
52.(3)通过特定数据处理程序对数据进行处理；
53.(4)生成处理后的数据血缘关系表；
54.(5)显示数据血缘关系表。
55.所述步骤(1)中先通过输入模块27将数据血缘关系查询的信号输送到处理器13，然后通过接收模块31接收信号，通过处理模块29进行处理信号，只提供输送模块28将信号输送给数据获取器5，通过数据获取器5在多个数据储存器30内部获取相关的数据，然后将数据输送到处理器13。
56.所述步骤(2)中处理器13将数据通过接收模块31接收后，然后通过处理模块29对数据进行转换处理，转换后的数据通过输送模块28输送到处理器25。
57.所述步骤(3)中可以将数据根据相应数据处理方式进行处理，然后处理后发送给生成器32。
58.所述步骤(4)中可以生成器32可以进行生成数据血缘关系表，然后可以通过对比模块26对数据进行对比验证。
59.所述步骤(5)中可以通过显示屏23显示处理器13输送的原始数据，也可以通过显示屏23进行显示所相应的数据血缘关系表。
60.包括壳体1、安装机构和连接机构，所述壳体1内腔安装处理器13，所述处理器13一侧分别安装处理器25和生成器32，所述生成器32内部设有若干对比模块26，所述处理器13内部设有处理模块29、输送模块28和接收模块31，所述壳体1一侧表面安装显示屏23，所述壳体1顶部中央安装数据获取器5，所述数据获取器5通过互联网连接数据储存器30，所述处理器13通过互联网连接输入模块27；
61.所述安装机构包括定位架10和驱动盒9，所述壳体1内腔顶部固接驱动盒9，所述驱动盒9内腔设有两个生成器32，两个所述生成器32相背一侧均固接丝杠8，所述丝杠8表面套有滑套7，所述滑套7底端贯穿驱动盒9固接移动板4，所述移动板4底部固接固定管6，所述固定管6内腔设有挡板21，所述挡板21顶部通过弹簧19连接固定管6内壁，且挡板21底部中央固接活动杆20，所述活动杆20底端贯穿固定管6固接定位架10，便于进行安装拆卸。
62.所述连接机构包括插块14和定位杆15，所述壳体1位于底座16顶部中央，所述底座16内部开设安装槽11，所述安装槽11内部设有移动架12，所述移动架12内腔设有相啮合的移动架12，所述壳体1底部固接插块14，所述插块14位于底座16表面凹槽内部，所述移动架12一侧固接定位杆15，所述定位杆15贯穿底座16延伸至插块14内部，可以提高连接的牢固性。
63.所述驱动盒9一侧安装电机，电机输送端连接第一锥齿轮18，所述第一锥齿轮18与两个第二锥齿轮22相啮合，所述丝杠8一侧转动连接驱动盒9 内壁，所述丝杠8通过螺纹连接滑套7，所述固定管6底部圆形缺口直径大于活动杆20杆径且小于挡板21直径，所述壳体1内腔设有四个定位架10，且位于壳体1底端的两个定位架10固接壳体1内部相固接，便于控制定位架10 进行安装处理器13。
64.所述壳体1两侧均开设通风口，通风口内部安装防尘网2，且壳体1内腔两侧均安装有通风口相对应的风机3，所述底座16一侧安装两个旋钮24，两个所述旋钮24均贯穿底座16延伸至安装槽11内部固接驱动齿轮17，可以保证散热防尘效果。
65.本发明在使用时，本技术中出现的电器元件在使用时均外接连通电源和控制开关，壳体1一侧设有门扇，打开后将处理器13放置位于壳体1底端的两个定位架10之间，然后通过驱动盒9一侧的电机大于第一锥齿轮18 和第二锥齿轮22转动，使滑套7在丝杠8表面移动时，带动移动板4移动，然后通过挡板21、活动杆20和弹簧19可以活动定位架10的高度，便于将处理器13定位住，然后将数据获取器5安装在壳体1顶部；
66.将壳体1底部的插块14放置在底座16表面凹槽中，然后通过旋钮24带动驱动齿轮17转动时可以控制移动架12移动，然后通过定位杆15对插块14 定位，不仅可以方便安装，也可以进行拆卸进行转移，在运行过程中，防尘网2和风机3可以起到防尘散热效果。
67.本技术的有益之处在于：
68.1.本技术操作简单，可以通过输入模块、数据获取器、处理模块、处理器、输送模块、接收模块、数据储存器、显示屏、处理器、生成器和对比模块进行快速获取数据以及进行显示数据血缘关系；
69.2.本技术结构合理，通过移动板、数据获取器、丝杠、第一锥齿轮、生成器、固定管、弹簧、挡板、活动杆和处理器便于进行快速安装定位处理器、生成器和处理器，也可以便于拆卸转运，便于对各设备进行保护；
70.3.本技术通过安装槽、移动架、插块、定位杆、移动架、驱动齿轮和旋钮可以快速安装定位壳体，而且通过防尘网和风机可以保证壳体内部各设备运行过程中散热防尘效果。
71.涉及到电路和电子元器件和模块均为现有技术，本领域技术人员完全可以实现，无需赘言，本技术保护的内容也不涉及对于软件和方法的改进。
72.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。