一种多源主附实体结构模块化构建的处理方法与流程

1.本发明涉及大数据应用
技术领域：
：，特别是一种多源主附实体结构模块化构建的处理方法。
背景技术：
：：2.针对多种来源的表格数据，指标多样化，现有处理技术大多采用分源处理、分库存储的处理方法，这种处理方法主要存在以下几个问题：3.1)指标多样，数据庞杂。由于大多采用分源处理、分库存储的处理方法，缺少统一用于表示数据关系的结构，无法形成表达数据关系的标准化指标体系，导致指标繁多，缺少统一体系，数据量庞大，且相对独立。4.2)隐含关系不能自动发现、提取与存储。现有技术由于缺少主附实体的模块化构建机制，通常没有或很难建立多源数据之间的关联关系，导致数据相对独立，数据之间的隐含关系无法自动发现；缺少主附实体的自动化提取机制，导致数据之间的关系无法自动提取和存储。5.3)数据相对独立，无法自增补。现有技术在存储数据时，通常很少区分相对不变的数据和经常变动的数据，针对这两类数据无法有针对性的分别处理，缺少有效的数据之间关系的自动识别与融合机制，也就无法做到数据的关联存储与自增补。技术实现要素：6.本发明提供一种多源主附实体结构模块化构建的处理方法，用于解决不同来源的多期表格数据的主附实体结构自动构建与数据自动融合、主实体与附属实体应用场景记录、以及实体动态库自动成长等问题，为数据溯源、数据关联分析提供可行性的数据存储解决方案。7.为解决上述技术问题，本发明所采取的技术方案如下。8.一种多源主附实体结构模块化构建的处理方法，具体包括以下步骤：9.a1.从指标数据库idb提取标准指标体系结构eis，从实体题录项数据库efdb提取主实体题录项mefs，从原数据数据库ovdb提取数值项ov，利用单源主实体静态库自动识别构建器，形成主实体静态库指标结构，存入实体静态数据库rsdb；10.a2.从实体静态数据库rsdb提取主实体静态库指标结构信息，从实体动态数据库rvdb提取动态库实体指标结构信息，利用实体动态库自动识别构建器，构建最新动态库实体指标结构，并存入实体动态数据库rvdb；11.a3.从源b的实体题录项数据库efdb提取附属实体题录项sefs，从实体动态数据库rvdb提取动态库实体指标结构rvis，利用附属实体自动加载判别器，判别附属实体是否融入实体动态数据库rvdb，并形成动态库临时实体指标结构rvis'；12.a4.从步骤a3读取动态库临时实体指标结构信息rvis'，从指标数据库idb提取标准指标体系结构eis，利用实体动态库自动成长器，根据附属实体情况，自动补充完善指标体系，促使动态库自动成长，并存入实体动态数据库rvdb；13.a5.从实体动态数据库rvdb读取动态库实体的相关信息，从源a的源应用场景数据库sdb读取源a的源、库、表应用场景的相关信息，从源b的实体应用场景数据库esdb提取主实体m(m)与附属实体s(m)之间的应用场景es，利用实体动态库应用场景提取器，记录实体动态数据库中数据来自的源、库、主实体、附属实体、主附实体间的应用场景信息，存入实体动态应用场景数据库srvdb。14.上述一种多源主附实体结构模块化构建的处理方法，步骤a1中所述主实体静态库指标结构的形成方法具体为：15.a11.从源a的实体题录项数据库efdb中，读取未入库的主实体库个数，记为n1，令n1初始变量为1，n1为大于等于1的自然数，令指标结构变量p＝false，令数据变量d＝false；16.a12.从源a的实体题录项数据库efdb中，读取第n1库的主实体题录项mefs；从源a的指标数据库idb，读取标准指标体系结构eis；17.a13.判别源a的实体静态数据库rsdb是否存在，如果存在，则执行步骤a14；如果不存在，则执行步骤a15；18.a14.从实体静态数据库rsdb中，读取静态库实体指标结构rsis，并利用机器算法，将静态库实体指标结构rsis与步骤a12读取的标准指标体系结构eis进行比对、融合操作，形成静态库实体临时指标结构rsis'；19.a15.依据步骤a12读取的标准指标体系结构eis，创建实体静态数据库rsdb，将标准指标体系结构eis赋值给静态库实体指标结构rsis，将标准指标体系结构eis作为静态库实体临时指标结构rsis'；20.a16.呈现静态库实体临时指标结构rsis'，进行人工校正，并确认；21.a17.判断静态库实体指标结构rsis与静态库实体临时指标结构rsis'是否一致，如果一致，直接跳转步骤a18执行；如果不一致，将静态库实体临时指标结构rsis'作为最新静态库实体指标结构，置p＝true，存入实体静态数据库rsdb；22.a18.从原数据数据库ovdb中，读取第n1库的数值项ov，置d＝true，写入实体静态数据库rsdb；23.a19.如果n1《n1，执行n1 1赋值给n1，跳转到步骤a12执行；否则，跳转步骤a110执行；24.a110.判断变量p和d，当p＝true或d＝true时，发送信号，启动实体动态库自动识别构建器开始工作。25.上述一种多源主附实体结构模块化构建的处理方法，步骤a2中所述最新实体指标结构的具体构建方法为：26.a21.实时监听，如果监听到单源主实体静态库自动化识别构建器的数据传送信号，则接收变量p和d的值；27.a22.如果p＝true，则从实体动态数据库rvdb中，读取动态库实体指标结构rvis，从实体静态数据库rsdb中，读取最新的静态库实体指标结构rsis，跳转到步骤a23执行；如果p＝false，则跳转到步骤a24执行；28.a23.根据设定规则，利用机器算法，将静态库实体指标结构rsis和动态库实体指标结构rvis进行合并，形成最新动态库实体指标结构，并存入实体动态数据库rvdb库；29.a24.如果d＝true，则依据规则，从实体静态数据库rsdb中，读取最新入库的数据，写入实体动态数据库rvdb中；如果d＝false，结束。30.上述一种多源主附实体结构模块化构建的处理方法，步骤a3中所述附属实体自动加载判别器形成动态库临时实体指标结构rvis'的方法为：31.a31.从源b的实体题录项数据库efdb中，读取未入库的附属实体个数，记为n2，令n2初始变量为1，n2为大于等于1的自然数；32.a32.从源b的实体题录项数据库efdb中，提取附属实体n2的附属实体题录项sefs；33.a33.判别附属实体n2对应的实体动态数据库rsdb是否存在，如果不存在跳转到步骤a34执行；如果存在，则跳转到步骤a35执行；34.a34.提示是否创建实体动态数据库rsdb，并进行人工确认，如果用户确认创建，则依据附属实体n2的附属实体题录项sefs，形成静态库实体临时指标结构rsis'，并跳转到步骤a311执行；如果用户选择不创建，跳转到步骤a312；35.a35.从实体动态数据库rvdb中，读取动态库实体指标结构rvis，获得rvis指标个数i，同时将动态库实体指标结构rvis作为动态库实体临时指标结构rvis'；36.a36.读取附属实体n2的取附属实体题录项sefs的指标，获得sefs指标个数m，令m＝1，i＝1；37.a37.读取附属实体n2的附属实体题录项指标m；38.a38.读取动态库实体指标结构rvis指标i；39.a39.判别附属实体题录项指标m与动态库实体指标结构rvis指标i是否完全一致，如果一致，则m＝m 1,并跳转到步骤a37执行，如果不一致，则判断i》i是否成立，如果成立，则i＝i 1，并跳转到步骤a38执行，如果不成立则跳转到a310执行；40.a310.将附属实体题录项指标m融入动态库临时实体指标结构rvis'中，并判断m》m是否成立，如果成立，则m＝m 1，并跳转到步骤a37执行，如果不成立则跳转到步骤a311执行；41.a311.将源b、附属实体n2、静态库实体临时指标结构rsis'传入实体动态库自动化成长器，并启动其运行；42.a312.判断n2》n2是否成立，如果成立，则跳转到步骤a32执行；如果不成立，结束。43.上述一种多源主附实体结构模块化构建的处理方法，步骤a4中所述动态库自动成长的具体方法为：44.a41.监听并接收附属实体自动加载判别器传送过来的源b、附属实体n2、动态库临时实体指标结构rvis'信息；45.a42.从源b的指标数据库idb中，读取标准指标体系结构eis；46.a43.依据附属实体n2的相关信息，建立动态库临时实体指标结构rvis'与标准指标体系结构eis之间的关联关系r；47.a44.将动态库临时实体指标结构rvis'以及动态库临时实体指标结构rvis'与标准指标体系结构eis之间的关联关系r，存入实体动态数据库rvdb中；48.a45.读取附属实体n2的数据，存入实体动态数据库rvdb中；49.a46.发送信号s＝true，将源b、附属实体n2信息传入实体动态库应用场景提取器并启动执行。50.上述一种多源主附实体结构模块化构建的处理方法，步骤a5中所述实体动态库应用场景提取器的工作流程为：51.a51.监听并接收实体动态库自动成长器的传送过来的源b、附属实体n2、信号s信息；52.a52.判断s＝true是否成立，如果成立，则执行步骤a53，否则，结束；53.a53.则从源b对应的实体应用场景数据库esdb中，读取附属实体n2对应的主实体m(m)与附属实体s(m)之间的应用场景es；54.a54.从源a的主实体对应的源应用场景数据库sdb中，读取源、库、表应用场景ses；55.a55.从实体动态数据库rvdb中，读取相关实体动态信息v；56.a56.将主实体m(m)与附属实体s(m)之间的应用场景es、源库表应用场景ses、实体动态信息v信息进行关联，存入实体动态应用场景数据库srvdb。57.由于采用了以上技术方案，本发明所取得技术进步如下。58.本发明通过主实体静态库自动化识别构建、实体动态库自动识别构建、附属实体自动判别、实体动态库指标体系自动完善与应用场景记录等技术方法，能够区分相对不变的数据和经常变动的数据，做到多源数据的静态库和动态库分层存储，记录了数据归集的过程和应用场景，实现了多源数据的主附实体结构模块化构建，以及数据的关联存储与自增长；系统性的解决了数据间隐含关系的自动识别与抽取、主附实体结构模块化构建、实体应用场景记录等问题，为数据溯源、数据关联分析提供了可行性的数据存储解决方案。59.主要具有以下显著效果：60.1)数据规整化、指标标准化。本发明提出多源数据按照主实体和附属实体结构，进行数据和指标的组织和归集，与现有分源处理、分库存储的处理方式相比，具有指标结构标准、指标数量精简、指标表达统一、数据提取统一、数据存储规整的优势。61.2)数据分层存储。本发明通过建立静态库和动态库，实现相对不变数据和经常变动数据的分层存储，与现有处理方法、存储方式相比：实现了数据动静分离；数据维护更加便捷、使用更加方便；大大减少了数据处理难度和程序开发复杂度。62.3)主附实体结构模块化构建。本发明提出了主附实体识别、实体结构模块化构建等方法，与现有数据提取、结构构建等处理方式相比：实现了主附实体的自动识别、数据的自动提取；主附实体结构的自动判别、自我成长；数据间隐含关系的自动发现、提取和存储。63.4)数据关系清晰、利于溯源。本发明在进行主附实体提取时，同时记录了实体来自的源、主实体、附属实体，以及主实体与附属实体之间的依附关系等丰富的应用场景，对数据之间的隐性关系，进行了识别、提取、存储，有利于数据之间关系查找与溯源。附图说明64.图1为本发明的结构示意图；65.图2为本发明的流程图；66.图3为本发明所述单源主实体静态库自动识别构建器的工作流程示意图；67.图4为本发明所述实体动态库自动识别构建器的工作流程示意图；68.图5为本发明所述附属实体自动加载判别器的工作流程示意图；69.图6为本发明所述实体动态库自动成长器的工作流程示意图；70.图7为本发明所述实体动态库应用场景提取器的工作流程示意图。具体实施方式71.下面将结合附图和具体实施方式对本发明进行进一步详细说明。72.一种多源主附实体结构模块化构建的处理方法，应用于大数据处理领域，提出多源数据按静态库和动态库分层存储，主附实体结构自动构建。首先，利用主实体形成主实体静态库指标结构；然后，通过自动触发机制，构建实体动态库；接着，依据异源附属实体，自动补充完善实体动态库，促进实体动态库自成长；最后记录实体的应用场景等信息，解决了数据溯源、数据关联分析等一系列的问题。73.在本发明中，应用到以下数据库：1)原数据数据库ovdb(originalvaluedatabase)，存储由电子表格数据转化为数据库格式的原始数据；2)实体题录项数据库efdb(entityfeaturedatabase)，存储主实体题录项mefs及相关数据、附属实体题录项(sefs)及相关数据等信息；3)指标数据库idb(indicatorsdatabase)，存放本期指标结构is，标准指标体系结构eis；4)源应用场景数据库sdb(sensedatabase)，存储源应用场景等相关信息；5)实体应用场景数据库esdb(entitysensedatabase)，存储主实体m(m)、附属实体s(m)的应用场景es，以及主实体m(m)与附属实体s(m)之间的依附关系。74.在本发明中，所应用到的专有名词包括：1)源(source)s，用来描述特定研究对象的一组数据集合，在一定时期内，具有稳定性和连续性；2)库(data-set)ds，指由源产生的一定时期的一组数据集合，可以由一个或多个二维数据表构成；3)表(table)t，指库中的一个二维数据表；4)实体(entity)，可用一组特征变量进行描述的具有相对稳定性、唯一性的研究对象，依据不同实体间的相互依附关系，实体分为主实体和附属实体；5)主实体(mainentity)，指源中全部或大部分的属性所描述的研究实体，一般一个源中只有一个主实体，用“实体(实体对应的主实体)”格式表示，主实体表示为m(m)；6)附属实体(subsidiaryentity)，指源中依存于主实体的实体，通常附属实体是主实体的一部分或者是用来描述主实体属性的一组变量，用“实体(实体对应的主实体)”格式表示，附属实体表示为s(m)；7)实体题录项efs(entityfeaturestructure：实体特征结构)，能反映实体属性的一组指标集合；8)主实体题录项mefs(mainentityfeaturestructure：主要实体特征结构)，指能反映主实体属性的一组指标集合；9)附属实体题录项sefs(subsidiaryentityfeaturestructure：次要实体特征结构)：指能反映附属实体及附属实体与主实体的关联关系的一组指标集合，既能够体现附属实体的自身属性，又能够体现附属实体所在的主实体的状态的有关属性。75.本发明中，将同一源(单源)主实体的数据、主实体与附属实体整合之后的实体数据与指标结构、多源数据的源库表等信息、主实体与附属实体的应用场景等属性信息进行处理、提取后，分别存储在以下三个数据库中：1)实体静态数据库rsdb(relativestaticdatabase)，存放来自于同一源(单源)的多库的数据；2)实体动态数据库rvdb(relativevarietydatabase)，存放来自于异源且经过整合之后的实体的指标及数据；3)实体动态应用场景数据库srvdb(senseofrelativevarietydatabase)，存放基于实体动态数据库rvdb的多源数据的源、库、表等信息，以及主实体、附属实体、主实体与附属实体的应用场景等信息。76.本发明的实施依赖于多个模块实现，如图1所示，包括单源主实体静态库自动识别构建器、实体动态库自动识别构建器、附属实体自动加载判别器、实体动态库自动成长器、实体动态库应用场景提取器。77.一种多源主附实体结构模块化构建的处理方法，其流程如图2所示，具体包括以下步骤。78.a1.从指标数据库idb提取标准指标体系结构eis，从实体题录项数据库efdb提取主实体题录项mefs，从原数据数据库ovdb提取数值项ov，利用单源主实体静态库自动识别构建器，形成主实体静态库指标结构，存入实体静态数据库rsdb。79.本步骤中，所述主实体静态库指标结构形成方法的流程如图3所示，具体如下。80.a11.从源a的实体题录项数据库efdb中，读取未入库的主实体库个数，记为n1，令n1初始变量为1，n1为大于等于1的自然数，令指标结构变量p＝false，令数据变量d＝false。81.a12.从源a的实体题录项数据库efdb中，读取第n1库的主实体题录项mefs；从源a的指标数据库idb，读取标准指标体系结构eis。82.a13.判别源a的实体静态数据库rsdb是否存在，如果存在，则执行步骤a14；如果不存在，则执行步骤a15。83.a14.从实体静态数据库rsdb中，读取静态库实体指标结构rsis，并利用机器算法，将静态库实体指标结构rsis与步骤a12读取的标准指标体系结构eis进行比对、融合等操作，形成静态库实体临时指标结构rsis'。84.a15.依据步骤a12读取的标准指标体系结构eis，创建实体静态数据库rsdb，将标准指标体系结构eis赋值给静态库实体指标结构rsis，将标准指标体系结构eis作为静态库实体临时指标结构rsis'。85.a16.呈现静态库实体临时指标结构rsis'，进行人工校正，并确认。86.a17.判断静态库实体指标结构rsis与静态库实体临时指标结构rsis'是否一致，如果一致，直接跳转步骤a18执行；如果不一致，将静态库实体临时指标结构rsis'作为最新静态库实体指标结构，置p＝true，存入实体静态数据库rsdb，直接跳转步骤a18执行。87.a18.从原数据数据库ovdb中，读取第n1库的数值项ov，置d＝true，写入实体静态数据库rsdb。88.a19.如果n1《n1，执行n1 1赋值给n1，跳转到步骤a12执行；否则，跳转步骤a110执行。89.a110.判断变量p和d，当p＝true或d＝true时，发送信号，启动实体动态库自动识别构建器开始工作。90.a2.从实体静态数据库rsdb提取主实体静态库指标结构等信息，从实体动态数据库rvdb提取动态库实体指标结构信息，利用实体动态库自动识别构建器，构建最新动态库实体指标结构，并存入实体动态数据库rvdb。91.本步骤中，所述最新实体指标结构构建的流程如图4所示，具体构建方法如下。92.a21.实时监听，如果监听到单源主实体静态库自动化识别构建器的数据传送信号，则接收变量p和d的值。93.a22.如果p＝true，则从实体动态数据库rvdb中，读取动态库实体指标结构rvis，从实体静态数据库rsdb中，读取最新的静态库实体指标结构rsis，跳转到步骤a23执行；如果p＝false，则跳转到步骤a24执行。94.a23.根据设定规则，利用机器算法，将静态库实体指标结构rsis和动态库实体指标结构rvis进行合并，形成最新动态库实体指标结构，并存入实体动态数据库rvdb库。95.a24.如果d＝true，则依据规则，从实体静态数据库rsdb中，读取最新入库的数据，写入实体动态数据库rvdb中；如果d＝false，结束。96.a3.从源b的实体题录项数据库efdb提取附属实体题录项sefs，从实体动态数据库rvdb提取动态库实体指标结构rvis，利用附属实体自动加载判别器，判别附属实体是否融入实体动态数据库rvdb，并形成动态库临时实体指标结构rvis'。97.本步骤中，所述附属实体自动加载判别器形成动态库临时实体指标结构rvis'的方法如图5所示，具体如下。98.a31.从源b的实体题录项数据库efdb中，读取未入库的附属实体个数，记为n2，令n2初始变量为1，n2为大于等于1的自然数。99.a32.从源b的实体题录项数据库efdb中，提取附属实体n2的附属实体题录项sefs。100.a33.判别附属实体n2对应的实体动态数据库rsdb是否存在，如果不存在跳转到步骤a34执行；如果存在，则跳转到步骤a35执行。101.a34.提示是否创建实体动态数据库rsdb，并进行人工确认，如果用户确认创建，则依据附属实体n2的附属实体题录项sefs，形成静态库实体临时指标结构rsis'，并跳转到步骤a311执行；如果用户选择不创建，跳转到步骤a312。102.a35.从实体动态数据库rvdb中，读取动态库实体指标结构rvis，获得rvis指标个数i，同时将动态库实体指标结构rvis作为动态库实体临时指标结构rvis'；103.a36.读取附属实体n2的取附属实体题录项sefs的指标，获得sefs指标个数m，令m＝1，i＝1；104.a37.读取附属实体n2的附属实体题录项指标m；105.a38.读取动态库实体指标结构rvis指标i；106.a39.判别附属实体题录项指标m与动态库实体指标结构rvis指标i是否完全一致，如果一致，则m＝m 1,并跳转到步骤a37执行，如果不一致，则判断i》i是否成立，如果成立，则i＝i 1，并跳转到步骤a38执行，如果不成立则跳转到a310执行；107.a310.将附属实体题录项指标m融入动态库临时实体指标结构rvis'中，并判断m》m是否成立，如果成立，则m＝m 1，并跳转到步骤a37执行，如果不成立则跳转到步骤a311执行；108.a311.将源b、附属实体n2、动态库临时实体指标结构rvis'等信息传入实体动态库自动化成长器，并启动其运行；109.a312.判断n2》n2是否成立，如果成立，则跳转到步骤a32执行；如果不成立，结束。110.a4.从步骤a3读取动态库临时实体指标结构rvis'，从指标数据库idb提取标准指标体系结构eis，利用实体动态库自动成长器，根据附属实体情况，自动补充完善指标体系，促使动态库自动成长，并存入实体动态数据库rvdb。111.本步骤中，所述动态库自动成长的具体方法如图6所示，具体如下。112.a41.监听并接收附属实体自动加载判别器传送过来的源b、附属实体n2、动态库临时实体指标结构rvis'等信息；113.a42.从源b的指标数据库idb中，读取标准指标体系结构eis；114.a43.依据附属实体n2，建立动态库临时实体指标结构rvis'与标准指标体系结构eis之间的关联关系r；115.a44.将动态库临时实体指标结构rvis'以及动态库临时实体指标结构rvis'与标准指标体系结构eis之间的关联关系r，存入实体动态数据库rvdb中；116.a45.读取附属实体n的数据，存入实体动态数据库rvdb中；117.a46.发送信号s＝true，将源b、附属实体n2信息传入实体动态库应用场景提取器并启动执行。118.a5.从实体动态数据库rvdb读取动态库实体，从源a的源应用场景数据库sdb读取源a的源、库、表等应用场景的相关信息，从源b的实体应用场景数据库esdb提取主实体m(m)与附属实体s(m)之间的应用场景es，利用实体动态库应用场景提取器，记录实体动态数据库中数据来自的源、库、主实体、附属实体、主附实体间的应用场景等信息，存入实体动态应用场景数据库srvdb。119.本步骤中，所述实体动态库应用场景提取器的工作流程如图7所示，具体如下。120.a51.监听并接收实体动态库自动成长器的传送过来的源b、附属实体n2、信号s等信息；121.a52.判断s＝true是否成立，如果成立，则执行步骤a53，否则，结束；122.a53.则从源b对应的实体应用场景数据库esdb中，读取附属实体n2对应的主实体m(m)与附属实体s(m)之间的应用场景es；123.a54.从源a的主实体对应的源应用场景数据库sdb中，读取源、库、表等应用场景ses；124.a55.从实体动态数据库rvdb中，读取相关实体动态信息v；125.a56.将主实体m(m)与附属实体s(m)之间的应用场景es、源库表应用场景ses、实体动态信息v等信息进行关联，存入实体动态应用场景数据库srvdb。126.当有多个源数据时，可重复步骤a1-a5，递进完成多源数据的相互关联，从而可在实体动态应用场景数据库srvdb中获取自动融合后的、具有相互关联的、动态的信息；便于后续数据之间关系查找、溯源以及分析。127.本发明的应用能够实现以下功能：1)通过提出主附实体结构，将大量的、多样冗余的指标按照主附实体结构进行组织，构建了基于主附实体的标准化的指标体系，形成了精简的、系统化的指标结构，同时在数据之间建立了关系；2)通过制定模块化构建机制，针对主附实体结构，制定了自动化识别、完善机制，能很好的实现数据之间隐含关系的发现，以及提取与存储；3)通过提出静态库与动态库分别存储，能很好的区分相对不变的数据和经常变动的数据，通过主实体静态库自动化识别构建、异源实体动态库自动融合，大大减少了数据处理难度与程序开发复杂度，同时也实现了数据的关联存储与自增长。当前第1页12当前第1页12