一种基于大数据进行人员信息数据治理的方法与流程

1.本发明涉及一种基于大数据进行人员信息数据治理的方法，属于人员信息数据治理领域。


背景技术：

2.如今，人类的生产生活每天都在产生各种各样的庞大的数据，并且产生的速度越来越快；因此，海量异构的人员信息数据的接入、处理和管理的问题越来越引起人们的重视；在企业中，经常会面临人员信息数据离散化、人员信息数据质量参差不齐等问题，其原因如下：
3.一是人员信息数据量庞大、来源多样、结构混乱，数据缺少统一的标准规范，杂乱的数据会导致资源空间的浪费；
4.二是人员信息数据不完整、不准确问题越来越明显，人员信息数据质量低下成为了人员信息数据的核心问题。


技术实现要素：

5.本发明提出的是一种基于大数据进行人员信息数据治理的方法，其目的旨在解决人员信息数据质量低下的问题。
6.本发明的技术解决方案：一种基于大数据进行人员信息数据治理的方法，该方法包括以下步骤：
7.1)数据标准：将人员信息数据标准化，对人员信息数据进行统一规范的管理，消除各部门间的人员信息数据壁垒；
8.2)数据备案：将人员信息数据的基本信息及原始数据上传进行登记备案，对人员信息数据进行备忘登记；
9.3)数据探查：从步骤2)中获取已登记备案的原始数据，对其进行人员信息数据探查，生成人员信息数据探查报告；
10.4)数据预清洗：从步骤3)中获取人员信息数据探查报告，掌握人员信息数据存在的质量问题，对人员信息数据进行预清洗操作，并将结果存储到hive临时库；
11.5)数据定义：以登记备案的人员信息数据为维度，来定义人员信息数据读取、处理及治理，生成步骤6)所需的配置，形成人员信息数据定义结果供大数据治理平台调用；
12.6)数据接入处理：根据业务需求，基于步骤3)
‑
步骤5)，进行数据读取将多源异构的人员信息数据接入大数据处理中心，在接入过程中进行人员信息数据处理，并与人员信息数据提供方进行数据核对，最后将处理完的人员信息数据写文件存储；
13.7)数据资产：对步骤6)中接入的人员信息数据进行资产管理，掌握人员信息数据资产的情况。
14.进一步地，所述步骤3)中的人员信息数据探查包括两次重复的多维度探查分析，一次是对原始数据的探查，另一次是对步骤4)中数据预清洗后的人员信息数据再次进行探
查。
15.进一步地，所述步骤3)中多维度探查分析包括对人员信息数据量探查、对人员信息数据的字段与质量探查、问题数据探查。
16.进一步地，所述对人员信息数据量探查是探查出所有的人员信息数据量情况。
17.进一步地，所述对人员信息数据的字段与质量探查，包括：a)字段空值率探查，b)命名实体探查,c)类型及格式探查。
18.进一步地，所述字段空值率探查，具体为:通过公式(1)统计出字段空值占比情况：
[0019][0020]
式中：rate表示空值率，f(k)表示字段空值数，k表示下界，n表示上界，m表示总行数，z表示特殊字符行数。
[0021]
进一步地，所述命名实体探查，具体为：自动探查分析出字段内容的标识，再结合原始数据的值进行人工介入，识别出字段内容中的人名、地名、证件号码、手机号命名实体。
[0022]
进一步地，所述类型及格式探查，具体为：探查人员信息数据的字段类型及格式是否符合规范。
[0023]
进一步地，所述问题数据探查是探查字段的合法性及字段中不符合规范的数据，通过公式(2)统计每列的乱码率：
[0024][0025]
式中：rate2表示乱码率，g(b)表示乱码数，b表示下界，e表示上界，h表示总行数。
[0026]
进一步地，所述步骤4)中数据预清洗包括条件过滤，字段拼接、拆分与替换字符串操作；所述条件过滤是提供为空、非空、范围规则这三种选择，让前台以查询条件的形式作为参数传给后台；所述字段拼接、拆分与替换字符串是通过concat函数和replace函数来拼接拆分已有字段及替换字符串。
[0027]
进一步地，所述步骤5)中数据定义是基于数据标准来定义，定义包括数据读取定义、数据格式定义、数据处理定义、数据治理定义；所述数据读取定义是根据人员信息数据探查结果，定义原始数据从源平台中的读取，按照业务需求来定义人员信息数据的文件字符集；所述数据格式定义是参考数据标准，完成人员信息原始字段与人员信息标准字段的映射；所述数据处理定义包括step1数据清洗策略定义，step2数据提取策略定义；所述数据治理定义包括资源目录注册，资源目录注册是将数据备案中已登记的人员信息数据，同步注册到数据资源目录，全面掌握人员信息数据的情况。
[0028]
进一步地，所述步骤5)中step1数据清洗策略定义，具体为：根据业务需求，定义人员信息数据条件过滤，字段拼接、拆分与替换字符串的策略；与步骤4)中条件过滤，字段拼接、拆分与替换字符串操作的区别在于：两者所针对的数据对象不一致，步骤4)是针对样例数据进行预清洗操作，而此处是针对真实数据清洗策略的规则定义，为后面步骤6)的step1清洗提供了依据；
[0029]
进一步地，所述步骤5)中step2数据提取策略定义，具体为：根据业务需求，明确并定义源数据到目的数据的提取映射关系，针对人员信息数据的部分字段、人员信息数据的
关系进行提取。
[0030]
进一步地，所述步骤6)中数据读取是从人员信息数据预清洗的hive临时库中抽取数据，检查数据定义是否一致，如果一致则进行数据读取，如果不一致则停止读取；数据核对是在数据读取阶段同步进行的环节，在某一时间对账时间节点内，检查人员信息数据的完整性和正确性。
[0031]
进一步地，所述步骤6)中人员信息数据处理包括step1清洗和step2提取，具体如下：
[0032]
根据数据清洗策略定义，对实时接入的人员信息数据进行；
[0033]
step1清洗：根据数据清洗策略定义，对实时接入的人员信息数据重复执行步骤4)中的条件过滤，字段拼接、拆分与替换字符串操作；但与步骤4)、步骤5)的区别在于；两者所针对的数据对象不同，步骤4)是针对样例数据，而步骤5)、步骤6)是针对真实的数据；步骤5)和步骤6)的区别又在于：两者的用途不一样，步骤5)是清洗的规则定义，而步骤6)是按步骤5)对真实数据进行处理；
[0034]
step2提取：根据数据提取策略定义，从源格式数据中提取出目的格式数据，针对实时接入的人员信息数据的部分字段、人员信息数据的关系进行提取。
[0035]
进一步地，所述步骤7)中对步骤6)中接入的人员信息数据进行资产管理，具体包括：通过资源目录，直观的展示资源概况；资源目录是对数据进行管理，包括资源分类与编目，对大数据治理平台存储的数据和通过接口方式提供给大数据治理平台使用的人员信息数据进行梳理。
[0036]
本发明的有益效果：
[0037]
本发明通过一种基于大数据进行人员信息数据治理的方法，将分散、多样化的人员信息数据标准化，通过对人员信息数据进行数据备案、数据探查、数据预清洗、数据定义、数据接入处理来进行数据管控，能够提供完整、及时的高质量人员信息数据。
附图说明
[0038]
附图1是本发明的总体设计架构图。
[0039]
附图2是本发明的数据标准流程示意图。
[0040]
附图3是本发明的数据预清洗流程示意图。
具体实施方式
[0041]
下面结合具体实施方式对本发明做详细说明。
[0042]
一种基于大数据进行人员信息数据治理的方法，该方法包括以下步骤：
[0043]
1)数据标准：将人员信息数据标准化，对人员信息数据进行统一规范的管理，消除各部门间的人员信息数据壁垒，方便人员信息数据之间共享；
[0044]
2)数据备案：将人员信息数据的基本信息及原始数据上传进行统一的登记备案，做好人员信息数据的备忘登记工作；
[0045]
3)数据探查：从步骤2)中获取已登记备案的原始数据，对其进行人员信息数据探查，生成人员信息数据探查报告；数据探查是人员信息数据质量中关键的一步，真正把控人员信息数据来源，提高人员信息数据质量，保证人员信息数据的正确性，为后面的数据预清
洗提供了依据；优选地，所述人员信息数据探查采用多维度探查分析；
[0046]
4)数据预清洗：从步骤3)中获取人员信息数据探查报告，掌握人员信息数据存在的质量问题，对人员信息数据进行预清洗操作，并将结果存储到hive临时库，解决人员信息数据质量问题，保证人员信息数据的一致性，提高人员信息数据的使用价值与质量；
[0047]
5)数据定义：以登记备案的人员信息数据为维度，来定义人员信息数据读取、处理及治理，生成步骤6)所需的配置，形成人员信息数据定义结果供大数据治理平台调用；
[0048]
6)数据接入处理：根据业务需求，基于步骤3)
‑
步骤5)，将多源异构的人员信息数据接入大数据处理中心，在接入过程中进行人员信息数据处理，并与人员信息数据提供方进行数据核对，最后将处理完的人员信息数据写文件存储，提高人员信息数据接入处理的效率；
[0049]
7)数据资产：对步骤6)中接入的人员信息数据进行资产管理，掌握人员信息数据资产的情况，直观展示、全面了解已接入的人员信息数据资产。
[0050]
所述步骤3)中的人员信息数据探查包括两次重复的多维度探查分析，一次是对原始数据的多维度探查分析，另一次是对步骤4)中数据预清洗后的人员信息数据再次进行多维度探查分析，实现探查与数据预清洗的双向检查，保证人员信息数据问题的及时发现。
[0051]
所述步骤3)中多维度探查分析包括对人员信息数据量探查、对人员信息数据的字段与质量探查、问题数据探查。
[0052]
所述对人员信息数据量探查是探查出所有的人员信息数据量情况。
[0053]
所述对人员信息数据的字段与质量探查，包括：a)字段空值率探查，b)命名实体探查，c)类型及格式探查。
[0054]
所述字段空值率探查，具体为:通过公式(1)统计出字段控制空值占比情况：
[0055][0056]
式中：rate表示空值率，f(k)表示字段空值数，k表示下界，n表示上界，m表示总行数，z表示特殊字符行数，通过字段空值率探查探查出人员信息数据的空值情况，发现人员信息数据中有用的数据，了解人员信息数据的价值；字段空值率是统计出字段控制占比情况。
[0057]
所述命名实体探查，具体为：自动探查分析出字段内容的标识，再结合原始数据的值进行人工介入，识别出字段内容中的人名、地名、证件号码、手机号命名实体，为后面的人员信息数据提取提供依据，提取出有价值的人员信息数据关系。
[0058]
所述类型及格式探查，具体为：探查人员信息数据的字段类型及格式是否符合规范，为后面人员信息数据提取提供数据质量依据，保证人员信息数据的质量；对问题数据探查是探查字段的合法性及字段中不符合规范的数据，通过公式(2)统计每列的乱码率：
[0059][0060]
式中：rate2表示乱码率，g(b)表示乱码数，b表示下界，e表示上界，h表示总行数。
[0061]
所述步骤4)中人员信息数据预清洗包括条件过滤，字段拼接、拆分与替换字符串操作；条件过滤是提供为空、非空、范围规则这三种选择，让前台以查询条件的形式作为参数传给后台；字段拼接、拆分与替换字符串是通过concat函数和replace函数来拼接拆分已
有字段及替换字符串。
[0062]
所述步骤5)中数据定义是基于数据标准来定义，定义包括数据读取定义、数据格式定义、数据处理定义、数据治理定义。
[0063]
所述对数据读取定义是根据人员信息数据探查结果，定义原始数据从源平台中的读取，按照业务需求来定义人员信息数据的文件字符集。
[0064]
所述数据格式定义是参考数据标准，完成人员信息原始字段与人员信息标准字段的映射。
[0065]
所述数据处理定义具体步骤如下：
[0066]
step1数据清洗策略定义，根据业务需求，定义人员信息数据条件过滤，字段拼接、拆分与替换字符串的策略；但与步骤4)的区别在于；两者所针对的数据对象不一致，步骤4)是针对样例数据进行预清洗操作，而此处是针对真实数据清洗的规则定义，为后面步骤6)的step1清洗提供了依据；
[0067]
step2数据提取策略定义：根据业务需求，明确并定义源数据到目的数据的提取映射关系，针对人员信息数据的部分字段、人员信息数据的关系进行提取。
[0068]
所述数据治理定义包括资源目录注册，资源目录注册是将数据备案中已登记的人员信息数据，同步注册到数据资源目录，全面掌握人员信息数据的情况。
[0069]
所述步骤6)中数据读取是从人员信息数据预清洗的hive临时库中抽取数据，检查数据定义是否一致，如果一致则进行数据读取，如果不一致则停止读取；数据核对是在数据读取阶段同步进行的环节，是数据提供方与数据读取过程中，在某一时间对账时间节点内，检查人员信息数据的完整性和正确性。
[0070]
所述步骤6)中人员信息数据处理包括清洗和提取，具体如下：
[0071]
step1清洗：根据数据清洗策略定义，对实时接入的人员信息数据重复执行步骤4)，但与步骤4)、步骤5)的区别在于；两者所针对的数据对象不同，步骤4)是针对样例数据，而步骤5)、步骤6)是针对真实的数据；步骤5)和步骤6)的区别又在于：两者的用途不一样，步骤5)是清洗的规则定义，而步骤6)是按步骤5)对真实数据进行处理；
[0072]
step2提取：根据数据提取策略定义，从源格式数据中提取出目的格式数据，针对实时接入的人员信息数据的部分字段、人员信息数据的关系进行提取。
[0073]
所述步骤7)中对步骤6)中接入的人员信息数据进行资产管理，具体为：通过资源目录，直观的展示资源概况；资源目录是对数据进行管理，包括资源分类与编目，对大数据治理平台存储的数据和通过接口方式提供给大数据治理平台使用的人员信息数据进行梳理。
[0074]
本发明通过数据标准、数据备案、数据探查、数据预清洗、数据定义、数据接入处理、数据资产等手段，利用大数据治理平台对人员信息数据进行数据管控，利用数据标准化进行人员信息数据定义，并提供经验自学习，对定义资源具有标准对照自学习与推荐功能，提高了人员信息数据接入的效率；通过提供一套丰富的实时处理规则，提高了人员信息数据治理的效率；通过人员信息数据标准化，提升了数据合法性与合规性，确保了数据的正确性及质量；通过接入前多样化探查及探查与预清洗的双向检查方法，能够及时发现并解决数据质量问题；通过可靠的人员信息数据来提高人员信息数据的使用价值及质量，在人员信息数据治理领域提供有力支撑，为企业赢得经济效益。
[0075]
实施例
[0076]
参照附图1～3，下面将结合附图对本发明的实施例作进一步详细说明：
[0077]
图1中实现了人员信息数据备案、探查、预清洗、定义、接入处理一系列完整的流程，具体步骤如下：
[0078]
1)数据标准：将人员信息数据标准化，对人员信息数据进行统一规范的管理，消除各部门间的人员信息数据壁垒，方便人员信息数据的共享；
[0079]
2)数据备案：将人员信息数据的基本信息及原始数据上传进行统一的登记备案，做好人员信息数据的备忘工作；
[0080]
3)数据探查：从步骤2)中获取已登记的原始数据，对其进行多维度探查分析，生成人员信息数据探查报告；数据探查是人员信息数据质量中关键的一步，真正把控人员信息数据来源，提高人员信息数据质量，为后面清洗提供了依据；
[0081]
具体以如下的人员信息表举例来说：
[0082]
假如人员信息表共有7条数据，包含7个字段age、hm、xm、csrq、sj、xb、dz，其中字段age为年龄，hm为证件号码，xm为姓名，csrq为出生日期，sj为时间，xb为性别，dz为地址：
[0083]
step1通过数据量探查方式探查全部人员信息数据量的情况，为后面空值率计算提供依据，探查到人员信息表的数据总量条数m为7；
[0084]
step2假如人员信息表的7条数据的dz字段值都是空，则根据字段空值率的公式计算出dz字段的空值率为100％；
[0085]
step3类型及格式探查是探查人员信息表中字段的类型及格式，显示字段的各种格式占比情况；假如在人员信息表中，有5条数据的hm字段为正确的身份证号，另外2条数据的hm字段中带有#、$这种特殊符号，则类型及格式探查会将人员信息表的5条数据识别为身份证号格式，另外2条不符合身份证号格式的数据识别为未知数据，即对于人员信息表的hm字段，身份证号格式占比71.4％，未知数据格式占比28.6％；
[0086]
step4命名实体探查是自动探查分析出人员信息表字段内容的标识，再结合原始数据的值进行人工介入，识别出字段内容中的证件号码、手机号、地址命名实体，为数据接入处理过程中数据提取策略定义提供依据；假如人员信息表中的hm字段被探查为身份证号，xm字段为姓名，dz字段为地址，其它在已有规则中匹配不到的实体均默认为未知；
[0087]
step5通过问题数据探查方式，探查人员信息表字段中不符合规范的数据，统计每列的乱码率，其中含有#、$这类特殊字符的字段会被识别为乱码；参照step3，人员信息表有5条数据的hm字段为正确的身份证号，另外2条数据的hm字段中带有#、$这种特殊符号；根据公式计算出证件号码的乱码率为28.6％；假如人员信息表中7条数据中，有3条数据的csrq字段值在1996年，2条数据的csrq字段值在1995年，则探查出人员信息表的csrq字段的时间分布情况：排名第一的时间为1996，数据量为3；其次为1995，数据量为2；
[0088]
4)数据预清洗：从数据探查中获取人员信息数据探查结果，掌握人员信息数据存在的质量问题，对人员信息数据进行条件过滤、字段拼接、拆分与替换字符串预清洗操作，具体步骤如下：
[0089]
step1条件过滤：提供默认的为空、非空、范围过滤规则选择，以查询条件的形式作为参数传入；假如人员信息表的7条数据中有1条数据的xm字段值为空，并设置过滤条件为“xm
‑
非空”，则xm字段中缺少值的那条数据将被过滤掉，清洗完成后的人员信息表只剩6条xm字段都有值的数据；
[0090]
step2字段拼接：将选择的字段和分隔符进行字段值的拼接，输入到新增的字段中，其新字段在原始字段后追加；字段拼接的分隔方式支持空格分隔、逗号分隔和无分隔符；假如将人员信息表的csrq和sj字段拼接成cssj新字段，则选择两个字段为csrq和sj，分隔方式选择空格，最后拼接结果为新字段cssj(出生时间)；
[0091]
step3人员信息表经过预清洗操作后，对清洗后的数据再重复进行一次步骤3)，实现人员信息数据预清洗探查，实现探查与清洗的双向检查，保证人员信息数据的质量；
[0092]
5)数据定义：以登记的原始数据为维度，生成人员信息接入处理程序所需的配置，定义包括数据读取定义、数据格式定义、数据处理定义、数据治理定义，具体步骤如下：
[0093]
step1对数据读取定义是根据人员信息数据探查结果，定义原始数据从源平台中的读取，按照业务需求来定义人员信息数据的文件字符集；数据格式定义参考数据标准，结合人员信息数据探查结果，完成人员信息原始字段与人员信息标准字段的映射，利用数据标准化进行数据定义，并对定义资源具有标准对照自学习与推荐功能；当下次数据定义时再遇到人员信息表中已标准化定义的hm、xb、dz字段，则按照经验将其自动对标为zjhm、sex、address标准数据字段；
[0094]
step2数据处理定义包括数据清洗策略定义及数据提取策略定义；其中数据清洗策略定义是根据数据格式定义结果，定义数据条件过滤、字段拼接与拆分的策略，具体如下：
[0095]
条件过滤：提供默认的为空、非空、范围过滤规则选择，以查询条件的形式作为参数传入；假如定义对实时接入的人员信息表设置过滤条件为“xm
‑
非空”，则后面步骤6)中会对其进行条件过滤处理；
[0096]
字段拼接：将选择的字段和分隔符进行字段值的拼接，输入到新增的字段中，其新字段在原始字段后追加；字段拼接的分隔方式支持空格分隔、逗号分隔和无分隔符；假如将实时接入的人员信息表的csrq和sj字段拼接成cssj新字段，则选择两个字段为csrq和sj，分隔方式选择空格；
[0097]
数据提取策略定义：明确并定义源数据资源到目的数据资源的提取映射关系，针对人员信息数据的部分字段、人员信息数据的关系进行提取；根据需求，定义提取人员信息表的“姓名
‑
年龄
‑
性别
‑
证件号码”关系；
[0098]
step3数据治理定义包括资源目录注册，根据数据格式定义结果，将数据注册到数据资源目录，直观展示人员信息数据的情况，根据需要快速查找到对应的人员信息数据；
[0099]
6)数据接入处理：根据数据定义中生成的配置，在人员信息数据接入过程中对数据进行处理，并与数据提供方进行数据核对，最后将处理完的人员信息数据写文件存储，具体步骤如下：
[0100]
step1根据步骤5)的数据格式定义策略，将人员信息表的字段hm标准化为zjhm、xb标准化处理为sex、dz标准化为address，处理完后生成到新的人员信息表中，其包括6条数据，8个字段age、zjhm、xm、csrq、sj、sex、address、cssj，其中字段age为年龄，zjhm为证件号
码，xm为姓名，csrq为出生日期，sj为时间，sex为性别，address为地址,cssj为出生时间(拼接后新字段)；
[0101]
step2根据步骤5)的数据处理定义策略进行数据处理，包括数据清洗及数据提取；数据清洗处理是根据数据定义数据清洗规则，对数据进行条件过滤、字段拼接与拆分操作；
[0102]
根据数据清洗定义的条件过滤，将实时接入的人员信息表的xm字段中缺少值的那条数据过滤掉，即清洗完成后的人员信息表只剩6条xm字段都有值的数据；
[0103]
根据数据清洗定义的字段拼接，将实时接入的人员信息表的csrq和sj字段拼接成cssj新字段，则选择两个字段为csrq和sj，分隔方式选择空格，最后拼接结果为新字段cssj(出生时间)；
[0104]
数据提取是根据数据提取策略定义，从源格式数据中提取出目的格式数据，生成一张“姓名
‑
年龄
‑
性别
‑
证件号码”关系的人员信息表；
[0105]
7)对已接入的人员信息数据进行标准管理，掌握人员信息数据资产的情况，直观展示、全面了解已接入的人员信息数据。
[0106]
图2表示数据标准流程图，将人员信息数据标准同步到数据标准界面；数据标准界面在接收到数据定义的标准申请后，将标准发布给数据定义。
[0107]
图3是数据预清洗流程图，人员信息数据预清洗是根据人员信息数据探查中发现的数据问题，对人员信息数据进行预清洗，在人员信息数据预清洗的过程中，自由形成任务结果集，存放在hive临时库，确认完成全部预清洗工作的任务结果集可作为新的原始数据，其备案信息从继承来的原始数据自动同步过来，进行后续的数据探查及数据定义。