一种数据管理方法及装置与流程

1.本技术涉及数据处理领域，尤其涉及一种数据管理方法及装置。


背景技术：

2.近年来，随着电力系统进入金融业，实现产融结合，金融单位的市场竞争力逐步提升，金融资本服务于主业的能力和利润贡献度不断增强。而在电力金融机构相关联的各类申报系统中，需要采集各类申报系统的业务数据，为金融决策提供丰富的分析依据。
3.由于不同系统采用不同的技术和数据规格，需要针对不同数据进行不同的处理，一方面很难概括所有数据，另一方面处理数据过多会导致数据处理效率低，导致数据处理的实时性大幅下降。
4.因此，如何在提高数据识别的全面性的同时，提高数据处理效率，是本领域技术人员急需解决的技术问题。


技术实现要素：

5.有鉴于此，本技术实施例提供了一种数据管理方法及装置，旨在提高数据识别的全面性的同时，提高数据处理效率。
6.第一方面，本技术实施例提供了一种数据管理方法，包括：
7.获取异构源端数据；所述异构源端数据包括企业的基本信息及用电数据；
8.对所述异构源端数据进行数据适配，得到第一数据；
9.对所述第一数据进行贯标，得到第二数据；
10.对所述第二数据进行质量评估；
11.根据所述质量评估的结果，生成质量报告。
12.优选的，在对所述第二数据进行质量评估之后，还包括：
13.判断所述质量评估的结果是否符合标准；
14.若否，退回所述异构源端数据。
15.优选的，在对所述第二数据进行质量评估之后，还包括：
16.判断所述质量评估的结果是否符合标准；
17.若是，将所述第二数据写入数据库；
18.对所述第二数据进行金融业务分析。
19.优选的，所述数据库包括临时数据库和正式数据库。
20.优选的，所述企业的基本信息及用电数据包括企业的财务、生产、物流信息以及企业的用电量、电费记录。
21.第二方面，本技术实施例提供了一种数据管理装置，包括：
22.获取模块，用于获取异构源端数据；所述异构源端数据包括企业的基本信息及用电数据；
23.适配模块，用于对所述异构源端数据进行数据适配，得到第一数据；
24.贯标模块，用于对所述第一数据进行贯标，得到第二数据；
25.质量评估模块，用于对所述第二数据进行质量评估；
26.报告生成模块，用于根据所述质量评估的结果，生成质量报告。
27.优选的，所述装置还包括：
28.判断模块，用于判断所述质量评估的结果是否符合标准；
29.退回模块，用于若否，退回所述异构源端数据。
30.优选的，所述装置还包括：
31.判断模块，用于判断所述质量评估的结果是否符合标准；
32.入库模块，用于若是，将所述第二数据写入数据库；
33.分析模块，用于对所述第二数据进行金融业务分析。
34.第三方面，本技术实施例提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面任一项所述的数据管理方法。
35.第四方面，本技术实施例提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面任一项所述的数据管理方法。
36.本技术实施例提供了一种数据管理方法。在执行所述方法时，先获取异构源端数据，后对所述异构源端数据进行数据适配，得到第一数据，然后对所述第一数据进行贯标，得到第二数据，再对所述第二数据进行质量评估，最后根据所述质量评估的结果，生成质量报告。这样，可以采用高效、广泛兼容的方法采集数据，扩大分析的适配性，全面分析异构源端数据，通过数据适配兼容各种异构数据，并且快速贯标通用的数据规格，为数据管理增速，解决数据质量问题，采用用报告的方式也可以直观反映数据的质量情况。增加能够分析的数据类型，同时可以提高数据处理的效率。
附图说明
37.为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本技术实施例提供的数据管理方法的一种方法流程图；
39.图2为本技术实施例提供的数据管理方法的另一种方法流程图；
40.图3为本技术实施例提供的数据管理的装置的一种结构示意图。
具体实施方式
41.近年来，随着电力系统和金融业的不断发展，提出了电力系统进入金融业，实现产融结合的概念，通过二者融合可以提升金融单位的市场竞争力，增强金融资本服务于主业的能力和利润贡献度。而在电力金融机构相关联的各类申报系统中，需要采集各类申报系统的业务数据，为金融决策提供丰富的分析依据。由于不同系统采用不同的技术和数据规格，需要针对不同数据进行不同的处理，一方面很难概括所有数据，另一方面处理数据过多
会导致数据处理效率低，导致数据处理的实时性大幅下降。
42.本技术实施例提供的方法由计算机设备执行，用于对数据进行管理。
43.显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.参见图1，图1为本技术实施例提供的数据管理方法的一种方法流程图，包括：
45.步骤s101：获取异构源端数据。
46.异构源端数据是一种多源端异构数据，其中，多源端指多个数据持有方，异构指数据的类型、特征等不一致。具体的，多个数据持有方包括多个企业；异构数据是因为获取的数据包括企业的基本信息和用电数据，而企业的基本信息及用电数据包括企业的财务、生产、物流信息以及企业的用电量、电费记录，不同的数据对应的类型、特征大多是不同的，因此会出现类型、特征等不一致的情况。
47.步骤s102：对所述异构源端数据进行数据适配，得到第一数据。
48.数据适配可以通过数据适配器进行数据适配，数据适配器的主要用途是在数据源和数据集之间进行数据通信，在数据源和数据集之间交换数据。在许多应用程序中，这意味着从数据库将数据读入数据集，然后从数据集将已更改数据写回数据库。通过配置适配器，可以将各类数据更改为可以分析的数据类型。
49.步骤s103：对所述第一数据进行贯标，得到第二数据。
50.贯标是指贯彻标准，即将第一数据改变为统一数据标准下的数据格式，通过贯标处理可以使得数据规格符合标准。
51.步骤s104：对所述第二数据进行质量评估。
52.质量评估主要是针对第二数据的完整性，唯一性，一致性，准确性，有效性，时效性六个方面。
53.其中，完整性是指评估数据的每一项是否都被记录，不存在缺失；唯一性也称为独特性，是指评估数据是否存在重复，每条数据是否是唯一的；一致性是指评估数据在处理前后是否一致，可以通过源表数据量与目标表的数据量检测，也可以通过具体字段匹配检测；准确性是指评估该数据是否能反映业务的内容，可以对数据的某些字段的总和检测、平均值检测、最大最小值检测是否与业务状况相同；有效性是指评估该数据是否符合规则，如日期字段的数据是否符合统一的日期格式，金额的字段数值范围是否合理，身份证字段数据是否合规等等；时效性是指评估数据是反映哪个时间段的，在实际业务中，可以对数据的更新频率和时间差做检测，或者设置关键任务的超时告警来监控。
54.步骤s105：根据所述质量评估的结果，生成质量报告。
55.通过生成质量报告可以对异构源端数据的数据质量进行记录，方便在后续使用中及时查看数据信息，同时，方便技术人员根据数据的质量进行进一步的调整。
56.综上所述，本实施例可以采用高效、广泛兼容的方法采集数据，扩大分析的适配性，全面分析异构源端数据，通过数据适配兼容各种异构数据，并且快速贯标通用的数据规格，为数据管理增速，解决数据质量问题，采用用报告的方式也可以直观反映数据的质量情况。增加能够分析的数据类型，同时可以提高数据处理的效率。
57.在本技术实施例中，上述图1所述的步骤存在多种可能的实现方式，下面分别进行
介绍。需要说明的是，下文介绍中给出的实现方式仅作为示例性的说明，并不代表本技术实施例的全部实现方式。
58.参见图2，该图为本实施例提供的数据管理方法的另一种方法流程图。
59.步骤s201：获取异构源端数据。
60.异构源端数据是一种多源端异构数据，其中，多源端指多个数据持有方，异构指数据的类型、特征等不一致。具体的，多个数据持有方包括多个企业；异构数据是因为获取的数据包括企业的基本信息和用电数据，而企业的基本信息及用电数据包括企业的财务、生产、物流信息以及企业的用电量、电费记录，不同的数据对应的类型、特征大多是不同的，因此会出现类型、特征等不一致的情况。
61.步骤s202：对所述异构源端数据进行数据适配，得到第一数据。
62.数据适配可以通过数据适配器进行数据适配，数据适配器的主要用途是在数据源和数据集之间进行数据通信，在数据源和数据集之间交换数据。在许多应用程序中，这意味着从数据库将数据读入数据集，然后从数据集将已更改数据写回数据库。通过配置适配器，可以将各类数据更改为可以分析的数据类型。
63.步骤s203：对所述第一数据进行贯标，得到第二数据。
64.贯标是指贯彻标准，即将第一数据改变为统一数据标准下的数据格式，通过贯标处理可以使得数据规格符合标准。
65.步骤s204：对所述第二数据进行质量评估。
66.质量评估主要是针对第二数据的完整性，唯一性，一致性，准确性，有效性，时效性六个方面。
67.其中，完整性是指评估数据的每一项是否都被记录，不存在缺失；唯一性也称为独特性，是指评估数据是否存在重复，每条数据是否是唯一的；一致性是指评估数据在处理前后是否一致，可以通过源表数据量与目标表的数据量检测，也可以通过具体字段匹配检测；准确性是指评估该数据是否能反映业务的内容，可以对数据的某些字段的总和检测、平均值检测、最大最小值检测是否与业务状况相同；有效性是指评估该数据是否符合规则，如日期字段的数据是否符合统一的日期格式，金额的字段数值范围是否合理，身份证字段数据是否合规等等；时效性是指评估数据是反映哪个时间段的，在实际业务中，可以对数据的更新频率和时间差做检测，或者设置关键任务的超时告警来监控。
68.步骤s205：判断所述质量评估的结果是否符合标准。
69.可以预先设定一定标准来评判质量评估的结果，例如，第二数据具备完整性，唯一性，一致性，准确性，有效性，时效性六个方面中的五个，即可认为质量评估的结果符合标准。若是，进入步骤s206；若否，进入步骤s208。
70.步骤s206：若是，将所述第二数据写入数据库。
71.若质量评估的结果符合标准，将第二数据保存两份，一份存入临时数据库，一份存入正式数据库，临时数据库可以为7天/1月/3月的备存数据库。将第二数据写入数据库，可以为其他业务提供业务支撑，方便进行金融业务的分析，帮助进行企业进行金融授信以及金融出资，解决中小企业供应链上融资难的问题。
72.步骤s207：对所述第二数据进行金融业务分析。
73.作为一种可能的实施方式，对所述第二数据进行金融业务分析可以包括金融客户
画像、金融产品推荐、出资核算等。金融客户画像包括基础企业画像、金融产品交易画像、客户产品喜好画像、客户风险画像、客户供应链画像等；金融产品推荐包括金融产品搜索、金融产品分析比较、金融产品评论；出资核算包括交易显示和交易查询，所述交易显示用于显示所述企业与资金方之间的交易流程，所述交易查询用于查询金融服务交易数据。
74.具体的，所述基础企业画像用于提供金融客户的基础画像信息，所述金融产品交易画像用于提供金融客户的交易画像信息，所述客户产品喜好画像用于提供客户对金融产品喜好画像信息，所述客户风险画像用于提供客户金融风险信息，所述客户供应链画像用于展现客户相关的产业供应链画像信息。所述金融产品搜索用于供用户查找各类金融产品信息，所述金融产品分析比较用于供用户根据各类金融产品信息分析比较各类金融产品，所述金融产品评论用于输入和展示各类金融产品的评论信息。
75.步骤s208：退回所述异构源端数据。
76.若质量评估的结果不符合标准，需要将异构源端数据退回所属企业，企业收到退回的数据后，可以对数据进行调整后重新上传。这样在数据质量评估的途中可以及时退回数据，重新执行，避免海量数据入仓的时间消耗，造成工作成本及存储成本增高，增加修正速度，解决数据质量的问题。
77.步骤s209：根据所述质量评估的结果，生成质量报告。
78.通过生成质量报告可以对异构源端数据的数据质量进行记录，方便在后续使用中及时查看数据信息，同时，方便技术人员根据数据的质量进行进一步的调整。
79.综上所述，本实施例可以采用高效、广泛兼容的方法采集数据，通过数据适配兼容各种异构数据，并且快速贯标通用的数据规格，为数据管理增速，解决数据质量问题，发现数据不合格及时退回，可以避免海量数据入仓时间消耗，造成工作成本和存储成本高，可以用报告直观发现数据的质量情况。同时便于进行金融分析，产生额外的金融价值。
80.以上为本技术实施例提供数据管理方法的一些具体实现方式，基于此，本技术还提供了对应的装置。下面将从功能模块化的角度对本技术实施例提供的装置进行介绍。
81.参见图3所示的数据管理装置300的结构示意图，该装置300包括获取模块301、适配模块302、贯标模块303、质量评估模块304和报告生成模块305。
82.获取模块，用于获取异构源端数据；所述异构源端数据包括企业的基本信息及用电数据；
83.适配模块，用于对所述异构源端数据进行数据适配，得到第一数据；
84.贯标模块，用于对所述第一数据进行贯标，得到第二数据；
85.质量评估模块，用于对所述第二数据进行质量评估；
86.报告生成模块，用于根据所述质量评估的结果，生成质量报告。
87.判断模块，用于判断所述质量评估的结果是否符合标准；
88.退回模块，用于若否，退回所述异构源端数据。
89.入库模块，用于若是，将所述第二数据写入数据库；
90.分析模块，用于对所述第二数据进行金融业务分析。
91.所述数据库包括临时数据库和正式数据库。
92.所述企业的基本信息及用电数据包括企业的财务、生产、物流信息以及企业的用电量、电费记录。
93.本技术实施例还提供了对应的设备以及计算机存储介质，用于实现本技术实施例提供的方案。
94.其中，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行本技术任一实施例所述的提升首屏性能的方法。
95.在实际应用中，所述计算机存储介质可以采用一个或多个计算机的介质的任意组合。计算机介质可以是计算机信号介质或者计算机存储介质。计算机存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
96.计算机的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机的信号介质还可以是计算机存储介质以外的任何计算机介质，该计算机介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
97.计算机介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
98.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
99.本发明提供的一种数据管理方法可用于金融领域或其他领域，例如，可用于金融领域中的app支付验证的应用场景。其他领域为除金融领域之外的任意领域，例如，数据处理领域。上述仅为示例，并不对本发明提供的发明名称的应用领域进行限定。
100.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
101.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部
分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
102.以上所述，仅为本技术的一种具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。