一种数据获取与处理的方法以及装置与流程

1.本技术涉及数据处理技术领域，更具体地说，涉及一种数据获取与处理的方法以及装置。


背景技术：

2.随着计算机的发展与普及，人们利用计算机来处理各种各样的数据，这不仅使得获取数据更加迅速，而且数据处理更加准确。在不同的领域中，众多不同角色的用户对于获取数据的需求也不相同。如：在基金行业的日常运行中，管理者需要获取不同基金的日常运营数据，业务人员需要对特定的数据做初步的筛查，运维人员则需要获取平台运行的异常信息等等。
3.由于数据繁多、数据处理方式等需求不同时，往往需要针对这些不同的数据处理需求，分别开发出一套用于数据处理的程序。在此基础上，针对不同的数据处理需求，需要利用针对该数据处理需求开发的程序获取并处理数据，由于程序开发较为复杂，且开发量大，使得数据处理的复杂度较高。


技术实现要素：

4.有鉴于此，本技术提供了一种数据获取与处理的方法以及装置，能够在处理不同业务的数据需求时，减少程序的开发量，降低数据处理的复杂度。
5.为了实现上述目的，现提出的方案如下：
6.一方面，本技术提供了一种数据获取与处理的方法，包括：
7.获取用于表征数据读取需求的配置信息，所述配置信息包括：待访问的目标数据库的网络地址、所述目标数据库中待处理的目标数据的存储位置信息以及数据接收方的数据接收地址；
8.依据所述目标数据库的网络地址和所述目标数据的存储位置信息，从所述目标数据库中获取目标数据；
9.基于所述数据接收方的数据接收地址，向所述数据接收方发送所述目标数据。
10.优选地，所述配置信息还包括：处理目标数据的数据筛选条件；
11.所述基于所述数据接收方的数据接收地址，向所述数据接收方发送所述目标数据，包括：
12.从所述目标数据中，筛选出符合所述数据筛选条件的有效数据；
13.基于所述数据接收方的数据接收地址，向所述数据接收方发送所述有效数据。
14.优选地，在所述依据所述目标数据库的网络地址和所述目标数据的存储位置信息，从所述目标数据库中获取目标数据之后，还包括：
15.若所述目标数据中不存在符合所述数据筛选条件的有效数据，则返回执行所述获取用于表征数据读取需求的配置信息，以获得最新的配置信息。
16.优选地，所述配置信息还包括：所述数据接收方适合数据接收的格式模板；
17.在所述从所述目标数据中，筛选出符合所述数据筛选条件的有效数据之后，还包括：
18.将所述有效数据处理为符合所述格式模板中规定的格式的规范后数据；
19.将所述规范后数据存储到数据发送队列中；
20.所述向所述数据接收方发送所述有效数据，包括：
21.从所述数据发送队列中获取所述规范后数据；
22.向所述数据接收方发送所述规范后数据。
23.优选地，所述配置信息还包括：周期性时间触发条件；
24.所述依据所述目标数据库的网络地址和所述目标数据的存储位置信息，从所述目标数据库中获取目标数据，包括：
25.若当前时间到达所述周期性时间触发条件中的设定时间，依据所述目标数据库的网络地址和所述目标数据的存储位置信息，从所述目标数据库中获取目标数据。
26.优选地，所述配置信息还包括：数据推送方式；
27.所述基于所述数据接收方的数据接收地址，向所述数据接收方发送所述目标数据，包括：
28.基于所述接收方的数据接收地址和所述数据推送方式，向所述数据接收方发送所述目标数据。
29.又一方面，本技术还提供了一种数据获取与处理的装置，包括：
30.配置信息获取单元，用于获取用于表征数据读取需求的配置信息，所述配置信息包括：待访问的目标数据库的网络地址、所述目标数据库中待处理的目标数据的存储位置信息以及数据接收方的数据接收地址；
31.目标数据获取单元，用于依据所述目标数据库的网络地址和所述目标数据的存储位置信息，从所述目标数据库中获取目标数据；
32.目标数据发送单元，用于基于所述数据接收方的数据接收地址，向所述数据接收方发送所述目标数据。
33.优选地，所述配置信息获取单元获取的配置信息还包括：处理目标数据的数据筛选条件；
34.所述目标数据发送单元包括：
35.有效数据筛选单元，用于从所述目标数据中，筛选出符合所述数据筛选条件的有效数据；
36.有效数据发送单元，用于基于所述数据接收方的数据接收地址，向所述数据接收方发送所述有效数据。
37.优选地，所述配置信息获取单元获取的配置信息还包括：所述数据接收方适合数据接收的格式模板；
38.所述装置还包括：
39.数据格式规范单元，用于在所述有效数据筛选单元从所述目标数据中，筛选出符合所述数据筛选条件的有效数据之后，将所述有效数据处理为符合所述格式模板中规定的格式的规范后数据；
40.数据存储单元，用于将所述规范后数据存储到数据发送队列中；
41.所述有效数据发送单元包括：
42.规范后数据获取单元，用于从所述数据发送队列中获取所述规范后数据；
43.规范后数据发送单元，用于向所述数据接收方发送所述规范后数据。
44.优选地，所述配置信息获取单元获取的配置信息还包括：周期性时间触发条件；
45.所述目标数据获取单元包括：
46.目标数据获取子单元，用于若当前时间到达所述周期性时间触发条件中的设定时间，依据所述目标数据库的网络地址和所述目标数据的存储位置信息，从所述目标数据库中获取目标数据。
47.本技术中，在执行数据读取处理之前，会先获得用于表征数据读取需求的配置信息。在此基础上，基于配置信息中配置的目标数据库的网络地址以及目标数据库中待处理的目标数据的存储位置信息，便可以获得目标数据并发送给配置信息中的数据接收方，从而实现了基于配置信息完成相应数据读取需求的数据处理。基于此可知，针对不同的数据读取需求只需要配置不同的配置信息，便可以通过本技术完成相应的数据读取与处理，从而无需针对每种数据需求的业务均开发一套数据处理的程序，减少了由于开发不同业务的处理程序而导致的数据处理复杂度高的情况，自然也就减少了数据处理所需的程序开发量，提高了数据处理的便捷性。
附图说明
48.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
49.图1为本技术实施例提供的一种数据获取与处理的方法的一种流程示意图；
50.图2为本技术实施例提供的一种数据获取与处理的方法的另一种流程示意图；
51.图3为本技术实施例提供的一种数据获取与处理的装置的一种结构示意图。
具体实施方式
52.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.下面对本技术实施例提供的一种数据获取与处理的方法进行介绍。
54.如图1，示出了本技术实施例提供的数据获取与处理的方法的一种流程示意图，本技术可以应用于需要进行数据处理的计算机设备，对此不加限制。
55.本实施例的方法包括：
56.步骤s100、获取用于表征数据读取需求的配置信息。
57.其中，配置信息是根据数据读取的需求进行设置的，用于表征所需读取的数据的相关信息。
58.由于不同用户获取数据的数据读取需求不同或者针对不同业务所需的数据处理
的需求不同，因此，在进行数据处理之前，需要根据不同数据读取需求配置相应的信息。
59.可以理解的是，数据读取需求至少可以包括所需处理的数据以及接收方等基础信息，基于此，本技术中配置信息至少包括：待访问的目标数据库的网络地址、目标数据库中待处理的目标数据的存储位置信息以及数据接收方的数据接收地址。
60.其中，目标数据库为存储数据处理需求所需处理的数据的数据库，该目标数据库的网络地址用于定位该目标数据库。基于目标数据库的网络地址以及目标数据库中待处理的目标数据的存储位置信息定位到所需的目标数据。
61.其中，数据接收方的数据接收地址为需要获取该数据的个人或者单位等，对此不加限制。
62.在实际应用中，针对不同的应用场景，数据读取需求还可以包括数据筛选与处理的相关需求等，在此基础上，根据实际需要，在配置信息中还可以配置对于数据处理的处理规则。
63.如：配置信息中还可以包括数据发现途径、数据获取方式、数据筛选条件、数据推送方式等等信息，以满足不同数据处理需求。在本技术中，配置信息的具体设置方式有多种可能，对此不加限制。
64.其中，获取配置信息有多种可能的方式。
65.如，在用户配置了配置信息之后，可以通过特定输入操作输入数据处理指令，在此基础上，响应于该数据处理程序，可以获得用户配置的配置信息，并执行后续处理。
66.又如，考虑到同一种业务可能涉及到多次数据读取等处理，因此，在用户配置了配置信息之后，可以在该计算机设备中或者指定的存储设备中存储配置信息。在此基础上，在满足业务的数据读取条件时，可以由业务的业务程序输入数据处理指示，或者是由用户输入数据处理指示，该数据处理指示中指示有配置信息的存储位置，从而使得计算机设备获得该配置信息。
67.又如，还可以是预先配置不同业务与配置信息的对应关系，在确定出需要请求数据的业务时，根据该对应关系，获得满足该业务的数据读取需求的配置信息。
68.当然，以上仅仅是以几种可能情况为例说明，在实际应用中还可以有其他获取配置信息的可能方式，对此不加限制。
69.步骤s110、依据目标数据库的网络地址和目标数据的存储位置信息，从目标数据库中获取目标数据。
70.如，基于目标数据库的网络地址，与目标数据库建立连接后，可以基于目标数据的存储位置，生成目标数据的读取请求并发送给目标数据库，该读取请求携带有该目标数据的存储位置。在此基础上，本技术可以获得目标数据库返回的该目标数据。
71.此处仅仅是举例说明，对于基于目标数据的存储位置信息从目标数据库获取目标数据的具体实现还可以有多种可能，本技术对此不加限制。
72.在一种可能的实现方式中，考虑到不同业务等可能会需要周期性获取数据，因此，配置信息中还可以包括周期性时间触发条件。该周期性时间触发条件为预先设定的用于触发周期性读取数据的触发条件，因此，基于该周期性触发条件可以判断当前时间是否到达需要获取数据的设定时间。若当前时间到达设定时间，则执行本步骤的数据获取操作。
73.如：周期性时间触发条件设置为：每天上午十点钟时触发数据读取。那么每天到达
上午十点钟时，则触发执行该步骤s110的操作。
74.当然，周期性时间触发条件可以根据实际需要设定，具体条件有多种可能。如：计划任务(cron)表达式的形式来设定周期性触发数据处理的时间。在此基础上，若当前时间达到该计划任务表达式中设定的时间，则触发执行获取目标数据的步骤。
75.其中，若当前时间到达设置的周期性时间触发条件中的设定时间，则基于获取的配置信息中的标数据库的网络地址和目标数据的存储位置信息，可以查找到目标数据所在的位置，从而获取目标数据。
76.步骤s120、基于数据接收方的数据接收地址，向数据接收方发送目标数据。
77.其中，可以基于配置信息中的数据接收方的数据接收地址，将目标数据发送给对应的接收方。
78.本技术实际上是开发了一套通用的数据处理程序，并在计算机设备中运行该数据处理程序。通过该数据处理程序可以基于不同的配置信息执行不同的数据的获取与处理。
79.具体的，在该套通用的数据处理程序获取到的配置信息不同时，该程序访问的数据库以及所读取到的数据不同，而且最终将目标数据传输给的数据接收方也会不同。基于此，针对不同的数据读取需求，只需要配置相应的配置信息便可以通过该通用的数据处理程序完成相应数据处理，以满足不同的数据读取需求的数据处理。对于开发人员来说，相对针对不同业务开发不同的数据读取程序，开发一套通用的数据处理程序的开发量相对较小。
80.由以上内容可知，本技术实施例中，在执行数据读取处理之前，会先获得用于表征数据读取需求的配置信息。在此基础上，基于配置信息中配置的目标数据库的网络地址以及目标数据库中待处理的目标数据的存储位置信息，便可以获得目标数据并发送给配置信息中的数据接收方，从而实现了基于配置信息完成相应数据读取需求的数据处理。基于此可知，针对不同的数据读取需求只需要配置不同的配置信息，便可以通过本技术完成相应的数据读取与处理，从而无需针对每种数据需求的业务均开发一套数据处理的程序，减少了由于开发不同业务的处理程序而导致的数据处理复杂度高的情况，自然也就减少了数据处理所需的程序开发量，提高了数据处理的便捷性。
81.可以理解的是，以上实施例是以直接将目标数据发送给数据接收方为例说明。
82.在实际应用中，对于不同的业务或者不同的应用场景，还可能涉及到对获得的目标数据进行一些其他处理。
83.如，可能需要基于特定的条件，对目标数据进行筛选，以筛选满足条件的数据并作为最终数据发送给接收方。
84.以一种可能的实现方式为例，在配置信息还可以包括：处理目标数据的数据筛选条件。基于此，在获得目标数据之后，还可以从目标数据中，筛选出符合该数据筛选条件的有效数据。
85.其中，数据筛选条件的具体形式可以有多种可能。如，在本技术中，可以利用正则表达式来设置数据筛选条件。正则表达式是对字符串操作的一种逻辑公式，利用事先定义好的一些特定字符以及这些字符的组合，组成一个“规则字符串”，这个“规则字符串”即可用来筛选出有效数据。
86.当然，利用数据筛选条件筛选目标数据时，也可能出现目标数据中不存在符合数
据筛选条件的有效数据的情况，这说明基于配置信息未找到符合用户需求的数据。在此情况下，可能需要用户修改配置信息。在此基础上，本技术可以生成空数据提醒并显示，还可以将空数据提醒返回给数据接收方，该空数据提醒用于提示不存在满足数据筛选条件的数据，以便用户可以重新设置配置信息等。当然，即使输出空数据提醒，用户也可以根据需要定期或者不定期修改配置信息。
87.其中，当利用数据筛选条件未筛选到符合数据筛选条件的有效数据时，则返回则执行获取用于表征数据读取需求的配置信息的步骤，以便可以获得用户最新设置的配置信息，进而根据配置信息进行数据处理。
88.其中，在获得有效信息之后，可以基于配置信息中的数据接收方的数据接收地址，向数据接收方发送有效信息，以使数据接收方接收到自己需要求的数据。
89.在实际应用中，配置信息除了前面提到的几种信息之外，还可以包括用于限定传输数据的推送方式或者其他相关信息。
90.下面以本技术实施例中数据获取与处理的方法的又一种实现方式为例进行说明。如图2，其示出了本技术中数据获取与处理的方法的又一种流程示意图，该流程包括如下步骤：
91.步骤s200、获取用于表征数据读取需求的配置信息。
92.其中，配置信息中可以包含周期性时间触发条件、处理目标数据的数据筛选条件、数据接收的格式模板、数据接收方的数据接收地址和数据推送方式。
93.具体地，周期性时间触发条件用于判断当前时间是否到达设定的周期性时间，若当前时间到达设定的周期性时间时，执行相应的操作步骤。处理目标数据的数据筛选条件用于筛选出符合接受方需求的数据。数据接收的格式模板用于规范数据的格式，使数据成为符合数据接收方接收需求的数据。数据接收方的数据接收地址和数据推送方式用于向接收方发送数据，由于接收方不同，接收方接收数据的方式也不相同，因此可以根据实际需求设定相应的配置信息。
94.其中，关于步骤s200中获取配置信息与前述实施例步骤s100相对应，详细参照前述介绍，此处不再赘述。
95.步骤s210、若当前时间到达周期性时间触发条件中的设定时间，依据配置信息中的目标数据库的网络地址和目标数据的存储位置信息，从目标数据库中获取目标数据。
96.步骤s220、基于配置信息中的处理目标数据的数据筛选条件，从目标数据中，筛选出符合该数据筛选条件的有效数据。
97.其中，关于周期性时间触发条件和处理目标数据的数据筛选条件已经在前述作出详细介绍，此处不再赘述。同时，步骤s210-220与前述实施例步骤s110-120类似，详细参照前述介绍，此处不再赘述。
98.步骤s230、基于配置信息中的数据接收的格式模板，将有效数据处理为符合该格式模板中规定的格式的规范后数据。
99.其中，为了使得接收方接收的数据更具有条理性，便于接收方使用，因此，配置信息中还可以包括数据接收的格式模板。根据该数据接收的格式模板，将筛选出的有效数据处理为符合该格式模板中规定的格式的规范后数据。
100.其中，为了避免数据在发送过程中出现错误，保证数据的安全性，因此可以将该规
范后数据存储到数据发送队列中，这样，当发送的数据出现问题时，可以从数据发送队列中再次调用数据进行发送，而不必再次获取数据。
101.步骤s240、基于配置信息中的数据接收方的数据接收地址和数据推送方式，向数据接收方发送该规范后数据。
102.在本实施例中，配置信息中还可以包括数据推送方式。由于用户或者业务的需求不同，数据推送方式有多种可能，如：数据推送方式可以为邮件形式、弹窗消息等。
103.进一步，由于用户较为繁忙，有些数据推送会被用户忽略，因此，用户可能需要设定多种数据推送方式。在此基础上，本技术可以分别采用多种数据推送方式向数据接收方发送规范后的数据。在本技术中，对于数据推送方式不加限制。
104.需要说明的是，本实施例是以获得目标数据之后，对目标数据进行筛选以及基于格式模板进行规范处理为例说明。在实际应用中，如果配置信息中未设置数据筛选条件和格式模板，而仅仅设置了数据推送方式，那么可以按照数据推送方式向数据接收方发送该目标数据，在此不再赘述。
105.其中，向接收方发送该规范后数据时，若预先将该规范后数据存储到数据发送对队列中，则需要从数据发送队列中获取该规范后数据，基于此，根据设置的数据推送方式以及数据接收方的数据接收地址，向接收方发送该规范后数据。
106.本技术中，通过配置信息中的目标数据库的网络地址和目标数据的存储位置信息，从目标数据库中获取目标数据，基于此，利用配置信息中的处理目标数据的数据筛选条件、数据接收的格式模板，对目标数据进行筛选和格式处理，得到规范后的数据，之后根据配置信息中的数据接收方的数据接收地址和数据推送方式，向数据接收方发送该规范后数据。该方法对向接受方发送的数据进行了筛选以及格式处理，使得数据接收方接收到的数据更符合接收方的需求，便于接收方查看与使用数据。
107.下面对本技术实施例提供的数据获取与处理的装置进行介绍，下文描述的数据获取与处理的装置与上文描述的数据获取与处理的方法可相互对应参照。
108.如图3，对本技术中的数据获取与处理的装置进行介绍，如图3所示，该数据获取与处理的装置可以包括：
109.配置信息获取单元300，用于获取用于表征数据读取需求的配置信息，配置信息包括：待访问的目标数据库的网络地址、目标数据库中待处理的目标数据的存储位置信息以及数据接收方的数据接收地址；
110.目标数据获取单元310，用于依据目标数据库的网络地址和目标数据的存储位置信息，从目标数据库中获取目标数据；
111.目标数据发送单元320，用于基于数据接收方的数据接收地址，向数据接收方发送目标数据。
112.可选的，该配置信息获取单元获取到的配置信息中还包括：处理目标数据的数据筛选条件；
113.目标数据发送单元包括：
114.有效数据筛选单元，用于从目标数据中，筛选出符合数据筛选条件的有效数据；
115.有效数据发送单元，用于基于数据接收方的数据接收地址，向数据接收方发送有效数据。
116.可选的，本技术的数据获取与处理装置还包括：
117.返回配置信息单元，用于在目标数据获取单元依据目标数据库的网络地址和目标数据的存储位置信息，从目标数据库中获取目标数据之后，若目标数据中不存在符合数据筛选条件的有效数据，则返回执行获取用于表征数据读取需求的配置信息，以获得最新的配置信息。
118.可选的，该配置信息获取单元获取到的配置信息中还包括：数据接收方适合数据接收的格式模板；
119.在此基础上，本技术的数据获取与处理的装置还包括：
120.数据格式规范单元，用于在有效数据筛选单元从目标数据中，筛选出符合数据筛选条件的有效数据之后，将有效数据处理为符合格式模板中规定的格式的规范后数据；
121.数据存储单元，用于将规范后数据存储到数据发送队列中；
122.有效数据发送单元包括：
123.规范后数据获取单元，用于从数据发送队列中获取规范后数据；
124.规范后数据发送单元，用于向数据接收方发送规范后数据。
125.可选的，该配置信息获取单元获取到的配置信息中还包括：周期性时间触发条件；
126.目标数据获取单元包括：
127.目标数据获取子单元，用于若当前时间到达周期性时间触发条件中的设定时间，依据目标数据库的网络地址和目标数据的存储位置信息，从目标数据库中获取目标数据。
128.可选的，该配置信息获取单元获取到的配置信息中还包括：数据推送方式；
129.目标数据发送单元包括：
130.目标数据发送子单元，用于基于接收方的数据接收地址和数据推送方式，向数据接收方发送目标数据。
131.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
132.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
133.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。