一种实现多种数据源联合查询的方法及系统与流程

1.本发明涉及互联网领域，尤其涉及一种实现多种数据源联合查询的方法及系统。


背景技术：

2.互联网，又称国际网络，指的是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一巨大国际网络。
3.随着互联网的高速发展，使得数据量爆发式增长的同时，数据结构化存储的形式也开始呈现出多样性，数据库选择有mysql，oracle，sqlserver等，随之而产生的多种数据源联合查询需求也越来越多。
4.相关技术中，一般采用同一服务中配置多数据源，然后使用单线程分别查出每个数据源的数据进行组合拼装，虽然能够较好的完成数据源查询操作，但是，这类方式仍有不足，如随着信息化技术的发展，业务的需求变得更加复杂，需要处理的数据类型，数据来源也变得更加多样化，单系统中多数据源方式数据查询方法应用起来更加复杂，代码的可读性，维护性也变得更差，且单线程的情况下当查询的数据量特别大时易造成过长时间的等待。
5.因此，有必要提供一种实现多种数据源联合查询的方法及系统解决上述技术问题。


技术实现要素：

6.本发明提供一种实现多种数据源联合查询的方法及系统，解决了现有的的数据源联合查询的方法维护性差、等待时间过长的问题。
7.为解决上述技术问题，本发明提供的实现多种数据源联合查询的方法，包括以下操作步骤：
8.s1、在进行第一批次查询前，需要配置各个数据源的第一批次查询参数，然后向各个数据源发送对应的第一批次查询请求，第一批次查询请求携带对应查询参数，每个数据源接收到对应的第一批次查询请求之后，根据第一批次查询请求携带的查询参数和批次查询参数进行数据查询，获得第一批次查询结果，从而完成第一批次查询；
9.s2、查询服务器接收每个数据源返回的第一批次查询结果后，再设置下次请求标记位和批次号，然后向每个数据源发送对应批次查询请求，当前批次查询请求包括当批次查询参数，每个数据源接收到对应的当前批次查询请求之后，会根据当前批次查询请求包括的当前批次查询参数进行数据查询，获得当前批次查询结果，然后将当前批次查询结果返回给查询服务器，从而完成一次当前批次查询；
10.s3、查询服务器会接收每个数据源返回的当前批次查询结果，重新配置每个数据源的当前批次查询标记位和批次号，并重新向每个数据源发送对应的当前批次查询请求，使每个数据源继续进行查询，查询服务器会重复上述当前批次查询过程，直到每个数据源的全部数据都完成查询；
11.s4、在各个数据源都完成查询之后，查询结束，对各个批次查询结果进行封装，然后将查询结果返回给客户端，若结果无需封装，将各个批次查询结果按照接收到的先后顺序，依次返回给客户端。
12.优选的，所述s1-s4中具体执行查询操作的步骤为：
13.a、根据数据查询请求对应的查询方式批次号和标志位获得查询方式；
14.b、若获知查询方式为首次查询，则设置查询索引位置为初始位置、设置批次联合查询数据量为预设值、并设置当前数据源查询批次号；
15.c、将查询方式标志位、初始位置、预设值作为当前查询批次号对应的批次查询参数；
16.d、重复上述查询，直到所有批次号和标记位查询请求完成，将结果分批或聚合返回给客户端。
17.优选的，所述步骤a中，具体为对于首次接收到的数据查询请求，查询服务器会将数据查询请求对应的查询方式标志位设置为第一预设值，第一预设值表示查询方式为首次查询。
18.优选的，所述步骤b中，具体为查询服务器在获得查询方式之后，如果获知查询方式为首次查询，那么设置查询索引位置为初始位置，设置批次联合查询数据量为预设值，并设置首次查询批次号。
19.优选的，所述步骤c中，具体为查询服务器在设置完成查询索引位置为初始位置、批次联合查询数据量为预设值和当前查询批次号之后，将查询方式标志位、初始位置、预设值作为当前查询批次号对应的批次查询参数。
20.优选的，所述步骤d中，具体为查询服务器将第一批次查询参数发送给各个数据源，对于每个数据源，数据源会根据查询方式标志位确定查询方式为首次查询，那么清空缓存的上一批次查询参数，并设置查询索引位置为初始位置，从初始位置开始进行数据查询。
21.优选的，所述s2中在预设批次号和标记位时，将查询方式标志位、初始位置、预设值作为当前查询批次号对应的批次查询参数方法。
22.一种实现多种数据源联合查询方法的系统，包括查询服务器和若干个客户端，所述查询服务器包括用于接收所述客户端发送查询请求的请求接收单元、用于获取请求查询批次号的查询方式获取单元、用于配置查询请求批次号的数据源配置单元以及用于将查询结果返回给所述客户端的查询结构返回单元，所述请求接收单元与所述查询方式获取单元连接，所述查询方式获取单元与所述数据源配置单元连接，所述数据源配置单元与所述查询结构返回单元连接。
23.优选的，所述客户端包括用于登录用户已注册账号的账户登录单元、用于输入需要查询数据源的数据源输入单元以及向所述查询服务器发送查询请求的查询请求单元。
24.优选的，所述查询服务器还包括用于对所述客户端发送的查询请求数据源进行安全识别的请求安全识别单元，所述请求安全识别单元分别与所述请求接收单元以及查询方式获取单元连接。
25.与相关技术相比较，本发明提供的实现多种数据源联合查询的方法及系统具有如下有益效果：
26.本发明提供一种实现多种数据源联合查询的方法及系统，该方法能够接收客户端
发送的数据查询请求，配置各个数据源的批次查询参数，并向各个数据源发送对应的批次查询请求和接收各个数据源返回的批次查询结果直到查询结束，将各个批次查询结果返回给客户端，通过采用多线程预设标志位和批次号分批次查询，保障了查询结果的准确性，使得等待时间大大缩短，进一步提高了查询效率，为用户提供良好的使用体验，同时，在实际应用时更加简单，更好的满足人们的使用需求。
附图说明
27.图1为本发明提供的实现多种数据源联合查询的方法的流程图；
28.图2为本发明提供的实现多种数据源联合查询的方法执行查询操作时的流程图；
29.图3为本发明提供的实现多种数据源联合查询系统的结构示意图；
30.图4为本发明提供的实现多种数据源联合查询系统第二实施例的结构示意图。
具体实施方式
31.下面结合附图和实施方式对本发明作进一步说明。
32.第一实施例
33.请结合参阅图1、图2和图3，其中，图1为本发明提供的实现多种数据源联合查询的方法的流程图；图2为本发明提供的实现多种数据源联合查询的方法执行查询操作时的流程图。实现多种数据源联合查询的方法，包括以下操作步骤：
34.s1、在进行第一批次查询前，需要配置各个数据源的第一批次查询参数，然后向各个数据源发送对应的第一批次查询请求，第一批次查询请求携带对应查询参数，每个数据源接收到对应的第一批次查询请求之后，根据第一批次查询请求携带的查询参数和批次查询参数进行数据查询，获得第一批次查询结果，从而完成第一批次查询；
35.s2、查询服务器接收每个数据源返回的第一批次查询结果后，再设置下次请求标记位和批次号，然后向每个数据源发送对应批次查询请求，当前批次查询请求包括当批次查询参数，每个数据源接收到对应的当前批次查询请求之后，会根据当前批次查询请求包括的当前批次查询参数进行数据查询，获得当前批次查询结果，然后将当前批次查询结果返回给查询服务器，从而完成一次当前批次查询；
36.在预设批次号和标记位时，将查询方式标志位、初始位置、预设值作为当前查询批次号对应的批次查询参数方法，可保障查询数据的准确性，同时以参数的方式进行传递，便于复杂联合查询需求的弹性扩展；
37.s3、查询服务器会接收每个数据源返回的当前批次查询结果，重新配置每个数据源的当前批次查询标记位和批次号，并重新向每个数据源发送对应的当前批次查询请求，使每个数据源继续进行查询，查询服务器会重复上述当前批次查询过程，直到每个数据源的全部数据都完成查询；
38.s4、在各个数据源都完成查询之后，查询结束，对各个批次查询结果进行封装，然后将查询结果返回给客户端，若结果无需封装，也可以将各个批次查询结果按照接收到的先后顺序，依次返回给客户端。
39.具体的封装操作，可根据实际需要进行设置，本发明实施例不做限定，当分批次返回查询结果给客户端时，能够提高数据的传输效率并缩短了对数据查询请求的响应时间。
40.所述s1-s4中具体执行查询操作的步骤为：
41.a、根据数据查询请求对应的查询方式批次号和标志位获得查询方式；
42.具体为，对于首次接收到的数据查询请求，查询服务器会将数据查询请求对应的查询方式标志位设置为第一预设值，第一预设值表示查询方式为首次查询。查询服务器根据数据查询请求对应的查询方式标志位获得查询方式。其中，第一预设值根据实际需要进行设置；
43.b、若获知查询方式为首次查询，则设置查询索引位置为初始位置、设置批次联合查询数据量为预设值、并设置当前数据源查询批次号；
44.具体为，具体为查询服务器在获得查询方式之后，如果获知查询方式为首次查询，那么可以设置查询索引位置为初始位置，设置批次联合查询数据量为预设值，并设置首次查询批次号；其中，初始位置是数据源的查询数据的起始索引位置，可以设置为1，批次联合查询数据量限定了批次查询结果中返回的查询命中数据的最大个数，即返回的批次查询结果中包括的数据个数不能超过预设值，当前查询批次号与批次查询请求一一对应，首次查询的查询批次号也可以称为第一查询批次号，当前查询批次号是按照预设的编号规则进行编号的，例如按照数字由小到大的顺序或者按照英文字母的排列顺利，根据实际需要进行设置，预设值根据实际情况进行设置，本发明实施例不做限定；
45.c、将查询方式标志位、初始位置、预设值作为当前查询批次号对应的批次查询参数；
46.具体为，查询服务器在设置完成查询索引位置为初始位置、批次联合查询数据量为预设值和当前查询批次号之后，可以将查询方式标志位、初始位置、预设值作为当前查询批次号对应的批次查询参数；其中，由于是首次查询，当前查询批次号对应的批次查询参数也可以被称为第一批次查询参数。并且由于是首次查询，各个数据源的第一批次查询参数可以完全相同；
47.d、重复上述查询，直到所有批次号和标记位查询请求完成，将结果分批或聚合返回给客户端。
48.一种实现多种数据源联合查询方法的系统，包括查询服务器和若干个客户端，所述查询服务器包括用于接收所述客户端发送查询请求的请求接收单元、用于获取请求查询批次号的查询方式获取单元、用于配置查询请求批次号的数据源配置单元以及用于将查询结果返回给所述客户端的查询结构返回单元，所述请求接收单元与所述查询方式获取单元连接，所述查询方式获取单元与所述数据源配置单元连接，所述数据源配置单元与所述查询结构返回单元连接。
49.所述客户端包括用于登录用户已注册账号的账户登录单元、用于输入需要查询数据源的数据源输入单元以及向所述查询服务器发送查询请求的查询请求单元。
50.与相关技术相比较，本发明提供的实现多种数据源联合查询的方法及系统具有如下有益效果：
51.该方法能够接收客户端发送的数据查询请求，配置各个数据源的批次查询参数，并向各个数据源发送对应的批次查询请求和接收各个数据源返回的批次查询结果直到查询结束，将各个批次查询结果返回给客户端，通过采用多线程预设标志位和批次号分批次查询，保障了查询结果的准确性，使得等待时间大大缩短，进一步提高了查询效率，为用户
提供良好的使用体验，同时，在实际应用时更加简单，更好的满足人们的使用需求。
52.第二实施例
53.基于本发明的第一实施例一种实现多种数据源联合查询的方法及系统，本发明的第二实施例提供另一种实现多种数据源联合查询的方法及系统，其中，第二实施例并不会妨碍第一实施例的技术方案的独立实施。
54.具体的，本发明的提供另一种实现多种数据源联合查询的方法及系统不同之处在于：
55.所述查询服务器还包括用于对所述客户端发送的查询请求数据源进行安全识别的请求安全识别单元，所述请求安全识别单元分别与所述请求接收单元以及查询方式获取单元连接。
56.请求安全识别单元能够对客户端发送的数据源进行安全识别，判断数据源是否存在安全隐患，同时是否属于正常请求，若为安全且正常的数据源，则继续进行下一步操作，若存在安全隐患，则自动进行解决，若识别为非正常数据源，则直接终止请求操作，增加了查询服务器使用时的安全性。
57.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。