客户名单的同步方法以及装置、处理器与流程

1.本技术涉及金融科技领域，具体而言，涉及一种客户名单的同步方法以及装置、处理器。


背景技术：

2.现有的客户风险名单同步方法的周期较长，在源名单数据库中周期性的导出名单文件，再将名单文件批量同步到风险名单库中，导致银行无法在同一天内获取到当天更新的名单，降低了客户在银行办理业务的效率。并且风险名单库中的名单取决于名单的加载顺序，如果源名单数据库没有按时间顺序导出和同步名单，会直接影响风险名单库中的名单状态，导致银行读取错误的名单信息。另外，基于现有的客户风险名单库中的储存结构进行查询，会导致同一客户的多名单查询会遍历多次客户风险名单数据库，查询效率低。
3.针对相关技术中客户名单同步技术时效性差的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本技术的主要目的在于提供一种客户名单的同步方法以及装置、处理器，以解决相关技术中客户名单同步技术时效性差的问题。
5.为了实现上述目的，根据本技术的一个方面，提供了一种客户名单的同步方法。该方法包括：通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；通过联机队列写入服务，将所述第一目标名单写入联机队列；采用队列消费进程，判断所述第一目标名单的时间戳是否大于目标名单数据库中的时间戳；若所述第一目标名单的时间戳大于目标名单数据库中的时间戳，则将所述联机队列中的第一目标名单同步到所述目标名单数据库。
6.进一步地，在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，所述方法还包括：若所述源名单数据库中客户的增量名单已成功更新，则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置所述增量名单在解除管控缓存库中的有效时间。
7.进一步地，在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，所述方法还包括：采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单，得到第二目标名单；通过批量队列写入进程，将所述第二目标名单写入批量队列；采用队列消费进程，判断所述第二目标名单的时间戳是否大于目标名单数据库中的时间戳；若所述第二目标名单的时间戳大于目标名单数据库中的时间戳，则将所述第二目标名单同步到所述目标名单数据库。
8.进一步地，通过联机队列写入服务，将所述第一目标名单写入联机队列包括：通过将所述第一目标名单中的证件信息映射成固定长度的哈希值；根据所述哈希值的末位数字除以所述联机队列的分区数并取余数，得到第一分区数，其中，所述第一分区数为将所述第
一目标名单写入所述联机队列的分区数；根据所述第一分区数，将所述第一目标名单写入所述联机队列。
9.进一步地，若所述第一目标名单的时间戳大于目标名单数据库中的时间戳，则将所述联机队列中的第一目标名单同步到所述目标名单数据库包括：将所述第一目标名单在所述目标名单数据库中采用键值存储样式进行存储，其中，所述键值存储样式中至少包括关键字和值，其中，所述关键字为客户的证件信息，所述值为整合成json串的各类名单信息。
10.进一步地，在若所述源名单数据库中客户的增量名单已成功更新，则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置所述增量名单在解除管控缓存库中的有效时间之后，所述方法还包括：若接收到待查询名单的查询指令，则在所述解除管控缓存库中查询是否存在所述待查询名单；若所述解除管控缓存库中存在所述待查询名单，且查询时间在所述解除管控缓存库中待查询名单的有效时间内，得到第一查询结果；若所述解除管控缓存库中不存在所述待查询名单，则从所述目标名单数据库中查找，得到第二查询结果。
11.进一步地，通过批量队列写入进程，将所述第二目标名单写入批量队列包括：通过将所述第二目标名单中的证件信息映射成固定长度的哈希值；根据所述哈希值末位数字除以所述批量队列的分区数并取余数，得到第二分区数，其中，所述第二分区数为将所述第二目标名单写入所述批量队列的分区数；根据所述第二分区数，将所述第二目标名单写入所述批量队列。
12.为了实现上述目的，根据本技术的另一方面，提供了一种客户名单的同步装置。该装置包括：第一解析单元，用于通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；第一写入单元，用于通过联机队列写入服务，将所述第一目标名单写入联机队列；第一判断单元，用于采用队列消费进程，判断所述第一目标名单的时间戳是否大于目标名单数据库中的时间戳；第一同步单元，用于若所述第一目标名单的时间戳大于目标名单数据库中的时间戳，则将所述联机队列中的第一目标名单同步到所述目标名单数据库。
13.进一步地，所述装置还包括：设置单元，用于在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，若所述源名单数据库中客户的增量名单已成功更新，则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置所述增量名单在解除管控缓存库中的有效时间。
14.进一步地，所述装置还包括：第二解析单元，用于在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单，得到第二目标名单；第二写入单元，用于通过批量队列写入进程，将所述第二目标名单写入批量队列；第二判断单元，用于采用队列消费进程，判断所述第二目标名单的时间戳是否大于目标名单数据库中的时间戳；第二同步单元，用于若所述第二目标名单的时间戳大于目标名单数据库中的时间戳，则将所述第二目标名单同步到所述目标名单数据库。
15.进一步地，所述第一写入单元包括：映射子单元，用于通过将所述第一目标名单中的证件信息映射成固定长度的哈希值；计算子单元，用于根据所述哈希值的末位数字除以
所述联机队列的分区数并取余数，得到第一分区数，其中，所述第一分区数为将所述第一目标名单写入所述联机队列的分区数；写入子单元，用于根据所述第一分区数，将所述第一目标名单写入所述联机队列。
16.进一步地，所述第一同步单元包括：储存单元，用于将所述第一目标名单在所述目标名单数据库中采用键值存储样式进行存储，其中，所述键值存储样式中至少包括关键字和值，其中，所述关键字为客户的证件信息，所述值为整合成json串的各类名单信息。
17.进一步地，所述设置单元还包括：第一查询单元，用于在若所述源名单数据库中客户的增量名单已成功更新，则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置所述增量名单在解除管控缓存库中的有效时间之后，若接收到待查询名单的查询指令，则在所述解除管控缓存库中查询是否存在所述待查询名单；第二查询单元，用于若所述解除管控缓存库中存在所述待查询名单，且查询时间在所述解除管控缓存库中待查询名单的有效时间内，得到第一查询结果；第三查询单元，用于若所述解除管控缓存库中不存在所述待查询名单，则从所述目标名单数据库中查找，得到第二查询结果。
18.进一步地，所述第二写入单元包括：映射子单元，用于通过批量队列写入进程，将所述第二目标名单写入批量队列，通过将所述第二目标名单中的证件信息映射成固定长度的哈希值；计算子单元，用于根据所述哈希值末位数字除以所述批量队列的分区数并取余数，得到第二分区数，其中，所述第二分区数为将所述第二目标名单写入所述批量队列的分区数；写入子单元，用于根据所述第二分区数，将所述第二目标名单写入所述批量队列。
19.通过本技术，采用以下步骤：通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；通过联机队列写入服务，将所述第一目标名单写入联机队列；采用队列消费进程，判断所述第一目标名单的时间戳是否大于目标名单数据库中的时间戳；若所述第一目标名单的时间戳大于目标名单数据库中的时间戳，则将所述联机队列中的第一目标名单同步到所述目标名单数据库，解决了相关技术中客户名单同步技术时效性差的问题，进而达到了提高客户名单同步的时效性的技术效果。
附图说明
20.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
21.图1是根据本技术实施例提供的客户名单的同步方法的流程图；
22.图2是根据本技术实施例提供的可选的客户名单的同步方法的示意图一；
23.图3是根据本技术实施例提供的可选的客户名单的同步方法的示意图二；
24.图4是根据本技术实施例提供的可选的客户名单的同步方法的示意图三；
25.图5是根据本技术实施例提供的客户名单的同步装置的示意图；
26.图6是根据本技术实施例提供的电子设备的示意图。
具体实施方式
27.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
28.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
29.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.为了便于描述，以下对本技术实施例涉及的部分名词或术语进行说明：
31.分布式消息队列：采用可插拔模式，集成activemq和kafka两个在金融科技领域较为成熟的开源消息中间件产品，并提供自动安装部署、一键运维和消息服务监控等功能，以实现消息服务的平台化和自动化。
32.数据复制组件：实现了主机db2、平台oracle、mysql到开放平台的准实时数据复制能力，实现了主机、平台“双核心”数据库的跨应用数据共享，复制链路包括有db2到oracle复制、db2到kafka复制、oracle到oracle复制、oracle到kafka复制和mysql到kafka复制等。
33.分布式缓存：分布式缓存具有高性能、动态扩展、高可用、易用性四大特性，主要作为数据库的有效补充。分布式缓存有着缓解数据库压力、减少系统响应时间、提升用户体验的优点，并且支持it架构从传统单体式向分布式架构转型，以满足业务高容量、高并发、高增长的访问场景需求。
34.表格存储服务：集成了与hbase相关的多个服务，支持面向海量数据主键读写访问的场景，同时通过消息中间件进行双园区双向数据复制，实现双园区双向高可用能力。在实现资源隔离的基础上，有效提升了集群资源使用率，提高应用间数据共享能力，同时也降低了开发和运维的难度。
35.下面结合优选的实施步骤对本发明进行说明，图1是根据本技术实施例提供的客户名单的同步方法的流程图，如图1所示，该方法包括如下步骤：
36.步骤s101，通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单。
37.例如，当银行柜台发起名单解控操作时，源名单数据库中就会接收到一条增量名单，然后将该消息同步至分布式消息队列并解析该增量名单。解析完成后，得到第一目标名单。
38.在本技术实施例中，当一个或者多个源名单数据库中更新客户名单时，通过数据复制组件将至少一个源名单数据库中的增量名单复制到分布式消息队列中，并且在数据复制组件复制名单的同时解析增量名单，得到第一目标名单。将多个源名单数据库的增量名单进行处理，横向扩展了数据源，提高处理数据的效率，进一步提高了数据处理的效率。
39.步骤s102，通过联机队列写入服务，将第一目标名单写入联机队列。
40.对解析后的增量名单进行处理，其中包括提取出风险明细库所需的明细信息纳入
到风险明细库中，以及通过计算增量名单存放的分区数，将增量名单写入联机队列中。其中同一客户的名单会放在联机队列的固定位置，方便整合同一客户的所有相关名单信息并储存在联机队列的相邻位置。
41.例如，第一目标名单中有张三的3条名单信息和李四的4条名单信息，这7条名单信息分布在第一目标名单的不同位置。通过联机队列写入服务，将张三的3条名单信息放在联机队列中第1到第3条的位置上；将李四的4条名单信息放在联机队列中第5到第8条的位置上。通过将同一名客户的不同名单信息整合在一起，以客户粒度储存信息，提高了查询的效率。
42.步骤s103，采用队列消费进程，判断第一目标名单的时间戳是否大于目标名单数据库中的时间戳。
43.为了使名单加载顺序不影响目标名单数据库中的名单状态，引入时间戳判断机制，判断第一目标名单的时间戳是否大于目标名单数据库中的时间戳，从而才能确定第一目标名单是否需要同步目标名单数据库。
44.步骤s104，若第一目标名单的时间戳大于目标名单数据库中的时间戳，则将联机队列中的第一目标名单同步到目标名单数据库。
45.例如，联机队列中张三名单的时间戳为1月1日10:00，目标名单数据库中张三名单的时间戳为1月1日9:00，依据时间戳可以确定1月1日10:00张三名单是更新后的数据，需要写入目标名单数据库中；如果目标名单数据库中张三名单的时间戳为1月1日11:00，依据时间戳可以确定1月1日10:00不是张三名单的最新数据，因此，不需要将时间戳为1月1日10:00的张三名单写入目标名单数据库中。
46.通过上述内容可以看出，如果第一目标名单的时间戳大于目标名单数据库中的时间戳，则将第一目标名单同步到目标名单数据库；如果第一目标名单的时间戳不大于目标名单数据库中的时间戳，则表示在目标名单数据库中已经有该客户的最新信息，该客户，此时不能用不是最新信息的第一目标名单去替换目标名单数据库中的最新信息，因此，不需要将第一目标名单同步到目标名单数据库。
47.综上所述，本技术实施例提供的客户名单的同步方法，通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；通过联机队列写入服务，将第一目标名单写入联机队列；采用第一队列消费进程对联机队列中的第一目标名单进行解析，得到第二目标名单；若第二目标名单的时间戳大于目标名单数据库中的时间戳，则将第二目标名单同步到目标名单数据库，解决了相关技术中客户名单同步技术时效性差的问题。通过引入时间戳判断机制，使用联机队列及时处理增量名单，从而可以在名单更新后不久就可以被查询到，进而缩短名单同步的周期，提高了客户名单同步的时效性。
48.可选地，在本技术实施例提供的客户名单的同步方法中，在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，该方法还包括：若源名单数据库中客户的增量名单已成功更新，则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置所述增量名单在解除管控缓存库中的有效时间。
49.上述的解除管控缓存库用于存储源名单数据库中已更新的增量名单，并且会在解
除管控缓存库中为已更新的增量名单设置有效时间。在增量名单的有效时间内，解除管控缓存库会保存该增量名单；如果不在增量名单的有效时间内，该增量名单则会从解除管控缓存库中移除。
50.本技术中，设计了一种名单储存在解除管控缓存库中的hash结构存储。该存储结构以证件号码作为主键，关联名单类型号，并设置了有效时间，具体结构如下：
51.key:证件类型#证件号码；
52.field:名单类型号；
53.value:生效标志#生成时间戳。
54.例如，当银行柜台发起名单解控操作，源名单数据库中接收到一条增量名单并成功同步至目标名单数据库时，会调用风险名单解除同步服务将增量名单中的证件信息、名单类型直接同步到解除管控缓存库，以上述hash结构存储，并设置有效时间。
55.通过上述方案，将源名单数据库中已更新的增量名单同步到解除管控缓存库中，保证了查询数据时的时效性和准确性。另外，方便如果后续在客户的增量名单同步到目标名单数据库的过程中，接收到查询该客户名单的指令，就可以在解除管控缓存库查找名单信息，返回该客户更新后的名单状态。进一步地，将增量名单按hash结构存储在解除管控缓存库中，提升了查询名单信息的效率。
56.可选地，在本技术实施例提供的客户名单的同步方法中，在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，该方法还包括：采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单，得到第二目标名单；通过批量队列写入进程，将所述第二目标名单写入批量队列；采用队列消费进程，判断第二目标名单的时间戳是否大于目标名单数据库中的时间戳；若第二目标名单的时间戳大于目标名单数据库中的时间戳，则将第二目标名单同步到目标名单数据库。
57.在本技术实施例中对于源名单数据库中已经存在的名单，按照一定的周期采用批量预加载的方式，导出存量数据。然后通过数据复制组件将存量数据复制到数据湖中并进行解析，得到第二目标名单。进一步地，通过批量队列写入进程将第二目标名单写入批量队列中。
58.在本技术中，若批量队列中存放着第一目标名单，同时联机队列中存放着将第二目标名单，队列消费进程会优先选择联机队列中的第二目标名单进行消费。
59.通过上述方案，既可以使源名单数据库中已有的名单可以同步到目标名单数据库中，也可以让源名单数据库中增量名单及时同步到目标名单数据库中，保证了客户名单数据的完整性和实时性。
60.可选地，在本技术实施例提供的客户名单的同步方法中，通过联机队列写入服务，将第一目标名单写入联机队列包括：通过将第一目标名单中的证件信息映射成固定长度的哈希值；根据哈希值的末位数字除以联机队列的分区数并取余数，得到第一分区数，其中，第一分区数为将第一目标名单写入联机队列的分区数；根据第一分区数，将第一目标名单写入联机队列。
61.当增量名单写入联机队列时，会计算增量名单写入联机队列的分区数。首先将增量名单中的证件信息映射成固定长度的哈希值，使用哈希值的最后一位数字除以联机队列
的总分区数取余数，该余数即为当前增量名单写入联机队列中的分区数。
62.在本技术中，由于联机队列是多分区队列，如果不对名单信息的存放位置做出限定，同一客户的不同名单信息会随机放置于联机队列中的任意位置，进而同步到目标名单数据库时，可能导致同一客户的不同名单信息间隔较长时间才能同步到目标名单数据库，当有查询指令时，会导致无法获取同一客户的全部更新信息。
63.例如，张三有a和b两条增量名单需要同步到目标名单数据库中，但是a和b两条增量名单在联机队列的不同位置。队列消费进程首先将a名单信息同步到目标名单数据库中，然后队列消费进程继续处理联机队列中剩余的增量名单，间隔10分钟后队列消费进程将b名单信息同步到目标名单数据库中。如果在间隔的10分钟内接收到查询张三名单信息的指令，只能在目标名单数据库中查询到a名单信息，无法查询到张三的b名单信息。
64.通过上述方案，将同一客户的增量名单信息整合在一起，以客户粒度存储名单，在客户的增量名单同步到目标名单数据库后，保证该客户信息的完整性，进而也提高了查询时的效率以及保证了客户信息的时效性与准确性。
65.可选地，在本技术实施例提供的客户名单的同步方法中，若第一目标名单的时间戳大于目标名单数据库中的时间戳，则将联机队列中的第一目标名单同步到目标名单数据库包括：将第一目标名单在目标名单数据库中采用键值存储样式进行存储，其中，键值存储样式中至少包括关键字和值，其中，关键字为客户的证件信息，值为整合成json串的各类名单信息。
66.在本技术中，该键值存储样式包括：将名单信息中的证件信息作为关键字，将证件信息关联的所有名单放在一起作为值。键值存储样式如下所示：
67.key:证件类型#证件号码；
68.value:[{名单类型1:生效日期
←
标签信息
←
生效标志
←
生成时间戳}；
[0069]
{名单类型2:生效日期
←
标签信息
←
生效标志
←
生成时间戳}；
[0070]
{名单类型2:生效日期
←
标签信息
←
生效标志
←
生成时间戳}。
[0071]
另外，在本实施例中目标名单数据库设置为两个数据库，分别是分布式缓存数据库和表格存储服务数据库，两个数据库存放着相同的名单。当在目标风险名单库中查询待查询名单的信息时，默认查询分布式缓存数据库；如果分布式缓存数据库出现读写异常或其他故障，则使用表格存储服务数据库进行查询。
[0072]
通过使用上述键值存储样式储存消息，将同一客户的多个名单信息整合在一起，可以更快速地查询同一客户的名单信息，同时也避免了查询同一客户的多个名单信息时需要重复遍历目标名单数据库，节省了查询时间，提高了查询效率。另外，使用两个数据存储名单，提高了整个系统的容错性，进而整个系统达到了提供更可靠的服务的效果。
[0073]
可选地，在本技术实施例提供的客户名单的同步方法中，在若源名单数据库中客户的增量名单已成功更新，则将增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置增量名单在解除管控缓存库中的有效时间之后，该方法还包括：若接收到待查询名单的查询指令，则在解除管控缓存库中查询是否存在待查询名单；若解除管控缓存库中存在待查询名单，且查询时间在解除管控缓存库中待查询名单的有效时间内，得到第一查询结果；若解除管控缓存库中不存在待查询名单，则从目标名单数据库中查找，得到第二查询结果。
[0074]
在本技术中，当计算机系统收到查询名单的指令时，会首先在解除管控缓存库查询待查询名单。如果待查询名单在解除管控缓存库中，并且查询时间在待查询名单的有效时间内，则根据解除管控缓存库中的名单返回查询结果；如果解除管控缓存库中没有待查询名单，或者解除管控缓存库中有待查询名单但查询时间不在待查询名单的有效时间内，则在目标风险数据库中继续查询。
[0075]
例如，张三的名单在12:00同步到目标名单数据库后，该名单会同步到解除管控缓存库中，并设置其有效时间为5分钟即12:00到12:05。如果12:01计算机系统接收到张三的查询指令，首先在解除管控缓存库中查询张三的名单信息。因为12:01在张三更新名单的有效时间内，所以解除管控缓存库中有张三的更新名单，然后根据解除管控缓存库中张三的更新名单返回查询结果。如果在12:11计算机系统接收到张三名单的查询指令，同样首先在解除管控缓存库中查询张三的名单，但因为12:11不在更新名单信息的有效时间内，所以解除管控缓存库中没有张三的更新名单，继续在目标风险名单库中查询张三的名单信息返回查询结果。
[0076]
同时，为了保证数据在上游入湖表以及在分布式消息队列中的数据一致性，还会以一天为周期，拉取上游入湖表和分布式消息队列日志作对比，避免有部分名单信息没有被处理的情况发生。另外还会定时扫描分布式消息队列的工作日志，如果产生异常信息，则会推送异常信息。
[0077]
通过上述方案，在查询时可以首先访问解除管控缓存库，达到了更快查询客户名单的目的；同时还避免了在待查询名单写入目标数据库时无法返回该客户最新名单信息的情况，进而提高了查询的效率以及准确性和实时性。
[0078]
可选地，在本技术实施例提供的客户名单的同步方法中，通过批量队列写入进程，将第二目标名单写入批量队列包括：通过将第二目标名单中的证件信息映射成固定长度的哈希值；根据哈希值末位数字除以批量队列的分区数并取余数，得到第二分区数，其中，第二分区数为将第二目标名单写入批量队列的分区数；根据第二分区数，将第二目标名单写入批量队列。
[0079]
在本技术中，批量队列和联机队列一样都是多分区队列，所以当第二目标名单纳入批量队列时，同样计算第二目标名单写入批量队列的分区数。通过将第二目标名单中的证件信息映射成固定长度的哈希值，使用哈希值的最后一位数字除以批量队列的总分区数取余数，该余数即为当前第二目标名单写入批量队列中的分区数。
[0080]
通过上述方案，将同一客户的名单信息整合在一起，使数据的排列更加有规律性，同时以客户粒度存储名单信息，客户的名单信息同步到目标名单数据库时，保证该客户信息的完整性，进而也保证了查询时更有效率以及同一客户的信息也更加准确。
[0081]
综上所述，本技术实施例提供的客户名单的同步方法，通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；通过联机队列写入服务，将第一目标名单写入联机队列；采用第一队列消费进程对联机队列中的第一目标名单进行解析，得到第二目标名单；若第二目标名单的时间戳大于目标名单数据库中的时间戳，则将第二目标名单同步到目标名单数据库，解决了相关技术中客户名单同步技术时效性差的问题。通过引入时间戳判断机制，使用联机队列及时处理增量名单，从而可以在名单更新后不久就可以被查询到，进而缩短名单同步的周期，提高了客户名
单同步的时效性。
[0082]
本技术的可选实施例，如图2所示，包括源名单数据库中的名单同步到风险名单数据库(即上述目标名单数据库)、风险明细库和解除管控缓存库；收到名单解除管控指令时，增量名单同步到源名单数据库和解除管控缓存库中；收到名单查询指令时，在解除管控缓存库和源名单数据库中查询名单。
[0083]
当源名单数据库中名单同步到目标名单数据库时，如图3所示，一个或多个源名单数据库中的名单通过联机队列和批量队列写入目标名单数据库中。其中，对于源名单数据库中的已经存在的名单通过数据复制组件复制入数据湖中，接着通过批量队列，写入分布式缓存数据库和表格存储服务数据库；对于分布式消息队列中的增量名单信息，通过联机队列写入分布式缓存数据库和表格存储服务数据库，其中，还包括将增量名单中风险明细库需要的明细数据写入风险明细库中。
[0084]
当接到名单解控指令时，如图4所示，源名单数据库中新增增量名单后，将增量名单同步至解除管控缓存库，然后在解除管控缓存库中储存增量名单并设置有效时间。另外，接收到名单查询指令时，通过基于客户粒度的存储结构，首先查询解除管控缓存库中的名单，如果没有得到查询结果，继续在目标名单数据库中进行查询并返回查询结果。
[0085]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0086]
本技术实施例还提供了一种客户名单的同步装置，需要说明的是，本技术实施例的客户名单的同步装置可以用于执行本技术实施例所提供的用于客户名单的同步方法。以下对本技术实施例提供的客户名单的同步装置进行介绍。
[0087]
图5是根据本技术实施例的客户名单的同步装置的示意图。如图5所示，该装置包括：第一解析单元201，第一写入单元202，第一判断单元203和第一同步单元204。
[0088]
第一解析单元201，用于通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；
[0089]
第一写入单元202，用于通过联机队列写入服务，将第一目标名单写入联机队列；
[0090]
第一判断单元203，用于采用队列消费进程，判断第一目标名单的时间戳是否大于目标名单数据库中的时间戳；
[0091]
第一同步单元204，用于若第一目标名单的时间戳大于目标名单数据库中的时间戳，则将联机队列中的第一目标名单同步到目标名单数据库。
[0092]
本技术实施例提供的客户名单的同步装置，通过第一解析单元201通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；第一写入单元202通过联机队列写入服务，将第一目标名单写入联机队列；第一判断单元203采用队列消费进程，判断第一目标名单的时间戳是否大于目标名单数据库中的时间戳；第一同步单元204若第一目标名单的时间戳大于目标名单数据库中的时间戳，则将联机队列中的第一目标名单同步到目标名单数据库，解决了相关技术中客户名单同步技术时效性差的问题。通过引入时间戳判断机制，使用联机队列及时处理增量名单，从而可以在名单更新后不久就可以被查询到，进而缩短名单同步的周期，提高了客户名单同步的时效性。
[0093]
可选地，在本技术实施例提供的客户名单的同步装置中，该装置还包括：设置单元，用于在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，若源名单数据库中客户的增量名单已成功更新，则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置所述增量名单在解除管控缓存库中的有效时间。
[0094]
可选地，在本技术实施例提供的客户名单的同步装置中，该装置还包括：第二解析单元，用于在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单，得到第二目标名单；第二写入单元，用于通过批量队列写入进程，将第二目标名单写入批量队列；第二判断单元，用于采用队列消费进程，判断第二目标名单的时间戳是否大于目标名单数据库中的时间戳；第二同步单元，用于若第二目标名单的时间戳大于目标名单数据库中的时间戳，则将第二目标名单同步到所述目标名单数据库。
[0095]
可选地，在本技术实施例提供的客户名单的同步装置中，该第一写入单元包括：映射子单元，用于通过将第一目标名单中的证件信息映射成固定长度的哈希值；计算子单元，用于根据哈希值的末位数字除以联机队列的分区数并取余数，得到第一分区数，其中，第一分区数为将第一目标名单写入联机队列的分区数；写入子单元，用于根据第一分区数，将第一目标名单写入联机队列。
[0096]
可选地，在本技术实施例提供的客户名单的同步装置中，该第一同步单元包括：储存子单元，用于将第一目标名单在所述目标名单数据库中采用键值存储样式进行存储，其中，键值存储样式中至少包括关键字和值，其中，关键字为客户的证件信息，值为整合成json串的各类名单信息。
[0097]
可选地，在本技术实施例提供的客户名单的同步装置中，该设置单元还包括：第一查询单元，用于在若源名单数据库中客户的增量名单已成功更新，则将增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置增量名单在解除管控缓存库中的有效时间之后，若接收到待查询名单的查询指令，则在解除管控缓存库中查询是否存在待查询名单；第二查询单元，用于若解除管控缓存库中存在待查询名单，且查询时间在解除管控缓存库中待查询名单的有效时间内，得到第一查询结果；第三查询单元，用于若解除管控缓存库中不存在待查询名单，则从目标名单数据库中查找，得到第二查询结果。
[0098]
可选地，在本技术实施例提供的客户名单的同步装置中，该第二写入单元包括：映射子单元，用于通过批量队列写入进程，将第二目标名单写入批量队列，通过将第二目标名单中的证件信息映射成固定长度的哈希值；计算子单元，用于根据哈希值末位数字除以批量队列的分区数并取余数，得到第二分区数，其中，第二分区数为将第二目标名单写入批量队列的分区数；写入子单元，用于根据第二分区数，将第二目标名单写入批量队列。
[0099]
本技术实施例提供的客户名单的同步装置，通过第一解析单元201通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；第一写入单元202通过联机队列写入服务，将第一目标名单写入联机队列；第一判断单元203采用队列消费进程，判断第一目标名单的时间戳是否大于目标名单数据库中的时间戳；第一同步单元204若第一目标名单的时间戳大于目标名单数据库中的时间戳，
则将联机队列中的第一目标名单同步到目标名单数据库，解决了相关技术中客户名单同步技术时效性差的问题。通过引入时间戳判断机制，使用联机队列及时处理增量名单，从而可以在名单更新后不久就可以被查询到，进而达到了缩短名单更新周期，保证名单更新的时序性，提高名单查询效率的效果。
[0100]
客户名单的同步装置包括处理器和存储器，上述单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0101]
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提供一种客户名单的同步方法以及装置、处理器，以解决相关技术中客户名单同步技术时效性差的问题。
[0102]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
[0103]
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述客户名单的同步方法。
[0104]
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述客户名单的同步方法。
[0105]
如图6所示，本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；通过联机队列写入服务，将第一目标名单写入联机队列；采用队列消费进程，判断第一目标名单的时间戳是否大于目标名单数据库中的时间戳；若第一目标名单的时间戳大于目标名单数据库中的时间戳，则将联机队列中的第一目标名单同步到目标名单数据库。
[0106]
处理器执行程序时还实现以下步骤：在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，该方法还包括：若源名单数据库中客户的增量名单已成功更新，则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置所述增量名单在解除管控缓存库中的有效时间。
[0107]
处理器执行程序时还实现以下步骤：在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，该方法还包括：采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单，得到第二目标名单；通过批量队列写入进程，将第二目标名单写入批量队列；采用队列消费进程，判断第二目标名单的时间戳是否大于目标名单数据库中的时间戳；若第二目标名单的时间戳大于目标名单数据库中的时间戳，则将第二目标名单同步到目标名单数据库。
[0108]
处理器执行程序时还实现以下步骤：通过联机队列写入服务，将第一目标名单写入联机队列包括：通过将第一目标名单中的证件信息映射成固定长度的哈希值；根据哈希值的末位数字除以联机队列的分区数并取余数，得到第一分区数，其中，第一分区数为将第一目标名单写入联机队列的分区数；根据第一分区数，将第一目标名单写入联机队列。
[0109]
处理器执行程序时还实现以下步骤：若第一目标名单的时间戳大于目标名单数据库中的时间戳，则将联机队列中的第一目标名单同步到目标名单数据库包括：将第一目标
名单在目标名单数据库中采用键值存储样式进行存储，其中，键值存储样式中至少包括关键字和值，其中，关键字为客户的证件信息，值为整合成json串的各类名单信息。
[0110]
处理器执行程序时还实现以下步骤：在若源名单数据库中客户的增量名单已成功更新，则将增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置增量名单在解除管控缓存库中的有效时间之后，该方法还包括：若接收到待查询名单的查询指令，则在解除管控缓存库中查询是否存在待查询名单；若解除管控缓存库中存在待查询名单，且查询时间在解除管控缓存库中待查询名单的有效时间内，得到第一查询结果；若解除管控缓存库中不存在待查询名单，则从目标名单数据库中查找，得到第二查询结果。
[0111]
处理器执行程序时还实现以下步骤：通过批量队列写入进程，将第二目标名单写入批量队列包括：通过将第二目标名单中的证件信息映射成固定长度的哈希值；根据哈希值末位数字除以批量队列的分区数并取余数，得到第二分区数，其中，第二分区数为将第二目标名单写入批量队列的分区数；根据第二分区数，将第二目标名单写入批量队列。本文中的设备可以是服务器、pc、pad、手机等。
[0112]
本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单；通过联机队列写入服务，将第一目标名单写入联机队列；采用队列消费进程，判断第一目标名单的时间戳是否大于目标名单数据库中的时间戳；若第一目标名单的时间戳大于目标名单数据库中的时间戳，则将联机队列中的第一目标名单同步到目标名单数据库。
[0113]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，该方法还包括：若源名单数据库中客户的增量名单已成功更新，则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置所述增量名单在解除管控缓存库中的有效时间。
[0114]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在通过数据复制组件，将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析，得到第一目标名单之前，该方法还包括：采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单，得到第二目标名单；通过批量队列写入进程，将第二目标名单写入批量队列；采用队列消费进程，判断第二目标名单的时间戳是否大于目标名单数据库中的时间戳；若第二目标名单的时间戳大于目标名单数据库中的时间戳，则将第二目标名单同步到目标名单数据库。
[0115]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：通过联机队列写入服务，将第一目标名单写入联机队列包括：通过将第一目标名单中的证件信息映射成固定长度的哈希值；根据哈希值的末位数字除以联机队列的分区数并取余数，得到第一分区数，其中，第一分区数为将第一目标名单写入联机队列的分区数；根据第一分区数，将第一目标名单写入联机队列。
[0116]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：若第一目标名单的时间戳大于目标名单数据库中的时间戳，则将联机队列中的第一目标名单同步到目标名单数据库包括：将第一目标名单在目标名单数据库中采用键值存储样式进行存
储，其中，键值存储样式中至少包括关键字和值，其中，关键字为客户的证件信息，值为整合成json串的各类名单信息。
[0117]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在若源名单数据库中客户的增量名单已成功更新，则将增量名单的证件信息、名单类型同步到解除管控缓存库中，并设置增量名单在解除管控缓存库中的有效时间之后，该方法还包括：若接收到待查询名单的查询指令，则在解除管控缓存库中查询是否存在待查询名单；若解除管控缓存库中存在待查询名单，且查询时间在解除管控缓存库中待查询名单的有效时间内，得到第一查询结果；若解除管控缓存库中不存在待查询名单，则从目标名单数据库中查找，得到第二查询结果。
[0118]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：通过批量队列写入进程，将第二目标名单写入批量队列包括：通过将第二目标名单中的证件信息映射成固定长度的哈希值；根据哈希值末位数字除以批量队列的分区数并取余数，得到第二分区数，其中，第二分区数为将第二目标名单写入批量队列的分区数；根据第二分区数，将第二目标名单写入批量队列。
[0119]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0120]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0121]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0122]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0123]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0124]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0125]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法
或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0126]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0127]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0128]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。