一种集中化营运作业处理系统及其方法与流程

1.本发明涉及业务数据处理技术领域，尤其是涉及一种集中化营运作业处理系统及其方法。


背景技术：

2.传统的作业模式大多采用“网点全功能、柜员全流程”的方式，即分散作业模式：以网点作为业务的发起及落脚点，一笔业务的所有流程(业务处理、档案管理、风险监控、运营管理)均在一个网点内完成。
3.然而随着相关产品的不断丰富、交易量和交易种类的不断增加，对应业务的种类以及处理流程也越来越复杂、交易复杂性也不断提升，这就使得传统的分散作业模式的局限性越来越明显：一是业务流程不尽合理，各分支机构都有后台运营，资源和专业技能很难共享，不仅数据处理成本较高，而且由于业务流程和作业标准在各分支机构之间存在差异，导致服务质量和客户体验不一致；二是对前台柜员的业务要求比较高，每个柜员必须要熟练掌握多种交易，因此，柜员劳动强度大、工作效率不高、业务处理效率低下、客户等候时间相对较长；三是风险控制环节多，业务风险点分布于各营业网点、各业务环节，风险难以管控，而传统的事后监督往往效果不好。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种集中化营运作业处理系统及其方法，通过后台业务集约化处理，以有效提高业务处理效率、降低成本及风险。
5.本发明的目的可以通过以下技术方案来实现：一种集中化营运作业处理系统，包括相互连接的前台和后台，所述前台设置有扫描模块，所述扫描模块用于将资料扫描后传输给后台，所述后台设置有集中清分模块、切片模块、集中录入模块、规则审核模块、退件审核模块和定制服务模块，所述集中清分模块用于对扫描后的资料进行分类，以筛选得到影像资料；
6.所述切片模块用于对影像资料进行有效区域识别；
7.所述集中录入模块用于对影像资料进行录入校对和复核；
8.所述规则审核模块用于进行数据一致性比对和确认；
9.所述退件审核模块用于对需要退件的业务数据进行退件审核；
10.所述定制服务模块用于根据用户需求，以定制相应的数据处理流程。
11.进一步地，所述后台设置有层次化数据处理模块，所述层次化数据处理模块分别与集中清分模块、切片模块、集中录入模块、规则审核模块、退件审核模块、定制服务模块相连接，所述层次化数据处理模块包括业务接入单元、交易分发单元和任务管理单元，所述业务接入单元用于获取待执行的业务数据；所述交易分发单元用于分发具体任务给任务管理单元；所述任务管理单元用于集中化管理调度公共任务队列和定制任务队列。
12.进一步地，所述层次化数据处理模块连接有层级存储模块，所述层级存储模块包括redis数据库、jvm内存单元和db数据库，所述redis数据库用于用于存储业务接入后的业务和任务的明细信息；
13.所述jvm内存单元用于存储任务管理层中作业任务对象的任务信息；
14.所述db数据库用于存储各个业务品种的清分、录入、审核参数化配置数据和业务完成后的流水数据。
15.进一步地，所述任务管理单元包括依次连接的队列管理器、任务管理器和数据访问器，所述任务管理器与jvm内存单元连接，所述数据访问器与redis数据库连接，所述队列管理器用于将队列划分出不同的区域以存储不同状态的任务；
16.所述任务管理器用于获取任务id；
17.所述数据访问器用于获取任务信息。
18.进一步地，所述队列区域包括托管队列、缓存队列、备份队列、托管队列隔离区、隔离区缓存队列、隔离区备份队列，所述托管队列用于存储初始化的任务；所述缓存队列用于存储托管区的缓存任务；所述备份队列用于存储已被柜员领取而暂存的任务；所述托管队列隔离区用于存储被超时隔离的初始化任务；所述隔离区缓存队列用于存储隔离区的缓存任务；所述隔离区备份队列用于存储被隔离区角色柜员所领取而暂存的任务。
19.一种集中化营运作业处理方法，包括以下步骤：
20.s1、前台接收客户请求，并对接收的资料进行扫描、将扫描得到的资料传输给后台；
21.s2、后台根据业务场景需求，对扫描得到的资料进行业务录入、业务审核、业务处理以及业务监控，并将业务处理结果数据返回给前台。
22.进一步地，所述步骤s2中业务录入包括影像资料分类筛选、切片处理和集中录入过程，业务审核包括规则审核和退件审核过程。
23.进一步地，所述步骤s2中业务处理过程包括以下步骤：
24.s21、将队列划分出不同区域，以对应存储不同状态的任务，包括托管队列、缓存队列、备份队列、托管队列隔离区、隔离区缓存队列、隔离区备份队列；
25.s22、对队列池任务进行分配、从任务池领取任务、对任务池内任务进行调度。
26.进一步地，所述步骤s22中对任务池任务进行分配的具体过程为：对任务进行初始化，并将初始化的任务存放在托管队列中；
27.监控缓存池任务量，当缓存池任务量低于预设阈值时，调用快照生成服务；
28.快照生成服务从托管队列中按照优先级顺序批量获取任务，并压入缓存队列中。
29.进一步地，所述步骤s22中从任务池领取任务的具体过程为：按照优先级顺序，从优先级最高的任务池中领取优先级最高的任务；
30.从jvm内存中获取任务id；
31.根据任务id，从redis数据库中获取相应的任务信息。
32.进一步地，所述步骤s22中对任务池内任务进行调度的具体过程为：将托管队列中超时的任务移动至隔离区；
33.更新优先级顺序，将队列内的任务重新进行排序；
34.将队列中某一业务对应的所有任务批量迁移至另外一个队列；
35.当缓存队列任务量低于预设阈值时，触发异步的快照生成服务。
36.与现有技术相比，本发明具有以下优点：
37.一、本发明通过在后台设置集中清分模块、切片模块、集中录入模块、规则审核模块、退件审核模块和定制服务模块，使得前台扫描后的资料能够传输给后台进行业务集约化处理，利用后台完成业务录入、业务审核、业务处理以及业务监控，由此大幅度提高系统自动化处理程度，避免重复开发和分散投入，有效节约成本，能够将风险点控制由分散到集中，实现了统一控制，减少了各项业务流程中存在的手工环节，大大减少了基层和柜台工作人员产生的操作风险；此外，后台作业的集中也能有效降低经营成本，将具有重复流程的业务抽出，转移至共享作业中心，使作业处理更加标准化，从而提高运营效率，降低业务出现差错的概率，加强监督、控制的能力。
38.二、本发明采用层次化数据处理模块以及层级存储模块，利用层次化数据处理模块分别负责业务的接入、交易的分发和任务的集中化管理调度，各层次都采用高内聚低耦合的实现方式，提高了系统的复用性、易维护行和扩展性；利用层级存储模块提高任务调度效率、系统并发量及吞吐量；由此进一步提高业务处理效率。
39.三、本发明通过将队列划分出不同区域，以对应存储不同状态的任务，便于集中化的任务管理和调度，同时提高任务管理效率；通过设置任务池隔离区，能够满足多种业务场景；本发明在分配队列池任务时，任务初始化在托管区、任务领取在缓存区，并通过快照生产服务进行中间任务调度和衔接，由此减少实时排序带来的系统性能消耗，同时确保领取任务的稳定性。
附图说明
40.图1为本发明的系统结构示意图；
41.图2为本发明的方法流程示意图；
42.图3为实施例的应用过程示意图；
43.图4为实施例中后台的功能架构示意图；
44.图5为实施例中层次化数据处理模块原理示意图；
45.图6为实施例中层级存储过程示意图；
46.图7为实施例中队列结构示意图；
47.图8为实施例中队列池任务分配示意图；
48.图9为实施例中任务池任务领取示意图；
49.图10为实施例中任务池任务调度示意图；
50.图11为实施例中任务状态变化示意图；
51.图中标记说明：1、前台，2、后台，101、扫描模块，201、集中清分模块，202、切片模块，203、集中录入模块，204、规则审核模块，205、退件审核模块，206、定制服务模块，207、层次化数据处理模块，208、层级存储模块。
具体实施方式
52.下面结合附图和具体实施例对本发明进行详细说明。
53.实施例
54.为便于更清楚地描述实施例，首先对以下专业名词进行释义：
55.任务池：某类具有共性或相似任务的队列，预先对各业务品种中任务节点(即表单切片)的标准作业时长进行梳理。标准作业时长指从任务生成开始至录入任务提交的时长。依据标准作业时长的趋同性整合若干任务池，对于特殊业务类型可单独设置任务池。所有任务池同一菜单入口。
56.缓存池：每一任务池下分别设置一个缓存池，对任务进行不定时批量抓取，以降低任务排序对于系统的损耗。总行对缓存池的任务上下限额进行参数化设置，上限为缓存池所存取的任务最大值，下限为缓存池所存取的任务最小值，一旦达到最小值，系统自动从任务池中批量抓取任务。缓存池内任务的排队规则与任务池一致。
57.任务分派机制：对于同一业务在处理专业性和区域性等方面的差异，系统需实现按不同的业务规则进行中心任务的分派，以实现独立的任务管理、监控和人力的专业培养。
58.任务优先级排队规则：
59.a.默认规则：按照节点剩余处理时长(切片标准处理时长
‑
已处理时长)进行排队，剩余处理时长越短，优先级越高。
60.b.附加规则：在任务池内可实时对各业务品种的先后顺序进行参数化设置。
61.超时任务排队规则：超时任务指已处理时长大于标准处理时长的任务。超时任务默认优先于一般任务，超时越多，优先级越高。
62.隔离区：可通过参数化设置，实时将部分业务类型的超时任务进行隔离，暂时不对其进行处理，也可以安排隔离区权限的柜员处理隔离区的任务，同时中心可随时打开隔离区“阀门”将任务回收处理。
63.任务回收机制：每个任务在任务池里都有超时回收时长的属性，可预先参数化设置，一旦任务的已处理时长超过其预先设置的超时回收时长，系统自动对其回收。任务自动释放至任务池后优先级最高。
64.快照管理模块：负责快照任务池的管理，核心是快照生成服务，主要负责从任务池中获取当前最紧急的topn个任务，往快照池中存储，减少实时排序带来的系统性能消耗。
65.标准工时：指从任务领取至任务提交的标准时长，该时长通常与任务的工作量和复杂程度有关。
66.可等待时长：指从任务生成至任务领取的时长，该时长通常与业务的时效性相关，建议对于一个业务类型，各任务的可等待时长予以统一。
67.标准时长：指从任务生成至任务完成提交的标准处理时长，该时长等于标准工时 可等待时长。
68.超时回收时长：指一旦超过该时长，系统将对任务进行自动回收，该时长大于标准工时。
69.如图1所示，一种集中化营运作业处理系统，包括相互连接的前台1和后台2，前台1设置有扫描模块101，扫描模块101用于将资料扫描后传输给后台，后台2设置有集中清分模块201、切片模块202、集中录入模块203、规则审核模块204、退件审核模块205、定制服务模块206、层次化数据处理模块207和层级存储模块208，其中，层次化数据处理模块207分别与集中清分模块201、切片模块202、集中录入模块203、规则审核模块204、退件审核模块205、定制服务模块206、层级存储模块208相连接；
70.集中清分模块201用于对扫描后的资料进行分类，以筛选得到影像资料；
71.切片模块202用于对影像资料进行有效区域识别；
72.集中录入模块203用于对影像资料进行录入校对和复核；
73.规则审核模块204用于进行数据一致性比对和确认；
74.退件审核模块205用于对需要退件的业务数据进行退件审核；
75.定制服务模块206用于根据用户需求，以定制相应的数据处理流程；
76.层次化数据处理模块207包括业务接入单元、交易分发单元和任务管理单元，业务接入单元用于获取待执行的业务数据；交易分发单元用于分发具体任务给任务管理单元；任务管理单元用于集中化管理调度公共任务队列和定制任务队列，任务管理单元包括依次连接的队列管理器、任务管理器和数据访问器，任务管理器与jvm内存单元连接，数据访问器与redis数据库连接，队列管理器用于将队列划分出不同的区域以存储不同状态的任务：队列区域包括托管队列、缓存队列、备份队列、托管队列隔离区、隔离区缓存队列、隔离区备份队列，托管队列用于存储初始化的任务；缓存队列用于存储托管区的缓存任务；备份队列用于存储已被柜员领取而暂存的任务；托管队列隔离区用于存储被超时隔离的初始化任务；隔离区缓存队列用于存储隔离区的缓存任务；隔离区备份队列用于存储被隔离区角色柜员所领取而暂存的任务；
77.任务管理器用于获取任务id；
78.数据访问器用于获取任务信息。；
79.层级存储模块208包括redis数据库、jvm内存单元和db数据库，redis数据库用于用于存储业务接入后的业务和任务的明细信息；
80.jvm内存单元用于存储任务管理层中作业任务对象的任务信息；
81.db数据库用于存储各个业务品种的清分、录入、审核参数化配置数据和业务完成后的流水数据。
82.将上述系统应用于实际，以实现一种集中化营运作业处理方法，如图2所示，包括以下步骤：
83.s1、前台接收客户请求，并对接收的资料进行扫描、将扫描得到的资料传输给后台；
84.s2、后台根据业务场景需求，对扫描得到的资料进行业务录入(包括影像资料分类筛选、切片处理和集中录入过程)、业务审核(包括规则审核和退件审核过程)、业务处理以及业务监控，并将业务处理结果数据返回给前台。
85.其中，步骤s2中业务处理过程包括以下步骤：
86.s21、将队列划分出不同区域，以对应存储不同状态的任务，包括托管队列、缓存队列、备份队列、托管队列隔离区、隔离区缓存队列、隔离区备份队列；
87.s22、对队列池任务进行分配、从任务池领取任务、对任务池内任务进行调度，其中，对任务池任务进行分配的具体过程为：对任务进行初始化，并将初始化的任务存放在托管队列中；
88.监控缓存池任务量，当缓存池任务量低于预设阈值时，调用快照生成服务；
89.快照生成服务从托管队列中按照优先级顺序批量获取任务，并压入缓存队列中；
90.从任务池领取任务的具体过程为：按照优先级顺序，从优先级最高的任务池中领
取优先级最高的任务；
91.从jvm内存中获取任务id；
92.根据任务id，从redis数据库中获取相应的任务信息；
93.对任务池内任务进行调度的具体过程为：将托管队列中超时的任务移动至隔离区；
94.更新优先级顺序，将队列内的任务重新进行排序；
95.将队列中某一业务对应的所有任务批量迁移至另外一个队列；
96.当缓存队列任务量低于预设阈值时，触发异步的快照生成服务。
97.本实施例应用上述技术方案，将现有的业务处理流程分解为网点作为前台发起，总行作为后台集中处理的模式，即将业务在前、后台之间进行切割，每个环节只处理其中的一部分，同时，尽量简化并标准化每一个环节的处理，以期降低网点劳动量并在部分处理环节上使用低成本人员或进行外包。如图3所示，对集中化的公共业务流程进行统一整合：
98.1，集中化的业务统一通过网点扫描岗将资料扫描后，进入中心集中化处理；
99.2，进入中心的集中清分岗，进行影像资料的资料类型的分类；
100.3，根据清分岗清分出来的资料类型，可选择是否进入切片岗进行影像资料有效区域的识别；
101.4，进入中心的集中录入服务，实现对影像资料的两录一校一复核的集中化录入；
102.5，对于有需要比对不同栏位录入值，可进入中心的规则审核岗进行数据的一致性比对和确认；
103.6，业务如最终有退票，则进入中心的退件审核岗进行统一的退件审核处理。
104.本实施例在后台构建集中作业处理平台整体架构：
105.1、服务公共化：如图4所示，将集中化业务公共的操作部分抽象成若干个单独的公共服务，以服务组件的形式为各个业务系统提供统一的服务，业务可根据实际场景自由组合服务，实现真正的面向服务的体系结构，方便业务扩展和中心岗位的整合，其中，集中审核模块与中心统一任务引擎模块能够根据用户需求定制相应服务。
106.2、参数配置化：集中作业平台目前接入三十多种类型业务，如清分、录入和退件服务参数预先配置，前端页面进行统一的信息展示和逻辑控制，对于新业务的接入只需要配置参数，后台流程控制和前端信息展示都无需任何变动。
107.3、体系层次化：如图5所示，集中作业平台架构系统采用层次化结构，分为业务接入层、交易处理层和任务管理层。分别负责业务的接入、交易的分发和任务的集中化管理调度。各层次都采用高内聚低耦合的实现方式，提高了系统的复用性、易维护行和扩展性。
108.4、存储区域化：如图6所示，集中作业平台采用层级存储方式，分别存储于redis内存数据库、jvm内存区和db2数据库。
109.redis内存数据库：用于存储业务接入后的业务和任务的明细信息，提高与程序的交互速度。
110.jvm内存区：用于存储任务管理层中作业任务对象的任务信息，提高任务的管理调度效率。
111.db2数据库：用于存储各个业务品种的清分、录入等参数化配置数据和业务完成后的流水数据。
112.本实施例设计队列结构如下：
113.a)队列结构采用区域化设计。如图7所示，一个物理队列实际在内存里划分六块区域，分别为托管队列、缓存队列、备份队列、托管队列隔离区、隔离区缓存队列、隔离区备份队列。分别用来存储初始化的任务、托管区的缓存任务、已被柜员领取而暂存的任务、被超时隔离的初始化任务、隔离区的缓存任务、被隔离区角色柜员所领取而暂存的任务。将队列划分出不同的区域来存储不同状态的任务，各司其责互不影响，同时又紧密联系，便于集中化的任务管理和调度，同时提高任务管理效率。
114.b)队列池任务分配。如图8所示，所有进入集中作业处理平台管理的任务都是先初始化存放在托管队列中。当缓存池任务量低于其下限时，则调用快照生成服务，快照生成服务从托管队列中按优先级批量获取任务，并压入缓存队列中供柜员领取。任务初始化在托管区、任务领取在缓存区，通过快照生产服务进行中间任务调度和衔接，减少实时排序带来的系统性能消耗，同时确保柜员领取任务的稳定性。
115.c)任务池任务领取。如图9所示，根据柜员权限领取优先级最高的任务池中优先级最高的任务，为了提高任务池管理的高效和便捷性，任务池中的任务对象存储在应用jvm内存中，且只是包含任务的纯任务信息(即只包含任务id、生成时间、可等待时长等用于任务识别和任务排序的相关信息)。任务管理层领取任务后，由业务接入层根据任务id去redis内存数据库中获取对应的任务详细信息，再返回柜员操作页面上展示该任务。
116.d)任务池任务调度。如图10所示，业务接入集中作业平台后，通过作业分配将任务初始化存放在托管队列中，然后可以通过不同的方式进入隔离区或者缓存池中。任务的领取对于柜员是完全透明的，柜员无需关注自身有什么权限，下一笔能领到什么任务等等，只需要接收系统推送的任务后进行处理即可。柜员的权限都是通过euif系统来进行角色和权限调整的，加快了任务的处理效率同时也方便中心的人力资源调度。
117.超时隔离(手工触发)，将托管队列中超时的任务移到隔离区，如果没有手工触发的，则超时任务还存储在托管队列中。
118.优先级调整(手工触发)，重新设置业务品种优先级，将队列内的任务重新按优先级进行排序
119.批量迁移(手工触发)，将队列中某个业务品种的所有任务迁移到另外一个队列。
120.快照生成(系统触发)，当缓存队列任务量低于下限，则触发异步的快照生成服务。
121.e)任务状态机制。如图11所示，任务具有以下状态：
122.就绪：任务被初始化后的状态，此时任务进行到队列托管区或者缓存区或者未压入队列；
123.运行：任务被领取时的状态，此时任务进入到队列备份区；
124.隔离：任务被放到超时隔离后，在隔离区时的状态；
125.完成：任务完成时的状态；完成任务不再在队列中存在；
126.异常：当任务连续超时超过一定次数时的状态；异常任务也不再在队列中存在。
127.综上可知，本技术方案采用统一公共节点菜单入口，能够自动推送处理任务；设置多种优先级排队机制，以支持中心灵活管理；设置任务池隔离区，能够满足多种业务场景；采用数据区域化存储，提高任务调度效率、系统并发量及吞吐量；通过业务参数的配置化，能够实现任务的动态展示，降低开发成本，缩短业务接入时间。本技术方案考虑到当前不同
业务处理规则不统一，难以与后台标准化处理模式向匹配，造成管理上的压力；后台任务排队机制不够完善，目前各业务录入审核规则不统一；为了规范集中营运业务的处理规则，统一各业务品种的处理模式，本技术方案通过后台集中化营运作业统一处理，能够强化集中化业务的统一管理，从而来协助中心更好的完成人力的分配与调度，提高生产效率，降低中心运维成本。