一种持续审计预警方法及系统与流程

1.本发明涉及大数据技术领域，尤其涉及一种持续审计预警方法及系统。


背景技术：

2.某银行现有的审计系统中，持续审计预警是通过开发规则模型，基于企业数据仓库或审计系统数据库，进行明细数据预警加工，并提供明细查询功能。
3.在实际操作运行过程中尚存在如下问题：
4.1、传统的mpp数据存储无法满足整个银行所有数据的存储与算力需要，且硬件成本高，线性扩容能力差，算力无法满足全行业务发展，百亿级别数据查询响应效率低，更无法实现全文模糊查询，无法支持全行明细业务数据存储。
5.2、在百亿级别以上数据量级无法做到总行-一级分行-二级分行-一级支行-网点-交易明细可疑数据逐层下钻的实时查询，且缺少机构级别宏观层面指标下钻，无法通过机构的各类指标下钻到明细级别的海量业务数据。
6.3、持续审计预警规则更新无法及时同步到数据仓库，时效性差，预警调整规则不灵活。
7.4、由于数据架构与技术架构特性，持续审计预警无法推送到企业前、台、中台部门去处理预警，缺少三道防线联防联控机制，不能快速的有效的落实预警信息并整改。
8.因此，本技术提出一种持续审计预警方法及系统，拟解决上述问题。


技术实现要素：

9.为解决现有技术的不足，本发明提出一种持续审计预警方法及系统。
10.为实现以上目的，本发明所采用的技术方案包括：
11.一种持续审计预警方法，其特征在于，包括：
12.一种持续审计预警方法，应用于审计科技平台，其特征在于，包括以下步骤：
13.步骤s1、通过审计图形化自助建模引擎进行自助建模，生成sql脚本同步传输至数据湖中执行并返回结果，建立审计预警模型；
14.步骤s2、根据审计预警模型确定的指标进行持续审计预警参数阈值配置；
15.步骤s3、将审计预警模型和持续审计预警参数阈值配置信息同步传输至数据湖中进行计算得到第一持续审计预警数据；
16.步骤s4、数据湖对第一持续审计预警数据进行离线加工获得第二持续审计预警数据；
17.步骤s5、数据湖将第二持续审计预警数据同步传输至审计科技平台，审计科技平台完成预警提示与推送。
18.进一步地，所述指标优选为包括波动百分比、波动金额、波动数量。
19.进一步地，所述步骤s4包括如下子步骤：
20.步骤s41、数据湖设置相关特征值数据并通过调用列式存储rowkey算法获得相对
应的字符串；
21.步骤s42、数据湖获取字符串并进行离线加工获得第二持续审计预警数据。
22.进一步地，所述方法还包括数据湖通过列式存储同步算子实现列式存储。
23.进一步地，所述相关特征值数据优选为包括机构、日期、币种。
24.进一步地，所述机构设置层级包括总行、一级分行、二级分行、一级支行、网点。
25.进一步地，所述审计科技平台与数据湖优选为通过ks3文件服务实现数据同步传输。
26.进一步地，所述方法还包括用户登录审计科技平台依照机构层级进行下钻查询，获取相对应预警数据信息。
27.本发明还涉及一种持续审计预警系统，其特征在于，包括：
28.模型建立模块，用于通过审计图形化自助建模引擎进行自助建模，生成sql脚本同步传输至数据湖中执行并返回结果，建立审计预警模型；
29.参数阈值配置模块，用于根据审计预警模型确定的指标进行持续审计预警参数阈值配置；
30.计算模块，将审计预警模型和持续审计预警参数阈值配置信息同步传输至数据湖中进行计算得到第一持续审计预警数据；
31.离线加工模块，用于对第一持续审计预警数据进行离线加工获得第二持续审计预警数据；
32.信息推送模块，用于在审计科技平台完成预警提示与推送。
33.本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
34.本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
35.所述存储器，用于存储操作指令；
36.所述处理器，用于通过调用所述操作指令，执行上述的方法。
37.本发明的有益效果为：
38.采用本发明所述持续审计预警方法及系统，通过审计人员进行图形化的建模与对应持续审计预警参数阈值配置，有效降低模型开发的技术门槛，通过灵活配置的系统间交互，节省了模型重复开发的成本，扩大了审计范围，同时提高了疑点业务或问题机构排查的时效性，能够实现支持单表百亿级别以上、总体存储2pb以上灵活持续审计预警数据运算、毫秒级下钻速查的效果，为全行前、中、后台各部门模型共享及工作协同提供了支持，有效助力公司内控合规工作。
附图说明
39.图1为本发明持续审计预警方法流程示意图。
40.图2为本发明持续审计预警系统结构示意图。
具体实施方式
41.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
42.审计部门负责企业内部各类业务内控合规等相关工作，包括个人、对公、同业、财
务、行政、信息科技等所有类别，数据跨度要求5年以上，单表数据量级超过100亿，企业总的数据存储超过2pb，面对不同的业务范围及海量的业务数据，审计需要应用数字化手段，结合新兴的持续审计概念，减少人工现场审计的内容，不仅能够提高审计的效率，扩大审计对业务范围的覆盖度，同时可以节约审计成本，并有效的形成前、中、后台部门的监督合力，推动合规整改。
43.本发明第一方面涉及一种步骤流程如图1所示持续审计预警的方法，包括：
44.步骤s1、通过审计图形化自助建模引擎进行自助建模，生成sql脚本同步传输至数据湖中执行并返回结果，建立审计预警模型；
45.具体地，审计人员通过审计科技平台图形化建模，审计科技平台根据数据量大小切换hive tez、presto及spark组件，通过系统界面拖拽数据表，后台自动生成对应组件的sql脚本并同步传输至数据湖中执行并返回结果，建立审计预警模型。
46.本实施例优选地，所述审计科技平台与数据湖通过ks3文件服务实现数据同步传输，可以避免海量数据冲击。
47.步骤s2、根据审计预警模型确定的指标进行持续审计预警参数阈值配置；
48.本实施例优选地，所述指标包括波动百分比、波动金额、波动数量。
49.步骤s3、将审计预警模型和持续审计预警参数阈值配置信息同步传输至数据湖中进行计算得到第一持续审计预警数据；
50.步骤s4、数据湖对第一持续审计预警数据进行离线加工获得第二持续审计预警数据；
51.优选地，所述步骤s4包括如下子步骤：
52.步骤s41、数据湖设置相关特征值数据并通过调用列式存储rowkey算法获得相对应的字符串；
53.本实施例优选地，所述相关特征值数据包括机构、日期、币种。
54.本实施例优选地，机构设置层级包括总行、一级分行、二级分行、一级支行、网点。
55.步骤s42、数据湖获取字符串并进行离线加工获得第二持续审计预警数据。
56.本实施例优选地，所述方法还包括数据湖通过列式存储同步算子实现列式存储。
57.步骤s5、数据湖将第二持续审计预警数据同步传输至审计科技平台，审计科技平台完成预警提示与推送。
58.本实施例优选地，所述方法还包括用户登录审计科技平台依照机构层级进行下钻查询，获取相对应预警数据信息。
59.本实施例优选地，在实际应用场景中，审计人员及其他业务部门人员处理预警时，可以通过系统从总行-一级分行-二级分行-一级支行-网点-交易明细等层级分析持续审计预警，通过机构维度的指标信息，例如：通过不良率、贷款规模等波动比例发现问题，逐层图形化下钻速查，从最顶层机构追溯到营业网点再到交易明细层面，通过交易明细开展审计或检查工作，并最终完成预警信息处理，推动整改工作。
60.本发明实施例所示的方法已应用于某银行自研审计科技平台，审计人员可以发起持续审计预警建模及配置功能，全行处理预警信息。通过审计人员进行图形化的建模与对应持续审计预警参数阈值配置，有效降低模型开发的技术门槛，通过灵活配置的系统间交互，节省了模型重复开发的成本，扩大了审计范围，同时提高了疑点业务或问题机构排查的
时效性，为全行前、中、后台各部门模型共享及工作协同提供了支持，有效助力公司内控合规工作。
61.本发明另一方面还涉及一种持续审计预警系统，其结构如图2所示，包括：
62.模型建立模块，用于通过审计图形化自助建模引擎进行自助建模，生成sql脚本同步传输至数据湖中执行并返回结果，建立审计预警模型；
63.参数阈值配置模块，用于根据审计预警模型确定的指标进行持续审计预警参数阈值配置；
64.计算模块，将审计预警模型和持续审计预警参数阈值配置信息同步传输至数据湖中进行计算得到第一持续审计预警数据；
65.离线加工模块，用于对第一持续审计预警数据进行离线加工获得第二持续审计预警数据；
66.信息推送模块，用于在审计科技平台完成预警提示与推送。
67.通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。
68.本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。
69.本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。
70.优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。
71.额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为lcd显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，
并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。
72.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
73.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
74.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
75.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
76.以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。