数据审计的实现方法、存储介质、电子设备及系统与流程

1.本发明属于数据处理的技术领域，涉及一种数据审计方法，特别是涉及一种数据审计的实现方法、存储介质、电子设备及系统。


背景技术：

2.数据审计追踪是一系列有关计算机操作系统、应用程序及用户操作等事件的记录，用以帮助从原始数据跟踪到有关的记录、报告或事件，或从记录、报告、时间追溯到原始数据。电子记录的审计追踪在系统和记录中均应允许复原或再现与事件相关的创建、修改和删除电子数据的过程。应保存原始输入和文档的用户id(identity document，身份证标识号)、行动时间、日期以及行动的理由。
3.现有的数据审计方式包括基于数据库安全审计实现的数据审计，该方式虽然是基于数据库进行设置，安全性和可靠性较高。但是具有如下缺点：(1)由于应用系统的账户通常不是数据库的连接账户，数据库的安全审计无法标记数据操作的应用系统账户信息。(2)依据审计追踪的需求，数据审计需要标记触发数据变动的业务原由、触发的业务动作等业务信息。如果此类信息不在当前变更的记录中时，用户则无法从数据库安全审计记录中获取此类信息。(3)实施门槛较高，需要dba(database administrator，数据库管理员)才能对审计进行设置。还包括在应用系统中通过代码实现的数据审计，该方式虽然灵活性高，可根据业务需求进行开发。但是具有如下缺点：(1)实现逻辑较为复杂。(2)生成审计数据时，需要对更新前后的数据进行比对，会有一定的性能开销。对应用系统的运行有一定的影响。(3)多应用系统共用同一个数据源或数据表时，不同应用系统中数据审计功能存在重复开发的情况。
4.因此，如何提供一种数据审计的实现方法、存储介质、电子设备及系统，以解决现有技术无法减少数据审计对应用系统的影响等缺陷，成为本领域技术人员亟待解决的技术问题。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据审计的实现方法、存储介质、电子设备及系统，用于解决现有技术无法减少数据审计对应用系统的影响的问题。
6.为实现上述目的及其他相关目的，本发明一方面提供一种数据审计的实现方法，所述数据审计的实现方法包括：获取数据变动通知；根据所述数据变动通知，获取执行数据变更的数据库会话；通过所述数据库会话获取与数据变动对应的业务信息；基于所述业务信息与数据库中的数据变动结果，生成数据变动记录；根据所述数据变动记录输出数据变更历程。
7.于本发明的一实施例中，所述获取数据变动通知的步骤包括：响应于所述数据库中存在数据变动，拦截所述数据库播发的数据变动通知。
8.于本发明的一实施例中，所述通过所述数据库会话获取与数据变动对应的业务信息的步骤包括：将所述业务信息设置于所述数据库的会话级变量中；所述业务信息包括用户信息或变更原因中的至少一种。
9.于本发明的一实施例中，所述基于所述业务信息与数据库中的数据变动结果，生成数据变动记录的步骤包括：拦截数据库中的数据变动结果；所述数据变动结果包括数据变动信息、变更时间、变更记录主键或变更记录表名中的至少一种；将所述业务信息与所述数据变动结果存放至审计框架表中；将所述审计框架表中的存放记录作为所述数据变动记录。
10.于本发明的一实施例中，所述根据所述数据变动记录输出数据变更历程的步骤包括：按照预设时间间隔由所述审计框架表中获取所述数据变动记录；根据预设审计格式，由所述数据变动记录生成所述数据变更历程。
11.于本发明的一实施例中，所述根据预设审计格式，由所述数据变动记录生成所述数据变更历程的步骤包括：按数据变动时间先后顺序，与同数据表中主键相同的数据变动记录进行比对；比对数据变动记录中数据表的字段变更前后值的差异、变动发生的业务动作、触发数据变动的业务系统账户以及变更原因中的至少一项信息；将比对结果作为所述数据变更历程。
12.于本发明的一实施例中，在所述根据所述数据变动记录输出数据变更历程的步骤之后，所述数据审计的实现方法还包括：根据所述数据变更历程输出数据审计报告；所述数据审计报告是指针对所述数据变更历程中的部分或全部信息形成的图表。
13.为实现上述目的及其他相关目的，本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据审计的实现方法。
14.为实现上述目的及其他相关目的，本发明又一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述的数据审计的实现方法。
15.为实现上述目的及其他相关目的，本发明最后一方面提供一种数据审计的实现系统，所述数据审计的实现系统包括：应用服务器、数据库服务器、数据变动收集器、数据变动记录存储服务器和作业调度服务器；所述数据库服务器分别与所述应用服务器、所述数据变动收集器通信连接；所述数据变动收集器与所述数据变动记录存储服务器通讯连接；所述数据变动记录存储服务器与所述作业调度服务器通信连接；所述应用服务器将变动的数据输入所述数据库服务器；所述数据库服务器播发数据变动通知；所述数据变动收集器获取数据变动通知；根据所述数据变动通知，获取所述数据库服务器上执行数据变更的数据库会话；所述数据变动收集器通过所述数据库会话获取与数据变动对应的业务信息，并将所述业务信息发送至所述数据变动记录存储服务器；所述数据变动记录存储服务器基于所述业务信息与数据库中的数据变动结果，生成数据变动记录；所述作业调度服务器通过定时调度获取所述数据变动记录，根据所述数据变动记录输出数据变更历程。
16.如上所述，本发明所述的数据审计的实现方法、存储介质、电子设备及系统，具有以下有益效果：
17.(1)统一通过数据变动收集器进行数据变动信息的收集，免去了应用系统开发过
程中的数据审计功能的开发工作，也避免了多应用系统共用同一个数据源时的重复开发数据审计功能工作。
18.(2)通过作业调度服务器上的定时作业生成数据变更历程和审计信息。减少了应用系统开启数据审计追踪后，所带来的额外性能开销，降低了数据审计对系统性能的影响。并为客制化审计需求的开发提供了便捷的途径。
19.(3)通过数据库会话连接将应用系统中的业务信息传递到数据变动收集器中，弥补数据库安全审计中的无法记录业务信息的不足。
附图说明
20.图1显示为本发明的数据审计的实现方法于一实施例中的原理流程图。
21.图2显示为本发明的数据审计的实现方法于一实施例中的数据变更历程输出流程图。
22.图3显示为本发明的数据审计的实现方法于一实施例中的数据变更历程生成流程图。
23.图4显示为本发明的数据审计的实现方法于一实施例中的数据审计报告输出流程图。
24.图5显示为本发明的数据审计的实现方法于一实施例中的数据审计示意图。
25.图6显示为本发明的电子设备于一实施例中的结构连接示意图。
26.图7显示为本发明的数据审计的实现系统于一实施例中的结构原理图。
27.元件标号说明
[0028]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
[0029]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
应用服务器
[0030]
12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数据库服务器
[0031]
13
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数据变动收集器
[0032]
14
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数据变动记录存储服务器
[0033]
15
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
作业调度服务器
[0034]
s11～s16
ꢀꢀꢀꢀꢀꢀꢀ
步骤
[0035]
s151～s152
ꢀꢀꢀꢀꢀ
步骤
[0036]
s152a～s152c
ꢀꢀꢀ
步骤
具体实施方式
[0037]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0038]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也
可能更为复杂。
[0039]
本发明所述的数据审计的实现方法、存储介质、电子设备及系统可以通过应用系统之外的作业调度服务器上的定时作业生成数据变更历程和审计信息，减少了应用系统开启数据审计追踪后，所带来的额外性能开销，同时也降低了数据审计对系统性能的影响。应用系统是指企业管理软件系统，包括erp(enterprise resource planning，企业资源计划)、crm(customer relationship management，客户关系管理)、hr((human resources，人力资源)、oa(office automation，办公自动化)，财务管理软件系统，进销存，合同管理软件等。
[0040]
以下将结合图1至图7详细阐述本实施例的一种数据审计的实现方法、存储介质、电子设备及系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的数据审计的实现方法、存储介质、电子设备及系统。
[0041]
所述数据审计的实现方法可以应用于不同的需要进行数据修改的业务场景，包括有关计算机操作系统、应用程序及用户操作等事件相关场景，以下以卸货港数据信息修改的业务场景为例，处理角色为码头操作人员，数据变更原因为客户原因。于实际应用中，码头操作人员打开集装箱资料管理界面，查找需要修改的箱信息。选中待修改的集装箱记录，点击修改卸货港，并填写变更原因为客户原因，然后点击保存，由此触发数据变动。
[0042]
请参阅图1，显示为本发明的数据审计的实现方法于一实施例中的原理流程图。如图1所示，所述数据审计的实现方法具体包括以下几个步骤：
[0043]
s11，获取数据变动通知。
[0044]
于一实施例中，响应于所述数据库中存在数据变动，拦截所述数据库播发的数据变动通知。
[0045]
s12，根据所述数据变动通知，获取执行数据变更的数据库会话。
[0046]
s13，通过所述数据库会话获取与数据变动对应的业务信息。
[0047]
于一实施例中，将所述业务信息设置于所述数据库的会话级变量中；所述业务信息包括用户信息或变更原因中的至少一种。
[0048]
具体地，将当前操作的系统账户信息，即用户信息设置到数据库的会话级变量sys_user_name中，将当前操作的变更原因设置到数据库的会话级变量sys_reason中，然后执行数据库更新操作。
[0049]
s14，基于所述业务信息与数据库中的数据变动结果，生成数据变动记录。
[0050]
于一实施例中，s14具体包括以下步骤：
[0051]
(1)拦截数据库中的数据变动结果；所述数据变动结果包括数据变动信息、变更时间、变更记录主键或变更记录表名中的至少一种。
[0052]
具体地，数据库更新操作完成后，数据库触发部署在数据库中的触发器。触发器作为数据变动收集器，拦截数据库传入的发生变动的记录，并将记录转换成json格式。
[0053]
需要说明的是，数据变动收集器可以有多种实现方式。例如，可以采用数据库的触发器作为数据变动收集器，也可以采用抽取数据库事务日志的方式实现数据变动收集器。
[0054]
本发明一实施例中采用触发器的方式实现数据变动收集，触发器采用统一的工具方法生成。由此，实施人员可以轻松实现审计目标和数据收集的设置，大幅度降低了实施的门槛。
[0055]
本发明另一实施例中采用抽取数据库事务日志的方式实现数据变动的收集。数据库事务日志是为了保障数据库数据的一致性和完整性。虽然不同的数据库类型对于事务日志的命名存在差异，但其核心功能还是一致的。即数据库服务器在将用户提交的数据正式回写到存储设备前，需保证已将对数据的操作先保存到事务日志中。数据库管理人员为保证数据库数据的安全，以及数据库服务器出现故障时，数据库的恢复能力。通常情况下，数据库管理员都会开启数据库的事务日志。因此，通常情况下开发人员无需额外关注数据库事务日志是否开启，也不用为其额外撰写代码。
[0056]
抽取数据库事务日志的动作在作业调度服务器上进行处理。通过预设时间间隔，例如每5分钟一次，不停的从数据库事务日志中提取数据库的操作信息。
[0057]
由于，数据库的事务日志中没有提供记录应用信息的专属栏位。为了能在收集数据变更时，收集到数据操作的应用信息。方案中采用了应用信息id的方案。在数据库会话创建时，先生成1笔应用信息记录，记录下应用用户的账户、数据变动的业务原由、业务动作等信息。
[0058]
再将记录的id通过数据库连接传递到数据库会话中。由于各数据库中可用于记录应用信息记录的id的栏位名称存在差异。此处以oracle数据库为例，采用client_id来存放应用信息记录的id。oracle数据库在事务日志生成时，会将数据库会话中的client_id信息保存到事务日志中。数据库变更收集器在从数据库中获取到事务日志后，依据日志中的数据库连接信息和数据库操作顺序生成数据变动信息，并依据应用信息记录的id获取应用信息后，将用户信息、变更原因、json格式的数据变动信息、变更时间、变更记录主键、变更记录表名存放到审计框架表audit_jn表中，使其按约定的数据结构组织在一起。
[0059]
采用事务日志收集数据变更和采用触发器收集数据变更的区别为：采用触发器收集与采用事务日志收集相比，触发器收集对数据库的性能影响较大，但能即时生成数据变动信息。事务日志能对数据库性能影响较小，但生成数据变动信息会受到数据库的运作机制和提供查询事务日志的api影响，有一定的延时。因此，对于追求应用性能体验的应用，可以采用事务日志收集。例如：企业对内业务系统。而对于需要即时查询数据变动信息的应用，可以采用触发器收集。例如：企业对外业务系统。
[0060]
(2)将所述业务信息与所述数据变动结果存放至审计框架表中。
[0061]
具体地，触发器从当前数据库连接的会话级变量中获取用户信息、变更原因。并将用户信息、变更原因、json格式的数据变动信息、变更时间、变更记录主键、变更记录表名存放到审计框架表audit_jn表中，使其按约定的数据结构组织在一起。由此，来弥补数据库安全审计缺少应用系统账户、数据变动的业务原由、业务动作等信息。
[0062]
(3)将所述审计框架表中的存放记录作为所述数据变动记录。
[0063]
具体地，将存放在审计框架表audit_jn的记录称为数据变动记录。
[0064]
于一实施例中，数据变动记录主要包含数据变动结果、触发变动的业务事件、触发变动的时间、数据库的操作、操作的应用账户、触发数据变动的数据表等信息。
[0065]
s15，根据所述数据变动记录输出数据变更历程。
[0066]
请参阅图2，显示为本发明的数据审计的实现方法于一实施例中的数据变更历程输出流程图。如图2所示，s15具体包括以下步骤：
[0067]
s151，按照预设时间间隔由所述审计框架表中获取所述数据变动记录。
[0068]
具体地，作业调度服务器上设置一个每30秒或其他合理设置的预设时间间隔执行一次的任务。该任务每30秒从audit_jn表中获取新生成的数据变动记录。
[0069]
s152，根据预设审计格式，由所述数据变动记录生成所述数据变更历程。
[0070]
请参阅图3，显示为本发明的数据审计的实现方法于一实施例中的数据变更历程生成流程图。如图3所示，s152具体包括以下步骤：
[0071]
s152a，按数据变动时间先后顺序，与同数据表中主键相同的数据变动记录进行比对。
[0072]
s152b，比对数据变动记录中数据表的字段变更前后值的差异、变动发生的业务动作、触发数据变动的业务系统账户以及变更原因中的至少一项信息。
[0073]
s152c，将比对结果作为所述数据变更历程。进一步地，所述数据变更历程可以反馈至数据变动记录存储服务器上供用户查询。
[0074]
请参阅图4，显示为本发明的数据审计的实现方法于一实施例中的数据审计报告输出流程图。如图4所示，在步骤s15之后，所述数据审计的实现方法还包括：
[0075]
s16，根据所述数据变更历程输出数据审计报告；所述数据审计报告是指针对所述数据变更历程中的部分或全部信息形成的图表。
[0076]
请参阅图5，显示为本发明的数据审计的实现方法于一实施例中的数据审计示意图。如图5所示，通过监控数据库获取数据变动结果；使用数据库会话连接将应用系统中的业务信息(系统账户、触发事件、变更原因等)传递到作为数据变动收集器的触发器中；再由数据变动收集器将数据库的数据变动结果和业务信息合并在后一起后生成数据变动记录，存放到数据变动记录存储服务器。后续再由作业调度服务器，通过定时作业将根据数据变动记录存储服务器中的信息，生成数据变更历程和数据审计报告等信息。
[0077]
本发明所述的数据审计的实现方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0078]
本实施例提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述数据审计的实现方法。
[0079]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
[0080]
请参阅图6，显示为本发明的电子设备于一实施例中的结构连接示意图。如图6所示，本实施例提供一种电子设备1，具体包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备1执行所述数据审计的实现方法的各个步骤。
[0081]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(alication specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0082]
上述的存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
[0083]
于实际应用中，所述电子设备可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以是由分布的或集中的服务器集群构成的云服务器，本实施例不作限定。
[0084]
请参阅图7，显示为本发明的数据审计的实现系统于一实施例中的结构原理图。如图7所示，本发明所述的数据审计的实现系统包括：应用服务器11、数据库服务器12、数据变动收集器13、数据变动记录存储服务器14和作业调度服务器15。其中，“数据变动记录存储服务器”指专门用于存放数据变动结果的服务器。该服务器可以是rds(relational database service，关系型数据库服务)类型数据库、nosql(not only sql，非关系型数据库)类型数据库。“作业调度服务器”指专门用于执行定时或周期任务的服务器。本发明中根据服务器的功能进行了角色划分，具体地，应用服务器11、数据库服务器12、数据变动记录存储服务器14和作业调度服务器15作为不同角色的服务器，是通过一台硬件设备执行，还是多台硬件设备执行，本发明不作限定。由此，本发明的数据审计功能，可以实现与具体的应用系统分开单独部署。
[0085]
所述数据库服务器12分别与所述应用服务器11、所述数据变动收集器13通信连接，所述数据变动收集器13与所述数据变动记录存储服务器14通信连接；所述数据变动记录存储服务器14与所述作业调度服务器15通信连接。
[0086]
所述应用服务器11将变动的数据输入所述数据库服务器12。
[0087]
所述数据库服务器12播发数据变动通知。
[0088]
所述数据变动收集器13获取数据变动通知；根据所述数据变动通知，获取执行数据变更的数据库会话。
[0089]
所述数据变动收集器13通过所述数据库会话获取与数据变动对应的业务信息，并将所述业务信息发送至所述数据变动记录存储服务器14。
[0090]
所述数据变动记录存储服务器14基于所述业务信息与数据库中的数据变动结果，生成数据变动记录。
[0091]
所述作业调度服务器15通过定时调度获取所述数据变动记录，根据所述数据变动记录输出数据变更历程。由此，本发明将数据审计中最复杂的数据比对处理，统一安排到作业调度服务器上去完成，以此来简化代码开发工作。
[0092]
本发明所述的数据审计的实现系统的原理与所述的数据审计的实现方法一一对应，本发明所述的数据审计的实现系统可以实现本发明所述的数据审计的实现方法，但本发明所述的数据审计的实现方法的实现装置包括但不限于本实施例列举的数据审计的实现系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
[0093]
综上所述，本发明所述数据审计的实现方法、存储介质、电子设备及系统统一通过数据变动收集器进行数据变动信息的收集，免去了应用系统开发过程中的数据审计功能的开发工作，也避免了多应用系统共用同一个数据源时的重复开发数据审计功能工作。通过作业调度服务器上的定时作业生成数据变更历程和审计信息。减少了应用系统开启数据审计追踪后，所带来的额外性能开销，降低了数据审计对系统性能的影响。并为客制化审计需
求的开发提供了便捷的途径。通过数据库会话连接将应用系统中的业务信息传递到数据变动收集器中，弥补数据库安全审计中的无法记录业务信息的不足。本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
[0094]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。