一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据报送处理方法及装置与流程

2021-11-05 20:23:00 来源:中国专利 TAG:


1.本公开涉及金融技术领域,特别是涉及一种数据报送处理方法、系统及装置。


背景技术:

2.随着互联网技术的迅速发展,信息安全问题正面临日益严峻的挑战。为实现安全风险防范、风险应急处理、基础设施监管以及网络安全信息化管理等目的,受监管机构(以下称为“数据报送方”)通常需要利用监管数据报送系统定期向信息安全监管机构(以下称为“数据接收方”)报送安全事件数据。
3.在实现本公开技术方案过程中,发明人发现现有的安全事件数据报送方法中,需要人工确认每种类型数据的数据源,并针对每种数据源开发用于数据解析或加工的脚本,而且当安全事件数据的数据类型增加时,还需要针对新增的数据类型重新开发新的脚本,因此现有的安全事件数据报送方法存在耗费人力资源、数据报送效率较低且可扩展性较差的问题。


技术实现要素:

4.本公开的一个方面提供了一种数据报送处理方法,包括:接收数据报送请求,所述数据报送请求指示数据报送任务中的数据接收方和数据报送方;根据与所述数据接收方关联的预设报送配置信息,在所述数据报送方的业务数据库中筛选符合所述报送配置信息的待报送目标数据;根据所述报送配置信息要求,将所述待报送目标数据报送给所述数据接收方,其中,所述报送配置信息是根据所述数据接收方的数据报送要求及所述数据报送方的业务配置情况确定的。
5.可选地,所述报送配置信息指示与数据报送接口关联的至少一个数据属性字段,以及指示所述至少一个数据属性字段与所述业务数据库间的字段映射关系,其中,所述数据报送接口用于在所述数据报送方和所述数据接收方之间实现数据传输。
6.可选地,所述根据与所述数据接收方关联的报送配置信息,在所述数据报送方的业务数据库中筛选符合所述报送配置信息的待报送目标数据,包括:根据所述报送配置信息指示的至少一个数据属性字段,以及根据所述至少一个数据属性字段与所述业务数据库间的字段映射关系,在所述业务数据库中筛选符合所述报送配置信息的目标数据属性字段;将与所述目标数据属性字段关联的数据实体集合,作为所述待报送目标数据。
7.可选地,所述业务数据库包括针对业务数据预先构建的图数据库,所述图数据库中包括与所述业务数据具有映射关系的图数据;所述图数据为基于图计算技术构建的由节点和边组成的数据结构,所述节点表征数据属性字段,不同节点之间通过所述边进行关联,所述在所述业务数据库中筛选符合所述报送配置信息的目标数据属性字段,包括:执行预设数据报送脚本,在所述图数据库中筛选与所述报送配置信息匹配的至少一个目标节点;根据与各所述目标节点关联的边结构,以及根据与所述边结构关联的子节点,确定与所述报送配置信息匹配的目标数据属性字段。
8.可选地,所述根据与各所述目标节点关联的边结构,以及根据与所述边结构关联的子节点,确定与所述报送配置信息匹配的目标数据属性字段,包括:针对任意所述目标节点,在所述图数据库中将所述目标节点作为当前节点,判断是否存在与当前节点构成边结构的一级子节点;在存在所述一级子节点的情况下,将所述一级子节点作为当前节点,判断是否存在与当前节点构成边结构的二级子节点;重复前述操作,直至判断不存在与当前节点构成边结构的下一级子节点;将与各所述目标节点及与各所述子节点关联的数据属性字段,作为与所述报送配置信息匹配的目标数据属性字段。
9.可选地,所述报送配置信息指示针对所述待报送目标数据的数据加工项;所述根据所述报送配置信息要求,将所述待报送目标数据报送给所述数据接收方,包括:根据所述报送配置信息指示的所述数据加工项,进行针对所述待报送目标数据的加工处理,得到处理后的待报送目标数据;基于预设的完整性判断机制,进行针对所述处理后的待报送目标数据的完整性校验,得到校验结果;在所述校验结果通过并且数据报送时间到期的情况下,向所述数据接收方报送所述处理后的待报送目标数据,其中,所述数据加工项包括数据拆分、数据组装、数据压缩、数据加密和数据配置中的至少之一。
10.可选地,所述数据报送请求是根据所述数据报送方发出的数据报送指令生成的,或者是根据基于预设时间间隔产生的数据报送任务的触发指令生成的。
11.本公开的另一方面提供了一种数据报送处理装置,包括:接收模块,用于接收数据报送请求,所述数据报送请求指示数据报送任务中的数据接收方和数据报送方;第一处理模块,用于根据与所述数据接收方关联的预设报送配置信息,在所述数据报送方的业务数据库中筛选符合所述报送配置信息的待报送目标数据;第二处理模块,用于根据所述报送配置信息要求,将所述待报送目标数据报送给所述数据接收方,其中,所述报送配置信息是根据所述数据接收方的数据报送要求及所述数据报送方的业务配置情况确定的。
12.可选地,所述报送配置信息指示与数据报送接口关联的至少一个数据属性字段,以及指示所述至少一个数据属性字段与所述业务数据库间的字段映射关系,其中,所述数据报送接口用于在所述数据报送方和所述数据接收方之间实现数据传输。
13.可选地,所述第一处理模块包括:第一处理子模块,用于根据所述报送配置信息指示的至少一个数据属性字段,以及根据所述至少一个数据属性字段与所述业务数据库间的字段映射关系,在所述业务数据库中筛选符合所述报送配置信息的目标数据属性字段;第二处理子模块,用于将与所述目标数据属性字段关联的数据实体集合,作为所述待报送目标数据。
14.可选地,所述业务数据库包括针对业务数据预先构建的图数据库,所述图数据库中包括与所述业务数据具有映射关系的图数据;所述图数据为基于图计算技术构建的由节点和边组成的数据结构,所述节点表征数据属性字段,不同节点之间通过所述边进行关联,所述第一处理子模块包括:第一处理单元,用于执行预设数据报送脚本,在所述图数据库中筛选与所述报送配置信息匹配的至少一个目标节点;第二处理单元,用于根据与各所述目标节点关联的边结构,以及根据与所述边结构关联的子节点,确定与所述报送配置信息匹配的目标数据属性字段。
15.可选地,所述第二处理单元包括:第一处理子单元,用于针对任意所述目标节点,在所述图数据库中将所述目标节点作为当前节点,判断是否存在与当前节点构成边结构的
一级子节点;第二处理子单元,用于在存在所述一级子节点的情况下,将所述一级子节点作为当前节点,判断是否存在与当前节点构成边结构的二级子节点;第三处理子单元,用于重复前述操作,直至判断不存在与当前节点构成边结构的下一级子节点;第四处理子单元,用于将与各所述目标节点及与各所述子节点关联的数据属性字段,作为与所述报送配置信息匹配的目标数据属性字段。
16.可选地,所述报送配置信息指示针对所述待报送目标数据的数据加工项;所述第二处理模块包括:第三处理子模块,用于根据所述报送配置信息指示的所述数据加工项,进行针对所述待报送目标数据的加工处理,得到处理后的待报送目标数据;第四处理子模块,用于基于预设的完整性判断机制,进行针对所述处理后的待报送目标数据的完整性校验,得到校验结果;第五处理子模块,用于在所述校验结果通过并且数据报送时间到期的情况下,向所述数据接收方报送所述处理后的待报送目标数据,其中,所述数据加工项包括数据拆分、数据组装、数据压缩、数据加密和数据配置中的至少之一。
17.可选地,所述数据报送请求是根据所述数据报送方发出的数据报送指令生成的,或者是根据基于预设时间间隔产生的数据报送任务的触发指令生成的。
18.本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;以及存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现本公开实施例的方法。
19.本公开的另一方面提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现本公开实施例的方法。
20.本公开的另一方面提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现本公开实施例的方法。
附图说明
21.为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中,
22.图1示意性示出了根据本公开实施例的数据报送处理方法及装置的系统架构;
23.图2示意性示出了根据本公开实施例的一种数据报送处理方法的流程图;
24.图3示意性示出了根据本公开实施例的另一数据报送处理方法的流程图;
25.图4示意性示出了根据本公开实施例的一种网络攻击数据的图数据示意图;
26.图5示意性示出了根据本公开实施例的一种确定目标数据属性字段的示意图;
27.图6示意性示出了根据本公开实施例的又一数据报送处理方法的流程图;
28.图7示意性示出了根据本公开实施例的一种网络攻击数据接口的完整性判断机制表格示意图;
29.图8示意性示出了根据本公开实施例的一种完整性校验结果通过后的待报送网络攻击数据示意图;
30.图9示意性示出了根据本公开实施例的一种数据报送处理装置的框图;
31.图10示意性示出了根据本公开实施例的电子设备的框图。
具体实施方式
32.以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性
地,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
33.在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、操作、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、操作、操作或部件。
34.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
35.在使用类似于“a、b和c等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
36.附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据报送处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
37.随着互联网技术的迅速发展,信息安全问题正面临日益严峻的挑战。为实现安全风险防范、风险应急处理、基础设施监管以及网络安全信息化管理等目的,信息安全监管机构(以下称为“数据接收方”)通常要求受监管机构(以下称为“数据报送方”)按照报送配置信息的要求,向其报送安全事件数据。
38.为使报送的安全事件数据满足报送配置信息的要求,数据报送方常引入监管数据报送系统,利用监管数据报送系统对待报送的安全事件数据进行加工处理,得到符合报送配置信息要求的安全事件数据,并将其向数据接收方报送。
39.由于安全事件数据包括多种类型的数据,现有的安全事件数据报送方法中,需要人工确认每种类型数据的数据源,并针对每种数据源开发用于数据解析或加工的脚本,这会导致耗费大量人力资源且数据报送效率较低的问题;此外,当安全事件数据的数据类型增加时,还需要针对新增的数据类型重新开发新的脚本,因此现有的安全事件数据报送方法还存在可扩展性较差的问题。
40.为了解决现有安全事件数据报送方法中存在的耗费人力资源、数据报送效率低和可扩展性差的问题,本公开实施例提供了一种数据报送处理方法,该方法通过根据与数据接收方关联的预设报送配置信息,在数据报送方的业务数据库中自动筛选符合报送配置信息的待报送目标数据,并根据报送配置信息要求,将待报送目标数据报送给数据接收方,因此,该方法无需人工确认每种类型数据的数据源,也无需针对每种数据源开发用于数据解析或加工的脚本,针对已有安全事件数据和新增安全事件数据,都能够直接从业务数据库
中直接获取相应的待报送目标数据,这使得本公开实施例能够有效节约人力资源,具有较高的数据报送效率,同时还具有较好的可扩展性。
41.本公开的实施例提供了一种数据报送处理方法以及能够应用该方法的处理装置。在本方法中,首先,接收数据报送请求,该数据报送请求指示数据报送任务中的数据接收方和数据报送方,然后,根据与数据接收方关联的预设报送配置信息,在数据报送方的业务数据库中筛选符合报送配置信息的待报送目标数据,之后,根据报送配置信息要求,将待报送目标数据报送给数据接收方,其中,报送配置信息是根据数据接收方的数据报送要求及数据报送方的业务配置情况确定的。
42.图1示意性示出了根据本公开实施例的数据报送处理方法及装置的系统架构。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
43.如图1所示,系统架构100可以包括数据报送方(图中示出了多个,如数据报送方101、102、103)、监管数据报送系统104、数据接收方(图中示出了多个,如数据接收方105、106、107)和网络108,其中,网络108为用于在数据报送方、监管数据报送系统和数据接收方之间提供通信链路的介质。网络108可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。监管数据报送系统104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或分布式系统,还可以是提供云服务、云计算、网络服务、中间件服务等基础云计算服务的云服务器。
44.监管数据报送系统104接收数据报送请求,该数据报送请求指示数据报送任务中的数据接收方(如数据接收方105、106、107)和数据报送方(如数据报送方101、102、103),然后,根据与数据接收方关联的预设报送配置信息,在数据报送方的业务数据库中筛选符合报送配置信息的待报送目标数据,之后,根据报送配置信息要求,将待报送目标数据报送给数据接收方,其中,报送配置信息是根据数据接收方的数据报送要求及数据报送方的业务配置情况确定的。
45.需要说明的是,本公开实施例的数据报送处理方法和装置可用于金融领域,也可用于除金融领域之外的任意领域。以下将结合附图和具体实施例详细阐述本公开。
46.图2示意性示出了根据本公开实施例的一种数据报送处理方法的流程图,如图2所示,方法200可以包括操作s210~s230。
47.在操作s210,接收数据报送请求,数据报送请求指示数据报送任务中的数据接收方和数据报送方。
48.接下来,在操作s220,根据与数据接收方关联的预设报送配置信息,在数据报送方的业务数据库中筛选符合报送配置信息的待报送目标数据。
49.接下来,在操作s230,根据报送配置信息要求,将待报送目标数据报送给数据接收方,其中,报送配置信息是根据数据接收方的数据报送要求及数据报送方的业务配置情况确定的。
50.下面详细说明本实施例的数据报送处理方法的各步骤的具体流程。
51.在操作s210,接收数据报送请求,数据报送请求指示数据报送任务中的数据接收方和数据报送方。
52.在本公开实施例中,具体地,数据报送请求用于触发数据报送任务,指示将数据报送方的待报送目标数据报送给数据接收方,其可以是根据数据报送方发出的数据报送指令生成的,也可以是根据基于预设时间间隔产生的数据报送任务的触发指令生成的。
53.其中,数据接收方可以是信息安全监管机构,数据报送方可以是信息安全监管机构下辖的受监管机构。示例性地,在金融领域中,数据接收方可以是具有金融信息安全监管职责的人民银行,数据报送方可以是人民银行下辖的各成员银行。
54.接下来,在操作s220,根据与数据接收方关联的预设报送配置信息,在数据报送方的业务数据库中筛选符合报送配置信息的待报送目标数据。
55.在本公开实施例中,具体地,报送配置信息指示与数据报送接口关联的至少一个数据属性字段,以及指示至少一个数据属性字段与业务数据库间的字段映射关系,其中,数据报送接口用于在数据报送方和数据接收方之间实现数据传输。数据报送接口可以是领域内常用的api接口,例如https api接口。
56.业务数据库例如可以是安全日志数据库或者应用数据库,其中存储有数据报送方的业务数据。待报送目标数据可以是业务数据中的安全事件数据,具体可以是网络攻击数据、ddos攻击数据、病毒感染数据、防病毒安装数据、恶意邮件数据、垃圾邮件数据、钓鱼网站/假冒app数据、反欺诈数据、ip信誉库数据、域名信誉库数据等安全事件数据。
57.不同的数据报送接口可以用于传输不同的安全事件数据,与数据报送接口关联的数据属性字段,用于表示经该数据报送接口进行传输的安全事件数据中应当包含的关键数据。
58.例如,对于“网络攻击数据接口”,报送配置信息指示经该数据报送接口进行传输的网络攻击数据中应当包含网络攻击的time(发生时间)、source_ip(攻击源地址)、destination_ip(攻击目的地址)、attrack_type(攻击类型)、attrack_type_sub(攻击类型细分子类)以及遭受网络攻击的应用的system_name(系统简称)、机构代码、机构名称等关键数据,则与该数据报送接口关联的数据属性字段可以包括time字段、source_ip字段、destination_ip字段、attrack_type字段、attrack_type_sub字段、system_name字段、机构代码字段和机构名称字段等字段。
59.在筛选符合报送配置信息的待报送目标数据时,可以基于各数据属性字段,根据各数据属性字段与业务数据库间的字段映射关系,在业务数据库中筛选出含有至少一个数据属性字段的安全事件数据,以作为待报送目标数据。
60.接下来,在操作s230,根据报送配置信息要求,将待报送目标数据报送给数据接收方,其中,报送配置信息是根据数据接收方的数据报送要求及数据报送方的业务配置情况确定的。
61.在本公开实施例中,具体地,报送配置信息还可以指示数据接收方的数据报送要求,在确定待报送目标数据后,可以根据报送配置信息指示的数据报送要求,对待报送目标数据进行加工处理,得到符合数据报送要求的待报送目标数据,并将其报送给数据接收方。
62.通过本公开实施例,根据与数据接收方关联的预设报送配置信息,在数据报送方的业务数据库中自动筛选符合报送配置信息的待报送目标数据,并根据报送配置信息要求,将待报送目标数据报送给数据接收方。本设计可以无需人工确认每种数据类型的数据源,无需针对每种数据源开发用于数据解析或加工的数据报送脚本,针对已有安全事件数
据和新增安全事件数据,支持直接从业务数据库中筛选符合报送配置要求的待报送目标数据,该种方式能够有效减少数据报送过程中的人力资源消耗,能够有效提升数据报送效率,改善数据报送接口的可扩展性。
63.图3示意性示出了根据本公开实施例的另一数据报送处理方法的流程图,如图3所示,操作s220可以包括操作s310~s320。
64.在操作s310,根据报送配置信息指示的至少一个数据属性字段,以及根据至少一个数据属性字段与业务数据库间的字段映射关系,在业务数据库中筛选符合报送配置信息的目标数据属性字段。
65.接下来,在操作s320,将与目标数据属性字段关联的业务数据实体集合,作为待报送目标数据。
66.下面详细说明本实施例的数据报送处理方法的各步骤的具体流程。
67.在操作s310,根据报送配置信息指示的至少一个数据属性字段,以及根据至少一个数据属性字段与业务数据库间的字段映射关系,在业务数据库中筛选符合报送配置信息的目标数据属性字段。
68.在本公开实施例中,具体地,业务数据库可以包括针对业务数据预先构建的图数据库,图数据库中包括与业务数据具有映射关系的图数据,图数据为基于图计算技术构建的由节点和边组成的数据结构,节点表征数据属性字段,不同节点之间通过边进行关联。
69.图数据库中可以包括多个图数据,图数据用于表征各类业务数据对应的各数据属性字段,每个图数据对应一类业务数据。用于构建各图数据的图计算技术可以是领域内的常用技术,例如可以是pregel、graphlab、gemini、graphchi、x

stream、flashgraph、gridgraph、mosaic等图计算技术。
70.图4示意性示出了根据本公开实施例的一种网络攻击数据的图数据示意图,如图4所示,网络攻击数据的图数据400由节点和边组成,其中,节点包括网络攻击数据对应的time字段节点、source_ip字段节点、destination_ip字段节点、attrack_type字段节点、attrack_type_sub字段节点和device字段节点,以及遭受网络攻击的应用的应用信息数据对应的system_id字段节点、server_ip字段节点和system_name字段节点。
71.在构建图数据时,对于相同类型的数据属性字段节点,还可以将这些节点与其上一级节点进行关联,其中,上一级节点用于表征这些节点对应的字段类型。例如,图4中,source_ip字段节点、destination_ip字段节点和server_ip字段节点对应的字段类型均为ip字段,因此可以将ip字段节点作为这三个节点的上一级节点,并将这三个节点分别与ip字段节点进行关联。
72.可选地,在业务数据库中筛选符合报送配置信息的目标数据属性字段时,可以执行预设数据报送脚本,在图数据库中筛选与报送配置信息匹配的至少一个目标节点,然后,根据与各目标节点关联的边结构,以及根据与边结构关联的子节点,确定与报送配置信息匹配的目标数据属性字段。
73.具体地,报送配置信息指示与数据报送接口关联的至少一个数据属性字段,执行预设数据报送脚本后,数据报送脚本能够根据报送配置信息的指示,在图数据库中筛选出与报送配置信息指示的至少一个数据属性字段对应的数据属性字段节点,并将筛选出的数据属性字段节点作为目标节点。
74.进一步地,在根据与各目标节点关联的边结构,以及根据与边结构关联的子节点,确定与报送配置信息匹配的目标数据属性字段时,可以针对任意目标节点,在图数据库中将目标节点作为当前节点,判断是否存在与当前节点构成边结构的一级子节点,并在存在一级子节点的情况下,将一级子节点作为当前节点,判断是否存在与当前节点构成边结构的二级子节点,重复前述操作,直至判断不存在与当前节点构成边结构的下一级子节点,然后,将与各目标节点及与各子节点关联的数据属性字段,作为与报送配置信息匹配的目标数据属性字段。
75.图5示意性示出了根据本公开实施例的一种确定目标数据属性字段的示意图。如图5所示,在确定示意过程500中,报送配置信息指示与“网络攻击数据接口”关联的数据属性字段包括time字段、ip字段、attrack_type字段、attrack_type_sub字段、system_name字段、机构代码字段和机构名称字段。执行数据报送脚本后,数据报送脚本根据报送配置信息的指示,在图数据库中筛选出与报送配置信息指示的至少一个数据属性字段对应的数据属性字段节点,例如time字段节点、ip字段节点、attrack_type字段节点、attrack_type_sub字段节点和system_name字段节点,并将筛选出的这些数据属性字段节点作为目标节点。
76.在确定目标数据属性字段时,针对time字段节点、attrack_type字段节点、attrack_type_sub字段节点和system_name字段节点,将这些目标节点中的任意一个作为当前节点时,图5所示图数据库中不存在与当前节点构成边结构的一级子节点,因此,将与这些目标节点关联的数据属性字段,作为与报送配置信息匹配的一部分目标数据属性字段。
77.针对ip字段节点,在将其作为当前节点时,图5所示图数据库中存在三个与当前节点构成边结构的一级子节点,分别是source_ip字段节点、destination_ip字段节点和server_ip字段节点,然后将该三个一级子节点中的任意一个作为当前节点,图5所示图数据库中不存在与当前节点构成边结构的二级子节点,因此,将与该三个一级子节点关联的数据属性字段,作为与报送配置信息匹配的另一部分目标数据属性字段。
78.通过图5所示的方法,在业务数据库中筛选出的符合报送配置信息的目标数据属性字段为time字段、source_ip字段、destination_ip字段、server_ip字段、attrack_type字段、attrack_type_sub字段和system_name字段。
79.可选地,对于报送配置信息已经指示但是图数据中不存在的数据属性字段,可以人工的方式进行补充,例如图5中报送配置信息指示的机构代码字段和机构名称字段。
80.接下来,在操作s320,将与目标数据属性字段关联的数据实体集合,作为待报送目标数据。
81.在本公开实施例中,具体地,在基于图数据筛选出符合报送配置信息的目标数据属性字段之后,根据图数据与业务数据之间的映射关系,在业务数据库中查找与各目标数据属性字段关联的数据实体,并将查找出的各数据实体组成数据实体集合,作为待报送目标数据。
82.通过本公开实施例,本公开实施例通过根据报送配置信息指示的至少一个数据属性字段,以及根据至少一个数据属性字段与业务数据库间的字段映射关系,在业务数据库中筛选符合报送配置信息的目标数据属性字段,并将与目标数据属性字段关联的业务数据实体集合,作为待报送目标数据,因此,本公开实施例能够自动从业务数据库中获取待报送
目标数据,这能够有效避免数据解析或加工脚本的重复开发工作,能够有效提升数据报送效率和数据报送方法的可扩展性。
83.图6示意性示出了根据本公开实施例的又一数据报送处理方法的流程图,如图6所示,操作s230可以包括操作s610~s630。
84.在操作s610,根据报送配置信息指示的数据加工项,进行针对待报送目标数据的加工处理,得到处理后的待报送目标数据,其中,数据加工项包括数据拆分、数据组装、数据压缩、数据加密和数据配置中的至少之一。
85.接下来,在操作s620,基于预设的完整性判断机制,进行针对处理后的待报送目标数据的完整性校验,得到校验结果。
86.接下来,在操作s630,在校验结果通过并且数据报送时间到期的情况下,向数据接收方报送处理后的待报送目标数据。
87.下面详细说明本实施例的数据报送处理方法的各步骤的具体流程。
88.在操作s610,根据报送配置信息指示的数据加工项,进行针对待报送目标数据的加工处理,得到处理后的待报送目标数据,其中,数据加工项包括数据拆分、数据组装、数据压缩、数据加密和数据配置中的至少之一。
89.在本公开实施例中,具体地,报送配置信息还可以指示针对待报送目标数据的数据加工项,其中,数据加工项包括数据拆分、数据组装、数据压缩、数据加密和数据配置中的至少之一。在确定待报送目标数据后,根据数据加工项对待报送目标数据进行加工处理,例如对待报送目标数据进行组装处理,得到处理后的待报送目标数据。
90.接下来,在操作s620,基于预设的完整性判断机制,进行针对处理后的待报送目标数据的完整性校验,得到校验结果。
91.在本公开实施例中,具体地,完整性判断机制用于判断处理后的待报送目标数据是否符合对应数据报送接口的标准要求,针对不同的数据报送接口,可以设置不同的完整性判断机制。
92.其中,完整性判断机制例如可以包括字段英文名称、字段名称、字段类型、长度、是否必上报等判断项,当处理后的待报送目标数据均符合各判断项的要求后,确认完整性校验结果通过。图7示意性示出了根据本公开实施例的一种网络攻击数据接口的完整性判断机制表格示意图,图8示意性示出了根据本公开实施例的一种完整性校验结果通过后的待报送网络攻击数据示意图。
93.接下来,在操作s630,在校验结果通过并且数据报送时间到期的情况下,向数据接收方报送处理后的待报送目标数据。
94.在本公开实施例中,具体地,在确认针对处理后的待报送目标数据的完整性校验结果通过后,按照数据报送任务设置的数据报送时间,通过对应数据报送接口,向数据接收方报送处理后的待报送目标数据。
95.通过本公开实施例,通过根据报送配置信息指示的数据加工项,进行针对待报送目标数据的加工处理,得到处理后的待报送目标数据,并基于预设的完整性判断机制,进行针对处理后的待报送目标数据的完整性校验,得到校验结果,然后在校验结果通过并且数据报送时间到期的情况下,向数据接收方报送处理后的待报送目标数据。在本公开实施例中,由于针对待报送目标数据的加工处理以及针对处理后的待报送目标数据的完整性校验
均是根据报送配置信息的指示来进行的,这能够有效确保处理后的待报送目标数据与对应数据报送接口的匹配度,从而使得能够顺利向数据接收方报送处理后的待报送目标数据,这能够显著提升数据报送的效率和准确性。
96.图9示意性示出了根据本公开实施例的一种数据报送处理装置的框图。
97.如图9所示,装置900包括接收模块901、第一处理模块902和第二处理模块903。
98.其中,接收模块901,用于接收数据报送请求,数据报送请求指示数据报送任务中的数据接收方和数据报送方;第一处理模块902,用于根据与数据接收方关联的预设报送配置信息,在数据报送方的业务数据库中筛选符合报送配置信息的待报送目标数据;第二处理模块903,用于根据报送配置信息要求,将待报送目标数据报送给数据接收方,其中,报送配置信息是根据数据接收方的数据报送要求及数据报送方的业务配置情况确定的。
99.通过本公开实施例,根据与数据接收方关联的预设报送配置信息,在数据报送方的业务数据库中自动筛选符合报送配置信息的待报送目标数据,并根据报送配置信息要求,将待报送目标数据报送给数据接收方。本设计可以无需人工确认每种数据类型的数据源,无需针对每种数据源开发用于数据解析或加工的数据报送脚本,针对已有安全事件数据和新增安全事件数据,支持直接从业务数据库中筛选符合报送配置要求的待报送目标数据,该种方式能够有效减少数据报送过程中的人力资源消耗,能够有效提升数据报送效率,改善数据报送接口的可扩展性。
100.作为一种可行的方式,报送配置信息指示与数据报送接口关联的至少一个数据属性字段,以及指示至少一个数据属性字段与业务数据库间的字段映射关系,其中,数据报送接口用于在数据报送方和数据接收方之间实现数据传输。
101.作为一种可行的方式,第一处理模块包括:第一处理子模块,用于根据报送配置信息指示的至少一个数据属性字段,以及根据至少一个数据属性字段与业务数据库间的字段映射关系,在业务数据库中筛选符合报送配置信息的目标数据属性字段;第二处理子模块,用于将与目标数据属性字段关联的数据实体集合,作为待报送目标数据。
102.作为一种可行的方式,业务数据库包括针对业务数据预先构建的图数据库,图数据库中包括与业务数据具有映射关系的图数据;图数据为基于图计算技术构建的由节点和边组成的数据结构,节点表征数据属性字段,不同节点之间通过边进行关联,第一处理子模块包括:第一处理单元,用于执行预设数据报送脚本,在图数据库中筛选与报送配置信息匹配的至少一个目标节点;第二处理单元,用于根据与各目标节点关联的边结构,以及根据与边结构关联的子节点,确定与报送配置信息匹配的目标数据属性字段。
103.作为一种可行的方式,第二处理单元包括:第一处理子单元,用于针对任意目标节点,在图数据库中将目标节点作为当前节点,判断是否存在与当前节点构成边结构的一级子节点;第二处理子单元,用于在存在一级子节点的情况下,将一级子节点作为当前节点,判断是否存在与当前节点构成边结构的二级子节点;第三处理子单元,用于重复前述操作,直至判断不存在与当前节点构成边结构的下一级子节点;第四处理子单元,用于将与各目标节点及与各子节点关联的数据属性字段,作为与报送配置信息匹配的目标数据属性字段。
104.作为一种可行的方式,报送配置信息指示针对待报送目标数据的数据加工项;第二处理模块包括:第三处理子模块,用于根据报送配置信息指示的数据加工项,进行针对待
报送目标数据的加工处理,得到处理后的待报送目标数据;第四处理子模块,用于基于预设的完整性判断机制,进行针对处理后的待报送目标数据的完整性校验,得到校验结果;第五处理子模块,用于在校验结果通过并且数据报送时间到期的情况下,向数据接收方报送处理后的待报送目标数据,其中,数据加工项包括数据拆分、数据组装、数据压缩、数据加密和数据配置中的至少之一。
105.作为一种可行的方式,数据报送请求是根据数据报送方发出的数据报送指令生成的,或者是根据基于预设时间间隔产生的数据报送任务的触发指令生成的。
106.需要说明的是,在本公开实施例中,装置部分的实施方式与方法部分的实施方式相同或类似,在此不再赘述。
107.根据本公开的实施例的模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者根据本公开实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
108.例如,接收模块901、第一处理模块902和第二处理模块903中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,接收模块901、第一处理模块902和第二处理模块903中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。接收模块901、第一处理模块902和第二处理模块903中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
109.图10示意性示出了适于实现根据本公开实施例的处理方法和处理装置的电子设备1000的方框图。图10示出的电子设备1000仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
110.如图10所示,根据本公开实施例的电子设备1000包括处理器1001,其可以根据存储在只读存储器(rom)1002中的程序或者从存储部分1008加载到随机访问存储器(ram)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(asic)),等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
111.在ram 1003中,存储有电子设备1000操作所需的各种程序和数据。处理器1001、rom 1002以及ram 1003通过总线1004彼此相连。处理器1001通过执行rom 1002和/或ram 1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,程序也可以存
储在除rom 1002和ram 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
112.根据本公开的实施例,电子设备1000还可以包括输入/输出(i/o)接口1005,输入/输出(i/o)接口1005也连接至总线1004。电子设备1000还可以包括连接至i/o接口1005的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
113.根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
114.本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
115.根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd

rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的rom 1002和/或ram 1003和/或rom 1002和ram 1003以外的一个或多个存储器。
116.本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行本公开实施例所提供的方法的程序代码,当计算机程序产品在电子设备上运行时,该程序代码用于使电子设备实现本公开实施例所提供的用于文件上传漏洞的检测方法。
117.在该计算机程序被处理器1001执行时,执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
118.在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1009被下载和安装,和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述
的任意合适的组合。
119.根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java,c ,python,“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
120.附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
121.以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献