一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据处理方法以及装置与流程

2023-01-17 13:58:42 来源:中国专利 TAG:


1.本说明书实施例涉及计算机技术领域,特别涉及数据处理方法。


背景技术:

2.对于第三方开发的项目,第三方可以将这些项目的源代码上传至第三方数据库,其他开发人员可以从第三方数据库中下载这些源代码并使用,并且后续能够对这些源代码进行修改完善,以实现源代码的开放和共享。
3.然而,针对第三方数据库,可能会存在攻击者向第三方数据库中上传恶意源代码,这些恶意源代码在被开发人员下载、编译或安装过程中会攻击开发人员的系统,进而造成损失。因此,亟需一种有效的技术方案解决上述问题。


技术实现要素:

4.有鉴于此,本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置,一种数据处理系统,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面,提供了一种数据处理方法,应用于数据使用方,包括:
6.从第三方数据库获取目标数据,并对所述目标数据进行解析,获得解析结果,其中,所述目标数据为数据提供方存储至所述第三方数据库的数据;
7.在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至预先创建的目标数据库。
8.根据本说明书实施例的第二方面,提供了一种数据处理装置,应用于数据使用方,包括:
9.解析模块,被配置为从第三方数据库获取目标数据,并对所述目标数据进行解析,获得解析结果,其中,所述目标数据为数据提供方存储至所述第三方数据库的数据;
10.存储模块,被配置为在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至预先创建的目标数据库。
11.根据本说明书实施例的第三方面,提供了一种数据处理系统,应用于数据使用方,所述数据使用方包括客户端和服务端,其中,
12.所述服务端被配置为,从第三方数据库获取目标数据,并对所述目标数据进行解析,获得解析结果;在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至预先创建的目标数据库,其中,所述目标数据为数据提供方存储至所述第三方数据库的数据;
13.所述客户端被配置为,发送针对所述目标数据的下载请求至所述服务端;
14.所述服务端还被配置为,根据所述下载请求,从所述目标数据库中获取所述目标数据并发送至所述客户端,并生成所述客户端对应的下载记录。
15.根据本说明书实施例的第四方面,提供了一种计算设备,包括:
16.存储器和处理器;
17.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
18.根据本说明书实施例的第五方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述数据处理方法的步骤。
19.根据本说明书实施例的第六方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据处理方法的步骤。
20.本说明书一个实施例提供了一种数据处理方法,应用于数据使用方,从第三方数据库获取目标数据,并对所述目标数据进行解析,获得解析结果,其中,所述目标数据为数据提供方存储至所述第三方数据库的数据;在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至预先创建的目标数据库。
21.上述方法通过预先创建目标数据库,先对从第三方数据库获取的目标数据进行解析,获得解析结果,在根据解析结果确定目标数据满足预设数据处理条件的情况下,将这些目标数据存储至目标数据库中,使得开发人员在下载目标数据时,可以直接访问内部创建的目标数据库进行下载,并且,下载的是满足预设数据处理条件、即解析通过确定不存在恶意攻击的目标数据,实现了对目标数据的检测,保障了开发人员下载的目标数据的安全性和可靠性,进而避免存在恶意攻击的目标数据被开发人员下载使用,进而避免损失。
附图说明
22.图1是本说明书一个实施例提供的一种数据处理方法的具体应用场景示意图;
23.图2是本说明书一个实施例提供的一种数据处理方法的流程图;
24.图3是本说明书一个实施例提供的一种数据处理方法的处理过程流程图;
25.图4是本说明书一个实施例提供的一种数据处理方法的交互过程流程图;
26.图5是本说明书一个实施例提供的一种数据处理装置的结构示意图;
27.图6是本说明书一个实施例提供的一种数据处理系统的结构示意图;
28.图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
29.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
30.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
31.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分
开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
32.首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
33.三方包:企业之外的开源库存储的第三方上传的开放源代码。
34.源代码:也称源程序,是指未编译的按照一定的程序设计语言规范书写的文本文件,是一系列人类可读的计算机语言指令。
35.三方包投毒:植入恶意木马到三方包中,并且上传到公开官方源中,诱导受害者安装导致黑客入侵。
36.恶意木马:木马病毒是计算机黑客用于远程控制计算机的程序,将控制程序寄生于被控制的计算机系统中,里应外合,对被感染木马病毒的计算机实施操作。一般的木马病毒程序主要是寻找计算机后门,伺机窃取被控计算机中的密码和重要文件等。可以对被控计算机实施资料修改等非法操作。木马病毒具有很强的隐蔽性,可以根据黑客意图突然发起攻击。
37.语法树:静态扫描中的一种扫描技术,可以将代码抽象成树的结构,以便后续用于语义识别。
38.静态扫描:可以理解为不运行程序,通过扫描源代码的方式检查漏洞。
39.沙箱:又叫沙盘,是一个虚拟系统程序,允许你在沙盘环境中运行浏览器或其他程序,因此运行所产生的变化可以随后删除。它创造了一个类似沙盒的独立作业环境,在其内部运行的程序并不能对硬盘产生永久性的影响。在网络安全中,沙箱指在隔离环境中,用以测试不受信任的文件或应用程序等行为的工具。
40.实际应用中,针对供应链三方包投毒攻击越来越多,攻击者经常构造恶意代码的三方包上传对应的官方源中,诱导受害人下载这种恶意包。
41.目前常见的防护手段都是订阅情报,第一时间发现了恶意包,然后排查是否有应用使用这种恶意包。具体的,可以通过巡检排查方案实现,通过订阅公开的情报,发现了新的恶意三方包,可以通过内部静态代码扫描、主机资产采集判断等手段确定是否使用这个恶意包,如果发现存在这种恶意包则需要紧急止血升级来保证安全性。
42.然而,这种防护手段过度依赖外部情报,在外部情报感知较慢的情况下可能会导致恶意包的检测过慢,可能会出现在外部情报感知到恶意包之前就已经下载了这个恶意包;并且,内部静态扫描、主机资产采集手段本身覆盖率较低,导致后续使用这些手段扫描恶意包时就会存在遗漏。以及,开发人员在办公网使用这种恶意包,没办法做到相应止血卡点,只能等到研发出代码,根据该代码推算到测试生产才能感知,此时恶意包中的恶意木马可能已经入侵到了办公网,从而造成损失。因此,亟需一种有效的技术方案解决上述问题。
43.在本说明书中,提供了一种数据处理方法,本说明书同时涉及一种数据处理装置,一种数据处理系统,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
44.参见图1,图1示出了根据本说明书一个实施例提供的一种数据处理方法的具体应用场景示意图。
45.图1包含第三方数据库102、数据使用方的服务端104和目标数据库106。其中,第三
方数据库102是在数据使用方外部的数据库,数据使用方可以从第三方数据库102获取目标数据并进行安装编译。数据使用方的服务端104创建了目标数据库106,用于存储满足预设数据处理条件的目标数据。
46.具体实施时,数据使用方的服务端可以从第三方数据库获取目标数据,并对目标数据进行解析扫描,根据获得的解析结果可以确定目标数据中是否存在被恶意植入的木马病毒,从而确定从第三方数据库获取的目标数据是否满足预设数据处理条件,并将满足预设数据处理条件的目标数据存储至目标数据库中,便于数据使用方的客户端从目标数据库中下载目标数据,实现了对外部获取的数据的安全检测,将通过安全检测的目标数据存储至目标数据库,保障了数据使用方的客户端下载的目标数据都是安全的数据。
47.如图1所示,数据使用方的服务端104可以从第三方数据库102下载数据包,并对该数据包进行安全扫描,将安全扫描通过的数据包作为满足预设数据处理条件的数据包,安全扫描通过说明数据包中不存在被恶意植入的木马病毒,是安全的数据包,并将该数据包存储至目标数据库106中。实现了对外部获取的数据的安全检测。
48.参见图2,图2示出了根据本说明书一个实施例提供的一种数据处理方法的流程图,具体包括以下步骤。
49.步骤202:从第三方数据库获取目标数据,并对所述目标数据进行解析,获得解析结果,其中,所述目标数据为数据提供方存储至所述第三方数据库的数据。
50.具体的,本说明书实施例提供的数据处理方法可以应用于数据使用方,具体可以应用于数据使用方的服务端,数据使用方可以理解为任何需要使用第三方数据库中的目标数据的人员,比如可以是企业中的开发人员。数据提供方可以理解为将目标数据上传至第三方数据库的一方。需要说明的是,数据使用方也可以是数据提供方,其也可以将自己开发的项目数据上传至第三方数据库;相应地,数据提供方也可以是数据使用方,其也可以从第三方数据库中下载其他项目数据。
51.为了便于理解,本说明书实施例中均以该数据处理方法应用于项目源代码为例进行详细介绍,但是不影响该数据处理方法应用于其它可实施场景的实现。
52.其中,第三方数据库可以理解为用于存储目标数据的数据库,并且,数据使用方和数据提供方均可以将自己开发的目标数据上传至第三方数据库,也可以从第三方数据库获取目标数据。第三方数据库可以是开放源代码库,其中存储有开放的源代码。需要说明的是,对于数据使用方来说,第三方数据库指的是数据使用方外部的数据库,也即是说,是企业外部的数据库,比如可信任方数据库。目标数据可以理解为存储于第三方数据库中的数据,目标数据可以是三方包,三方包中包含程序代码,这种程序代码可以是开放的源代码,数据使用方获取这种开放的源代码之后,可以对这种源代码进行修改完善。
53.基于此,数据使用方的服务端可以从数据使用方外部的第三方数据库中获取目标数据,并对目标数据进行解析,获得解析结果。
54.以企业a从开放源代码库获取源代码为例,企业a的服务端可以从开放源代码库中获取三方包,并对三方包进行解析,获得解析结果。
55.具体实施时,由于一个项目的源代码内容较多,数据提供方在上传该项目的源代码时,通常会将这些源代码压缩成三方包进行上传,数据使用方在对下载的目标数据进行解析时,为了便于后续的安全扫描,需要先对目标数据进行解压处理,具体实现方式如下:
56.对所述目标数据进行解压处理,得到解压后的目标数据;
57.对所述解压后的目标数据进行扫描,获得解析结果。
58.具体的,在获取目标数据之后,可以先对获取的目标数据进行解压处理,得到解压后的目标数据;再对解压后的目标数据进行扫描,获得解析结果,以实现对目标数据的解析。
59.沿用上例,可以对从开放源代码库中获取的三方包进行解压,得到解压后的源代码,对解压后的源代码进行扫描,获得解析结果。
60.综上,通过对目标数据进行解压,便于后续对数据的扫描,进一步提升后续扫描结果的准确度和全面性,并且,对获取的目标数据进行安全扫描,能够第一时间发现是否存在恶意数据的情况,安全扫描时效更快,进而保证下载至数据使用方的目标数据都是安全的。
61.实际应用中,在对解压后的目标数据进行扫描时,可以通过静态扫描方法,扫描目标数据的数据特征是否存在恶意特征,其中,恶意特征可以理解为恶意木马对应的特征。在静态扫描的过程中,可以选用正则匹配方法对解压后的目标数据进行扫描,具体实现方式如下:
62.遍历扫描所述解压后的目标数据,确定所述解压后的目标数据的数据特征;
63.将所述解压后的目标数据的数据特征,与预设正则匹配列表中包含的参考数据特征进行匹配,获得匹配结果;
64.其中,目标数据的数据特征可以理解为数据的类型和规则等特征,比如在目标数据为程序代码的情况下,目标数据的数据特征可以理解为代码特征,代码特征可以理解为对代码进行抽象处理得到的规则,这种代码特征可以用于表示单个代码的特征,比如代码的参数特征等。预设正则匹配列表可以理解为预先设置的正则匹配列表,其中存储有参考数据特征;参考数据特征可以理解为对恶意代码进行抽象处理得到的规则,恶意代码可以理解为恶意木马病毒等具有攻击性的代码。
65.基于此,可以对解压后的目标数据进行遍历扫描,得到解压后的目标数据的数据特征,并将这些数据特征与预先设置的正则匹配列表中存储的参考数据特征进行匹配,获得目标数据的数据特征与参考数据特征是否匹配的匹配结果。
66.沿用上例,通过解压后得到的源代码进行遍历扫描,确定解压后的源代码的代码特征,将代码特征与预设正则匹配列表中包含的参考数据特征进行匹配,获得代码特征与参考数据特征是否匹配的匹配结果。
67.综上,通过正则匹配方法对解压后的目标数据进行扫描,并将扫描得到的数据特征和预设正则匹配列表中的参考数据特征进行匹配,实现了对解压后的目标数据是否存在恶意代码的检测,并且,在发现新的恶意代码的情况下,可以直接将该新的恶意代码的代码特征存储至预设的正则匹配列表中,作为参考数据特征与目标数据的数据特征进行匹配,实现对恶意代码的代码特征的动态添加,为后续扫描提供全面参考依据,进一步提升检测的全面性。
68.此外,考虑到对代码传播链路的检测,在对解压后的目标数据进行扫描时,还可以通过语法树扫描方法对解压后的目标数据进行扫描,具体实现方式如下:
69.根据语法树扫描方法对所述解压后的目标数据进行扫描,生成所述目标数据对应的语法树;
70.根据语义分析方法对所述语法树进行分析,得到所述目标数据对应的传播链路;
71.扫描所述传播链路,获得所述传播链路的链路特征,将所述传播链路的链路特征与预设的参考链路特征进行对比,获得第一对比结果。
72.其中,传播链路可以理解为目标数据的运行逻辑。目标数据可以包含至少两个传播链路。传播链路的链路特征可以理解为数据的运行逻辑的特征,在目标数据为程序代码的情况下,传播链路的链路特征可以理解为程序代码运行时的核心逻辑和整体语境,比如可以是代码对应的具体的类和方法。语法树可以理解为用于表示数据之间调用关系的树结构。语义分析方法可以理解为对数据之间的调用关系、上下文关系进行分析的方法。
73.此外,预设的参考链路特征可以包括恶意链路特征和程序入口特征,程序入口特征可以理解为程序代码运行的入口点的特征,程序代码只有在存在入口点时才会实现对程序代码的运行,也即是说,若不存在程序入口特征,即使存在恶意链路特征,存在恶意链路特征的程序代码也不会运行。因此,在将传播链路的链路特征与预设的参考链路特征进行对比时,需要对恶意链路特征和程序入口特征都进行比对。
74.恶意链路特征可以理解为对恶意代码的运行逻辑抽象处理得到的规则。需要说明的是,预设的参考数据特征和预设的参考链路特征都是对恶意代码进行抽象处理得到的特征,但是预设的参考数据特征相比于预设的参考链路特征,还考虑到了数据的参数特征,因此,预设的参考数据特征的范围要比预设的参考链路特征的范围大。
75.基于此,可以利用语法树扫描方法对解压后的目标数据进行扫描,根据目标数据之间的调用关系,生成目标数据对应的语法树;再对语法树进行遍历,利用语义分析方法分析目标数据之间的调用关系和上下文关系,从而得到目标数据包含的所有传播链路。对所有传播链路进行扫描,获得每个传播链路对应的链路特征,将每个传播链路对应的链路特征与预设的恶意特征和程序入口特征进行对比,获得传播链路中是否存在恶意特征和程序入口特征的第一对比结果。
76.沿用上例,可以利用语法树扫描方法对解压后得到的源代码进行扫描,根据源代码之间的调用关系,生成源代码对应的语法树;再对语法树进行遍历,利用语义分析方法分析源代码之间的调用关系和上下文关系,从而得到源代码包含的所有传播链路。对所有传播链路进行扫描,获得每个传播链路对应的链路特征,将每个传播链路对应的链路特征与预设的恶意特征和程序入口特征进行对比,获得传播链路中是否存在恶意特征和程序入口特征的第一对比结果。
77.综上,通过静态扫描方法中的语法树扫描方法可以将代码与运行逻辑自动化列举出来,进而替代人工扫描,减少人工成本。
78.并且,为了进一步提升安全扫描的准确性和全面性,还能够对解压后的目标数据进行动态扫描,具体实现方式如下:
79.根据虚拟系统程序,运行所述解压后的目标数据,获得所述目标数据对应的运行行为;
80.将所述目标数据对应的运行行为与预设的参考运行行为进行对比,获得第二对比结果。
81.其中,虚拟系统程序可以理解为用于对数据进行测试的程序,比如可以是沙箱。目标数据对应的运行行为可以理解为目标数据在运行过程中执行的操作行为,比如目标数据
在运行过程中执行的文件访问操作、网络访问操作和命令执行行为等。预设的参考运行行为可以理解为预先设置的恶意运行行为,比如恶意网络行为、恶意的命令执行行为和恶意的文件访问行为等。
82.基于此,可以利用沙箱运行解压后的目标数据,获得目标数据在运行过程中执行的操作行为,将这些操作行为与预设的恶意运行行为进行对比,获得操作行为与预设的恶意运行行为是否一致的第二对比结果。
83.沿用上例,可以利用沙箱运行解压后得到的源代码,获得源代码在运行过程中执行的文件访问操作、网络访问操作,将源代码在运行过程中执行的文件访问操作和网络访问操作与预先设置的恶意运行行为进行对比,确定其是否一致,从而得到第二对比结果。
84.综上,通过沙箱对解压后的目标数据进行动态扫描,能够实现对解压后的目标数据的测试,进而确定其在运行过程中是否存在恶意运行行为,实现对解压后的目标数据的安全检测。
85.具体实施时,为了进一步提升安全扫描的准确度全面性,并减少遗漏率和误报率,还可以采用静态扫描和动态扫描结合的方法,对解压后的目标数据进行扫描,可以通过静态扫描中的正则匹配方法和动态扫描中的沙箱结合,具体实现方式如下:
86.将解压后的目标数据的数据特征,与预设正则匹配列表中包含的参考数据特征进行匹配,获得匹配结果;
87.根据虚拟系统程序运行所述解压后的目标数据,获得所述目标数据对应的运行行为;
88.将所述目标数据对应的运行行为,与预设的参考运行行为进行对比,获得第二对比结果;
89.根据所述匹配结果和所述第二对比结果,确定解析结果。
90.可以理解的是,该方法与前述正则匹配方法和动态扫描方法的实现方式相同,在此不再重复赘述。
91.此外,还可以通过静态扫描中的语法树扫描方法和动态扫描中的沙箱结合,具体实现方式如下:
92.根据语法树扫描方法对所述解压后的目标数据进行扫描,得到所述目标数据对应的传播链路;
93.将所述传播链路的链路特征,与预设的参考链路特征进行对比,获得第一对比结果;
94.根据虚拟系统程序运行所述解压后的目标数据,获得所述目标数据对应的运行行为;
95.将所述目标数据对应的运行行为,与预设的参考运行行为进行对比,获得第二对比结果;
96.根据所述第一对比结果和所述第二对比结果,确定解析结果。
97.可以理解的是,该方法与前述语法树扫描方法和动态扫描方法的实现方式相同,在此不再重复赘述。
98.此外,还可以同时采用正则匹配方法、语法树扫描方法和动态扫描方法对解压后的目标数据进行扫描。
99.综上,通过上述正则匹配方法、语法树扫描方法和动态扫描方法中的任意两种或三种的结合,能够实现对解压后的目标数据进行安全扫描的全面性,从而减少误报率和遗漏率,提升安全扫描的准确率。
100.实际应用中,数据使用方的服务端在从第三方数据库获取目标数据之前,可以预先创建目标数据库,并且,其预先创建的目标数据库中可以包括第一存储单元和第二存储单元,第一存储单元可以用于对获取的目标数据进行解析,第二存储单元可以用于将根据解析结果确定扫描通过不存在恶意攻击的目标数据存储至第二存储单元,数据使用方的客户端可以访问目标数据库的第二存储单元下载安全扫描通过的目标数据,具体实现方式如下:
101.从第三方数据库获取目标数据,将所述目标数据存储至所述目标数据库的第一存储单元,在所述第一存储单元对所述目标数据进行解析,获得解析结果。
102.具体的,数据使用方的服务端在创建目标数据库时,可以基于数据使用方的目标网络创建目标数据库。
103.其中,目标网络可以理解为数据使用方的网络,比如可以是办公网、生产网和测试网。
104.沿用上例,企业a的服务端创建目标数据库时,可以在企业a的企业网络创建目标数据库。
105.此外,还可以对数据使用方的目标网络进行网络隔离,使数据使用方的客户端只能通过目标数据库对目标数据进行下载、安装和编译,数据使用方的客户端不能直接访问第三方数据库,能够保证数据使用方的客户端下载的目标数据都是满足预设数据处理条件、即扫描通过的。
106.综上,通过预先创建目标数据库,能够实现将从第三方数据库获取的目标数据进行扫描并将扫描通过的目标数据存储至目标数据库,使数据使用方的客户端访问目标网络中的目标数据库,即可获取目标数据库中的安全扫描通过的目标数据,保障了数据使用方的客户端下载的目标数据的安全性。
107.步骤204:在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至预先创建的目标数据库。
108.具体的,在对从第三方数据库获取的目标数据进行解析,得到解析结果之后,在根据解析结果确定该目标数据满足预设数据处理条件的情况下,说明对该目标数据的扫描通过,该目标数据中不存在恶意数据,可以将该目标数据存储至预先创建的目标数据库。
109.其中,预设数据处理条件可以理解为目标数据中不存在恶意数据,恶意数据可以理解为被植入恶意木马会产生恶意攻击的数据。
110.基于此,在根据解析结果确定目标数据中不存在恶意数据的情况下,说明该目标数据是安全的,将该目标数据存储至预先创建的目标数据库。
111.具体实施时,在利用正则匹配方法对解压后的目标数据进行扫描,获得匹配结果之后,在匹配结果为不匹配的情况下,说明解压后的目标数据中不存在恶意特征,也即是说,解压后的目标数据是安全的,将该目标数据存储至目标数据库,具体实现方式如下:
112.在根据所述匹配结果确定所述解压后的目标数据的数据特征,与所述预设正则匹配列表中包含的参考数据特征不匹配的情况下,确定所述目标数据满足预设数据处理条
件,并将所述目标数据存储至预先创建的目标数据库。
113.相应地,在匹配结果为匹配的情况下,说明解压后的目标数据中存在恶意特征,删除该目标数据。
114.在利用语法树扫描方法对解压后的目标数据进行扫描,获得第一对比结果之后,在第一对比结果为传播链路的链路特征与预设的参考链路特征不一致的情况下,说明传播链路的链路特征不包含预设的参考链路特征,说明该目标数据中不存在恶意特征,也即是说,解压后的目标数据是安全的,将该目标数据存储至目标数据库,具体实现方式如下:
115.在根据所述第一对比结果确定所述传播链路的链路特征不包含所述预设的参考链路特征的情况下,确定所述目标数据满足预设数据处理条件,并将所述目标数据存储至预先创建的目标数据库。
116.相应地,在第一对比结果为传播链路的链路特征与预设的参考链路特征一致的情况下,说明解压后的目标数据中存在恶意特征,删除该目标数据。
117.在对解压后的目标数据进行动态扫描,获得第二对比结果之后,在第二对比结果为目标数据对应的运行行为和预设的参考运行行为不一致的情况下,说明目标数据对应的运行行为不包含预设的参考运行行为,说明目标数据在运行过程中不会执行恶意运行行为,也就能够说明该目标数据中不存在恶意特征,此时说明目标数据是安全的,将该目标数据存储至目标数据库,具体实现方式如下:
118.在根据所述第二对比结果确定所述目标数据对应的运行行为不包含所述预设的参考运行行为的情况下,确定所述目标数据满足预设数据处理条件,并将所述目标数据存储至预先创建的目标数据库。
119.相应地,在第二对比结果为目标数据对应的运行行为和预设的参考运行行为一致的情况下,说明目标数据对应的运行行为包含预设的参考运行行为,说明解压后的目标数据中存在恶意特征,删除该目标数据。
120.并且,在采用静态扫描和动态扫描结合的方法扫描解压后的目标数据时,在匹配结果和第二对比结果都表明解压后的目标数据不存在恶意特征的情况下,或者在第一对比结果和第二对比结果都表明解压后的目标数据不存在恶意特征的情况下,或者匹配结果、第一对比结果和第二对比结果都表明解压后的目标数据不存在恶意特征的情况下,才说明该解压后的目标数据扫描通过。
121.综上,通过动态扫描和静态扫描结合、以及静态扫描中的不同方法结合对解压后的目标数据进行扫描,能够提升安全扫描的准确率,减少误报率和遗漏率。
122.此外,由于数据使用方的服务端预先创建的目标数据库中包含第一存储单元和第二存储单元,其中,可以在第一存储单元对获取的目标数据进行解析,对解析满足预设数据处理条件的目标数据可以存储至第二存储单元,具体实现方式如下:
123.在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至所述目标数据库的第二存储单元。
124.实际应用中,数据使用方的服务端将满足预设数据处理条件的目标数据存储至预先创建的目标数据库之后,数据使用方的客户端可以从目标数据库中下载该目标数据并使用,具体实现方式如下:
125.接收所述数据使用方的客户端发送的针对所述目标数据的下载请求,从所述目标
数据库中获取所述目标数据并发送至所述客户端,并生成所述客户端对应的下载记录。
126.其中,客户端对应的下载记录可以理解为客户端的下载时间和客户端的网络地址。
127.基于此,在接收到客户端发送的针对目标数据的下载请求后,服务端可以从目标数据库中获取目标数据并发送至客户端,并且记录客户端的下载时间和网络地址。
128.综上,通过生成客户端对应的下载记录,可以便于后续发现问题时的应急排查,可以保障及时且精准判断影响面,减少遗漏。
129.具体的,还可以通过订阅外部情报,对目标数据进行进一步监测,当订阅的外部情报发现目标数据存在恶意数据的情况下,及时从目标数据库中删除该目标数据,并根据下载记录向客户端发送通知,具体实现方式如下:
130.接收第三方发送的、针对所述目标数据的检测结果;
131.在根据所述检测结果确定所述目标数据不满足预设数据处理条件的情况下,将所述目标数据从所述目标数据库中删除,并根据所述下载记录向所述客户端发送通知信息。
132.其中,第三方发送的、针对所述目标数据的检测结果可以理解为数据使用方订阅的外部情报,第三方通常会对第三方数据库中的目标数据进行检测,在检测出现漏洞和恶意数据时,向订阅了外部情报的数据使用方发送情报。
133.基于此,可以根据订阅的外部情报,确定目标数据存在恶意数据的情况下,将目标数据从目标数据库中删除,并根据下载记录向下载过该目标数据的客户端发送通知信息。
134.综上,通过订阅外部情报,能够实现对通过安全扫描、存储至目标数据库的目标数据的二次检测,减少由于内部目标数据扫描出现异常导致存在恶意数据的目标数据通过扫描存储至目标数据库导致的影响,进一步减少遗漏率和误报率。
135.综上所述,上述方法通过预先创建目标数据库,先对从第三方数据库获取的目标数据进行解析,获得解析结果,在根据解析结果确定目标数据满足预设数据处理条件的情况下,将这些目标数据存储至目标数据库中,使得开发人员在下载目标数据时,可以直接访问内部创建的目标数据库进行下载,并且,下载的是满足预设数据处理条件、即解析通过确定不存在恶意攻击的目标数据,实现了对目标数据的检测,保障了开发人员下载的目标数据的安全性和可靠性,进而避免存在恶意攻击的目标数据被开发人员下载使用,进而避免损失。
136.下述结合附图3,以本说明书提供的数据处理方法在企业服务端的应用为例,对所述数据处理方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种数据处理方法的处理过程流程图,具体包括以下步骤:
137.步骤302:对从可信任方三方源拉取的三方包进行安全扫描。
138.其中,可信任方三方源可以理解为企业外部存储三方包的数据库,任何企业和开发人员都可以将自己开发的项目代码上传至可信任方三方源,也可以从可信任方三方源下载其他企业和开发人员上传的项目代码。
139.具体的,可以对从可信任方三方源拉取的三方包进行静态扫描和动态扫描,从而确定三方包中是否存在恶意代码,恶意代码可以理解为被植入恶意木马的代码,这种恶意代码会攻击安装编译该三方包的系统,从而造成损失。
140.步骤304:在扫描通过的情况下,将三方包存储至内部三方源。
141.其中,内部三方源可以理解为企业内部基于企业内部的网络创建的数据库。在扫描通过的情况下,说明该三方包中不存在恶意代码,将该三方包存储至内部三方源。
142.企业的客户端可以基于企业内部的办公网、测试网和生产网从内部三方源中下载三方包并使用。
143.此外,可以对企业内部的办公网、测试网和生产网进行网络隔离,使其只能访问企业内部的内部三方源,而不能访问企业外部的可信任方三方源,以此保障企业内部下载的三方包都是存储在内部三方源中、且通过安全扫描的三方包。
144.步骤306:在扫描不通过的情况下,将该三方包的扫描结果上传至外部情报。
145.具体的,在扫描不通过的情况下,说明该三方包中存在恶意代码,可以将扫描结果上传至外部情报,用于通知其他企业和开发人员。
146.步骤308:在根据外部情报发现恶意包的情况下,通知内部三方源移除该恶意包。
147.具体的,在根据订阅的外部情报发现恶意包,但是内部安全扫描并未发现的情况下,可以通知内部三方源移除该恶意包,实现彻底止血,也即是说将恶意包从内部三方源彻底移除,避免后续继续使用的情况。
148.步骤310:根据内部下载记录,确定下载该恶意包的客户端,并向该客户端发送通知信息。
149.具体的,企业的客户端在从内部三方源下载三方包时,会生成内部下载记录,可以根据内部下载记录确定下载了恶意包的客户端,及时通知客户端对该恶意包进行移除,实现后续应急排查,避免遗漏。
150.综上,上述方法通过结合内部安全扫描和外部情报,对三方包是否存在恶意代码进行检测,防止企业内部下载恶意包,并且,在企业内部下载了恶意包的情况下,及时从内部源头删除,避免后续使用,能够保障企业内部下载的目标数据的安全性和可靠性,进而避免损失。
151.下述结合附图4,以本说明书提供的数据处理方法在企业的应用为例,对所述数据处理方法进行进一步说明。其中,图4示出了本说明书一个实施例提供的一种数据处理方法的交互过程流程图,具体包括以下步骤。
152.步骤402:服务端基于企业网络创建目标数据库。
153.步骤404:服务端从第三方数据库获取目标数据。
154.步骤406:服务端对目标数据进行解压处理,得到解压后的目标数据,并对解压后的目标数据进行动态扫描和静态扫描,获得解析结果。
155.具体的,服务端对解压后的目标数据进行动态扫描时,可以利用沙箱运行解压后的目标数据,获得目标数据对应的运行行为,并将目标数据对应的运行行为与预设的恶意运行行为进行对比,在目标数据对应的运行行为不包含预设的恶意运行行为的情况下,说明该目标数据通过动态扫描,不存在恶意代码,满足预设数据处理条件。
156.服务端对解压后的目标数据进行静态扫描时,可以利用正则匹配方法对解压后的目标数据进行扫描,获得目标数据的数据特征,并将目标数据的数据特征与预设的正则匹配列表中包含的恶意数据特征进行匹配,在目标数据的数据特征与预设的正则匹配列表中包含的恶意数据特征不匹配的情况下,说明该目标数据通过静态扫描,不存在恶意代码,满足预设数据处理条件。
157.服务端对解压后的目标数据进行静态扫描时,还可以利用语法树扫描方法对解压后的目标数据进行扫描,获得目标数据的传播链路的链路特征,并将链路特征与预设的恶意链路特征和程序入口特征进行对比,恶意链路特征可以理解为对恶意代码的运行逻辑抽象处理得到的规则。在传播链路的链路特征不包含预设的恶意链路特征和程序入口特征的情况下,说明该目标数据通过静态扫描,不存在恶意代码,满足预设数据处理条件。
158.步骤408:在根据解析结果确定目标数据满足预设数据处理条件的情况下,将目标数据存储至预先创建的目标数据库。
159.步骤410:客户端向服务端发送针对目标数据的下载请求。
160.步骤412:服务端根据该下载请求,从目标数据库中获取目标数据并发送至客户端。
161.步骤414:服务端生成客户端对应的下载记录。
162.步骤416:服务端在根据第三方检测结果确定目标数据不满足预设数据处理条件的情况下,从目标数据库中删除目标数据。
163.步骤418:服务端根据下载记录,向对应的客户端发送通知信息。
164.步骤420:客户端根据该通知信息,将目标数据删除。
165.综上所述,上述方法通过预先创建目标数据库,先对从第三方数据库获取的目标数据进行解析,获得解析结果,在根据解析结果确定目标数据满足预设数据处理条件的情况下,将这些目标数据存储至目标数据库中,使得开发人员在下载目标数据时,可以直接访问内部创建的目标数据库进行下载,并且,下载的是满足预设数据处理条件、即解析通过确定不存在恶意攻击的目标数据,实现了对目标数据的检测,保障了开发人员下载的目标数据的安全性和可靠性,进而避免存在恶意攻击的目标数据被开发人员下载使用,进而避免损失。
166.与上述方法实施例相对应,本说明书还提供了数据处理装置实施例,图5示出了本说明书一个实施例提供的一种数据处理装置的结构示意图。如图5所示,该装置包括:
167.解析模块502,被配置为从第三方数据库获取目标数据,并对所述目标数据进行解析,获得解析结果,其中,所述目标数据为数据提供方存储至所述第三方数据库的数据;
168.存储模块504,被配置为在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至预先创建的目标数据库。
169.一个可选的实施例中,所述解析模块502,进一步被配置为:
170.对所述目标数据进行解压处理,得到解压后的目标数据;
171.对所述解压后的目标数据进行扫描,获得解析结果。
172.一个可选的实施例中,所述解析模块502,进一步被配置为:
173.遍历扫描所述解压后的目标数据,确定所述解压后的目标数据的数据特征;
174.将所述解压后的目标数据的数据特征,与预设正则匹配列表中包含的参考数据特征进行匹配,获得匹配结果。
175.一个可选的实施例中,所述存储模块504,进一步被配置为:
176.在根据所述匹配结果确定所述解压后的目标数据的数据特征,与所述预设正则匹配列表中包含的参考数据特征不匹配的情况下,确定所述目标数据满足预设数据处理条件,并将所述目标数据存储至预先创建的目标数据库。
177.一个可选的实施例中,所述解析模块502,进一步被配置为:
178.根据语法树扫描方法对所述解压后的目标数据进行扫描,生成所述目标数据对应的语法树;
179.根据语义分析方法对所述语法树进行分析,得到所述目标数据对应的传播链路;
180.扫描所述传播链路,获得所述传播链路的链路特征,将所述传播链路的链路特征与预设的参考链路特征进行对比,获得第一对比结果。
181.一个可选的实施例中,所述存储模块504,进一步被配置为:
182.在根据所述第一对比结果确定所述传播链路的链路特征不包含所述预设的参考链路特征的情况下,确定所述目标数据满足预设数据处理条件,并将所述目标数据存储至预先创建的目标数据库。
183.一个可选的实施例中,所述解析模块502,进一步被配置为:
184.根据虚拟系统程序,运行所述解压后的目标数据,获得所述目标数据对应的运行行为;
185.将所述目标数据对应的运行行为与预设的参考运行行为进行对比,获得第二对比结果。
186.一个可选的实施例中,所述存储模块504,进一步被配置为:
187.在根据所述第二对比结果确定所述目标数据对应的运行行为不包含所述预设的参考运行行为的情况下,确定所述目标数据满足预设数据处理条件,并将所述目标数据存储至预先创建的目标数据库。
188.一个可选的实施例中,所述解析模块502,进一步被配置为:
189.将解压后的目标数据的数据特征,与预设正则匹配列表中包含的参考数据特征进行匹配,获得匹配结果;
190.根据虚拟系统程序运行所述解压后的目标数据,获得所述目标数据对应的运行行为;
191.将所述目标数据对应的运行行为,与预设的参考运行行为进行对比,获得第二对比结果;
192.根据所述匹配结果和所述第二对比结果,确定解析结果。
193.一个可选的实施例中,所述解析模块502,进一步被配置为:
194.根据语法树扫描方法对所述解压后的目标数据进行扫描,得到所述目标数据对应的传播链路;
195.将所述传播链路的链路特征,与预设的参考链路特征进行对比,获得第一对比结果;
196.根据虚拟系统程序运行所述解压后的目标数据,获得所述目标数据对应的运行行为;
197.将所述目标数据对应的运行行为,与预设的参考运行行为进行对比,获得第二对比结果;
198.根据所述第一对比结果和所述第二对比结果,确定解析结果。
199.一个可选的实施例中,所述解析模块502,进一步被配置为:
200.从第三方数据库获取目标数据,将所述目标数据存储至所述目标数据库的第一存
储单元,在所述第一存储单元对所述目标数据进行解析,获得解析结果。
201.一个可选的实施例中,所述存储模块504,进一步被配置为:
202.在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至所述目标数据库的第二存储单元。
203.一个可选的实施例中,所述装置还包括生成模块,被配置为:
204.接收所述数据使用方的客户端发送的针对所述目标数据的下载请求,从所述目标数据库中获取所述目标数据并发送至所述客户端,并生成所述客户端对应的下载记录。
205.一个可选的实施例中,所述装置还包括删除模块,被配置为:
206.接收第三方发送的、针对所述目标数据的检测结果;
207.在根据所述检测结果确定所述目标数据不满足预设数据处理条件的情况下,将所述目标数据从所述目标数据库中删除,并根据所述下载记录向所述客户端发送通知信息。
208.综上所述,上述装置通过预先创建目标数据库,先对从第三方数据库获取的目标数据进行解析,获得解析结果,在根据解析结果确定目标数据满足预设数据处理条件的情况下,将这些目标数据存储至目标数据库中,使得开发人员在下载目标数据时,可以直接访问内部创建的目标数据库进行下载,并且,下载的是满足预设数据处理条件、即解析通过确定不存在恶意攻击的目标数据,实现了对目标数据的检测,保障了开发人员下载的目标数据的安全性和可靠性,进而避免存在恶意攻击的目标数据被开发人员下载使用,进而避免损失。
209.上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
210.本说明书还提供了数据处理系统实施例,图6示出了本说明书一个实施例提供的一种数据处理系统600的结构示意图。如图6所示,该系统包括:
211.所述服务端602,被配置为从第三方数据库获取目标数据,并对所述目标数据进行解析,获得解析结果;在根据所述解析结果确定所述目标数据满足预设数据处理条件的情况下,将所述目标数据存储至预先创建的目标数据库,其中,所述目标数据为数据提供方存储至所述第三方数据库的数据;
212.所述客户端604,被配置为发送针对所述目标数据的下载请求至所述服务端;
213.所述服务端602,还被配置为根据所述下载请求,从所述目标数据库中获取所述目标数据并发送至所述客户端,并生成所述客户端对应的下载记录。
214.综上所述,上述系统通过预先创建目标数据库,先对从第三方数据库获取的目标数据进行解析,获得解析结果,在根据解析结果确定目标数据满足预设数据处理条件的情况下,将这些目标数据存储至目标数据库中,使得开发人员在下载目标数据时,可以直接访问内部创建的目标数据库进行下载,并且,下载的是满足预设数据处理条件、即解析通过确定不存在恶意攻击的目标数据,实现了对目标数据的检测,保障了开发人员下载的目标数据的安全性和可靠性,进而避免存在恶意攻击的目标数据被开发人员下载使用,进而避免损失。
215.上述为本实施例的一种数据处理系统的示意性方案。需要说明的是,该数据处理系统的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理系统的技术方
案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
216.图7示出了根据本说明书一个实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
217.计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(pstn,public switched telephone network)、局域网(lan,local area network)、广域网(wan,wide area network)、个域网(pan,personal area network)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic,network interface controller))中的一个或多个,诸如ieee802.11无线局域网(wlan,wireless local area network)无线接口、全球微波互联接入(wi-max,worldwide interoperability for microwave access)接口、以太网接口、通用串行总线(usb,universal serial bus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc,near field communication)接口,等等。
218.在本技术的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本技术范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
219.计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(pc,personal computer)的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
220.其中,处理器720用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
221.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
222.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
223.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
224.本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据处理方法的步骤。
225.上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的数据处理方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
226.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围
内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
227.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
228.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
229.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
230.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献