一种脱敏集群环境并发任务调度方法和装置与流程

1.本技术涉及到数据库脱敏领域，具体而言，涉及一种脱敏集群环境并发任务调度方法和装置。


背景技术：

2.在进行数据库数据脱敏的时候，一般会使用两个任务来进行脱敏，这两个任务为发现任务和脱敏任务，发现任务用来发现数据库中哪些字段的数据为敏感数据需要脱敏，脱敏任务用于对发现任务发现的数据进行脱敏。
3.在现有技术中，发现任务和脱敏任务是分开，例如，不同的线程分别运行这两个任务或者不同的节点分别运行这两个任务，这就会导致发现任务和脱敏任务之间对数据的处理速度产生差异，从而导致出现问题，例如会出现数据异常等。


技术实现要素：

4.本技术实施例提供了一种脱敏集群环境并发任务调度方法和装置，以至少解决现有技术中脱敏处理中发现任务和脱敏任务之间数据处理速度不同所导致的问题。
5.根据本技术的一个方面，提供了一种脱敏集群环境并发任务调度方法，包括：获取发现任务的第一处理能力，其中，所述发现任务用于发现数据库中需要进行脱敏处理的敏感数据，所述第一处理能力用于指示所述发现任务发现所述敏感数据的能力；获取脱敏任务的第二处理能力，其中，所述脱敏任务用于对所述发现任务发现的敏感数据按照预定的规则进行脱敏，所述第二处理能力用于指示所述脱敏任务进行数据脱敏的能力；处于所述第一处理能力的发现任务将发现的需要脱敏的数据发送给处于所述第二处理能力的脱敏任务进行脱敏处理；判断所述发现任务发现的需要脱敏的数据量是否大于所述脱敏任务能够处理的数据量；如果判断结果为是，则调整所述发现任务和/所述脱敏任务对应的线程数量。
6.进一步地，如果判断结果为是，则调整所述发现任务和/所述脱敏任务对应的线程数量包括：如果判断结果为是，则减少发现任务对应的线程数量，其中，所述每个线程均用于执行发现任务。
7.进一步地，如果判断结果为是，则调整所述发现任务和/或所述脱敏任务对应的线程数量包括：如果判断结果为是，则增加所述脱敏任务对应的线程数量，其中，所述每个线程均用于执行脱敏任务。
8.进一步地，还包括：如果判断结果为否，则增加发现任务对应的线程数量。
9.进一步地，还包括：如果判断结果为否，则减少所述脱敏任务对应的线程数量。
10.根据本技术的另一个方面，还提供了一种脱敏集群环境并发任务调度装置，包括：第一获取模块，用于获取发现任务的第一处理能力，其中，所述发现任务用于发现数据库中需要进行脱敏处理的敏感数据，所述第一处理能力用于指示所述发现任务发现所述敏感数据的能力；第二获取模块，用于获取脱敏任务的第二处理能力，其中，所述脱敏任务用于对
所述发现任务发现的敏感数据按照预定的规则进行脱敏，所述第二处理能力用于指示所述脱敏任务进行数据脱敏的能力；发送模块，用于处于所述第一处理能力的发现任务将发现的需要脱敏的数据发送给处于所述第二处理能力的脱敏任务进行脱敏处理；判断模块，用于判断所述发现任务发现的需要脱敏的数据量是否大于所述脱敏任务能够处理的数据量；调整模块，用于如果判断结果为是，则调整所述发现任务和/所述脱敏任务对应的线程数量。
11.进一步地，所述调整模块用于：如果判断结果为是，则减少发现任务对应的线程数量，其中，所述每个线程均用于执行发现任务。
12.进一步地，所述调整模块用于：如果判断结果为是，则增加所述脱敏任务对应的线程数量，其中，所述每个线程均用于执行脱敏任务。
13.进一步地，所述调整模块还用于：如果判断结果为否，则增加发现任务对应的线程数量。
14.进一步地，所述调整模块还用于：如果判断结果为否，则减少所述脱敏任务对应的线程数量。
15.在本技术实施例中，采用了获取发现任务的第一处理能力，其中，所述发现任务用于发现数据库中需要进行脱敏处理的敏感数据，所述第一处理能力用于指示所述发现任务发现所述敏感数据的能力；获取脱敏任务的第二处理能力，其中，所述脱敏任务用于对所述发现任务发现的敏感数据按照预定的规则进行脱敏，所述第二处理能力用于指示所述脱敏任务进行数据脱敏的能力；处于所述第一处理能力的发现任务将发现的需要脱敏的数据发送给处于所述第二处理能力的脱敏任务进行脱敏处理；判断所述发现任务发现的需要脱敏的数据量是否大于所述脱敏任务能够处理的数据量；如果判断结果为是，则调整所述发现任务和/所述脱敏任务对应的线程数量。通过本技术解决了现有技术中脱敏处理中发现任务和脱敏任务之间数据处理速度不同所导致的问题，从而提高了发现任务和脱敏任务之间的数据协调性，减少了异常的出现。
附图说明
16.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的脱敏集群环境并发任务调度方法的流程图。
具体实施方式
17.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
18.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
19.在本实施例中提供了一种脱敏集群环境并发任务调度方法，图1是根据本技术实施例的脱敏集群环境并发任务调度方法的流程图，如图1所示，该流程包括如下步骤：步骤s102，获取发现任务的第一处理能力，其中，所述发现任务用于发现数据库中
需要进行脱敏处理的敏感数据，所述第一处理能力用于指示所述发现任务发现所述敏感数据的能力；获取发现任务的第一处理能力的方式有很多种，例如，作为一个可选的实施方式，在所述发现任务发现需要进行处理的字段之后，获取该字段对应的数量量，根据该字段对应的数据量；获取发现需要进行脱敏处理的字段的速度以及所有需要进行处理的字段对应的平均数据量，根据所述速度和平均数据量得到单位时间内所述发现任务能够发现的敏感数据的数据量。该数据量被称为第一单位时间内能够处理的数据量。
20.步骤s104，获取脱敏任务的第二处理能力，其中，所述脱敏任务用于对所述发现任务发现的敏感数据按照预定的规则进行脱敏，所述第二处理能力用于指示所述脱敏任务进行数据脱敏的能力；获取脱敏任务的第二处理能力的方式有很多种，例如，作为一个可选的实施方式，获取所述脱敏任务进行脱敏后的数据量的增加速度，根据该数据量的增加速度获取所述脱敏任务单位时间内能够处理的数据量，该数据量被称为第二单位时间内能够处理的数据量。
21.步骤s106，处于所述第一处理能力的发现任务将发现的需要脱敏的数据发送给处于所述第二处理能力的脱敏任务进行脱敏处理；步骤s108，判断所述发现任务发现的需要脱敏的数据量是否大于所述脱敏任务能够处理的数据量；步骤s110，如果判断结果为是，则调整所述发现任务和/所述脱敏任务对应的线程数量。
22.在该步骤中，如果判断结果为是，则减少发现任务对应的线程数量，其中，所述每个线程均用于执行发现任务。如果判断结果为是，则增加所述脱敏任务对应的线程数量，其中，所述每个线程均用于执行脱敏任务。如果判断结果为否，则增加发现任务对应的线程数量。如果判断结果为否，则减少所述脱敏任务对应的线程数量。
23.作为一个可选的实施方式，还可以获取进行发现任务的第一线程数，根据所述第一单位时间内能够处理的数据量获取发现任务的每个线程在第一单位时间内能够处理的第一数据量，根据所述第二单位时间内能够处理的数据量获取脱敏任务的每个线程在第二单位时间内处理的第二数据量，其中，所述第一单位时间和所述第二单位时间相同，根据第一单位时间内能够处理的数据量和所述第二单位时间内能够处理的数据量之间的差值，以及所述第一数据量和所述第二数据量之间的差值，确定需要增加或者减少的线程数量。
24.作为另一个可选实施方式，在增加或者减少线程的数量之后，再次计算第一单位时间内能够处理的数据量和所述第二单位时间内能够处理的数据量之间的差值，如果所述差值小于第三阈值，则不再调整线程的数量，如果所述差值大于或者等于所述第三阈值，则继续调整所述发现任务和/或所述脱敏任务对应的线程的数量，直到所述差值小于所述第三阈值。
25.通过本技术解决了现有技术中脱敏处理中发现任务和脱敏任务之间数据处理速度不同所导致的问题，从而提高了发现任务和脱敏任务之间的数据协调性，减少了异常的出现。
26.在上述步骤s110中，可以增加发现任务的线程数量也可以减少脱敏任务的线程数
量，或者，增加脱敏任务的线程数量也可以减少发现任务的线程数量。也就是说，为了解决数据之间不协调的问题，可以增加或者减少对应的线程。作为一个可选的实施方式，可以获取所述发现任务所在的第一节点的计算资源的剩余情况，和/或，获取所述脱敏任务所在的第二节点的计算资源的剩余情况，所述第一节点的计算资源大于第一阈值的情况下，增加所述发现任务的线程，在所述第二节点的计算资源大于第二阈值的情况下，增加所述脱敏任务的线程，如果所述第一节点的计算资源小于等于所述第一阈值，则减少所述脱敏任务的线程，如果所述第二节点的计算资源小于等于所述第二阈值，则减少所述发现任务的线程。
27.在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
28.上述程序可以运行在处理器中，或者也可以存储在存储器中（或称为计算机可读介质），计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
29.这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
30.该本实施例中就提供了这样的一种装置或系统。该装置被称为脱敏集群环境并发任务调度装置，包括：第一获取模块，用于获取发现任务的第一处理能力，其中，所述发现任务用于发现数据库中需要进行脱敏处理的敏感数据，所述第一处理能力用于指示所述发现任务发现所述敏感数据的能力；第二获取模块，用于获取脱敏任务的第二处理能力，其中，所述脱敏任务用于对所述发现任务发现的敏感数据按照预定的规则进行脱敏，所述第二处理能力用于指示所述脱敏任务进行数据脱敏的能力；发送模块，用于处于所述第一处理能力的发现任务将发现的需要脱敏的数据发送给处于所述第二处理能力的脱敏任务进行脱敏处理；判断模块，用于判断所述发现任务发现的需要脱敏的数据量是否大于所述脱敏任务能够处理的数据量；调整模块，用于如果判断结果为是，则调整所述发现任务和/所述脱敏任务对应的线程数量。
31.该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。
32.例如，所述调整模块用于：如果判断结果为是，则减少发现任务对应的线程数量，其中，所述每个线程均用于执行发现任务。可选地，所述调整模块用于：如果判断结果为是，则增加所述脱敏任务对应的线程数量，其中，所述每个线程均用于执行脱敏任务。
33.又例如，所述调整模块还用于：如果判断结果为否，则增加发现任务对应的线程数量。可选地，所述调整模块还用于：如果判断结果为否，则减少所述脱敏任务对应的线程数量。
34.在上述实施例中，实现了脱敏集群环境并发任务调度：添加一个集群的调度功能，用于调度发现任务和脱敏任务，该任务可以被称为集群发现任务，可以选择合适的节点来运行，该集群发现任务还可以包括异常错误处理功能。在发现任务和脱敏任务下发之后，两边数据不同步，该集群发现任务可以用来侦发现任务和脱敏任务之间的数据是否同步，此时，如果没有同步，则调整发现任务或者脱敏任务的数量。在本实施例中，对于任务的分配是按照任务的数量来进行的，并没有优先按照资源来分配。
35.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。