一种数据处理方法、装置、电子设备及存储介质与流程

1.本发明属于网络技术领域，特别是涉及一种数据处理方法、装置、电子设备及存储介质。


背景技术：

2.目前，为了实现对数据进行处理，程序代码中经常需要设置多个实例，用以实现数据处理。其中，一个实例可以用于实现一种操作处理逻辑。
3.现有技术中，实例在对数据进行处理的过程中，往往需要内部调用其他实例的处理逻辑。这样，在处理流程较为复杂时，会导致实例之间存在较为严重的耦合，进而会导致代码扩展性查，修改成本较高。


技术实现要素：

4.有鉴于此，本发明提供一种数据处理方法、装置、电子设备及存储介质，以便解决现有技术存在的代码扩展性查，修改成本较高的问题。
5.依据本发明实施例的第一方面，提供了一种数据处理方法，该方法可以包括：
6.根据待处理数据生成目标数据文件；所述目标数据文件包括所述待处理数据、首个实例标识及数据属性，所述数据属性包括下一执行实例属性；
7.通过预设的控制实例调用所述首个实例标识指示的首个执行实例根据所述目标数据文件进行数据处理，以及设定所述下一执行实例属性的值，以表征下一执行实例；
8.在设定所述下一执行实例属性的值之后，通过所述控制实例根据所述下一执行实例属性的值，调用所述下一执行实例继续根据所述目标数据文件进行数据处理，以及重新设定所述下一执行实例属性的值。
9.依据本发明实施例的第二方面，提供了一种数据处理装置，该装置可以包括：
10.生成模块，用于根据待处理数据生成目标数据文件；所述目标数据文件包括所述待处理数据、首个实例标识及数据属性，所述数据属性包括下一执行实例属性；
11.第一处理模块，用于通过预设的控制实例调用所述首个实例标识指示的首个执行实例根据所述目标数据文件进行数据处理，以及设定所述下一执行实例属性的值，以表征下一执行实例；
12.第二处理模块，用于在设定所述下一执行实例属性的值之后，通过所述控制实例根据所述下一执行实例属性的值，调用所述下一执行实例继续根据所述目标数据文件进行数据处理，以及重新设定所述下一执行实例属性的值。
13.依据本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的数据处理方法的步骤。
14.依据本发明实施例的第四方面，提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执
行时实现如第一方面项所述的数据处理方法的步骤。
15.本发明实施例，根据待处理数据，生成目标数据文件，目标数据文件中包括待处理数据、首个实例标识及数据属性，数据属性至少包括下一执行实例属性，通过预设的控制实例调用首个实例标识指示的首个执行实例根据目标数据文件进行数据处理，以及设定下一执行实例属性的值，以表征下一执行实例，在设定下一执行实例属性的值之后，通过控制实例根据下一执行实例属性的值，调用下一执行实例继续根据目标数据文件进行数据处理，以及重新设定下一执行实例属性的值。本发明实施例中，通过设置控制实例，以及在一个执行实例执行完数据处理之后，维护更新下一执行实例属性的值，相应地，由控制实例根据下一执行实例属性的值依次调度执行实例进行处理，各个实例的进行数据处理的过程互相独立，各个实例之间的耦合性较低，这样，可以方便后续对代码进行修改维护，降低修改成本，提高代码的扩展性。
16.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
17.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
18.图1是本发明实施例提供的一种现有处理流程示意图；
19.图2是本发明实施例提供的一种数据处理方法的步骤流程图；
20.图3是本发明实施例提供的一种数据处理框架设计原理图；
21.图4是本发明实施例提供的一种框架组件的核心类示意图；
22.图5是本发明实施例提供的一种具体应用场景示意图；
23.图6是本发明实施例提供的一种数据处理装置的框图；
24.图7是本发明实施例提供的一种电子设备结构的框图。
具体实施方式
25.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
26.首先对本发明实施例的一种应用场景进行说明。随着业务场景的复杂化，对数据进行处理的逻辑变得越来越复杂。例如，在安防行业中，为了实现业务逻辑业务处理流程中一般都是包含多个用于进行逻辑处理和判断的处理节点，不同的处理节点控制着不同数据流向。这样，往往就会导致复杂的数据处理流程。
27.而面对复杂的数据处理流程，在进行程序的编码实现时，就会面临可扩展性，代码可维护性等一系列的问题。在一种现有的实现方式中，往往是以最常用的模型-视图-控制器设计框架(model-view-controller，mvc)为基础，所有处理节点的实现都集中在业务逻
辑层(又称service层)。在这种实现方式中，一般针对每个处理逻辑都会编写一个service实例，而service实例里除了要执行自己的业务处理和判断逻辑外，还要负责调用下一个service实例的逻辑方法，并且需要等到所调用的下一层实例均执行完毕之后本层实例中所占用的资源才会被释放。这种方式中，由于各种实例相互嵌套、依赖，当某个实例的处理逻辑发生变动而产生接口变化时，调用方的实例也不得不进行代码修改。如果调用逻辑更为复杂时，可能会导致多个调用方的实例需要进行相应修改，因此，代码的扩展性较差，修改维护的成本较高。
28.进一步地，由于整个处理流程的推进都是由每个实例内部通过调用下一个实例完成的。这样，就会导致无法对处理进度进行追踪和记录。同时，由于一个实例内部调用其他实例时，虽然该实例并未执行自己的处理逻辑，但是该实例所占用的资源也会被同时占用，进而造成不必要的资源消耗。示例的，图1是本发明实施例提供的一种现有处理流程示意图，如图1所示，service1的业务逻辑中包含对service2和service4的调用，由于程序中的方法调用都是基于先入后出的栈模型实现的，即，在等待service2和service4执行的过程中，虽然service1并没有执行自己的逻辑，但service1所占用的资源并不会被释放，进而就会造成额外的资源消耗。
29.为此，本发明实施例提出了一种数据处理方法，以解决上述问题。下面进行具体说明。
30.图2是本发明实施例提供的一种数据处理方法的步骤流程图，如图2所示，该方法可以包括：
31.步骤101、根据待处理数据生成目标数据文件；所述目标数据文件包括所述待处理数据、首个实例标识及数据属性，所述数据属性包括下一执行实例属性。
32.本发明实施例中，待处理数据可以是需要进行处理的数据，待处理数据可以为图片、视频、文本，等等。首个实例标识可以是能够唯一指示首个执行实例的实例标识，不同的执行实例可以对应不同的实例标识。对应不同的业务处理需求，用于第一个对待处理数据进行处理的执行实例可能不同，本步骤中通过封装首个实例标识，可以方便后续便捷的根据首个实例标识确定首个执行实例，进而可以快捷的开启数据处理流程，提高处理效率。
33.进一步地，数据属性可以用于对与待处理数据相关的信息进行表征，例如，下一执行实例属性(nexthandler)可以表征在当前执行实例完成处理之后，下一个对待处理数据进行处理的执行实例。
34.步骤102、通过预设的控制实例调用所述首个实例标识指示的首个执行实例根据所述目标数据文件进行数据处理，以及设定所述下一执行实例属性的值，以表征下一执行实例。
35.本发明实施例中，控制实例可以是预先创建的，用于对整体处理流程进行控制的实例。示例的，控制实例可以是数据流执行引擎(engine)实例。具体的，调用首个执行实例可以是启动该首个执行实例，相应地，首个执行实例启动之后，即可根据内部的处理逻辑对目标数据文件进行数据处理。示例的，根据目标数据文件进行数据处理时，可以是对目标数据文件中的待处理数据进行处理。具体的处理逻辑可以是根据实际需求预先设置的。例如，待处理数据为图片，根据目标数据文件进行数据处理可以是对该图片进行裁剪操作。
36.进一步地，可以在首个执行实例完成数据处理之前，设定下一执行实例属性的值。
下一执行实例属性的值可以是下一执行实例的实例标识，这样，可以准确的通过实例属性的值指明下一执行实例。相应地，通过设定下一执行实例属性的值，使得控制实例可以便捷的获知下一步需要调度哪个执行实例进行处理，进而方便控制实例继续推进后续处理流程。
37.步骤103、在设定所述下一执行实例属性的值之后，通过所述控制实例根据所述下一执行实例属性的值调用所述下一执行实例继续根据所述目标数据文件进行数据处理，以及重新设定所述下一执行实例属性的值。
38.本发明实施例中，控制实例可以在每次设定了下一执行实例属性的值的步骤之后，执行读取下一执行实例属性的值，根据读取到的值调用下一执行实例的操作。下一执行实例继续根据目标数据文件进行数据处理时，由于目标数据文件已经经过了之前执行实例的处理，因此，目标数据文件的内容会发生相应的变化。相应地，本步骤继续进行数据处理，可以是在经过之前处理后得到的已变化的目标数据文件的基础上进行的。示例的，假设该下一执行实例进行的数据处理具体为将图片转换为灰度图，那么具体的，该下一执行实例可以是将经过上一步骤裁剪后的图片转换为灰度图。
39.进一步地，可以是在下一执行实例完成处理之前，重新设定下一执行实例属性的值。具体的，可以是将下一执行实例属性的值设置为完成处理的下一执行实例的下一个执行实例。示例的，假设该下一执行实例为实例a，实例a处理完成之后，需要继续由实例b处理，那么可以将下一执行实例属性的值设置为实例b的实例标识。这样，通过重新执行设定下一执行实例属性的值的操作，使得后续控制实例会根据重新设定的值，继续调用后续的下一执行实例进行处理，进而实现依次调度对应的执行实例对待处理数据进行处理。
40.综上所述，本发明实施例提供的数据处理方法，根据待处理数据，生成目标数据文件，目标数据文件中包括待处理数据、首个实例标识及数据属性，数据属性至少包括下一执行实例属性，通过预设的控制实例调用首个实例标识指示的首个执行实例根据目标数据文件进行数据处理，以及设定下一执行实例属性的值，以表征下一执行实例，在设定下一执行实例属性的值之后，通过控制实例根据下一执行实例属性的值，调用下一执行实例继续根据目标数据文件进行数据处理，以及重新设定下一执行实例属性的值。本发明实施例中，通过设置控制实例，以及在一个执行实例执行完数据处理之后，维护更新下一执行实例属性的值，相应地，由控制实例根据下一执行实例属性的值依次调度执行实例进行处理，各个实例的进行数据处理的过程互相独立，各个实例之间的耦合性较低，这样，可以方便后续对代码进行修改维护，降低修改成本，提高代码的扩展性。
41.进一步地，本发明实施例中，通过更新下一执行实例属性的值，由控制实例从外部对整体处理流程进行推进。这样，可以方便对处理进度进行监控。同时通过更新下一执行实例属性的值，由控制实例从外部对整体处理流程进行推进，各个实例之间互相独立，这样可以使得运行期间各执行实例专有自己的方法栈和上下文空间，所有资源的占用都在当前执行实例的业务周期内，进而可以在一个实例执行完处理逻辑之后，就立即释放占用的资源，进而避免产生多余的资源消耗，提高资源利用率。
42.可选的，在本发明的一种实施例中，根据待处理数据生成目标数据文件的操作，可以包括以下子步骤：
43.子步骤(1)：将所述下一执行实例属性的值设置为所述首个实例标识。
44.示例的，可以将首个实例标识赋值给下一执行实例属性，进而实现设置。
45.子步骤(2)：按照预设的数据结构模型，为所述待处理数据封装所述数据属性。
46.本发明实施例中，预设的数据结构模型可以是根据实际需求选取的，本发明实施例对此不作限定。示例的，该数据结构模型可以为datacontext模型，相应地，进行封装时，可以按照datacontext模型中定义的数据结构，执行预设的pack方法，将待处理数据及数据属性按照固定的范式进行数据装箱，进而得到可以以固定的范式在各个执行实例中流转的目标数据文件。其中，得到的目标数据文件可以称为“dataconext”。
47.需要说明的是，本发明实施例中的待处理数据可以是从预设的数据源(datasource)中获取的。具体的，datasource可以在控制实例被创建之后，向控制实例进行注册，每个控制实例可以绑定一个或多个datasoure，以接入原始的待处理数据。其中，控制实例可以是程序初始化阶段创建的。进一步地，通过主动查询或被动监听模式，在确定出datasource开启数据流获取的情况下，可以从datasource处获取待处理数据。进一步地，在封装之后，可以调用控制实例的receive方法传入目标数据文件。同时，封装之后可以触发控制实例的处理流程，即，触发控制实例执行调用首个执行实例的操作。
48.本发明实施例中，通过将下一执行实例属性的值设置为首个实例标识，可以使控制实例便捷的获取到首个实例标识，进而方便控制实例调用首个执行实例。同时，按照预设的数据结构模型为待处理数据封装数据属性，可以使得最终得到的目标数据文件，文件结构更加规范有序，进而方便后续进行处理。
49.可选的，在本发明的一种实施例中，数据属性还包括业务处理结果属性，相应地，根据目标数据文件进行数据处理之后，还可以执行操作：将所述数据处理的处理结果，添加至所述业务处理结果属性。其中，处理结果可以是执行实例在根据目标数据文件处进行数据处理后得到的信息。示例的，假设实例a根据目标数据文件处进行数据处理后得到了图片中的人脸区域，那么可以将该人脸区域添加至业务处理结果属性。
50.本发明实施例中，通过将各个执行实例解耦，且通过设置业务处理结果(result)属性，赋予待处理数据业务处理结果属性，在每个执行实例执行完数据处理操作之后，将处理结果添加到业务处理结果属性，进而可以便捷的实现对各个环节的处理结果进行追踪记录。同时，通过添加处理结果，可以确保后续执行实例需要结合之前执行实例的处理结果进行数据处理时，可以便捷的获取到处理结果，进而确保数据处理正常进行。
51.可选的，在本发明的一种实施例中，数据属性还可以包括数据处理状态属性，相应地，本发明实施例中还可以包括：在为所述待处理数据封装所述数据属性之前，将所述数据属性中的所述数据处理状态属性设置为待处理状态；在通过预设的控制实例调用所述首个实例标识指示的首个执行实例之后，即，在当前执行实例开始数据处理操作之后，将所述数据处理状态属性设置为处理中状态；在完成对所述目标数据文件的数据处理操作之后，将所述数据处理状态属性设置为处理完成状态。
52.其中，待处理状态可以用“todo”表示，处理中状态可以用“doing”表示，处理完成状态可以用“done”表示。具体的，可以是控制实例通过receive方法收到目标数据文件之后，就将数据处理状态属性设置为“doing”。在完成对目标数据文件的整个处理流程之后，将数据处理状态属性设置为“done”。本发明实施例中，通过赋予待处理数据数据处理状态属性，并在各个环节对数据处理状态属性进行相应的设置，可以便捷的通过数据处理状态
属性获知待处理数据的生命周期。
53.可选的，在本发明的一种实施例中，下一执行实例属性的值可以为下一执行实例的实例标识，相应地，根据待处理数据生成目标数据文件之前，还可以执行以下步骤：步骤a、将各个可用实例的实例标识及调用地址注册至所述控制实例。具体的，可用实例可以是程序开启之后创建的所有实例。程序初始化时，可用实例可以将自己的实例标识及调用地址传递给控制实例，以实现注册。
54.相应地，所述调用所述下一执行实例继续根据所述目标数据文件进行数据处理，可以包括：根据注册的实例标识及调用地址，查找所述下一执行实例的实例标识对应的调用地址；根据所述对应的调用地址，调用所述下一执行实例继续根据所述目标数据文件进行数据处理。本发明实施例中，控制实例可以根据注册环节收到的实例标识及调用地址，建立实例标识与调用地址之间的对应关系(handlerlist)。相应地，可以将下一执行实例的实例标识在该对应关系中进行匹配，将相匹配的实例标识对应的调用地址作为下一执行实例的调用地址。根据调用地址进行调用时，可以是访问该调用地址，找到该下一执行实例，然后控制该下一执行实例开启。
55.本发明实施例中，各个可用实例先向控制实例进行注册，使得控制节点后续可以根据注册的实例标识及调用地址，便捷的实现对下一执行实例的调用，进而一定程度上提高数据处理效率。
56.可选的，在本发明的一种实施例中，还可以在通过所述控制实例根据所述下一执行实例属性的值，调用所述下一执行实例继续根据所述目标数据文件进行数据处理之后，所述重新设定所述下一执行实例属性的值之前，执行以下步骤：步骤b、将当前的所述下一执行实例属性的值设置为空。
57.具体的，可以是由控制实例执行设置为空的操作。进一步地，控制实例根据下一执行实例属性的值调用下一执行实例时，往往是先读取下一执行实例属性的值，然后根据读取到的值进行调用。相应地，可以是由控制实例在每次读取了下一执行实例属性的值之后，将当前的下一执行实例属性的值设置为空。
58.本发明实施例中，在通过控制实例调用下一执行实例之后，重新设定下一执行实例属性的值之前，通过将当前的下一执行实例属性的值设置为空，可以避免重新设定的值与之前的值出现混淆，进而导致后续控制实例无法正确的调用下一执行实例的问题。同时，通过提前设置为空，使得重新设定时，仅需执行添加新的实例标识的操作，进而一定程度上提高处理效率。
59.可选的，在本发明的一种实施例中，所述设定所述下一执行实例属性的值的操作可以包括：
60.子步骤(3)：若所述下一执行实例与所述数据处理的处理结果存在关联，则将当前执行实例中预先设置的与所述处理结果关联的第一实例标识，设置为所述下一执行实例属性的值；所述当前执行实例为当前进行数据处理的执行实例。示例的，在当前进行数据处理的执行实例为首个执行实例时，首个执行实例即为当前执行实例，在当前进行数据处理的执行实例为下一执行实例时，下一执行实例即为当前执行实例。例如，首个执行实例为实例001，下一执行实例为实例002，那么在实例001进行数据处理时，当前执行实例为实例001，在实例002进行数据处理时，当前执行实例为实例002。。
61.本发明实施例中，由于当前执行实例的处理逻辑可能会存在判断逻辑，这样，对应不同的判断结果，下一个需要调用的执行实例可能不同。因此，第一实例标识可能包括多种可能的处理结果对应的多个第一实例标识。例如，当前执行实例用于判断图片中是否包含人脸，在包含人脸的情况下需要调用实例c对图片进行人脸区域提取操作，在不包含人脸的情况下需要调用实例d对图片进行打标签操作。相应地，可以将实例c的实例标识以及实例d的实例标识作为第一实例标识，其中，实例c的实例标识与处理结果：包含人脸关联，实例d的实例标识与处理结果：不包含人脸关联。
62.进一步地，可以根据处理结果从这多个第一实例标识中选出与当前的实际处理结果关联的第一实例标识。假设当前执行实例的处理结果为包含人脸，那么可以将实例c的实例标识设置为下一执行实例属性的值。
63.子步骤(4)：若所述下一执行实例与所述处理结果不存在关联，则将所述当前执行实例中预先设置的第二实例标识，设置为所述下一执行实例属性的值。
64.相应地，如果当前执行实例不存在多种处理结果，那么可以直接将当前执行实例中预先设置的一个第二实例标识设置为下一执行实例属性的值。
65.当然，本发明实施例中也可以通过其他方式实现设定。示例的，可以预先生成执行顺序信息并注册至控制实例，控制实例后续可以根据执行顺序信息确定当前执行实例的下一个执行实例的实例标识。其中，执行顺序信息可以为实例标识表，该实例标识表中可以按照执行实例的执行顺序，记录在对待处理数据进行处理时，各个执行实例的下一个执行实例的实例标识。相应地，控制实例可以根据当前执行实例及当前执行实例的处理结果，通过查表确定当前执行实例的下一个执行实例的实例标识，将该实例标识设置为下一执行实例属性的值。
66.需要说明的是，控制实例可以调用执行实例的handle方法触发执行实例开启执行内部处理逻辑，handle方法中执行完当前执行实例的逻辑后，可以指定下一执行实例属性的值，具体的，可以是由控制实例调用针对datacontext预设的nexthandler方法，来实现指定下一执行实例属性的值。
67.本发明实施例中，根据处理结果，确定设置的实例标识，可以确保在出现选择分支的情况下，即，下一个执行实例由上一个执行实例的处理结果决定的情况下，准确的实现设置。同时，通过在执行实例中预先设置下一执行实例的实例标识，可以快捷的实现设置下一执行实例属性。且通过仅在各个执行实例中预先设置该执行实例的下一个执行实例的实例标识，使得各个执行实例之间没有强依赖关系，各自仅需关心自己的业务逻辑，内部逻辑修改时不会对其他节点造成影响，可以避免执行实例的处理逻辑与下一个执行实例的处理逻辑出现耦合。这样，在下一个执行实例的处理逻辑发生变更需要修改代码的情况下，也无需对上一个执行实例进行修改，进而降低代码的维护修改成本。整体流程走向变更时，也只需要修改相应执行实例中指定的下一个执行实例的实例标识，代码改动成本小。
68.可选的，在本发明的一种实施例中，若当前执行实例中不存在预先设置的所述第一实例标识或所述第二实例标识，则停止重新设定所述下一执行实例属性的值的操作，并输出处理后的所述目标数据文件。其中，如果当前执行实例中不存在预先设置的第一实例标识或第二实例标识，则说明当前执行实例为最后一个对目标数据文件进行处理的执行实例，相应地，可以在这种情况下，结束对目标数据文件的处理流程，停止重新设定下一执行
实例属性的值，并输出最终处理后的目标数据文件。进一步地，输出最终处理后的目标数据文件之后，可以进入资源释放阶段，具体的，可以将engine的receive方法出栈，释放目标数据文件的资源占用，等待下一个待处理数据进入。
69.示例的，下一执行实例属性的值可以表示为nexthandlerid。由于结束对目标数据文件的处理流程后，下一执行实例属性的值未得到重新设置，此时，下一执行实例属性的值为空。因此，可以在engine实例从dataconext中获取的nexthandlerid为空的情况下，确认表示业务流程已结束，相应地，可以在这种情况下输出最终处理后的目标数据文件。
70.本发明实施例中，通过检测当前执行实例中是否存在预先设置的第一实例标识或第二实例标识，即可快捷的确定出处理流程是否结束，同时在不存在的情况下，及时停止处理流程，可以避免执行不必要的处理操作。
71.可选的，在本发明的一种实施例中，数据属性还可以包括历史执行实例属性，相应地，本发明实施例还可以包括以下步骤：
72.步骤c、对于任一当前执行实例，在所述当前执行实例完成数据处理操作之后，在所述历史执行实例属性中添加所述当前执行实例的实例标识。
73.示例的，可以将当前执行实例的实例标识与历史执行实例属性对应存储至目标数据文件中，进而实现添加。
74.步骤d、在完成对所述目标数据文件的数据处理操作之后，将所述历史执行实例属性中记录的实例标识，按照第一预设格式进行存储。
75.本发明实施例中，每个当前执行实例在完成之后，都将自己的实例标识添加到历史执行实例属性，进而可以实现通过历史执行实例属性记录历史处理过程。其中，历史执行实例属性可以表示为“handlerhistory字段”。进一步地，第一预设格式可以是根据实际需求预先设置的，示例的，第一预设格式可以为日志格式。本步骤中可以根据历史执行实例属性中记录的实例标识，生成数据链路日志并进行存储。
76.本发明实施例中，通过赋予待处理数据历史执行实例属性，在每个执行实例执行完数据处理操作之后，将自己的实例标识添加到历史执行实例属性中，进而可以便捷的实现对数据处理过程进行追踪。同时，通过将历史执行实例属性中记录的实例标识，按照第一预设格式进行存储，可以方便后续根据记录的内容，便捷的获知数据处理链路。
77.可选的，在本发明的一种实施例中，还可以包括以下步骤：
78.步骤e、将各个增强实例的类别信息及执行顺序信息注册至所述控制实例。
79.本步骤中，增强实例的类别信息可以用于表征增强实例属于哪个类别的增强实例，例如，属于第一类别增强实例。执行顺序信息可以用于表征该增强实例的执行顺序，具体可以是表征该增强实例相对所属类别中的增强实例的执行顺序。进一步地，可以是在程序初始化阶段，将所有增强实例注册到控制实例的增强器清单(advisorlist)。
80.步骤f、根据所述类别信息确定目标类别增强实例，并通过所述控制实例按照所述目标类别增强实例的执行顺序信息，调用所述目标类别增强实例执行对应的增强操作。
81.其中，根据所述类别信息确定目标类别增强实例，包括：
82.在通过所述控制实例调用所述首个执行实例之前，将类别信息为第一类别的增强实例确定为目标类别增强实例。和/或，步在停止重新设定所述下一执行实例属性的值的操作之后，将类别信息为第二类别的增强实例确定为目标类别增强实例。和/或，对于任一所
述当前执行实例，在所述当前执行实例被调用之前，将类别信息为第三类别的增强实例确定为目标类别增强实例。和/或，在所述当前执行实例完成数据处理操作之后，将类别信息为第四类别的增强实例确定为目标类别增强实例。
83.具体的，本发明实施例中的第一类别的增强实例、第二类别的增强实例、第三类别的增强实例及第四类别的增强实例可以增强器，其中，第一类别的增强实例可以是流程级的前置增强器(enginepreadvisor)，第二类别的增强实例可以是流程级的后置增强器(enginepostadvisor)。这样，通过在待处理数据的整个处理流程的生命周期级别，额外设置并执行第一类别的增强实例和/第二类别的增强实例，可以实现在流程级别上额外执行其他的功能，实现功能增强。第三类别的增强实例可以是执行实例级的前置增强器(handlerpreadvisor)，第四类别的增强实例可以是执行实例级的后置增强器(handlerpostadvisor)。这样，通过每个执行实例的前后，额外设置并执行第三类别的增强实例和/或第四类别的增强实例，可以实现在执行实例级别上额外执行其他的功能，实现功能增强。
84.示例的，在流程级前置增强阶段中，控制实例可以在通过receive方法接收到目标数据文件，将数据处理状态属性设置为“doing后，在advisorlist中查找所有level＝engine&type＝pre的增强器作为第一类别增强实例，并依次调用，以使第一类别增强实例按照order属性顺序依次执行。进一步地，在流程级后置增强阶段中，可以在判断处理流程结束后，在advisorlist中查找所有level＝engine&type＝post的增强器作为第二类别增强实例，并依次调用，以使第二类别增强实例按照order属性顺序依次执行。进一步地，在处理器级前置增强阶段中，可以在查找首个执行实例后，在advisorlist中查找所有level＝handler&type＝pre的增强器作为第三类别增强实例，并依次调用，以使第三类别增强实例按照order属性顺序依次执行。进一步地，在处理器级后置增强阶段中，可以在执行实例执行完handle方法后，在advisorlist中查找所有level＝handler&type＝post的增强器作为第四类别增强实例，并依次调用，以使第四类别增强实例按照order属性顺序依次执行。这样，通过预先注册，根据注册得到的信息查找执行顺序信息，根据执行顺序信息依次进行调用，可以确保增强处理有序进行，
85.需要说明的是，本发明实施例中的增强实例所实现的功能可以是根据实际需求设定。示例的，在一种可选实现方式中，在所述目标类别增强实例为第一类别的增强实例的情况下，所述调用所述目标类别增强实例执行对应的增强操作可以包括：在数据属性中增加耗时记录属性。其中，该耗时记录属性可以表示为stopwatch属性实例，它可以用于存储执行实例的耗时信息。
86.进一步地，在所述目标类别增强实例为第三类别的增强实例的情况下，所述调用所述目标类别增强实例执行对应的增强操作，可以包括：在所述当前执行实例的执行方法中添加计时埋点信息，以对所述当前执行实例的执行过程进行计时。其中，埋点信息可以存储在stopwatch属性中，埋点信息可以是用于启动计时操作的方法函数。该埋点信息可以是在执行实例执行handle方法前通过埋点添加的。
87.相应地，在所述目标类别增强实例为第四类别的增强实例的情况下，所述调用所述目标类别增强实例执行对应的增强操作，可以包括：读取所述计时结果，并根据所述计时结果更新所述耗时记录属性。具体的，可以是在执行实例执行handle方法进行取点操作，计
算该执行实例的耗时。进一步地，更新耗时记录属性可以是在耗时记录属性当前对应的及时时长的基础上，增加本次计时得到的时长，也可以是将本次计时得到的时长直接存储至耗时记录属性。
88.最后，在所述目标类别增强实例为第二类别的增强实例的情况下，所述调用所述目标类别增强实例执行对应的增强操作，可以包括：将所述耗时记录属性中记录的计时结果，按照第二预设格式进行存储。其中，按照第二预设格式进行存储可以具体是取出stopwatch属性中记录的时长信息，进行日志输出，按照日志格式进行存储。或者也可以是进行持久化存储，以实现记录持久化。
89.本发明实施例中，通过将各个执行实例之间解耦，通过添加的增强实例即可便捷实现对处理流程的耗时进行统计，进而一定程度上可以提高耗时统计的效率。当然在本发明的其他可选实施例中，也可以设置功能为统计执行实例的数据流量的增强实例，以实现流量统计。
90.需要说明的是，本发明实施例中的上述步骤d可以是通过预先设置的在全流程执行结束之后执行的第二类别增强实例实现的，具体的，该第二类别增强实例的处理逻辑可以为根据handlerhistory字段，将其中的数据信息进行非类存储。进一步地，本发明实施例中各个类别的增强实例的接口规范、执行实例的接口规范以及datasource的接口规范可以是由开发人员根据具体的业务处理逻辑设定的，本发明实施例对此不作限定。本发明实施例中可以提供固定的程序模型和接口形成框架型组件，由开发人员根据实际业务场景实现具体的功能实例，进而提高方法可以适应的场景，提高可用性。
91.可选的，本发明实施例中的执行实例也可以称为业务处理器、逻辑节点。图3是本发明实施例提供的一种数据处理框架设计原理图，如图3所示，经过注册可以得到增强器清单advisorlist以及业务处理器清单handlerlist。控制实例engine可以为框架的核心模块，可以用于负责数据打包，业务处理器、流程增强器的调度执行，并且维护advisorlist和handlerlist。进一步地，对于输入至datasource的数据，通过数据封装可以得到目标数据文件datacontext《data》。基于advisorlis在整个处理流程开始之前，可以执行第一类别增强实例enginepreadvisor，在整个处理流程结束之后，可以执行第四类别增强实例enginepostadvisor，实现流程级增强。在执行实例开始处理的前后可以分别执行第二类别增强实例handlerpreadvisor以及第三类别增强实例handlerpostadvisor。基于handlerlist控制实例可以调用下一执行实例nexthandler，并通过判断下一执行实例属性的值是否为空(hasnexthandler()？)，在为空，即，不存在的情况下，结束流程。在不为空，即，还存在的的情况下，继续调用下一执行实例。
92.进一步地，本发明实施例中的实例可以为代码开发中的类，图4是本发明实施例提供的一种框架组件的核心类示意图，如图4所示，engine是整个框架实现数据流处理框架的核心引擎，它驱动着整个数据处理流程的执行，还管理着datasource、handler、advisor三类可执行模块。其中，这三类可执行模块，可以通过接口的形式约定开发时所需要遵循的规范。在此前提下，各个模块通过编码实现的任意业务逻辑，都不会影响到驱动数据处理流程的执行方式，即，这些模块都可以交由框架来管理和执行，进而使得程序具有灵活的可扩展能力。
93.下面以一具体实现对本发明实施例的数据处理方法进行说明。示例的，图5是本发
明实施例提供的一种具体应用场景示意图，如图5所示，在该具体实现中，需要实现从本区域监控设备获取子公司园区的路人抓拍图，将抓拍图通过总公司人脸库的接口进行碰撞，即，通过总公司人脸库的接口将总公司人脸库中的工牌图与抓拍图进行图片比对，其中，工牌图中包含员工的人脸图片以及员工的工号，工号中包含表征该员工所属子公司的部分，不同子公司的员工，这部分的内容不一样。进一步地，如果比中，即，检测到总公司人脸库中包含人脸图片与抓拍图相匹配的工牌图，则可以获取该相匹配的工牌图以及工号信息。进一步地，可以通过工号将获取的抓拍图中的人员分别入到不同的数据库(本子公司人员库、其他子公司来本子公司库、重点关注人员库、临时来访人员库或外包人员库)，重点关注连续多天出现或多次出现在子公司且省厅碰撞未比中的路人。
94.通过本发明实施例提供的框架组件，仅需将图5中每个判断和处理节点列出清单，并且逐一创建用于实现单独节点的逻辑的实例，得到多个执行实例，通过控制实例逐个调度这些执行实例即可实现整个处理流程，进而一定程度上降低开发难度，提高实现效率。其中，创建的部分执行实例可以如下述表1所示：
[0095][0096]
表1
[0097]
进一步地，考虑到数据运维，可以通过增加下述表2所示的增强器，实现将每个抓拍图的处理流程进行存储，以供后期数据分类统计分析，确定每个业务处理器的运行耗时占比，以监控系统的性能瓶颈。
[0098][0099]
表2
[0100]
在该具体实现中，仅需根据具体需要实现的处理逻辑，创建执行实例，各个执行实例的处理逻辑代码之间不存在逻辑耦合，通过控制实例从外部驱动这些执行实例，即可实现对图片的处理，进而一定程度上提高处理效率。
[0101]
同时，本发明实施例中，基于数据装箱的思想，将待处理数据及数据属性封装打包，将全局数据流的驱动从具体业务逻辑剥离，通过独立驱动引擎(即，控制实例)监控和管理数据处理过程中的各个执行实例，可以形成适用于复杂数据流程、代码可扩展性强、统筹管控与业务隔离、性能消耗均衡稳定的业务逻辑层处理框架，进而提高对复杂的流式数据处理业务场景的处理效果。
[0102]
图6是本发明实施例提供的一种数据处理装置的框图，如图6所示，该装置600包括：
[0103]
生成模块601，用于根据待处理数据生成目标数据文件；所述目标数据文件包括所
述待处理数据、首个实例标识及数据属性，所述数据属性包括下一执行实例属性；
[0104]
第一处理模块602，用于通过预设的控制实例调用所述首个实例标识指示的首个执行实例根据所述目标数据文件进行数据处理，以及设定所述下一执行实例属性的值，以表征下一执行实例；
[0105]
第二处理模块603，用于在设定所述下一执行实例属性的值之后，通过所述控制实例根据所述下一执行实例属性的值，调用所述下一执行实例继续根据所述目标数据文件进行数据处理，以及重新设定所述下一执行实例属性的值。
[0106]
可选的，所述生成模块，具体用于：
[0107]
将所述下一执行实例属性的值设置为所述首个实例标识；
[0108]
按照预设的数据结构模型，为所述待处理数据封装所述数据属性。
[0109]
可选的，所述装置600还包括：
[0110]
第一注册模块，用于将各个可用实例的实例标识及调用地址注册至所述控制实例；
[0111]
相应地，所述第二处理模块603，具体用于：
[0112]
根据注册的实例标识及调用地址，查找所述下一执行实例的实例标识对应的调用地址；
[0113]
根据所述对应的调用地址，调用所述下一执行实例继续根据所述目标数据文件进行数据处理。
[0114]
可选的，所述装置600还包括：
[0115]
第一设置模块，用于将当前的所述下一执行实例属性的值设置为空。
[0116]
可选的，所述装置600还包括：
[0117]
第一添加模块，用于将所述数据处理的处理结果，添加至所述业务处理结果属性。
[0118]
可选的，所述设定所述下一执行实例属性的值，包括：
[0119]
若所述下一执行实例与当前执行实例的处理结果存在关联，则将所述当前执行实例中预先设置的与所述处理结果关联的第一实例标识，设置为所述下一执行实例属性的值；
[0120]
若所述下一执行实例与所述处理结果不存在关联，则将所述当前执行实例中预先设置的第二实例标识，设置为所述下一执行实例属性的值；
[0121]
其中，所述当前执行实例为当前进行数据处理的执行实例。
[0122]
可选的，所述装置600还包括：
[0123]
输出模块，用于若所述当前执行实例中不存在预先设置的所述第一实例标识或所述第二实例标识，则停止重新设定所述下一执行实例属性的值的操作，并输出处理后的所述目标数据文件。
[0124]
可选的，所述装置600还包括：
[0125]
第二注册模块，用于将各个增强实例的类别信息及执行顺序信息注册至所述控制实例；
[0126]
增强模块，用于根据所述类别信息确定目标类别增强实例，并通过所述控制实例按照所述目标类别增强实例的执行顺序信息，调用所述目标类别增强实例执行对应的增强操作。
[0127]
可选的，所述增强模块，具体用于：
[0128]
在通过所述控制实例调用所述首个执行实例之前，将类别信息为第一类别的增强实例确定为目标类别增强实例；
[0129]
和/或，在停止重新设定所述下一执行实例属性的值的操作之后，将类别信息为第二类别的增强实例确定为目标类别增强实例；
[0130]
和/或，对于任一当前执行实例，在所述当前执行实例被调用之前，将类别信息为第三类别的增强实例确定为目标类别增强实例；所述当前执行实例为当前进行数据处理的执行实例；
[0131]
和/或，在所述当前执行实例完成数据处理操作之后，将类别信息为第四类别的增强实例确定为目标类别增强实例。
[0132]
可选的，在所述目标类别增强实例为第一类别的增强实例的情况下，所述调用所述目标类别增强实例执行对应的增强操作，包括：在所述数据属性中增加耗时记录属性；
[0133]
在所述目标类别增强实例为第二类别的增强实例的情况下，所述调用所述目标类别增强实例执行对应的增强操作，包括：将所述耗时记录属性中记录的计时结果，按照第二预设格式进行存储；
[0134]
在所述目标类别增强实例为第三类别的增强实例的情况下，所述调用所述目标类别增强实例执行对应的增强操作，包括：在所述当前执行实例的执行方法中添加计时埋点信息，以对所述当前执行实例的执行过程进行计时；
[0135]
在所述目标类别增强实例为第四类别的增强实例的情况下，所述调用所述目标类别增强实例执行对应的增强操作，包括：读取所述计时结果，并根据所述计时结果更新所述耗时记录属性。
[0136]
可选的，所述数据属性还包括历史执行实例属性；所述装置600还包括：
[0137]
第二添加模块，用于对于任一当前执行实例，在所述当前执行实例完成数据处理操作之后，在所述历史执行实例属性中添加所述当前执行实例的实例标识；所述当前执行实例为当前进行数据处理的执行实例；
[0138]
存储模块，用于在停止重新设定所述下一执行实例属性的值的操作之后，将所述历史执行实例属性中记录的实例标识，按照第一预设格式进行存储。
[0139]
可选的，所述数据属性还包括数据处理状态属性，所述装置600还包括：
[0140]
第二设置模块，用于在为所述待处理数据封装所述数据属性之前，将所述数据属性中的所述数据处理状态属性设置为待处理状态；
[0141]
第三设置模块，用于在当前执行实例开始数据处理操作之后，将所述数据处理状态属性设置为处理中状态；所述当前执行实例为当前进行数据处理的执行实例；
[0142]
第四设置模块，用于在停止重新设定所述下一执行实例属性的值的操作之后，将所述数据处理状态属性设置为处理完成状态。
[0143]
上述装置实现的各个步骤以及所能达到的效果可以参照前述方法实施例，此处不做赘述。
[0144]
另外，本发明实施例还提供一种电子设备，如图7所示，该电子设备700包括处理器720，存储器710以及存储在存储器710上并可在处理上运行的计算机程序，该计算机程序被处理器720执行时实现上述实施例所述的数据处理方法实施例的各个过程，且能达到相同
的技术效果，为避免重复，这里不再赘述。
[0145]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0146]
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0147]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0148]
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
[0149]
在此提供的数据处理方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0150]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0151]
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0152]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0153]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一
都可以以任意的组合方式来使用。
[0154]
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的数据获取方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0155]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。