数据处理系统、方法、装置、计算机可读存储介质及设备与流程

1.本技术涉及计算机技术领域，具体而言，涉及一种数据处理系统、数据处理方法、数据处理装置、计算机可读存储介质及电子设备。


背景技术：

2.交互式ip网络电视(iptv)是一种利用宽带有线电视网，集互联网、多媒体、通讯等多种技术于一体，向家庭用户提供包括数字电视在内的多种交互式服务的崭新技术。电子节目菜单(electronic program guide，epg)是用于给用户交互、选择节目和与用户进行互动的业务能力输出起始界面。iptv所提供的各种业务的索引及导航通常都是通过epg系统完成的，iptv epg实际上可以理解为iptv的门户系统，epg系统的界面与web页面类似，在epg界面上，通常会为用户提供各类菜单、按钮、链接等可供用户选择节目时直接点击的组件，也可以包含各类供用户浏览的动态或静态的多媒体内容。
3.一般来说，epg设备可以味用户提供epg业务服务，基于epg设备产生的数据可以用于分析用户行为或进行其他目的的分析。目前，大部分基于epg设备产生的数据存储于外部容器的服务日志中，数据调用也需要依赖多个外部设备，这样容易造成维护难度较高，数据采集效率也比较低的问题。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本技术的目的在于提供一种数据处理系统、数据处理方法、数据处理装置、计算机可读存储介质及电子设备，可以公开一种数据处理系统，依赖缓存进行即时的数据采集和数据结构化，这样可以在不依赖外部设备的情况下，更快地实现对于数据的处理，可以提升数据采集效率、数据处理效率，降低设备维护难度。
6.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
7.根据本技术的一方面，提供一种数据处理系统，该系统至少包括协调器、采集器和分拣器，其中：
8.协调器，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式；
9.采集器，用于根据目标数据采集模式将增量明文数据读入缓存；在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存；
10.分拣器，用于根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。
11.在本技术的一种示例性实施例中，系统还包括数据补全器，若采集器检测到缓存
空间占用率大于预设占用率且未检测到预设标识，其中：
12.采集器，还用于在检测到缓存中只存在至少一条完整数据时，将至少一条完整数据传输至分拣器，并清空缓存；
13.采集器，还用于在检测到缓存中存在至少一条完整数据以及不完整数据时，将至少一条完整数据传输至分拣器，将不完整数据传输至数据补全器，并清空缓存。
14.在本技术的一种示例性实施例中，其中：
15.采集器，还用于在进行新一轮缓存读入时，从数据补全器中获取不完整数据，并将不完整数据与增量明文数据中未被处理的剩余数据读入缓存；
16.采集器，还用于在检测到剩余数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存。
17.在本技术的一种示例性实施例中，系统还包括监视器和记录器，其中：
18.监视器，用于获取记录器中的数据处理进度以及数据总量；
19.监视器，还用于根据数据处理进度和数据总量确定数据增量；
20.监视器，还用于确定数据增量对应的增量明文数据与特定标记之间的对应关系，若增量明文数据与特定标记无对应关系，则向协调器发送触发启动指令。
21.在本技术的一种示例性实施例中，其中，
22.协调器，还用于在根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式之前，在检测到增量明文数据大于等于预设门限值时，根据预设门限值将增量明文数据进行分割，并根据分割得到的对应于预设门限值的增量明文数据确定起始处理位置和截至处理位置；根据起始处理位置和截至处理位置生成触发启动指令，向采集器发送触发启动指令；
23.以及，采集器根据目标数据采集模式将增量明文数据读入缓存，包括：
24.采集器基于触发启动指令并根据目标数据采集模式将增量明文数据读入缓存；
25.在本技术的一种示例性实施例中，协调器根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式，包括：
26.协调器在检测到中央处理器当前负载大于等于预设负载阈值或者增量明文数据大于等于预设处理量时，将单线程采集模式确定为目标数据采集模式；
27.协调器在检测到增量明文数据小于或等于预设处理量且中央处理器当前负载小于预设负载阈值时，将多线程采集模式确定为目标数据采集模式。
28.在本技术的一种示例性实施例中，若目标数据采集模式为多线程采集模式，其中：
29.协调器，还用于根据增量明文数据的字节数量确定多个线程中各线程分别对应的待处理字节数量；
30.协调器，还用于根据各线程分别对应的待处理字节数量将增量明文数据划分为多个字节块并确定字节偏移量；其中，多个字节块与多个线程对应于相同数量；
31.以及，采集器根据目标数据采集模式将增量明文数据读入缓存，包括：采集器启动多个线程依据字节偏移量同时将各自对应的字节块读入缓存；通过多个线程分别对各自对应的字节块进行预设标识检测。
32.在本技术的一种示例性实施例中，系统还包括记录器，其中：
33.记录器，用于当多个线程均完成针对各自对应的字节块的预设标识检测之后，存
储数据处理进度和增量明文数据的字节数量并更新数据处理进度。
34.在本技术的一种示例性实施例中，其中：
35.记录器，还用于在已有存储空间存在剩余空间时，存储中央处理器当前负载；
36.记录器，还用于在已有存储空间不存在剩余空间时，通过中央处理器当前负载覆盖已有存储空间中特定位置的负载记录。
37.根据本技术的一方面，提供一种数据处理方法，其特征在于，该方法包括：
38.当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；
39.根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式；
40.根据目标数据采集模式将增量明文数据读入缓存；
41.在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存；
42.根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。
43.根据本技术的一方面，提供一种数据处理装置，该装置包括：
44.数据获取单元，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；
45.数据采集模式确定单元，用于根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式；
46.读入缓存单元，用于根据目标数据采集模式将增量明文数据读入缓存；
47.数据传输单元，用于在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存；
48.结构化数据生成单元，用于根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。
49.根据本技术的一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的方法。
50.根据本技术的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的方法。
51.根据本技术的一方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的方法。
52.本技术示例性实施例可以具有以下部分或全部有益效果：
53.在本技术的一示例实施方式所提供的数据处理系统中，至少包括协调器、采集器和分拣器，协调器，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式。采集器，用于根据目标数据采集模式将增量明文数据读入缓存；在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存。
分拣器，用于根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。依据上述方案描述，本技术一方面，依赖缓存进行即时的数据采集和数据结构化，这样可以在不依赖外部设备的情况下，更快地实现对于数据的处理，可以提升数据采集效率、数据处理效率，降低设备维护难度。本技术另一方面，还可以基于对于缓存的使用，降低对于网络资源的消耗。
54.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
55.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图；
57.图2示意性示出了根据本技术的一个实施例的数据处理系统的结构图；
58.图3示意性示出了根据本技术的另一个实施例的信息查询系统的结构图；
59.图4示意性示出了根据本技术的一个实施例的数据处理系统的序列图；
60.图5示意性示出了根据本技术的一个实施例的数据处理方法的流程图；
61.图6示意性示出了根据本技术的一个实施例中的数据处理装置的结构框图。
具体实施方式
62.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本技术的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本技术的各方面变得模糊。
63.此外，附图仅为本技术的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
64.请参阅图1，图1示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。该电子设备可以为epg设备。
65.需要说明的是，图1示出的电子设备的计算机系统100仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
66.如图1所示，计算机系统100包括中央处理单元(cpu)101，其可以根据存储在只读
存储器(rom)102中的程序或者从储存部分108加载到随机访问存储器(ram)103中的程序而执行各种适当的动作和处理。在ram 103中，还存储有系统操作所需的各种程序和数据。cpu 101、rom 101以及ram 103通过总线104彼此相连。输入/输出(i/o)接口105也连接至总线104。
67.以下部件连接至i/o接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分107；包括硬盘等的储存部分108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器110也根据需要连接至i/o接口105。可拆卸介质111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器110上，以便于从其上读出的计算机程序根据需要被安装入储存部分108。
68.特别地，根据本技术的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分109从网络上被下载和安装，和/或从可拆卸介质111被安装。在该计算机程序被中央处理单元(cpu)101执行时，执行本技术的方法和装置中限定的各种功能。
69.请参阅图2，图2示意性示出了根据本技术的一个实施例的数据处理系统的结构图。如图2所示，数据处理系统200至少可以包括：协调器210、采集器220和分拣器230，其中：
70.协调器210，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式。
71.采集器220，用于根据目标数据采集模式将增量明文数据读入缓存；在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器230，并清空缓存。
72.分拣器230，用于根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。
73.具体地，图2中示出的协调器210、采集器220和分拣器230可以设置于epg设备或其他电子设备中，本技术实施例不作限定。其中，协调器210接收到的触发启动指令可以由监视器生成并发出，触发启动指令用于触发协调器210启动。协调器210启动后可以当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式；其中，增量明文数据可以为各种类型的日志数据，增量明文数据可以用于指示用户行为，增量明文数据可以包含一个或多个行数据，本技术实施例不作限定。
74.此外，采集器220可以根据目标数据采集模式将增量明文数据读入缓存；在检测到增量明文数据中存在预设标识(如，0x0a)时，将缓存中的所有数据传输至分拣器230，并清空缓存。其中，增量明文数据可以包括多行数据。
75.进而，分拣器230可以根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。其中，预设切割规则可以限定对于增量明文数据的切割方式，预设切割规则可以通过字符串、文本等方式进行表示，本技术实施例不作限定。此外，多个待处理数据页可以符合预设数据页表示形式，符合预设格
式的结构化数据可以表示为字符串、表格等形式，本技术实施例不作限定，例如，结构化数据可以表示为[元数据，数据内容]的形式。预设格式可以包括一种或多种，可选的，分拣器230根据多个待处理数据页生成符合预设格式的结构化数据之前，还可以用于基于增量明文数据的数据类型从多种预设格式中选取相应的预设格式。
[0076]
此外，可选的，分拣器230根据多个待处理数据页生成符合预设格式的结构化数据，具体可以包括：分拣器230根据第一预设规则从多个待处理数据页中获取关键信息；分拣器230根据第二预设规则对多个待处理数据页中的冗余信息进行删除；分拣器230生成包含索引的字符串数组，按照元数据对应关系从基于第一预设规则和第二预设规则处理后得到的多个待处理数据页中获取各元数据对应的数据，以得到符合预设格式的结构化数据。
[0077]
举例来说，增量明文数据可以表示如下：
[0078][0079]
进而，分拣器230可以根据预设切割规则将增量明文数据切割为多个待处理数据页，多个待处理数据页可以表示如下：
[0080][0081]
进而，分拣器230可以根据第一预设规则从多个待处理数据页中获取关键信息。例如，第一预设规则可以包括：从页0获得用户ip、从页4获得用户账号、拼接页7以后所有页内容。关键信息可以表示如下：
[0082][0083]
进而，分拣器230可以根据第二预设规则对多个待处理数据页中的冗余信息进行删除。例如，第二预设规则可以包括：删除字符pos[0]和pos[strlen(str)]重新写回页7。进而，分拣器230可以生成包含索引的字符串数组，按照元数据对应关系从基于第一预设规则和第二预设规则处理后得到的多个待处理数据页中获取各元数据对应的数据，以得到符合预设格式的结构化数据，结构化数据可以表示如下：
[0084]
[0085]
进而，可以对生成的结构化数据进行持久化存储，以便后续进行数据分析。
[0086]
可见，实施图2所示的数据处理系统，依赖缓存进行即时的数据采集和数据结构化，这样可以在不依赖外部设备的情况下，更快地实现对于数据的处理，可以提升数据采集效率、数据处理效率，降低设备维护难度。此外，还可以基于对于缓存的使用，降低对于网络资源的消耗。
[0087]
请参阅图3，图3示意性示出了根据本技术的另一个实施例的信息查询系统的结构图。如图3所示，数据处理系统300至少可以包括：协调器320、采集器340、分拣器330、数据补全器350、监视器310、记录器360。需要说明的是，本技术中包含的监视器310可以依赖监视实例(watcher)执行相应步骤；协调器320、采集器340、分拣器330、数据补全器350、记录器360可以依赖数据处理实例(worker)执行相应步骤；其中，监视实例(watcher)常驻内存，监视实例(watcher)可以按照预设单位时长(如，30s)启动worker的协调器320。
[0088]
监视器310，用于获取记录器360中的数据处理进度以及数据总量；根据数据处理进度和数据总量确定数据增量；确定数据增量对应的增量明文数据与特定标记之间的对应关系，若增量明文数据与特定标记无对应关系，则向协调器320发送触发启动指令。
[0089]
协调器320，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；在检测到中央处理器当前负载大于等于预设负载阈值或者增量明文数据大于等于预设处理量时，将单线程采集模式确定为目标数据采集模式；在检测到增量明文数据小于或等于预设处理量且中央处理器当前负载小于预设负载阈值时，将多线程采集模式确定为目标数据采集模式。
[0090]
采集器340，用于根据目标数据采集模式将增量明文数据读入缓存；在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器330，并清空缓存。
[0091]
分拣器330，用于根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。
[0092]
记录器360，用于当多个线程均完成针对各自对应的字节块的预设标识检测之后，存储数据处理进度和增量明文数据的字节数量并更新数据处理进度；在已有存储空间存在剩余空间时，存储中央处理器当前负载；在已有存储空间不存在剩余空间时，通过中央处理器当前负载覆盖已有存储空间中特定位置的负载记录。
[0093]
具体地，图2中示出的协调器320、采集器340、分拣器330、数据补全器350、监视器310、记录器360可以设置于epg设备或其他电子设备中，本技术实施例不作限定。监视器310可以获取记录器360中的数据处理进度以及数据总量，具体执行为：监视器310按照预设时间间隔workerinterval获取记录器360中的数据处理进度以及数据总量；其中，预设时间间隔workerinterval的计量单位为ms，数据处理进度可以基于指针所在的字节位置确定，数据总量可以表示为当前总字节数。
[0094]
基于此，监视器310根据数据处理进度和数据总量确定数据增量，包括：监视器310根据表达式(数据增量＝数据总量-数据处理进度)计算数据增量。进而，监视器310还可以确定数据增量对应的增量明文数据与特定标记之间的对应关系；其中，特定标记可以用于指示数据是否被锁定，可选的，特定标记也可以用于指示数据是否对应于特定用户或其他，本技术实施例不作限定。在增量明文数据与特定标记无对应关系时，监视器310可以向协调器320发送触发启动指令。在增量明文数据与特定标记之间存在对应关系或者增量明文数
据数量为0时，则结束本次流程。
[0095]
进而，协调器320可以在接收到触发启动指令之后，基于预先设置的文件日志路径获取待处理的增量明文数据，并确定中央处理器当前负载(即，cpu当前负载)；在检测到中央处理器当前负载大于等于预设负载阈值或者增量明文数据大于等于预设处理量(burstlimitsize)时，将单线程采集模式(lazy模式)确定为目标数据采集模式；在检测到增量明文数据小于或等于预设处理量(burstlimitsize)且中央处理器当前负载小于预设负载阈值时，将多线程采集模式(burst模式)确定为目标数据采集模式；其中，预设负载阈值、预设处理量可以为预先设置的任意数值，预设处理量(burstlimitsize)的计量单位为mb。可选的，协调器320还可以用于，根据表达式(第一目标值＝[中央处理器当前负载/100*10])计算目标值；按照时间序列获取预设数量(如，30)的目标值，确定预设数量的目标值的众数，若检测到众数小于预设负载阈值时，则判定中央处理器当前负载小于预设负载阈值；若检测到众数大于或等于预设负载阈值时，则判定中央处理器当前负载大于或等于预设负载阈值。
[0096]
可选的，在协调器320在根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式之前，还可以用于在检测到增量明文数据大于等于预设门限值(inputmultiplemax)时，根据预设门限值将增量明文数据进行分割，并根据分割得到的对应于预设门限值(inputmultiplemax)的增量明文数据确定起始处理位置和截至处理位置；其中，预设门限值可以为最大处理数据量(burstlimitsize*inputmultiplemax)，也可以为预先设置的任意数值，预设门限值(inputmultiplemax)的计量单位为mb；进而根据起始处理位置和截至处理位置生成触发启动指令，向采集器340发送触发启动指令，这样可以避免因数据过大导致的内存溢出问题，以及长时间进行数据处理产生的能耗影响；其中，起始处理位置和截至处理位置用于指示数据存储位置。
[0097]
若目标数据采集模式为单线程采集模式(lazy模式)，采集器340根据目标数据采集模式将增量明文数据读入缓存，包括：根据起始处理位置和截至处理位置确定需要处理的数据，并根据目标数据采集模式将需要处理的数据读入缓存，这样可以减少对于计算机资源的占用率；其中，需要处理的数据可以为一部分的增量明文数据，也可以为增量明文数据，本技术实施例不作限定。在检测到增量明文数据中存在预设标识时，采集器340可以将缓存中的所有数据传输至分拣器330，并清空缓存。
[0098]
若目标数据采集模式为多线程采集模式(burst模式)，其中：协调器320，还用于根据增量明文数据的字节数量确定多个线程中各线程分别对应的待处理字节数量；协调器320，还用于根据各线程分别对应的待处理字节数量将增量明文数据划分为多个字节块并确定字节偏移量，这样可以提升数据处理效率；其中，多个字节块与多个线程对应于相同数量。其中，各线程对应于不同的编号(如，1，2，3，
……
)，各线程之间存在基于编号的先后次序，各线程可以基于各自对应的编号处理相应的字节块。
[0099]
基于此，进而采集器340根据目标数据采集模式将增量明文数据读入缓存，可以执行为：采集器340基于预先设置的文件日志路径获取需要处理的字节块，启动多个线程依据字节偏移量同时将各自对应的字节块读入缓存；通过多个线程分别对各自对应的字节块进行预设标识检测。
[0100]
进而，采集器340还可以在检测到增量明文数据中存在预设标识(如，0x0a)时，将
缓存中的所有数据传输至分拣器330，并清空缓存。
[0101]
采集器340在根据目标数据采集模式将增量明文数据读入缓存的过程中，若采集器340检测到缓存空间占用率大于预设占用率且未检测到预设标识，采集器340，还用于在检测到缓存中只存在至少一条完整数据时，将至少一条完整数据传输至分拣器330，并清空缓存；采集器340，还用于在检测到缓存中存在至少一条完整数据以及不完整数据时，将至少一条完整数据传输至分拣器330，将不完整数据传输至数据补全器350，并清空缓存。进一步可选地，采集器340，还用于在进行新一轮缓存读入时，从数据补全器350中获取不完整数据，并将不完整数据与增量明文数据中未被处理的剩余数据读入缓存；采集器340，还用于在检测到剩余数据中存在预设标识时，将缓存中的所有数据传输至分拣器330，并清空缓存。
[0102]
进而，分拣器330可以根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式(如，键值形式)的结构化数据。举例来说，待处理数据页的大小可以为1kb。进而，分拣器330还可以将符合预设格式的结构化数据输出值存储器(如，redis/db/hdfs等)。
[0103]
此外，记录器360当多个线程均完成针对各自对应的字节块的预设标识检测之后，存储数据处理进度和增量明文数据的字节数量并更新数据处理进度；在已有存储空间存在剩余空间时，存储中央处理器当前负载；在已有存储空间不存在剩余空间时，通过中央处理器当前负载覆盖已有存储空间中特定位置的负载记录。
[0104]
可见，实施图3所示的数据处理系统，依赖缓存进行即时的数据采集和数据结构化，这样可以在不依赖外部设备的情况下，更快地实现对于数据的处理，可以提升数据采集效率、数据处理效率，降低设备维护难度。此外，还可以基于对于缓存的使用，降低对于网络资源的消耗。
[0105]
请参阅图4，图4示意性示出了根据本技术的一个实施例的数据处理系统的序列图。如图4所示，该序列图可以包括：步骤s410～步骤s470。
[0106]
步骤s410：监视器获取记录器中的数据处理进度以及数据总量；根据数据处理进度和数据总量确定数据增量；确定数据增量对应的增量明文数据与特定标记之间的对应关系，若增量明文数据与特定标记无对应关系，则向协调器发送触发启动指令。
[0107]
步骤s420：协调器当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；在检测到中央处理器当前负载大于等于预设负载阈值或者增量明文数据大于等于预设处理量时，将单线程采集模式确定为目标数据采集模式；在检测到增量明文数据小于或等于预设处理量且中央处理器当前负载小于预设负载阈值时，将多线程采集模式确定为目标数据采集模式。
[0108]
步骤s430：采集器根据目标数据采集模式将增量明文数据读入缓存；在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存。
[0109]
步骤s440：分拣器根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。
[0110]
步骤s450：采集器在检测到缓存中只存在至少一条完整数据时，将至少一条完整数据传输至分拣器，并清空缓存；在检测到缓存中存在至少一条完整数据以及不完整数据时，将至少一条完整数据传输至分拣器，将不完整数据传输至数据补全器，并清空缓存。
[0111]
步骤s460：采集器在进行新一轮缓存读入时，从数据补全器中获取不完整数据，并将不完整数据与增量明文数据中未被处理的剩余数据读入缓存；在检测到剩余数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存。
[0112]
步骤s470：记录器当多个线程均完成针对各自对应的字节块的预设标识检测之后，存储数据处理进度和增量明文数据的字节数量并更新数据处理进度；在已有存储空间存在剩余空间时，存储中央处理器当前负载；在已有存储空间不存在剩余空间时，通过中央处理器当前负载覆盖已有存储空间中特定位置的负载记录。
[0113]
需要说明的是，步骤s410～步骤s470与图3所示的系统实施的各步骤相对应，针对步骤s410～步骤s470的具体实施方式，请参阅图3所示的系统实施的各步骤及其实施例，此处不再赘述。
[0114]
可见，实施图4所示的数据处理系统，依赖缓存进行即时的数据采集和数据结构化，这样可以在不依赖外部设备的情况下，更快地实现对于数据的处理，可以提升数据采集效率、数据处理效率，降低设备维护难度。此外，还可以基于对于缓存的使用，降低对于网络资源的消耗。
[0115]
请参阅图5，图5示意性示出了根据本技术的一个实施例的数据处理方法的流程图。如图5所示，该数据处理方法可以包括：步骤s510～步骤s550。
[0116]
步骤s510：当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载。
[0117]
步骤s520：根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式。
[0118]
步骤s530：根据目标数据采集模式将增量明文数据读入缓存。
[0119]
步骤s540：在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存。
[0120]
步骤s550：根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。
[0121]
需要说明的是，步骤s510～步骤s550与图2所示的系统实施的各步骤相对应，针对步骤s510～步骤s550的具体实施方式，请参阅图2所示的系统实施的各步骤及其实施例，此处不再赘述。
[0122]
可见，实施图5所示的数据处理方法，依赖缓存进行即时的数据采集和数据结构化，这样可以在不依赖外部设备的情况下，更快地实现对于数据的处理，可以提升数据采集效率、数据处理效率，降低设备维护难度。此外，还可以基于对于缓存的使用，降低对于网络资源的消耗。
[0123]
请参阅图6，图6示意性示出了根据本技术的一个实施例中的数据处理装置的结构框图。如图6所示，该数据处理装置600可以包括：数据获取单元610、数据采集模式确定单元620、读入缓存单元630、数据传输单元640、结构化数据生成单元650。
[0124]
数据获取单元610，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；
[0125]
数据采集模式确定单元620，用于根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式；
[0126]
读入缓存单元630，用于根据目标数据采集模式将增量明文数据读入缓存；
[0127]
数据传输单元640，用于在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存；
[0128]
结构化数据生成单元650，用于根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。
[0129]
可见，实施图6所示的数据处理装置，依赖缓存进行即时的数据采集和数据结构化，这样可以在不依赖外部设备的情况下，更快地实现对于数据的处理，可以提升数据采集效率、数据处理效率，降低设备维护难度。此外，还可以基于对于缓存的使用，降低对于网络资源的消耗。
[0130]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0131]
由于本技术的示例实施例的数据处理装置的各个功能模块与上述数据处理系统的示例实施例的步骤对应，因此对于本技术装置实施例中未披露的细节，请参照本技术上述的数据处理系统的实施例。
[0132]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
[0133]
需要说明的是，本技术所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0134]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所
标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0135]
描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0136]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
[0137]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。