数据处理系统、方法、装置、计算机可读存储介质及设备与流程

技术特征：
1.一种数据处理系统，其特征在于，所述系统至少包括协调器、采集器和分拣器，其中：所述协调器，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据所述中央处理器当前负载和所述增量明文数据从至少两种数据采集模式中确定目标数据采集模式；所述采集器，用于根据所述目标数据采集模式将所述增量明文数据读入缓存；在检测到所述增量明文数据中存在预设标识时，将所述缓存中的所有数据传输至分拣器，并清空所述缓存；所述分拣器，用于根据预设切割规则将所述增量明文数据切割为多个待处理数据页，并根据所述多个待处理数据页生成符合预设格式的结构化数据。2.根据权利要求1所述的系统，其特征在于，所述系统还包括数据补全器，若所述采集器检测到缓存空间占用率大于预设占用率且未检测到所述预设标识，其中：所述采集器，还用于在检测到所述缓存中只存在至少一条完整数据时，将所述至少一条完整数据传输至所述分拣器，并清空所述缓存；所述采集器，还用于在检测到所述缓存中存在至少一条完整数据以及不完整数据时，将所述至少一条完整数据传输至所述分拣器，将所述不完整数据传输至所述数据补全器，并清空所述缓存。3.根据权利要求2所述的系统，其特征在于，其中：所述采集器，还用于在进行新一轮缓存读入时，从所述数据补全器中获取所述不完整数据，并将所述不完整数据与所述增量明文数据中未被处理的剩余数据读入所述缓存；所述采集器，还用于在检测到所述剩余数据中存在所述预设标识时，将所述缓存中的所有数据传输至所述分拣器，并清空所述缓存。4.根据权利要求1所述的系统，其特征在于，所述系统还包括监视器和记录器，其中：所述监视器，用于获取所述记录器中的数据处理进度以及数据总量；所述监视器，还用于根据所述数据处理进度和所述数据总量确定数据增量；所述监视器，还用于确定所述数据增量对应的增量明文数据与特定标记之间的对应关系，若所述增量明文数据与特定标记无对应关系，则向所述协调器发送所述触发启动指令。5.根据权利要求1所述的系统，其特征在于，其中，所述协调器，还用于在根据所述中央处理器当前负载和所述增量明文数据从至少两种数据采集模式中确定目标数据采集模式之前，在检测到所述增量明文数据大于等于预设门限值时，根据所述预设门限值将所述增量明文数据进行分割，并根据分割得到的对应于所述预设门限值的增量明文数据确定起始处理位置和截至处理位置；根据所述起始处理位置和所述截至处理位置生成触发启动指令，向所述采集器发送所述触发启动指令；以及，所述采集器根据所述目标数据采集模式将所述增量明文数据读入缓存，包括：所述采集器基于所述触发启动指令并根据所述目标数据采集模式将所述增量明文数据读入缓存；所述监视器根据所述起始处理位置和所述截至处理位置生成触发启动指令，向所述协调器发送所述触发启动指令。6.根据权利要求1所述的系统，其特征在于，所述协调器根据所述中央处理器当前负载和所述增量明文数据从至少两种数据采集模式中确定目标数据采集模式，包括：
所述协调器在检测到所述中央处理器当前负载大于等于预设负载阈值或者所述增量明文数据大于等于预设处理量时，将单线程采集模式确定为所述目标数据采集模式；所述协调器在检测到所述增量明文数据小于或等于所述预设处理量且所述中央处理器当前负载小于所述预设负载阈值时，将多线程采集模式确定为所述目标数据采集模式。7.根据权利要求6所述的系统，其特征在于，若所述目标数据采集模式为所述多线程采集模式，其中：所述协调器，还用于根据所述增量明文数据的字节数量确定多个线程中各线程分别对应的待处理字节数量；所述协调器，还用于根据所述各线程分别对应的待处理字节数量将所述增量明文数据划分为多个字节块并确定字节偏移量；其中，所述多个字节块与所述多个线程对应于相同数量；以及，所述采集器根据所述目标数据采集模式将增量明文数据读入缓存，包括：所述采集器启动多个线程依据所述字节偏移量同时将各自对应的字节块读入所述缓存；通过所述多个线程分别对各自对应的字节块进行预设标识检测。8.根据权利要求7所述的系统，其特征在于，所述系统还包括记录器，其中：所述记录器，用于当所述多个线程均完成针对各自对应的字节块的预设标识检测之后，存储所述数据处理进度和所述增量明文数据的字节数量并更新所述数据处理进度。9.根据权利要求8所述的系统，其特征在于，其中：所述记录器，还用于在已有存储空间存在剩余空间时，存储所述中央处理器当前负载；所述记录器，还用于在所述已有存储空间不存在剩余空间时，通过所述中央处理器当前负载覆盖已有存储空间中特定位置的负载记录。10.一种数据处理方法，其特征在于，所述方法包括：当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据所述中央处理器当前负载和所述增量明文数据从至少两种数据采集模式中确定目标数据采集模式；根据所述目标数据采集模式将所述增量明文数据读入缓存；在检测到所述增量明文数据中存在预设标识时，将所述缓存中的所有数据传输至分拣器，并清空所述缓存；根据预设切割规则将所述增量明文数据切割为多个待处理数据页，并根据所述多个待处理数据页生成符合预设格式的结构化数据。11.一种数据处理装置，其特征在于，所述装置包括：数据获取单元，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；数据采集模式确定单元，用于根据所述中央处理器当前负载和所述增量明文数据从至少两种数据采集模式中确定目标数据采集模式；读入缓存单元，用于根据所述目标数据采集模式将所述增量明文数据读入缓存；数据传输单元，用于在检测到所述增量明文数据中存在预设标识时，将所述缓存中的所有数据传输至分拣器，并清空所述缓存；结构化数据生成单元，用于根据预设切割规则将所述增量明文数据切割为多个待处理
数据页，并根据所述多个待处理数据页生成符合预设格式的结构化数据。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的系统执行的步骤或者如权利要求10所述的方法。13.一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如权利要求1-9任一项所述的系统执行的步骤或者如权利要求10所述的方法。

技术总结
本申请提供一种数据处理系统、方法、装置、计算机可读存储介质及设备，涉及计算机技术领域，上述系统中，协调器，用于当接收到触发启动指令时，获取待处理的增量明文数据，并确定中央处理器当前负载；根据中央处理器当前负载和增量明文数据从至少两种数据采集模式中确定目标数据采集模式。采集器，用于根据目标数据采集模式将增量明文数据读入缓存；在检测到增量明文数据中存在预设标识时，将缓存中的所有数据传输至分拣器，并清空缓存。分拣器，用于根据预设切割规则将增量明文数据切割为多个待处理数据页，并根据多个待处理数据页生成符合预设格式的结构化数据。可见，实施上述方法可以提升数据采集效率、数据处理效率，降低设备维护难度。维护难度。维护难度。


技术研发人员：孙梓洋 余波 俞翔 张永民
受保护的技术使用者：中国电信股份有限公司
技术研发日：2021.12.15
技术公布日：2022/3/18