一种基于自适应约束条件的网络数据获取系统及方法与流程

技术特征：
1.一种基于自适应约束条件的网络数据获取系统，其特征是，设有用户输入模块、预处理模块、任务分发模块、消息传递模块、数据存储模块、数据获取模块、数据分析模块和数据处理模块，所述用户输入模块与预处理模块连接，所述预处理模块与任务分发模块连接，所述任务分发模块分别与消息传递模块和数据存储模块连接，所述数据获取模块、数据分析模块和数据处理模块还分别与消息传递模块和数据存储模块连接；所述用户输入模块，用于接收用户发送的数据并传入整个系统；所述预处理模块，对用户指定的输入数据，包括数据源、初始任务数据、处理方式做基本的处理；所述任务分发模块，是系统中的一个任务分发节点，负责最基本、最重要的数据获取任务的生成调优，以及在整个系统中对不同功能的节点进行任务的调度、指导、分配和节点运行任务情况的监测；所述消息传递模块，是系统中多个负责传递消息的消息队列节点，负责传递节点的信息以及任务的信息，通过不同功能和类型的消息队列和不同节点之间的联系，将任务稳定快速地分配到节点并协调工作；所述数据存储模块，对应系统中多个不同类型的数据库，负责存储整个系统中需要在节点间传递的必要数据，保证了整个系统数据上的协调和正确；所述数据获取模块，对应系统中的多种类型不同、数量较多的数据获取节点，负责按照对应的数据获取任务的要求进行对应任务数据的批量高效的获取；所述数据分析模块，对应系统中多个具有计算处理能力的数据分析节点，负责对数据获取任务中获取的结果进行分析，并从中提取出数据源的获取约束条件，从而反馈给任务分发节点，作为生成高效数据获取任务的重要依据；所述数据处理模块，对应系统中多个具有数据处理能力的数据处理节点，负责将获取到的原始数据以用户给定的模式处理，使其成为符合用户需求的数据。2.一种基于自适应约束条件的网络数据获取方法，其特征是，包括以下步骤：步骤一、系统的部署和设置：对各台主机做基本的运行条件配置，进行数据获取模块、数据处理模块、数据分析模块、消息传输模块、数据存储模块的部署，并保证各模块正常工作，其中需要对具体的数据获取节点、数据处理节点、数据分析节点生成对应的id号作为标记，并在数据库中节点信息表来存入节点的编号和相关属性；步骤二、数据获取：用户把将要放入系统进行获取的数据以及指定的数据源的信息输入到系统中，任务分发节点根据数据库中数据获取节点的信息结合已经探测到的数据源的约束条件将获取任务进行构造，并将具体的任务传送到对应的消息队列中进行处理；步骤三、数据分析：任务分发节点收到数据获取任务完成的消息之后，将任务发送给空闲的数据分析节点，数据分析节点将获取到的结果进行数据的分析、约束条件的生成，并将完成消息返回给任务分发节点，任务分发节点进行对应信息的更新存储，并根据任务的状态决定是否将任务消息发送到数据处理节点，数据处理节点一旦接收到了任务，便更改任务状态并执行任务，最后将处理好的数据进行存储；步骤四、数据处理：任务分发节点收到数据分析任务完成的消息之后，将任务发送给空闲的数据处理节点，数据处理节点将获取到的结果进行数据的处理、将原任务数据集合改变使得任务分发节点重新加载该任务、存入数据库，并将完成消息返回给任务分发节点，任
务分发节点进行对应任务信息的更新存储。3.根据权利要求2所述基于自适应约束条件的网络数据获取方法，其特征在于，所述步骤一到步骤四还包括系统内部的反馈处理，所述反馈处理包括节点连通性的反馈处理、节点任务程序执行情况的反馈处理和失败任务的反馈处理。4.根据权利要求2所述基于自适应约束条件的网络数据获取方法，其特征在于，所述步骤一中数据库需要建立的表或集合包括：(1)节点信息表，主要用来查看节点的信息，存储于nosql数据库中；(2)约束条件集合；(3)任务集合；(4)任务数据集合；(5)处理方法集合；(6)最终结果集合。5.根据权利要求2所述基于自适应约束条件的网络数据获取方法，其特征在于，所述步骤二的具体步骤包括：步骤21，预处理模块对应的节点在数据流入后对用户提供的数据进行处理，包括数据分类和确定处理方式；步骤22，任务分发节点收到数据获取的请求，从数据库中获取一个获取任务必要的信息，开始建立任务或对任务进行分发；步骤23，空闲的数据获取节点通过监听自己的消息队列，取到由任务分发节点发出的任务的消息，根据任务方法的具体要求，配置并执行该获取任务，将结果进行反馈。6.根据权利要求2所述基于自适应约束条件的网络数据获取方法，其特征在于，所述步骤三的具体步骤包括：步骤31，任务分发节点不断监听回复消息队列，接收到其中获取节点任务完成的消息，判断返回消息的节点的状态，若为“故障”，则将任务对应状态改为“失败”，不再向下进行；并对应的将任务进行发送到分析节点的消息队列中；步骤32，所有空闲的分析节点不断监听该消息队列，在遇到任务消息时由唯一的一个节点将任务获取，并开始执行分析过程。7.根据权利要求2所述基于自适应约束条件的网络数据获取方法，其特征在于，所述步骤四的具体步骤包括：步骤41，任务分发节点不断监听回复消息队列，接收到其中分析节点任务完成的消息，判断返回消息节点的状态，若为“故障”，则将任务对应状态改为“失败”，不向下进行；否则在任务数据库中查找对应分析节点任务的结果，如果对应任务的状态为“需要处理”，则将任务进行发送到处理节点的消息队列中；步骤42，所有空闲的处理节点不断监听该消息队列，在遇到任务消息时由唯一的一个节点将任务获取，并开始将获取到的数据按照用户指定的方式进行处理并获得最终结果。

技术总结
本发明涉及一种基于自适应约束条件的网络数据获取系统及方法，其解决了大批量获取网络数据时受到数据源约束，无法高效获取数据的技术问题，其设有用户输入模块、预处理模块、任务分发模块、消息传递模块、数据存储模块、数据获取模块、数据分析模块和数据处理模块，用户输入模块与预处理模块连接，预处理模块与任务分发模块连接，任务分发模块分别与消息传递模块和数据存储模块连接，数据获取模块、数据分析模块和数据处理模块还分别与消息传递模块和数据存储模块连接。本发明可广泛应用于需要批量获取受数据源约束数据的场合。批量获取受数据源约束数据的场合。批量获取受数据源约束数据的场合。


技术研发人员：张兆心 朴冠华 程亚楠 赵帅 李超
受保护的技术使用者：哈尔滨工业大学（威海）
技术研发日：2021.09.10
技术公布日：2021/12/3