一种网络数据采集方法及系统与流程

技术特征：
1.一种网络数据采集方法，其特征在于，应用在网络数据采集系统上，所述系统包括管理终端和站点，方法包括以下步骤：所述管理终端根据待采集设备的设备型号对所述待采集设备进行分类，为各类待采集设备配置对应的采集模板与解析模板；所述管理终端根据预先设置的采集策略生成采集任务，根据待采集设备所处站点对所述采集任务进行分组得到若干组采集任务，将各组采集任务分别发送至所述待采集设备所处站点上；所述站点根据所述采集模板和所述采集任务采集所述待采集设备的若干属性数据，并将所述属性数据发送给所述管理终端；所述管理终端根据所述解析模板对所述属性数据进行解析得到属性解析数据并保存。2.根据权利要求1所述的网络数据采集方法，其特征在于，还包括：所述管理终端将所述属性解析数据通过前端页面展示给用户。3.根据权利要求1所述的网络数据采集方法，其特征在于，所述站点根据所述采集模板和所述采集任务采集所述待采集设备的若干属性数据具体包括：所述站点上的探测进程根据所述采集任务中设置的采集时间和所述采集模板中设置的采集方法采集所述待采集设备的若干属性数据；其中，所述采集模板为所述待采集设备的每个属性设置了对应的采集方法。4.根据权利要求1所述的网络数据采集方法，其特征在于，所述管理终端根据所述解析模板对所述属性数据进行解析得到属性解析数据具体包括：所述管理终端根据所述解析模板中的解析函数对所述属性数据进行解析得到属性解析数据；其中，所述解析函数与所述属性数据所属的属性是一一对应的。5.根据权利要求1所述的网络数据采集方法，其特征在于，所述管理终端根据预先设置的采集策略生成采集任务具体包括：所述管理终端根据预先设置的采集策略手动生成采集任务或在预设时间自动生成采集任务。6.一种网络数据采集系统，其特征在于，所述系统包括管理终端和站点，包括：所述管理终端根据待采集设备的设备型号对所述待采集设备进行分类，为各类待采集设备配置对应的采集模板与解析模板；所述管理终端根据预先设置的采集策略生成采集任务，根据待采集设备所处站点对所述采集任务进行分组得到若干组采集任务，将各组采集任务分别发送至所述待采集设备所处站点上；所述站点根据所述采集模板和所述采集任务采集所述待采集设备的若干属性数据，并将所述属性数据发送给所述管理终端；所述管理终端根据所述解析模板对所述属性数据进行解析得到属性解析数据并保存。7.根据权利要求6所述的网络数据采集系统，其特征在于，所述管理终端还用于：将所述属性解析数据通过前端页面展示给用户。8.根据权利要求6所述的网络数据采集系统，其特征在于，所述站点根据所述采集模板和所述采集任务采集所述待采集设备的若干属性数据具体包括：所述站点上的探测进程根据所述采集任务中设置的采集时间和所述采集模板中设置
的采集方法采集所述待采集设备的若干属性数据；其中，所述采集模板为所述待采集设备的每个属性设置了对应的采集方法。9.根据权利要求6所述的网络数据采集系统，其特征在于，所述管理终端根据所述解析模板对所述属性数据进行解析得到属性解析数据具体包括：所述管理终端根据所述解析模板中的解析函数对所述属性数据进行解析得到属性解析数据；其中，所述解析函数与所述属性数据所属的属性是一一对应的。10.根据权利要求6所述的网络数据采集系统，其特征在于，所述管理终端根据预先设置的采集策略生成采集任务具体包括：所述管理终端根据预先设置的采集策略手动生成采集任务或在预设时间自动生成采集任务。

技术总结
本发明公开了一种网络数据采集方法及系统，系统包括管理终端和站点，方法应用在网络数据采集系统上，包括：管理终端根据待采集设备的设备型号对待采集设备进行分类，为各类待采集设备配置对应的采集模板与解析模板；管理终端根据采集策略生成采集任务，根据待采集设备所处站点对采集任务进行分组得到若干组采集任务，将各组采集任务分别发送至待采集设备所处站点上；站点根据采集模板和采集任务采集待采集设备的若干属性数据；管理终端根据解析模板解析属性数据得到属性解析数据并保存。本发明对新增网络设备的数据进行采集时，只需添加相应的采集模板和解析模板，具有很好的扩展性，解析得到的数据质量高，极大地提高采集任务的执行效率。务的执行效率。务的执行效率。


技术研发人员：王志伟 庞涛
受保护的技术使用者：唯品会（广州）软件有限公司
技术研发日：2021.12.22
技术公布日：2022/3/25