一种基于综合监控管理的数据监控方法及系统与流程

技术特征：
1.一种基于综合监控管理的数据监控方法，其特征在于：包括如下步骤：根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据，将目标时间段内的数据根据时间段长度进行等分，存入监控数据库的分布式存储数据格，按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签，在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配，若匹配失败，则定位到标准数据库中对应数据的位置进行数据校验。2.根据权利要求1所述的基于综合监控管理的数据监控方法，其特征在于：所述随机抓取目标时间段内即将存入标准数据库的数据采用以下原则，对存入标准数据库的数据进行起始点标记和终止点标记，通过所述起始点标记和终止点标记计算数据存入时间，若数据存入时间落入存入时间阈值范围内，则对该数据和其间隔段的数据进行抓取。3.根据权利要求3所述的基于综合监控管理的数据监控方法，其特征在于：所述对该数据随机间隔段的数据进行抓取为对当前抓取数据前后间隔的数据进行抓取，其中，t
δ
为当前存入标准数据库的数据与上一个存入标准数据库的时间的间隔时间，t
l
为当前数据存入时间，n为目标时间段内当前存入数据的数量。4.根据权利要求1所述的基于综合监控管理的数据监控方法，其特征在于：在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配具体通过如下公式进行匹配：其中，s
i
表示第i个时间节点，α指的是每个时间段内的存储数据格内的数据样本，p表示数据格的数量，q表示的是数据根据时间段长度等分的数量。5.根据权利要求1所述的基于综合监控管理的数据监控方法，其特征在于：还包括根据匹配不成功的数据进行前后时间节点定位，在标准数据库中定位到前后时间节点之间的数据，将该段数据进行删除，并从数据输入历史记录中重新调取数据对删除的数据进行补充，补充完成后再次通过分布式存储数据格中时间节点标签对应标准数据库进行匹配。6.根据权利要求5所述的基于综合监控管理的数据监控方法，其特征在于：所述输入历史记录为当前预设时间段数据存入标准数据库之前存储在本地的临时数据，在下一个预设时间段开始后进行清零。7.一种基于综合监控管理的数据监控系统，其特征在于：包括标准数据库和监控数据库，所述监控数据库包括若干分布式存储数据格，所述标准数据库用于存储服务器的数据，所述监控数据库用于通过分布式数据格分别存储输入的监控数据段。8.根据权利要求7所述的基于综合监控管理的数据监控系统，其特征在于：还包括数据截取模块(100)、标签生成模块(200)、数据匹配模块(300)和数据校验模块(400)，所述数据截取模块(100)用于根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据，将目标时间段内的数据根据时间段长度进行等分，存入监控数据库的分布式存储数据格，所述标签生成模块(200)用于按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签，所述数据匹配模块(300)用于在下一个预设时间段开始前对通过分布式存储数
据格中时间节点标签对应标准数据库进行匹配，所述数据校验模块(400)用于在数据匹配模块(300)匹配任务失败时定位到标准数据库中对应数据的位置进行数据校验。9.根据权利要求8所述的基于综合监控管理的数据监控系统，其特征在于：所述数据截取模块(100)包括数据标记单元(101)和截取判断单元(102)，所述数据标记单元(101)用于对存入标准数据库的数据进行起始点标记和终止点标记，所述截取判断单元(102)用于通过所述起始点标记和终止点标记计算数据存入时间，若数据存入时间落入存入时间阈值范围内，则对该数据和其间隔段的数据进行抓取。10.根据权利要求8所述的基于综合监控管理的数据监控系统，其特征在于：所述数据校验模块(400)包括数据定位单元(401)和数据处理单元(402)，所述数据定位单元(401)根据匹配不成功的数据进行前后时间节点定位，在标准数据库中定位到前后时间节点之间的数据，所述数据处理单元(402)用于将所述数据定位单元(401)定位到的数据进行删除，并从数据输入历史记录中重新调取数据对删除的数据进行补充。

技术总结
本发明涉及数据监控技术领域，尤其为一种基于综合监控管理的数据监控方法及系统，包括根据预设时间段随机抓取目标时间段内即将存入标准数据库的数据，将目标时间段内的数据根据时间段长度进行等分，存入监控数据库的分布式存储数据格，按照初次存入的时间段对各个存储数据格内的数据打上时间节点标签，在下一个预设时间段开始前对通过分布式存储数据格中时间节点标签对应标准数据库进行匹配，若匹配失败，则定位到标准数据库中对应数据的位置进行数据校验。本发明通过临时存储在服务器内存中的数据来替换校验出错的数据，则能够实时保证数据的完整度和精确度，同时占用资源小。同时占用资源小。同时占用资源小。


技术研发人员：杨正庆 董星 袁晟 刘杨
受保护的技术使用者：扬州智能科技有限公司
技术研发日：2022.04.26
技术公布日：2022/7/5