基于时序数据库的能源监测数据存储方法、设备及介质与流程

技术特征：
1.基于时序数据库的能源监测数据存储方法，其特征在于，所述方法包括：通过日志收集系统，从关系型数据库中查询新增能源监测数据，并根据所述新增能源监测数据的时序采集所述新增能源监测数据；基于所述新增能源监测数据的时序，将所述新增能源监测数据放入对应的分布式消息队列中；通过所述分布式消息队列，解除所述日志收集系统与时序数据库之间新增能源监测数据的耦合性，并将所述新增能源监测数据，按照所述时序存储至所述时序数据库中。2.根据权利要求1所述的基于时序数据库的能源监测数据存储方法，其特征在于，所述基于所述新增能源监测数据的时序，将所述新增能源监测数据放入相应的分布式消息队列中之前，所述方法还包括：确定所述新增能源监测数据是否为数值数据；在所述新增能源监测数据为数值数据时，确定所述新增能源监测数据是否在预设区间内；在所述新增能源监测数据在所述预设区间的情况下，通过预设验证算法，确定所述新增能源监测数据为正常数据的概率；当所述概率大于或等于预设阈值时，确定所述新增能源监测数据为正常数据。3.根据权利要求2所述的基于时序数据库的能源监测数据存储方法，其特征在于，所述确定所述新增能源监测数据为正常数据之后，所述方法还包括：基于所述时序，将采集到的所述新增能源监测数据存储至非关系型数据库中，以对所述新增能源监测数据进行备份。4.根据权利要求1所述的基于时序数据库的能源监测数据存储方法，其特征在于，所述基于所述新增能源监测数据的时序，将所述新增能源监测数据放入相应的分布式消息队列中之前，所述方法还包括：将所述新增能源监测数据的前一个新增能源监测数据和后一个新增能源监测数据作为训练样本，训练神经网络模型；在所述新增能源监测数据不是数值数据或者所述新增能源监测数据为正常数据的概率小于预设阈值的情况下，确定所述新增能源监测数据不是正常数据，则将所述新增能源监测数据的新增时间输入训练好的神经网络模型中，以得到正常的新增能源监测数据。5.根据权利要求1所述的基于时序数据库的能源监测数据存储方法，其特征在于，所述通过所述分布式消息队列，解除所述日志收集系统与时序数据库之间新增能源监测数据的耦合性之后，所述方法还包括：通过预设的实时处理系统，对解耦后的新增能源监测数据进行分析；若所述新增能源监测数据的主键为空，则将所述新增能源监测数据丢失，以确定所述新增能源监测数据与所述时序数据库的存储要求相符；其中，所述存储要求包括所述新增能源监测数据的主键不能为空；确定出所述时序数据库的数据存储格式，将符合所述存储要求的新增能源监测数据统一转换为所述时序数据库的数据存储格式。6.根据权利要求1所述的基于时序数据库的能源监测数据存储方法，其特征在于，所述将所述新增能源监测数据，按照所述时序存储至所述时序数据库中之后，所述方法还包括：
通过数据转换模块，基于预先配置的数据转换规则，对所述时序数据库中的所述新增能源监测数据进行数据转换；将转换完的新增能源监测数据存储至非关系型数据库，以通过所述非关系型数据库对所述新增能源监测数据进行分析。7.根据权利要求1所述的基于时序数据库的能源监测数据存储方法，其特征在于，所述将所述新增能源监测数据，按照所述时序存储至所述时序数据库中之前，所述方法还包括：通过所述分布式消息队列，去除若干所述新增能源监测数据中的峰值，并对去除峰值后的新增能源监测数据进行存储。8.根据权利要求1所述的基于时序数据库的能源监测数据存储方法，其特征在于，所述将所述新增能源监测数据，按照所述时序存储至所述时序数据库中之后，所述方法还包括：从所述时序数据库中获取所述新增能源监测数据，并基于所述时序，生成对应的新增能源监测数据曲线；根据所述新增能源监测数据曲线的变化幅度，确定所述新增能源监测数据是否异常。9.基于时序数据库的能源监测数据存储设备，其特征在于，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：通过日志收集系统，从关系型数据库中查询新增能源监测数据，并根据所述新增能源监测数据的时序采集所述新增能源监测数据；基于所述新增能源监测数据的时序，将所述新增能源监测数据放入对应的分布式消息队列中；通过所述分布式消息队列，解除所述日志收集系统与时序数据库之间新增能源监测数据的耦合性，并将所述新增能源监测数据，按照所述时序存储至所述时序数据库中。10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：通过日志收集系统，从关系型数据库中查询新增能源监测数据，并根据所述新增能源监测数据的时序采集所述新增能源监测数据；基于所述新增能源监测数据的时序，将所述新增能源监测数据放入对应的分布式消息队列中；通过所述分布式消息队列，解除所述日志收集系统与时序数据库之间新增能源监测数据的耦合性，并将所述新增能源监测数据，按照所述时序存储至所述时序数据库中。

技术总结
本申请公开了基于时序数据库的能源监测数据存储方法、设备及介质，用以解决现有技术中将能源监测数据存储至关系型数据库，根据时序对能源监测数据的查询监测较为困难的技术问题。方法包括：通过日志收集系统，从关系型数据库中查询新增能源监测数据，并根据新增能源监测数据的时序采集新增能源监测数据；基于时序，将新增能源监测数据放入相应的分布式消息队列中；通过分布式消息队列，解除日志收集系统与时序数据库之间新增能源监测数据的耦合性，并将新增能源监测数据，按照时序存储至时序数据库中。通过上述方法减轻了后续排序工作的压力，解除了日志收集系统与时序数据库之间新增能源监测数据的耦合性，提高了新增能源监测数据的查询效率。测数据的查询效率。测数据的查询效率。


技术研发人员：戴鸿君
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2021.11.26
技术公布日：2022/2/28