一种基于中转库模式的流式数据时间序列传输方法及系统与流程

1.本发明涉及数据处理技术领域，具体涉及一种基于中转库模式的流式数据时间序列传输方法及系统。


背景技术：

2.日志文件是用来记录系统执行中发生的事件，以便提供可用于理解系统的活动和诊断问题的跟踪，它们对理解复杂系统的活动至关重要，特别是在用户交互较少的应用程序中。通俗来讲，日志是一种记事本之类的文件，对于技术人员来说这些日志具备很大的参考价值，通过查看日志就可以对系统问题进行一定程度的诊断、追溯和修复。
3.日志属于动态的实时数据文件，这类数据称为流式数据，一旦数据集发生动态变化，需要系统即刻做出反应，进行高效的分析处理，但单个数据不具备分析价值，多个数据同时调取又存在传输速度慢、效率低的问题。在现有技术中，流式数据量较大，对于海量的流式数据，会将数据切分为多个数据块，然后将数据块并行方式存储并传输。这种存储传输的方法中，每次调取的流式数据仅在当下时间内有效，随着新数据的产生，旧的数据就作废，再想查看又得从新的时间节点重新调取一遍；并且并行传输更容易发生数据丢失，若存在一个数据块的存储服务器宕机等情况，会导致调取数据失败，影响数据传输效率。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于中转库模式的流式数据时间序列传输方法及系统，所采用的技术方案具体如下：本发明提出了一种基于中转库模式的流式数据时间序列传输方法，所述方法包括：统计存储器内的所有初始日志流式数据，并规范所有所述初始日志流式数据的存储格式，使得所述初始流式数据为一个包含多个维度且每个维度为一个特征的多维数据；对所述初始日志流式数据进行预处理，消除维度之间量纲的影响，获得日志流式数据；获得所述日志流式数据中每个维度的数据与预设标准数据的差异；根据每个维度对应的所述差异对不同所述日志流式数据进行初始聚类，获得多个初始聚类簇；识别出所述初始聚类簇中的异常离散聚类簇，并将所述异常离散聚类簇移入特殊数据存储服务器；所述异常离散聚类簇中的样本数量少且与其他所述初始聚类簇的差异大于预设第一差异阈值；根据剩余所述初始聚类簇的数量和每个所述初始聚类簇中的数据区间构建多个存储服务器并将对应所述初始聚类簇的数据存储进去；每个所述存储服务器对应一个所述数据区间；将获取的实时日志流式数据经过相同所述预处理后存储至备用存储服务器；将所述实时日志流式数据与所有所述存储服务器中所述初始聚类簇进行匹配，并获得所述实时日志流式数据与最匹配的所述初始聚类簇的聚类中心的匹配差异；若所述匹配差异小于预设第二差异阈值，则将所有所述存储服务器中的数据传输至所述备用服务器并重新进行聚
类，根据重新聚类的结果更新所述存储服务器的数量及对应的所述数据区间；若所述匹配差异不小于所述第二差异阈值，则将所述实时日志流式数据存储至所述特殊数据存储服务器；若所述特殊数据存储服务器中存在预设数量个互相相似的数据，则在存储服务器集合中为所述互相相似数据添加一个对应的所述存储服务器并存储；需要数据调取时，利用检索服务器获得检索式，利用所述检索式提取不同所述存储服务器中的数据并整合，获得调取日志流式数据并传输。
5.进一步地，所述对所述初始日志流式数据进行预处理包括：利用关键词检测神经网络处理所述初始日志流式数据，检测出包含预设关键词数据的多个关键维度，将其他维度的数据作为噪声数据进行剔除，将每个所述关键维度的数据量纲统一后进行归一化处理，获得所述日志流式数据。
6.进一步地，所述根据每个维度对应的所述差异对不同所述日志流式数据进行初始聚类包括：根据每个维度对应的所述差异将不同所述日志流式数据映射至样本空间中，利用k均值聚类算法对所述样本空间中的样本进行聚类，获得多个所述初始聚类簇。
7.进一步地，所述识别出所述初始聚类簇中的异常离散聚类簇包括：获得每个所述初始聚类簇与所有其他所述初始聚类簇的聚类中之间的差异累加和；根据所述初始聚类簇中的样本数量和样本方差获得异常离散判断系数；所述离散判断系数与所述样本数量呈正相关关系，与所述样本方差呈负相关关系；若所述差异累加和大于所述第一差异阈值且所述异常离散判断系数小于预设判断系数阈值，则对应的所述初始聚类簇为所述异常离散聚类簇。
8.进一步地，所述获得每个所述初始聚类簇与所有其他所述初始聚类簇的聚类中之间的差异累加和后还包括：统计所有所述初始聚类簇的所述差异累加和，并将所述差异累加和由小到大排序，获得差异累加和序列，获得所述差异累加和序列中相邻元素之间后一个元素与前一个元素的差值，若所述差值与前一个元素的比值大于等于一，则认为所述前一个元素为分割元素，所述差异累加和序列中所述分割元素以后的所有元素均认为满足所述差异累加和大于所述第一差异阈值的条件。
9.进一步地，所述根据所述初始聚类簇中的样本数量和样本方差获得异常离散判断系数包括：根据异常离散判断系数公式获得所述异常离散判断系数，所述异常离散判断系数公式包括：其中，为第个所述初始聚类簇的所述异常离散判断系数，为第个所述初始聚类簇的所述样本数量，为第个所述初始聚类簇的所述样本方差，为自然常数。
10.进一步地，所述将所述实时日志流式数据与所有所述存储服务器中所述初始聚类簇进行匹配包括：获得所述实时日志流式数据与所有所述初始聚类簇的聚类中心在所述样本空间
中的欧氏距离；以最小欧氏距离对应的所述初始聚类簇作为所述实时日志流式数据的最匹配的所述初始聚类簇，以所述最小欧式距离作为所述匹配差异。
11.本发明还提出了一种基于中转库模式的流式数据时间序列传输系统，所述系统包括存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述一种基于中转库模式的流式数据时间序列传输方法的步骤。
12.本发明具有如下有益效果：本发明实施例对日志流式数据进行初始聚类，并筛选出异常离散聚类簇，利用剩余的初始聚类簇构建由多个存储服务器组成的中转库。通过中转库实现流式数据的调用，能够使得调用过程稳定有序高效的传输，如果存在服务器宕机等异常情况，则可利用对应存储服务器代表的数据区间对丢失数据进行预测评估，能够在一定程度上还原出丢失的数据，使得调用的数据更加有效完整。且根据数据库的存储能够对中转库中的存储服务器的数量和数据区间进行更新，使得中转库中的存储服务器会趋近稳定，直接通过检索式即可调用出对应的日志流式数据，提高了日志流式数据的传输效率。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
14.图1为本发明一个实施例所提供的一种基于中转库模式的流式数据时间序列传输方法流程图；图2为本发明一个实施例所提供的一种花费日志流式数据存储表示意图；图3为本发明一个实施例所提供的一种数据区间划分示意图；图4为本发明一个实施例所提供的一种中转库示意图。
具体实施方式
15.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于中转库模式的流式数据时间序列传输方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
16.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
17.下面结合附图具体的说明本发明所提供的一种基于中转库模式的流式数据时间序列传输方法及系统的具体方案。
18.请参阅图1，其示出了本发明一个实施例提供的一种基于中转库模式的流式数据时间序列传输方法流程图，该方法包括：步骤s1：统计存储器内的所有初始日志流式数据，并规范所有初始日志流式数据
的存储格式，使得初始流式数据为一个包含多个维度且每个维度为一个特征的多维数据；对初始日志流式数据进行预处理，消除维度之间量纲的影响，获得日志流式数据。
19.在常规的分割数据库存储流式数据的方法中，一个30g的流式数据需要将其切割为三份，并由服务器b、服务器c和服务器d分别进行保存，且需要服务器a用于管理其他服务器并记录数据的切分方法和存储位置，在进行数据传输过程中，服务器b、服务器c和服务器d中的数据并行进行传送，容易发生数据丢失导致数据传输失败。因此对于流式数据而言，需要进行相应的数据处理并提出一种新的存储传输方法。
20.日志文件的应用极其广泛，对于计算机下的大数据时代，日志文件在无线的时间维度的基础上，连续记录了一件或者多件事物的演变历史。日志文件的核心意义不在于在某个时间下某某做了什么，更重要意义在于某某做了什么导致了什么结果，因此为了明确日志文件所代表的含义，必须对于要规范日志流式数据的存储格式，使其具有可度量性，才会具备回溯查看的价值。
21.因此在统计存储器内所有初始日志流式数据后，需要规范记录格式，使其包含一些基本的度量属性，例如时间、活动量、结果量、影响量等，使得初始流式数据为一个包含多个维度且每个维度代表为一个特征的多维数据。请参阅图2，其示出了本发明一个实施例所提供的一种花费日志流式数据存储表示意图，图2中每一行代表一个事件，每行的事件信息组成一个花费日志流式数据，由图2可知，一个初始日志流式数据每列代表一个维度的信息，例如第一行的数据代表事件id为35654423是属于流程实例1中活动a的一个事件，由peter作为执行人，在2017-9-10-8：30执行完成，并花费了50等等。因此针对不同领域、维度的事件属性，需要制定一个可识别、可度量、可分析的存储描述。
22.在分析日志流式数据时，因为存在多个维度的信息，不同数据的不同维度之间拥有不同的量纲，例如时间单位可为秒、分等，温度单位可为华氏度、摄氏度等，不同数据的不同维度使得分析时出现障碍，因此为了便于数据分析且便于后续对日志数据的回溯，需要对初始日志流式数据进行预处理，消除维度之间量纲的影响，获得日志流式数据。
23.优选地，考虑到日志流式数据的记录是多维度的描述，其中有可能包括数据分析时不需要的维度信息，因此利用关键词检测神经网络处理所述初始日志流式数据，检测出包含预设关键词数据的多个关键维度，将其他维度的数据作为噪声数据进行剔除。将每个所述关键维度的数据进行量纲统一后分别进行归一化，获得所述日志流式数据。需要说明的是，因为不同维度的量纲不同，在归一化消除量纲的影响过程中，不同维度的数据应当分层进行，例如利用最大最小值归一化算法处理数据时，需要针对时间的最大最小值对时间数据进行归一化操作，利用温度的最大最小值对温度数据进行归一化，避免不同数据之间的错误影响。
24.需要说明的是，关键词检测神经网络的本质为分类任务，实现分类任务的神经网络包含多种结构，实施者可根据具体实施场景选用最适合的网络结构及训练方法，在此不做赘述。
25.需要说明的是，上述步骤中所使用的日志流式数据集合为一个系统中产生的数据，对于不同系统而言需要对每个系统进行针对性分析。
26.步骤s2：获得日志流式数据中每个维度的数据与预设标准数据的差异；根据每个维度对应的差异对不同日志流式数据进行初始聚类，获得多个初始聚类簇；识别出初始聚
类簇中的异常离散聚类簇，并将异常离散聚类簇移入特殊数据存储服务器；异常离散聚类簇中的样本数量少且与其他初始聚类簇存在较大的匹配差异；根据剩余初始聚类簇的数量和每个初始聚类簇中的数据区间构建多个存储服务器并将对应初始聚类簇的数据存储进去；每个存储服务器对应一个数据区间。
27.连续的日志流式数据表示一个随着时间变化反映操作和结果的数据，例如某个人的花费日志，其上包括了这个人每日的花费金额和具体操作内容，如果某天存在较大的花费金额，该花费金额就为异常数据，是值得进行分析的，可用于分析该日的具体消费情况。因此无论对于系统日志还是客户活动日志，其中突出的异常部分更具有回溯价值，因此对于某个维度下的日志流式数据，在数据分析时需要考虑其数据大小，根据数据的大小选出感兴趣数据进行回溯分析。
28.为了使后续日志数据分析时体现出数据大小及异常性，获得日志流式数据中每个维度的数据与预设标准数据的差异，在本发明实施例后续描述中，仅以一个维度进行举例，需要说明的是，其他维度也拥有相同的处理方法。以花费金额对应的维度为例，根据对应的差异对不同日志流式数据中花费金额数据进行初始聚类，获得多个初始聚类簇，具体包括：根据每个维度对应的差异将不同日志流式数据映射至样本空间中，利用k均值聚类算法对样本空间中的样本进行聚类，获得多个初始聚类簇。
29.需要说明的是，k均值聚类算法为本领域技术人员熟知的现有技术，具体操作不再赘述。
30.在初始聚类过程中，如果日志流式数据集合中存在感兴趣的异常数据，则在初始聚类过程中会被聚为一个包含少量数据且簇内数据波动不大的异常离散聚类簇。需要将对应的异常离散聚类簇提取出来并分开存储，以便于后续回溯分析，具体识别出异常离散聚类簇的方法包括：获得每个初始聚类簇与所有其他初始聚类簇的聚类中之间的差异累加和。差异累加和越大，则说明该初始聚类簇中的数据与其他初始聚类簇中的数据存在较大差异，越可能为异常数据。
31.根据初始聚类簇中的样本数量和样本方差获得异常离散判断系数。离散判断系数与样本数量呈正相关关系，与样本方差呈负相关关系，具体获得异常离散判断系数的方法包括：根据异常离散判断系数公式获得异常离散判断系数，异常离散判断系数公式包括：其中，为第个初始聚类簇的异常离散判断系数，为第个初始聚类簇的样本数量，为第个初始聚类簇的样本方差，为自然常数。
32.由异常离散判断系数公式可知，离散判断系数与样本数量呈正相关关系，与样本方差呈负相关关系，当某个初始聚类簇仅包含一个样本时，方差为0，样本数量为1，则异常离散判断系数为1；当某个初始聚类簇包含多个样本时，方差越大，说明数据越离散，则异常离散判断系数越小；若某个初始聚类簇包含多个样本且比较聚集，则对应的异常离散判断系数就会较大，且远大于1。
33.若差异累加和大于预设第一差异阈值且异常离散判断系数小于预设判断系数阈值，则对应的初始聚类簇为异常离散聚类簇。其中判断差异累加和大于第一差异阈值条件的具体方法包括：统计所有初始聚类簇的差异累加和，并将差异累加和由小到大排序，获得差异累加和序列，获得差异累加和序列中相邻元素之间后一个元素与前一个元素的差值，若差值与前一个元素的比值大于等于一，则认为前一个元素为分割元素，差异累加和序列中分割元素以后的所有元素均认为满足差异累加和大于第一差异阈值的条件。
34.需要说明的是，判断系数阈值与标准数据相似，均需要根据具体系统的具体维度代表的特征进行设置，在此不做限定。
35.将异常离散聚类簇移入特殊数据存储服务器内，其他的初始聚类簇可认为是存在周期性的性质的数据，且每个初始聚类簇中存在数据的最大和最小值，构成数据区间，根据剔除掉异常离散聚类簇后的初始聚类簇的数量和每个初始聚类簇的数据区间构建多个存储服务器并将对应初始聚类簇的数据存储进去，即每个所述存储服务器对应一个数据区间。请参阅图3，其示出了本发明一个实施例所提供的一种数据区间划分示意图，在图3中，横轴t代表时间轴，纵轴ω代表数据大小，图3中每一个黑点表示一个数据，通过聚类进行分簇并获得数据区间可将图3中的数据点分为abcd四个数据区间，图3中a区间作为包含标准数据的区间，由图3可知，a区间中数据点的频率较大，随着数据逐渐变大，数据也越来越异常，则每个区间中数据点的频率越小，根据每个数据区间中的数据点构成的波形图可看出，波形度的波动性越小且对应的区间大小越大，则说明越为异常离散数据。在进行数据存储过程中，将每个数据区间对应的数据存储至对应的存储服务器内。利用这种存储方法进行存储，使得原始数据仍包含对应的时间信息，仅是在空间中进行了分别存储，保证了数据的完整性。
36.步骤s3：将获取的实时日志流式数据经过相同预处理后存储至备用存储服务器；将实时日志流式数据与所有存储服务器中初始聚类簇进行匹配，并获得实时日志流式数据与最匹配的初始聚类簇的聚类中心的匹配差异；若匹配差异小于预设第二差异阈值，则将所有存储服务器中的数据传输至备用服务器并重新进行聚类，根据重新聚类的结果更新存储服务器的数量及对应的数据区间；若匹配差异不小于第二差异阈值，则将实时日志流式数据存储至特殊数据存储服务器；若特殊数据存储服务器中存在预设数量个互相相似的数据，则在存储服务器集合中为互相相似数据添加一个对应的存储服务器并存储。
37.当有新的日志流式数据产生时，需要对当前存储服务器的数量和数据区间进行更新。首先将获取的实时日志流式数据经过相同预处理后存储至备用存储服务器，将实时日志流式数据与所有存储服务器中初始聚类簇进行匹配，并获得实时日志流式数据与最匹配的初始聚类簇的聚类中心的匹配差异，具体包括：获得实时日志流式数据与所有初始聚类簇的聚类中心在样本空间中的欧氏距离。以最小欧氏距离对应的初始聚类簇作为实时日志流式数据的最匹配的初始聚类簇，以最小欧式距离作为匹配差异。
38.若匹配差异小于预设第二差异阈值，则说明实时日志流式数据与当前数据库中的日志流式数据不存在较大差异，仍可认为是周期性的数据，则将所有存储服务器中的数据传输至备用服务器并重新进行聚类，根据重新聚类的结果更新存储服务器的数量及对应的
数据区间。需要说明的是，因为实时日志流式数据与数据库中的日志流式数据相似较大，经过重新聚类后存储服务器的数量及数据区间可能并不存在变化。
39.若匹配差异不小于第二差异阈值，则说明对应的实时日志流式数据也为异常离散数据，将实时日志流式数据存储至特殊数据存储服务器。
40.虽然特殊数据存储服务器中存储的都为认定为异常数据的异常离散数据，但是随着大量数据的存储，特殊数据存储服务器内也可能存在一定的周期性。例如，租客首月刚开始租房，则在租金缴纳日会存在较大的消费记录，则在存储过程中会将其存储至特殊数据存储服务器，随着每月消费日志流式数据的存储，会发现租金形成的较大的消费记录为一个周期性的数据，此时该类数据的感兴趣程度就会下降，认为是正常的消费记录，需要将其移出特殊数据存储服务器，将其存储至包含数据区间的存储服务器。即若特殊数据存储服务器中存在预设数量个互相相似的数据，则在存储服务器集合中为互相相似数据添加一个对应的存储服务器并存储。
41.需要说明的是，互相相似数据之间的相似度可仍选用欧氏距离的方法，即欧式距离越小，相似度越大。
42.随着时间的增加，更多的数据的录入，存储服务器的数量及数据区间均可趋近与一个稳定值，不再需要更新。每次出现真正的异常数据，可直接根据特殊存储服务器中的数据进行特征分析。
43.步骤s4：需要数据调取时，利用检索服务器获得检索式，利用检索式提取不同存储服务器中的数据并整合，获得调取日志流式数据并传输。
44.其他维度的数据也经过同样方法将其存储至对应的存储服务器中，需要说明的是，其他维度的数据都经过了归一化处理，则数据大小为[0,1]，因此不同维度之间所形成的区间大小均相同。可将每个区间以标准数据作为基础进行理解，每个区间代表数据正常等级。因此可不同维度之间的数据可存储至同一个服务器中，保证了数据的完整性。
[0045]
需要调取数据时，利用检索服务器获得检索式，例如需要分析某个时段内消费者的异常消费情况，则可根据特殊数据存储服务器中的数据对应的id构建检索式，从而调取其他存储服务器中其他维度的数据，经过整合后可获得完整的调取日志流式数据，并通过编码向连接端口进行数据传输。如果某个存储服务器发生了宕机，无法传输数据，则可根据该存储服务器对应的数据区间进行预测还原出对应数据，保证了数据的完整性和传输效率。
[0046]
需要说明的是，对调取日志流式数据进行传输编码时，可根据具体实施场景选用最合适的编码方式，在此不做限定。
[0047]
至此获得由检索服务器、多个存储服务器、特殊数据存储服务器和备用服务器构成的中转库。请参阅图4，其示出了本发明一个实施例所提供的一种中转库示意图，中转库由包含多个存储服务器的存储服务器集合101、特殊数据存储服务器102、备用存储服务器103和检索服务器104构成。在数据调取过程中通过对中转库发起调取命令，利用检索服务器104获得检索式调取存储服务器101或者特殊数据存储服务器102中的数据，并进行编码输出。备用存储服务器103用于获取实时的日志流式数据并判断是否需要更新存储服务器101和特殊数据存储服务器102。
[0048]
本发明还提出了一种基于中转库模式的流式数据时间序列传输系统，系统包括存
储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现一种基于中转库模式的流式数据时间序列传输方法的步骤。
[0049]
综上所述，本发明实施例通过对日志流式数据进行初始聚类并进行异常离散数据分析，获得多个包含数据区间且用于存储初始聚类簇的存储服务器和用于存储异常离散数据的特殊数据存储服务器。利用实时日志流式数据与数据库中的日志流式数据的匹配差异判断是否进行更新存储服务器。利用检索服务器的检索式对不同存储服务器进行数据提取并整合，获得调取日志流式数据并传输。本发明实施例通过构建由检索服务器、多个存储服务器、特殊数据存储服务器和备用服务器构成的中转库，实现了对流式数据的完整安全的存储及传输，保证了传输效率。
[0050]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0051]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0052]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。