一种时间序列数据的处理方法、装置及设备与流程

1.本发明涉及时序数据处理技术领域，特别是指一种时间序列数据的处理方法、装置及设备。


背景技术：

2.随着大数据的发展，时间序列数据出现在越来越多的领域中，如物联网、医疗、金融等等。现有数据的周期检测方法包括循环检测算法（cycle detection）、自相关方法（autocorrelation）和快速傅里叶变换（fft）方法等，这些算法只适合检测高信噪比的周期数据，特别的，循环检测算法只适合检测没有噪声的周期序列；自相关方法通过计算各级自相关值的方式，以波峰所在位置为周期。当数据存在较大波动时，容易因甲假性波峰的存在导致高误报率，得到错误的检测判断和周期长度。傅立叶变换将序列从时域形态转换到频域形态，通过识别波峰来获取对应周期值。傅里叶变换方法一般仅适用于短中期周期值的检测，且当数据存在较大噪声波动时，容易得到错误的周期值。
3.同时，循环检测算法和自相关方法、快速傅立叶变换等这类现有周期检测方法都无法较好的处理那些同时涵盖周期和趋势成分的时间序列数据，从而造成周期检测不准确，无法有效地进行时间序列数据的分析。


技术实现要素：

4.本发明提供了一种时间序列数据的处理方法、装置及设备。可以提高时间序列数据周期检测的准确性。
5.为解决上述技术问题，本发明的实施例提供以下方案：一种时间序列数据的处理方法，包括：获取时间序列数据；对所述时间序列数据进行处理，得到所述时间序列数据的自相关序列；对所述自相关序列进行处理，获取所述自相关序列的相似度差异序列；根据所述相似度差异序列，确定所述时间序列数据为周期时间序列；根据所述周期时间序列，对预设时间序列数据进行处理，得到处理结果。
6.可选的，对所述时间序列数据进行处理，得到所述时间序列数据的自相关序列，包括：根据自相关函数，对所述时间序列数据进行自相关计算，得到所述时间序列数据的自相关序列。
7.可选的，所述自相关函数为：；其中，所述时间序列数据为，n表示时间序列数据x的长度；为时间序列数据x的均值，；表示时间序列数据中的第t个点，
。
8.可选的，所述时间序列数据的自相关序列为：；其中，记，，；和为a的子序列，i为子序列的长度；则。
9.可选的，获取所述自相关序列的相似度差异序列，包括：计算子序列和在各个长度下的相似度差异，得到相似度差异序列m；其中，其中，为相似度差异计算函数。
10.可选的，根据所述相似度差异序列，确定所述时间序列数据为周期时间序列，包括：根据所述相似度差异序列，令，通过公式，得到所述时间序列数据的候选周期t；根据t和所述时间序列数据得到，噪声程度以及趋势成分比重；若，且，，则认为时间序列数据x为周期性时间序列，其周期长度为t；其中，j为相似度差异序列m中元素m的索引；为预设噪声阈值、为预设趋势阈值。
11.可选的，根据所述周期时间序列，对预设时间序列数据进行处理，得到处理结果，包括：根据所述周期时间序列对预设时间序列数据进行异常检测处理，得到检测结果；或者根据所述周期时间序列，对预设时间序列数据进行分类处理，得到分类处理结果。
12.本发明的实施例还提供一种时间序列数据的处理装置，所述装置包括：获取模块，用于获取时间序列数据；处理模块，用于对所述时间序列数据进行处理，得到所述时间序列数据的自相关序列；获取所述自相关序列的相似度差异序列；根据所述相似度差异序列，确定所述时间序列数据为周期时间序列；根据所述周期时间序列，对预设时间序列数据进行处理，得到处理结果。
13.本发明的上述方案至少包括以下有益效果：本发明的上述方案，通过获取时间序列数据；对所述时间序列数据进行处理，得到
所述时间序列数据的自相关序列；获取所述自相关序列的相似度差异序列；根据所述相似度差异序列，确定所述时间序列数据为周期时间序列；根据所述周期时间序列，对预设时间序列数据进行处理，得到处理结果。从而可以提高时间序列数据的周期检测的准确性，对于带有波动的低信噪比序列数据和带有趋势成分的序列数据具有更好的鲁棒性，有利于对时间序列数据进行有效、准确的分析处理。
附图说明
14.图1为本发明实施例的时间序列数据的处理方法的流程示意图；图2为本发明实施例的时间序列数据的处理方法中的时间序列数据示意图；图3为本发明实施例的时间序列数据进行k
‑
sigma异常检测效果示意图；图4为本发明实施例的时间序列数据周期检测示意图；图5为本发明实施例的去掉周期时间序列后的时间序列的示意图；图6为本发明实施例的去掉周期时间序列后的时间序列使用k
‑
sigma做异常检测的效果示意图；图7为本发明实施例的结合周期提取的k
‑
sigma的检测效果示意图；图8为本发明实施例的时间序列数据的处理装置的结构示意图。
具体实施方式
15.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
16.如图1所示，本发明提供一种时间序列数据的检测方法，包括：步骤11，获取时间序列数据；步骤12，对所述时间序列数据进行处理，得到所述时间序列数据的自相关序列；步骤13，对所述自相关序列进行处理，获取所述自相关序列的相似度差异序列；步骤14，根据所述相似度差异序列，确定所述时间序列数据为周期时间序列；步骤15，根据所述周期时间序列，对预设时间序列数据进行处理，得到处理结果。
17.该实施例通过获取时间序列数据；对所述时间序列数据进行处理，得到所述时间序列数据的自相关序列；获取所述自相关序列的相似度差异序列；根据所述相似度差异序列，确定所述时间序列数据为周期时间序列；根据所述周期时间序列，对预设时间序列数据进行处理，得到处理结果。从而可以提高时间序列数据的周期检测的准确性，对于带有波动的低信噪比序列数据和带有趋势成分的序列数据具有更好的鲁棒性，有利于对时间序列数据进行有效、准确的分析处理。
18.本发明的一可选的实施例中，步骤12可以包括：根据自相关函数，对所述时间序列数据进行自相关计算，得到所述时间序列数据的自相关序列。
19.这里，所述自相关函数为：
；其中，时间序列数据为，n表示时间序列数据x的长度；为时间序列数据x的均值，；表示序列中的第t个点，，表示x的数学期望。
20.所述时间序列数据的自相关序列为：；其中，记，，；和为a的子序列，i为子序列的长度；则。
21.本发明的一可选的实施例中，步骤13可以包括：计算子序列和在各个长度下的相似度差异，得到相似度差异序列m；其中，其中，为相似度差异计算函数，例如可以为mse、rmse、mae、dtw等相似度差异衡量方式。
22.一种可实现的实例中，相似度差异计算函数可以为平均绝对误差，其中，p表示上述子序列，q表示上述子序列。
23.本发明的一可选的实施例中，步骤14可以包括：步骤141，根据所述相似度差异序列，令，通过公式，得到所述时间序列数据的候选周期t；步骤142，根据t和所述时间序列数据得到噪声程度以及趋势成分比重；步骤143，若，且，，则认为时间序列数据x为周期性时间序列，其周期长度为t；其中，j为相似度差异序列m中元素m的索引；为预设噪声阈值、为预设趋势阈值。
24.例如：；；在m序列中，0为最小的，对应的索引j为6，则通过公式，得到时间序列数据的候选周期为7；步骤142中，根据得到噪声程度，或者，根据得到噪声程度；这里，，时间序列数据的周期
为7时，。
25.步骤143，根据得到趋势成分比重，或者，根据得到趋势成分比重，或者，根据得到趋势成分比重；步骤144，若，且，，则认为时间序列数据x为周期性时间序列，其周期长度为t；这里，基于t，计算序列的噪声程度和趋势成分比重，用于描述序列上的噪声的程度，值越小，噪声越小，周期越显著。描述序列上的趋势成分的程度，值越小，趋势成分越少，周期越显著。
26.本发明的一可选的实施例中，步骤15可以包括：步骤151，根据所述周期时间序列对预设时间序列数据进行异常检测处理，得到检测结果；一种可实现的实例中，将所述周期时间序列从原始时间序列数据去除，得到目标时间序列；对所述目标时间序列进行异常检测，得到检测结果。
27.本发明的一可选的实施例中，步骤15可以包括：步骤152，根据所述周期时间序列，对预设时间序列数据进行分类处理，得到分类处理结果；一种可实现的实例中，将所述周期时间序列从原始时间序列数据中筛选出，得到所有周期时间序列，以便于对该原始时间序列数据按周期或者非周期的时间序列进行进一步的数据分析。
28.当然，上述周期时间序列并不限于上述异常检测或者分类处理，还可以用于时间序列数据的预测，比如根据该周期时间序列的周期，预测时间序列数据的未来的时间序列数据等。
29.本发明的上述实施例，通过时间序列周期检测，可以判断序列是否是周期序列；可以自动化的获取序列的周期长度；可以从序列的提取、剔除周期序列，做进一步处理。如物联网领域，越来越多人使用健康手环记录身体状态，当身体血压、心率等数据（时间序列）出现非周期现象时，自动生成告警；如金融领域，可以自动化检测出各类产品的价格波动周期，以支撑商业决策。
30.具体的，如运维场景下，需要各类kpi指标做自动化异常检测，以便监控系统是否发生故障。大部分情况下，通过静态阈值或k
‑
sigma等方式设置指标的上界和下界，若指标超过上界或低于下界则视为异常。这种方式遇到周期型指标时，检测准确性会很差。
31.如图2所示，指标（时间序列数据）包含a、b两处异常。当使用k
‑
sigma进行检测时，如图3所示，只能检测出b异常。
32.使用时间序列周期检测、提取，将序列周期从原序列上剔除后，对剔除后的数据再进行异常检测，如图4、5、6所示，可以提高异常检测准确性。最终实现图7的检测效果。
33.本发明的上述实施例所述的方法，可以完成精确周期序列的检测，对于带有波动
的低信噪比序列数据和带有趋势成分的序列数据也有更好的鲁棒性。同时，基于本方法得到的两个指标：和分别实现了时间序列数据中噪声程度和趋势成分比重的定量描述，方便使用者基于需求筛选不同信噪比和不同趋势成分比重的周期性时间序列数据，为进一步地数据分析提供更有效的分析依据。
34.如图8所示，本发明的实施例还提供一种时间序列数据的检测装置80，所述装置80包括：获取模块81，用于获取时间序列数据；处理模块82，用于对所述时间序列数据进行处理，得到所述时间序列数据的自相关序列；对所述自相关序列进行处理，获取所述自相关序列的相似度差异序列；根据所述相似度差异序列，确定所述时间序列数据为周期时间序列；根据所述周期时间序列，对预设时间序列数据进行处理，得到处理结果。
35.可选的，对所述时间序列数据进行处理，得到所述时间序列数据的自相关序列，包括：根据自相关函数，对所述时间序列数据进行自相关计算，得到所述时间序列数据的自相关序列。
36.可选的，所述自相关函数为：；其中，所述时间序列数据为，n表示时间序列数据x的长度；为时间序列数据x的均值，；表示时间序列数据中的第t个点，。
37.可选的，所述时间序列数据的自相关序列为：；其中，记，，；和为a的子序列，i为子序列的长度；则。
38.可选的，获取所述自相关序列的相似度差异序列，包括：计算子序列和在各个长度下的相似度差异，得到相似度差异序列m；其中，其中，为相似度差异计算函数。
39.可选的，根据所述相似度差异序列，确定所述时间序列数据为周期时间序列，包括：根据所述相似度差异序列，令，通过公式，得到所述时间序列数据的候选周期t；
根据t和所述时间序列数据得到，噪声程度以及趋势成分比重；若，且，，则认为时间序列数据x为周期性时间序列，其周期长度为t；其中，j为相似度差异序列m中元素m的索引；为预设噪声阈值、为预设趋势阈值。
40.可选的，根据所述周期时间序列，对预设时间序列数据进行处理，得到处理结果，包括：根据所述周期时间序列对预设时间序列数据进行异常检测处理，得到检测结果；或者根据所述周期时间序列，对预设时间序列数据进行分类处理，得到分类处理结果。
41.需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
42.本发明的实施例还提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的方法对应的操作。
43.本发明的实施例还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上所述的方法。
44.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
45.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
46.在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
47.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
48.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
49.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
50.此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
51.因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
52.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。