一种基于图神经网络的长时间序列分类方法

1.本发明涉及网络科学、数据挖掘以及数据分析技术领域，尤其涉及一种基于图神经网络的长时间序列分类方法。


背景技术：

2.时间序列是很多数据不可缺少的特征之一，其应用很广泛，如在无线电信号识别(参考文献[1]:chen z,cui h,xiang j,et al.signet:a novel deep learning framework for radio signal classification[j].ieee transactions on cognitive communications and networking,2021，即chen z,cui h,xiang j,et al.，信号网络：一种新颖的无线电信号分类深度学习框架，ieee transactions on cognitive communications and networking,2021.)、股票预测(参考文献[2]:qian m c,jiang z q,zhou w x.universal and nonuniversal allometric scaling behaviors in the visibility graphs of world stock market indices[j].journal of physics a:mathematical and theoretical,2010,43(33):335002，即qian m c,jiang z q,zhou w x，世界股票市场指数可视图中的通用和非通用异速生长缩放行为，journal of physics a:mathematical and theoretical,2010,43(33):335002.)、脑电信号病发检测(参考文献[3]:supriya s,siuly s,wang h,et al.weighted visibility graph with complex network features in the detection of epilepsy[j].ieee access,2016,4:6554-6566，即supriya s,siuly s,wang h,et al.，具有复杂网络特征的加权可视图在癫痫检测中的应用，ieee access,2016,4:6554-6566.)、天气预测(参考文献[4]:telesca l,lovallo m.analysis of seismic sequences by using the method of visibility graph[j].epl(europhysics letters),2012,97(5):50002，即telesca l,lovallo m，用可视图法分析地震序列，epl(europhysics letters),2012,97(5):50002.)、交通趋势(参考文献[5]:liu h,zhang x,zhang x.exploring dynamic evolution and fluctuation characteristics of air traffic flow volume time series:a single waypoint case[j].physica a:statistical mechanics and its applications,2018,503:560-571，即liu h,zhang x,zhang x，空中交通流量时间序列动态演化与波动特征探索：以单航路点为例，physica a:statistical mechanics and its applications,2018,503:560-571.)、金融预测(参考文献[6]:wang n,li d,wang q.visibility graph analysis on quarterly macroeconomic series of china based on complex network theory[j].physica a:statistical mechanics and its applications,2012,391(24):6543-6555，即wang n,li d,wang q，基于复杂网络理论的中国季度宏观经济序列可视图分析，physica a:statistical mechanics and its applications,2012,391(24):6543-6555.)等的应用。涉及时间序列的任务主要可以分为两种：基于时间序列的分类任务及基于时间序列的预测任务。本发明主要研究长时间序列的分类问题。时间序列分类是数据挖掘中一个重要且具有挑战性的问题。随着深度学习技术的发展以及卷积神经网络在图像视觉领域上的成功运
用，越来越多的研究人员将其应用于时间序列数据并取得了出色的效果。此外，与时间序列高度契合的循环神经网络也在该领域取得了优于传统方法的分类效果。而后，随着图神经网络的崛起，网络图与时间序列的联合研究也开始涌现，甚至取得了比卷积神经网络更出色的分类效果。
[0003]
网络图和时间序列是现实世界中两种典型的数据，网络图常常用于描述许多复杂系统的拓扑结构，其中节点代表子系统，网络图中的连边用于表征子系统之间的关系；而时间序列则是常常被用于捕捉这些子系统的时间动态特性。随着复杂网络领域的发展，研究人员开始考虑将时间序列映射成网络图数据，而后将时间序列分类任务转换为网络图分类任务，结合图神经网络取得了出色的分类效果。当今学界中已有多种通过复杂网络理论实现时间序列分类任务的方法，例如可视图(vg)、水平可视图(hvg)和有限穿越可视图(lpvg)等传统方法以及结合图神经网络的自适应可视图(avg)等深度学习方法(参考文献[7]:xuan q,zhou j,qiu k,et al.adaptive visibility graph neural network and its application in modulation classification[j].ieee transactions on network science and engineering,2022，即xuan q,zhou j,qiu k,et al.，自适应可视图及其在调制识别的应用，ieee transactions on network science and engineering,2022.)，并且实验证明这些建立网络的方法都能够提取并保留时间序列的周期、分形、混沌动力学等特征。但是传统映射算法网络构建过程非常费时，而结合图神经网络的方法计算资源消耗巨大，并且随着时间序列长度增加，上述方法耗时成指数增加且分类效果逐渐变差甚至于没有效果。因此在现有研究的基础上结合图神经网络设计更适合于长时间序列分类任务的模型是非常有意义的。
[0004]
申请号为cn201610889168.1的专利所公开的技术方案，基于复杂网络的脑电信号分析方法及应用。该方法对脑电信号序列数据集进行分类，在对原始脑电信号进行归一化和滤波等预处理操作后,对每一个多尺度脑电信号，构建水平有限穿越可视图复杂网络，然后计算并提取出每一个网络图的特征指标，最后结合机器学习中的支持向量机分类器实现对脑电信号序列的分类。类似的可视图建网算法在处理长时间序列分类任务时，计算费时较久、计算消耗较大，而且传统的机器学习方法对网络图特征的提取能力也相当有限，长时间序列分类效果不佳。


技术实现要素：

[0005]
针对以上技术问题，本发明提供一种基于图神经网络的长时间序列分类方法。
[0006]
为实现上述目的，本发明采用如下的技术方案：
[0007]
一种基于图神经网络的长时间序列分类方法，包括：
[0008]
步骤s1：采集样本数据集，设定分段数并将时间序列数据分段；
[0009]
步骤s2：设定时间序列中各分段对应网络图的初始邻接矩阵，且各条时间序列的各分段共享对应邻接矩阵，将每段时间序列数据分别转换为对应的网络图数据；
[0010]
步骤s3：采用图神经网络对所述分段时间序列对应的网络图数据进行特征提取，并同步更新各分段时间序列对应网络图的邻接矩阵，得到每段时间序列数据的局部特征向量；
[0011]
步骤s4：采用循环神经网络对上述时间序列数据的局部特征向量进行全局特征提
取，得到最终的各分段时间序列数据的特征向量；
[0012]
步骤s5：融合各个分段时间序列数据的特征向量，采用全连接神经网络完成时间序列的分类；
[0013]
步骤s6：调节分段数及各分段时间序列对应网络图的初始邻接矩阵，重复步骤s2-步骤s5步骤至分类效果最佳。
[0014]
作为优选，步骤s1具体包括：
[0015]
步骤s1.1：建立样本数据集，所述样本数据集包括，各个时间点及各个时间点对应的单个或多个采样值；
[0016]
步骤s1.2：设定分段数n，将长为l的时间序列数据等间隔切分，每段长度向下取整，定为l＝[l/n]。
[0017]
作为优选，步骤s2中，预设视野窗w参数，初始化设定时间序列中各分段对应网络图的邻接矩阵，且各条时间序列的各分段共享对应邻接矩阵，将每段时间序列数据分别转换为对应的网络图数据，将单条时间序列数据转换得到的网络图数据的集合记为其中，时间序列的时间点映射成网络图的节点，每个时间点的单个或f个采样值作为其对应节点的特征，g为网络图，x∈r
l
×f表示为网络的节点特征，a∈r
l
×
l
表示为网络图的邻接矩阵。
[0018]
作为优选，步骤s3具体包括：
[0019]
步骤s3.1：每段时间序列对应的网络图依次通过相同层数的图神经网络，更新节点特征作为每段时间序列的局部特征提取，其中，第i段时间序列对应网络图的第m层的节点特征为各分段对应网络图经过m层gnn更新后网络图集合为其中网络节点特征x
(m)
∈r
l
×h，且其维度h可自行调节指定；
[0020]
步骤s3.2：采用全局累加池化，将网络节点特征x
(m)
累加池化为作为各分段的局部特征向量，其集合记为
[0021]
作为优选，步骤s4具体包括：
[0022]
步骤s4.1：将上述各分段时间序列的局部特征向量以垂直形式进行拼接，得到局部特征矩阵其中表示垂直拼接；
[0023]
步骤s4.2：采用循环神经网络对局部特征矩阵φ∈rn×h进行全局特征提取，φ经过多层rnn后得到最终的特征矩阵φ'∈rn×h，其中φ'＝rnn(φ)。
[0024]
作为优选，步骤s5中，将代表每个信号的特征向量φ'展平后，通过多层全连接层后实现分类。
[0025]
作为优选，所述步骤s2中，初始化各分段对应网络图邻接矩阵及网络图构建的过程如下，设y＝{yi}
i＝1,2,...,l
为一分段长度为l的时间序列，w为可视窗大小，每个时间点有f个观测值，即yi∈rf。先将该分段时间序列中的每个时间点对应到网络中的每个节点，根据可视窗w大小，将每个节点与其相邻w个节点建立连边，每条连边初始化权重为1，即
[0026][0027]
并将a设置为可学习参数，在模型训练过程中不断迭代更新。
[0028]
本发明的有益效果如下：
[0029]
在处理长时间序列相关任务时，现有的网络图映射方法计算资源消耗较大、运算时间较久且分类效果不佳，本发明旨在提供一种基于图神经网络的长时间序列分类方法，该方法能有效提取局部特征及全局特征的同时，以较其他网络图映射方法更小的数据规模以及更低的模型参数量，在长时间序列分类任务上表现更为出色。
[0030]
1、通过分段机制减小时间序列图映射网络图的规模，且各个时间序列共享邻接矩阵，在数据规模上进行了压缩；采用共享神经网络的策略，在模型参数量上进行了压缩。
[0031]
2、采用图神经网络提取每个分段时间序列的局部特征，并在模型训练过程中同步训练各分段时间序列对应网络图的邻接矩阵，使图映射更加合理。
[0032]
3、采用循环神经网络提取各个分段时间序列之间的时序特征，使最终获得的特征向量兼顾局部特征及全局特征，以取得更加出色的长时间序列分类效果。
[0033]
4、该方法仅需调整预设分段数及邻接矩阵初始化设定，上述分段时间序列对应的邻接矩阵、图神经网络及循环神经网络均可同步训练，大大降低了操作复杂度，加快了优化效率。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0035]
图1为本发明的方法流程图；
[0036]
图2为本发明所述的时间序列分段及网络构建方法的示意图；
[0037]
图3为本发明所述的基于图神经网络的分段时间序列对应网络图局部特征提取方法的示意图；
[0038]
图4为本发明所述的基于循环神经网络的时间序列全局特征提取方法的示意图；
[0039]
图5为本发明所述的特征融合及分类的示意图。
具体实施方式
[0040]
下面结合附图并基于调制信号数据集rml2018.01a以无线电调制识别任务为例对
本发明进行详述，在附图或说明中，相似或相同的部分使用相同的标号，并且在实际应用中，各部件的形状、厚度或高度可扩大或缩小。本发明所列举的各实施例仅用以说明本发明，并非用以限制本发明的范围。对本发明所作的任何显而易知的修饰或变更都不脱离本发明的精神与范围。
[0041]
如图1所示，提供一种应用本发明方法的无线电调制识别方法，包括以下步骤：
[0042]
步骤s1：时间序列数据分段，包含建立样本数据集及数据分段两步骤；
[0043]
步骤s1.1：建立样本数据集，所述样本数据集包括，各个时间点及各个时间点对应的单个或多个采样值，在rml2018.01a中，单个调制信号由实部i及虚部q组成，即单个时间点有两个采样值，信号长度为1024；
[0044]
步骤s1.2：如图2所示，针对数据集rml2018.01a，设定分段数n＝16，将长为l＝1024的时间序列数据等间隔切分，每段长度向下取整，定为l＝[l/n]＝64。
[0045]
步骤s2：各分段分别构建网络图，如图2所示，针对数据集rml2018.01a，预设视野窗w参数为4，将每段时间序列数据分别转换为对应的网络图数据，将单条时间序列数据转换得到的网络图数据的集合记为其中，时间序列的时间点映射成网络图的节点，每个时间点的iq采样值作为其对应节点的特征，g为网络图，x∈r
64
×2表示为网络的节点特征，a∈r
64
×
64
表示为网络图的邻接矩阵。
[0046]
步骤s3：图神经网络段内特征提取，如图3所示，包含共享gnn卷积以及全局累加池化两步骤；
[0047]
步骤s3.1：每段时间序列对应的网络图依次通过相同层数的图神经网络，更新节点特征作为每段时间序列的局部特征提取，针对数据集rml2018.01a，预设gnn层数m为4，隐藏层维度h为64，其中，第i段时间序列对应网络图的第4层的节点特征为各分段对应网络图经过4层gnn更新后网络图集合为其中网络节点特征x
(4)
∈r
64
×
64
；
[0048]
步骤s3.2：采用全局累加池化，将网络节点特征x
(4)
累加池化为作为各分段的局部特征向量，其集合记为
[0049]
步骤s4：循环神经网络段间特征提取，如图4所示，包含局部特征垂直拼接及循环神经网络特征提取两步骤；
[0050]
步骤s4.1：将上述各分段时间序列的局部特征向量以垂直形式进行拼接，得到局部特征矩阵其中表示垂直拼接；
[0051]
步骤s4.2：采用循环神经网络对局部特征矩阵φ∈r
16
×
64
进行全局特征提取，针对数据集rml2018.01a，φ经过两层rnn后得到最终的特征矩阵φ'∈r
16
×
64
，其中φ'＝rnn(φ)。
[0052]
步骤s5：特征融合后全连接层分类，如图5所示，针对数据集rml2018.01a，根据上述预设参数，将代表每个信号的特征向量φ'展平后得到对应维度为1024的特征向量，通过多层全连接层后实现分类。
[0053]
步骤s6：根据分类结果调整调整分段数n及视野窗w大小，重复s2～s5步骤至分类效果最佳。
[0054]
步骤s7：将上述训练好的模型，在无线电调制信号数据集rml2018.01a上进行调制识别测试，获取各条信号通过模型后softmax函数层输出的概率最大值的索引，该索引即为当前信号的唯一的数字标签，其中0-23依次代表ook、4ask、8ask、bpsk、qpsk、8psk、16psk、32psk、16apsk、32apsk、64apsk、128apsk、16qam、32qam、64qam,128qam、256qam、am-ssb-wc、am-ssb-sc、am-dsb-wc、am-dsb-sc、fm、gmsk和oqpsk。
[0055]
所述步骤s2中，初始化各分段对应网络图邻接矩阵及网络图构建的过程如下，针对数据集rml2018.01a，设y＝{yi}
i＝1,2,...,64
为该数据集中任一分段长度为64的时间序列，w为可视窗大小，初始设为4，每个时间点有iq两个观测值，即yi∈r2。先将该分段时间序列中的每个时间点对应到网络中的每个节点，根据可视窗w大小，将每个节点与其相邻4个节点建立连边，每条连边初始化权重为1，即
[0056][0057]
并将a设置为可学习参数，在模型训练过程中不断迭代更新。
[0058]
所述步骤s3中，本发明方法采用的gnn模型是graphsage，本发明方法叠加三层graphsage且层间增加批归一化(bn)层作为各分段网络图节点特征提取模型，针对数据集rml2018.01a，各层输出特征维度均设置为64，而后将得到的分段网络图节点特征通过全局累加池化得到代表该各分段的局部特征向量其中r
64
表示64维的向量。
[0059]
所述步骤s4中，本发明方法采用的rnn模型是lstm，本发明方法叠加两层lstm，，针对数据集rml2018.01a，中间隐藏层的特征维度设置为128，输出层的特征维度设置为64，输出得到最终的特征矩阵φ'∈r
16
×
64
。
[0060]
所述步骤s5中，本发明方法采用展平的操作作为特征融合的方式，将各分段特征向量进行横向拼接，得到每个信号的融合特征向量。而后，采用带有正则化dropout的单层全连接层和softmax函数作为整个模型的分类器，输出样本在各类上的概率分布。
[0061]
本发明具有如下的技术效果：
[0062]
相较现有的基于可视图的传统图映射方法以及基于深度学习的自动可视图方法，本发明公开的方法在表现出更高的长信号分类精度，并且本发明方法计算资源消耗以及模型参数量远远小于上述方法。
[0063]
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以
理解的其他实施方式。