一种基于深度学习的多元时间序列分类方法与流程

1.本发明涉及人工智能领域，更具体地，涉及一种基于深度学习的多元时间序列分类方法。


背景技术：

2.膝关节作为人体最复杂的负重关节之一，在步行和运动时承受更多的负荷，发挥重要的减震作用，而与此同时膝关节损伤也十分常见。其中，膝关节前交叉韧带损伤(anterior cruciate ligament deficiency，acl-d)是最常见的运动损伤之一。随着经济的发展与生活水准的提高,人们的运动需求逐渐提升,随之而来的是运动损伤的增加。前交叉韧带(anterior cruciate ligament，acl)不仅限制胫骨前平移，而且还控制膝关节轴向旋转和静脉曲张运动，在控制人体膝关节稳定性方面具有较高的作用价值。它是稳定膝关节的重要的静力性结构，损伤后可引起膝关节不稳，并且均无法自愈,对患者的生活质量会造成严重影响，如不及时进行手术治疗，极易引起严重的关节软骨损伤，严重影响患者的生活质量以及运动水平，最终需进行人工关节置换。
3.国外发达地区医疗机构调查结果表明，二十世纪90年代末期到2016年这二十多年来，前交叉韧带(acl)损伤的初诊诊断正确率几乎没有提高，仅14.4％的病人在初诊时被诊断正确。目前临床上对此类损伤的检测和评估诊断主要依赖主观问诊、手法检查和影像手段，使得对膝关节前交叉韧带损伤或断裂的诊断仍存在漏诊或误诊的情况。常见用于前交叉韧带损伤的有ct和mri等传统影像学技术，通过获取损伤部位的解剖结构信息来供诊断依据。但这些技术无法探索患者运动学特征，并且存在使用不灵活、检查速度慢、成本高和辐射危害等缺点。此外，关节镜检查是诊断前交叉韧带损伤的金标准，但费用昂贵，属于有创性检查，对患者伤害较大。
4.随着生物力学技术的更新和进步，近来研究发现膝关节运动学的分析可为膝关节损伤在动态活动状态下的评估提供重要的理论依据，并可能成为膝关节损伤的重要诊断方法之一，为临床对膝关节损伤的有效诊断奠定重要的基础作用。结构决定功能，因此运动功能改变一定程度能够反应前交叉韧带结构的变化。如图1所示的6自由度(6dof)运动学数据可从opti-knee 3d运动分析系统获得。该系统具有使用灵活、检测速度快、成本低、风险低等优点。据所知，虽然6自由度(6dof)运动学数据可以优化acl-d诊断过程，但在诊断acl-d时很少使用深度神经网络进行研究。在这项工作中，尝试将acl-d的诊断转化为基于6dof数据的多元时间序列分类问题。
5.时间序列是一组按时间顺序排列的实值观测值。多元时间序列(mts)是一组共同进化的时间序列，通常由一组传感器随时间同时记录。随着传感器技术的进步，多元时间序列分类(mtsc)问题可能是时间序列数据挖掘领域最重要的问题之一，近几十年来受到了大量的关注，然而专门研究膝关节前交叉韧带损伤的工作并不多，对于opti-knee六自由度数据集的研究则少之又少。
6.现有多元时间序列分类(multivariable time series classifification，mtsc)
的方法可分为基于时间序列的子序列、模式袋以及基于神经网络的方法。在过去的十年中，基于自序列和模式袋的分类器得到了很好的研究，例如：weaselmuse、shapenet等。这些方法需要将时间序列转换为一组子序列作为候选特征。然而，特征空间的大小和子序列的数量使得特征选择变得困难。最近，基于深度学习的方法在mtsc中取得了良好的性能，例如：mlstm-fcn、tapnet等。然而，这些方法需要足够的数据来训练大量的参数。
7.此外，acl中6自由度数据集的特征也不同于经典mtsc问题中最常见的数据集，将观察结果总结如下：
8.1)六自由度变量间的复杂相关性。
9.膝关节的6自由度受膝关节影响，这会在序列数据中产生复杂的时空动力相关性。在经典的mtsc模型中，每个时间序列的特征都是独立提取的，然后拼接起来用于后续的学习过程。认为，简单的提取和拼接过程可能会丢失变量之间的特征关系。
10.2)高差异性和高波动性。由于人类体态和步态的高差异性，即使这些数据来自同一类别，6自由度数据也可能存在较大波动。这与典型的mtsc数据不同。膝关节的六自由度受个体差异和时空差异影响，膝盖健康程度不同的个体在不同时刻的六自由度是不同的，运动模式复杂多变，变化规律复杂。
11.3)数据有限。医疗数据必须经过专业医生的标注后才可使用。与mtsc中的常见数据集相比，acl中只有几十到几百个样本。因此，数据量不足以支撑过于复杂的模型。构建模型时，必须考虑模型的复杂性。


技术实现要素：

12.本发明提供一种基于深度学习的多元时间序列分类方法，该方法可有效捕获各变量间的局部和全局的关联特征、以及单变量内部的局部时序特征和全局特征。
13.为了达到上述技术效果，本发明的技术方案如下：
14.一种基于深度学习的多元时间序列分类方法，包括以下步骤：
15.s1：对变量进行特征转换；
16.s2：对进行特征转换后的变量进行全局特征提取和局部特征提取；
17.s3：搭建分类网络；
18.s4：对搭建分类网络进行多目标学习训练，将步骤s2中得到的特征输入训练好的分类网络，最终使得同类样本特征距离拉近，异类样本距离拉远。
19.进一步地，所述步骤s1的具体过程是：
20.第i个变量对应的时间序列可表示为时间序列向量其中l是序列长度，通过使用延时嵌入对原时序向量进行相位空间重构后，第i个变量对应的重构向量的第j项表示为：
[0021][0022]
其中j＝1,2,
…
,l-(d
t-1)
·
t，d
t
为相空间的嵌入维数，t表示时延，延时嵌入后第s个样本表示如下：
[0023][0024]
其中m＝l-(d
t-1)
·
t，新的相空间中的每一个点，表示一种可能状态，延迟嵌入维度d
t
为3，时延t为1。
[0025]
进一步地，所述步骤s2中进行全局特征提取的过程是：
[0026]
每个多元时间序列样本学习一个低维的嵌入其中de是最终嵌入维度，总使用基于神经网络的方法其中θ是函数参数集，是延迟嵌入后的时间序列数据；
[0027]
先在时间序列数据的第三维度上进行池化操作并进行permute操作，使3维转化为2维然后得到其中d
l
是lstm层hidden size参数的大小，即完成全局特征提取。
[0028]
进一步地，所述步骤s2中进行局部特征提取的过程是：
[0029]
1)、利用两层卷积，将96个时间点看作96个通道，重点学习18个变量间的关联特征，此时在延迟嵌入的三个相邻时间维度上没有进行卷积，两层卷积之后的平均池化则强化了延迟嵌入的作用，实现了相邻时间点不同变量间局部特征的提取；同时在特征方向上进行池化，减少了后续的计算量，这里使用平均池化，是因为此时处于初步特征挖掘阶段，相比起最大值池化，平均池化能保留更多的信息；
[0030]
2)、首先使第1)步学习到的全部通道的特征，转换进一个通道里，完成维度转换后，方便后续卷积层可以对第一部分学习到的特征间关系，进行更深层次的挖掘，最后利用squeeze降维，方便后续使用1dcnn，相比起一直使用2dcnn，1dcnn减少后续卷积的参数量，在卷积后，使用最大池化，因为深挖阶段，可以忽略一些不明显的特征，将注意力放在最显著的特征上即可；
[0031]
3)、利用1d-cnn以及池化，在捕捉深层交互的同时，为减少后续的全连接层的参数量，而减少数据维度。
[0032]
进一步地，在经过全连接层后，单个局部特征提取子网络最终输出为a个子网络最终输出拼接后得到全部特征提取部分的最终输出为接下来，将两部分子网络输出拼接得到最终嵌入
[0033]
进一步地，所述步骤s3的过程是：
[0034]
分类网络由两个全连接层够成，在两个全连接层之间，使用非线性激活函数relu来获取非线性特征，并且使用一个批正则化层来使训练稳定以及防止过拟合，该分类网络可表示为：
[0035][0036]
进一步地，所述步骤s4的过程是：
[0037]
第一步先使用监督训练centerloss使得同类样本的类间距离更小，centerloss保持不同类的特征可分离的同时，最小化类内变化，其公式如下：
[0038][0039]
表示第s类的特征中心，由于需要考虑整个训练集，并平均每次迭代中每个类的特征，这样效率极其低下，所以在每次迭代时，不是针对整个训练集更新中心，而是基于小批量训练执行更新，中心通过平均相应类的特征来计算的；
[0040]
并且为了提升后续分类网络训练的效果，在这一阶段，也会完成分类网络的预训练，在这一阶段使用bceloss和centerloss的联合监督，训练网络进行特征学习，第一步公式如下：
[0041][0042]
当同类样本足够聚集之后，在第二步使用tripletloss对生成的特征进行改进，以增大不同类之间的差异性，从而提升生成特征的质量，为分类网络减轻分类负担。由于第一步训练时，centerloss已经尽可能使同类样本距离更近了，所以不必和shapenet等相关工作一样选取多个正样本和负样本，选取距目标样本最远的一个同类样本作为正样本，距离目标样本最近的一个异类样本作为负样本；第二步训练公示如下：
[0043][0044]
最终有效特征生成后，第三步单独使用bceloss对分类网络模块进行正式训练，以提升分类网络的性能。
[0045]
进一步地，分类网络使用2个全连接层、1个激活函数层、1个批标准化层以及1个sigmoid分类函数层构成分类网络，最终将特征转为0-1间的概率值。
[0046]
与现有技术相比，本发明技术方案的有益效果是：
[0047]
本发明精心设计了4套能充分挖掘变量间关联特征和单一变量内部特征的局部特征提取子网络，不同于一般的卷积网络，设计出的子网络使得两种维度的卷积网络，能友好地融合在一个网络中，相比起纯1dcnn网络，本网络能捕获更深层次的特征；相比起纯2dcnn网络，本网络能减少参数量。在使用basecnn捕获变量间交互的同时，还使用具有长距离依赖能力的lstm来构建了一个子网络，利用其长期记忆特性，强化模型的全局时序特性，帮助模型更好的捕获全局时序特征。此外，巧妙的设计了三步训练模式，有效发挥centerloss、tripletloss的作用，来处理该数据集波动性和特异性的特征，为最终的分类网络提供了良好的特征嵌入。本发明大力推动现有人工智能前交叉韧带辅助诊断的研究，具有重大临床意义与实际应用价值。
附图说明
[0048]
图1通过opti-knee获取的六自由度数据；
[0049]
图2本发明总体框架结构图；
[0050]
图3局部特征提取子网络结构图。
具体实施方式
[0051]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0052]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0053]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0054]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0055]
针对前交叉韧带损伤诊断，为了充分挖掘opti-knee测试得到的双腿六自由度数据集中蕴含的个体运动学特征，本发明设计了一种基于深度学习的多元时间序列分类方法。本方法可有效捕获各变量间的局部和全局的关联特征、以及单变量内部的局部时序特征和全局特征，从而获取内嵌于关节三维运动测量系统所测关节六自由度运动数据的时空步态特征。
[0056]
在本节中，我们介绍了所提出的基于多视图多目标的神经网络，以充分挖掘6自由度数据中包含的单个体运动学特征。该方法的总体框架如图2所示。为了解决大多数mtsc模型在特征提取阶段丢失变量间关联特征的问题。我们的模型着重于探索变量间的关联特征，包括局部特征和全局特征。此外，我们的模型还可以挖掘每个变量的内部时序特征。该方法主要分为以下几个部分：特征转换、特征提取和多目标学习。
[0057]
第一部分：特征转换
[0058]
为了保留步态系统动力学的特征，我们采用相空间重构(psr)技术将时间序列的特征转化为嵌入空间几何对象的拓扑性质。延时嵌入是最常见的psr技术。原动力系统所有可能的状态都表示为重构空间中的唯一点。采用延时嵌入后，我们的研究对象不再是多个一维的时间序列，而是与原始时间序列具有相同拓扑意义的相空间。延迟嵌入后，单一时刻数据的维度增加，使得数据的邻域相关性增强，每个点表示的状态能反映多时刻的信息，增强了数据的表现力，便于捕捉局部特征。
[0059]
第i个变量对应的时间序列可表示为时间序列向量其中l是序列长度，通过使用延时嵌入对原时序向量进行相位空间重构后，第i个变量对应的重构向量的第j项表示为：
[0060][0061]
其中j＝1,2,
…
,l-(d
t-1)
·
t，d
t
为相空间的嵌入维数，t表示时延，延时嵌入后第s个样本表示如下：
[0062][0063]
其中m＝l-(d
t-1)
·
t，新的相空间中的每一个点，表示一种可能状态，延迟嵌入维度d
t
为3，时延t为1。
[0064]
第二部分：特征转换
[0065]
本发明可以为每个多元时间序列样本学习一个低维的嵌入其中de是最终嵌入维度。总体来看，本发明使用使用基于神经网络的方法其中θ是函数参数集，是延迟嵌入后的时间序列数据。
[0066]
为了解决大多数mtsc模型在特征提取阶段都会丢失变量间的关联特征的问题，我们设计了侧重于探索变量间局部关联特征的局部特征提取部分。在完成局部特征提取的同时，还使用具有长距离依赖能力的lstm来构建了全局特征提取部分，利用其长期记忆特性，强化模型的全局时序特性，帮助模型更好的捕获全局时序特征。首先，我们设置了按腿排列和按自由度排列两组输入：1)按腿排列：我们将同一条腿的6自由度放在一起，然后按照待预测腿、辅助腿、两腿差值的顺序连接变量；2)按6自由度排列：将相同自由度的变量放在一起，然后连接6组变量。
[0067]
在全局特征提取部分，由于重构后数据维度是3维，不适用于lstm，我们首先在时间序列数据的第三维度上进行池化操作并进行permute操作，使3维转化为2维然后得到其中d
l
是lstm层hidden size参数的大小。
[0068]
局部特征提取部分由四个子网络构成。第一个子网络用来捕获全部变量间的特征；第二个子网络专注于单腿内部特征；第三个子网络专注于单自由度内部的特征；第四个子网络则用来捕获单一变量内部的特征。与一般的纯一维或纯二维卷积神经网络(cnn)不同，我们通过压缩和扩展通道以及相应层中维度间的交换，使1d-cnn和2d-cnn可以友好地集成到一个网络中，从而充分发挥其作用来获取特征。4个子网络之间的差异主要反映在第一阶段，通过调整阶段1中1d-cnn的卷积步长和卷积核大小参数来实现。由于这些子网络在结构上相似，我们选择其中一个作为例子来介绍。4个子网络具体结构参数见表1-4.
[0069]
如图3所示，一个局部特征提取子网络大致可分为三阶段。
[0070]
阶段1：利用两层卷积，将96个时间点看作96个通道，重点学习18个变量间的关联特征，此时在延迟嵌入的三个相邻时间维度上没有进行卷积，两层卷积之后的平均池化则强化了延迟嵌入的作用，实现了相邻时间点不同变量间局部特征的提取；同时在特征方向上进行池化，减少了后续的计算量，这里使用平均池化，是因为此时处于初步特征挖掘阶段，相比起最大值池化，平均池化能保留更多的信息。
[0071]
阶段2：首先使第一阶段学习到的全部通道的特征，转换进一个通道里，完成维度转换后，方便后续卷积层可以对第一部分学习到的特征间关系，进行更深层次的挖掘。最后利用squeeze降维，方便后续使用1dcnn，相比起一直使用2dcnn，1dcnn减少后续卷积的参数量。在卷积后，使用最大池化，因为深挖阶段，我们可以忽略一些不明显的特征，将注意力放
在最显著的特征上即可。
[0072]
阶段3：利用1d-cnn以及池化，在捕捉深层交互的同时，为减少后续的全连接层的参数量，而减少数据维度。
[0073]
与其它模型不同，因为要充分考虑数据量小这个问题，本文没有将两块的输出直接拼接后接入全连接层，而是分别进行最大池化，保留最突出特征减少维度后接入全连接层，将特征维度缩小后进行拼接。在两部分各自经过全连接层后，单个局部特征提取子网络最终输出为a个子网络最终输出拼接后得到全部特征提取部分的最终输出为接下来，将两部分子网络输出拼接得到最终嵌入
[0074]
表1:子网络一参数设置
[0075]
[0076][0077]
表2:子网络二参数设置
[0078]
[0079][0080]
表3:子网络三参数设置
[0081]
[0082][0083]
表4:子网络四参数设置
[0084]
层数名称步长核大小核数输入维度输出维度
1permute
‑‑‑
(94,18,3)(3,94,18)2conv1d(2,1)(24,1)10(3,94,18)(10,36,18)3relu
‑‑‑
(10,36,18)(10,36,18)4avg_pool2d(3,1)(3,1)-(10,36,18)(10,12,18)5conv1d(3,1)(3,1)50(10,12,18)(50,4,18)6relu
‑‑‑
(50,4,18)(50,4,18)7avg_pool2d(4,1)(4,1)-(50,4,18)(50,1,18)8permute
‑‑‑
(50,1,18)(18,50,1)9max_pool2d(5,1)(5,1)-(18,50,1)(18,10,1)10reshape
‑‑‑
(18,10,1)(180)11linear
‑‑‑
(180)(2)
[0085]
第三部分：分类网络
[0086]
分类网络由两个全连接层够成，在两个全连接层之间，我们使用非线性激活函数relu来获取非线性特征，并且使用一个批正则化层来使训练稳定以及防止过拟合。该分类网络可表示为：
[0087][0088]
第四部分：多目标学习
[0089]
本发明的最终目的是能准确判断前交叉韧带是否断裂，毫无疑问，分类网络前生成特征的质量会对分类任务造成影响。所以为了提升生成特征的质量，本发明出了三步式训练模式。
[0090]
在特征生成部分的学习/训练的目标是确保同标签的时间序列获得相似的表示，反之亦然。而本文原始数据膝关节的六自由度受个体差异和时空差异影响，膝盖健康程度不同的个体在不同时刻的六自由度是不同的，运动模式复杂多变，变化规律复杂，专业医生也无法准确识别。所以，最后生成的同类特征也具有差异性。常见的用于特征生成的损失有tripletloss，其思想就是对每一个目标样本，选取一个同类正样本，以及一个异类负样本，使得目标样本与正样本的距离拉近，与负样本的距离拉远；在此基础上，有很多改进的工作，大多是在正负样本的选取上进行改进，例如：对每一个目标样本，选取一个正样本、多个负样本；或者多个正样本、多个负样本。但在同类特征都差异性大的时候，若直接拉大与负样本的距离，拉近与正样本的距离，会造成特征生成阶段的训练震荡严重、无法收敛。在这种情况下，训练出来的特征，其样本分布会更混乱，即无效训练。
[0091]
为了解决这个问题，本文在训练阶段的第一步先使用监督训练centerloss使得同类样本的类间距离更小，centerloss保持不同类的特征可分离的同时，最小化类内变化。其公式如下：
[0092][0093]
表示第s类的特征中心。由于我们需要考虑整个训练集，并平均每次迭代中每个类的特征，这样效率极其低下。所以在每次迭代时，不是针对整个训练集更新中心，而是基
于小批量训练执行更新，中心通过平均相应类的特征来计算的。
[0094]
并且为了提升后续分类网络训练的效果，在这一阶段，我们也会完成分类网络的预训练。在这一阶段我们使用bceloss和centerloss的联合监督，训练网络进行特征学习。第一步公式如下：
[0095][0096]
当同类样本足够聚集之后，在第二步使用tripletloss对生成的特征进行改进，以增大不同类之间的差异性，从而提升生成特征的质量，为分类网络减轻分类负担。由于第一步训练时，centerloss已经尽可能使同类样本距离更近了，所以不必和shapenet等相关工作一样选取多个正样本和负样本，我们选取距目标样本最远的一个同类样本作为正样本，距离目标样本最近的一个异类样本作为负样本。第二步训练公示如下：
[0097][0098]
最终有效特征生成后，第三步我们单独使用bceloss对分类网络模块进行正式训练，以提升分类网络的性能。
[0099]
实验
[0100]
实验数据全部来自真实世界，通过关节三维运动测量系统，可以捕捉到个体单腿关节六自由度运动数据，包括：外展/内收(单位：度)，前屈/后伸(单位：度)，内旋/外旋(单位：度)，前后位移(单位：厘米)，内外位移(单位：厘米)，上下位移(单位：厘米)。参与测试的个体共209人，通过使用optiknee关节三维运动测量系统，获取每个个体双腿的关节六自由度数据。在209位受试者中，由于4位步态信号缺失，因此实验总样本个体数为205。205个样本中：双腿正常样本数为60，左腿断样本数为77，右腿断样本数为50，双腿断样本数为18。
[0101]
根据以上分析，为了保证正负样本分布相对均衡，故选取左腿为带预测腿，右腿为辅助腿，并设左腿前交叉韧带损伤的标签值为1，正常则为0。经此划分，正样本数(左腿断)为95，负样本数(右腿正常)为110。为了保证样本均衡，我们在训练时采用过采样策略，从训练集中正样本中随机选取一定数量的正样本，以保证训练集中正负样本比例相同。
[0102]
对于每个模型，我们计算了分类任务(acl-d诊断)的准确率(acc)，特异度(spe),召回率(recall),roc曲线下方面积值auc，f1，精确度(pre)。我们将本发明方法与其它10种不同的方法进行了比较。在传统机器学习方法里，我们选取了svm、random forest、xgboost；在神经网络里，我们选取了vgg、gru、lstm，在专门处理多元时间序列分类问题的方法里，我们选取了具有代表性的三种当法mlstm-fcn、tapnet、shapenet，其中shapenet是目前基于时间序列子序列的最好方法，tapnet是目前基于神经网络的最好方法。
[0103]
我们使用五折交叉验证去测试所有方法，并且取十次五折实验的平均值作为最终结果。结果如下：
[0104][0105]
过以上实验分析，可以看到本发明的多视角多目标神经网络方法在前交叉韧带损伤诊断任务中具有显著优势，可以更好的捕捉单一变量内部以及变量间的局部时序特征和全局关联特征，更有利于挖掘出单腿关节六自由度运动数据的特征模式。
[0106]
相同或相似的标号对应相同或相似的部件；
[0107]
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
[0108]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。