融合时序记忆与周期差分编码的储层状态表示方法、系统
本发明属于时间序列分类,具体涉及融合时序记忆与周期差分编码的储层状态表示方法、系统。
背景技术:
1、随着传感器技术、物联网及智能感知设备的快速发展,多变量时间序列(multivariate time series,mts)广泛应用于医疗健康、工业过程监测、行为识别、智能制造等领域。不同于单变量时间序列,多变量时间序列能够描述多个变量之间的关联关系,因此包含更加丰富的动态信息。由于多变量时间序列通常具有高维性、非线性、长短期时序依赖以及变量间复杂耦合关系,如何充分挖掘其动态演化规律并构建具有较强判别能力的特征表示,已成为时间序列分类领域的重要研究方向。
2、储层计算(reservoir computing,rc)因训练效率高、动态建模能力强等优点,在时间序列分析任务中受到了广泛关注。为进一步提升储层的动态建模能力,现有技术中基于非线性脉冲神经膜系统(nonlinear spiking neural p systems,nsnp)的储层计算模型rc-snp,该模型利用nsnp系统替代传统随机储层,通过更加丰富的非线性动力学演化产生高维储层状态,从而增强了时间序列的动态表示能力,并在多个公开多变量时间序列分类数据集上取得了优于传统回声状态网络模型的分类性能,验证了nsnp储层在复杂时序建模中的有效性。
3、尽管rc-snp能够生成具有丰富动态信息的储层状态,但现有rc-snp及相关储层计算模型通常采用固定的状态聚合策略构建最终状态表示,尚未充分挖掘储层状态序列中的判别信息,主要存在以下几个方面的不足。
4、(1)关键时序信息利用不足。现有方法通常采用末状态、均值池化或全局统计特征作为储层状态表示,各时间步对最终表示具有近似相同的贡献,难以突出对分类任务具有重要作用的关键历史状态,导致局部动态变化和长期时序依赖难以得到充分建模。
5、(2)周期动态特征缺乏显式表示。储层状态包含丰富的动态演化信息,但现有方法主要侧重于时域建模,对时间序列中普遍存在的周期变化规律缺乏显式刻画,使得周期结构及跨周期动态差异难以有效融入最终状态表示。
技术实现思路
1、为解决背景技术的问题,本发明提供融合时序记忆与周期差分编码的储层状态表示方法、系统。
2、本发明的技术方案如下:
3、本发明提供一种融合时序记忆与周期差分编码的储层状态表示方法,包括:
4、s1:多变量时间序列经非线性脉冲神经膜系统映射,生成储层状态序列;
5、s2:储层状态序列执行时序记忆增强操作,步骤如下:
6、通过多尺度滑动窗口提取局部历史状态集合,利用非线性注意力评分函数计算历史状态对当前状态的重要性得分;引入可学习时间衰减系数对重要性得分进行动态调制后,采用动态top-k稀疏注意力策略筛选关键历史状态,对筛选后的关键历史状态进行加权聚合得到记忆增强表示,将记忆增强表示与当前储层状态进行残差融合,生成时序记忆增强特征;
7、s3:多变量时间序列执行周期差分编码操作,步骤如下:
8、多变量时间序列经周期检测处理,获得主导周期集合;主导周期集合与储层状态序列经跨周期储层状态机制处理,得到各周期差分特征;采用全局均值池化和全局最大池化对各周期差分特征进行统计,拼接得到周期动态特征;
9、s4:时序记忆增强特征、周期动态特征与储层状态序列经门控网络处理,得到增强储层状态表示。
10、基于以上所述融合时序记忆与周期差分编码的储层状态表示方法,s4所述时序记忆增强特征、周期动态特征与储层状态序列经门控网络处理,得到增强储层状态表示,具体为:
11、将储层状态序列的最后一个时刻状态作为基础储层表示,将时序记忆增强特征和周期动态特征分别线性映射至与基础储层表示相同的表示空间;
12、基础储层表示、映射后的时序记忆增强特征和映射后的周期动态特征拼接后,输入门控网络,经softmax函数处理,得到动态融合权重;
13、映射后的时序记忆增强特征和映射后的周期动态特征利用动态融合权重构建增强残差表示,增强残差表示与基础储层表示相加,得到增强储层状态表示。
14、基于以上所述融合时序记忆与周期差分编码的储层状态表示方法,s3所述主导周期集合与储层状态序列经跨周期储层状态机制处理,得到各周期差分特征,具体为:
15、获取储层状态序列中每一个时间步对应的储层状态向量,确定当前时刻的储层状态向量;根据当前主导周期长度,向前回溯与当前主导周期长度相等的时刻,获取历史时刻的储层状态向量;
16、将当前时刻的储层状态向量与历史时刻的储层状态向量执行向量减法运算,得到周期差分特征。
17、基于以上所述融合时序记忆与周期差分编码的储层状态表示方法,s2所述利用非线性注意力评分函数计算历史状态对当前状态的重要性得分,具体为:
18、将历史状态与当前状态拼接得到联合表示,联合表示通过公式,来得到历史状态对当前状态的重要性得分,其中表示具有可学习参数的非线性注意力评分函数。
19、基于以上所述融合时序记忆与周期差分编码的储层状态表示方法,s2所述引入可学习时间衰减系数对重要性得分进行动态调制,为通过公式:来实现;
20、式中,表示动态调制后的重要性得分;表示调制前的重要性得分;表示可学习时间衰减系数,且;表示当前状态与历史状态之间的时间间隔。
21、基于以上所述融合时序记忆与周期差分编码的储层状态表示方法,s2所述采用动态top-k稀疏注意力策略筛选关键历史状态,具体为:
22、对于调制后的重要性得分,按降序排列,并取第k+1个调制后的重要性得分作为动态阈值;调制后的重要性得分与动态阈值经relu函数处理后,进行归一化得到目标注意力权重。
23、基于以上所述融合时序记忆与周期差分编码的储层状态表示方法,s2所述将记忆增强表示与当前储层状态进行残差融合,生成时序记忆增强特征,具体为:
24、将记忆增强表示与当前储层状态进行残差融合,得到记忆增强储层状态序列,对每个尺度对应的记忆增强储层状态序列沿时间维度执行全局最大池化,提取时序动态特征;将各尺度对应的时序动态特征进行拼接,生成时序记忆增强特征。
25、基于以上所述融合时序记忆与周期差分编码的储层状态表示方法,s3所述采用全局均值池化和全局最大池化对各周期差分特征进行统计,拼接得到周期动态特征,具体为:
26、对于每个周期差分特征,分别执行全局均值池化和全局最大池化后,得到的两类池化特征进行拼接,得到单周期表示,所有单周期表示拼接得到周期动态特征。
27、本发明还提供一种融合时序记忆与周期差分编码的储层状态表示系统,包括:
28、映射模块:多变量时间序列经非线性脉冲神经膜系统映射,生成储层状态序列;
29、时序记忆增强模块:储层状态序列执行时序记忆增强操作,步骤如下:
30、通过多尺度滑动窗口提取局部历史状态集合,利用非线性注意力评分函数计算历史状态对当前状态的重要性得分;引入可学习时间衰减系数对重要性得分进行动态调制后,采用动态top-k稀疏注意力策略筛选关键历史状态,对筛选后的关键历史状态进行加权聚合得到记忆增强表示,将记忆增强表示与当前储层状态进行残差融合,生成时序记忆增强特征;
31、周期差分编码模块:多变量时间序列执行周期差分编码操作,步骤如下:
32、多变量时间序列经周期检测处理,获得主导周期集合;主导周期集合与储层状态序列经跨周期储层状态机制处理,得到各周期差分特征;采用全局均值池化和全局最大池化对各周期差分特征进行统计,拼接得到周期动态特征;
33、自适应融合模块:时序记忆增强特征、周期动态特征与储层状态序列经门控网络处理,得到增强储层状态表示。
34、基于以上所述融合时序记忆与周期差分编码的储层状态表示系统,自适应融合模块中,具体为:
35、将储层状态序列的最后一个时刻状态作为基础储层表示,将时序记忆增强特征和周期动态特征分别线性映射至与基础储层表示相同的表示空间;
36、基础储层表示、映射后的时序记忆增强特征和映射后的周期动态特征拼接后,输入门控网络,经softmax函数处理,得到动态融合权重;
37、映射后的时序记忆增强特征和映射后的周期动态特征利用动态融合权重构建增强残差表示,增强残差表示与基础储层表示相加,得到增强储层状态表示。
38、有益效果
39、本发明保持原有储层结构不变,不改变状态更新机制,而是对储层状态表示阶段进行优化,其中,储层状态序列执行时序记忆增强操作,将多尺度局部时间窗口、时间衰减以及动态top-k稀疏注意力联合引入储层状态表示过程,对关键历史状态进行自适应筛选,从而增强储层状态的长期依赖建模能力。而多变量时间序列执行周期差分编码操作,将跨周期储层状态机制引入储层状态空间,充分挖掘储层状态中隐含的周期动态信息。最后,通过门控网络,自适应学习两类特征的贡献程度,完成储层状态表示优化,提升储层状态表示的判别能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com