一种动态耦合驱动的分层特征聚合深度学习训练方法
本申请涉及深度学习训练优化,具体涉及一种动态耦合驱动的分层特征聚合深度学习训练方法,用于在模型训练过程中通过特征层间的耦合性调整聚合权重,从而提升模型的预测精度与训练效率。
背景技术:
1、随着深度学习的快速发展,特征提取与多层信息融合成为影响模型性能的关键因素。现有多层特征融合方法多数采用静态加权或直接拼接策略,未能充分挖掘各层特征之间的相关性,尤其是缺乏对不同特征层之间耦合性的动态建模与反馈机制,导致聚合结果难以适应数据结构的复杂性,从而限制了模型性能的进一步提升。因此,需要一种能够在深度学习模型反向传播训练过程中引入特征层耦合关系反馈机制,动态调整聚合权重以增强特征层之间的信息协同,从而实现模型性能的提升。
技术实现思路
1、本申请提供一种动态耦合驱动的分层特征聚合深度学习训练方法,通过构建特征层间耦合性矩阵,动态优化聚合权重,并将该动态权重引入反向传播路径中,实现模型参数与聚合机制的联合训练,从而有效提升模型训练效率与泛化能力。
2、为实现上述目的,本发明采用以下步骤:
3、步骤一:将输入特征向量x被送入具有l层的多层特征提取器中,在第l层通过线性变换和非线性激活函数组合,生成中间特征表示h(l),其表达式如下:
4、h(l)=σ(w(l)x+b(l))
5、其中,w(l)为该层权重矩阵,b(l)为偏置向量,σ(·)为激活函数。
6、步骤二:将各层特征向量通过加权平均进行初始聚合,得到聚合特征向量hagg,其表达式如下:
7、
8、其中,wl为第l层的权重,l为特征提取层的总数。
9、初始权重设定为等权分布,其表达式如下:
10、
11、步骤三:通过计算任意两层特征向量之间的余弦相似性,构建特征层间的耦合性矩阵其表达式如下:
12、
13、其中,h(i)和h(j)为第i层和第j层的特征向量,||h(i)||和||h(j)||为其特征向量的范数。
14、步骤四:根据耦合性矩阵动态调整每层特征的聚合权重,使特征贡献值具有自适应性,权重更新规则表达式如下:
15、
16、步骤五:在模型反向传播过程中引入上述动态更新后的聚合权重,将其纳入损失函数的梯度路径中,形成特征聚合与模型参数联合优化的训练机制。
17、本发明有益效果是:本发明提出了一种动态耦合驱动的分层特征聚合深度学习训练方法,在模型训练过程中引入特征层之间的动态耦合关系,使得模型能够充分挖掘多层特征之间的语义联系与差异,通过耦合性矩阵实现对各特征层贡献度的动态评估和聚合权重的自适应更新,增强了特征融合的表达能力。该方法将聚合权重纳入反向传播优化路径,实现了模型参数与特征聚合机制的联合训练,从而有效提升了模型在复杂结构数据下的预测精度与训练稳定性。相较于传统静态聚合方法,本发明能够更准确地刻画多层特征间的关联性并动态调整聚合策略,具有更强的适应性与泛化能力,适用于多种回归与结构建模任务,具有显著的工程应用价值和推广前景。
1.一种动态耦合驱动的分层特征聚合深度学习训练方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种动态耦合驱动的分层特征聚合深度学习训练方法,其特征在于,所述步骤二中的初始聚合权重为等权分布,即每一层分层特征向量的聚合权重相等。
3.根据权利要求1所述的一种动态耦合驱动的分层特征聚合深度学习训练方法,其特征在于,所述步骤四通过由余弦相似性计算得到的耦合性矩阵进行归一化,其结果动态调整各特征层的聚合权重,实现特征层在聚合过程中的自适应贡献度调整。
4.根据权利要求1所述的一种动态耦合驱动的分层特征聚合深度学习训练方法,其特征在于,所述步骤五中将动态更新后的聚合权重引入模型反向传播过程,作为损失函数优化目标的一部分参与梯度计算,通过特征聚合权重与模型参数的联合优化路径,实现特征层间耦合关系与模型结构的协同学习,进一步提升多层特征之间语义关联的建模能力与整体预测性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com