一种基于深度学习的训练模型优化方法

本发明涉及深度学习，尤其涉及一种基于深度学习的训练模型优化方法。

背景技术：

1、随着深度学习技术在图像识别、语音处理、自然语言处理、工业预测和智能控制等场景中的广泛应用，训练模型的优化质量直接影响模型的收敛速度、泛化能力和部署稳定性。现有深度学习模型训练通常依赖梯度下降、动量优化、学习率衰减、权重正则化、批归一化、早停策略以及验证集性能监控等方式，对模型参数进行迭代更新和整体调节，使训练损失逐步降低并使验证性能保持在可接受范围内。

2、然而，现有训练优化方法大多以整体训练损失、整体验证损失、准确率或全局梯度变化作为调控依据，难以针对不同网络层参数块识别其在连续训练轮次中的空间迁移状态，也难以判断各参数块是否仍处于具有泛化能力的稳定参数区域。尤其在训练后期，模型可能出现训练损失继续下降而验证性能开始波动或下降的情况，此时参数块已经可能从稳定核区逐渐迁移至泛化过渡壳层区、泛化塌缩边界区甚至壳域外偏离区，但现有方法通常无法在该隐性偏移阶段进行细粒度识别。

3、当模型出现泛化性能下降时，现有技术通常采用降低学习率、增加正则约束、提前停止训练或恢复历史最优模型参数等方式进行处理，这类方法属于整体性调控，难以区分哪些网络层参数块仍具有有效训练价值、哪些参数块已经偏离可达泛化区域，容易造成有效训练成果被一并回滚或无效参数继续参与更新。

4、因此，如何提供一种基于深度学习的训练模型优化方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于深度学习的训练模型优化方法，本发明充分利用改进hypermixer模型、可达泛化流形壳域构建、参数跃迁轨迹弧度约束以及参数拓扑回卷重构技术，详细描述了在模型训练过程中对网络层参数块进行壳域归属识别、脱离风险判断和越界参数重构的优化流程，能够避免仅依赖损失值、学习率衰减或早停策略进行整体调控，具备参数偏移识别精细、模型训练稳定性高、有效训练成果保留能力强和泛化性能提升明显的优点。

2、根据本发明实施例的一种基于深度学习的训练模型优化方法，包括：

3、读取训练数据集、验证数据集以及待优化深度学习模型，对待优化深度学习模型中的网络层参数进行参数块划分，构建参数块状态集合；

4、在模型训练过程中，记录局部最优验证性能对应的稳定核点参数、验证损失稳定对应的泛化过渡壳层状态以及验证损失上升对应的泛化塌缩边界状态，构建可达泛化流形壳域；

5、将各参数块、稳定核点参数、泛化过渡壳层状态及泛化塌缩边界状态分别构建为对应标记对象并输入改进hypermixer模型，通过动态混合处理生成各参数块在可达泛化流形壳域中的壳域归属结果；

6、在连续训练轮次中依据参数增量向量生成参数跃迁轨迹，根据连续参数增量向量之间的方向变化生成参数跃迁轨迹弧度，当参数跃迁轨迹弧度连续增大且对应壳域归属结果为泛化塌缩边界区或壳域外偏离区时，确定当前模型参数存在可达泛化流形壳域脱离风险；

7、响应于检测到可达泛化流形壳域脱离风险，依据稳定核点参数构建局部稳定张成子空间，将存在脱离风险的模型参数投影至局部稳定张成子空间中，根据壳域归属结果生成重构后的模型参数；

8、将重构后的模型参数输入验证数据集进行验证，验证结果满足预设约束条件时，将重构后的模型参数确定为优化后的模型参数，输出优化后的深度学习训练模型。

9、可选的，所述对待优化深度学习模型中的网络层参数进行参数块划分，构建参数块状态集合，包括：

10、按照网络层编号、参数张量类型及参数维度范围对待优化深度学习模型中的网络层参数进行分区，生成对应的参数块；

11、读取各参数块对应的参数范数、参数更新幅度、梯度方向变化量、训练损失下降量、验证损失变化量及参数能量密度；

12、依据参数块编号、网络层编号、参数范数、参数更新幅度、梯度方向变化量、训练损失下降量、验证损失变化量及参数能量密度生成对应的参数块状态向量；

13、将全部参数块状态向量组合形成参数块状态集合。

14、可选的，所述构建可达泛化流形壳域，包括：

15、按训练轮次顺序缓存每一轮的完整参数快照、参数块状态、验证损失、验证准确率、边界样本置信度、易混淆样本类别偏移量与参数能量密度，生成时间有序的训练状态序列；

16、在训练状态序列中，依次比较相邻训练轮次的验证损失与参数能量密度，若当前轮次验证损失为局部最小且参数能量密度低于前后两轮，则将轮次的全部参数块标记为稳定核点块，将同一训练轮次对应的稳定核点块集合记为一组稳定核点；

17、在任意两组相邻稳定核点之间，沿训练轮次方向遍历参数块状态，当一参数块在连续轮次中满足验证损失浮动不超设定容差、参数更新幅度保持非零且梯度方向一致时，将参数块标记为泛化过渡壳层块，所有满足条件的参数块构成泛化过渡壳层块集合；

18、继续沿训练轮次方向遍历参数块状态，当出现验证损失超过设定上升阈值、边界样本置信度下降并伴随易混淆类别偏移增加时，将对应轮次中超出泛化过渡壳层块覆盖范围的参数块标记为泛化塌缩边界块，所有参数块构成泛化塌缩边界块集合；

19、以相同参数块编号为锚，将同编号的稳定核点块、泛化过渡壳层块与泛化塌缩边界块组成壳域三元单元，在壳域三元单元之间依据网络层邻接关系、时间接续关系与梯度方向一致关系建立单向可达接续边，剔除能量密度非单调路径后，将由壳域三元单元及可达接续边围合形成的连续三层壳状区域确定为可达泛化流形壳域，按照壳域中各参数块所处层次分别映射为稳定核区、泛化过渡壳层区及泛化塌缩边界区。

20、可选的，所述通过动态混合处理生成各参数块在可达泛化流形壳域中的壳域归属结果，包括：

21、读取各参数块对应的参数块编号、网络层编号、参数范数、参数更新幅度、梯度方向变化量、训练损失下降量、验证损失变化量及参数能量密度，并按字段顺序生成参数块标记对象；

22、读取可达泛化流形壳域中的稳定核点块、泛化过渡壳层块及泛化塌缩边界块，分别生成稳定核点标记对象、过渡壳层标记对象及塌缩边界标记对象，将全部标记对象按照训练轮次顺序组合为壳域标记序列；

23、将壳域标记序列输入改进hypermixer模型，改进hypermixer模型依次包括标记编码层、位置索引嵌入层、层归一化层、超网络权重生成层、动态token-mixing层与输出映射层：

24、标记编码层：对壳域标记序列中每个标记对象按字段顺序执行线性投影，将原始字段拼接后的向量映射为一百二十八维表征向量；

25、位置索引嵌入层：为每个表征向量加入在壳域标记序列中的位置信息，将位置信息向量与表征向量按元素相加；

26、层归一化层：对加位置信息后的表征向量执行均值归零与方差归一处理，获得归一化向量；

27、超网络权重生成层：接收归一化向量并联合当前训练阶段嵌入向量与参数能量密度，通过两级全连接映射生成动态混合权重；

28、动态token-mixing层：设置四个并行混合头，每个混合头依据动态混合权重，对参数块标记对象与稳定核点标记对象、过渡壳层标记对象及塌缩边界标记对象分别执行通道混合与标记混合操作，输出混合后的参数块表征向量；

29、输出映射层：对混合后的参数块表征向量执行全连接映射，输出稳定核区匹配分数、泛化过渡壳层区匹配分数、泛化塌缩边界区匹配分数及壳域外偏离区匹配分数；

30、对每个参数块对应的稳定核区匹配分数、泛化过渡壳层区匹配分数、泛化塌缩边界区匹配分数及壳域外偏离区匹配分数进行排序，将最大匹配分数对应的区域确定为参数块在可达泛化流形壳域中的壳域归属结果；

31、输出各参数块对应的壳域归属结果，并写入参数块状态集合。

32、可选的，所述确定当前模型参数存在可达泛化流形壳域脱离风险，包括：

33、按照训练轮次顺序读取待优化深度学习模型的模型参数快照，按照网络层编号、参数块编号及参数维度顺序，将同一参数块在每一训练轮次中的参数值展开为参数块向量；

34、对同一参数块的相邻两个训练轮次执行逐位差值处理，将后一训练轮次的参数块向量减去前一训练轮次的参数块向量，得到参数块在对应训练轮次之间的参数增量向量，按照训练轮次顺序存储全部参数增量向量；

35、按照训练轮次顺序连接同一参数块的参数增量向量，将每一个参数增量向量的起点设置为前一训练轮次的参数位置，将终点设置为后一训练轮次的参数位置，生成参数块的参数跃迁轨迹；

36、对参数跃迁轨迹中相邻的两个参数增量向量进行方向变化计算，先读取两个参数增量向量的长度和方向符号，再计算两个参数增量向量之间的方向夹角，将方向夹角转换为弧度值，得到参数块在对应训练轮次的参数跃迁轨迹弧度；

37、按照训练轮次顺序对同一参数块的参数跃迁轨迹弧度进行连续窗口比对，当同一参数块在连续三个训练轮次中的参数跃迁轨迹弧度依次增大，且参数块对应的壳域归属结果为泛化塌缩边界区或壳域外偏离区时，将参数块标记为脱离风险参数块，根据脱离风险参数块的参数块编号、网络层编号、训练轮次编号、参数跃迁轨迹、参数跃迁轨迹弧度及壳域归属结果生成可达泛化流形壳域脱离风险结果。

38、可选的，所述将存在脱离风险的模型参数投影至局部稳定张成子空间中，根据壳域归属结果生成重构后的模型参数，包括：

39、响应于检测到可达泛化流形壳域脱离风险，读取脱离风险参数块的参数块编号、网络层编号、训练轮次编号及壳域归属结果，在可达泛化流形壳域的稳定核区中提取与脱离风险参数块具有相同参数块编号的稳定核点块；

40、按照验证损失由低到高、参数能量密度由低到高及训练轮次由近到远的顺序，对稳定核点块进行排序，保留排序满足预设选取数量且未连接泛化塌缩边界区的稳定核点块，生成稳定核点候选集合；

41、以稳定核点候选集合中验证损失最低的稳定核点块作为局部基准块，将其余稳定核点块分别与局部基准块进行参数差分处理，生成稳定支撑方向，剔除方向指向泛化塌缩边界区或壳域外偏离区的稳定支撑方向，生成反塌缩稳定支撑集合；

42、按照网络层邻接关系、参数块编号一致关系及稳定支撑方向接续关系，将反塌缩稳定支撑集合中的稳定支撑方向组合为局部稳定支撑骨架，将由局部基准块、稳定核点候选集合及局部稳定支撑骨架共同限定的参数活动范围确定为局部稳定张成子空间；

43、将存在脱离风险的模型参数投影至局部稳定张成子空间中，依据壳域归属结果对稳定核区参数块执行保持更新、对泛化过渡壳层区参数块执行限幅更新、对泛化塌缩边界区参数块执行投影回卷更新、对壳域外偏离区参数块执行低秩重构更新，按照参数块编号写回对应网络层参数位置，生成重构后的模型参数。

44、可选的，所述输出优化后的深度学习训练模型，包括：

45、读取重构前模型参数对应的验证损失、训练损失、边界样本置信度、易混淆样本类别偏移量及壳域外偏离参数块数量，生成基准验证记录；

46、将重构后的模型参数写入待验证模型，并利用验证数据集对待验证模型执行前向验证，生成重构验证记录，所述重构验证记录包括重构验证损失、重构边界样本置信度、重构易混淆样本类别偏移量及重构壳域外偏离参数块数量；

47、利用训练数据集对待验证模型执行训练损失复核，生成重构训练损失，将重构训练损失与基准验证记录中的训练损失进行比对，得到训练损失变化结果；

48、当重构验证损失低于基准验证记录中的验证损失、重构边界样本置信度不低于基准验证记录中的边界样本置信度、重构易混淆样本类别偏移量不大于基准验证记录中的易混淆样本类别偏移量、重构壳域外偏离参数块数量小于基准验证记录中的壳域外偏离参数块数量，且训练损失变化结果不超过预设训练反弹阈值时，将重构后的模型参数确定为优化后的模型参数；

49、基于优化后的模型参数继续执行模型训练，在连续训练轮次中重复执行参数块状态更新、壳域归属判断、脱离风险检测及参数重构验证，当连续预设轮次数内未生成可达泛化流形壳域脱离风险结果，且验证损失变化满足预设稳定条件时，输出优化后的深度学习训练模型。

50、本发明的有益效果是：

51、本发明通过将待优化深度学习模型的网络层参数划分为参数块，并结合稳定核点参数、泛化过渡壳层状态和泛化塌缩边界状态构建可达泛化流形壳域，使模型训练过程不再仅依赖训练损失、验证损失或准确率等整体指标进行判断，而是能够从参数空间层面对不同网络层参数块的泛化状态进行细粒度识别，及时发现参数块由稳定核区向泛化塌缩边界区或壳域外偏离区迁移的隐性风险。

52、本发明通过改进hypermixer模型对参数块标记对象、稳定核点标记对象、过渡壳层标记对象和塌缩边界标记对象进行动态混合处理，能够生成各参数块在可达泛化流形壳域中的壳域归属结果，并进一步结合参数跃迁轨迹弧度判断当前模型参数是否存在脱离风险。由此能够在训练损失仍然下降但模型泛化能力已经开始劣化的阶段提前识别异常参数迁移，避免现有技术只能在验证性能明显下降后再进行被动早停或整体调参的问题。

53、本发明在检测到可达泛化流形壳域脱离风险后，依据稳定核点参数构建局部稳定张成子空间，并将存在脱离风险的模型参数投影至该子空间中进行拓扑回卷重构，使偏离泛化区域的参数块能够被拉回稳定可达范围，同时保留处于稳定核区和泛化过渡壳层区内的有效训练成果。本发明能够减少无效回滚和过度冻结，提高模型训练稳定性、参数更新可控性和模型泛化性能。