用于数据分类的神经网络优化方法与流程

本发明涉及深度学习，具体涉及一种用于数据分类的神经网络优化方法。

背景技术：

1、神经网络通常采用反向传播和梯度下降的方式更新模型权重，训练过程中，根据输入数据在输出端计算分类损失，再通过链式法则将损失梯度逐层向前传递，据此调整网络各层参数，使网络逐步完成高维特征提取并拟合分类决策边界，这是目前神经网络进行数据分类时常用的训练方式，对于高维特征、数据分布不稳定以及类别边界较为模糊的数据集，现有神经网络训练方式仍存在一定局限，当某些类别包含的样本数量较多，或者容易分类的样本占比较高时，这些样本会产生大量方向相近的梯度并不断累积，使少数类别以及处于类别边界附近的样本对参数更新产生的影响被削弱，随着训练进行，分类决策边界容易出现过度平滑，进而降低模型对类别交界区域数据的区分能力，同时，传统优化方法通常对网络各层采用统一的全局更新步长，没有充分考虑深层与浅层提取特征的层次差异，容易造成不同层之间的梯度更新不协调，并增加模型收敛到局部极小值的风险。

2、为了缓解样本难易不均以及超参数波动对模型优化的负面影响，现有技术尝试通过重构损失函数结构或自适应调整缩放因子来改善训练性能，例如，公开号为cn113361346a的中国发明专利申请公开了一种替换调节参数的尺度参数自适应的人脸识别方法，通过结合基于边界与基于挖掘的损失函数，利用批次全局统计量自适应计算尺度参数与调节参数，以调整简单样本与困难样本的相对重要性，然而，该类方法主要依赖批次整体的均值或中间值等宏观统计指标完成参数映射，无法针对单个样本的决策边界裕度偏离量与历史梯度方差开展样本级的精细化梯度调节；同时，其未能考虑神经网络不同隐层间梯度方向的离散度差异，亦缺乏应对突发高噪声引发损失剧烈波动时的参数回滚与步长衰减机制，在处理高维非平稳数据分类任务时，仍难以兼顾决策边界的区分精度与参数优化的稳定性。

3、因此，如何在神经网络整个训练过程中准确反映样本分类结果的确定程度，根据历史波动情况动态调整不同样本对梯度更新的影响，并结合各隐层梯度方向的一致程度设置不同的更新步长，同时在损失出现突变时对参数更新进行回退并重新调整训练状态，成为本发明所要解决的技术问题。

技术实现思路

1、为解决背景技术中的问题，所采用的技术方案具体如下：一种用于数据分类的神经网络优化方法，包括以下步骤：

2、步骤s1，获取包含多个样本的高维特征数据张量、历史方差滑动平均值、前序平滑对齐熵及前序损失值，将高维特征数据张量输入神经网络模型，计算多个样本的分类概率向量与分类边界裕度向量；

3、步骤s2，根据分类边界裕度向量与历史方差滑动平均值计算边界缩放系数，将历史方差滑动平均值限定在预设上下限区间内得到修正方差标量，利用修正方差标量对边界缩放系数归一化，生成样本级自适应梯度调节因子；

4、步骤s3，提取神经网络模型各隐层的原始对齐熵，将前序平滑对齐熵与原始对齐熵加权求和，生成平滑对齐熵；

5、步骤s4，根据平滑对齐熵与样本级自适应梯度调节因子，生成各隐层的更新步长张量，基于更新步长张量更新神经网络模型的权重参数；

6、步骤s5，计算更新权重参数后的当前损失值相对于前序损失值的增加比例，当增加比例大于预设突变阈值时，恢复权重参数至更新前状态，将更新步长张量乘以缩放因子并重新更新权重参数。

7、优选的，步骤s1计算多个样本的分类概率向量与分类边界裕度向量，包括以下步骤：步骤s11，计算多个样本在预设目标类别的对数几率响应值，利用softmax函数处理对数几率响应值生成分类概率向量；步骤s12，确定多个样本中各个样本真实类别对应的第一响应值，以及非真实类别中的最大响应值；步骤s13，计算第一响应值与最大响应值的差值，得到各个样本的边界裕度数值，汇集各个样本的边界裕度数值生成分类边界裕度向量。

8、优选的，步骤s2生成样本级自适应梯度调节因子，包括以下步骤：步骤s21，获取各个样本的分类损失对神经网络模型输出层的原始梯度张量；步骤s22，计算边界裕度数值与预设裕度阈值的偏离量；步骤s23，利用指数衰减函数处理偏离量生成边界缩放系数，计算公式为：，其中，为边界裕度数值，为预设裕度阈值，为预设衰减参数；步骤s24，将历史方差滑动平均值限定在预设上下限区间内得到修正方差标量，计算修正方差标量的平方根；步骤s25，利用平方根对边界缩放系数归一化，得到各个样本的样本级自适应梯度调节因子。

9、优选的，预设裕度阈值为0.35，预设衰减参数为1.2，预设上下限区间的下限为0.001，预设上下限区间的上限为10.0。

10、优选的，步骤s3提取神经网络模型各隐层的原始对齐熵，包括以下步骤：步骤s31，提取当前批次中多个样本在特定隐层产生的权重梯度张量；步骤s32，计算任意两个样本的权重梯度张量之间的余弦相似度，构建相似度矩阵；步骤s33，计算相似度矩阵的特征值分布，根据特征值分布计算归一化信息熵；步骤s34，将归一化信息熵确定为特定隐层的原始对齐熵。

11、优选的，步骤s3将前序平滑对齐熵与原始对齐熵加权求和，生成平滑对齐熵，包括以下步骤：步骤s35，将前序平滑对齐熵与原始对齐熵按预设平滑加权因子求取加权和，得到平滑对齐熵，预设平滑加权因子为0.8。

12、优选的，步骤s4生成各隐层的更新步长张量，包括以下步骤：步骤s41，计算预设基准学习率与平滑对齐熵的对数增益映射关系的乘积，得到层级基础更新步长；步骤s42，根据各隐层所处的深度索引以及网络总层数，计算指数衰减层级权重；步骤s43，计算各个样本的样本级自适应梯度调节因子的均值；步骤s44，将均值、层级基础更新步长与指数衰减层级权重相乘，生成各隐层的更新步长张量。

13、优选的，预设基准学习率为0.001，网络总层数为6。

14、优选的，步骤s5包括以下步骤：步骤s51，计算更新权重参数后的当前损失值相对于前序损失值的增加数值，将增加数值与前序损失值的比值确定为增加比例；步骤s52，当增加比例大于预设突变阈值0.20时，废弃对权重参数的修改并恢复至更新前状态；步骤s53，将更新步长张量乘以缩放因子0.5，基于相乘后的更新步长张量重新更新权重参数。

15、优选的，步骤s5还包括以下步骤：步骤s54，当连续3次触发恢复至更新前状态的动作时，将历史方差滑动平均值重置为初始复位基准1.0。

16、本发明提出了一种用于数据分类的神经网络优化方法，本发明的有益效果是：

17、1、在数据分类的神经网络优化中，根据样本的分类边界裕度向量和历史梯度波动情况调整不同样本对模型权重更新的影响，可以降低高裕度、易分类样本的梯度在训练过程中的占比，使处于分类边界附近的困难样本得到更充分的修正，同时，对历史方差滑动平均值进行范围限制，可以避免方差过小时造成更新幅度异常和数值波动，由此能够减轻大量易分类样本的同向梯度对训练结果的主导作用，避免少数类别和边界模糊样本的修正作用被掩盖，从而缓解分类决策边界过度平滑的问题，提高神经网络对复杂类别交界区域的区分能力。

18、2、利用各隐层中不同样本权重梯度之间的相似程度得到原始对齐熵，并结合前序平滑对齐熵进行平滑处理，可以较稳定地反映不同隐层中样本梯度方向的离散程度，减少随机批次变化造成的指标波动，在此基础上，根据网络层级为各隐层设置不同的更新步长张量，使不同深度的网络层能够按照各自的梯度状态进行参数更新，减少统一更新步长造成的深层与浅层更新不协调，使模型训练过程更加顺畅，并提高模型的收敛效率。

19、3、在每次权重参数更新后对损失变化进行检测，当损失出现异常增加时恢复更新前的权重参数，并缩小更新步长后重新更新，可以及时限制异常梯度对模型参数造成的影响；在连续出现异常更新时重新设置相关历史状态，还能够避免前期异常波动持续影响后续训练，这样可以降低高噪声数据和突发离群数据引起的梯度剧烈波动及梯度爆炸风险，减少模型参数发生异常偏移，使参数优化过程保持较好的连续性和稳定性。