一种基于鲁棒分形自编码器的指标筛选方法与流程
本发明涉及计算机数据处理,具体涉及一种基于鲁棒分形自编码器的指标筛选方法、装置、电子设备及存储介质。
背景技术:
1、在工程领域,构建科学、完备的指标体系是开展效能评估、风险预测及方案比选的核心前提。随着大数据与信息化技术的深度融合,评估对象涉及的数据维度呈爆炸式增长,从复杂系统评估、能源结构安全评估到信用风险体系及运行监测,其评价指标往往具有高维度、强关联及非线性映射的特征。在处理此类高维指标时,若直接将全部信息引入评估模型,不仅会显著增加计算的时间与空间复杂度,还可能因指标间的共线性问题导致评估结论产生偏差。因此,通过指标筛选技术在保留原始特征物理含义的前提下实现指标体系约简,已成为需要解决的关键问题。
2、针对特征约简的传统方法主要分为主观筛选法、统计学降维法以及基于启发式搜索的约简方法。主观筛选法通过专家调查实现指标定性选取,但其客观性与科学性易受专家个人经验的影响。统计学降维法通过线性变换提取主成分,虽能有效压缩维度,但映射后的特征失去了原始指标的物理含义,无法用于后续的评估。此外,部分方案尝试采用随机搜索策略结合模糊粗糙集理论进行指标约简,然而随机搜索策略在处理高维空间时收敛速度较慢且易陷入局部最优,模糊粗糙集对于大规模数据的处理能力有限,其约简结果高度依赖于隶属度函数的选取及离散化阈值的设定,导致泛化性能较差。
3、随着深度学习理论在特征提取领域的广泛应用,利用自编码神经网络处理指标筛选问题逐渐成为技术演进的主要方向。相关技术体系的核心逻辑是利用受限玻尔兹曼机构建多层架构,通过逐层无监督预训练捕获原始指标的潜在分布并初始化网络权重,随后利用反向传播算法对展开后的网络进行全局微调,最小化原始输入指标与重构输出之间的均方误差;在模型训练完成后,通过计算输入层至第一隐藏层权值矩阵的绝对值分布,定量评估每个原始评估指标对核心特征节点的贡献力,进而实现冗余指标的剔除。上述基于受限玻尔兹曼机自编码器的方案虽然初步实现了非线性特征的有效提取,但在筛选过程的鲁棒性、筛选指标的冗余性以及任务的适配能力方面仍具有进一步优化的空间。此外,相关技术还提出了一种分形自编码器框架,其在传统自编码器的基础上加入一个子神经网络,一边训练全局神经网络利用所有特征重构数据以评估能够代表全局信息的特征,一边训练子网络仅利用全局权重中排名靠前的局部特征子集来重构原始数据,以此检验特征的多样性并筛除高度相关的冗余特征。
4、上述基于自编码器的指标筛选方法在实际应用时仍存在以下不足。其一,在模型训练完成后通过后置计算权值矩阵的绝对值分布来定量评估指标贡献力时,模型在训练阶段并未引入针对原始指标间多样性的约束逻辑,当评估体系中存在两个物理含义高度相关且数值特征相似的指标时,模型倾向于为两者分配相近的权值,导致筛选出的核心指标子集依然包含冗余信息。其二,分形自编码器缺乏针对权值分布的保护机制,在利用l1正则化诱导权值稀疏时,权值容易受到正则项的剧烈影响而过度衰减,甚至在训练初期就被错误地剔除至零,导致在不同的随机种子初始化下一些弱相关但有一定评估价值的指标被随机消除;同时其局部特征子集占全局特征的比例较小,每一轮训练中只有一小部分权重能根据子网络的重构损失得到训练,网络在不同随机初始化路径下容易掉进不同的局部最优解,导致多次独立训练任务中筛选出的指标子集重叠度较低,缺乏过程的可重复性。其三,传统自编码器筛选出的指标并不理解下游任务,其筛选指标的唯一依据是指标包含的信息量,因缺乏输入标签的引导,容易把信息量大但评估价值一般的指标保留下来,不适合特定的评估场景。
技术实现思路
1、本发明意在提供一种基于鲁棒分形自编码器的指标筛选方法,以解决现有技术中存在的不足,本发明要解决的技术问题通过以下技术方案来实现。
2、第一方面,本发明提供了一种基于鲁棒分形自编码器的指标筛选方法,包括:
3、采集待评估场景的原始指标数据集以及样本对应的评估标签,将所述原始指标数据集中各原始指标的数值映射至预设区间以消除量纲影响,得到标准化指标数据;
4、配置自编码器的特征选择层、编码器、解码器与任务导向监督模块,并初始化所述特征选择层的原始权重,其中所述特征选择层被配置为将所述原始权重经指数化映射为指数权重,使各原始指标对应的指数权重恒大于零;
5、在多轮迭代训练中,根据当前迭代轮数确定动态选择窗口的尺寸,所述动态选择窗口的尺寸随迭代轮数从接近所述原始指标的总数收缩至预设的目标筛选数量,并从所述特征选择层中提取所述指数权重排名在前的、数量等于所述动态选择窗口的尺寸的原始指标,构成局部指标子集;
6、针对每一轮迭代,通过全局重构路径利用全部经所述指数权重加权后的标准化指标数据进行编码与解码得到全局重构结果,通过局部重构路径仅利用所述局部指标子集进行编码与解码得到局部重构结果,并将经所述指数权重加权后的特征或所述编码器输出的瓶颈层特征输入所述任务导向监督模块,得到评估任务的预测结果;
7、根据所述全局重构结果与所述标准化指标数据之间的全局重构误差、所述局部重构结果与所述标准化指标数据之间的局部重构误差、对所述指数权重施加的稀疏正则项、以及所述预测结果与所述评估标签之间的任务导向监督损失,计算联合损失函数,并通过梯度下降更新所述特征选择层的原始权重,以使筛选出的指标兼具重构代表性与对下游评估任务的判别力;
8、对同一原始指标数据集执行多次独立的所述多轮迭代训练,在满足预设的重构精度阈值或达到最大迭代次数后,取多次独立训练中重合度最高的筛选集合,输出该筛选集合中所述指数权重排名在前的、数量等于所述目标筛选数量的原始指标,作为筛选出的评估指标体系。
9、进一步,所述任务导向监督损失为分类交叉熵损失或回归损失,通过引入所述评估标签使波动大但对评估目的没有决定性作用的指标被剔除、对最终决策有决定性作用的指标被赋予更高的权重。
10、进一步,所述根据当前迭代轮数确定动态选择窗口的尺寸,包括:按照使所述动态选择窗口的尺寸随当前迭代轮数由所述原始指标的总数向所述目标筛选数量单调递减、并在到达预设的收缩停止周期后保持为所述目标筛选数量的收缩规则,确定当前迭代轮数对应的动态选择窗口的尺寸。
11、进一步,所述将所述原始权重经指数化映射为指数权重,包括:对所述特征选择层的原始权重取以自然常数为底的指数,得到所述指数权重,使得在应用所述稀疏正则项的过程中,所述指数权重在其数值较小时的衰减速度慢于对所述原始权重直接施加线性惩罚时的衰减速度;所述编码器与所述解码器均为不含激活函数的单层线性网络。
12、进一步,所述稀疏正则项为对所述指数权重施加的l1范数正则项;所述联合损失函数由所述全局重构误差、所述局部重构误差、所述稀疏正则项和所述任务导向监督损失按照各自对应的平衡系数加权求和得到。
13、进一步,所述取多次独立训练中重合度最高的筛选集合,包括:对所述多次独立训练分别输出的筛选集合两两计算指标重合度,并选取与其余各次筛选集合的平均重合度最高的一次筛选集合,作为所述重合度最高的筛选集合。
14、本发明第二方面提供了一种基于鲁棒分形自编码器的指标筛选装置,包括:
15、标准化模块,被配置为采集待评估场景的原始指标数据集以及样本对应的评估标签,将所述原始指标数据集中各原始指标的数值映射至预设区间以消除量纲影响,得到标准化指标数据;
16、配置初始化模块,被配置为配置自编码器的特征选择层、编码器、解码器与任务导向监督模块,并初始化所述特征选择层的原始权重,以及将所述原始权重经指数化映射为指数权重,使各原始指标对应的指数权重恒大于零;
17、窗口子集模块,被配置为在多轮迭代训练中根据当前迭代轮数确定动态选择窗口的尺寸,所述动态选择窗口的尺寸随迭代轮数从接近所述原始指标的总数收缩至预设的目标筛选数量,并从所述特征选择层中提取所述指数权重排名在前的、数量等于所述动态选择窗口的尺寸的原始指标,构成局部指标子集;
18、双路径重构模块,被配置为针对每一轮迭代,通过全局重构路径利用全部经所述指数权重加权后的标准化指标数据进行编码与解码得到全局重构结果,通过局部重构路径仅利用所述局部指标子集进行编码与解码得到局部重构结果,并将经所述指数权重加权后的特征或所述编码器输出的瓶颈层特征输入所述任务导向监督模块得到评估任务的预测结果;
19、联合优化模块,被配置为根据所述全局重构误差、所述局部重构误差、对所述指数权重施加的稀疏正则项以及所述预测结果与所述评估标签之间的任务导向监督损失计算联合损失函数,并通过梯度下降更新所述特征选择层的原始权重;
20、指标输出模块,被配置为对同一原始指标数据集执行多次独立的所述多轮迭代训练,在满足预设的重构精度阈值或达到最大迭代次数后,取多次独立训练中重合度最高的筛选集合,输出该筛选集合中所述指数权重排名在前的、数量等于所述目标筛选数量的原始指标,作为筛选出的评估指标体系。
21、进一步,所述任务导向监督损失为分类交叉熵损失或回归损失;所述配置初始化模块所配置的编码器与解码器均为不含激活函数的单层线性网络。
22、本发明第三方面提供了一种电子设备,所述电子设备包括:一个或多个处理器;以及存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一项所述的方法。
23、本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法。
24、本发明实施例包括以下优点:
25、本发明要解决的技术问题是:现有基于自编码器的指标筛选方法在训练阶段缺乏多样性约束而导致所选指标信息冗余、缺乏权值保护机制与全局搜索机制而导致多次筛选结果不稳定、以及缺乏标签引导而导致所选指标难以适配下游评估任务。本发明通过在全局重构的同时引入基于动态窗口的局部子网络重构、通过将原始权重指数化映射为恒大于零的指数权重、通过使动态选择窗口随迭代轮数由指标全集收缩至目标子集规模、以及通过可选的任务导向监督损失,取得如下有益效果:第一,通过双路径重构在训练阶段即可对比全局与局部重构误差以挖掘并剔除冗余指标,使所选指标冗余度更低、代表性更强;第二,指数化映射改变了权值的衰减曲线特征,防止关键指标在训练初期因权值过度衰减而被错误剔除,提升了处理高维稀疏数据集时的鲁棒性以及多次独立运行结果的一致性;第三,动态收缩窗口引导模型从全局空间探索平滑过渡到核心子集精炼,克服搜索视野过早固定而陷入局部最优的缺陷,进一步提高多次独立运行结果的一致性;第四,可选的任务导向监督损失使所选指标不仅能还原原始数据信息,更能在下游分类或回归任务中表现出更佳的准确度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com