基于双预测模型与PPO算法融合的多组分合金设计方法

本发明属于多组分合金，具体涉及基于双预测模型与ppo算法融合的多组分合金设计方法。

背景技术：

1、多组分合金是高端装备制造、新能源、航空航天及核工业等领域的关键结构与功能材料。高熵合金、非晶合金、储氢合金等多组元体系因性能优异，成为材料科学研究热点。传统多组分合金研发以试错法和经验配方为主，存在周期长、成本高、成分探索效率低等问题，难以实现多目标性能协同优化。随着材料基因组工程发展，数据驱动方法成为突破传统研发瓶颈的重要手段。机器学习能高效处理高维非线性关系，用于合金相结构预测、性能拟合与成分优化，为智能化研发提供支撑。相关研究证实，机器学习可实现高熵合金相结构预测与成分配比优化，为新型合金开发提供科学方法。也有研究指出，机器学习可构建非晶合金由性能到成分的逆向映射关系，但现有模型多依赖经验特征，特征维度较为单一。

2、多组分合金的成分、结构、性能关联具有高度非线性与多因素耦合特点，人工构建特征难以完整表征关键影响因素，导致模型精度与泛化能力受限。相关研究表明，特征降维与升维策略需要匹配不同预测目标，单一特征处理模式无法满足多性质同步预测需求。将大语言模型用于铁基非晶合金数据提取与性能预测，可有效提升数据处理效率，但尚未建立多维度特征融合与全局成分搜索机制。储氢合金相关研究指出，数据库规模不足、特征体系不统一、多目标优化能力薄弱，是限制预测精度的关键问题。针对钼基合金辐照性能构建的多目标优化模型，可实现强度与延伸率协同预测，但未形成通用多维度特征框架，难以推广至多体系合金。

3、增材制造与多组分合金结合拓展了材料应用场景，但其快速凝固特性使成分、组织、性能关联更为复杂，传统方法难以实现精准映射。机器学习可有效处理增材制造合金的工艺、性能非线性关系，但缺少面向成分逆向设计的专用算法。增材制造高熵合金需匹配特定制备工艺，成分、工艺、性能之间的耦合机制仍不清晰。当前模型多聚焦单一性能正向预测，逆向设计相关研究不足，普遍存在特征融合不充分、特征选择不稳定、小样本下预测偏差大等问题，难以满足定制化设计需求。

技术实现思路

1、针对传统方法难以满足多组分合金体系高精度预测和逆向设计的问题，本发明提供了基于双预测模型与ppo算法融合的多组分合金设计方法。

2、为了达到上述目的，本发明采用了下列技术方案：

3、基于双预测模型与ppo算法融合的多组分合金设计方法，所述方法包括以下步骤：

4、步骤1：获取经过规范化整理的高熵合金、低活化钢以及ti-ni-cu-hf-zr五元合金的公开实验数据集，将数据集中多组分合金的成分、工艺参数与性能属性关联数据作为原始输入特征，通过数据可视化完成数据分布与特征关联的初步探索；随后采用统计检验与距离检测方法进行异常值检测，剔除异常样本；在此基础上开展特征工程，通过特征筛选、变换与交互构建高区分度特征集；最后结合聚类与降维方法实现特征空间的压缩，最终形成样本数为、特征维度为的标准化可训练数据集；

5、所述步骤1的具体操作为：

6、以原始输入特征为输入，依次执行数据可视化、异常值检测、特征工程、聚类与降维四个步骤，最终输出标准化可训练数据集；

7、数据可视化：采用直方图结合核密度曲线展示特征分布状态，自主调整绘图相关参数；同时完成目标变量分布统计与配方分布分析；

8、异常值检测：利用pca降维将原始数据映射至二维空间，通过散点图区分正常样本与异常样本，按照异常样本占比执行分级处理，异常占比低于5%直接剔除，占比处于5%至15%区间核查数据录入问题并采用稳健方法修正，占比高于15%则回溯数据采集流程排查误差来源；

9、特征工程：在缺失值处理上，设定缺失率超50%的特征直接删除，对未删除特征的缺失值采用均值、中位数、众数、自定义常数、knn填充以及extratrees模型填充方式进行补全，同时通过热力图完成缺失分布统计，数据统一采用standardscaler标准化与minmaxscaler归一化两种方式完成量纲统一；

10、聚类与降维：运用pca实现数据方差保留降维，借助tsne完成非线性可视化降维，搭配k-means聚类算法挖掘数据内在样本结构，自主设置聚类数量与迭代次数；

11、上述四个步骤结束后整合数据，最终形成样本数为、特征维度为的标准化可训练数据集。

12、步骤2：构建一个融合lightgbm模型和extratrees模型的双层集成回归模型，所述lightgbm模型以标准化可训练数据集为输入，多棵决策树的加权求和输出初步性能预测结果，extratrees模型基于lightgbm模型的初步性能预测结果，采用k近邻算法计算预测置信度并提取残差统计特征，经特征维度校准后输入所述extratrees模型，输出维度为的残差预测值，以此对初步性能预测结果进行系统性校正，最终融合预测输出校准后的性能预测结果；随后以双层集成回归模型与标准化可训练数据集为基础，构建随机采样和交互环境，引入ppo合金设计模块，ppo合金设计模块中的策略网络与价值网络分别通过两层linear (64)+relu层实现状态特征的深层提取，策略网络输出经tanh激活函数归一化至区间；动作解码后，结合历史样本距离计算预测不确定性，通过奖励函数评估优化方向并更新环境状态，经多轮迭代与经验回放，最终输出推荐合金配方与最优性能值。

13、所述步骤2中lightgbm模型以标准化可训练数据集为输入，多棵决策树的加权求和输出初步性能预测结果的具体操作为：

14、初始化lightgbm模型及超参数，基于标准化可训练数据集完成训练流程，lightgbm模型训练结束后进入预测推理阶段，首先对lightgbm模型的训练状态、结构完整性及参数有效性进行校验，确认状态正常无误后，调用模型预测函数对目标样本进行推理并输出预测值；在预测推理阶段，设定决策树的棵树为棵，对每一棵决策树输出的独立预测结果进行标准化加权求和运算，最终通过集成决策输出lightgbm模型的初步性能预测结果；

15、lightgbm模型性能评估选用r²决定系数、rmse均方根误差、mae平均绝对误差、mape平均绝对百分比误差四项指标，量化lightgbm模型预测精度。

16、所述步骤2中extratrees模型基于lightgbm模型的初步性能预测结果，采用k近邻算法计算预测置信度并提取残差统计特征，经特征维度校准后输入所述extratrees模型，输出维度为的残差预测值，以此对初步性能预测结果进行系统性校正，最终融合预测输出校准后的性能预测结果的具体操作为：

17、extratrees模型首先开展基础预测与残差构建，通过k折交叉验证得到lightgbm模型折外预测值，计算真实值与该预测值的样本残差，作为校准extratrees模型的学习目标；其次完成样本预测置信度计算，根据k近邻算法求解每个样本到邻域样本的平均距离，对距离做归一化处理后转化为置信度指标，生成维度为的样本置信度以描述单样本局部预测可靠性；随后完成校准特征融合，在特征维度上拼接原始输入特征、lightgbm模型的性能预测结果、样本置信度以及残差均值和标准差组成的全局统计特征，构建维度为的校准特征矩阵；最后进行残差拟合与预测结果融合，将整合完毕的校准特征输入给定参数配置的extratrees模型完成训练，由extratrees模型拟合基础模型的偏差规律并输出残差校正数值；将lightgbm基础预测值与extratrees输出的残差校正数值相加，得到完成偏差校正后的最终融合预测输出校准后的性能预测结果；

18、extratrees模型性能评估选用r²决定系数、rmse均方根误差、mae平均绝对误差、mape平均绝对百分比误差四项指标，量化extratrees模型优化提升效果。

19、所述步骤2中随后以双层集成回归模型与标准化可训练数据集为基础，构建随机采样和交互环境，引入ppo合金设计模块，ppo合金设计模块中的策略网络与价值网络分别通过两层linear(64)+relu层实现状态特征的深层提取，策略网络输出经tanh激活函数归一化至区间；动作解码后，结合历史样本距离计算预测不确定性，通过奖励函数评估优化方向并更新环境状态，经多轮迭代与经验回放，最终输出推荐合金配方与最优性能值的具体操作为：

20、首先执行加载数据和双层集成回归模型，完成数据与模型的初始化部署后，开展初始化随机采样和环境，搭建优化所需的基础环境并完成初始采样，随后进入核心交互环节，ppo合金设计模块中的策略网络输出归一化动作向量，经反归一化解码为实际的设计变量组合；通过双层集成回归模型校准后的性能预测结果，同时基于当前采样点到历史采样点的最小距离计算稀疏度探索奖励与性能预测奖励；将性能预测奖励与稀疏度探索奖励相结合计算总奖励，随后更新环境状态将总奖励值存入轨迹缓存，并构造包含最近样本、最优样本、当前性能与探索进度的下一状态观测，形成完整的迭代交互循环，通过ppo算法优化参数搜索策略；

21、整个优化过程采用策略网络和价值网络协同运行，均通过对应的网络输入层开展；其中策略网络输入层接收观测状态信号，输入后依次经过2个linear(64)+relu激活函数完成特征提取与非线性转换，再通过linear+激活tanh进行输出调整，最后经过动作归一化处理，将动作向量归一化至区间，得到用于后续映射的归一化动作；与此同时，ppo合金设计模块中的价值网络输入层同步接收观测状态信号，经过2个linear(64)+relu激活函数完成特征处理，再通过linear层输出1维状态价值，量化当前状态的价值；

22、最后，将策略网络输出的动作归一化结果和价值网络输出的1维状态价值共同投入计算奖励并存储经验环节，结合前期计算的总奖励值完成经验数据的存储与更新；通过多轮迭代优化，最终输出推荐配方和最优值，完成合金成分与工艺参数的优化流程。

23、步骤2中所述的状态是策略网络用于决策的全部观测信息，由三部分拼接构成，维度为，前维为最近一次采样的归一化合金配方参数，中间维为历史迭代中发现的最优归一化配方参数，最后1维为优化探索进度，公式如下：；

24、式中，为最近采样点，为历史最优点，为优化进度；

25、状态空间约束的公式如下：；

26、式中，为观测状态空间，表示连续数值空间，取值区间为，整体维度设置为，为32位浮点型数据类型；

27、步骤2中所述的动作是策略网络直接输出的候选合金配方参数，为维连续向量，代表参与优化的元素种类与工艺参数总数，对应一组待搜索的合金成分向量，取值范围归一化至，用于表示合金成分与工艺参数的搜索方向，公式如下：；

28、式中，表示优化动作空间，对应一组待搜索的合金成分向量；为取值的上下界；为32位浮点型数据类型；通过线性变换将动作向量映射至真实参数空间，公式如下：；

29、式中，为映射后得到的真实合金成分与工艺参数向量，为策略网络输出的归一化动作向量，、为各设计变量的实际取值参数的上下界；函数用于将映射后的参数值裁剪至区间内，避免因计算误差导致参数超出实际约束范围；

30、步骤2中所述的奖励为多分量融合型奖励函数，总奖励由性能预测奖励与空间稀疏度探索奖励线性叠加得到，公式如下：；

31、式中，为单步迭代总奖励值，为性能预测奖励，为空间稀疏度探索奖励；

32、采用当前采样点到历史采样点的最小欧式距离计算稀疏度探索奖励结合设计空间整体跨度定义预测不确定度，公式如下：；

33、式中，为性能预测不确定度，为当前采样点到历史采样点间的最小欧式距离，为设计参数空间整体取值跨度；

34、基于该不确定度构造的空间稀疏度探索奖励的公式如下：；

35、式中，系数0.1为探索权重，用于引导算法向未采样区域搜索；

36、针对最小化优化目标，性能预测奖励构造形式公式如下：；

37、式中，为双层集成回归模型输出的性能预测均值，负号用于适配最小化优化逻辑。

38、步骤2所述策略网络在更新阶段采用ppo强化学习方法裁剪目标函数，裁剪目标函数公式如下：；

39、其中，表示当前策略网络参数，表示对一个小批量数据的经验平均；表示策略概率比率，表示优势函数的估计；为裁剪操作，将概率比限制在区间内；是超参数，常见取值为0.2。

40、与现有技术相比本发明具有以下优点：

41、本发明成功构建了madidppo模型，实现了高精度性能预测与高性能合金设计，完成了数据清洗、特征筛选与标准化预处理等全流程数据处理工作。在建模层面融合了轻量级梯度提升机（light gradient boosting machine，lightgbm）和极端随机树（extratrees，extra-trees regressor），用它们搭建了一个双层集成回归模型，来实现高精度的性能预测。同时，合金设计环节引入了近端策略优化（proximal policy optimization，ppo）的强化学习方法，配合回归过程的模型，对整个成分空间做全局寻优。

42、实验结果表明，本发明构建的madidppo模型在三类数据集上均表现出色。在高熵合金硬度预测任务中，模型的r²达到0.917，相较于xgboost、catboost、kneighbors分别提高了10.35%、6.26%、2.92%。在低活化钢的性能预测中，模型的r²为0.754，分别提升了4.72%、2.03%和112.99%。在五元合金焓值预测任务中，模型的r²为0.825，相较于xgboost和kneighbors提升了3.38%、1.23%，但略低于catboost的0.848。此外，模型在rmse、mae等多数误差指标上明显优于对比模型，在不同任务中实现了不同程度的降低，体现了良好的预测精度与泛化能力。