一种面向多模态生成节点工作流的分层奖励训练系统的制作方法

本发明涉及多模态生成，更具体地说，它涉及一种面向多模态生成节点工作流的分层奖励训练系统。

背景技术：

1、在多模态生成平台中，业务通常由工作流控制服务把文本处理、图像生成、音频生成、视频生成和格式转换等节点串接执行。节点输入文件和节点输出文件通常保存在对象存储设备中，节点调用由gpu服务承载，执行日志、显存记录、文件读写记录和网络传输记录由监控组件或调度组件持续写入。

2、工程实践中，工作流控制服务更关注节点依赖顺序、任务状态和最终输出是否可用。训练奖励模型时，常见做法是将节点级评价、流程级评价或人工偏好样本写入训练数据，再按调度顺序或最终输出结果为中间节点分配奖励。该做法便于实现，但对多模态生成节点之间的gpu占用、文件读写和网络传输变化反映不足。

3、当工作流从文本处理切换到图像生成，或者从图像生成切换到视频生成时，节点之间的运行负载、显存使用和数据搬运量会发生变化。若奖励数据仍按调度顺序平均分配，资源变化较大的节点与资源变化较平稳的节点可能落入同一奖励分配过程，导致中间节点得分与服务端实际执行过程之间的对应性下降。

4、此外，多模态生成节点通常分布在不同gpu服务或容器实例上，节点输出还会经过对象存储设备和网络交换设备传递给后继节点。仅使用最终输出评分训练奖励模型时，训练数据难以区分节点内容质量、文件传递过程和设备负载变化对后续输出的影响，模型在跨模态节点附近的评分容易出现波动。

技术实现思路

1、本发明提供一种面向多模态生成节点工作流的分层奖励训练系统，解决了背景技术中提出的技术问题。

2、为了实现上述的发明目的，本发明提供如下的技术方案。

3、一种面向多模态生成节点工作流的分层奖励训练系统，包括工作流执行单元、运行数据处理单元、奖励数据生成单元和模型训练单元；

4、所述工作流执行单元用于按照有向工作流调度多个多模态生成节点并形成节点执行记录；

5、所述运行数据处理单元用于从所述节点执行记录读取表示计算持续时间、设备存储压力和数据搬运量的节点运行资源数据，在每一实际执行分支中按节点完成顺序对相邻节点的节点运行资源数据进行相对变化换算，形成三项变化组合，将当前三项变化组合与后一三项变化组合进行方向一致性比较，得到用于表征节点前后资源变化方向改变程度的资源拐弯程度，并根据实际执行分支的起点、实际执行分支的终点以及资源拐弯程度的相邻局部最大位置形成实际执行分段；

6、所述奖励数据生成单元用于通过节点评价模型取得节点得分，通过整体评价模型取得整条流程得分，基于节点得分和资源拐弯程度生成实际执行分段得分，并将节点得分、实际执行分段得分和整条流程得分组装为分层奖励训练记录；

7、所述模型训练单元用于基于所述分层奖励训练记录训练分层奖励模型，使所述分层奖励模型输出模型预测节点得分、模型预测分段得分和模型预测整条流程得分。

8、与现有技术相比，本发明具有如下实质性特点和显著进步：

9、本发明在工作流控制服务器、训练数据服务器、gpu训练服务器、对象存储设备、模型仓库服务器和网络交换设备配合运行的环境中，利用节点执行记录取得节点运行资源数据，并按照实际执行分支形成资源拐弯程度和实际执行分段，使节点得分、实际执行分段得分和整条流程得分能够对应到多模态生成节点的执行过程。与仅按照调度顺序或最终结果回传奖励的做法相比，该系统有助于减少跨模态节点得分被相邻平稳节点摊薄的情况，提高分层奖励训练记录与gpu推理、文件读写和网络传输过程之间的对应性，并使训练后的分层奖励模型可用于候选输出排序、后继节点文件选择和模型版本回退。

1.一种面向多模态生成节点工作流的分层奖励训练系统，包括工作流执行单元、运行数据处理单元、奖励数据生成单元和模型训练单元；其特征在于：

2.根据权利要求1所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述节点运行资源数据包括节点运行秒数、节点最高显存和节点传输字节数，所述节点运行秒数用于表示计算持续时间，所述节点最高显存用于表示设备存储压力，所述节点传输字节数用于表示数据搬运量。

3.根据权利要求1所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述工作流执行单元部署于工作流控制服务器，所述运行数据处理单元和所述奖励数据生成单元部署于训练数据服务器，所述模型训练单元部署于gpu训练服务器；所述工作流控制服务器、所述训练数据服务器、所述gpu训练服务器和多个多模态生成节点通过网络交换设备通信连接；所述系统还包括对象存储设备和模型仓库服务器，所述对象存储设备用于保存节点输入文件和节点输出文件，所述模型仓库服务器用于保存分层奖励模型。

4.根据权利要求1所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述奖励数据生成单元用于导入历史多模态任务样本，所述历史多模态任务样本包括用户输入文本、参考图像、参考音频和参考视频中的至少一种、期望输出模态、已经执行过的工作流配置以及相应的节点输出记录，并在完成样本格式检查和媒体属性检查后筛选可用样本，生成供所述工作流执行单元和所述奖励数据生成单元调用的训练索引。

5.根据权利要求1所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述工作流执行单元用于解析有向工作流配置，检查前一多模态生成节点的输出数据类型与后一多模态生成节点的输入数据类型是否一致，并对通过检查的有向工作流配置进行拓扑排序，以形成节点执行队列，其中所述拓扑排序用于执行调度而不用于实际执行分段得分生成。

6.根据权利要求3所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述工作流执行单元用于向各多模态生成节点发送样本输入；各多模态生成节点用于从所述对象存储设备读取节点输入文件，调用已经部署的生成模型完成推理，并将节点输出文件写回所述对象存储设备并写入节点执行记录。

7.根据权利要求1所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述运行数据处理单元用于在计算资源拐弯程度时仅比较相邻节点的相对变化，不使用针对节点运行秒数、节点最高显存或节点传输字节数预先设置的固定资源阈值；所述运行数据处理单元还用于对每条根节点到叶节点的实际执行分支分别确定实际执行分段，并基于节点执行记录处理含有并行分支的工作流。

8.根据权利要求1所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述奖励数据生成单元用于根据多模态生成节点的输出模态调用节点评价模型，取得节点合格倾向值和节点不合格倾向值，并根据节点合格倾向值和节点不合格倾向值形成节点得分；所述奖励数据生成单元还用于根据最终输出文件、原始多模态输入和目标输出调用整体评价模型，取得整体合格倾向值和整体不合格倾向值，并根据整体合格倾向值和整体不合格倾向值形成整条流程得分。

9.根据权利要求1所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述模型训练单元用于将文本、图像、音频和视频输入送入模态编码器，并将节点编号、前驱关系、后继关系、节点所在实际执行分段以及资源拐弯程度编码为节点上下文，使所述分层奖励模型分别通过节点得分输出端、实际执行分段得分输出端和整条流程得分输出端生成对应的模型预测节点得分、模型预测分段得分和模型预测整条流程得分。

10.根据权利要求3所述的一种面向多模态生成节点工作流的分层奖励训练系统，其特征在于，所述模型仓库服务器用于保存分层奖励模型的验证误差、重复评分差值、推理时延、模型验证显存占用和模型文件校验值，并基于验证误差、重复评分差值、推理时延、模型验证显存占用和模型文件校验值选择候选版本的分层奖励模型；当候选版本的分层奖励模型出现模型文件损坏、显存不足或推理中断时，保留上一稳定版本的分层奖励模型，并将通过验证的分层奖励模型提供给所述工作流执行单元。