基于大小模型协作与全局缓存优化的电铲维修视频生成系统及方法与流程

摘要: 本发明属于工程机械维修与视频生成,具体涉及基于大小模型协作与全局缓存优化的电铲维修视频生成系统及基于大小模型协作与全局缓存优化的电铲维修视频生成方法。背景技术:...
基于大小模型协作与全局缓存优化的电铲维修视频生成系统及方法与流程

本发明属于工程机械维修与视频生成,具体涉及基于大小模型协作与全局缓存优化的电铲维修视频生成系统及基于大小模型协作与全局缓存优化的电铲维修视频生成方法。

背景技术:

1、电铲作为露天矿山核心生产设备,其回转支承装置维修流程复杂,涉及中央枢轴安装、齿圈紧固等关键工艺,对操作规范性与细节精度要求极高。现有维修培训与指导依赖的电铲维修视频主要通过现场实拍获取,存在以下问题:

2、1、制作成本高:实拍需占用设备停机时间,协调专业维修团队与场地,且无法灵活展示复杂内部结构拆装过程;

3、2、细节还原难:维修中的关键工艺(如 0.254mm 间隙调整、1978.5n·m 螺栓紧固力矩)难以通过实拍清晰呈现,易导致培训者理解偏差;

4、3、生成效率低:传统文生视频技术在处理工业级专业场景时,存在时空一致性差(如部件拆装轨迹混乱)、专业细节失真(如液压系统结构错误)等问题,且推理耗时久,无法快速适配不同维修场景需求;

5、4、现有加速技术缺陷:基于缓存的视频生成加速方法(如 teacache、pab)仅关注局部误差优化,易导致全局内容退化;单纯大小模型协作策略缺乏对专业场景的针对性适配,难以平衡维修视频的专业性与生成效率。

6、此外,现有主流的视频生成系统多为通用型设计,未针对电铲维修场景进行定制化开发,存在以下突出缺陷:缺乏维修专业知识集成,生成视频的部件参数、工艺规范还原度低,无法满足培训需求;模型协作机制松散,未结合维修场景的噪声特性优化切换逻辑,导致语义结构与细节呈现失衡;缓存策略缺乏针对性,未考虑维修步骤的语义关联性与误差敏感性,推理效率与质量难以兼顾;未提供全流程一体化管理功能,开发、调试、部署环节割裂,适配工业场景的灵活性不足。

技术实现思路

1、为解决上述现有技术中存在的部分或全部技术问题,本发明提供了了一种基于大小模型协作与全局缓存优化的电铲维修视频生成系统和方法。

2、本发明的第一方面提供了一种基于大小模型协作与全局缓存优化的电铲维修视频生成系统,其采用分布式架构设计,包括硬件层、软件层以及应用层,各层级协同实现电铲维修视频生成的全流程管理,所述电铲维修视频生成系统包括:

3、任务配置与知识加载模块,用于根据用户选择获取任务配置,从结构化电铲维修知识库中获取结构化电铲维修数据并进行知识预处理,获取标准化提示词,传输至大小模型中;

4、模型协作生成模块,用于根据电铲维修专用大模型对标准化提示词进行高噪声处理,生成维修流程语义结构,并自适应检测模型切换条件,当满足模型切换条件时,切换电铲维修专用小模型进行低噪声处理,生成初步视频帧序列;

5、全局缓存优化模块,用于对初步视频帧序列进行分析,获取最优缓存路径,对模型协作处理进行精度压缩与加速;

6、质量校验与输出模块,用于对初步视频帧序列进行质量校验,校验合格后编码输出并存储。

7、进一步地,硬件层包括:

8、计算节点单元,用于在中心计算节点部署算力服务器,运行电铲维修专用大小模型协作计算任务;

9、在边缘计算节点部署算力设备,运行本地推理与缓存调度;

10、存储节点单元,用于采用分布式存储集群,存储电铲维修知识库、电铲维修专用大小模型的模型权重文件、生成的视频数据以及运行日志;

11、接口设备单元,用于根据预设图像采集设备,获取电铲维修现场场景输入数据以及视频预览与播放数据;

12、根据远程通信设备对数据进行输入输出处理以及远程交互处理。

13、进一步地,应用层包括:

14、场景配置单元,用于提供图形化操作界面,用户通过选择维修场景及配置生成参数,获取视频生成任务;

15、视频预览与编辑单元,用于在视频生成过程中进行视频实时预览,并提供简易编辑功能,其中,简易编辑功能包括关键步骤裁剪以及参数标准调整;

16、数据管理单元,用于电铲维修视频的分类存储、检索查询、导出分享、数据备份以及数据恢复;

17、运行管理单元,用于用户权限管理、角色配置、日志查询以及运行升级。

18、进一步地,任务配置与知识加载模块包括:

19、知识库单元,用于构建结构化电铲维修知识库,对电铲维修知识进行增删改查以及版本管理,其中,结构化电铲维修知识库包括:部件参数库、工艺规范库以及工具备件库;

20、知识预处理单元,用于集成自然语言处理算法以及特征提取模型,对结构化电铲维修知识库中的结构化电铲维修数据进行知识预处理,转化为电铲维修专用大小模型可识别的标准化提示词,并自动补充工艺逻辑关联信息与安全规范说明;

21、知识更新单元,用于根据预设知识更新方式对结构化电铲维修知识库进行增量更新,并通过增量训练机制同步优化特征提取模型以及电铲维修专用大小模型的模型适配性,其中,预设知识更新方式包括:现场采集数据方式以及维修记录导入方式;

22、任务配置单元,用于根据用户选择获取任务配置,其中,用户选择包括:维修场景选择以及配置视频生成参数选择;

23、知识加载单元,用于根据任务配置,从结构化电铲维修知识库中获取结构化电铲维修数据并进行知识预处理,获取标准化提示词,传输至电铲维修专用大小模型中。

24、进一步地,模型协作生成模块包括:

25、专用大模型单元,用于部署电铲维修专用大模型,对高噪声步骤进行优化训练,强化生成维修流程语义结构,输出电铲维修核心数据,其中,电铲维修核心数据包括:部件空间位置数据、拆装顺序数据以及工具摆放逻辑数据;

26、专用小模型单元,用于部署电铲维修专用小模型,对低噪声步骤进行细节渲染,集成维修工具特征库与参数可视化组建,优化电铲维修细节数据、其中,电铲维修细节数据包括:螺栓紧固动作数据以及力矩刻度显示数据;

27、自适应切换单元,用于内置切换判定算法,实时计算相邻时间步的去噪样本的相对距离数据,当满足模型切换条件时,自动触发模型切换,通过共享显存池进行数据无缝传输,切换电铲维修专用小模型;

28、协作生成单元,用于汇总电铲维修核心数据以及电铲维修细节数据,生成初步视频帧序列;

29、模型优化单元,用于根据维修场景反馈数据进行模型微调,动态调整语义理解权重与细节渲染精度。

30、进一步地,全局缓存优化模块包括:

31、有向无环图构建单元,用于对初步视频帧序列进行离线分析,构建维修专用有向无环图,以维修步骤为节点、步骤间语义关联性为边权重,标注核心步骤与辅助步骤的分类属性以及误差敏感度;

32、路径优化单元,用于采用字典序极小极大算法,结合固定推理预算获取最优缓存路径;

33、精度优化单元,用于集成优化版注意力技术,对电铲维修专用大小模型的模型协作处理过程进行精度压缩与加速,并配置动态溢出补偿机制,动态补偿量化误差;

34、缓存管理单元,用于实时监控缓存命中率与误差变化,动态调整缓存策略,当辅助步骤缓存误差超过误差阈值时,自动触发缓存数据更新。

35、进一步地,质量校验与输出模块包括:

36、全流程管控单元,用于对电铲维修视频生成进行全流程管控,其中,全流程管控包括:流程设计、流程编译、流程分发、流程运行以及流程监控;

37、流程设计单元,用于设计可视化配置界面,提供维修场景模板选择以及视频生成参数设置;

38、编译单元,用于自动将用户选择的配置编译转化为电铲维修专用大小模型可执行的推理任务,并进行语法检验;

39、分发单元,用于基于硬件资源负载动态分配推理任务,结合部署场景需求在中心计算节点与边缘计算节点进行分发;

40、运行单元,用于提供独立运行环境,进行多任务并行运行以及资源隔离;

41、监控单元,用于实时采集运行状态、视频生成质量,并提供异常报警与日志记录;

42、质量校验单元,用于根据全流程管控对初步视频帧序列进行质量校验,验证部件结构一致性、工艺参数准确性以及安全操作符合性;

43、输出存储单元,用于校验合格后,根据预设视频格式对初步视频帧序列进行编码输出,并存储至分布式存储集群中。

44、本发明的第二方面提供了一种基于大小模型协作与全局缓存优化的电铲维修视频生成系统,包括:

45、维修知识建模模块:存储电铲维修相关的部件参数、工艺规范、工具清单、安全规范,支持结构化提示词自动生成;

46、大小模型协作模块:含电铲维修专用大模型和小模型,配备基于噪声变化二阶导数的自适应切换单元,其中,大模型为草图模型,小模型为渲染模型;

47、全局缓存优化模块:含维修场景专用 dag 构建单元、字典序极小极大路径求解器、fp8 精度优化单元;

48、专业质量校验模块:内置维修规范校验规则库,验证视频中的部件结构、工艺参数、安全操作的准确性。

49、本发明的第三方面提供了一种基于大小模型协作与全局缓存优化的电铲维修视频生成方法,包括以下步骤:

50、步骤1、维修知识建模与提示词构建:提取电铲回转支承装置的部件参数、维修工艺、工具清单、安全规范,生成结构化提示词;

51、步骤2、大小模型协作的视频草图-渲染生成:采用专用大模型处理高噪声步骤生成语义结构,通过自适应切换机制切换至小模型优化细节;

52、步骤3、全局缓存优化的推理加速:构建维修场景专用 dag,采用字典序极小极大路径优化策略选择最优缓存路径,融合精度优化提升推理速度;

53、步骤4、专业质量校验与输出:基于维修规范校验视频的部件一致性、工艺准确性、安全符合性,输出合格维修视频。

54、进一步地,步骤2中的自适应切换机制基于相邻时间步去噪样本的相对l1距离二阶导数,满足,其中,且完成至少5步草图生成时触发切换。

55、进一步地,步骤3中的 dag以“维修步骤”为节点、“步骤间语义关联性”为边权重,优先缓存语义稳定的非核心工艺步骤,避免关键工艺步骤的缓存误差累积。

56、进一步地,结构化提示词包含电铲型号、维修场景参数、步骤规范、专业要求,适配wk-35/wk-20型电铲回转支承装置的维修需求。

57、本发明技术方案的主要优点如下:

58、本发明提供的基于大小模型协作与全局缓存优化的电铲维修视频生成系统,获取结构化电铲维修数据并进行知识预处理,获取标准化提示词,传输至大小模型中;根据电铲维修专用大模型对标准化提示词进行高噪声处理,生成维修流程语义结构,并自适应检测模型切换条件,当满足模型切换条件时,切换电铲维修专用小模型进行低噪声处理,生成初步视频帧序列;对初步视频帧序列进行分析,获取最优缓存路径,对模型协作处理进行精度压缩与加速;对初步视频帧序列进行质量校验,校验合格后编码输出并存储;本发明通过系统层面的架构设计与功能集成,有效优化了电铲维修视频生成的专业性、效率性、适配性以及稳定性。