基于动态组装的多模态算子任务编排调度运行方法及系统与流程

摘要: 本发明涉及计算机,尤其涉及基于动态组装的多模态算子任务编排调度运行方法及系统。背景技术:1、在数据处理与计算任务调度领域,算子任务的执行往往依赖于对多种外部资源...
基于动态组装的多模态算子任务编排调度运行方法及系统与流程

本发明涉及计算机,尤其涉及基于动态组装的多模态算子任务编排调度运行方法及系统。

背景技术:

1、在数据处理与计算任务调度领域,算子任务的执行往往依赖于对多种外部资源的动态访问,包括分布式存储系统、计算模型服务以及异构运行时环境。现有常规做法通常采用静态配置文件或环境变量机制来管理此类任务:运维人员预先在配置文件中固定数据存储路径、访问凭证字符串、模型连接参数等关键信息,并通过脚本或调度系统直接加载这些配置以启动执行进程。对于多租户场景,常见方案是为每个租户单独维护一套配置文件模板,执行时根据租户标识替换固定占位符。跨运行时环境的支持则依赖于在调度层手动适配不同容器或虚拟机下的路径规则与命令格式。

2、常规做法中配置信息与运行时环境高度耦合,导致任务对存储拓扑、网络地址变更或租户切换的适应性极差。当数据迁移至新存储集群时,所有关联任务的配置文件必须逐一更新,否则执行失败;多租户下的逻辑路径到物理路径的映射也依赖人工维护的映射表,缺乏自动化解析能力,增加了运维复杂性并容易引入路径错误。

3、此外,敏感凭证信息(如存储访问密钥、数据库密码)在多个配置文件中多次出现且通常以明文存储或简单编码,缺乏统一的加密保护机制。调度系统在启动算子进程时,即便通过环境变量传递这些凭证,也会因进程信息窥探或日志泄露导致安全风险。此外,当算子需要同时引用多种存储类型(如对象存储与文件系统)时,现有方法难以将不同来源的凭证与端点地址动态整合至同一执行上下文中,常需在每个算子内独立实现凭证获取逻辑,造成代码冗余与故障点分散。这些不足限制了算子任务在复杂数据管道中的弹性调度与安全运行。

技术实现思路

1、本发明实施例提供基于动态组装的多模态算子任务编排调度运行方法及系统,能够解决现有技术中的问题。

2、本发明实施例的第一方面,提供基于动态组装的多模态算子任务编排调度运行方法,包括:

3、根据待执行算子任务的任务标识获取算子执行脚本的脚本路径及目标运行时环境类型,并获取所述算子任务关联的租户标识及运行环境标识,基于所述租户标识及运行环境标识,将所述算子任务引用的逻辑数据目录解析为物理存储路径,并获取所述物理存储路径对应的存储访问凭证及存储端点地址;

4、将所述存储访问凭证及存储端点地址、所述算子任务关联的计算模型对应的模型连接参数、通用调度参数及所述算子任务的自定义算子参数合并为统一配置对象,对所述统一配置对象中各层级占位符变量执行遍历解析与实时替换,生成可执行配置对象;

5、创建与所述算子任务绑定的任务实例工作目录,将所述可执行配置对象写入所述任务实例工作目录下的加密配置文件中;

6、根据所述目标运行时环境类型与所述脚本路径构建命令行指令并通过所述命令行指令启动算子执行进程,所述算子执行进程通过解析所述加密配置文件获取运行时上下文信息并完成算子业务逻辑执行。

7、将所述算子任务引用的逻辑数据目录解析为物理存储路径,并获取所述物理存储路径对应的存储访问凭证及存储端点地址,包括:

8、获取所述逻辑数据目录的完整目录标识路径,对所述完整目录标识路径执行基于目录分隔符的层级拆分,获得按目录层级由浅至深排列的目录层级标识序列,所述目录层级标识序列至少包括租户命名空间标识层级、运行环境分类标识层级及数据主题分类标识层级;

9、以所述租户标识作为索引键值检索存储命名空间映射表,获取所述租户命名空间标识层级对应的租户级物理路径前缀,并以所述运行环境标识作为索引键值检索环境路由映射表,获取所述运行环境分类标识层级对应的环境级物理路径前缀;

10、将所述租户级物理路径前缀、所述环境级物理路径前缀及所述数据主题分类标识层级对应的叶节点标识,按目录层级由浅至深的顺序逐级拼接,并在各级之间插入目录分隔符,生成所述物理存储路径;

11、基于所述物理存储路径的前缀部分确定目标存储服务实例的实例标识,通过所述目标存储服务实例的租户级访问控制接口,获取与所述租户标识绑定的临时存储访问凭证及存储端点地址。

12、将所述存储访问凭证及存储端点地址、所述算子任务关联的计算模型对应的模型连接参数、通用调度参数及所述算子任务的自定义算子参数合并为统一配置对象,对所述统一配置对象中各层级占位符变量执行遍历解析与实时替换,生成可执行配置对象,包括:

13、创建统一配置容器,按照预设的参数来源优先级规则依次将所述存储访问凭证及存储端点地址、所述算子任务关联的计算模型对应的模型连接参数、通用调度参数及所述算子任务的自定义算子参数填充至所述统一配置容器的命名空间区域,合并生成所述统一配置对象;

14、从所述统一配置对象的顶层字段开始逐字段扫描,对每个字段的字段值执行占位符标识符前缀匹配,识别所述字段值中是否包含符合预设占位符语法的待替换占位符变量;

15、对识别到的待替换占位符变量,以所述待替换占位符变量的变量名为索引键值,查询预置的全局变量映射表,获取所述变量名对应的当前调度实例下的实际变量值,并以所述实际变量值替换所述待替换占位符变量在所述字段值中的原始文本片段;

16、在所述顶层字段的字段值替换完成后,检测是否存在下级嵌套字段,若存在,则对所述下级嵌套字段递归执行所述逐字段扫描与占位符替换操作,完成全部层级的占位符遍历替换后,输出所述可执行配置对象。

17、对所述下级嵌套字段递归执行所述逐字段扫描与占位符替换操作,包括:

18、在对当前层级字段值中的占位符变量完成替换后,对替换结果字段值执行二次占位符标识符前缀匹配检测,判断所述替换结果字段值中是否包含由替换操作引入的次级占位符变量;

19、若检测到所述次级占位符变量,则以所述次级占位符变量作为新的待替换占位符变量,继续以上一轮替换结果字段值为当前替换上下文,递归执行所述全局变量映射表查询与实值替换,直至所述替换结果字段值中不再包含任意符合所述预设占位符语法的占位符变量;

20、在所述递归替换过程中,维护当前字段值的原始占位符替换链记录,每执行一次递归替换即向所述替换链记录追加当前占位符变量的变量名,在执行下一轮替换前检测所述替换链记录中是否出现同一变量名的重复出现,若检测到重复出现则判定存在循环引用依赖,终止该字段的递归替换处理,生成循环引用异常标识并将所述循环引用异常标识写入所述可执行配置对象的异常日志字段中,所述异常日志字段在所述算子执行进程读取所述加密配置文件时被解析并触发异常告警。

21、创建与所述算子任务绑定的任务实例工作目录,将所述可执行配置对象写入所述任务实例工作目录下的加密配置文件中,包括:

22、将所述算子任务的任务标识与当前调度实例的实例时间戳组合,生成任务实例唯一标识字符串,在预配置的任务执行基路径下创建以所述任务实例唯一标识字符串命名的独立任务实例工作目录;

23、对所述可执行配置对象执行结构化数据序列化操作,将所述可执行配置对象中的全部参数按照所属命名空间区域的结构层级关系,转换为预设交换格式的配置数据文本串;

24、从密钥管理服务中获取与所述租户标识绑定并具有预设有效期的对称加密密钥,利用所述对称加密密钥对所述配置数据文本串执行加密运算,生成不可读的加密配置数据字节序列;

25、将所述加密配置数据字节序列以独占写模式写入所述任务实例工作目录下预定义文件名的加密配置文件中,在写入时获取操作系统文件句柄并设置文件访问权限为仅当前执行用户可读,写入完成后关闭文件句柄并显式释放所述对称加密密钥在内存中的副本,以防止密钥在进程运行期间发生内存残留泄露。

26、根据所述目标运行时环境类型与所述脚本路径构建命令行指令并通过所述命令行指令启动算子执行进程,包括:

27、在预置的运行时环境模板库中,以所述目标运行时环境类型的类型标识为索引键值,检索获取对应的命令行构建模板,所述命令行构建模板包含该运行时环境类型对应的解释器路径占位符、脚本入口参数占位符及配置文件参数占位符;

28、将所述脚本路径填充至所述命令行构建模板的脚本入口参数占位符位置,并将所述加密配置文件的文件绝对路径作为参数值填充至所述配置文件参数占位符位置,生成完整命令行字符串作为所述命令行指令;

29、解析所述命令行指令中的主体程序路径,在操作系统文件系统中验证所述主体程序路径对应的可执行文件的存在性及可执行权限状态,在验证通过后创建操作系统子进程并将所述命令行指令及所述任务实例工作目录的路径作为所述操作系统子进程的启动参数传入,同时将所述操作系统子进程的标准输出流与标准错误流分别重定向至所述任务实例工作目录下的标准输出日志文件与标准错误日志文件中,启动所述算子执行进程。

30、所述算子执行进程通过解析所述加密配置文件获取运行时上下文信息并完成算子业务逻辑执行,包括:

31、在算子执行进程启动后,所述算子执行进程以所述命令行构建模板中配置文件参数占位符所指向的文件绝对路径读取所述加密配置文件,获得所述加密配置数据字节序列;

32、从所述密钥管理服务中获取与所述租户标识绑定的解密密钥,利用所述解密密钥对所述加密配置数据字节序列执行解密运算,还原获得所述配置数据文本串,对所述配置数据文本串按照所述预设交换格式执行反序列化解析,重建所述可执行配置对象中的全部参数数据;

33、从重建的所述可执行配置对象中,提取所述存储访问凭证及存储端点地址、所述模型连接参数、所述通用调度参数及所述自定义算子参数,将提取的全部参数按照参数来源的分类层级关系组装为运行时上下文对象;

34、基于所述运行时上下文对象初始化算子执行环境,建立与所述目标存储服务之间的认证连接并加载算子执行所依赖的计算模型会话,通过已初始化的所述算子执行环境完成所述算子业务逻辑的执行操作。

35、本发明实施例的第二方面,提供一种基于动态组装的多模态算子任务编排调度运行系统,包括:

36、配置获取单元,用于根据待执行算子任务的任务标识获取算子执行脚本的脚本路径及目标运行时环境类型,并获取所述算子任务关联的租户标识及运行环境标识,基于所述租户标识及运行环境标识,将所述算子任务引用的逻辑数据目录解析为物理存储路径,并获取所述物理存储路径对应的存储访问凭证及存储端点地址;

37、配置处理单元,用于将所述存储访问凭证及存储端点地址、所述算子任务关联的计算模型对应的模型连接参数、通用调度参数及所述算子任务的自定义算子参数合并为统一配置对象,对所述统一配置对象中各层级占位符变量执行遍历解析与实时替换,生成可执行配置对象;

38、目录创建单元,用于创建与所述算子任务绑定的任务实例工作目录,将所述可执行配置对象写入所述任务实例工作目录下的加密配置文件中;

39、进程执行单元,用于根据所述目标运行时环境类型与所述脚本路径构建命令行指令并通过所述命令行指令启动算子执行进程,所述算子执行进程通过解析所述加密配置文件获取运行时上下文信息并完成算子业务逻辑执行。

40、本发明实施例的第三方面,提供一种电子设备,包括:

41、处理器;

42、用于存储处理器可执行指令的存储器;

43、其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。

44、本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。

45、基于动态组装的多模态算子任务编排调度运行方法,显著提升了任务执行的灵活性与安全性。通过逻辑数据目录到物理存储路径的动态解析,结合存储访问凭证与存储端点地址的自动获取,彻底消除了硬编码存储信息的风险,实现多租户环境下存储资源的隔离与安全访问。统一配置对象中的占位符变量在运行时实时替换,使算子任务能够自适应不同部署环境和参数需求,无需人工干预即可完成配置适配。

46、加密配置文件的生成与写入机制,为运行时敏感信息提供了高等级防护。算子执行进程通过解析加密配置文件获取上下文,有效防止配置泄露导致的权限滥用或数据污染。任务实例工作目录的独立创建,配合加密存储,确保了多个并发任务之间的数据隔离,避免了跨任务干扰,特别适用于云原生或容器化部署场景中的多租户安全要求。

47、根据目标运行时环境类型与脚本路径直接构建命令行指令,省去了传统调度中繁琐的环境检测与参数传递步骤。算子执行进程自动解析加密配置文件,完整获取存储凭证、模型连接参数及自定义参数,无需外部动态注入,降低了因参数传递错误或遗漏导致的执行失败概率。整个流程实现了算子任务的零接触部署与执行。