一种智能代理远程作业的防重提交与持续编排方法及系统与流程
本发明涉及分布式计算、远程批处理作业调度、人工智能代理控制和计算机软件可靠性,尤其涉及一种在智能代理进行多轮决策、远程通信响应可能丢失且远程批处理调度器不接收客户端幂等键的条件下,对远程作业进行防重提交、身份恢复、持续监控和跨会话编排的方法及系统。
背景技术:
1、计算物理、计算化学、工程仿真、模型训练和数据处理等任务通常持续数小时至数月,并由研究方案驱动多次远程文件准备、批处理作业提交、排队监控、结果检查、参数调整和后继作业决策。基于概率模型的智能代理能够依据不断产生的结果调整工作计划,但同一状态下重新生成的动作在文字或参数表达上可能不同,因而不能把对话连续性或动作文本相同视为外部副作用的唯一身份。
2、传统lsf、slurm、pbs等远程批处理调度器通常通过命令行提交接口接收脚本和作业名,并在成功接收后分配调度器作业标识。部分传统接口不接收供客户端去重的幂等键。当调度器已接收作业而ssh连接中断、响应丢失、返回文本无法解析或客户端在取得作业标识前重启时,客户端无法仅根据调用结果判断作业是否已经进入调度器。若智能代理或一般重试框架再次提交,会产生重复作业、重复占用计算资源和互相覆盖产物的风险。
3、现有的代理治理方案能够把代理输出转为类型化动作并在执行前实施权限或边界校验,但一次动作被判定为允许,并不等于该动作在不确定响应后可安全地再次执行。现有的幂等提交接口通常要求服务器或调度器接收客户端唯一标识并自行丢弃重复请求,不能直接适用于不支持该接口的传统调度器。现有作业管理方案即使保存本地作业标识和调度器作业标识,也通常以已经成功取得调度器作业标识为前提,未解决该标识尚未返回时如何阻止非确定性智能代理重复产生提交副作用并恢复外部身份。
4、因此,需要一种不修改传统远程批处理调度器的应用层机制,在外部提交前固化动作身份,在提交响应不确定时进入不可重提状态,并利用调度器已有的作业名、活动队列和历史记录建立可恢复的身份关联,使智能代理能够在长期、多轮和跨会话的计算任务中继续决策而不重复提交同一逻辑作业。
技术实现思路
1、本发明要解决的技术问题是:在基于概率模型的智能代理驱动远程计算任务、远程批处理调度器的提交接口不接收客户端幂等键且网络响应或代理会话可能中断的情况下,如何在不修改调度器的前提下,区分尚未提交、已提交但未取得作业标识以及存在身份冲突的状态,防止同一逻辑作业被重复提交,并为后续多轮编排恢复可信的外部作业身份。
2、为解决上述技术问题,本发明在本地动作身份、调度器可见身份和调度器分配身份之间建立三域身份锚定。首先以运行标识和幂等键唯一确定逻辑提交动作,并对类型化动作规格、作业脚本和输入快照计算摘要;随后由所述运行标识和幂等键确定性派生提交令牌及调度器可见作业名;最后在取得并核验调度器作业标识后,把该作业标识绑定至前述本地动作身份和调度器可见作业名。
3、在任何外部提交调用之前,系统通过事务写入prepared作业记录,至少绑定运行标识、幂等键、动作规格摘要、提交令牌、确定性作业名、远程端点、规范化工作目录、脚本摘要、输入摘要和资源请求,并对运行标识与幂等键组合施加唯一性约束。执行器重新验证远程路径和远程脚本、输入文件摘要后,仅调用一次远程提交接口。
4、当响应可解析且根据返回的调度器作业标识查询到的作业名与确定性作业名一致时,系统绑定该调度器作业标识。连接中断、响应无法解析、返回多个标识或作业名不一致时,系统把记录转换为submission_uncertain状态;同一运行标识和幂等键的后继请求只返回既有记录或产生冲突,不再次调用提交接口。
5、对于submission_uncertain记录,系统先按确定性作业名查询活动队列,再查询历史记录,并把查询来源、匹配数量、候选作业标识、状态和观察时间形成对账证据。唯一匹配时绑定作业标识;多个匹配时保持不确定并阻断后继提交;零匹配时经过安全等待期并至少执行第二次零匹配查询,再结合异常发生于提交调用之前或之后的分类,确定未提交或继续保持不确定。
6、持久化的对账证据、非终态作业状态和下次检查时间被写入智能代理上下文。智能代理会话中断或系统重启后,新的代理实例必须先恢复prepared或submission_uncertain记录并完成对账,才可产生可能与其冲突的后继提交动作。由此在代理规划具有概率性、通信结果不确定以及调度器缺少客户端幂等接口的组合条件下,获得接近仅执行一次的远程作业提交效果,并支持多次作业提交和长期持续编排。
7、有益效果
8、与仅在调度器返回作业标识后保存记录的方案相比,本发明在外部副作用之前即持久化完整身份绑定,可在返回响应丢失时保留恢复锚点。
9、与依赖调度器接收客户端幂等键的方案相比,本发明使用调度器已有的作业名、活动队列和历史记录能力实现应用层去重和身份恢复,无需修改传统调度器。
10、与仅进行智能代理权限或动作边界校验的方案相比,本发明进一步把不确定外部副作用状态作为持久化阻断条件,避免被允许的动作因代理重规划、会话重启或网络重试而执行两次。
11、通过规格摘要、脚本摘要、输入快照摘要和提交后作业名核验,可避免把内容漂移的作业错误地绑定为同一提交;通过唯一、零和多匹配分支,可避免在身份冲突尚未消除时错误恢复。
12、通过下次检查时间、心跳租约、产物有效性和证据反馈,可在不频繁轮询的情况下长期管理多轮计算任务,并使计划更新以已核验的远程状态为依据。
1.一种智能代理远程作业的防重提交与持续编排方法,由包括处理器、持久化存储器、基于概率模型生成候选动作的智能代理、凭据隔离执行器以及远程批处理调度器的计算机系统执行,所述远程批处理调度器的提交接口接收作业脚本和作业名、返回调度器作业标识且不接收用于客户端请求去重的幂等键,其特征在于,包括:根据运行标识从所述持久化存储器读取当前工作计划、非终态远程作业和结构化证据,构造代理上下文,并由所述智能代理根据所述代理上下文生成不直接调用所述远程批处理调度器的远程作业候选动作;通过动作协议网关将所述远程作业候选动作映射为类型化动作规格,所述类型化动作规格至少包括所述运行标识、阶段标识、远程端点、规范化远程工作目录、作业脚本摘要、输入文件摘要集合、资源请求和幂等键,对所述类型化动作规格进行规范化序列化并计算规格摘要;根据所述运行标识和所述幂等键确定性派生提交令牌,并根据所述提交令牌形成调度器可见的确定性作业名;在调用所述提交接口之前,通过事务将prepared作业记录写入所述持久化存储器,所述prepared作业记录绑定所述运行标识、所述幂等键、所述规格摘要、所述提交令牌、所述确定性作业名、所述远程端点、所述规范化远程工作目录、所述作业脚本摘要、所述输入文件摘要集合和所述资源请求,并对所述运行标识与所述幂等键的组合施加唯一性约束;由所述凭据隔离执行器在确认远程规范路径位于预先登记的任务写入根内且远程作业脚本和远程输入文件的当前摘要分别与所述作业脚本摘要和所述输入文件摘要集合一致后,使用所述确定性作业名仅调用一次所述提交接口,其中远程访问凭据对所述智能代理不可用;当所述提交接口的响应含唯一调度器作业标识时,按照该调度器作业标识查询远程作业并核对查询所得作业名与所述确定性作业名,在一致时把所述调度器作业标识绑定至所述prepared作业记录;当所述提交接口发生连接异常、响应无法解析、返回多个调度器作业标识或所述作业名核对不一致时,把所述prepared作业记录转换为submission_uncertain状态,使相同运行标识和幂等键的后继请求返回既有记录而不再次调用所述提交接口;针对submission_uncertain状态的作业记录,按照所述确定性作业名依次查询所述远程批处理调度器的活动队列和历史记录,将查询来源、匹配数量、候选调度器作业标识、候选状态和观察时间持久化为对账证据,在得到唯一匹配时绑定对应调度器作业标识,在得到多个匹配时保持submission_uncertain状态,在零匹配时经过安全等待期执行至少第二轮活动队列和历史记录查询;以及在所述智能代理的会话中断或所述计算机系统重启后,先根据所述运行标识恢复所述prepared作业记录、submission_uncertain状态和所述对账证据,并在完成相应身份核验或对账之后,把远程作业状态和所述对账证据写入新的代理上下文以继续工作计划。
2.根据权利要求1所述的方法,其特征在于,所述智能代理在经确认的执行边界内修改所述工作计划,所述执行边界至少包括允许动作能力集合、远程端点标识、远程任务写入根、单作业资源上限、并发作业上限、自动重试上限和完成证据集合;所述执行边界经规范化后计算边界摘要并与所述运行标识关联保存,要求改变远程端点、远程任务写入根、资源上限、重试上限或完成证据集合的候选动作在形成新的经确认执行边界之前被阻断。
3.根据权利要求1所述的方法,其特征在于,对所述规范化远程工作目录解析路径分隔符、点路径、大小写规则和符号链接目标,并使用解析后的任务写入根判断路径从属关系;所述输入文件摘要集合中的文件描述按照任务根相对路径排序并至少包括相对路径、文件大小和内容摘要;当前摘要不一致时形成input_drift证据且不调用所述提交接口。
4.根据权利要求1所述的方法,其特征在于,所述提交令牌由固定命名空间、所述运行标识和所述幂等键的拼接值的密码学摘要截取得到,所述确定性作业名由固定前缀和所述提交令牌的至少一部分构成;相同运行标识和幂等键对应的规格摘要不一致时生成幂等冲突并拒绝覆盖所述prepared作业记录;按照调度器作业标识进行的提交后核验同时比较调度器作业标识和确定性作业名。
5.根据权利要求1所述的方法,其特征在于,对账查询先从活动队列提取并去重与所述确定性作业名匹配的调度器作业标识集合,在所述集合为空时再从历史记录提取并去重调度器作业标识集合;任一集合包含多于一个调度器作业标识时保存冲突证据且不选择其中任一个;至少两轮查询均为零匹配且异常被确定为发生在提交命令到达所述远程批处理调度器之前或所述远程批处理调度器明确拒绝提交时,把作业记录转换为reconciled_not_submitted,否则保持submission_uncertain状态。
6.根据权利要求1所述的方法,其特征在于,每个非终态远程作业保存预计耗时、首次检查间隔、排队态检查间隔、运行态检查间隔、各间隔的形成依据和下次检查时间;外部唤醒任务按照同一运行中多个非终态远程作业的最早下次检查时间触发且仅查询已到期作业;根据所述外部唤醒任务的引用、预期唤醒节奏和最近更新时间形成心跳租约,所述心跳租约过期时把对应运行标记为无人监控。
7.根据权利要求1所述的方法,其特征在于,远程作业产生的产物保存内容摘要、产生动作标识、输入文件摘要集合以及valid、suspect、invalid或superseded之一的有效性;失败动作的后继动作通过重试来源标识形成同一运行、同一阶段和同一能力内的单链并受自动重试上限约束;连接、认证、传输和submission_uncertain状态不计入科学重试次数;完成工作计划至少要求不存在prepared、submission_uncertain或其他非终态远程作业并且完成证据集合均通过。
8.一种智能代理远程作业的防重提交与持续编排系统,适配提交接口接收作业脚本和作业名、返回调度器作业标识且不接收用于客户端请求去重的幂等键的远程批处理调度器,其特征在于,包括:代理上下文构造模块,用于从持久化存储器读取工作计划、非终态远程作业和结构化证据并构造代理上下文;基于概率模型的智能代理,用于根据所述代理上下文生成不直接调用所述远程批处理调度器的候选动作;动作协议网关,用于把所述候选动作映射为包括运行标识、远程端点、规范化远程工作目录、作业脚本摘要、输入文件摘要集合、资源请求和幂等键的类型化动作规格,计算规格摘要,根据所述运行标识和所述幂等键确定性派生提交令牌及调度器可见的确定性作业名,并在远程提交之前事务写入绑定上述字段且受运行标识与幂等键组合唯一性约束的prepared作业记录;凭据隔离执行器,用于在路径、作业脚本摘要和输入文件摘要校验通过后使用所述确定性作业名仅调用一次提交接口,并在响应异常或提交后身份核验不一致时把所述prepared作业记录转换为submission_uncertain状态,其中远程访问凭据对所述智能代理不可用;不确定提交对账模块,用于按照所述确定性作业名依次查询活动队列和历史记录,形成包括查询来源、匹配数量、候选调度器作业标识、候选状态和观察时间的对账证据,并按唯一匹配、多个匹配或零匹配执行不同状态迁移;以及状态恢复与持续编排模块,用于在智能代理会话中断或系统重启后先恢复prepared作业记录、submission_uncertain状态和对账证据,在身份核验或对账后把远程作业状态和对账证据写入新的代理上下文。
9.一种电子设备,包括处理器、存储器和通信接口,其特征在于,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使所述电子设备实施权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com