基于契约驱动的GUI工作流执行方法及系统与流程
本发明涉及办公自动化,例如涉及一种基于契约驱动的gui工作流执行方法及系统。
背景技术:
1、随着数字化办公的深度普及,企业和个人用户每天面临大量重复性、跨系统的操作任务,如数据录入、报表生成、跨平台信息同步、内容采集归档等。如何将这些繁琐的人工操作自动化,是当前办公效率领域的核心需求。
2、为此,已研究多类自动化与工作流管理技术。以机器人流程自动化(rpa)为代表的技术已得到广泛应用,其基本工作原理为:开发人员预先录制或编排操作流程,由软件机器人模拟人类在图形用户界面上的点击、输入、复制、粘贴等操作,通过屏幕坐标定位、图像模板匹配或解析界面元素的文档对象模型(dom)路径来识别操作对象,并按照预设的步骤序列自动执行,从而替代人工完成重复性的界面操作任务。
3、然而,传统rpa工具对步骤正确性的判断是二值的,仅判断动作是否抛错或超时是否到达,而不评估步骤是否真正达到预期效果。由于缺乏对步骤执行效果的量化反馈,系统无法感知执行效果在多次运行中的渐进式退化过程,例如界面元素的缓慢漂移、验证识别率的逐步下降等,导致流程在面对界面细微调整、意外弹窗、动态验证等场景时极为脆弱,缺乏环境渐进变化过程中的感知能力和预警能力。
4、针对上述退化感知问题,提出了基于人工智能模型的漂移检测与校正方案。例如,专利申请cn 115996823 a公开了一种针对机器人流程自动化的人工智能模型漂移检测和校正方案,从宏观层面持续分析ai模型执行过程中的输入输出数据分布,将数据分布相对于基准状态的偏移量作为退化发生的感知信号,从而捕捉传统二值判断无法反映的环境渐进变化;在偏移量满足预设的漂移判定条件时,触发对ai模型的重新训练,以校正模型对退化后环境的适应性,使自动化系统能够在一定程度上感知并响应环境变化。
5、在实现本发明实施例的过程中,发现相关技术中至少存在如下问题:
6、现有技术将漂移检测和校正的重心放在ai模型层面,以黑盒方式重新训练模型来应对环境变化,未针对工作流中的单个执行步骤建立形式化的正确性约束,无法在步骤级别感知执行效果的渐进退化,只能依赖整步重试或模型重训练等全局性修复手段,导致流程在面对局部界面变化或单一步骤退化时响应滞后,难以满足动态多变的真实办公环境对工作流执行自适应性与效率的要求。
7、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、针对上述现有技术中存在的缺陷,本发明提供了一种基于契约驱动的gui工作流执行方法及系统,以在步骤级别感知执行效果的渐进退化,从而满足动态多变的真实办公环境对工作流执行自适应性与效率的要求。
2、根据本发明实施例的一个方面,本发明提供一种基于契约驱动的gui工作流执行方法,包括:确定gui工作流中的目标步骤,获取目标步骤所对应的步骤契约;在执行目标步骤之前,从步骤契约中解析出前置条件集合,对前置条件集合中的前置条件进行检查,获得前置条件的检查结果;基于检查结果,确定未满足检查条件的目标前置条件,从步骤契约的补偿策略集合中选取目标前置条件所对应的第一补偿策略,执行第一补偿策略中的第一补偿动作序列,并重新对前置条件集合中的前置条件执行检查;对前置条件集合中的前置条件检查通过后,从多个执行通道中确定主执行通道,并通过主执行通道执行目标步骤的执行动作;在执行动作执行完成后,从步骤契约中解析出后置条件集合,对后置条件集合中的后置条件进行验证,获得后置条件的验证结果;基于验证结果,确定未满足验证条件的目标后置条件,从步骤契约的补偿策略集合中选取目标后置条件所对应的第二补偿策略,执行第二补偿策略中的第二补偿动作序列。
3、可选地,从多个执行通道中确定主执行通道,并通过主执行通道执行目标步骤的执行动作,包括:分别确定每一执行通道所对应的历史成功率、近期执行成功率和环境匹配度,对历史成功率、近期执行成功率和环境匹配度进行加权求和,获得每一执行通道的预期可靠性;基于执行通道的历史选用次数确定探索增量,将多个执行通道建模为多臂老虎机模型的多个臂,以每一执行通道的预期可靠性作为对应臂的期望回报估计值,并在期望回报估计值上叠加探索增量,得到每一执行通道的选择评分;将选择评分最高的执行通道作为主执行通道,通过主执行通道执行目标步骤的执行动作,获得执行结果;基于执行结果,以指数移动平均更新主执行通道的历史成功率,并更新主执行通道的历史选用次数。
4、可选地,从多个执行通道中确定主执行通道,并通过主执行通道执行目标步骤的执行动作,还包括:将选择评分最高的执行通道作为主执行通道后,采集当前执行环境的环境指纹,将当前执行环境的环境指纹与最近一次成功执行时记录的环境指纹进行比对,获得环境指纹中关键属性的变化状态;基于关键属性的变化状态,确定环境指纹的突变情况,并基于环境指纹的突变情况,对各执行通道的历史成功率执行加速衰减,使各执行通道的历史成功率向中性值收缩;基于加速衰减后的历史成功率,重新确定各执行通道的预期可靠性,以重新从多个执行通道中确定主执行通道。
5、可选地,按照如下方式生成补偿策略集合:获取gui工作流在历史执行中产生的契约违反事件,将契约违反事件中记录的包括步骤动作类型、违反的具体条件和上下文特征的三元组作为聚类键,并基于聚类键对契约违反事件进行聚类,得到多个违反事件聚类组;提取违反事件聚类组内成功样本中有序的补偿动作序列,并根据各补偿动作序列的出现频率,对补偿动作序列进行修正;基于修正后的补偿动作序列,生成候选补偿策略,并将候选补偿策略写入补偿策略集合。
6、可选地,基于聚类键对契约违反事件进行聚类,得到多个违反事件聚类组,包括:将三维聚类键完全相同的契约违反事件归入同一初始聚类组,计算初始聚类组的聚类键中上下文特征的信息熵;将信息熵高于预设熵阈值的初始聚类组标记为高发散聚类组,以高发散聚类组的聚类键中的步骤动作类型和违反的具体条件为锚点,将上下文特征按语义相似度划分为多个子簇,并为每个子簇生成子簇上下文语义标签;以步骤动作类型、违反的具体条件和子簇上下文语义标签重构聚类键,基于重构聚类键将高发散聚类组拆分为多个细化聚类组;将拆分后的细化聚类组和未被拆分的样本量低于预设阈值的初始聚类组标记为低密度聚类组,分别计算低密度聚类组与各相近初始聚类组在步骤动作类型、违反的具体条件和上下文特征三个维度上的匹配维度比例;基于匹配维度比例,从相近初始聚类组中确定合并目标,将低密度初始聚类组合并至合并目标,合并后的组沿用合并目标的聚类键,获得违反事件聚类组。
7、可选地,基于修正后的补偿动作序列,生成候选补偿策略,并将候选补偿策略写入补偿策略集合,包括:确定修正后的补偿动作序列在所属违反事件聚类组内的出现频率,并计算修正后的补偿动作序列在成功样本中的出现比例,获得置信度;基于出现频率和置信度,确定修正后的补偿动作序列中相邻动作对之间的条件转移概率,其中,条件转移概率为前一动作执行成功后后一动作被执行的概率;以补偿动作为节点,从前一动作指向后一动作的边为有向边,各相邻动作对之间的条件转移概率为边权重,构建补偿动作序列的有向依赖图;对有向依赖图中边权重低于预设依赖阈值的边进行剪枝,将剪枝后形成的主路径作为补偿动作序列的动作执行顺序,生成附带有动作顺序依赖的候选补偿策略;基于违反事件聚类组对应的步骤动作类型、违反条件和上下文特征,生成契约模板,将契约模板和候选补偿策略写入补偿策略集合。
8、可选地,执行第一补偿策略中的第一补偿动作序列,包括:获得前置条件集合中各前置条件的满足状态和置信度,以预先配置的权重对前置条件的置信度进行加权求和,得到前置评分;基于前置条件中关键前置条件的满足状态和前置评分,根据前置条件所属条件类型的历史平均修复耗时与历史修复成功率的比值确定修复成本;根据目标步骤的后置条件数量、补偿策略数量、不变量数量和关键前置条件数量确定跳过成本;基于修复成本与跳过成本的关系,执行第一补偿策略中的第一补偿动作序列。
9、可选地,步骤契约还包括不变量;根据目标步骤的后置条件数量、补偿策略数量、不变量数量和关键前置条件数量确定跳过成本,包括:根据后置条件数量与单个后置条件验证失败所引发的下游步骤的平均恢复耗时,获得后置影响成本;根据补偿策略数量与单个补偿策略的平均执行耗时,获得补偿路径成本;根据不变量数量与单个不变量被违反后的平均处置耗时,获得不变量保障成本;根据关键前置条件数量与单个关键前置条件未满足所导致的步骤失败的平均恢复耗时,获得关键前置风险成本;将后置影响成本、补偿路径成本、不变量保障成本和关键前置风险成本之和与预设基础跳过耗时相加,获得跳过成本。
10、可选地,基于契约驱动的gui工作流执行方法还包括:在执行动作执行完成后,获得目标步骤在最近多次执行中的验证得分序列和实际耗时序列,并对验证得分序列进行线性回归,获得验证得分趋势斜率,对实际耗时序列计算变异系数,获得耗时稳定性指标;根据验证得分趋势斜率和耗时稳定性指标确定目标步骤的退化情况,基于验证得分趋势斜率、当前验证得分和门控阈值,计算发生退化的目标步骤的预测剩余执行次数;基于预测剩余执行次数,对步骤契约中的等待时间和/或验证阈值进行自适应参数调整。
11、可选地,基于契约驱动的gui工作流执行方法还包括:在通过主执行通道执行目标步骤的执行动作的过程中,从目标步骤的步骤契约中解析出不变量集合,其中,不变量集合中各不变量配置有检查间隔和违反处置动作;以各不变量配置的检查间隔为周期,在执行动作执行期间对各不变量进行异步查验,获得各不变量的查验结果;对查验结果为违反的不变量,记录违反事件,并触发不变量配置的违反处置动作。
12、可选地,基于契约驱动的gui工作流执行方法还包括:确定gui工作流中的目标步骤之前,获取用户在示范目标步骤过程中录入的语音旁白,根据预设的自然语言到契约约束的转换规则,将语音旁白解析为契约约束;按照预设的合并优先级,将语音解析出的契约约束合并到目标步骤的步骤契约中。
13、可选地,步骤契约包括前置条件、执行动作、后置条件、不变量、补偿策略与演化规则。
14、根据本发明实施例的另一方面,本发明还提供一种基于契约驱动的gui工作流执行系统,包括:契约获取模块,被配置为确定gui工作流中的目标步骤,获取目标步骤所对应的步骤契约;前置检查模块,被配置为在执行目标步骤之前,从步骤契约中解析出前置条件集合,对前置条件集合中的前置条件进行检查,获得前置条件的检查结果;前置补偿模块,被配置为基于检查结果,确定未满足检查条件的目标前置条件,从步骤契约的补偿策略集合中选取目标前置条件所对应的第一补偿策略,执行第一补偿策略中的第一补偿动作序列,并重新对前置条件集合中的前置条件执行检查;执行模块,被配置为对前置条件集合中的前置条件检查通过后,从多个执行通道中确定主执行通道,并通过主执行通道执行目标步骤的执行动作;后置验证模块,被配置为在执行动作执行完成后,从步骤契约中解析出后置条件集合,对后置条件集合中的后置条件进行验证,获得后置条件的验证结果;后置补偿模块,被配置为基于验证结果,确定未满足验证条件的目标后置条件,从步骤契约的补偿策略集合中选取目标后置条件所对应的第二补偿策略,执行第二补偿策略中的第二补偿动作序列。
15、本发明提供的基于契约驱动的gui工作流执行方法及系统,至少包括如下有益技术效果:
16、1、通过在执行前和执行后分别对前置条件与后置条件进行细粒度的形式化验证,并对未满足的条件从补偿策略集合中选取匹配的补偿策略执行选择性修复,使得每个步骤的执行资格和执行效果均获得量化评估与针对性校正,能够在步骤级别感知执行效果的渐进退化,对局部界面变化或单一步骤退化做出快速响应,在提升gui工作流执行可靠性的同时,显著增强动态多变真实办公环境下的自适应性与执行效率。
17、2、通过将多个执行通道建模为多臂老虎机模型,并在预期可靠性基础上叠加与历史选用次数呈负相关的探索增量,使通道选择在利用已知最优通道与探索潜在更优通道之间实现动态平衡,从而在保障执行效率的同时避免因早期偶然失败而持续锁定次优通道。
18、3、通过从历史执行产生的契约违反事件中自动聚类并提取成功样本中的有序补偿动作序列,使补偿策略的生成从依赖人工编写转变为基于真实执行数据的数据驱动挖掘,从而降低策略库的构建成本并提升补偿策略对实际环境变化的适应能力。
19、4、通过在触发补偿之前对修复成本与跳过成本进行基于历史数据的量化比较,使系统在前置条件未满足时能够在执行补偿与跳过步骤之间做出经济性决策,从而避免对低效修复的盲目执行,在保障执行质量的同时提升整体工作流的执行效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com