一种基于人机交互模式切换的浏览器自动化执行方法及系统与流程
本发明属于浏览器自动化,尤其涉及一种基于人机交互模式切换的浏览器自动化执行方法及系统。
背景技术:
1、浏览器自动化技术通常采用浏览器自动化框架,通过预设脚本、命令接口或者自动化客户端驱动浏览器完成页面访问、元素定位、内容填写、按钮点击、网络请求监听以及多步骤业务流程执行。
2、为降低重复登录和会话初始化带来的执行开销,部分自动化系统采用持久化浏览器会话、共享浏览器上下文或者远程浏览器实例,使连续的任务能够复用已有的登录状态和页面会话。
3、对于验证码、安全确认、复杂表单处理以及异常页面等自动化程序难以继续处理的场景,也存在暂停自动操作、由人工临时接管浏览器并在处理完成后重新恢复自动执行的实现方式。
4、在实现本发明的过程中,发明人发现现有技术中至少存在如下问题:浏览器中的一次页面操作并不对应同时开始并同时结束的业务事务。自动化客户端完成一次提交按钮点击之后,页面脚本仍然可能继续执行字段校验、异步任务调度和网络请求发送,已经发出的业务请求也可能在较晚的时刻才获得服务器响应,因此页面操作执行结束、业务请求发出和远端业务结果形成之间存在时间差。
5、当自动执行模式在上述时间差范围内切换至人工操作模式时,切换前自动操作已经触发但尚未取得结果的业务事务可能在人工接管之后才完成;人工也可能针对同一业务步骤修改页面内容或者重新提交业务请求,使同一次切换过程同时存在自动操作的延迟业务结果和人工操作产生的新业务结果。
6、按照暂停位置、步骤编号、页面地址或者人工完成信号进行恢复的方式,难以确定原自动化步骤是否已经产生真实的业务结果。原业务请求在人工接管之后延迟成功、人工又针对同一业务步骤重新执行一次操作时,会形成两个不同的业务对象;恢复后再次执行原步骤会造成重复创建、重复提交、重复支付或者重复发送,直接进入下一步骤又会在原业务操作实际未完成时造成步骤遗漏。页面快照或者断点记录描述的是某一时刻的页面状态和会话状态,也难以说明切换后返回的业务响应由切换前的自动操作引起还是由切换后的人工操作引起。
技术实现思路
1、本发明公开了一种基于人机交互模式切换的浏览器自动化执行方法及系统,以解决上述背景技术中提出的问题。
2、为了达到上述目的,本发明第一方面提供了一种基于人机交互模式切换的浏览器自动化执行方法,所述方法包括:读取当前自动化步骤的目标业务事务特征、业务完成条件和重复执行属性,在所述当前自动化步骤实际操作的页面上建立与所述目标业务事务特征对应的网络请求监听条件,并执行所述当前自动化步骤对应的浏览器操作;
3、将所述页面上产生的、符合所述目标业务事务特征的网络请求根据发出时刻确定为所述当前自动化步骤的目标业务事务,并建立所述网络请求与所述当前自动化步骤之间的关联;
4、当进入人工接管流程时,保持所述关联,并将切换前已经发出、在人工操作阶段取得结果的目标业务事务归属于所述当前自动化步骤,将人工操作阶段新产生的目标业务事务登记为人工阶段业务事务;
5、核对所述目标业务事务和所述人工阶段业务事务的必要业务结果是否满足所述业务完成条件,确定所述当前自动化步骤的实际完成状态;
6、根据所述实际完成状态和所述重复执行属性恢复浏览器自动化任务的执行。
7、进一步地,所述将所述页面上产生的、符合所述目标业务事务特征的网络请求确定为所述当前自动化步骤的目标业务事务,包括:
8、读取所述网络请求的请求地址、请求方式和所述网络请求中已有的必要业务字段,在所述请求地址、所述请求方式和所述必要业务字段均与所述目标业务事务特征一致的情况下,将所述网络请求确定为候选业务事务;
9、读取所述网络请求对应的页面来源信息,在所述页面来源信息表明所述网络请求由所述当前自动化步骤实际控制的页面发出的情况下,将所述候选业务事务确定为所述目标业务事务;所述页面来源信息用于区分同一浏览器上下文中不同页面发出的网络请求。
10、进一步地,所述方法还包括记录所述目标业务事务的状态:
11、在所述目标业务事务已经由所述页面发出且未取得明确响应的情况下,将所述目标业务事务的状态记录为已发出且响应未确定,并保存所述目标业务事务与所述当前自动化步骤之间的关联;
12、在所述目标业务事务取得明确响应的情况下,根据所述业务完成条件从所述明确响应中提取必要业务结果并保存;
13、在所述当前自动化步骤的浏览器操作已经执行、且未捕获到符合所述目标业务事务特征的网络请求的情况下,将所述目标业务事务的状态记录为尚未捕获。
14、进一步地,当进入人工接管流程时,所述方法还包括暂停自动化客户端产生的状态改变操作:
15、以所述自动化客户端停止产生状态改变操作作为切换准备起点,以人工操作端第一次向所述当前自动化步骤实际操作的页面发出状态改变操作作为人工阶段开始位置,将所述切换准备起点与所述人工阶段开始位置之间的区间确定为模式切换临界区;
16、在所述模式切换临界区内,将符合所述目标业务事务特征、且在所述人工阶段开始位置之前发出的网络请求确定为归属于所述当前自动化步骤的目标业务事务。
17、进一步地,所述将人工操作阶段新产生的目标业务事务登记为人工阶段业务事务,包括:
18、将所述人工阶段开始位置之后产生、符合所述目标业务事务特征、且不能根据浏览器网络事件中已有的请求关联关系确定为切换前自动化操作延续产生的网络请求,登记为人工阶段业务事务;
19、将切换前已经发出且未取得明确响应的目标业务事务在人工操作阶段取得的响应,作为所述目标业务事务的必要业务结果保存;在所述响应之后存在重定向请求的情况下,根据浏览器网络事件中已有的请求关联关系,将所述重定向请求的响应归入所述目标业务事务。
20、进一步地,所述必要业务结果为服务器为业务对象分配的业务标识;所述实际完成状态为自动操作已完成、人工操作已完成、尚未完成或者结果待确认;所述确定所述当前自动化步骤的实际完成状态,包括:
21、在所述目标业务事务的必要业务结果满足所述业务完成条件的情况下,将所述实际完成状态确定为自动操作已完成;
22、在所述目标业务事务的必要业务结果未满足所述业务完成条件、且所述人工阶段业务事务的必要业务结果满足所述业务完成条件的情况下,将所述实际完成状态确定为人工操作已完成;
23、在所述目标业务事务和所述人工阶段业务事务均取得失败响应、且均未形成所述业务完成条件要求的必要业务结果的情况下,将所述实际完成状态确定为尚未完成;
24、在所述目标业务事务已经发出、且响应缺失或者已取得的业务结果不足以确定远端业务结果是否形成的情况下,将所述实际完成状态确定为结果待确认;
25、在所述当前自动化步骤对应至少两个必要业务事务的情况下,分别记录各必要业务事务的状态及其必要业务结果,并在所述至少两个必要业务事务的全部必要业务结果均满足所述业务完成条件的情况下,将所述实际完成状态确定为自动操作已完成或者人工操作已完成。
26、进一步地,在所述实际完成状态为自动操作已完成、且所述人工阶段业务事务的必要业务结果也满足所述业务完成条件的情况下,所述方法还包括:
27、在所述人工阶段业务事务返回的业务标识与所述目标业务事务返回的业务标识相同的情况下,将所述业务标识确定为已确认业务结果;
28、在所述人工阶段业务事务返回的业务标识与所述目标业务事务返回的业务标识不同的情况下,将所述实际完成状态确定为结果待确认,并保存所述人工阶段业务事务返回的业务标识、所述目标业务事务返回的业务标识以及各业务标识对应的业务事务来源。
29、进一步地,所述恢复浏览器自动化任务的执行,包括:
30、在所述实际完成状态为自动操作已完成或者人工操作已完成的情况下,根据所述当前自动化步骤在所述浏览器自动化任务中的位置确定下一业务步骤,将所述必要业务结果作为已确认业务结果写入所述浏览器自动化任务中对应的业务变量位置,并根据所述浏览器自动化任务中已经配置的参数引用关系,将所述已确认业务结果传递至所述下一业务步骤的页面操作;
31、在所述实际完成状态为尚未完成的情况下,读取人工交还控制权时的当前页面状态,所述当前页面状态包括当前活动页面、当前页面地址和当前交互元素状态,根据已经配置的浏览器操作中各操作的页面地址条件和元素定位条件,确定当前页面能够继续执行的首个操作,并从所述首个操作开始执行所述当前自动化步骤,在当前页面状态不对应任一能够继续执行的操作的情况下,在所述重复执行属性为允许重复执行时从所述当前自动化步骤的初始执行位置开始执行,在所述重复执行属性为限制重复执行时将所述实际完成状态确定为结果待确认。
32、进一步地,在所述实际完成状态为结果待确认的情况下,所述恢复浏览器自动化任务的执行,包括:
33、在所述重复执行属性为允许重复执行的情况下,重新执行所述当前自动化步骤;
34、在所述重复执行属性为限制重复执行的情况下,执行所述当前自动化步骤预先关联的状态确认操作,所述状态确认操作为只读页面访问、只读业务对象查看或者只读业务请求;
35、在所述状态确认操作取得所述业务完成条件要求的必要业务结果的情况下,将所述必要业务结果确定为已确认业务结果,并执行所述当前自动化步骤的下一业务步骤;
36、在所述状态确认操作未取得所述必要业务结果的情况下,判断所述目标业务事务是否已经取得明确失败响应;当所述目标业务事务仍处于已发出且响应未确定状态时,保持所述实际完成状态为结果待确认并继续执行所述状态确认操作,不重新执行所述当前自动化步骤;当所述目标业务事务已经取得明确失败响应,或者所述状态确认操作能够确定远端业务结果未形成时,恢复执行所述当前自动化步骤;
37、在所述当前自动化步骤未预先关联所述状态确认操作、或者所述状态确认操作取得的业务结果不足以确定业务状态的情况下,保持人工接管状态,并保存包含所述实际完成状态的续接判定记录。
38、在本发明的第二方面提供了一种基于人机交互模式切换的浏览器自动化执行系统,所述系统包括:
39、业务执行关联建立模块,用于读取当前自动化步骤的目标业务事务特征、业务完成条件和重复执行属性,在所述当前自动化步骤实际操作的页面上建立与所述目标业务事务特征对应的网络请求监听条件,并执行所述当前自动化步骤对应的浏览器操作;将所述页面上产生的、符合所述目标业务事务特征的网络请求根据发出时刻确定为所述当前自动化步骤的目标业务事务,并建立所述网络请求与所述当前自动化步骤之间的关联;
40、切换边界建立模块,用于当进入人工接管流程时,保持所述关联,并将切换前已经发出、在人工操作阶段取得结果的目标业务事务归属于所述当前自动化步骤,将人工操作阶段新产生的目标业务事务登记为人工阶段业务事务;
41、完成状态确定模块,用于核对所述目标业务事务和所述人工阶段业务事务的必要业务结果是否满足所述业务完成条件,确定所述当前自动化步骤的实际完成状态;
42、自动化恢复执行模块,用于根据所述实际完成状态和所述重复执行属性恢复浏览器自动化任务的执行。
43、本发明的有益技术效果在于:通过在自动化步骤执行前建立浏览器操作与目标业务事务之间的来源关联,并以网络请求发出时刻而非响应返回时刻作为关联建立的时间点,使该关联能够跨越人机控制权切换保持连续有效。通过设置模式切换临界区承接原自动化操作完成后仍继续发生的前端校验、异步脚本执行和延迟业务请求,使切换前已发出但在人工操作阶段才产生结果的业务事务仍归属于原自动化步骤,同时能够准确区分人工接管后新产生的业务事务。通过基于实际业务结果而非单纯浏览器命令状态确定续接位置,并区分自动操作已完成、人工操作已完成、尚未完成和结果待确认四种实际完成状态,使人机控制主体的改变不会切断原自动化任务的业务执行关系。针对切换前后同时产生成功结果的情形,通过业务标识一致性判断避免两个独立成功结果被错误合并。针对结果待确认场景,通过重复执行属性和预先关联的只读状态确认操作,在限制重复执行业务中先确认远端业务是否实际发生再决定后续动作。整体上降低了模式切换后发生重复创建、重复提交、错误业务对象续接和步骤遗漏的可能性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com