一种浏览器远程操控方法及系统与流程
本技术属于浏览器远程操控。尤其涉及一种浏览器远程操控方法及系统。
背景技术:
1、随着人工智能技术的飞速发展,人工智能助手(ai agent)自主操控终端浏览器完成各类网页自动化任务,已成为智能办公、自动化数据采集、云端智能运维、自动化测试等领域的核心基础技术。目前主流的浏览器远程操控方案基于chrome devtools protocol(cdp)协议构建,核心架构为:服务端部署playwright、mcp等自动化客户端,经由公网链路对接用户本地浏览器安装的扩展程序,由浏览器扩展调用chrome.debugger等原生调试接口,执行服务端下发的各类浏览器操控指令。
2、现有技术中,为了跨越公网把自动化客户端与用户浏览器扩展连接起来,普遍采用如图1所示的“自研中继网关+协议翻译”(含消息代理三段链路)的方案。然而,该方案在实际应用中存在诸多技术缺陷:现有技术的核心缺陷具体如下:
3、第一,协议翻译链路脆弱、维护成本高。 自动化客户端使用cdp线协议进行通信,而中继网关与浏览器扩展之间往往采用另一套自定义传输协议。这样在扩展侧和服务端侧存在两处协议翻译点,需要维护cdp目标(target)/会话(session)撮合、事件与命令双向映射等复杂状态。cdp协议随自动化框架版本升级频繁变化,每次升级都可能导致翻译逻辑出错。例如,playwright mcp的relay需要解析cdp命令中的sessionid并维护target/session映射关系,browser-level cdp命令因缺少sessionid而被拒绝,稳定性差,维护成本居高不下。
4、第二,公网链路层级多,故障面大。 采用消息代理(broker)中转时,链路为"扩展→broker→服务端"三段式结构,且需要维护会话级持久连接语义(如遗嘱消息lwt、会话过期sessionexpiry、客户端标识clientid唯一性)。任一环节出现网络抖动都可能触发连接互踢、遗嘱风暴等问题,导致整体链路可靠性降低。
5、第三,浏览器扩展后台易被回收导致连接中断,且无法自动重连。 现代浏览器扩展(manifest v3)的后台以service worker形式运行,空闲一定时间(如30秒)即被浏览器回收。承载远程连接的后台一旦被回收,连接随之中断。现有playwright mcp方案中,relay在连接断开后不会尝试重新连接,必须重启整个mcp服务器才能恢复。现有其他方案多依赖扩展内部的离屏文档(offscreen document)或定时器保活,机制复杂且并不可靠,同时需要申请额外权限,增加安全隐患。
6、第四,重连与资源管理粗放。 后台重启后丢失内存状态,容易反复新建标签页,堆叠大量无用页面;被代理端尚未就绪时过早连接会形成"开窗—被拒—关窗—再开"的高频抖动;暂停后再接管时强制重新导航,会丢失页面登录态、表单及滚动位置等现场,严重影响用户体验和自动化任务的连续性。
7、因此,亟需一种能够显著提升远程操控代理稳定性、并系统性地解决上述协议翻译、后台回收、连接重连及资源管理问题的技术方案。
技术实现思路
1、本技术实施例提供了一种浏览器远程操控方法及系统。本方法消除了中继层的协议翻译,降低与自动化框架版本升级的耦合,从根本上减少故障面;并且在浏览器扩展后台易被回收的约束下,同时实现后台保活与断线自动重连,且无需依赖离屏文档等额外保活机制;并且还提供跨后台重启的确定性资源复用、抗抖动的连接协商、以及暂停接管时的页面状态保持,全面提升系统的可用性与鲁棒性。
2、第一方面,本技术实施例提供了一种浏览器远程操控方法,用于将服务端侧部署的自动化客户端经由网络链路对接用户本地浏览器侧的浏览器扩展,实现自动化客户端远程操控该浏览器,包括服务端透明转发模块,所述方法包括:
3、所述自动化客户端单独维护浏览器远程操控所需的全部协议状态,其内置的协议中继器将自动化协议转换为浏览器扩展指令协议;
4、所述自动化客户端通过所述服务端透明转发模块与所述浏览器扩展建立透明字节转发通道,所述透明字节转发通道按帧双向传送原始的应用层协议内容;
5、所述浏览器扩展配置为无状态反射式执行端,其后台服务进程接收特定命名格式的指令,通过反射机制调用对应的浏览器接口执行所述指令,并将执行结果或浏览器事件经所述透明字节转发通道原样回传至所述自动化客户端;所述浏览器扩展不维护协议语义状态;
6、所述浏览器扩展的常驻前端页面周期性地向所述后台服务进程发送心跳消息;所述后台服务进程在接收到所述心跳消息后,复位其空闲回收计时,并针对所述心跳消息中声明的每个会话返回存活状态;
7、所述常驻前端页面根据所述存活状态,对本地判定为活跃但返回为不存活或无应答的会话,触发重新建立连接。
8、进一步地,所述浏览器扩展接收的指令为包含命名空间、方法名及位置参数的指令,所述浏览器扩展通过反射按所述命名空间与方法名定位到浏览器接口,并以所述位置参数调用所述浏览器接口执行,并将执行结果原样回传。
9、进一步地,所述浏览器扩展包括内容脚本,所述常驻前端页面周期性地向所述后台服务进程发送心跳消息,包括:
10、所述常驻前端页面每隔预设周期通过窗口消息接口发送心跳消息,所述心跳消息包含控制器标识及其所拥有的会话标识列表;
11、所述内容脚本将所述心跳消息转发至所述后台服务进程;
12、当所述后台服务进程被回收或无法唤醒导致转发失败时,所述内容脚本向所述常驻前端页面回传空应答,所述常驻前端页面将所述空应答判定为相关会话不存活,并重新发送绑定请求以触发重建连接。
13、进一步地,所述方法还包括会话—标签页持久映射与跨后台重启复用机制:
14、所述后台服务进程在成功建立会话连接并确定目标标签页后,将会话标识与标签页标识的映射关系写入跨后台重启保留的存储区;
15、所述后台服务进程启动时,从所述存储区读取映射关系,并校验对应标签页是否存在;若标签页存在则重建内存映射,若标签页不存在则从所述存储区删除该项;
16、在处理会话绑定请求时,若命中所述内存映射且对应标签页存活,则复用该标签页;否则执行新建标签页流程。
17、进一步地,所述方法还包括就绪前软拒绝协商机制:当所述自动化客户端的接入端点尚未就绪时,服务端以专用关闭状态码关闭与所述浏览器扩展的连接;所述浏览器扩展识别到所述专用关闭状态码后,保留已创建的浏览器窗口、标签页及会话—标签页映射关系,按退避策略择机重连;若关闭码为其他表示真实断连的状态码,则按常规清理并关闭相关标签页。
18、进一步地,所述方法还包括同会话并发建联锁机制:
19、所述后台服务进程维护建联进行中的会话集合;
20、在处理会话绑定请求时,若该会话已在所述会话集合中,则跳过当前请求;若该会话已存在存活连接,则直接复用该连接;
21、若该会话不在所述会话集合中且无存活连接,则将其加入所述会话集合,执行异步建联,并在建联结束后从所述会话集合中移除。
22、进一步地,所述方法还包括端点版本感知的定向重连机制:
23、服务端包括端点注册表,所述端点注册表为每个会话维护接入端点统一资源标识符及递增版本号;
24、当同一会话的接入端点以更高版本号重新登记时,所述服务端主动断开当前的透明字节转发通道,使所述浏览器扩展重新连接至新端点;
25、当检测到下游不可达的瞬态故障时,立即从所述端点注册表移除对应端点,并延迟在预设时延后发布端点消失通知;若在所述预设时延内端点重新登记,则取消所述端点消失通知。
26、进一步地,所述方法还包括暂停接管时的页面状态保持机制:
27、在暂停场景下,服务端透明转发模块从端点注册表移除端点,并在预设时间窗内抑制端点消失通知;
28、在恢复场景下,所述浏览器扩展重新建立连接并复用既有标签页,且不执行页面导航操作,以保留页面的登录态、表单数据及滚动位置。
29、进一步地,所述方法还包括启动竞态零丢包缓冲步骤:
30、所述浏览器扩展建联成功后,即时上行推送标签页创建事件与扩展就绪信号;
31、所述服务端在与自动化客户端的下游连接未就绪的窗口期内,缓存所有扩展上行的事件信号与数据报文;
32、待下游连接链路完全就绪后,服务端按照数据接收时序依次回放缓存数据,确保扩展就绪信号完整送达,避免自动化客户端因等待信号超时进入假死状态。
33、进一步地,所述方法还包括多会话区分与显示器感知分屏机制:
34、所述后台服务进程为每个会话分配唯一的标签页分组颜色,分组名称取自会话标题;当可用颜色用尽时,按会话标识哈希值分配颜色;会话结束时释放对应颜色;
35、分屏窗口布局以承载所述常驻前端页面的窗口所在物理显示器的可用工作区为画布计算位置与尺寸,并在每次建立连接时重新对齐;在多显示器场景下,以窗口中心点命中、重叠面积最大及主显示器为序进行布局兜底。
36、第二方面,本技术实施例提供了一种浏览器远程操控系统,包括:
37、自动化客户端,运行于服务端,内置协议中继器,用于将自动化协议转换为扩展指令协议;
38、服务端透明转发模块,用于在所述自动化客户端与浏览器扩展之间建立透明字节转发通道,仅按帧进行双向传送原始的应用层协议内容;
39、端点注册表,用于记录会话标识到自动化客户端接入端点的映射及版本号;
40、浏览器扩展,包括后台服务进程及常驻前端页面;
41、所述后台服务进程用于作为无状态反射式执行端,接收特定命名格式的指令,通过反射机制调用对应的浏览器接口执行所述指令,且在接收到心跳消息后复位空闲回收计时并返回会话存活状态;
42、所述常驻前端页面用于周期性发送心跳消息,并根据会话存活状态触发重新建立连接。
43、本技术突破了行业固有技术偏见,摒弃传统“网关中转+协议翻译+后台保活”的常规设计,独创无状态反射式协议透传架构+网页侧双职责心跳自愈机制双核心技术体系,配套全链路生命周期协调优化机制,从底层重构浏览器远程操控架构。本技术实施例与现有技术相比存在的有益效果是:
44、1、稳定性显著提升。中继层由"有状态协议翻译网关"重构为"无状态字节管道+反射执行端",翻译点由两处降为零,与自动化框架版本升级近乎解耦;公网链路由三段降为一段直连,故障面大幅缩小。
45、2、后台保活与自愈机制简洁可靠。单一网页侧心跳同时实现manifest v3后台保活与断线自动重连,且以始终在线的前端作为重连权威,后台被回收后可天然自愈。无状态反射式协议透传因为没有中间翻译件,所以对两端之间的连接可靠性要求更高,网页侧心跳既能够为连接是否稳定提供基础信息,又能够在心跳上携带事件信息保障链路的可控性,增强了上层无状态透传的数据的可靠性,并为后续重连等机制提供了便捷可靠的途径。无需依赖离屏文档、后台定时器等额外保活机制,并可移除相应权限,降低系统复杂度和资源消耗。
46、3、资源管理与状态保持精细化。通过启动竞态缓冲、会话—标签页持久复用、就绪前软拒绝、并发建联锁、端点版本感知重连、暂停保页等机制,解决了无状态后台环境下的资源复用、连接抖动与状态保持问题,整体可用性与鲁棒性大幅提高,能够支撑长时间、高并发的浏览器远程操控任务。
47、4、实现无感知暂停接续,完整保留操控现场。独创端点静默失效机制,在操控暂停时不销毁页面资源、不推送失效通知,恢复操控后直接复用原有标签页且不刷新导航,完整保留页面登录态、表单数据、滚动位置等全部现场状态,实现任务连续无感知接续。
48、5、适配多会话、多屏复杂场景,实用性极强。通过会话专属配色分组、显示器自适应分屏布局,实现多并发会话精准区分、跨屏布局自动适配,解决多任务并行操控混乱、窗口坐标错乱的行业痛点,适配各类复杂办公与自动化测试场景。
49、本发明将多种技术手段以特定方式进行组合,并赋予每个环节在"浏览器远程操控"场景下的特定功能定位,包括:透明代理负责消除协议翻译、双职责心跳负责保活+探活+自愈的方案、持久映射负责跨重启资源复用、软拒绝负责抗抖动、版本感知负责定向重连等方案的有效组合。该方案不但通过无状态反射式协议透传架构消除了中继层的协议翻译,降低与自动化框架版本升级的耦合,从而从根本上减少故障面;同时还通过网页侧心跳为新架构的连接的稳定性提供基础信息,并且由于心跳上携带了事件信息,保障了链路的可控性,从而增强了上层无状态透传的数据的可靠性,并为后续重连等机制提供了便捷可靠的途径;并综合利用会话—标签页持久映射与跨后台重启复用机制、就绪前软拒绝协商机制、同会话并发建联锁机制、端点版本感知的定向重连机制、暂停接管时的页面状态保持机制、启动竞态零丢包缓冲步骤、多会话区分与显示器感知分屏机制等配套的时序与生命周期协调机制相结合,最终系统性地解决 manifest v3 约束下浏览器远程操控的稳定性问题,具有显著的技术进步和产业应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com