一种多类型设备信号协同接入的KVM远程管理方法及系统与流程
本发明涉及kvm远程管理,尤其涉及一种多类型设备信号协同接入的kvm远程管理方法及系统。
背景技术:
1、在kvm(keyboard video mouse,键盘视频鼠标) over ip(internet protocol,互联网协议)远程控制领域,操作人员通过网络传输被控主机的视频画面,并利用本地鼠标键盘对远端主机进行操作。其中,相对鼠标控制方式通过持续上报鼠标移动增量来驱动被控主机端的光标移动,使远程会话中的鼠标操作不必依赖被控主机画面坐标与本地窗口坐标的固定对应关系。该方式在服务器远程维护、机房集中管理等场景中使用较为普遍。
2、然而,在实际远程控制过程中,当被控主机从启动阶段进入操作系统阶段而发生显示分辨率切换,或远程画面经过窗口缩放后,远端显示光标与被控主机实际光标位置可能逐步偏离,出现远程点击位置与目标控件位置不一致的问题。例如,被控主机启动时画面由低分辨率切换为高分辨率,操作人员随后通过网页端控制鼠标连续移动并点击确认按钮。此时,网页端显示的光标已经移动到确认按钮位置,但实际点击操作却命中了按钮右侧的控件区域。在跨越屏幕边界后重新进入、连续多次移动等操作下,这种位置偏差还会继续累积,网页端光标位置与实际点击生效位置之间的差异逐渐增大。此时,操作人员依据远端画面进行的点击会落在错误控件上,rpa(robotic process automation,机器人流程自动化)代操和集控操作在连续执行时可能点击错误目标,导致自动化流程中断或误操作,需要人工发现并重新校准。因此,在kvm over ip远程控制过程中如何减少远端显示光标与被控主机实际光标位置偏离,是本领域亟需解决的问题。
技术实现思路
1、针对现有技术存在的不足,本发明的目的在于提供多类型设备信号协同接入的kvm远程管理方法及系统,通过kvm视频采集模块、网络传输模块与键鼠控制模块采集被控主机显示状态和远程鼠标操作状态,生成鼠标同步观测序列,由中央控制单元构建鼠标同步状态机,由键鼠控制模块生成鼠标控制指令序列并发送,由kvm视频采集模块复核光标状态并执行重定位闭环,达到对多类型设备信号协同接入的kvm远程管理及鼠标同步重定位闭环控制的技术效果。
2、为实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供一种多类型设备信号协同接入的kvm远程管理方法,包括:
4、通过kvm视频采集模块、网络传输模块与键鼠控制模块采集被控主机显示状态和远程鼠标操作状态,生成鼠标同步观测序列;
5、中央控制单元依据所述鼠标同步观测序列切换键鼠控制模块状态寄存器,构建鼠标同步状态机;
6、键鼠控制模块依据所述鼠标同步状态机选择相对鼠标移动路径,生成鼠标控制指令序列,同时写入usb(universal serial bus,通用串行总线) hid(human interfacedevice,人机接口设备)接口或ps/2(personal system/2,个人系统/2键鼠接口)接口发送缓冲区;
7、通过usb hid接口或ps/2接口发送所述鼠标控制指令序列,通过kvm视频采集模块复核被控主机光标状态,根据复核结果执行重定位闭环。
8、进一步地,所述生成鼠标同步观测序列包括:
9、通过所述kvm视频采集模块持续采集被控主机视频信号,读取视频输入接口当前分辨率信息与分辨率切换时间戳,生成分辨率状态信息;
10、通过所述网络传输模块接收远程客户端发送的鼠标移动事件,读取所述鼠标移动事件对应的操作模式、目标屏幕位置与事件到达时间戳,生成远程鼠标事件序列,所述操作模式包括字节流模式和文本模式;
11、通过所述键鼠控制模块记录向被控主机发送的usb hid相对移动报告或ps/2相对移动报告,同时通过所述kvm视频采集模块获取连续视频帧中的鼠标拖影状态与鼠标跨边界重新进入状态,生成光标异常记录;
12、按照所述事件到达时间戳与所述分辨率切换时间戳,将所述分辨率状态信息、所述远程鼠标事件序列和所述光标异常记录写入同一时序记录,生成所述鼠标同步观测序列。
13、进一步地,所述生成光标异常记录包括:
14、根据鼠标光标图样集合从所述连续视频帧中确定当前光标显示位置与前一光标残留位置,根据所述当前光标显示位置与所述前一光标残留位置确定鼠标拖影间距,所述鼠标拖影间距是指当前光标显示位置与前一光标残留位置之间的屏幕像素直线距离;
15、读取所述当前光标显示位置在连续视频帧中的边界变化,当所述当前光标显示位置从屏幕边界消失后再次从另一屏幕边界出现时,记录鼠标跨边界重新进入状态。
16、进一步地,所述确定鼠标拖影间距包括:
17、若当前视频帧识别出至少两个光标候选位置,则根据前一已确认光标显示位置、从所述前一已确认光标显示位置对应时间戳至当前视频帧采集时间之间已经发送的相对移动报告,以及当前有效分辨率对应的像素比例生成预测光标位置;
18、计算各光标候选位置与所述预测光标位置之间的二维像素距离,将距离所述预测光标位置最小的光标候选位置记录为当前光标显示位置,将距离所述前一已确认光标显示位置最小的光标候选位置记录为前一光标残留位置,并计算所述当前光标显示位置与所述前一光标残留位置之间的屏幕像素直线距离作为鼠标拖影间距。
19、进一步地,所述构建鼠标同步状态机包括:
20、从所述鼠标同步观测序列读取当前操作模式、当前分辨率信息、前一分辨率信息、鼠标拖影间距和鼠标跨边界重新进入状态,将所述当前分辨率信息与所述前一分辨率信息进行比较,同时将所述鼠标拖影间距与鼠标重置阈值进行比较,生成同步判定信息;
21、根据所述同步判定信息与所述当前操作模式确定状态转换记录;
22、中央控制单元按照所述状态转换记录更新所述键鼠控制模块状态寄存器,在基准有效状态、待重定位状态与目标恢复状态之间建立状态转换关系,生成所述鼠标同步状态机。
23、进一步地,所述根据所述同步判定信息与所述当前操作模式确定状态转换记录包括:
24、当所述当前分辨率信息与所述前一分辨率信息一致、所述鼠标拖影间距未达到所述鼠标重置阈值,同时未出现所述鼠标跨边界重新进入状态时,将基准有效状态写入所述状态转换记录;
25、当检测到分辨率切换、所述鼠标拖影间距达到所述鼠标重置阈值,或出现所述鼠标跨边界重新进入状态时,将待重定位状态写入所述状态转换记录;
26、当所述当前操作模式为文本模式时,在每个目标鼠标移动事件到达后,将所述待重定位状态写入所述状态转换记录;当所述当前操作模式为字节流模式时,仅在所述待重定位状态被写入所述状态转换记录的条件满足时,将所述待重定位状态写入所述状态转换记录。
27、进一步地,所述生成鼠标控制指令序列包括:
28、读取所述鼠标同步状态机中的当前状态,同时读取远程鼠标事件序列中的当前操作模式与目标屏幕位置,将所述当前状态、所述当前操作模式和所述目标屏幕位置组合为当前控制状态信息;
29、当所述当前控制状态信息表示所述当前状态为基准有效状态且所述当前操作模式为字节流模式时,根据当前分辨率信息对应的像素比例将连续鼠标移动事件转换为相对移动报告,生成第一鼠标控制指令序列;
30、当所述当前控制状态信息表示所述当前状态为待重定位状态时,生成用于驱动被控主机鼠标连续向屏幕左上方向移动至左上角基准位置的基准重定位报告,再根据所述当前分辨率信息对应的像素比例,从所述左上角基准位置生成指向所述目标屏幕位置的目标移动报告,将所述基准重定位报告与所述目标移动报告按照执行顺序组成第二鼠标控制指令序列。
31、进一步地,所述生成鼠标控制指令序列还包括:
32、当所述当前操作模式为文本模式时,将所述第二鼠标控制指令序列确定为待发送鼠标控制指令序列;
33、当所述当前操作模式为字节流模式且所述当前状态为所述基准有效状态时,将所述第一鼠标控制指令序列确定为所述待发送鼠标控制指令序列;
34、当所述当前操作模式为字节流模式且所述当前状态为所述待重定位状态时,将所述第二鼠标控制指令序列确定为所述待发送鼠标控制指令序列。
35、进一步地,所述生成鼠标控制指令序列还包括:
36、将所述待发送鼠标控制指令序列按照当前键鼠接口类型转换为usb hid相对移动报告序列或ps/2相对移动报告序列,得到所述鼠标控制指令序列,将所述鼠标控制指令序列写入对应接口发送缓冲区;
37、采用所述第二鼠标控制指令序列时,将所述鼠标同步状态机转换至目标恢复状态。
38、进一步地,所述根据复核结果执行重定位闭环包括:
39、当所述鼠标同步状态机处于目标恢复状态,且复核状态信息中的鼠标拖影间距未达到鼠标重置阈值,同时所述复核状态信息中不存在鼠标跨边界重新进入状态时,将所述鼠标同步状态机转换为基准有效状态,由所述键鼠控制模块继续执行后续远程鼠标移动事件;
40、当所述复核状态信息中的鼠标拖影间距达到所述鼠标重置阈值,或所述复核状态信息中再次出现所述鼠标跨边界重新进入状态时,将所述鼠标同步状态机恢复至待重定位状态,通过所述键鼠控制模块再次发送第二鼠标控制指令序列,直至所述复核状态信息满足状态转换条件。
41、进一步地,所述确定当前光标显示位置还包括:
42、当相邻视频帧差分未产生有效光标候选区域,且所述鼠标同步状态机处于目标恢复状态时,以目标屏幕位置为中心建立当前搜索区域;
43、当相邻视频帧差分未产生有效光标候选区域,且所述鼠标同步状态机处于基准有效状态时,以最近一次已确认光标显示位置为中心建立当前搜索区域;
44、从当前视频帧中截取所述当前搜索区域,将所述当前搜索区域依次与鼠标光标图样集合中的各鼠标光标图样执行归一化互相关模板匹配,将最大匹配响应值对应位置记录为当前光标显示位置。
45、第二方面,本发明提供一种多类型设备信号协同接入的kvm远程管理系统,用于实现上述多类型设备信号协同接入的kvm远程管理方法,包括:
46、鼠标同步观测序列生成模块,用于通过kvm视频采集模块、网络传输模块与键鼠控制模块采集被控主机显示状态和远程鼠标操作状态,生成鼠标同步观测序列;
47、鼠标同步状态机构建模块,用于依据所述鼠标同步观测序列切换键鼠控制模块状态寄存器,构建鼠标同步状态机;
48、鼠标控制指令序列生成模块,用于依据所述鼠标同步状态机选择相对鼠标移动路径,生成鼠标控制指令序列,同时写入usb hid接口或ps/2接口发送缓冲区;
49、复核与闭环控制模块,用于通过usb hid接口或ps/2接口发送所述鼠标控制指令序列,通过kvm视频采集模块复核被控主机光标状态,根据复核结果执行重定位闭环。
50、相比于现有技术,本发明的有益效果为:本发明通过将视频采集状态、远程鼠标事件和实际键鼠报告按统一系统硬件时钟写入同一时序记录,生成鼠标同步观测序列,并构建由基准有效状态、待重定位状态和目标恢复状态组成的鼠标同步状态机,有效解决了被控主机由bios(basic input/output system,基本输入输出系统)阶段进入操作系统阶段发生分辨率变化或远程画面经窗口缩放后,相对鼠标连续增量移动导致坐标基准与像素比例失效、位置偏差逐次保留并累积,以及光标跨屏幕边界重新进入后前一坐标位置无法继续作为移动起点的问题。该方法根据操作模式、分辨率状态、鼠标拖影间距和边界变化控制状态转换,在字节流模式下保持连续移动的连续性,在文本模式下对每个目标鼠标移动事件重新建立坐标基准,避免rpa代操中前一次目标操作残留偏差影响下一次点击。通过左上角基准位置与当前分辨率像素比例共同生成目标移动报告,并由kvm视频采集结果对恢复结果进行复核,结合移动识别路径和静止识别路径,能够兼容不同光标样式与运动状态,提升远程点击位置与目标控件位置的一致性,保障多类型设备信号协同接入下的远程管理准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com