一种基于本地算力复用与多模态全域感知的智能KVM设备及控制方法与流程

摘要: 本发明涉及计算机远程硬件运维、边缘人工智能与硬件底层安全防护交叉,具体为一种基于本地算力复用与多模态全域感知的智能kvm设备及控制方法。背景技术:1、传统kvm...
一种基于本地算力复用与多模态全域感知的智能KVM设备及控制方法与流程

本发明涉及计算机远程硬件运维、边缘人工智能与硬件底层安全防护交叉,具体为一种基于本地算力复用与多模态全域感知的智能kvm设备及控制方法。

背景技术:

1、传统kvm(kvm 是 keyboard(键盘) + video(视频) + mouse(鼠标)的缩写)设备仅作为基础视频、键盘和鼠标信号切换硬件,仅实现单套输入输出外设多路复用;伴随机房无人值守远程运维需求普及,ip-kvm实现网络远程接管主机,但整体智能化、底层故障感知、运行安全层面存在显著技术短板。

2、现有搭载ai辅助能力的新式ai-kvm仅依托屏幕视觉图像完成ocr(光学字符识别)识别、界面自动化操作,实际落地存在三大核心技术痛点,现有方案无完整解决路径:

3、1. 感知维度单一,离线故障完全失能:现有ai-kvm仅依赖视频视觉单一感知通道,当被控主机黑屏、bios自检报错、系统崩溃、硬盘宕机等无有效画面输出场景时,视觉ai完全丧失数据输入来源,无法开展底层硬件故障定位,仅能等待运维人员现场拆机排查,故障处置效率极低。

4、2. 算力部署矛盾突出,成本与隐私双重缺陷:方案分为两类:①kvm本地搭载高性能ai处理器完成多模态推理,大幅抬高设备bom硬件成本,批量机房部署经济性极差;②依赖公有云大模型远程推理,全部硬件感知原始数据外传云端,存在业务日志、设备底层硬件参数、服务器业务数据泄漏风险,同时持续调用云端大模型产生高额token计费,长期运维成本不可控。两类方案均无法兼顾低成本、数据本地闭环两大核心需求。

5、3. ai自主操作缺乏底层硬件拦截机制,高危操作不可控:基于大模型agent的自动化运维存在模型幻觉、恶意指令注入、逻辑推理偏差等问题,ai可直接生成删除系统分区、强制断电、格式化磁盘等高风险键鼠组合指令;现有防护仅依赖操作系统层面软件校验,一旦主机系统崩溃、内核失效,软件防护机制同步失效,无固件、物理信号层的兜底拦截手段,且缺少操作前数据回滚保障机制,极易引发服务器业务数据损毁。

6、此外,现有的基板管理控制器(bmc/ipmi)方案虽然具备带外管理能力,但其成本极高,且需要主板厂商深度配合与授权,通用性差,难以在存量设备和非服务器pc上普及。

7、综上,现有ai-kvm存在感知能力局限、算力架构失衡、安全防护层级不足三大核心技术瓶颈,亟需一套可实现全域硬件故障感知、本地算力闭环、固件级硬件安全兜底的新型智能kvm架构方案。

技术实现思路

1、本发明的目的在于提供一种基于本地算力复用与多模态全域感知的智能kvm设备及控制方法,在被控主机有npu/gpu硬件,安装有多模态融合模型、大语言运维llm模型和独立安全审查模型的情况下,旨在解决上述现有技术存在至少一个问题。

2、一方面,本技术提供了一种基于本地算力复用与多模态全域感知的智能kvm设备,连接远程主机和被控主机,包括主控模块、多模态全域感知模块、第一通信模块、第二通信模块、存储模块和安全沙箱模块;

3、主控模块是终端的核心计算单元,承担整机调度、运算、外设管理工作;

4、多模态全域感知模块包括听觉感知单元、硬件传感单元和视觉感知单元,采集多模态感知数据,多模态感知数据包括音频感知数据、硬件传感数据和视频感知数据,用于多模态融合分析判断;

5、第一通信模块用于和远程主机进行数据交换和接收用户指令;

6、第二通信模块用于和被控主机进行数据交换和发送指令;

7、存储模块用于存储大模型程序和日志文件;

8、主控模块和多模态全域感知模块、第一通信模块、第二通信模块、存储模块、安全沙箱模块连接。

9、优选的,听觉感知单元包括麦克风阵列,实时采集被控主机的音频感知数据。

10、优选的,根据权利要求1所述的智能kvm设备,其特征在于:硬件传感单元包括预留底层硬件传感总线接口,该接口直连被控主机主板硬件监控总线,旁路读取硬件传感数据。

11、优选的,视觉感知单元通过摄像头拍照或录像方式采集被控主机的屏幕或通过连接被控主机的视频输出接口的方式获得视频感知数据。

12、优选的,第一通信模块包括网线或wi-fi接口,第二通信模块包括usb接口。

13、优选的,主控模块控制第二通信模块,自动将大模型程序发送被控主机并运行,通过对多模态感知数据分析后生成一级合规指令,并发送至智能kvm设备。

14、优选的,主控模块控制第二通信模块把接收的一级合规指令发送至安全沙箱模块,完成硬件过滤后生成二级合规指令,通过第二通信模块发送至被控主机,控制被控主机执行修复操作。

15、优选的,安全沙箱模块支持安全指令白名单固件拦截策略、前置快照自动触发策略和故障一键回滚策略。

16、优选的,安全指令白名单固件拦截策略是内置运维操作安全指令白名单,对键鼠信号、底层控制指令做硬件级或软件级过滤;识别到高风险原始指令时,直接拦截物理输入信号,将高危操作转换为带权限校验的标准化底层安全api调用。

17、优选的,前置快照自动触发策略是针对高风险操作,安全沙箱模块下发指令前自动触发被控主机存储快照备份,留存操作前完整系统镜像。

18、优选的,故障一键回滚策略是若ai自动化运维操作引发被控主机异常,可依托被控主机存储快照备份恢复至操作前稳定状态。

19、优选的,主控模块对用户指令进行处理转换为键鼠模拟用户指令,经第二通信模块发送至被控主机。

20、另一方面,本技术提供了一种基于本地算力复用与多模态全域感知的智能kvm控制方法,基于上述的智能kvm设备实现,包括如下步骤:

21、s1:并行采集被控主机的多模态感知数据;

22、多模态感知数据包括音频感知数据、硬件传感数据和视频感知数据;

23、s2:通过第二通信模块将多模态感知数据和大模型程序传输至被控主机;

24、s3:被控主机完成多模态融合分析推理,生成一级合规指令和诊断报告;

25、大模型程序利用被控主机复用本地的npu/gpu闲置算力,对多模态感知数据,进行多模态融合分析、大模型推理、安全审查,生成一级合规指令和诊断报告;

26、s4:发送一级合规指令、诊断报告和日志文件至智能kvm设备;

27、诊断报告在主控模块控制下,经由第一通信模块发送至远程主机;

28、日志文件在主控模块控制下,存储在存储模块,便于远程主机调取查询;

29、s5:诊断处理;

30、如果诊断报告的诊断结果为被控主机需要修复,主控模块控制安全沙箱模块对一级合规指令进行硬件过滤后,生成二级合规指令,通过第二通信模块发送至被控主机,控制被控主机执行修复操作。

31、与现有技术相比,本发明的有益效果是:

32、 1.全域无死角故障诊断,打破传统视觉ai场景限制:本发明创新引入主板声学感知、底层硬件总线监测,在主机黑屏、bios报错、系统宕机等无视频画面场景下,仍可通过蜂鸣代码、电压温度、风扇异响等硬件底层信号完成故障定位,实现开机自检到系统崩溃全阶段故障自主诊断,解决现有ai-kvm黑屏后完全失效的核心痛点,大幅降低机房现场运维频次。

33、 2.轻量化端侧协同算力架构,同步实现低成本与数据隐私闭环:摒弃传统方案“kvm本地堆高算力芯片”或“依赖公有云大模型推理”两种缺陷路线,创造性将kvm定位为纯感知、执行硬件终端,全部ai多模态推理任务至被控主机现有npu/gpu闲置算力;一方面省去kvm高端处理器硬件开销,大幅降低设备批量部署bom成本;另一方面所有感知数据、推理计算、运维日志均留存本地,无需上传云端,彻底规避敏感设备数据泄漏风险,同时消除持续云端调用产生的token计费成本。

34、3. 双层安全防护,解决ai模型失控不可逆风险:构建“被控主机软件安全校验+kvm安全沙箱拦截”双重防护体系,不受被控主机操作系统崩溃、内核篡改影响;针对ai幻觉、恶意指令注入产生的高危操作,可从物理键鼠信号层面直接拦截,搭配操作前置快照与一键回滚机制,杜绝ai自动化运维引发的服务器数据丢失、系统瘫痪事故,填补现有软件防护机制失效后的安全兜底空白。

35、 4.全链路本地自主运维,适配离线机房、涉密主机场景:整套架构无需依赖外网云端算力,支持局域网、离线隔离机房、涉密服务器等无外网环境下ai自动化运维,拓展智能kvm的适用场景,弥补现有云端ai-kvm无法在内网涉密环境落地的短板。

36、5. 高兼容性与通用性:本方案为纯外挂式部署,不依赖被控主机的特定操作系统,也无需主板厂商提供bmc/ipmi授权,可广泛应用于各类新旧服务器、工业pc及普通桌面电脑,部署灵活,兼容性强。