一种视觉驱动的拟人化硬件自动输入装置的制作方法
本发明属于计算机外设与智能控制,具体涉及一种视觉驱动的拟人化硬件自动输入装置。
背景技术:
1、现有计算机自动化操作技术主要分为三类,均存在不可规避的技术缺陷:
2、纯软件脚本/api模拟方案:依赖系统sendinput、截屏api、内存读取接口实现操作,所有行为被系统内核日志完整记录,主流安全检测系统可直接识别标记,极易被拦截,无法商用稳定运行。
3、电脑端ai视觉方案:基于电脑本地软件或云端ai实现画面识别,需要安装客户端、占用主机进程、调用系统图形接口,存在系统侵入特征,属于风控重点检测对象,无法实现真正静默运行。
4、传统硬件录制回放设备:仅支持固定坐标、固定时序的机械重复操作,无自主视觉识别能力,界面轻微变化即失效,无自适应能力、无拟人行为优化,智能化程度极低。
5、现有所有技术方案,均无法同时满足:无主机侵入、全离线运行、自主视觉识别、真人化随机操作、跨系统全兼容、风控静默无痕迹。基于以上行业空白,本发明提出纯硬件全闭环离线拟人化自动操作架构,填补国内外技术空白。
技术实现思路
1、本发明的目的在于提供一种视觉驱动的拟人化硬件自动输入装置,彻底解决现有自动化技术依赖主机系统、依赖软件程序、依赖云端算力、操作机械化、易被风控检测、兼容性差、稳定性弱的行业痛点。
2、本发明通过以下技术方案实现:一种视觉驱动的拟人化硬件自动输入装置,包括独立外设壳体,以及集成于壳体内的视觉采集单元、嵌入式ai运算单元、标准hid硬件输出单元。三大核心单元集成于同一壳体内部,通过内部数据总线完成数据交互,所有画面数据仅在壳体内流转,不向外传输。整套装置以标准hid外设身份接入主机,实现全静默、无痕迹、拟人化电脑自动化操作。
3、进一步地,所述视觉采集单元包括光学摄像采集模块和数字视频直采模块,支持场景自适应切换;所述嵌入式ai运算单元内置带ai加速能力的嵌入式处理器及离线ai模型;装置还可集成硬件拟人行为模拟单元、固件层设备指纹动态隔离单元、离线任务调度单元,实现拟人化输出、设备特征隔离与自主任务调度。
4、所述视觉采集单元的信号采集端独立于被控主机的系统数据总线,具体为:光学摄像采集模块通过物理拍摄被控主机屏幕获取画面,数字视频直采模块通过视频分配器获取被控主机显示输出信号。两种采集方式均不接入被控主机的系统总线、不调用系统截屏接口、不读取内存数据。所述视觉采集单元与被控主机之间仅存在物理层面的光学或视频信号连接,不存在系统指令与内存数据交互。
5、所述带ai加速能力的嵌入式处理器,可以是集成npu的异构soc芯片,也可以是带dsp扩展指令集的mcu,或是具备边缘推理能力的低功耗gpu。只要能够在端侧独立完成离线模型推理,均属于本发明所述嵌入式处理器的范畴。
6、 所述标准人机接口协议,包括usb hid、蓝牙hid、2.4g无线hid等。无论采用有线还是无线方式,只要输出信号符合标准hid协议规范、被控主机将其识别为普通外设,均属于本发明所述标准hid硬件输出单元的实现方式。
7、有益效果
8、与现有技术相比,本发明具有以下有益效果:
9、1. 零主机侵入,彻底消除风控检测风险:采用独立外设全硬件闭环架构,无软件进程驻留、无系统api调用、无内存读取行为,主机侧仅识别为普通标准外设,无任何自动化特征,从底层规避风控检测。
10、 2. 双路冗余设计,全场景稳定运行:光学加数字双路视觉自适应切换,解决强光、反光、暗光、屏幕畸变导致的识别失效问题,环境适应性大幅提升。
11、3. 硬件级拟人优化,行为特征无法甄别:通过三阶贝塞尔曲线、高斯微抖动、对数正态时序分布生成操作指令,统计特征与真人操作高度一致,杜绝机械化固定轨迹的识别风险。
12、4. 全离线端侧运行,隐私安全性高:所有画面采集、ai推理、指令生成均在本地硬件内完成,无需联网、不上传数据、不依赖云端算力,杜绝数据泄露风险。
13、5. 标准协议通用兼容,适配全平台:采用标准hid人机接口协议,免驱即插即用,兼容windows、macos、linux、安卓等所有支持标准外设的系统,不受内核权限、内网策略限制。
1.一种视觉驱动的拟人化硬件自动输入装置,包括独立外设壳体,其特征在于,所述独立外设壳体内部集成有视觉采集单元、嵌入式ai运算单元、标准hid硬件输出单元;
2.根据权利要求1所述的装置,其特征在于,所述视觉采集单元包括光学摄像采集模块和数字视频直采模块;所述数字视频直采模块支持hdmi、dp、type-c中的至少一种视频输入协议;所述嵌入式ai运算单元内置场景自适应切换逻辑,用于控制所述光学摄像采集模块与数字视频直采模块的模式切换:常规室内场景默认启用光学摄像模式,强光、反光场景自动启用数字视频直采模式。
3.根据权利要求1所述的装置,其特征在于,所述带ai加速能力的嵌入式处理器包括npu、带ai加速指令集的mcu、dsp、边缘gpu中的至少一种。
4.根据权利要求1所述的装置,其特征在于,所述标准人机接口协议包括usb hid、蓝牙hid、2.4g无线hid中的至少一种。
5.根据权利要求1所述的装置,其特征在于,还包括集成于所述独立外设壳体内部的硬件拟人行为模拟单元,所述硬件拟人行为模拟单元对所述嵌入式ai运算单元生成的键鼠操作指令施加硬件级随机化修饰,包括:基于三阶贝塞尔曲线生成鼠标非线性平滑轨迹,鼠标移动轨迹逐点叠加均值为0、标准差为0.5-1.5像素的高斯微抖动;物理按键按压时长在80-120ms区间随机分布,操作间隔服从对数正态分布。
6.根据权利要求1所述的装置,其特征在于,还包括集成于所述独立外设壳体内部的固件层设备指纹动态隔离单元,所述固件层设备指纹动态隔离单元在硬件固件层动态轮换usb设备vid、pid、设备描述符、设备序列号;轮换周期在10s至300s动态切换;单主机多账号作业时,通过所述视觉采集单元识别画面窗口特征匹配对应账号,为不同操作窗口分配独立虚拟设备特征。
7.根据权利要求1所述的装置,其特征在于,还包括集成于所述独立外设壳体内部的离线任务调度单元,所述离线任务调度单元基于所述视觉采集单元获取的画面信息识别界面状态,基于界面状态识别结果,自主执行任务启停、步骤跳转、异常重试、弹窗处理与容错操作。
8.根据权利要求1所述的装置,其特征在于,所述离线ai模型为经过剪枝、量化、蒸馏优化的轻量化ui识别模型,支持int8定点推理,可在所述嵌入式处理器上实时运行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com