一种基于嵌入式平台的人工智能测试代理系统及方法与流程
本发明涉及测试代理,具体涉及一种基于嵌入式平台的人工智能测试代理系统及方法。
背景技术:
1、随着人工智能技术的快速发展,利用ai agent替代人工进行重复性软件测试已成为提升测试效率的重要趋势,ai agent能够模拟用户操作、自动执行测试用例并分析测试结果,在持续集成、回归测试等场景中展现出显著优势,正逐步成为软件测试领域的关键技术手段。
2、目前,现有方法中,ai agent与被测软件通常运行于同一物理主机,agent通过操作系统api获取被测软件的界面截图和运行日志,并基于这些数据进行推理决策以生成下一步的测试操作指令,测试过程中,agent持续记录操作序列和ui状态变化,测试完成后生成测试报告供开发人员分析。
3、上述现有技术中,ai agent的模型推理过程大量占用cpu、gpu及内存资源,严重干扰被测软件的性能表现,导致测试结果失真;当测试操作触发操作系统蓝屏或死机时,agent随之终止,依赖操作系统api的截图和日志记录功能瞬间失效,崩溃前的关键ui状态和操作序列永久丢失;agent软件与主机环境深度耦合,难以在批量测试机器间实现标准化复制;引入外部协处理设备时又需分别连接电源线、网线和视频线,接线复杂,难以满足大规模部署的工程要求。
技术实现思路
1、针对相关技术中存在的不足之处,本发明的目的在于提供了一种基于嵌入式平台的人工智能测试代理系统及方法,以解决现有技术中ai agent运行于被测主机导致测试结果失真且操作系统崩溃时无法回溯故障现场的技术问题。
2、本发明提供一种基于嵌入式平台的人工智能测试代理系统,包括:
3、待测主机;
4、视频采集卡,其输入端连接所述待测主机的视频输出接口,用于获取所述待测主机的画面信号,并将所述画面信号转换为uvc视频流;
5、嵌入式人工智能代理主机,其通过第一usb线缆与所述待测主机连接,并通过第二usb线缆与所述视频采集卡的输出端连接,所述嵌入式人工智能代理主机包括:
6、usb复合设备模块,用于通过所述第一usb线缆建立rndis虚拟网络通道和usb hid设备模拟通道;
7、ai agent主程序模块,用于接收所述uvc视频流,基于所述uvc视频流进行推理决策得到推理决策理由,基于所述推理决策理由生成原子操作指令,并通过所述usb hid设备模拟通道发送至所述待测主机,以驱动所述待测主机执行测试操作;
8、心跳监测模块,用于在所述测试操作过程中,通过所述rndis虚拟网络通道监测所述待测主机的网络心跳状态,以及通过所述uvc视频流监测所述待测主机的视频流心跳状态;
9、故障判定模块,用于基于所述网络心跳状态和所述视频流心跳状态判定所述待测主机是否发生故障,生成故障判定结果。
10、通过将ai agent主程序模块设置于独立于待测主机的嵌入式人工智能代理主机中,使ai推理决策完全在外部硬件上运行,不占用待测主机的cpu、gpu及内存资源,避免了资源争抢导致的测试失真;
11、同时,视频采集卡从待测主机的视频输出接口独立获取画面信号并转换为uvc视频流,使画面采集不依赖于待测主机的操作系统,即使待测主机发生蓝屏或死机,代理主机仍可持续接收画面数据,为崩溃后的故障回溯提供独立的画面来源;
12、此外,usb复合设备模块在同一根usb线缆上建立rndis虚拟网络通道和usb hid设备模拟通道,实现了单线缆同时完成网络通信和输入指令传输,简化了部署的接线复杂度;
13、心跳监测模块通过两条独立的心跳链路从网络层和画面层两个维度同时监测待测主机的运行状态,任一链路失效不影响另一链路的监测结果,故障判定模块基于两种心跳状态的综合判定生成故障判定结果,从而在操作系统崩溃时能够准确识别故障状态。
14、本发明一些实施例中,所述usb复合设备模块具体用于:
15、通过所述嵌入式人工智能代理主机中存储的定制化usb设备驱动,对所述嵌入式人工智能代理主机的usb设备控制器进行配置,将所述usb设备控制器枚举为复合usb设备,以在所述第一usb线缆上形成所述rndis虚拟网络通道和所述usb hid设备模拟通道。
16、通过定制化usb设备驱动对嵌入式人工智能代理主机的usb设备控制器进行配置,将其枚举为复合usb设备,使得第一usb线缆能够在同一物理线路上同时承载rndis虚拟网络数据和usb hid设备模拟数据,实现了单根usb线缆同时完成网络通信和输入指令传输,从而无需额外连接网线和专用输入线缆,大幅简化了系统部署的接线复杂度。
17、本发明一些实施例中,所述嵌入式人工智能代理主机还包括:
18、循环缓冲区模块,用于在所述嵌入式人工智能代理主机的内存中开辟存储空间,所述存储空间被划分为视频帧存储区、原子操作指令存储区和推理决策理由存储区,分别用于持续缓存所述uvc视频流、所述原子操作指令和所述推理决策理由。
19、通过在嵌入式人工智能代理主机中设置循环缓冲区模块,将uvc视频流、原子操作指令和推理决策理由持续缓存在内存的三个独立存储区中,使测试过程中的画面变化、操作执行和决策逻辑被完整记录并保持时间对齐,从而为故障发生后提供完整的数据回溯基础,确保崩溃前的所有关键信息均被保留不丢失。
20、本发明一些实施例中,所述心跳监测模块包括:
21、网络心跳监测子模块,用于通过所述rndis虚拟网络通道向所述待测主机发送网络心跳包,若接收到所述待测主机基于所述网络心跳包返回的响应,则判定所述网络心跳状态为正常,若连续预设次数未接收到所述待测主机基于所述网络心跳包返回的响应,则判定所述网络心跳状态为丢失。
22、通过网络心跳监测子模块经由rndis虚拟网络通道向待测主机周期性发送心跳包并检测响应,能够实时感知待测主机的网络协议栈是否处于活动状态,从而在操作系统网络层面出现异常时第一时间获得状态反馈,为后续故障判定提供准确、及时的网络存活状态依据。
23、本发明一些实施例中,所述心跳监测模块还包括:
24、视频流心跳监测子模块,用于接收所述uvc视频流并检测所述uvc视频流中的画面帧是否发生变化,若所述画面帧发生变化,则判定所述视频流心跳状态为正常,若所述画面帧在预设时长内未发生变化,则判定所述视频流心跳状态为丢失。
25、通过视频流心跳监测子模块接收uvc视频流并检测其画面帧是否发生变化,能够在不依赖待测主机操作系统任何响应的情况下,独立判断待测主机的画面输出是否处于活动状态,从而在网络心跳丢失时仍能通过画面帧的持续变化确认待测主机显卡仍在正常输出,为区分操作系统崩溃与物理断电提供了关键判定依据。
26、本发明一些实施例中,所述故障判定模块具体用于:
27、若所述网络心跳状态为丢失且所述视频流心跳状态为正常,则所述故障判定结果为所述待测主机发生故障,并输出触发信号。
28、通过故障判定模块在网络心跳状态为丢失且视频流心跳状态为正常时输出触发信号,能够准确识别待测主机已发生操作系统级崩溃而非物理断电,从而在崩溃发生后立即触发后续数据保全流程,确保故障判定与数据保存之间的无缝衔接,最大程度减少故障现场数据的丢失风险。
29、本发明一些实施例中,所述嵌入式人工智能代理主机还包括:
30、黑匣子生成模块,其与所述循环缓冲区模块连接;
31、所述黑匣子生成模块用于在接收到所述触发信号时,冻结所述循环缓冲区,并从所述循环缓冲区模块中读取所述uvc视频流、所述原子操作指令和所述推理决策理由后,封装为黑匣子事件文件。
32、通过在嵌入式人工智能代理主机中设置与循环缓冲区模块连接的黑匣子生成模块,在接收到触发信号时冻结循环缓冲区并读取其中的uvc视频流、原子操作指令和推理决策理由后封装为黑匣子事件文件,能够将故障发生前完整的时间对齐数据固化为一个独立的结构化文件,为后续离线分析、回放和复现提供了可靠的数据载体。
33、本发明一些实施例中,所述嵌入式人工智能代理主机还包括:
34、本地存储模块,其与所述黑匣子生成模块连接,所述本地存储模块用于接收所述黑匣子事件文件,并将所述黑匣子事件文件写入所述嵌入式人工智能代理主机的快闪存储器卡中。
35、通过本地存储模块将黑匣子事件文件写入嵌入式人工智能代理主机的快闪存储器卡中,使得故障数据能够持久化保存在独立于待测主机的本地存储介质上,即使待测主机完全断电或损坏,黑匣子事件文件仍完整保留在代理主机的存储卡中,确保了数据保存的物理独立性和安全性。
36、本发明一些实施例中,所述嵌入式人工智能代理主机还包括:
37、独立通信模块,其与所述黑匣子生成模块连接,所述独立通信模块用于获取所述黑匣子事件文件,并通过外部互联网将所述黑匣子事件文件上传至远程服务器。
38、通过独立通信模块将黑匣子事件文件经外部互联网上传至远程服务器,使得故障数据能够在待测主机网络完全瘫痪的情况下仍通过独立的上传通道传输至云端,从而在代理主机本地的快闪存储器卡也发生故障时,仍能从远程服务器恢复完整的故障现场数据,大幅提高了数据存储的可靠性和可访问性。
39、本发明一些实施例进一步提供一种基于嵌入式平台的人工智能测试代理方法,包括:
40、在与待测主机连接的usb线缆上建立rndis虚拟网络通道和usb hid设备模拟通道;
41、获取待测主机的画面信号,将所述画面信号转换为uvc视频流;
42、基于所述uvc视频流进行推理决策得到推理决策理由,基于所述推理决策理由生成原子操作指令,并通过所述usb hid设备模拟通道发送所述原子操作指令至所述待测主机,以驱动所述待测主机执行测试操作;
43、在所述测试操作过程中,通过所述rndis虚拟网络通道监测所述待测主机的网络心跳状态,以及通过所述uvc视频流监测所述待测主机的视频流心跳状态;
44、基于所述网络心跳状态和所述视频流心跳状态判定所述待测主机是否发生故障,生成故障判定结果。
45、通过在与待测主机连接的usb线缆上建立rndis虚拟网络通道和usb hid设备模拟通道,使原子操作指令经由usb hid设备模拟通道发送、网络心跳状态经由rndis虚拟网络通道监测、画面信号经由独立的视频采集链路获取,实现了测试指令下发、状态监测和画面采集三条数据链路在物理层和逻辑层的完全解耦,任一链路发生故障均不影响其他链路的正常工作,从而保证了测试系统在复杂故障场景下的数据采集完整性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com