一种测试脚本调度方法、系统、服务器及中转交换机与流程
本发明涉及自动化测试领域,尤其涉及一种测试脚本调度方法、系统、服务器及中转交换机。
背景技术:
1、在传统自动化技术领域,特别是网络设备的自动化测试中,通常采用交换机作为中转机实现物理拓扑向逻辑拓扑的扩展,其核心逻辑是调度系统基于交换机的“同vlan透传+vlan划分”功能,灵活地将物理连接的多台被测设备(device under test,简称dut)、辅测设备(surveillance and testing device, 简称std)和测试仪(test center, 简称tc)动态组合,实现测试环境组网和服务器中测试脚本的执行。
2、现有的自动化测试调度系统主要围绕“环境搭建-调度执行-日志分析”的核心流程展开。主要包括以下流程:
3、1.环境搭建:确定dut、std、测试仪、中转交换机等设备的数量以及各设备需要的链路数量。随后根据链路数量要求采用实际的物理链路依次将dut、std、测试仪分别与中转交换机相连,并通过端口down-up/ping通信等方法检查其通信状态,确认连接两端直连畅通后将此连接关系记录到服务器中。初始的环境连接关系主要是指设备和中转交换机之间的物理连线,测试任务下发后进行测试组网时会进行虚拟局域网(virtual local areanetwork,简称vlan)划分。
4、2.调度执行:首先,服务器创建测试任务并下发给其调度系统;其次,调度系统进行包括设备集过滤、设备组合、设备接口过滤、设备接口组合等在内的测试任务预处理。接着,调度系统根据测试任务预处理结果生成实际测试网络,并执行测试脚本。最后,生成执行结果并上传。
5、3.日志分析:相关技术人员根据调度执行日志分析失败、异常等日志。
6、现有的自动化测试调度系统存在以下缺陷:
7、1.忽略中转交换机性能瓶颈:测试脚本流量转发完全依赖于中转交换机,而不同的流量类型在中转交换机上转发路径并不相同。调度系统在使用中转交换机转发测试脚本流量时,仅关注设备链路的可用性,而未充分考虑中转交换机自身的性能限制,特别是其中央处理器(cpu)的处理能力。测试脚本流量通常可简单分为二层流量和三层流量,其中,二层流量根据mac地址由交换芯片直接转发,转发速度快、转发路径短,对测试脚本执行影响较小;三层流量转发时需要解析数据包信息并上传至cpu处理,而中转交换机的cpu通常存在限速机制(cpu限速的核心目的是对cpu资源的使用进行管控与分配,避免单一进程/用户/业务过度占用cpu,保障系统、设备或应用的稳定性、公平性和安全性),当并发的上送报文较多时会相互影响,从而影响测试脚本执行。例如,如图2所示,现有两个测试脚本:测试脚本1发送链路:dut1—(a2接口)中转机(a8接口)—tc1;测试脚本2发送链路:dut2—(a4接口)中转机(a6接口)—std1,当测试脚本1发送了大量需要上中转机的cpu的arp(addressresolution protocol,地址解析协议)报文时,会占用队列0,如果此时队列0被长时间满限速占用,再下发测试脚本2的执行任务,测试脚本2的arp报文无法及时上送到cpu处理,导致测试脚本2测试失败。
8、2.未考虑脚本并发执行的相互影响:当多个测试脚本并行执行,且这些测试脚本都产生需上送cpu的报文时,这些报文会竞争中转交换机cpu的有限资源。若并发报文总量超过cpu的限速,将导致报文丢包,进而使得依赖这些报文交互的测试脚本执行失败。这种失败是概率性的,且难以排查,降低了自动化测试的稳定性和效率。
9、因此,如何在利用中转交换机构建灵活测试环境的同时,有效管理并发测试脚本对中转交换机cpu资源的竞争,成为亟待解决的技术问题。
技术实现思路
1、本发明的目的在于克服现有技术中存在的问题,提供了一种测试脚本调度方法、系统、服务器及中转交换机。
2、本发明的目的是通过以下技术方案来实现的:
3、本发明的第一方面,提供一种测试脚本调度方法,应用于包括服务器、中转交换机、多个被测设备、多个辅测设备和多个测试仪的测试系统,包括以下步骤:
4、s1.所述服务器为每个测试脚本生成唯一的性能特征标签;所述性能特征标签至少包括基础属性、报文属性以及队列属性,所述基础属性包括脚本唯一id以及执行优先级;所述报文属性用于标记所述测试脚本在执行过程中是否产生需上送中转交换机的cpu处理的报文;所述队列属性包括上送中转交换机的cpu处理的报文类型和所对应的队列号以及历史峰值速率;
5、s2.所述服务器基于所述测试脚本创建测试任务集,并从所述测试任务集中筛选满足组网要求的待执行任务组;
6、s3.所述服务器向所述中转交换机发送性能检测请求;
7、s4.所述中转交换机响应于所述性能检测请求,检测其性能参数,并将所述性能参数返回给所述服务器;所述性能参数至少包括中转交换机的cpu中当前各队列的静态限速以及实时可用限速;
8、s5.所述服务器基于所述中转交换机的性能参数以及测试脚本的性能特征标签,对所述待执行任务组中测试脚本进行筛选,得到可执行脚本队列;
9、s6.所述服务器按照执行优先级调度所述可执行脚本队列中的测试脚本,并将调度的测试脚本下发至所述中转交换机及相应的被测设备、辅测设备和测试仪执行;
10、s7.在调度的测试脚本执行过程中,所述中转交换机实时监控实际上送cpu的报文速率,并将实际上送cpu的报文速率发送至所述服务器;
11、s8.所述服务器将实际上送cpu的报文速率与对应测试脚本的历史峰值速率进行对比,根据两者偏差调整测试脚本的执行状态。
12、在一些实施例中,在步骤s5中,对所述待执行任务组中测试脚本进行筛选,得到可执行脚本队列,具体包括:
13、将所述待执行任务组中的测试脚本按照执行优先级从高到低排序;
14、对于标记不需要上中转交换机的cpu的测试脚本,直接纳入可执行脚本队列;
15、对于标记需要上中转交换机的cpu的测试脚本,按执行优先级依次采用峰值匹配算法判断测试脚本是否满足限速要求,将满足限速要求的测试脚本纳入可执行脚本队列。
16、在一些实施例中,所述按执行优先级依次采用峰值匹配算法判断测试脚本是否满足限速要求,包括:
17、依次判断标记需要上中转交换机的cpu的测试脚本,在cpu中各队列上的峰值速率总和加上当前待筛选测试脚本在各对应队列上的历史峰值速率后,是否不超过对应队列的实时可用限速,如是,则判断满足限速要求,以将该测试脚本纳入可执行脚本队列。
18、在一些实施例中,所述静态限速基于中转交换机的硬件参数确定,并采用预留冗余机制设置冗余静态限速。
19、在一些实施例中,在步骤s6中,所述按照执行优先级调度所述可执行脚本队列中的测试脚本,包括:
20、将可执行脚本队列中的测试脚本划分为一个或多个执行组,按照执行组的生成顺序依次调度每个执行组,每个执行组内部的测试脚本按照执行优先级顺序进行调度;其中,在每个执行组内保证峰值速率总和小于等于实时可用限速,并在进行峰值匹配算法计算时,对高优先级测试脚本的历史峰值速率进行加权折算。
21、在一些实施例中,在步骤s8中,所述根据两者偏差调整测试脚本的执行状态,包括:
22、若偏差超过预设阈值,则将对应测试脚本迁移至隔离执行队列单独执行,并触发标签修正,自动更新对应测试脚本的性能特征标签。
23、本发明的第二方面,提供一种测试脚本调度方法,应用于中转交换机,包括以下步骤:
24、s1.响应于服务器发送的性能检测请求,检测本中转交换机的性能参数,并将所述性能参数返回给所述服务器;
25、s2.接收所述服务器下发的测试脚本,并配合相应的被测设备、辅测设备和测试仪执行测试脚本;
26、s3.在测试脚本执行过程中,实时监控实际上送cpu的报文速率,并将实际上送cpu的报文速率发送至所述服务器。
27、本发明的第三方面,提供一种测试系统,包括服务器、中转交换机、多个被测设备、多个辅测设备和多个测试仪,所述服务器,用于为每个测试脚本生成唯一的性能特征标签;所述性能特征标签至少包括基础属性、报文属性以及队列属性,所述基础属性包括脚本唯一id以及执行优先级;所述报文属性用于标记所述测试脚本在执行过程中是否产生需上送中转交换机的cpu处理的报文;所述队列属性包括上送中转交换机的cpu处理的报文类型和所对应的队列号以及历史峰值速率;
28、所述服务器,还用于基于所述测试脚本创建测试任务集,并从所述测试任务集中筛选满足组网要求的待执行任务组;
29、所述服务器,还用于向所述中转交换机发送性能检测请求;
30、所述服务器,还用于基于所述中转交换机的性能参数以及测试脚本的性能特征标签,对所述待执行任务组中测试脚本进行筛选,得到可执行脚本队列;所述性能参数至少包括中转交换机的cpu中当前各队列的静态限速以及实时可用限速;
31、所述服务器,还用于按照执行优先级调度所述可执行脚本队列中的测试脚本,并将调度的测试脚本下发至所述中转交换机及相应的被测设备、辅测设备和测试仪执行;
32、所述服务器,还用于将中转交换机发送来的实际上送cpu的报文速率与对应测试脚本的历史峰值速率进行对比,根据两者偏差调整测试脚本的执行状态;
33、所述中转交换机,用于响应于所述性能检测请求,检测其性能参数,并将所述性能参数返回给所述服务器;
34、所述中转交换机,还用于接收所述服务器下发的测试脚本,并配合相应的被测设备、辅测设备和测试仪执行测试脚本;
35、所述中转交换机,还用于在调度的测试脚本执行过程中,实时监控实际上送cpu的报文速率,并将实际上送cpu的报文速率发送至所述服务器。
36、本发明的第四方面,提供一种服务器,包括:
37、脚本标签生成模块,用于为每个测试脚本生成唯一的性能特征标签;所述性能特征标签至少包括基础属性、报文属性以及队列属性,所述基础属性包括脚本唯一id以及执行优先级;所述报文属性用于标记所述测试脚本在执行过程中是否产生需上送中转交换机的cpu处理的报文;所述队列属性包括上送中转交换机的cpu处理的报文类型和所对应的队列号以及历史峰值速率;
38、测试任务筛选模块,用于基于所述测试脚本创建测试任务集,并从所述测试任务集中筛选满足组网要求的待执行任务组;
39、性能检测请求模块,用于向所述中转交换机发送性能检测请求;
40、测试脚本筛选模块,用于基于所述中转交换机的性能参数以及测试脚本的性能特征标签,对所述待执行任务组中测试脚本进行筛选,得到可执行脚本队列;所述性能参数至少包括中转交换机的cpu中当前各队列的静态限速以及实时可用限速;
41、调度执行模块,用于按照执行优先级调度所述可执行脚本队列中的测试脚本,并将调度的测试脚本下发至所述中转交换机及相应的被测设备、辅测设备和测试仪执行;
42、执行反馈模块,用于将中转交换机发送来的实际上送cpu的报文速率与对应测试脚本的历史峰值速率进行对比,根据两者偏差调整测试脚本的执行状态。
43、本发明的第五方面,提供一种中转交换机,包括:
44、性能检测响应模块,用于响应于服务器发送的性能检测请求,检测其性能参数,并将所述性能参数返回给所述服务器;
45、脚本执行模块,用于接收所述服务器下发的测试脚本,并配合相应的被测设备、辅测设备和测试仪执行测试脚本;
46、执行监测模块,用于在测试脚本执行过程中,实时监控实际上送cpu的报文速率,并将实际上送cpu的报文速率发送至所述服务器。
47、需要进一步说明的是,上述各选项实施例对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。
48、与现有技术相比,本发明有益效果是:
49、1.本发明获取测试脚本的性能特征标签(包括报文属性、队列标识、历史峰值速率)和中转交换机cpu各队列的实时可用限速,并采用峰值匹配算法(峰值速率总和小于等于实时可用限速)确定可并行执行的可执行脚本队列。本发明通过峰值匹配的刚性约束条件,在测试脚本执行前就对中转交换机cpu资源进行精确的“预算分配”,确保任意时刻、任意队列上的并发报文总量始终低于cpu的实际处理上限。这种基于“峰值速率总和小于等于实时可用限速”的调度机制,彻底解决并行测试脚本上 cpu 报文超限导致的丢包问题,使得原本概率性、难以复现的测试失败问题得以彻底解决,显著提升了自动化测试,特别是大规模并行测试的成功率和稳定性。
50、2.本发明在峰值匹配算法中引入执行优先级和加权折算机制,为高优先级脚本提供了资源获取的优先级优势,在相同的cpu限速约束下,经过加权折算后的脚本更容易满足“峰值速率总和≤可用限速”的判断条件,从而被优先纳入可执行脚本队列。这一设计充分考虑了实际测试场景中的任务紧迫性差异,使得紧急回归测试、核心功能验证等高价值任务能够获得优先调度权,即使在资源紧张的情况下也能确保关键测试不被阻塞,实现了测试资源的动态优化配置。
51、3.本发明在脚本执行过程中由中转交换机实时监控实际上送cpu的报文速率,并将监控数据发送至服务器;服务器将实际速率与历史峰值速率进行比对,当偏差超过预设阈值时,调整脚本执行状态或触发性能特征标签的修正。避免单一脚本的异常行为影响整个测试集群。更重要的是,实际执行数据被反哺用于更新性能特征标签,使得性能特征标签中的历史峰值速率不断逼近真实值,调度算法的决策依据也随之持续优化。这种自适应迭代能力使得本发明的调度系统能够随测试脚本和硬件环境的变化自我进化,无需人工频繁介入维护,大大降低了长期运维成本。
52、4.本发明将已纳入可执行脚本队列的测试脚本,进一步划分为一个或多个执行组。本发明通过精细化的分组优化,在不超过任一队列限速的前提下,尽可能地将更多脚本纳入并行执行,这种执行组划分策略既避免了资源闲置,又防止了资源过载,最大限度地提升了测试执行的并行度和硬件资源的利用率,从而缩短了整体测试周期。
53、5.本发明的脚本标记、性能检测、峰值匹配算法、优先级加权、执行反馈等,不涉及对中转交换机硬件架构的任何改动。在现有物理设施基础上实现了性能感知的智能调度。无需更换现有交换机硬件,仅通过软件层面的标记、监测与调度逻辑改造实现,改造成本低,具有良好的产业推广价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com