一种网络设备的业务稳定性测试方法、系统及工具与流程

1.本技术涉及计算机网络技术领域，尤其涉及一种网络设备的业务稳定性测试方法、系统及工具。


背景技术：

2.网络设备是指连接到网络中的物理实体。基本的网络设备有：计算机(个人电脑或服务器)、集线器、交换机、网桥、路由器、网关、网络接口卡(nic)、无线接入点(wap)、打印机和调制解调器、光纤收发器以及光缆等。
3.稳定性测试通过给系统加载一定的业务压力，让系统持续运行一段时间，检测系统是否能够稳定运行。进行长期业务稳定性测试时一般根据被测产品产品规格定义，在一定背景流量情况下进行直播、点播、上网、语音、wi
‑
fi等业务的长期测试，监控业务状态和质量情况。一般设备业务稳定性测试系统，由被测产品或系统与两个测试子系统构成：包括真实网络业务子系统以及网络业务仿真子系统。而测试结果评判：通过真实网络业务子系统内业务运行的情况辅助判断结果，例如ping的丢包情况，点播/直播节目播放情况并肉眼查看播放质量，pppoe状态；通过网络业务仿真子系统统计的数据丢包情况辅助判断结果；通过被测产品/系统自有的告警记录等方式确认业务状态和质量情况辅助判断结果。
4.现有技术中测试系统一般为局域网或者仿真数据类型较单一，与真实网络传输的数据存在种类和数量上的较大差异，与被测产品实际使用时的数据处理能力和状态存在较大差异。监控被测产品的方式是人为确认或ping或查看告警等，无法做到全程监控，如果业务发生异常未能记录准确的异常信息和发生时间，会增加根因分析和再次复现的难度。现有技术中测试系统存在传输数据的单一性以及无法对被测产品的状态信息和运行log全程监控的问题。


技术实现要素：

5.本技术提供了一种网络设备的业务稳定性测试方法、系统及工具，以解决现有技术中测试系统中传输数据的单一性以及无法对被测产品的状态信息和运行log全程监控的问题。
6.第一方面，本技术示出一种网络设备的业务稳定性测试方法，包括以下步骤：
7.将设备使用过程中传输的第一数据导入特殊网络数据攻击子系统；其中，所述第一数据包括真实网络数据、从客诉现网中获取的攻击数据或错误异常数据、测试用例设计的攻击流量数据；
8.特殊网络数据攻击子系统根据所述第一数据合成上行攻击数据包文件和下行攻击数据包文件；
9.通过数据包发送软件或测试仪器添加编辑完成的所述数据包文件设置循环发送，进行业务稳定性测试；
10.网络设备状态监控子系统获取被测设备的监控信息；所述监控信息根据被测设备
特性，包括以下参数状态：设备运行时间、认证状态、cpu、内存、wan/lan/wi
‑
fi接口状态、wan/lan/wi
‑
fi接口速率、设备或主芯片温度、当前告警信息以及主要进程状态；
11.根据所述监控信息按预设条件进行判断确定每一所述参数状态是否正常，得到判断结果，并记录参数得到实时参数和阶段性监控结果；
12.整合全测试过程的所述监控信息的判断结果，对所述实时参数进行信息处理和分析，得到分析结果；
13.将所述分析结果结合网络业务仿真子系统的数据传输丢包情况以及真实网络业务子系统的业务运行情况，得到长期业务稳定性测试结果。
14.第二方面，本技术示出一种网络设备的业务稳定性测试系统，所述系统包括网络业务仿真子系统、真实网络业务子系统、特殊网络数据攻击子系统以及网络设备状态监控子系统；
15.其中，所述特殊网络数据攻击子系统，用于接收设备使用过程中传输的第一数据；其中，所述第一数据包括真实网络数据、从客诉现网中获取的攻击数据或错误异常数据、测试用例设计的攻击流量数据；
16.根据所述第一数据合成上行攻击数据包文件和下行攻击数据包文件；
17.通过数据包发送软件或测试仪器添加编辑完成的所述数据包文件设置循环发送，进行业务稳定性测试；
18.其中，所述网络设备状态监控子系统通过telnet或串口方式连接被测设备；所述网络设备状态监控子系统可无人值守运行并自动保存测试记录；所述网络设备状态监控子系统用于获取被测设备的监控信息；所述监控信息根据被测设备特性，包括以下参数状态：设备运行时间、认证状态、cpu、内存、wan/lan/wi
‑
fi接口状态、wan/lan/wi
‑
fi接口速率、设备或主芯片温度、当前告警信息以及主要进程状态；
19.根据所述监控信息按预设条件进行判断确定每一所述参数状态是否正常，得到判断结果，并记录参数得到实时参数和阶段性监控结果；
20.整合全测试过程的所述监控信息的判断结果，对所述实时参数进行信息处理和分析，得到分析结果；
21.将所述分析结果结合网络业务仿真子系统的数据传输丢包情况以及真实网络业务子系统的业务运行情况，得到长期业务稳定性测试结果。
22.第三方面，本技术示出一种可自动运行的测试工具，所述测试工具根据设置指令和结果数据用于实现上述的一种网络设备的业务稳定性测试方法。
23.本技术的有益效果为：
24.本技术示出一种网络设备的业务稳定性测试方法应用于网络设备的业务稳定性测试系统。本技术示出的网络设备的业务稳定性测试系统包括网络业务仿真子系统、真实网络业务子系统、特殊网络数据攻击子系统以及网络设备状态监控子系统；特殊网络数据攻击子系统的作用，向被测产品发送特殊数据，提高仿真网络系统中数据的复杂性和多样性；网络设备状态监控子系统通过telnet/串口等方式连接被测设备用于监控设备状态。
25.本技术示出的网络设备的业务稳定性测试系统中，被测产品需处理的数据复杂性和多样性得到大幅提升，同时可以验证被测产品在大流量、多样性以及复杂性数据下的处理能力。运行本技术提供的网络设备的业务稳定性测试系统进行测试时，实现全程无人值
守，在整个测试过程中也可查看过去以及当前测试情况。根据本技术提供的网络设备的业务稳定性测试方法进行测试时，被测产品全程运行状态全记录，可保存反查，减少自恢复故障、数据流异常变化等一些问题的漏测，同时，可以在问题定位过程中提供确切数据，例如故障出现概率以及故障复现时间，以便更快确认问题原因和评估风险。
附图说明
26.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1为本技术示出的一种网络设备的业务稳定性测试系统；
28.图2为本技术示出的一种网络设备的业务稳定性测试系统运行示意图；
29.图3为本技术实施例示出的一种网络设备的业务稳定性测试方法流程图；
30.图4为本技术示出的网络设备状态监控子系统判断参数状态流程示意图；
31.图5为本技术示出的网络设备状态监控子系统判断参数状态的具体算法流程示意图；
32.图6为本技术实施例中预设特殊网络数据攻击子系统示意图；
33.图7为本技术实施例中excel文档监控参数记录结果。
具体实施方式
34.下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本技术相一致的所有实施方式。仅是与权利要求书中所详述的、本技术的一些方面相一致的系统和方法的示例。
35.参见图1，为本技术示出的一种网络设备的业务稳定性测试系统，所述系统包括网络业务仿真子系统、真实网络业务子系统、特殊网络数据攻击子系统以及网络设备状态监控子系统；
36.其中，所述特殊网络数据攻击子系统，用于接收设备使用过程中传输的第一数据；所述第一数据包括真实网络数据、从客诉现网中获取的攻击数据或错误异常数据、测试用例设计的攻击流量数据；
37.根据所述第一数据合成上行攻击数据包文件和下行攻击数据包文件；
38.通过数据包发送软件或测试仪器添加编辑完成的所述数据包文件设置循环发送，进行业务稳定性测试；
39.其中，所述网络设备状态监控子系统通过telnet/串口等方式连接被测设备；所述网络设备状态监控子系统可无人值守运行并自动保存测试记录；所述网络设备状态监控子系统用于获取被测设备的监控信息；所述监控信息根据被测设备特性，包括以下参数状态：设备运行时间、认证状态、cpu、内存、wan/lan/wi
‑
fi接口状态、wan/lan/wi
‑
fi接口速率、设备或主芯片温度、当前告警信息以及主要进程状态；
40.根据所述监控信息按预设条件进行判断确定每一所述参数状态是否正常，得到判断结果，并记录参数得到实时参数和阶段性监控结果；
41.整合全测试过程的所述监控信息的判断结果，对所述实时参数进行信息处理和分析，得到分析结果；
42.将所述分析结果结合网络业务仿真子系统的数据传输丢包情况以及真实网络业务子系统的业务运行情况，得到长期业务稳定性测试结果。
43.参见图2为本技术示出的一种网络设备的业务稳定性测试系统运行示意图。本技术增加特殊网络数据攻击子系统，能够提升网络数据的多样性和复杂性，其中包含网络中的正确报文和错误报文(可以不断累积完善)，进一步模拟真实网络环境，可以更加真实的预知被测产品的数据处理能力和产品质量。特殊网络数据攻击子系统的作用主要分为数据包合成和发送两部分。
44.本技术增加网络设备状态监测子系统，可以实现无人值守，全程跟踪并记录被测产品的状态和数据处理能力例如设备认证状态、cpu、内存、wan/lan/wi
‑
fi接口状态、wan/lan/wi
‑
fi接口速率、设备/主芯片温度、当前告警以及主要进程状态状态等信息，发现异常信息自动记录和提示。
45.参见图3是本技术实施例示出的一种网络设备的业务稳定性测试方法流程图，包括以下步骤：
46.s1：启动真实网络业务子系统测试，被测设备运行真实业务，业务正常。
47.s2：启动测试网络业务仿真子系统，设置测试数据，统计数据传输丢包情况。
48.s3：将设备使用过程中传输的真实网络数据、从客诉现网中获取的攻击数据/错误异常数据、测试用例设计的攻击流量数据载入特殊网络数据攻击子系统。
49.在一种可能的设计中，在被测设备使用过程中通过抓包工具获取，从客诉现网获取，或模拟数据攻击获取数据报文，通过数据包工具进行多段数据报文拼接成为一个新的数据包。
50.s4：特殊网络数据攻击子系统根据所述数据合成上行攻击数据包文件和下行攻击数据包文件；
51.其中，所述数据包括真实网络数据、从客诉现网中获取的攻击数据或错误异常数据、测试用例设计的攻击流量数据；
52.在网络设备中，数据是双向交互的，因此数据需分为上行数据与下行数据。所述上行数据包包括上行数据包1、上行数据包2，
…
，上行数据包n等若干数据包；下行数据包也包括下行数据包1、下行数据包2，
…
，下行数据包n等若干数据包，覆盖被测设备的所有需测试接口；其中，所述上行数据包包括向上经被测设备物理接口向局域网传输的数据包以及向上经被测设备wi
‑
fi接口向局域网传输的数据包；
53.所述下行数据包为向下经被测设备传输至终端用户的数据包。
54.在实际应用中，所述上行数据包1可为向上经被测设备lan接口向局域网传输的数据包，所述上行数据包可2为向上经被测设备wi
‑
fi接口向局域网传输的数据包。
55.所述上行数据包和下行数据包包含的报文种类有：主流电脑网卡/企业路由器/家庭路由器/交换机/防火墙/服务器发出的ipv4/ipv6 arp、icmp、igmpv2、igmpv3、udp、tcp数据包以及网络中捕获的错误数据包、异常数据包以及模拟攻击的数据包。
56.s5：通过数据包发送软件或测试仪器添加编辑完成的所述数据包文件设置循环发送，进行业务稳定性测试；
57.其中，将所述上行数据包经被测设备接口向局域网传输，将所述下行数据包经被测设备接口向终端传输。
58.在一可行性实施例中，特殊网络数据攻击子系统通过数据包发送软件/测试仪器，添加编辑好的数据包文件，设置循环发送，循环间隔5s，将上行数据包经被测设备接口向局域网传输，将下行数据包经被测设备接口向终端传输，持续发送。
59.在一种可能的设计中，特殊网络数据攻击子系统对测试产品进行长期业务稳定性测试；
60.如果打算无限次的进行业务稳定性测试，还可以增加所述数据包编辑的数量以及缩短数据包的发包间隔时间，发送所述数据包文件进行数据包攻击下的业务稳定性测试。
61.在实际应用中，本技术对被测产品长期进行稳定性的测试有不同的运行方案，当特殊网络数据攻击子系统合成好数据包之后，第一种可以按预设条件单次发送数据包文件(将上行数据包经被测设备接口向局域网传输，将下行数据包经被测设备接口向终端传输，持续发送)；第二种，特殊网络数据攻击子系统增加所述数据包编辑的数量以及缩短数据包的发包间隔时间，循环发送数据包文件进行数据包攻击下的长期业务稳定性测试。
62.s6：网络设备状态监控子系统获取被测设备的监控信息；
63.所述监控信息根据被测设备特性，包括以下参数状态：设备运行时间、认证状态、cpu、内存、wan/lan/wi
‑
fi接口状态、wan/lan/wi
‑
fi接口速率、设备或主芯片温度、当前告警信息以及主要进程状态；
64.当特殊网络数据攻击子系统运行稳定性测试后，网络设备状态监控子系统需要监控被测设备的参数状态，根据参数状态来得到现阶段设备稳定性测试的结果。
65.s7：根据所述监控信息按预设条件进行判断确定每一所述参数状态是否正常，得到判断结果，并记录参数得到实时参数和阶段性监控结果；
66.参见图4为本技术网络设备状态监控子系统判断参数状态流程示意图。当网络设备状态监控子系统获取被测设备的认证状态、cpu、内存、wan/lan/wi
‑
fi接口状态、wan/lan/wi
‑
fi接口速率、设备/主芯片温度、当前告警以及主要进程状态状态等信息后，需要通过函数算法对上述参数状态进行判断，判断每一参数状态是否正常。
67.将所述监控信息按预设条件的一定规则进行判断，确定每一所述参数状态是否正常，得到判断结果，并记录参数得到实时参数和阶段性监控结果，凸显异常结果，具体步骤如下：
68.s71：分析所述监控信息中参数状态类型；
69.s72：将分析后的所述参数状态进行对应函数算法计算，得到该参数状态的判断结果；
70.s73：待全部被监控的参数状态完成一个轮次判断后，整合全部被监控的参数状态的判断结果并输出。
71.所述被监控的参数状态类型包括：数值型以及状态型；每一函数均有输入值，函数算法包含对输入信息的换算、阈值设置、阈值结果判断、阈值记录、结果输出和异常结果统计提示，参见图5为本技术示出的网络设备状态监控子系统判断参数状态的具体算法流程示意图。
72.若被监控的参数状态为数值型，函数算法流程如下：
73.将监控信息进行参数换算得到监控值；
74.将所述监控值与预设高低阈值进行对比；
75.若监控值在高低阈值之间，则判断参数状态正常“ok”，记录参数值；
76.若监控值低于低阈值或高于高阈值，则判断参数状态为异常“nok”，本轮次nok结果计数结果 1；
77.若监控参数为状态型，函数算法流程如下：
78.将监控信息进行参数翻译得到监控值；
79.将监控信息进行参数与预设条件直接对比进行一致性判断；
80.若监控值与预设值一致，则判断参数状态正常“ok”，记录参数值；
81.若监控值与预设值不一致，则判断参数状态为异常“nok”，记录参数值，本轮次nok结果计数结果 1。
82.其中，每一监控信息均设置单独函数调用，以方便增删监控参数。
83.其中，一个轮次的参数状态全部完成判断后，对本轮次nok结果计数进行判断，若非0则将总nok结果计数 1，记录当前总nok结果计数；若为0则继续下一轮监控参数确认。
84.其中，网络设备状态监控子系统根据认证状态、cpu、内存、wan/lan/wi
‑
fi接口状态、wan/lan/wi
‑
fi接口速率、设备/主芯片温度、当前告警以及主要进程状态状态等信息，按顺序依次确认每一参数状态是否正常。因为每个参数状态均有其对应的函数算法，所以当判断某一参数状态为异常后，输出本次查询参数状态的判断结果为nok并记录参数，继续进行下一轮监控参数状态的判断，持续运作，直至自动停止或手动停止参数监控。当监控某一参数状态发生异常，网络设备状态监控子系统并不停止对被测产品进行监控，完成参数记录后继续进行后续监控。
85.在一种可能的设计中，网络设备状态监控子系统在预设条件下对被测产品的参数状态进行监控，其中预设条件包括：间隔时间为5s，在预设数据攻击次数内/无限次数进行循环监控。
86.当启动测试后，网络设备状态监控子系统自动新建文档(例如excel文件)，逐一记录预设监控参数、阈值、每轮次的实际参数值、轮次判断结果；其中，参数记录包括时间、参数项、参数值、高/低阈值、结果。测试脚本可运行于pc上并直连被测设备。
87.s8：整合全测试过程的所述监控信息的判断结果，对所述实时参数进行信息处理和分析，得到分析结果。
88.s9：将所述分析结果结合网络业务仿真子系统的数据传输丢包情况以及真实网络业务子系统的业务运行情况，得到长期业务稳定性测试结果。
89.s91：确认步骤s1的实际业务是否正常运行，得到第一结果。
90.s92：确认步骤s2的网络业务仿真子系统的丢包情况，得到第二结果。
91.s93：根据s91的第一结果、s92的第二结果以及s8的分析结果，汇总得出本次被测设备业务稳定性测试的总结果，业务稳定性测试完成。
92.在实际应用中，网络数据分析仪将全部参数记录进行数据处理得到对被测产品的稳定性测试结果，业务稳定性测试完成。
93.在一种可行的实施方案中，按照图6的设置，通过特殊网络数据攻击子系统对设备进行稳定性测试，最终如图7所示以excel文档的形式导出监控信息实时参数和阶段性监控
结果。
94.本技术示出的一种网络设备的业务稳定性测试系统的工作原理为：特殊网络数据攻击子系统将设备使用过程中传输的真实网络数据、从客诉现网中获取的攻击数据/错误异常数据、测试用例设计的攻击流量导入特殊网络数据报文合成多个上行数据包和下行数据包后，通过被测设备的不同测试接口，将上行数据包向上经被测设备向局域网传输，将下行数据包向下经被测设备传输至终端用户在预设条件内循环发送特殊网络数据攻击包进行业务稳定性测试；网络设备状态监控子系统通过telnet/串口等方式连接被测设备，获取被测设备的监控信息，将所述监控信息中的每一个参数状态进行函数算法运算得到监控判断结果并记录监控参数数值，整合全过程监控信息的判断结果，对部分参数记录进行信息处理和分析，结合网络业务仿真子系统的数据传输丢包情况、真实网络业务子系统的业务运行情况，得到长期业务稳定性测试结果，业务稳定性测试完成。
95.以上结合具体实施例和范例性示例对本技术进行了详细说明，不过这些说明并不能理解为对本技术的限制。本领域技术人员理解，在不偏离本技术精神和范围的情况下，可以对本技术技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本技术的范围内，本技术的保护范围以所附权利要求为准。