一种协议的测试方法、装置、电子设备及存储介质与流程

1.本技术涉及网络安全技术领域，具体而言，涉及一种协议的测试方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.如今的网络中存在着各种各样的协议，包括网络协议、工控协议，物联网设备中也存在着各种各样的协议。协议的处理是由程序完成，因此很自然的将模糊测试技术与协议处理程序相结合，来找到这些程序中的漏洞。
3.目前，针对协议的模糊测试的主要工作都集中于未知协议的逆向分析和基于协议格式对测试样本进行生成和变异。这些方法能够发现软件对于协议报文处理不当的异常，但无法发现非常规测试序列对程序的影响。
4.在少量的聚焦于协议状态的模糊测试方法中，通常采用遍历协议状态机的方法来指导模糊测试序列生成，但可能会造成组合爆炸、测试不完全等问题。
5.总体上看，现有的模糊测试技术没有充分利用协议状态转换关系开展测试，在测试实施过程中较为盲目，测试效率低下，测试的覆盖率偏低。


技术实现要素：

6.本技术实施例的目的在于提供一种协议的测试方法、装置、电子设备及计算机可读存储介质，能够对模糊测试中的测试效果和测试反馈提供支撑。
7.本技术实施例提供了一种协议的测试方法，包括：
8.获取测试样本；
9.利用强化学习模型对所述测试样本进行处理，获取反馈结果和模糊测试结果；
10.将所述反馈结果输入预设的有限状态自动机模型，获取统计结果，所述统计结果用于检验所述模糊测试结果。
11.在上述实现过程中，首先获取测试样本，通过强化学习模型对测试样本进行处理，获得反馈结果和测试结果。本技术预设了有限状态自动机模型，将强化学习模型的输出结果输入到有限状态自动机模型，获得统计结果。基于统计结果，能够为模糊测试结果的测试效果和测试反馈提供支撑，以改善后续的强化学习模型，避免后续测试实施过程盲目，测试效率低下，测试的覆盖率偏低的技术问题。
12.进一步地，所述利用强化学习模型对所述测试样本进行处理，获取反馈结果和模糊测试结果的步骤，包括：
13.步骤一：获取协议实体；
14.步骤二：初始化所述强化学习模型中的策略、所述强化学习模型中的q值表和所述协议实体的状态；
15.步骤三：根据所述q值表、所述协议实体的状态获取当前策略；
16.步骤四：在所述测试样本中获取与所述协议实体的状态对应的协议类型的测试用
例；
17.步骤五：根据所述当前策略对所述测试用例进行变异，得到变异测试用例；
18.步骤六：根据所述当前策略对所述协议实体的状态进行改变；
19.步骤七：将所述变异测试用例输入所述协议实体，得到所述反馈结果；
20.步骤八：根据所述反馈结果更新所述策略和所述q值表；
21.步骤九：根据更新后的所述策略获取所述模糊测试结果；
22.步骤十：重复步骤三到步骤九。
23.在上述实现过程中，首先获取了协议实体，初始化了强化学习模型中的策略、q值表和协议实体的初始状态，接着，根据q值表、协议实体的状态获取当前策略，获取与协议实体的状态对应的协议类型的测试用例，基于当前策略对测试用例进行变异，得到变异测试用例，将测试用例输入协议实体，得到反馈结果，根据当前策略对所述协议实体的状态进行改变，根据反馈结果更新策略和q值表，最后基于更新后的策略获取所述模糊测试结果。与现有技术不同的是，本技术实施例在每一次循环时将测试用例进行变异，得到新的强针对性的变异测试样本，同时，在对协议进行模糊测试时，引入协议实体的状态维度变化，更新后的所述策略获取所述模糊测试结果。
24.进一步地，所述策略包括：协议实体状态转移策略和测试样本变异策略；
25.所述协议实体状态转移策略用于对所述协议实体的状态进行改变；
26.所述测试样本变异策略用于对所述测试用例进行变异，得到所述变异测试用例。
27.在上述实现过程中，在对协议测试的过程中引入了状态维度，优化了测试样本的生成和选择，增加了模糊测试在状态维度的覆盖面，提高了整体的测试范围和测试效果，利用强化学习来判断样本变异的策略，可以达到局部最优解，效率更高。使用状态转移情况作为强化学习奖励因素，考虑了状态对样本的影响，对内部维护一个有限状态机具有更强的针对性。
28.进一步地，所述反馈结果包括：代码覆盖率和所述协议实体的状态，所述模糊测试结果包括所述协议实体状态转移策略和所述测试样本变异策略；
29.所述根据所述反馈结果更新所述策略的步骤，包括：
30.判断所述代码覆盖率的提高速度是否超过预设阈值；
31.若是，提升所述测试样本变异策略的权重值；
32.若否，提升所述协议实体状态转移策略的权重值；
33.所述根据所述反馈结果获取所述模糊测试结果的步骤，包括：
34.根据所述测试样本变异策略的权重值将所述测试样本变异策略确定为所述模糊测试结果；
35.根据所述协议实体状态转移策略的权重值将所述协议实体状态转移策略确定为所述模糊测试结果。
36.在上述实现过程中，反馈结果包括两个维度的变化，代码覆盖率以及协议状态的变化信息，根据这两个因素更新策略的权重值，这两个权重能决定这两个策略是否为模糊测试结果。基于上述实施方式，能够提高模糊测试结果的准确率。
37.进一步地，所述预设的有限状态自动机模型为：
38.m＝{s,i,o,s0,f,λ}；
39.其中，s＝[s0,s1,s2...sn]为所述测试用例的状态集合，i为输入元素的集合，所述输入元素为所述协议实体关于所述测试样本的输出信息，f状态转移函数；λ为所述测试用例的状态与所述输入元素的输出函数；o为所述输出函数的输出元素的集合，所述输出元素用于确定所述测试用例的状态对应的状态转移函数，s0为所述测试用例的初始状态；所述反馈结果包括：所述输入元素。
[0040]
在上述实现过程中，定义了有限状态自动机模型，并且，以反馈结果为输入元素，确定出当前测试样本的状态。基于上述实施方式，能够获取更精确的统计结果，为模糊测试的结果提供支撑。
[0041]
进一步地，所述将所述反馈结果输入预设的有限状态自动机模型，获取统计结果的步骤，包括：
[0042]
遍历所述测试用例的状态集合；
[0043]
根据所述测试用例的状态集合中所述测试用例的状态、所述输入元素和所述输出函数获取所述输出元素；
[0044]
根据所述输出元素和所述输出元素的集合获取所述测试用例的当前状态；
[0045]
根据所述测试用例的当前状态和所述状态转移函数获取所述测试用例的转移状态。
[0046]
在上述实现过程中，通过输入元素获取输出元素，再通过输出函数获取当前的状态，再通过当前的状态以及状态转移函数获取当前状态的下一个状态。
[0047]
进一步地，在所述获取所统计结果的步骤之后，还包括：
[0048]
利用有向图存储所述测试用例的当前状态和所述测试用例的转移状态。
[0049]
在上述实现过程中，利用有向图对有限状态自动机的输出结果进行存储，能够方便后续观察多个状态之间的转移关系。
[0050]
第二方面，本技术提供一种协议的模糊测试装置，包括：
[0051]
获取模块，用于获取测试样本；
[0052]
反馈结果获取模块，用于利用强化学习模型对所述测试样本进行处理，获取反馈结果；
[0053]
统计结果获取模块，用于将所述反馈结果输入预设的有限状态自动机模型，获取统计结果。
[0054]
第三方面，本技术实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
[0055]
第四方面，本技术实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
[0056]
本技术公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本技术公开的上述技术即可得知。
[0057]
为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0058]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0059]
图1为本技术实施例提供的协议测试方法的流程示意图；
[0060]
图2为本技术实施例提供的协议测试装置的结构图；
[0061]
图3为本技术实施例提供的电子设备的结构图。
具体实施方式
[0062]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
[0063]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0064]
实施例1
[0065]
参见图1，本技术实施例提供一种协议的测试方法，包括：
[0066]
s1：获取测试样本；
[0067]
s2：利用强化学习模型对测试样本进行处理，获取反馈结果和模糊测试结果；
[0068]
s3：将反馈结果输入预设的有限状态自动机模型，获取统计结果，统计结果用于检验模糊测试结果。
[0069]
上述实施例中，采集符合协议格式的通讯数据作为测试样本。
[0070]
首先获取测试样本，通过强化学习模型对测试样本进行处理，获得反馈结果和测试结果。本技术预设了有限状态自动机模型，将强化学习模型的输出结果输入到有限状态自动机模型，获得统计结果。基于统计结果，能够为模糊测试结果的测试效果和测试反馈提供支撑，以改善后续的强化学习模型，避免后续测试实施过程盲目，测试效率低下，测试的覆盖率偏低的技术问题。
[0071]
在一种可能的实施方式中，s2包括：
[0072]
步骤一：获取协议实体；
[0073]
步骤二：初始化强化学习模型中的策略、强化学习模型中的q值表和协议实体的状态；
[0074]
步骤三：根据q值表、协议实体的状态获取当前策略；
[0075]
步骤四：在测试样本中获取与协议实体的状态对应的协议类型的测试用例；
[0076]
步骤五：根据当前策略对测试用例进行变异，得到变异测试用例；
[0077]
步骤六：根据当前策略对协议实体的状态进行改变；
[0078]
步骤七：将变异测试用例输入协议实体，得到反馈结果；
[0079]
步骤八：根据反馈结果更新策略和q值表；
[0080]
步骤九：根据更新后的策略获取模糊测试结果；
[0081]
步骤十：重复步骤三到步骤九。
[0082]
强化学习(reinforcement learning,rl)，又称再励学习、评价学习或增强学习，
是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。
[0083]
在强化学习中，智能体在t时刻的状态s
t
下，根据策略π选择动作a
t
，并从状态s
t
转移到新的状态s
t 1
，同时获得环境反馈的奖励r，根据获得的奖励r获得最优策略π
*
。q值表的内容包括在状态s
t
下选择a
t
的奖励值。
[0084]
上述实施例中，首先获取了协议实体，初始化了强化学习模型中的策略以及q值表，和协议实体的初始状态，接着，根据q值表、协议实体的状态获取当前策略，获取与协议实体的状态对应的协议类型的测试用例，基于当前策略对测试用例进行变异，得到变异测试用例，将测试用例输入协议实体，得到反馈结果，根据当前策略对协议实体的状态进行改变，根据反馈结果更新策略和q值表，最后基于更新后的策略获取模糊测试结果。与现有技术不同的是，本技术实施例在每一次循环时将测试用例进行变异，得到新的强针对性的变异测试样本，同时，在对协议进行模糊测试时，引入协议实体的状态维度变化，更新后的策略获取模糊测试结果。
[0085]
在一种可能的实施方式中，策略包括：协议实体状态转移策略和测试样本变异策略；协议实体状态转移策略用于对协议实体的状态进行改变；测试样本变异策略用于对测试用例进行变异，得到变异测试用例。
[0086]
上述实施例中，协议实体的状态即为强化学习中的状态，对测试样本的变异即为强化学习中的策略。
[0087]
在对协议测试的过程中引入了状态维度，优化了测试样本的生成和选择，增加了模糊测试在状态维度的覆盖面，提高了整体的测试范围和测试效果，利用强化学习来判断样本变异的策略，可以达到局部最优解，效率更高。使用状态转移情况作为强化学习奖励因素，考虑了状态对样本的影响，对内部维护一个有限状态机具有更强的针对性。
[0088]
在q值表中确定状态转移策略和变异策略应满足以下条件，使得当前协议实体的状态s对应的值函数v
π
(s)或协议实体的状态-策略值函数q
π
(s,a)达到最大。
[0089]
其中，“值函数”和“协议实体的状态-策略值函数”分别表示指定协议实体状态或者指定“议实体的状态-策略”上的累计奖赏，奖赏函数的设置为现有技术，这里不再赘述。在本实施例中，值函数为当前协议实体的状态，动作包括协议实体的状态转移策略和变异策略。
[0090][0091][0092]eπ
为期望值，r
t
表示在t时刻(深度学习的第t次循环后)的针对当前动作立即奖赏；s为协议实体状态，a为动作，γ为折扣因子，0≤γ《1；s0表示起始状态；a0表示起始状态上采
取的第一个动作；s'表示在协议实体状态s时根据策略执行动作a后的结果状态。
[0093]
进一步地，本技术实施例提供一种针对该基于强化学习方法的协议测试方法的关于动作的奖赏的更新方法，由下述函数表示：
[0094]
q(s,a)
←
q(s,a) α[r γq(s',π(s'))-q(s,a)]；
[0095]
其中，α为学习率，0≤α≤1，其余参数的含义和上述公式相同。
[0096]
在一种可能的实施方式中，反馈结果包括：代码覆盖率和协议实体的状态，模糊测试结果包括协议实体状态转移策略和测试样本变异策略；根据反馈结果更新策略的步骤，包括：判断代码覆盖率的提高速度是否超过预设阈值；若是，提升测试样本变异策略的权重值；若否，提升协议实体状态转移策略的权重值；根据反馈结果获取模糊测试结果的步骤，包括：根据测试样本变异策略的权重值将测试样本变异策略确定为模糊测试结果；根据协议实体状态转移策略的权重值将协议实体状态转移策略确定为模糊测试结果。
[0097]
在上述实现过程中，反馈结果包括两个维度的变化，代码覆盖率以及协议状态的变化信息，根据这两个因素更新策略的权重值，这两个权重能决定这两个策略是否为模糊测试结果。基于上述实施方式，能够提高模糊测试结果的准确率。
[0098]
进一步地，本技术实施例提供一种预设的有限状态自动机模型：
[0099]
m＝{s,i,o,s0,f,λ}；
[0100]
其中，s＝[s0,s1,s2...sn]为测试用例的状态集合，i为输入元素的集合，输入元素为协议实体关于测试样本的输出信息，f状态转移函数；λ为测试用例的状态与输入元素的输出函数；o为输出函数的输出元素的集合，输出元素用于确定测试用例的状态对应的状态转移函数，s0为协议实体的初始状态；反馈结果包括：输入元素。
[0101]
上述实施例中，定义了有限状态自动机模型，并且，以反馈结果为输入元素，确定出当前测试样本的状态。基于上述实施方式，能够获取更精确的统计结果，为模糊测试的结果提供支撑。
[0102]
进一步地，在获取所统计结果的步骤之后，还包括：
[0103]
利用有向图存储测试用例的当前状态和测试用例的转移状态。
[0104]
在上述实现过程中，利用有向图对有限状态自动机的输出结果进行存储，能够方便后续观察多个状态之间的转移关系。
[0105]
实施例2
[0106]
参见图2，本技术实施例提供一种协议的测试装置，包括：
[0107]
获取模块1，用于获取测试样本；
[0108]
协议的测试装置2，用于利用强化学习模型对测试样本进行处理，获取反馈结果；
[0109]
统计结果获取模块3，用于将反馈结果输入预设的有限状态自动机模型，获取统计结果。
[0110]
在一种可能的实施方式中，反馈结果获取模块2还用于执行以下步骤：
[0111]
步骤一：获取协议实体；步骤二：初始化强化学习模型中的策略、强化学习模型中的q值表和协议实体的状态；步骤三：根据q值表、协议实体的状态获取当前策略；步骤四：在测试样本中获取与协议实体的状态对应的协议类型的测试用例；步骤五：根据当前策略对测试用例进行变异，得到变异测试用例；步骤六：根据当前策略对协议实体的状态进行改变；步骤七：将变异测试用例输入协议实体，得到反馈结果；步骤八：根据反馈结果更新策略
和q值表；步骤九：根据更新后的策略获取模糊测试结果；步骤十：重复步骤三到步骤九。
[0112]
在一种可能的实施方式中，策略包括：协议实体状态转移策略和测试样本变异策略；协议实体状态转移策略用于对协议实体的状态进行改变；测试样本变异策略用于对测试用例进行变异，得到变异测试用例。
[0113]
在一种可能的实施方式中，述反馈结果包括：代码覆盖率和协议实体的状态，模糊测试结果包括协议实体状态转移策略和测试样本变异策略；反馈结果获取模块2还用于判断代码覆盖率的提高速度是否超过预设阈值；若是，提升测试样本变异策略的权重值；若否，提升协议实体状态转移策略的权重值；根据测试样本变异策略的权重值将测试样本变异策略确定为模糊测试结果；根据协议实体状态转移策略的权重值将协议实体状态转移策略确定为模糊测试结果。
[0114]
在一种可能的实施方式中，统计结果获取模块3还用于预设有限状态自动机模型，具体为：
[0115]
m＝{s,i,o,s0,f,λ}；
[0116]
其中，s＝[s0,s1,s2...sn]为测试用例的状态集合，i为输入元素的集合，输入元素为协议实体关于测试样本的输出信息，f状态转移函数；λ为测试用例的状态与输入元素的输出函数；o为输出函数的输出元素的集合，输出元素用于确定测试用例的状态对应的状态转移函数，s0为协议实体的初始状态；反馈结果包括：输入元素。
[0117]
在一种可能的实施方式中，统计结果获取模块3遍历测试用例的状态集合；根据测试用例的状态集合中测试用例的状态、输入元素和输出函数获取输出元素；根据输出元素和输出元素的集合获取测试用例的当前状态；根据测试用例的当前状态和状态转移函数获取测试用例的转移状态。
[0118]
在一种可能的实施方式中，装置还包括保存模块，用于利用有向图存储测试用例的当前状态和测试用例的转移状态。
[0119]
实施例3
[0120]
本技术还提供一种电子设备，请参见图3，图3为本技术实施例提供的电子设备的结构框图。电子设备可以包括处理器31、通信接口32、存储器33和至少一个通信总线34。其中，通信总线34用于实现这些组件直接的连接通信。其中，本技术实施例中电子设备的通信接口32用于与其他节点设备进行信令或数据的通信。处理器31可以是一种集成电路芯片，具有信号的处理能力。
[0121]
上述的处理器31可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。
[0122]
存储器33可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。存储器33中存储有计算机可读取指令，当计算机可读取指令由处理器31执行时，电子设备可以执行
上述图1方法实施例涉及的各个步骤。
[0123]
可选地，电子设备还可以包括存储控制器、输入输出单元。
[0124]
存储器33、存储控制器、处理器31、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线34实现电性连接。处理器31用于执行存储器53中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。
[0125]
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是，但不限于，鼠标和键盘等。
[0126]
可以理解，图3所示的结构仅为示意，电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
[0127]
本技术实施例还提供一种存储介质，存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。
[0128]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0129]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0130]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0131]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0132]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
[0133]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。