基于语义状态反馈的有状态模糊测试方法和系统

摘要: 本发明涉及软件安全测试,具体的说,是一种基于语义状态反馈的有状态模糊测试方法和系统。背景技术:1、模糊测试是一类通过自动生成或变异输入来驱动待测程序执行、并依据...
基于语义状态反馈的有状态模糊测试方法和系统

本发明涉及软件安全测试,具体的说,是一种基于语义状态反馈的有状态模糊测试方法和系统。

背景技术:

1、模糊测试是一类通过自动生成或变异输入来驱动待测程序执行、并依据执行结果发现异常的软件测试技术。传统模糊测试通常以随机变异或代码覆盖率引导的方式生成测试输入,该类技术对文件解析器、命令行工具以及部分库函数中的崩溃类缺陷具有较好的发现效果。然而,对于网络协议程序、web/应用程序编程接口api服务、内核接口、数据库服务以及其他具有显著状态依赖特征的待测目标,仅依赖代码覆盖信息存在明显局限:一方面,深层路径往往要求满足特定的消息顺序、字段依赖、会话令牌或权限前置条件,现有模糊测试方法难以穿越复杂比较和状态校验逻辑;另一方面,现有方法多将崩溃、超时和内存错误作为主要判定依据,对权限绕过、状态错乱、对象不一致以及资源异常等非崩溃类缺陷的发现能力不足。

技术实现思路

1、本发明的目的在于提供一种基于语义状态反馈的有状态模糊测试方法和系统,用于解决现有技术中仅依赖代码覆盖信息导致深层状态路径难以探索、采用随机变异方式难以跨越复杂比较约束和字段依赖约束,以及主要以崩溃、超时和内存错误作为缺陷判定依据而难以发现非崩溃类缺陷的问题。

2、本发明通过下述技术方案解决上述问题:

3、一种基于语义状态反馈的有状态模糊测试方法,包括:

4、获取待测程序以及所述待测程序对应的接口描述信息和初始种子集,对所述待测程序设置观测点;

5、将所述初始种子集作为当前种子集,基于所述当前种子集驱动待测程序运行,采集多粒度反馈信息,所述多粒度反馈信息至少包括代码覆盖信息、比较轨迹信息、状态摘要信息以及响应语义特征信息;

6、根据所述多粒度反馈信息构建种子—状态转移图,并计算所述当前种子集中待选种子的调度分值;

7、按照所述调度分值选择目标种子或目标种子序列;

8、依据所述比较轨迹信息以及根据所述接口描述信息确定的输入语法约束中的一种或多种,对所述目标种子或目标种子序列进行定向变异;并在待测程序具有会话状态、请求顺序依赖或前置状态依赖时,根据所述种子—状态转移图选择前置种子序列进行序列构造,生成候选测试输入;

9、执行所述候选测试输入,基于崩溃检测结果以及非崩溃语义异常检测结果判定是否存在缺陷,若存在缺陷,对触发缺陷的候选测试输入进行最小化复现处理并生成漏洞报告;否则,根据执行结果更新所述当前种子集、所述种子—状态转移图以及各待选种子的调度分值。

10、本发明基于比较轨迹信息确定未满足比较约束对应的目标字节位置,并结合根据接口描述信息确定的输入语法约束对相关字段进行联动调整,从而提高跨越复杂比较约束和字段依赖约束的能力;对于具有会话状态、请求顺序依赖或前置状态依赖的待测程序,基于种子—状态转移图选择能够到达或逼近目标状态的前置种子序列并进行序列级定向变异,从而提高深层状态路径的探索效率;基于响应语义特征信息并结合程序状态变化进行非崩溃语义异常判定,从而提高对非崩溃类缺陷的发现能力。

11、作为本发明的进一步改进,所述观测点包括覆盖率观测点、比较观测点、状态观测点和异常观测点。

12、作为本发明的进一步改进,所述代码覆盖信息用于描述候选输入在待测程序中的执行路径范围,包括边覆盖、基本块覆盖和路径新颖度信息;

13、所述比较轨迹信息用于表征关键比较操作的约束接近情况,包括比较指令两侧操作数、未满足比较距离以及关键字节位置;

14、所述状态摘要信息包括函数调用序列哈希、系统调用序列哈希、会话标识变化、对象生命周期标记、返回状态码向量、关键内存区间摘要以及资源计数摘要中的一种或多种;所述状态摘要信息用于表征执行过程中会话状态、对象状态、函数调用摘要、系统调用摘要及资源变化情况;

15、所述响应语义特征信息用于表征响应码、错误类别、权限变化、一致性状态及异常语义。

16、作为本发明的进一步改进,对所述目标种子或目标种子序列进行定向变异;并在待测程序具有会话状态、请求顺序依赖或前置状态依赖时,根据所述种子—状态转移图选择前置种子序列进行序列构造,生成候选测试输入的方法包括以下一种或多种:

17、基于比较轨迹信息进行定向变异,具体包括:记录待测程序执行过程中比较指令两侧的操作数信息、未满足比较距离以及关键字节位置,并根据所述操作数信息、未满足比较距离和关键字节位置,对目标种子/目标种子序列的目标字节位置执行定点替换、边界值变异、长度修正、校验字段联动更新以及关键枚举值重写中的一种或多种;再通过序列拼接、顺序调整、跨状态迁移替换及序列裁剪中的一种或多种生成候选测试输入;

18、基于输入语法约束进行定向变异,具体包括:根据所述接口描述信息确定输入语法约束,并依据所述输入语法约束中的字段依赖关系,同步调整长度字段、校验字段、令牌字段、时间戳字段和对象标识字段中的一种或多种;

19、基于状态转移关系的定向变异,具体包括:针对具有会话状态或请求顺序依赖的待测程序,依据所述种子—状态转移图选取能够到达中间状态的历史种子序列,再结合当前目标状态对应的约束信息进行序列拼接、顺序调整、跨状态迁移替换或局部裁剪,以生成更接近目标深层状态的候选测试输入。

20、作为本发明的进一步改进,计算所述当前种子集中待选种子的调度分值的方法为:

21、;

22、其中,cnov为路径新颖度,sdepth为状态深度,cmpprox为未满足比较接近度,semnov为语义新颖度,w1、w2、w3、w4分别为cnov、sdepth、cmpprox、semnov对应的权重参数。

23、作为本发明的进一步改进,所述崩溃检测结果通过程序异常退出、崩溃信号、超时和内存错误获得;

24、所述非崩溃语义异常检测结果由响应码冲突、权限状态变化、状态一致性破坏、资源占用异常波动、与参考版本/基线版本的执行结果存在异常差异中的一种或多种获得。

25、基于语义状态反馈的有状态模糊测试系统,包括:

26、采集模块,被配置成获取待测程序以及所述待测程序对应的接口描述信息和初始种子集,对所述待测程序设置观测点;

27、执行模块,被配置成将所述初始种子集作为当前种子集,基于所述当前种子集驱动待测程序运行,采集多粒度反馈信息,所述多粒度反馈信息至少包括代码覆盖信息、比较轨迹信息、状态摘要信息以及响应语义特征信息;

28、调度模块,被配置成根据所述多粒度反馈信息构建种子—状态转移图,并计算所述当前种子集中待选种子的调度分值;

29、变异模块,被配置成按照所述调度分值选择目标种子或目标种子序列,对所述目标种子或目标种子序列进行定向变异生成候选测试输入;

30、缺陷判定及输出模块,被配置成执行所述候选测试输入并基于崩溃检测结果以及非崩溃语义异常检测结果判定是否存在缺陷,若存在缺陷对触发缺陷的候选测试输入进行最小化复现处理并生成漏洞报告,否则,根据执行结果更新初始种子集、种子—状态转移图以及各待选种子的调度分值。

31、作为本发明的进一步改进,对所述目标种子或目标种子序列进行定向变异生成候选测试输入的具体方法为:

32、依据所述比较轨迹信息以及根据所述接口描述信息确定的输入语法约束中的一种或多种,对所述目标种子或目标种子序列进行定向变异;并在待测程序具有会话状态、请求顺序依赖或前置状态依赖时,根据所述种子—状态转移图选择前置种子序列进行序列构造,生成候选测试输入。

33、本发明与现有技术相比,具有以下优点及有益效果:

34、(1)本发明通过代码覆盖信息表征待测程序的执行路径,通过状态摘要信息表征待测程序的程序状态,并通过响应语义特征信息表征待测程序的响应语义,使得在代码覆盖情况相同或相近的情况下,仍能够根据程序状态变化和响应语义变化区分具有不同测试价值的执行结果;在此基础上,结合种子—状态转移图以及面向有状态场景的定向序列变异,使候选测试输入能够逐步逼近目标深层状态,并能够识别未引起程序崩溃但程序状态或响应语义已经发生异常的执行结果,从而提高深层状态路径的探索效率和非崩溃类缺陷的发现能力。

35、(2)本发明将代码覆盖信息、比较轨迹信息、状态摘要信息和响应语义特征信息统一纳入多粒度反馈体系,其中,代码覆盖信息用于反映执行路径变化,比较轨迹信息用于反映未满足比较约束及其接近程度,状态摘要信息用于反映会话状态、对象状态、函数调用状态、系统调用状态及资源状态变化,响应语义特征信息用于反映权限变化、一致性状态和异常响应行为。通过综合利用上述不同粒度的反馈信息,能够弥补仅依据代码覆盖信息难以感知程序内部状态变化和响应行为变化的不足,从而提高对深层路径和隐式状态变化的感知能力。

36、(3)本发明利用种子—状态转移图记录种子或种子序列触发的状态迁移关系,并根据所记录的状态迁移关系识别由初始状态到目标状态的可达路径;在种子调度和候选测试输入生成过程中,优先选择能够到达或逼近目标状态的种子或者前置种子序列,从而减少因缺少前置状态、请求顺序不正确或会话条件不满足而产生的无效测试输入,降低随机生成无效输入的比例,提高有状态待测目标的探索效率。

37、(4)本发明通过比较轨迹信息获得比较指令两侧操作数、未满足比较距离以及关键字节位置,并据此对与未满足比较约束相关的目标字节位置实施定点替换、边界值变异、长度修正以及关键枚举值重写中的一种或多种操作进行定向变异;同时,根据接口描述信息确定输入语法约束,并依据字段依赖关系对长度字段、校验字段、令牌字段、时间戳字段和对象标识字段中的一种或多种进行联动调整,使变异后的测试输入在逼近目标比较条件的同时保持相关字段之间的约束关系,从而提高跨越预设常量校验、长度约束、校验和约束以及枚举分支约束等复杂比较约束和字段依赖约束的能力。

38、(5)本发明在崩溃类缺陷检测的基础上,引入非崩溃语义异常检测机制,通过采集响应语义特征信息,并结合程序状态变化对非崩溃语义异常进行判定,通过对响应码冲突、权限状态变化、状态一致性破坏、资源异常波动以及与参考版本或基线版本执行结果之间的异常差异进行识别,使未导致程序崩溃、超时或内存错误但已经表现出异常程序状态或异常响应行为的测试结果也能够被判定为异常,从而扩展模糊测试对权限绕过、状态错乱、资源异常和逻辑违规等非崩溃类缺陷的检测范围,以提高对权限状态异常、状态一致性破坏、资源异常以及执行结果异常等非崩溃类缺陷的发现能力。

39、(6)本发明在检测到缺陷后,对触发缺陷的候选测试输入进行字节级裁剪、字段级裁剪和序列级裁剪,并在保持缺陷能够稳定复现的前提下,减少与缺陷触发无关的输入字节、字段以及前置请求,使输出的漏洞复现用例更加精简和稳定,从而减少缺陷分析过程中的无关干扰信息,有利于开发人员快速定位缺陷并进行修复。