一种基于多源验证的PoC报告字段修正与补全方法

摘要: 本发明属于信息安全与数据质量改进,尤其涉及漏洞数据库中概念验证报告poc(proof-of-concept)的自动化处理。通过多源验证,对poc报告中的漏洞类型...
一种基于多源验证的PoC报告字段修正与补全方法

本发明属于信息安全与数据质量改进,尤其涉及漏洞数据库中概念验证报告poc(proof-of-concept)的自动化处理。通过多源验证,对poc报告中的漏洞类型字段、运行平台字段以及缺失信息标头进行自动修正与补全。

背景技术:

1、poc报告用于描述漏洞触发条件、利用过程、影响范围以及验证代码,是安全研究人员开展漏洞复现、可利用性评估、风险判断和修复决策的重要依据。现有漏洞数据库收录了大量由安全研究人员提交的poc报告,并以结构化字段与非结构化文本相结合的方式保存报告内容。其中,结构化字段通常包括漏洞类型type、运行平台platform、cve-id、发布日期和作者信息,非结构化文本则包含漏洞描述、测试环境、受影响版本、利用代码和补充说明。

2、由于poc报告来源多样、提交者习惯不同且缺少严格统一的自动校验机制,同一报告的结构化字段与文本内容之间可能存在语义冲突或覆盖范围不同的问题。例如,结构化type字段通常只能选择单一标签,但报告文本可能同时体现远程利用、web应用和拒绝服务的属性;结构化platform字段也可能仅标注一种平台,而poc文本实际涉及多个操作系统、硬件架构或运行环境。上述问题会使研究人员错误理解漏洞的利用方式和适用环境,增加人工核查成本。

3、除字段冲突外,poc报告还可能缺失规范化信息标头。现有poc提交模板通常要求或建议报告包含exploit title、date、exploit author、cve、vendor homepage、softwarelink、version、tested on和google dork标头。然而,大量历史报告并未严格按照模板填写,部分报告虽然正文中包含相应信息,但未以规范标头形式给出,导致自动化工具难以直接获取标题、版本、厂商主页和测试环境关键内容。

4、现有字段修正方式通常采用单一数据源覆盖原字段,或者仅根据关键词和固定规则进行替换。当参考数据源自身存在缺失、描述粒度不同或标签体系不一致时,直接覆盖容易产生误修正。对于缺失标头,若仅依赖大语言模型自由生成,则可能在缺少明确证据的情况下产生推断性内容,难以保证补全结果的可靠性。

5、因此,如何将poc报告原有结构化字段、poc文本语义以及外部漏洞数据库中的相关记录进行统一对齐,在多个数据源相互印证的基础上保守地修正异常字段,并针对不同标头采用与其信息来源相匹配的补全策略,是提升poc报告数据质量过程中亟需解决的技术问题。

6、对此,本发明提出一种基于多源验证的poc报告字段修正与补全方法。该方法首先根据质量检测结果定位存在字段告警或标头缺失的poc报告;其次,以漏洞标识为关联键检索外部漏洞数据库,对多源字段进行标签映射和语义标准化,并构建候选值与证据支持关系;然后,针对type与platform字段分别执行符合其字段语义的修正规则;最后,依据不同标头的可用证据来源进行置信度约束的自动补全,在缺少可靠证据时不进行推断式填充,从而降低误修正和错误补全风险。

技术实现思路

1、本发明通过提供一种基于多源验证的poc报告字段修正与补全方法,解决现有技术中依赖单一数据源修正字段容易产生错误、不同漏洞数据库标签难以直接比较以及缺失标头补全结果缺乏证据约束的问题,实现对poc报告关键字段和规范化标头的自动化、可追溯改进。

2、为达成上述目标,本方法以待改进poc报告、质量评估结果和外部漏洞数据库记录作为输入,依次完成异常报告定位与输入构建、跨源关联与奖惩矩阵构建、type及platform字段修正、缺失标头补全与结果输出。具体而言,该方法包括下列步骤:

3、1)异常报告定位与输入构建:输入poc报告集合以及由一致性、准确性和完整性评估得到的质量检测结果;依据字段告警记录和缺失标头记录,从poc报告集合中筛选待改进报告;对每一份待改进报告建立处理对象alerted_report,保存报告标识、结构化type、结构化platform、poc文本、文本抽取字段、cve-id集合、字段告警信息和缺失标头集合。

4、2)跨源关联与奖惩矩阵构建:针对alerted_report中的cve-id,在外部漏洞数据库中检索对应漏洞条目;将poc报告原有结构化字段、poc文本抽取结果和外部漏洞数据库描述映射至统一的type与platform标签空间;对大小写、同义词、平台族、复合平台和无效值进行规范化;汇总各数据源对候选字段值的支持关系,形成奖惩矩阵m,并计算各候选值的支持数据源数量及可选的冲突分数。

5、3)type与platform字段修正:当type字段触发告警时,从奖惩矩阵m中筛选至少获得两个数据源支持的type候选值,选取支持数量最多且不存在并列的唯一候选值作为selected_type;当selected_type存在且与原结构化type不同,则更新type字段,否则保持原字段。对于platform字段,从m中筛选至少获得两个数据源支持的平台候选值;候选值数量为一个时,将其作为selected_platform,候选值数量为两个及以上时,将selected_platform设为multiple;仅当selected_platform存在且与原结构化platform不同,才更新platform字段。

6、4)缺失标头补全与结果输出:检测待改进报告中缺失的规范化标头,并针对不同标头采用相应的信息获取策略。exploit title、date和exploit author根据poc报告已有的结构化字段直接重建;cve由结构化cve-id与poc文本抽取结果合并后写入;vendorhomepage、software link和version从poc文本及外部漏洞数据库中抽取候选值,并结合来源数量、证据位置和格式校验结果确定是否写入;tested on优先使用修正后的platform字段,若该字段为空,则从poc文本及外部漏洞数据库中提取运行环境;google dork仅在poc文本中存在明确的搜索操作符或搜索语句时进行补全。最后,将字段修正结果、标头补全结果及其来源记录写入improved_report,并输出改进后的poc报告。

7、进一步,其中上述步骤1)的具体步骤如下:

8、步骤1)-1:起始状态;

9、步骤1)-2:输入poc报告集合report_set以及质量评估结果quality_result;

10、步骤1)-3:从quality_result中读取type字段告警、platform字段告警和规范化标头缺失记录;

11、步骤1)-4:以报告唯一标识report_id为索引,将字段告警记录和标头缺失记录与report_set中的poc报告进行关联;

12、步骤1)-5:判断当前报告是否至少存在一种字段告警或至少缺失一种规范化标头,若否,则跳转至步骤1)-12,若是,则执行下一步;

13、步骤1)-6:读取当前报告的标题、作者、发布日期、结构化cve-id、结构化type和结构化platform;

14、步骤1)-7:读取当前报告的poc非结构化文本以及从该文本中抽取的cve-id、type、platform、版本、厂商、软件链接和测试环境信息;

15、步骤1)-8:将当前报告的type告警等级、platform告警等级、告警候选值及告警来源写入alert_info;

16、步骤1)-9:将缺失的exploit title、date、exploit author、cve、vendorhomepage、software link、version、tested on和google dork写入missing_headers;

17、步骤1) - 10:构建待改进报告对象alerted_report=;

18、步骤1)-11:将alerted_report加入待改进报告集合alerted_report_set;

19、步骤1)-12:判断report_set是否遍历完成,若否,则返回步骤1)-4,若是,则执行下一步;

20、步骤1)-13:输出alerted_report_set;

21、步骤1)-14:结束状态。

22、进一步,其中上述步骤2)的具体步骤如下:

23、步骤2)-1:起始状态;

24、步骤2)-2:输入alerted_report_set以及外部漏洞数据库集合external_databases;

25、步骤2)-3:从alerted_report中获取结构化cve-id与poc文本抽取cve-id,对cve-id进行大写转换、前缀统一、年份与序号格式校验以及重复项去除;

26、步骤2)-4:将规范化后的cve-id作为跨数据库关联键,在external_databases中检索对应漏洞条目;其中external_databases指的是外部数据库;

27、步骤2)-5:若当前报告无法获得有效cve-id或未检索到对应外部条目,则仅保留poc报告原有结构化字段与poc文本抽取结果作为可用证据,并跳转至步骤2)-8;

28、步骤2)-6:从各外部漏洞条目中读取漏洞描述、漏洞类型、受影响平台、产品、版本、厂商和参考链接;

29、步骤2)-7:将外部漏洞条目及其来源标识加入当前报告的source_records;

30、步骤2)-8:对type候选值进行统一映射,将不同数据源中的漏洞描述或类型标签转换至remote、local、webapps、dos和hardware的统一标签空间;

31、步骤2)-9:对platform候选值进行统一映射,统一大小写、缩写和同义词,将操作系统、硬件架构、编程语言、应用框架以及multiple这些标签转换至预设平台标签空间;

32、步骤2)-10:对明显不属于运行平台的值进行过滤,并对平台族关系进行规范化;

33、步骤2)-11:汇总poc报告原有结构化字段、poc文本抽取结果及source_records中的type和platform候选值,记录每个候选值的来源列表source_list;

34、步骤2)-12:针对每个候选值计算支持数据源数量support_count,并根据预设数据库权重计算可选的奖励分数和冲突惩罚分数;

35、步骤2)-13:构建奖惩矩阵m=;

36、步骤2)-14:将m与alerted_report关联,形成待修正对象verified_report;

37、步骤2)-15:判断alerted_report_set是否遍历完成,若否,则返回步骤2)-3,若是,则执行下一步;

38、步骤2)-16:输出verified_report_set;

39、步骤2)-17:结束状态。

40、进一步,其中上述步骤3)的具体步骤如下:

41、步骤3)-1:起始状态;

42、步骤3)-2:输入verified_report以及其对应的奖惩矩阵m;

43、步骤3)-3:判断verified_report的type字段是否触发告警,若否,则跳转至步骤3)-9,若是,则执行下一步;

44、步骤3)-4:从m中获取type字段的全部候选值,并筛选support_count大于或等于预设支持阈值的候选值,构成candidate_types;所述支持阈值优选为两个数据源;

45、步骤3)-5:在candidate_types中确定support_count的最大值,并判断最大值对应的候选值是否唯一;

46、步骤3)-6:若最大支持数量对应的候选值唯一,则将该候选值记为selected_type;若存在并列候选值或candidate_types为空,则selected_type不存在;

47、步骤3)-7:判断selected_type是否存在且与原结构化type不同,若是,则将结构化type更新为selected_type,并记录修正前字段、修正后字段和支持来源;若否,则保留原结构化type;

48、步骤3)-8:生成type字段修正结果type_repair_result;

49、步骤3)-9:判断verified_report的platform字段是否触发告警,若否,则跳转至步骤3)-16,若是,则执行下一步;

50、步骤3)-10:从m中获取platform字段的全部候选值,并筛选support_count大于或等于预设支持阈值的候选值,构成candidate_platforms;

51、步骤3)-11:若candidate_platforms为空,则selected_platform不存在;若candidate_platforms仅包含一个候选值,则将该候选值记为selected_platform;若candidate_platforms包含两个及以上候选值,则将selected_platform设为multiple;

52、步骤3)-12:当原结构化platform为multiple且candidate_platforms包含两个及以上候选值时,保持原字段不变;

53、步骤3)-13:判断selected_platform是否存在且与原结构化platform不同,若是,则使用selected_platform更新结构化platform,并记录修正前字段、修正后字段和支持来源;若否,则保留原结构化platform;

54、步骤3)-14:生成platform字段修正结果platform_repair_result;

55、步骤3)-15:将type_repair_result和platform_repair_result写入verified_report;

56、步骤3)-16:输出修正后的报告对象repaired_report;

57、步骤3)-17:结束状态。

58、进一步,其中上述步骤4)的具体步骤如下:

59、步骤4)-1:起始状态;

60、步骤4)-2:输入repaired_report以及其missing_headers;

61、步骤4)-3:初始化标头补全结果header_completion_result和证据记录header_evidence;

62、步骤4)-4:判断exploit title是否缺失,若缺失,则读取当前poc报告的结构化title字段,按照“# exploit title: 字段值”的格式写入;

63、步骤4)-5:判断date是否缺失,若缺失,则读取当前poc报告的结构化date字段并归一化为标准日期格式,按照“# date: 字段值”的格式写入;

64、步骤4)-6:判断exploit author是否缺失,若缺失,则读取当前poc报告的结构化author字段,按照“# exploit author: 字段值”的格式写入;

65、步骤4)-7:判断cve是否缺失,若缺失,则合并结构化cve-id与poc文本抽取cve-id,完成格式校验和去重后,按照“# cve: 字段值”的格式写入;

66、步骤4)-8:判断vendor homepage是否缺失,若缺失,则从poc文本、外部数据库厂商字段及参考链接中生成候选厂商主页,并校验url格式及域名与厂商名称的对应关系;

67、步骤4)-9:判断software link是否缺失,若缺失,则从poc文本中的下载链接、产品链接及外部数据库参考链接中生成候选软件链接,并过滤仅指向漏洞公告、搜索页或无关页面的url;

68、步骤4)-10:判断version是否缺失,若缺失,则从poc文本、漏洞标题和外部数据库受影响版本信息中提取版本候选值,对不等号、区间、补丁版本和多版本表达进行规范化;

69、步骤4)-11:判断tested on是否缺失,若缺失且repaired_report中的修正后platform不为空,则将修正后platform作为tested on候选值;若修正后platform为空,则从poc文本中的测试环境、运行环境和外部数据库平台信息中提取候选值;

70、步骤4)-12:判断google dork是否缺失,若缺失,则仅在poc文本中搜索inurl:、intitle:、filetype:、site:这些操作符或明确用于定位目标的搜索语句,将匹配到的显式语句作为候选值;

71、步骤4)-13:对步骤4)-8至步骤4)-12生成的候选值进行证据评估;当候选值由结构化字段直接提供、在两个及以上数据源中重复出现、或在poc文本中具有明确证据且通过格式校验时,将其判定为可写入候选值;

72、步骤4)-14:对于仅由模型推断、无法定位证据片段、格式校验失败或不同来源相互冲突的候选值,不写入对应标头,并将结果记录为空值或n/a;

73、步骤4)-15:将通过证据评估的候选值按照对应的规范化标头格式写入header_completion_result,并在header_evidence中保存来源数据库、文本证据片段和处理规则;

74、步骤4)-16:将修正后的type、修正后的platform和header_completion_result写入poc报告,得到improved_report;

75、步骤4)-17:生成改进日志improvement_log,所述improvement_log至少包括报告标识、修改字段、原值、新值、支持来源、补全标头及未补全原因;

76、步骤4)-18:输出improved_report和improvement_log;

77、步骤4)-19:结束状态。

78、进一步,在步骤2)和步骤3)中,各数据源作为相互独立的证据来源,候选值达到预设支持阈值后方可进入自动修正流程。其中,type字段仅在存在唯一最高支持候选值时进行替换;platform字段存在多个充分支持的候选值时,使用multiple表示多平台语义。对于支持不足、最高支持并列或证据冲突的情况,保留原结构化字段并输出核查记录。

79、进一步,在步骤4)中,对于可由poc报告已有结构化字段直接重建的标头,优先使用相应结构化字段;对于需要从poc文本或外部漏洞数据库中提取的标头,仅写入通过证据与格式校验的候选值。其中,google dork仅根据poc文本中明确出现的搜索语句进行补全。字段修正结果和标头补全结果可直接写回poc报告,也可保存为待审核记录,经人工确认后再进行更新。