一种基于推理引导提示的PoC报告关键字段提取方法
本发明属于信息安全与自然语言处理,尤其涉及一种基于推理引导提示的poc报告字段提取方法。该方法能够从非结构化poc(proof-of-concept)报告中自动识别并提取漏洞编号、漏洞类型、运行平台和日期关键字段,为后续的漏洞报告比对、数据质量评估与自动化维护提供统一、可解析的结构化数据基础。
背景技术:
1、poc报告作为漏洞分析与验证过程中的重要数据来源,通常包含漏洞描述、触发条件、利用步骤、测试环境、利用代码以及补充说明多种类型的信息。其中,cve-id、漏洞类型、运行平台和日期关键字段可用于关联外部漏洞信息、分析漏洞利用条件以及辅助安全数据管理,是poc报告自动化处理过程中的基础数据。
2、然而,实际poc报告通常由不同来源的提交者按照各自编写习惯生成,缺乏统一的文本结构、字段规范和表达约束。同一字段信息可能分散于标题、正文描述、代码注释、复现步骤或环境配置不同位置,部分字段甚至不会以明确标签形式出现。例如,漏洞类型可能需要根据“远程发送恶意请求”“本地用户提升权限”或“导致服务崩溃”攻击行为和影响结果进行语义判断;运行平台可能同时涉及受影响环境、测试环境、依赖组件以及利用代码实现语言,需要结合上下文区分其真实含义;日期信息也可能包含发现日期、披露日期、代码编写日期以及数据库收录日期多种时间语义。因此,如何从此类结构松散、语义复杂的文本报告中准确识别并提取关键字段,成为实现poc报告自动化分析的重要问题。
3、现有基于正则表达式或关键词匹配的提取方法通常依赖固定格式和预定义词表,能够识别具有明显格式特征的cve-id或日期,但难以处理漏洞类型的隐式语义、平台名称的上下文歧义以及多日期筛选的问题。当报告中出现“python脚本在windows目标上执行”内容时,简单关键词匹配还可能将poc实现语言误认为受影响平台,导致提取结果偏离报告真实语义。
4、随着大语言模型的发展,利用提示信息从非结构化文本中生成结构化字段成为一种可行方式。然而,通用零样本提示通常只给出待提取字段名称,缺少字段定义、语义边界和输出格式约束;普通少样本提示虽然能够提供示例,但未规定模型处理不同字段时的分析顺序;直接要求模型进行通用推理,又容易产生冗长文本、字段遗漏或无法被程序解析的输出。因此,现有方法仍存在隐式字段识别不充分、字段间语义混淆以及输出格式不稳定的问题。
5、对此,本发明提出一种基于推理引导提示的poc报告关键字段提取方法。首先,对待处理poc报告执行噪声清理和文本规范化,并配置待提取字段集合及其标准标签空间;随后,按照任务指令、示例输入、字段分析顺序约束和示例输出的结构构建推理引导提示;接着,将提示信息与待处理poc报告输入大语言模型,获得结构化候选结果;最后,对候选结果进行格式校验、字段归一化和异常处理,输出可直接存储和计算的poc报告关键字段。
技术实现思路
1、本发明的目的在于提供一种基于推理引导提示的poc报告关键字段提取方法,以解决现有技术在处理非结构化poc报告时存在的字段表达不规范、隐式语义难以识别、字段间容易混淆、输出结构不稳定以及规则维护成本较高的问题。
2、为实现上述目的,本发明将少样本上下文学习、字段级推理引导、结构化输出约束和结果校验机制相结合。所述方法以原始poc报告作为输入,以包含cve-id、type、platform和date关键字段的结构化记录作为输出,具体包括以下步骤:
3、1)poc报告文本预处理:获取待处理的原始poc报告,识别并去除仅由特殊字符、重复分隔符、无效空白或格式噪声组成的内容;统一字符编码、换行符和空格形式;保留漏洞标题、漏洞描述、触发条件、复现步骤、测试环境、代码及代码注释、产品版本和日期这些与字段识别有关的信息,得到预处理后的poc报告文本。
4、2)字段配置、示例集合及rgfp提示构建:确定待提取字段集合f={cve-id,type,platform,date}及各字段的语义范围、标准标签、判定依据、缺失表示方式和结构化输出模式;输入经人工核验的poc报告样本集合d,按照显式字段、隐式字段、多值字段、歧义字段和字段缺失情况进行分类,从各类别中选择代表性样本组成少样本集合e,并为每个样本构建example_input、example_guidance和example_output;检查少样本集合是否覆盖四类字段及预设困难情形,未覆盖时补充相应样本,覆盖后按照固定顺序组织示例;最后,将任务指令task_instruction、少样本示例few-shot_examples、推理引导reasoning_guidance、结构化输出约束output_schema和目标报告target_report按照预设顺序拼接,得到rgfp_promp。
5、具体而言,cve-id字段用于提取poc报告中明确出现的漏洞标识符,主要依据标题、正文、代码注释及标头中的cve格式字符串进行识别,并以经过大写统一和去重处理的字符串数组形式输出。type字段用于表示漏洞利用方式或漏洞发生类别,主要结合攻击路径、触发条件、权限要求和影响结果进行判断,其输出值限定为remote、local、webapps、dos和hardware组成的标签数组。platform字段用于表示漏洞受影响或实际运行的系统环境,主要根据受影响系统、测试环境、运行环境、硬件架构及依赖组件进行识别,并对平台名称进行同义词统一和去重后,以数组形式输出。date字段用于表示与poc披露或发布相关的主要日期,主要依据日期邻近词、标头语义和上下文事件进行判断,最终输出为yyyy-mm-dd格式的字符串;无法确定时输出空值。
6、3)基于大语言模型的字段提取:将rgfp_prompt输入大语言模型,使模型依据少样本示例学习字段表达模式,识别显式cve标识符并生成合法的cve-id候选,根据漏洞利用行为、攻击路径、权限条件和影响结果判定type候选,从受影响系统、测试环境、运行环境和依赖组件中识别platform候选;判断platform候选是否表示漏洞目标、触发环境或复现所需条件,保留符合条件的候选并排除不属于预设platform类别的候选;随后识别日期及其邻近语义标记,判定漏洞披露日期、poc公开日期或报告发布日期;最后按照output_schema组织字段值,字段缺失时以空数组或空值表示,输出包含cve-id、type、platform和date的结构化候选结果raw_result。
7、4)字段结果解析、规范化与校验:接收raw_result和report_id,去除可能存在的json代码块标记并提取json对象,对其执行json解析;解析失败时,在未达到最大重试次数的情况下按照相同输出约束重新请求,达到最大重试次数后仍未成功时记录解析失败状态并保留report_id;解析成功时,检查字段是否齐全、键名及数据类型是否符合output_schema,并分别对cve-id、type、platform和date执行格式校验、同义映射和规范化处理,删除重复值、非法值以及无报告证据支持的字段值,输出normalized_result。
8、进一步地,所述步骤1)的具体步骤如下:
9、步骤1)-1:起始状态;
10、步骤1)-2:输入原始poc报告poc_report_raw及报告标识report_id;
11、步骤1)-3:统一文本字符编码,并将不同形式的换行符和空白字符转换为统一形式;
12、步骤1)-4:逐行读取poc_report_raw,判断当前行是否仅由特殊字符、重复分隔符或无效空白的格式噪声构成;若是,则删除当前行;若否,则保留当前行;
13、步骤1)-5:判断是否还有未处理行;若是,则继续逐行读取并执行步骤1)-4;若否,则进入下一步骤;
14、步骤1)-6:合并连续空行,去除行首和行尾的多余空格,并对异常制表符和重复空格进行规范化;
15、步骤1)-7:识别并保留标题、漏洞描述、代码注释、http请求、复现步骤和测试环境这些具有字段语义的内容;
16、步骤1)-8:按照原有语义顺序重新组合保留内容,得到预处理文本poc_report_clean;
17、步骤1)-9:输出poc_report_clean和report_id;
18、步骤1)-10:结束状态。
19、进一步地,所述步骤2)的具体步骤如下:
20、步骤2)-1:起始状态;
21、步骤2)-2:建立字段集合f={f_cve,f_type,f_platform,f_date},为各字段定义语义范围、标准标签、判定依据、缺失表示方式和结构化输出模式;
22、步骤2)-3:输入经人工核验的poc报告样本集合d;
23、步骤2)-4:按照字段覆盖情况对d进行分类,所述分类至少包括显式字段样本、隐式字段样本、多值字段样本、歧义字段样本和字段缺失样本;
24、步骤2)-5:从各类别中选择至少一个代表性样本,得到少样本集合e;
25、步骤2)-6:为e中的每个样本构建示例输入example_input、字段分析步骤example_guidance和标准输出example_output;
26、步骤2)-7:检查少样本集合是否覆盖cve-id、type、platform和date四类字段及预设困难情形;若未覆盖,则补充相应样本并返回步骤2)-6;若已覆盖,则进入下一步骤;
27、步骤2)-8:按照固定顺序组织少样本示例,以降低提示顺序变化对模型结果的影响;
28、步骤2)-9:构建任务指令task_instruction、少样本示例few-shot_examples、推理引导reasoning_guidance、结构化输出约束output_schema和目标报告target_report;
29、步骤2)-10:按照task_instruction、few-shot_examples、reasoning_guidance、output_schema和target_report的顺序拼接各组成部分;
30、步骤2)-11:输出rgfp_prompt;
31、步骤2)-12:结束状态。
32、进一步地,所述步骤3)的具体步骤如下:
33、步骤3)-1:起始状态;
34、步骤3)-2:将rgfp_prompt输入大语言模型;
35、步骤3)-3:模型依据少样本示例学习字段表达模式;
36、步骤3)-4:识别显式cve标识符,输出符合预设格式的cve-id候选;
37、步骤3)-5:依据漏洞利用行为、攻击路径、权限条件和影响结果判定type候选;
38、步骤3)-6:从受影响系统、测试环境、运行环境和依赖组件中识别platform候选;
39、步骤3)-7:判断platform候选是否表示漏洞目标、触发环境或复现所需条件;若是,则保留该platform候选;若否,则排除不属于预设platform类别的候选;
40、步骤3)-8:识别日期及其邻近语义标记,判定漏洞披露日期、poc公开日期或报告发布日期;
41、步骤3)-9:按照output_schema组织字段值,缺失字段以空数组或空值表示;
42、步骤3)-10:输出包含cve-id、type、platform和date的结构化候选结果raw_result;
43、步骤3)-11:结束状态。
44、进一步地,所述步骤4)的具体步骤如下:
45、步骤4)-1:起始状态;
46、步骤4)-2:接收raw_result和report_id;
47、步骤4)-3:去除raw_result中可能存在的json代码块标记并提取json对象;
48、步骤4)-4:对提取的json对象执行json解析;
49、步骤4)-5:判断json是否解析成功;若未解析成功,则判断是否未达到最大重试次数;在未达到最大重试次数时,按照相同输出约束重新请求并返回步骤4)-3;达到最大重试次数后仍未解析成功时,记录解析失败状态,保留report_id并结束处理;若解析成功,则进入下一步骤;
50、步骤4)-6:检查字段是否齐全、键名及数据类型是否符合output_schema;
51、步骤4)-7:对cve-id字段进行大小写统一、前缀补全、连接符规范化和正则合法性校验;
52、步骤4)-8:对type字段执行小写化、同义词映射和标准标签映射;
53、步骤4)-9:对platform字段执行同义词归并和平台族规范化,并区分运行环境与poc实现语言;
54、步骤4)-10:对date字段识别不同日期格式和日期语义,并统一转换为yyyy-mm-dd格式;
55、步骤4)-11:删除重复值、非法值以及无报告证据支持的字段值;
56、步骤4)-12:输出normalized_result;
57、步骤4)-13:结束状态。
58、与现有技术相比,本发明通过将少样本模式学习、字段级分析顺序和结构化输出约束进行组合,使大语言模型无需参数微调即可适应poc报告的非统一表达;通过针对type、platform和date设置不同的语义判断路径,减少将攻击工具、poc实现语言或无关时间误提取为目标字段的情况;通过结果校验和规范化,使输出能够直接用于数据库存储、字段比较和批量计算,从而提高poc报告自动化处理的准确性与稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com