基于大语言模型的未知威胁检测方法及装置与流程

摘要: 本发明涉及网络安全,特别涉及一种基于大语言模型的未知威胁检测方法及装置。背景技术:1、随着网络空间对抗强度的不断升级,高级持续性威胁(apt)、白加黑、白利用(...
基于大语言模型的未知威胁检测方法及装置与流程

本发明涉及网络安全,特别涉及一种基于大语言模型的未知威胁检测方法及装置。

背景技术:

1、随着网络空间对抗强度的不断升级,高级持续性威胁(apt)、白加黑、白利用(living off the land)以及针对供应链的隐蔽无文件攻击已成为核心网络安全威胁。

2、为了应对这些高级未知威胁,现有的威胁检测与研判主要依赖以下两类方案:

3、1、特征规则引擎与多维统计流行度架构。

4、该方案在目前网络安全防线中最基础、应用最广泛。其标准执行步骤为:

5、特征匹配:通过安全设备实时采集主机或网络层的原始日志,提取显性字段(如文件md5/sha256哈希、特定进程路径、特定静态命令行字符串、源/目的ip地址等)。

6、黑白名单与流行度计算:将提取的特征与已知恶意情报库(黑名单)进行硬编码比对,或与全网/企业内网的资产常见度(流行度)进行统计学计算。若某个文件或行为的流行度极低且触发了关联的特征规则,则系统通过预设的加权算法计算出一个风险值,超过阈值则直接阻断或告警。

7、2、特征规则引擎与单一ai模型的浅层联合推理架构。

8、前置规则过滤与拼装:同样先通过规则引擎对海量日志进行初筛,过滤掉大量常态白名单日志。对于无法准确判定、含有模糊上下文的日志(如复杂的powershell混淆命令、异常父子进程链、无归属内存堆栈等),系统将其原始文本片段进行直接拼接。

9、单一ai黑盒研判:将拼接后的原始日志文本作为提示词(prompt)直接提交给一个通用大语言模型(llm)或传统机器学习分类模型。由该模型利用其预训练的语义能力进行单次推演,直接输出一段自由文本的研判报告,或者直接给出恶意(malicious)或良性(benign)的二分类标签结论。

10、上述技术方案,在面对高级未知威胁(如隐匿apt攻击、供应链无文件注入)的狩猎场景时,基于其内在机制缺陷,导致存在以下至少一个技术问题:

11、事实约束缺失→产生ai幻觉→导致研判证据伪造与误报。现有方案中,原始日志是直接作为自由上下文输入大语言模型的。大语言模型本身具备不可控的生成特性,且缺乏对底层安全数据的“刚性事实限制”,模型在面对其未学习过的、高度混淆的未知apt攻击流时,极易启动概率泛化生成,产生严重的“ai幻觉”。模型会自行捏造不存在的恶意行为字段、错误的调用栈模块或虚假的ip连接关系,并将其作为“研判证据”输出。这种虚假证据导致安防系统频繁引发误报、虚假告警,严重消耗安全运营成本,导致对高度混淆apt攻击的研判效率和置信度低下。

12、因此,亟须提供一种能够解决以上至少一个技术问题的未知威胁检测方案。

技术实现思路

1、本发明实施例提供一种基于大语言模型的未知威胁检测方法、装置、电子设备及存储介质,能够有效消除大语言模型的ai幻觉,实现生产安全级的高置信度证据链。

2、一方面,本发明实施例提供一种基于大语言模型的未知威胁检测方法,包括:

3、接收待检测的原始日志,所述原始日志包括:主机行为日志与网络通联行为日志;

4、基于多维特征指标对所述原始日志进行分流;

5、将分流至ai慢轨流的原始日志基于大语言模型进行未知威胁检测,其中,所述大语言模型的模型约束层被注入从底层数据源强行提取的已核验事实清单,并在后处理层通过反向图映射过滤算法执行幻觉熔断机制。

6、可选的,所述大语言模型包括:作为第一推理模型的前置离线大语言模型,所述前置离线大语言模型具备流式并发与动态批处理调度能力;所述方法还包括:

7、通过所述前置离线大语言模型挖掘代码层面的深层隐性恶意语义,并输出结构化特征的中间件json对象,所述中间件json对象包含:特定异常指令判定、调用寻址方式;

8、通过主控制流采用异步回调机制,将所述中间件 json对象中的关键元数据反填、融入至原始安全事件主日志数据包中,完成异构语义增强,得到完整安全事件数据包。

9、可选的,所述大语言模型还包括:作为第二推理引擎与蒸馏推理模型的战术级推演大语言模型,所述方法还包括:

10、所述第二推理引擎在物理前缀硬锁死技术及已核验事实清单构成的最高优先级约束下,驱动本地化大语言模型进入基于非对称对立假设验证的五阶段对抗性状态机推演,以对当前捕获的所有异常技术证据进行反向证伪推演;

11、其中,所述五阶段对抗性状态机推演,包括:

12、技术核验阶段:基于大语言模型全面核验已核验事实清单中的底层代码及调用栈事实,生成基础技术评分;

13、战术上下文评估阶段:对进程命令行意图、进程链分叉合理性以及网络环境上下文进行多维语义评估;

14、权重加降权修正阶段:检索高危特权账户身份与敏感落地目录,执行刚性的分值补偿;

15、高级语义异常检测阶段:运用大语言模型长上下文能力,对传统代码难以穷举的隐性语义异常进行识别,在总分上提供预设闭区间内的自适应分值微调,所述隐性语义异常包括:正常白进程被掏空、白加黑利用手法;

16、反向证伪测试阶段:强制大语言模型站在对立面构建良性合理解释,若事实清单中证据链闭环且无法成功证伪,则锁定高危判定,输出五级研判裁决结果,并与 mitreatt&ck 战术矩阵进行动态映射绑定。

17、可选的,所述方法还包括:

18、逐项累加计分一致性校验:大语言模型按照规约,将推理草稿与各项扣分明细写入指定的文本格式字段中,基于混合双轨评分融合引擎在接收到所述文本后,利用正则捕获组提取出推理草稿字符串中的所有单项分值,执行二次闭环重算校验算法,得到重算得分;

19、若校验引擎发现大语言模型生成的顶层标量总分与重算得分不一致,则直接在内存中触发强行重写,采用重算得分覆盖最终威胁得分。

20、可选的,在后处理层通过反向图映射过滤算法执行幻觉熔断机制,包括:

21、熔断器初始化高危核心技术实体与事实清单键位的映射关系字典;

22、熔断层遍历大语言模型生成的研判证据链数组;

23、若所述研判证据链数组中的文本证据包含预设的高危特征词,熔断层将反向检索已核验事实清单对应字段;

24、若该字段在所述已核验事实清单中为空值,则确定相应文本证据为大语言模型凭空伪造的幻觉,熔断器在内存中触发熔断逻辑,执行强制擦除。

25、可选的,所述方法还包括:

26、针对大语言模型因最大token 截断产生的未闭合文本,执行括号深度扫描,计算未闭合差值,在文本尾部自愈补齐对应数量的闭合括号;

27、对于产生未终止字符串的截断,通过定位末尾标志执行静态自愈标记拦截,以执行结构自愈机制。

28、可选的,所述方法还包括:

29、针对未知二进制shellcode hex流进行双架构并行反汇编;

30、利用正则特征词频及rex前缀密度反转检测算法自动判定实际架构;

31、对分流至ai慢轨流的shellcode进行格式精简和jit warmup预热,并驱动vllm 框架加载本地预设量化大语言模型,对格式精简后的 shellcode 反汇编结果执行功能语义推断,输出结构化清单,所述结构化清单中包含:调用方式、异常指令、功能摘要维度;

32、将所述结构化清单回填至完整事件json,形成可供后续阶段消费的完整结构化事件清单。

33、可选的,在完整事件json进入蒸馏模型前,在代码层对所有字段执行全量无幻觉的硬提取,形成非空结构化事实清单,并通过物理前缀硬锁死技术将所述非空结构化事实清单作为边界强约束注入所述大语言模型,以消除所述大语言模型的幻觉,所述大语言模型为离线推理大语言模型。

34、可选的,所述多维特征指标包括:风险严重度标识、行为资产的生命周期、端点全局访问频次以及独立关联设备数,所述基于多维特征指标对所述原始日志进行分流,包括:

35、通过确定性规则引擎综合多维特征指标对海量的原始日志实施动态的多路清洗与分流;

36、当基于风险严重度标识确定所述原始日志中事件的风险严重度达到预设的高危阈值区间或处于待定状态,且相应事件行为资产的生命周期小于预设的时间窗口阈值,且事件行为载体显式包含预设的shellcode特征或异常堆栈执行轨迹时,通过分流引擎将相应原始日志分流至ai慢轨流;

37、若所述事件对应的独立关联设备数低于预设的流行度泛滥基线,通过分流引擎启动异步线程,将相应事件记录流转,并写入底层的低流行度事件归档数据库;

38、当基于风险严重度标识确定所述原始日志中事件的风险严重度处于中低风险水平的特定区间,且通过网络拓扑属性匹配算法判定其通联目的地址满足预设的私有内网ip特征边界时,对进程执行主体身份与文件实体变化进行审计;若所述进程执行主体身份为系统高级特权身份,或,行为特征中包含特定文件上传哈希记录,通过分流引擎将该类事件动态分流至内网高风险环境专属审计文件中,以实现高隐蔽环境特征的隔离收容,其中,所述系统高级特权身份包括:系统内建的管理或核心服务权限。

39、可选的,所述方法还包括:

40、在基于多维特征指标对所述原始日志进行分流过程中,辅助字段计算组件同步启动,利用非线性统计学算法对通联网络资产进行端点流行度评估和风险置信度测绘;

41、其中,对通联网络资产进行端点流行度评估包括:基于配置的多维度频次判定矩阵,当资产的全局访问频次与独立设备数同时处于预设的极低交互区间,或者表现为孤立的单一设备高频通联特征,则自适应评定端点流行度标签为低流行度;当风险严重度处于预设的特定多点区间时,采用特征降维截断算法将该流行度标签强制置为未定义状态,以防止低级别的噪声特征污染后续的高危ai推理;

42、所述风险置信度测绘,包括:基于多维地缘资产属性与宿主测绘环境进行交叉校验,对通联外部ip恶意可能性进行评估;若检测到行为的目的ip所属地缘区域不属于受信任的本地国家范围,且未命中预设的国内公有云或白名单虚拟专用服务器vps资源池,则赋予高风险的环境语义权重,动态输出恶意可能性为高风险。

43、另一方面,本发明实施例提供一种基于大语言模型的未知威胁检测装置,包括:

44、接收模块,用于接收待检测的原始日志,所述原始日志包括:主机行为日志与网络通联行为日志;

45、分流模块,用于基于多维特征指标对所述原始日志进行分流;

46、检测模块,用于将分流至ai慢轨流的原始日志基于大语言模型进行未知威胁检测,其中,所述大语言模型的模型约束层被注入从底层数据源强行提取的已核验事实清单,并在后处理层通过反向图映射过滤算法校验执行幻觉熔断机制。

47、第三方面,本发明实施例提供一种电子设备,包括:存储器和处理器,存储器和处理器连接;

48、存储器,用于存储计算机程序;

49、处理器,用于调用存储于存储器中的计算机程序,以执行以上任一项的方法。

50、第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被计算机运行时,执行以上任一项的方法。

51、本发明实施例提供的基于大语言模型的未知威胁检测方法、装置、电子设备及存储介质,该方法包括:接收待检测的原始日志,所述原始日志包括:主机行为日志与网络通联行为日志;基于多维特征指标对所述原始日志进行分流;将分流至ai慢轨流的原始日志基于大语言模型进行未知威胁检测,其中,所述大语言模型的模型约束层被注入从底层数据源强行提取的已核验事实清单,并在后处理层通过反向图映射过滤算法执行幻觉熔断机制。本发明方案能够有效消除大语言模型的ai幻觉,实现生产安全级的高置信度证据链。