一种APT邮件检测方法、装置、介质及设备与流程

摘要: 本发明涉及邮件检测领域,尤其涉及一种apt邮件检测方法、装置、介质及设备。背景技术:1、apt邮件攻击是高级网络入侵中最常见的初始载体之一。根据mitreatt...
一种APT邮件检测方法、装置、介质及设备与流程

本发明涉及邮件检测领域,尤其涉及一种apt邮件检测方法、装置、介质及设备。

背景技术:

1、apt邮件攻击是高级网络入侵中最常见的初始载体之一。根据mitre att&ck技术体系,攻击者通常借助鱼叉式钓鱼邮件投递恶意附件、恶意链接及社会工程学诱饵,诱导用户执行恶意操作、泄露凭据并建立后续攻击通道。与普通垃圾邮件或一般恶意邮件相比,apt邮件具有目标更加精准、诱饵更具定制性、攻击链路更完整、后续攻击持续性更强等特点,因此传统依赖过滤规则、发件人认证、静态特征库及黑名单的检测方式,难以有效识别此类高对抗样本。同时,nist相关邮件安全标准也表明,电子邮件防护不仅涉及发件域认证、恶意内容识别和附件检测,还需要综合识别伪冒特征、社会工程学手段、上下文语义以及用户执行链路。由此可见,apt邮件检测本质上属于一种多信号、多阶段、强上下文的复杂技术场景,难以依靠单点规则或单次判断实现有效防控。

2、在实际工程场景中,邮件数据体量通常极大,因此行业内普遍采用“前置初筛压缩、后置深度分析”的分层处理架构,即先对海量邮件进行第一轮候选压缩,再仅对初筛后的少量可疑邮件开展精细化研判。与本发明最接近的一类现有技术,是企业常用的电子邮件安全网关或云邮件安全服务。这类系统通常对进入企业邮箱的消息执行多层安全检查,包括发件域认证、反垃圾邮件策略、已知恶意附件或链接检测、仿冒识别、沙箱引爆、隔离和清除等。例如,microsoft defender for office 365的默认保护链路围绕反恶意软件、反垃圾邮件、反钓鱼、反伪冒以及投递前、投递后处置展开,系统会综合spf、dkim、dmarc、发件信誉、收件历史和行为分析等多种信号判断来信是否合法。google关于gmail防护的公开资料也指出,其系统通过人工智能能力阻断绝大多数垃圾邮件、钓鱼邮件和恶意邮件。从工程角度看,这类方案已经相当成熟,具有覆盖范围广、自动化程度高、适合企业级大规模收发链路投递前安全处置等优点。

3、另一类常见现有技术,是单阶段机器学习或单次大模型邮件分类方案。该类方案通常将邮件头部、正文、附件、链接或少量上下文特征输入单个机器学习模型或单次大语言模型,直接输出“是否钓鱼”“是否恶意”“是否疑似apt”或“属于哪个威胁组织”的判定结果。其实现思路通常包括:首先对邮件主题、正文、链接、附件类型、发件人和收件人域名进行特征提取;其次依托监督分类模型或大模型完成邮件风险评分;最后根据评分阈值执行邮件拦截、安全告警或人工复核流转。该类方案具有部署简单、检测链路短、实现成本较低等优点,适用于样本量有限、检测目标相对单一的应用场景。

4、然而,上述两类现有技术在常规邮件安全防护场景中虽然具有较成熟的应用基础,但当应用目标进一步提升为apt定向邮件检测、深度威胁研判、威胁组织归因以及情报沉淀复用时,其在分析深度、证据组织方式和结果复用能力方面仍存在一定局限。这些不足导致现有技术无法准确高效地对邮件进行apt检测。

技术实现思路

1、本发明提供了一种apt邮件检测方法、装置、介质及设备,以解决现有技术中无法准确高效地对邮件进行apt检测的问题。

2、第一方面,本技术提供了一种apt邮件检测方法,包括:

3、获取原始邮件数据;

4、将原始邮件数据中属于同一逻辑邮件的多条邮件记录合并为单条记录,将合并后的各单条记录分别作为各个待分析样本;

5、根据预设的粗筛模型获取每一所述待分析样本分别对应的可疑分值;

6、将所述可疑分值不小于预设的准入阈值的各待分析样本确定为各第一候选样本;

7、将各所述第一候选样本输入预设的行为发现模型,以获取每个第一候选样本对应的行为证据,根据每个第一候选样本对应的行为证据以及预设的规则风险权重,计算每个第一候选样本对应的综合可疑度;

8、根据每个第一候选样本对应的综合可疑度,确定每个第一候选样本的类别,并将类别为apt嫌疑的各第一候选样本确定为各第二候选样本;

9、将各所述第二候选样本输入到预设的归因模型,以输出所述原始邮件数据对应的各威胁行为体类别。

10、本技术首先通过对原始邮件数据进行聚合处理,将属于同一逻辑邮件的多条记录合并为单条记录,使得原本因存在多条收件人记录而可能被重复分析的同一邮件仅作为一个独立样本进入后续流程,从而消除了数据冗余对统计和判定的干扰,提高了后续分析的精度和效率;在此基础上,将各待分析样本输入粗筛模型获取可疑分值,并通过预设准入阈值进行筛选,以较低计算成本从海量邮件中快速压缩出值得进一步分析的第一候选样本,显著降低了后续深度分析的样本规模和处理开销;进而,将第一候选样本输入行为发现模型提取行为证据,并结合预设的规则风险权重计算综合可疑度,其中行为发现模型能够捕捉邮件在语义层面的深层异常特征,而规则风险权重则提供了基于先验知识的确定性约束,两者协同后通过分级判定筛选出apt嫌疑的第二候选样本,既发挥了模型在复杂模式识别方面的优势,又通过规则层保证了判定结果的可解释性和一致性,避免了单阶段模型同时承担证据发现和结论裁定所带来的越权和漂移问题;最后,将第二候选样本输入归因模型输出威胁行为体类别,在已经过前序筛选和裁定的高质量样本基础上完成溯源归因,使归因分析建立在前序证据链之上而非单独进行,从而提高了整体分析链路的一致性和结论的可复核性。由此,本技术构建了一条从海量邮件中逐层筛选、逐层分析直至归因溯源的完整处理链路,有效避免了传统方案中证据链断裂、阶段职责混杂和结果不可追溯的问题,本技术有效解决了现有技术无法准确高效地对邮件进行apt检测的问题。

11、进一步的,所述将原始邮件数据中属于同一逻辑邮件的多条邮件记录合并为单条记录,将合并后的各单条记录分别作为各个待分析样本,具体为:

12、统计原始邮件数据中各邮件线程的唯一收件人数;

13、将唯一收件人数超过预设过滤阈值的各邮件线程剔除,得到过滤后各邮件数据;

14、将所述过滤后各邮件数据中属于同一逻辑邮件的多条邮件记录合并为单条记录,将合并后的各单条记录分别作为各个待分析样本。

15、本技术首先通过统计原始邮件数据中各邮件线程的唯一收件人数,将唯一收件人数超过预设过滤阈值的邮件线程直接剔除,使得面向数百人规模的群发邮件在进入粗筛模型之前即被过滤,从而在不明显影响apt样本召回率的前提下,显著降低了后续粗筛模型需要处理的样本数量;在此基础上,再将过滤后剩余的邮件数据中属于同一逻辑邮件的多条邮件记录合并为单条记录,使得原本因存在多条收件人记录而可能被重复计数的同一邮件仅以一个独立样本进入后续的粗筛模型评估,从而避免了因数据冗余导致的统计偏差和重复计算。通过上述“先按收件人数过滤、再按逻辑邮件合并”的先后处理,本技术在粗筛阶段之前即以极低计算成本完成了对海量邮件的两轮前置压缩,既有效控制了进入模型评估的样本规模以降低整体处理开销,又保留了apt定向邮件所特有的收件人数较少这一关键分布特征以保证可疑样本的召回率,为后续粗筛模型的高效评估和精准筛选提供了规模可控、质量可靠的数据基础。

16、进一步的,所述根据预设的粗筛模型获取每一所述待分析样本分别对应的可疑分值,将所述可疑分值不小于预设的准入阈值的各待分析样本确定为各第一候选样本,具体为:

17、将各待分析样本的邮件标识、发件信息、收件信息、主题内容、正文内容、附件信息以及链接信息按预设数据结构编码为文本序列;

18、将所述文本序列输入至预设的粗筛模型进行推理,以输出各待分析样本的各可疑分值;

19、获取各待分析样本的收件域信息,将各待分析样本的收件域信息与预设的高价值目标域名单进行比对;

20、对于任意一个待分析样本,若该待分析样本的收件域匹配于所述高价值目标域名单,则将预设的第一阈值作为该待分析样本的准入阈值;若该待分析样本的收件域不匹配于所述高价值目标域名单,则将预设的第二阈值作为该待分析样本的准入阈值,所述第一阈值小于所述第二阈值;

21、将该待分析样本的可疑分值与该待分析样本对应的准入阈值进行比对,若该待分析样本的可疑分值达到该准入阈值,则将该待分析样本确定为第一候选样本。

22、本技术通过将各待分析样本的邮件标识、发件信息、收件信息、主题内容、正文内容、附件信息以及链接信息编码为文本序列并输入粗筛模型进行推理,使得模型能够在统一的结构化输入下对各待分析样本输出量化的可疑分值,将非结构化的邮件内容转换为可比较的风险度量,从而为后续的阈值筛选提供了数值化的判定依据;在此基础上,根据各待分析样本的收件域是否匹配于高价值目标域名单,对匹配于高价值目标域的样本采用第一阈值,对不匹配的样本采用第二阈值,且第一阈值小于第二阈值,使得落入重点防护范围的样本能够以更低的可疑分值进入下一阶段,而对普通目标域的样本则维持较高的筛选标准,从而在不增加整体处理负担的前提下,有效降低了高价值目标场景下的漏检风险;进而通过将各待分析样本的可疑分值与该样本对应的准入阈值进行比对,使得同一可疑分值的样本因收件域所属防护等级的不同而可能被导向不同的处理路径,实现了筛选标准随目标重要程度动态调整的差异化评估机制。由此,本技术在粗筛阶段即以较低计算成本完成了对海量邮件样本的初步筛选,既通过动态阈值机制强化了对高价值目标的保护,又通过标准化编码和模型推理实现了筛选过程的自动化和可量化,为后续深度分析提供了规模可控、重点突出的候选样本集合。

23、进一步的,所述根据每个第一候选样本对应的行为证据以及预设的规则风险权重,计算每个第一候选样本对应的综合可疑度,具体为:

24、根据每个第一候选样本对应的行为证据计算行为证据强度;

25、获取每个第一候选样本对应的预设的规则风险因子、预设的高价值目标因子、预设的发件异常因子、预设的历史档案匹配因子以及预设的词典修正因子;

26、根据所述规则风险因子计算规则风险权重,根据所述高价值目标因子计算目标重要性权重,根据所述发件异常因子计算异常程度权重,根据所述历史档案匹配因子计算关联性权重,根据所述词典修正因子计算伪装特征修正权重;

27、将所述行为证据强度、所述规则风险权重、所述目标重要性权重、所述异常程度权重、所述关联性权重以及所述伪装特征修正权重按预设权重系数进行加权求和,得到每个第一候选样本对应的综合可疑度。

28、本技术通过根据每个第一候选样本对应的行为证据计算行为证据强度,将行为发现模型输出的结构化证据聚合并量化为单一强度指标,使得模型在语义层面捕捉到的多维异常特征被统一转化为可参与后续计算的数值化表征;与此同时,分别获取规则风险因子、高价值目标因子、发件异常因子、历史档案匹配因子以及词典修正因子,并据此分别计算出规则风险权重、目标重要性权重、异常程度权重、关联性权重以及伪装特征修正权重,其中规则风险权重反映技术性异常特征的强弱,目标重要性权重体现攻击目标的价值高低,异常程度权重表征发件身份或发送行为的异常程度,关联性权重反映样本与既有攻击档案之间的关联强度,伪装特征修正权重则刻画邮件在内容层面的仿冒或欺骗程度,使得不同维度的风险因素各自以独立的权重值参与综合判定;进而将行为证据强度与上述五个权重按预设权重系数进行加权求和得到综合可疑度,使得模型从语义层面提取的异常信号与多个确定性风险因素在同一计算框架内实现融合,既发挥了行为发现模型在复杂语义识别方面的覆盖能力,又通过规则风险、目标重要性、发件异常、历史关联和词典修正等确定性因素的引入,保证了判定结果的可解释性和口径一致性。由此,本技术在行为发现模型输出中间证据之后,通过多维度加权求和的方式将模型的模糊发现转换为确定的综合可疑度,避免了模型直接输出最终结论所导致的黑盒问题和阶段职责混杂,为后续分类判定提供了既包含语义深度又具备工程可控性的量化依据。

29、进一步的,所述根据每个第一候选样本对应的综合可疑度,确定每个第一候选样本的类别,并将类别为apt嫌疑的各第一候选样本确定为各第二候选样本,具体为:

30、将每个第一候选样本对应的综合可疑度与预设的第一分类阈值和第二分类阈值进行比较;其中,所述第一分类阈值小于所述第二分类阈值;

31、当所述综合可疑度大于等于所述第二分类阈值时,确定对应第一候选样本的类别为apt嫌疑;

32、当所述综合可疑度大于等于所述第一分类阈值且小于所述第二分类阈值时,确定对应第一候选样本的类别为待观察;

33、当所述综合可疑度小于所述第一分类阈值时,确定对应第一候选样本的类别为低风险;

34、将类别为apt嫌疑的各第一候选样本确定为第二候选样本。

35、本技术通过将每个第一候选样本对应的综合可疑度分别与预设的第一分类阈值和第二分类阈值进行比较,并按照第一分类阈值小于第二分类阈值的预设关系,将综合可疑度划分为三个互不重叠的取值区间,使得原本连续分布的综合可疑度被离散化为apt嫌疑、待观察和低风险三个层级分明的类别,从而为不同风险等级的样本建立了差异化的处理路径;在此基础上,当综合可疑度大于或等于第二分类阈值时,表明样本在行为证据强度、规则风险、目标重要性、发件异常程度、历史关联强度以及伪装特征等多个维度的加权综合表现均处于较高风险区间,将其确定为apt嫌疑类别,使得高风险样本以明确的判定结果进入后续归因阶段;当综合可疑度介于第一分类阈值与第二分类阈值之间时,表明样本在各维度的风险信号尚不充分或存在不确定性,将其确定为待观察类别,从而避免因证据不足而误判为apt嫌疑或过早丢弃;当综合可疑度小于第一分类阈值时,表明样本在各维度的风险信号均较弱,将其确定为低风险类别并停止后续分析,从而在保证高召回的前提下进一步压缩进入归因阶段的样本规模。由此,本技术通过分级阈值将综合可疑度映射为三层递进的类别体系,实现了对第一候选样本的风险分层和样本规模的多级漏斗压缩,使得apt嫌疑样本以可控的数量进入后续归因阶段,既避免了低风险样本消耗归因资源,又通过待观察类别的中间缓冲区间降低了误判风险,为归因分析提供了质量可控、规模适当的输入集合。

36、进一步的,所述将各所述第二候选样本输入到预设的归因模型,以输出所述原始邮件数据对应的各威胁行为体类别,具体为:

37、将各所述第二候选样本输入到预设的归因模型,以生成每个第二候选样本对应的归因对象、归因理由、备选假设以及攻击技术信息;

38、根据预设的组织行为匹配因子、预设的基础设施重叠因子、预设的受害对象匹配因子、预设的历史档案佐证因子以及预设的备选假设冲突因子,计算每个第二候选样本对应的归因综合得分;

39、根据所述每个第二候选样本对应的归因综合得分确定每个第二候选样本对应的归因置信度;

40、根据所述归因置信度与预设归因阈值的比较结果,输出每个第二候选样本对应的威胁行为体类别。

41、本技术通过将各第二候选样本输入至预设的归因模型,使归因模型生成每个第二候选样本对应的归因对象、归因理由、备选假设以及攻击技术信息,将归因分析从单一的“属于哪个组织”扩展为包含判断依据和替代解释的多维度输出,避免了传统方案中直接输出黑盒归因结论所导致的结果不可复核问题;在此基础上,根据组织行为匹配因子、基础设施重叠因子、受害对象匹配因子、历史档案佐证因子以及备选假设冲突因子计算归因综合得分,其中前四个因子分别从攻击手法一致性、命令与控制基础设施的重叠程度、目标行业或岗位的典型性以及既有威胁档案的吻合度四个维度为归因提供正向支撑,而备选假设冲突因子则作为负向惩罚项对证据不足或存在矛盾的归因判断进行扣减,使得归因综合得分既综合了多类正向证据的支持强度,又通过备选假设冲突的引入保留了判断的不确定性空间,避免了单一证据主导归因结论所导致的误判风险;进而根据归因综合得分确定归因置信度,将综合得分映射为0至1之间的标准化置信度度量,并将归因置信度与预设归因阈值进行比较以输出威胁行为体类别,使得归因结论的确定性和可靠程度被量化为可比较的置信度指标,只有当置信度达到阈值时才输出具名威胁行为体类别,置信度不足时则输出较为保守的归因结果。由此,本技术在第二候选样本进入归因阶段后,通过多证据综合评分和置信度阈值判定的方式,使归因结论建立在可追溯、可复核的多维度证据支撑之上,避免了单一模型判断导致的归因漂移和结论不可解释问题,为后续的复审验证和情报反馈提供了具有明确置信度标定的归因基础。

42、进一步的,所述输出每个第二候选样本对应的威胁行为体类别之后,还包括:

43、将各第二候选样本对应的归因结果输入至预设的复审规则引擎,以使所述复审规则引擎根据所述归因置信度与预设第一复审阈值和预设第二复审阈值的比较结果,对各第二候选样本进行结构化复审,输出接受结论或人工复核结论或拒绝结论;

44、对所述接受结论对应的各第二候选样本提取威胁指标;所述威胁指标包括域名、网际协议地址、链接、文件哈希以及发件标识;

45、当所述接受结论对应的第二候选样本的归因置信度达到预设回灌要求且所述威胁指标的数量和质量满足预设条件时,将所述威胁指标回灌至预设的动态特征库,以更新所述粗筛模型的检测基准。

46、本技术通过将各第二候选样本对应的归因结果输入至预设的复审规则引擎,使复审规则引擎根据归因置信度与预设第一阈值和预设第二阈值的比较结果对各第二候选样本进行结构化复审,输出接受结论或人工复核结论或拒绝结论,其中归因置信度高于第一阈值且证据充分时输出接受结论,归因置信度低于第二阈值或证据明显不足时输出拒绝结论,处于中间区间时输出人工复核结论,使得自动归因结果在接受第二视角审查时具有明确的判定依据和分流路径,避免了单一自动归因缺乏校验环节所导致的误判风险;在此基础上,对接受结论对应的各第二候选样本提取域名、网际协议地址、链接、文件哈希以及发件标识等威胁指标,使得经过复审确认的高可信事件中的可复用威胁特征被结构化为标准化的情报数据,为后续的检测能力更新提供了具体的指标输入;进而仅当接受结论对应的第二候选样本的归因置信度达到预设回灌要求且提取的威胁指标的数量和质量满足预设条件时,才将威胁指标回灌至预设的动态特征库以更新粗筛模型的检测基准,使得只有经过归因确认和复审接受的高置信事件才能够触发检测能力的更新,避免因证据不足或争议较大的归因样本过早写入威胁指标库而导致的误报风险积累,同时通过回灌后的动态特征库使后续批次的粗筛模型能够基于最新确认的威胁指标进行历史档案反查和关联线索匹配,实现检测能力随运营过程的持续演进。由此,本技术在归因输出之后,通过结构化复审和条件化回灌的闭环机制,将单次研判结果转化为可复用、可迭代的检测知识,使得检测模型能够随确认事件的发生而持续演化,避免了传统方案中检测能力固化于初始部署状态而无法适应攻击者战术变迁的缺陷。

47、第二方面,本技术提供了一种apt邮件检测装置。所述apt邮件检测装置包括:

48、第一获取模块,用于获取原始邮件数据;

49、合并模块,用于将原始邮件数据中属于同一逻辑邮件的多条邮件记录合并为单条记录,将合并后的各单条记录分别作为各个待分析样本;

50、第二获取模块,用于根据预设的粗筛模型获取每一所述待分析样本分别对应的可疑分值;

51、比较模块,用于将所述可疑分值不小于预设的准入阈值的各待分析样本确定为各第一候选样本;

52、计算模块,用于将各所述第一候选样本输入预设的行为发现模型,以获取每个第一候选样本对应的行为证据,根据每个第一候选样本对应的行为证据以及预设的规则风险权重,计算每个第一候选样本对应的综合可疑度;

53、分类模块,用于根据每个第一候选样本对应的综合可疑度,确定每个第一候选样本的类别,并将类别为apt嫌疑的各第一候选样本确定为各第二候选样本;

54、检测模块,用于将各所述第二候选样本输入到预设的归因模型,以输出所述原始邮件数据对应的各威胁行为体类别。

55、本技术通过第一获取模块获取原始邮件数据,合并模块将属于同一逻辑邮件的多条邮件记录合并为单条记录并将合并后的各单条记录分别作为各个待分析样本,使得原本因存在多条收件人记录而可能被重复处理的同一邮件仅以一个独立样本进入后续流程,消除了数据冗余对后续统计和判定的干扰;在此基础上,第二获取模块根据预设的粗筛模型获取每一待分析样本分别对应的可疑分值,比较模块将可疑分值达到准入阈值的待分析样本确定为第一候选样本,以较低计算成本完成了从海量邮件到可疑样本的第一轮压缩;进而计算模块将各第一候选样本输入行为发现模型获取行为证据并结合规则风险权重计算综合可疑度,其中行为证据捕获邮件在语义层面的深层异常,规则风险权重提供基于先验知识的确定性约束,两者协同后分类模块根据综合可疑度将apt嫌疑的第一候选样本确定为第二候选样本,实现了从可疑样本到apt嫌疑样本的第二轮压缩,既发挥了模型在复杂语义识别方面的优势,又通过规则层保证了判定结果的可解释性和一致性;最终检测模块将各第二候选样本输入归因模型输出各威胁行为体类别,使归因分析建立在已经过前序筛选和裁定的高质量样本之上而非单独进行,从而提高了整体分析链路的一致性和结论的可复核性。各模块依次串联形成从数据获取、样本合并、粗筛压缩、行为发现、综合判定到归因溯源的完整处理链路,使得海量邮件经过逐层筛选和逐级压缩后,仅对少量apt嫌疑样本进行深度归因分析,有效降低了整体处理开销,同时通过各模块间的数据流转和阶段职责分离,避免了传统方案中证据链断裂和阶段职责混杂的问题。

56、第三方面,本技术提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如所述的一种apt邮件检测方法。其有益效果与本技术中第一方面提供的一种apt邮件检测方法相同。