网络通信量模式中的违规和攻击执行的快速识别的制作方法

1.本公开一般涉及网络安全，尤其涉及提供对数据网络(例如，tcp/ip网络)上发生的各种网络威胁和攻击的表征的工具和技术。


背景技术：

2.针对用于网络安全定位或用于其他应用(例如，通信量安排)的仪器，网络经常处于要通过混杂模式(接收所有)网络分流器或通过从多端口交换机或其他网络转发设备接收输出的网络概要信息来监控的境况，其中，网络转发设备提供不同程度的冗长或简单的流数据。当该网络通信量数据的应用是以网络安全分析为目标时，存在可以使用该数据的若干方式。第一用例是取证收集，其中原始分组数据被收集以用于在攻击事故后时间帧中进行分类、索引和分析。另一用例是实时攻击检测，其涉及检测网络流元数据的组合，诸如源地址信息、嵌入在网络通信量中的应用数据的签名(例如，恶意软件)、以及(经由威胁情报源)已知的将指示某种类型的已知攻击的其他模式。虽然丰富的产品空间已经围绕这两个路径增长，但是两种方法都有局限性。
3.具体地，关于取证收集，该方法根据定义是在事故后发生的，因此它仅在网络威胁专家(例如，安全操作中心(soc)中的网络威胁专家)具有识别过去的实际通信量来进行事后检查或证据收集的技能和时间时是可用的。实时攻击检测可能招致显著的处理开销，并且充分利用的数据中心网络骨干可能容易淹没分组捕获和/或流分析的点。实际上，即使在设备可专用于该功能的情况下，用于流分析的cpu负载通常破坏可扩展性。并且，在通信量流中(例如，在交换机中)发生这种处理的情况下，实施该功能的作业被分配比该设备的主要作业(零丢失分组转发)更低的优先级，由此可能影响性能。


技术实现要素：

4.分析应用通信量的另一障碍是以下事实：在没有大量运营投资和在高度安全站点之外被视为高度侵入性的策略的情况下，加密的通信量对此类分析是不透明的。目前，整个互联网通信量混合反映了显著的https通信量平衡，这成为任何实际总量(volume)或通信量分析的效率必须克服的障碍。
5.解决这些缺陷的已知机制包括使用网络web代理、以及https密钥托管。两种方法都强加了大量的运营开销。例如，就存储和转发处理周期而言，代理通信量是昂贵的运营，主要是因为每个传输必须在转发点处重新加密。提供附加安全保护的密钥托管系统通常仅可部署在相互尊重的安全企业网络站点处；否则，提供者可能招致降低安全用户通信量完整性的责任。
6.在本领域中仍然需要提供检测恶意软件和其他网络威胁的新方法，优选地近乎实时地，不考虑有效载荷是明文的还是加密的。
7.一种用于识别基于tcp/ip的网络上的威胁的方法、装置和计算机系统。该方法利用与一个或多个已定义的危害指示符(indicator of compromise，ioc)相关联的一组参考“网络谱”模式。网络谱是对分组捕获进行的编码。通常，网络谱包含：针对所捕获的通信量中的可寻址网络接口的每个配对的一组以区间为界限(interval-bound)的通信量速率测量、识别测量区间的持续时间的数据、方向性数据、诸如源方和目的方的其他可检测元数据、ip承载和应用协议、以及可选地关于测量熵的概要流元数据。因此，网络谱通常使用有效载荷中性(payload-neutral)的会话数据来描述两方或多方之间或之中的网络通信量模式。如果通信量在被编码到网络谱中的一个或多个区间期间是空闲的(非变化的)，则可以选择性地应用时间序列压缩来减少被编码数据的量，从而提供更紧凑的表示。优选地，这种类型的网络谱的库被生成并且可用于评估。
8.为此，接收与被测通信量模式相关联的网络通信量数据并将其编码到测试网络谱中。然后执行实时比较以确定测试网络谱是否与参考网络谱中的任一个匹配。优选地，该比较以连续流传输的方式进行，其中一组参考网络谱中的每一个参考网络谱最初被标识为匹配候选。当测试网络谱与给定参考网络谱之间的给定的匹配的置信度下降到可配置阈值以下时，参考网络谱被从该组中移除。然后，该过程继续，直到保留至少一个匹配候选。响应于识别出至少一个匹配候选，系统随后采取给定的补救或者缓解行动。作为一个示例用例，参考网络谱描绘了要对其报警的一组通信量模式；一旦已经发现匹配候选，系统就向siem或其他网络安全设备或系统提供已经发现匹配的指示。
9.前述内容概述了本主题的一些更相关的特征。这些特征应被解释为仅是说明性的。许多其他有益的结果可以通过以不同方式应用所公开的如将要描述主题或通过修改该主题来获得。
附图说明
10.为了更完整地理解主题及其优点，现在参考结合附图进行的以下描述，其中：
11.图1描绘了在其中可以实现说明性实施例的示例性各方面的分布式数据处理环境的示例性框图；
12.图2是在其中可以实现说明性实施例的示例性各方面的数据处理系统的示例性框图；
13.图3示出了在其中可以实践本公开的技术的安全情报平台；
14.图4描绘了在其中可以实现本公开的技术的网络流数据收集系统；
15.图5描绘了代表性网络谱，该代表性网络谱描绘了基于http的通信量流；
16.图6描绘了另一代表性网络谱，该另一代表性网络谱描绘了恶意软件bot；
17.图7描绘了本公开的网络谱分析技术；
18.图8是针对谱模式匹配例程列出的代表性伪代码；
19.图9是图7中所示的网络谱分析技术的更详细的示例；
20.图10是示例网络谱，其使用软轴时间序列压缩来处理以考虑零总量(非熵)编码区间的可变性，否则可能影响谱的准确度；以及
21.图11描绘了在其中可实现本公开的技术的代表性多方操作场景。
具体实施方式
22.现在参考附图并且具体参见图1-图2，提供了可以实现本公开的说明性实施例的
数据处理环境的示例性示图。应当理解，图1-图2仅仅是示例性的，并不旨在断言或暗示对所公开的主题的各方面或实施例可在其中实现的环境的任何限制。在不脱离本发明的精神和范围的情况下，可以对所描绘的环境做出许多修改。
23.现在参考附图，图1描绘了在其中可以实现说明性实施例的各方面的示例性分布式数据处理系统的图形表示。分布式数据处理系统100可以包括在其中可以实现说明性实施例的各方面的计算机网络。分布式数据处理系统100包含至少一个网络102，网络102是用于在分布式数据处理系统100内链接在一起的不同设备和计算机之间提供通信链路的介质。网络102可以包括诸如有线、无线通信链路或光纤电缆之类的连接。
24.在所描绘的示例中，服务器104和服务器106与存储单元108一起连接到网络102。此外，客户端110、112和114也连接到网络102。这些客户端110、112和114可以是例如个人计算机、网络计算机等。在所描绘的示例中，服务器104向客户端110、112和114提供诸如引导文件、操作系统映像和应用之类的数据。在所描绘的示例中，客户端110、112和114是服务器104的客户端。分布式数据处理系统100可以包括附加的服务器、客户端和未示出的其他设备。
25.在所描绘的示例中，分布式数据处理系统100是具有网络102的互联网，网络102表示使用传输控制协议/互联网协议(tcp/ip)协议组来彼此通信的网络和网关的全球集合。互联网的核心是主节点或主计算机之间的高速数据通信线路的主干，由数千个路由数据和消息的商业、政府、教育和其他计算机系统组成。当然，分布式数据处理系统100还可被实现为包括多个不同类型的网络，诸如例如内联网、局域网(lan)、广域网(wan)等。如上所述，图1旨在示例，而不是作为对公开的主题的不同实施例的架构限制，因此，在图1中示出的特定元件不应当被认为是关于在其中可以实现本发明的说明性实施例的环境的限制。
26.现在参考图2，示出了在其中可以实现说明性实施例的各方面的示例性数据处理系统的框图。数据处理系统200是计算机(诸如图1中的客户端110)的示例，实施本公开的说明性实施例的处理的计算机可用代码或指令可以位于该计算机中。
27.现在参考图2，示出了可以在其中实现说明性实施例的数据处理系统的框图。数据处理系统200是计算机(诸如图1中的服务器104或客户端110)的示例，对于说明性实施例，实施过程的计算机可用程序代码或指令可以位于其中。在该说明性示例中，数据处理系统200包括通信结构202，其提供处理器单元204、存储器206、永久性存储装置208、通信单元210、输入/输出(i/o)单元212和显示器214之间的通信。
28.处理器单元204用于执行可以被加载到存储器206中的软件的指令。处理器单元204可以是一个或多个处理器的集合，或者可以是多处理器核，这取决于特定的实施方式。此外，处理器单元204可以使用一个或多个异构处理器系统来实现，在异构处理器系统中，主处理器与次级处理器存在于单个芯片上。作为另一说明性示例，处理器单元204可以是包含相同类型的多个处理器的对称多处理器(smp)系统。
29.存储器206和永久性存储装置208是存储设备的示例。存储设备是能够临时地和/或永久地存储信息的任何硬件。在这些示例中，存储器206可以是例如随机存取存储器或任何其他合适的易失性或非易失性存储设备。永久性存储装置208可以采取各种形式，这取决于特定的实施方式。例如，永久性存储装置208可以包含一个或多个组件或设备。例如，永久性存储装置208可以是硬盘驱动器、闪存、可重写光盘、可重写磁带或上述的一些组合。由永
久性存储装置208使用的介质也可以是可移动的。例如，可移动硬盘驱动器可以用于永久性存储装置208。
30.在这些示例中，通信单元210提供与其他数据处理系统或设备的通信。在这些示例中，通信单元210是网络接口卡。通信单元210可以通过使用物理和无线通信链路中的任一者或两者提供通信。
31.输入/输出单元212允许与可以连接到数据处理系统200的其他设备进行数据的输入和输出。例如，输入/输出单元212可以通过键盘和鼠标为用户输入提供连接。此外，输入/输出单元212可以将输出传送到打印机。显示器214提供向用户显示信息的机制。
32.用于操作系统和应用或程序的指令位于永久性存储装置208上。这些指令可以被加载到存储器206中以供处理器单元204执行。处理器单元204可以使用计算机实施的指令来执行不同实施例的过程，这些指令可以位于存储器(例如，存储器206)中。这些指令被称为可以由处理器单元204中的处理器读取和执行的程序代码、计算机可用程序代码或计算机可读程序代码。不同实施例中的程序代码可以实施在不同的物理或有形计算机可读介质上，诸如存储器206或永久性存储装置208。
33.程序代码216以功能形式位于选择性可移除的计算机可读介质218上，并且可被加载到或转移到数据处理系统200以供处理器单元204执行。在这些示例中，程序代码216和计算机可读介质218形成计算机程序产品220。在一个示例中，计算机可读介质218可以是有形形式，诸如，插入或放置在驱动器或作为永久性存储装置208的一部分的其他设备中的光盘或磁盘，用于转移到存储设备上，诸如，作为永久性存储装置208的一部分的硬盘驱动器。在有形形式中，计算机可读介质218还可以采取永久性存储器的形式，诸如连接到数据处理系统200的硬盘驱动器、拇指驱动器或闪存。计算机可读介质218的有形形式也被称为计算机可记录存储介质。在一些实例中，计算机可读介质218可能不是可移除的。
34.可替代地，程序代码216可以通过到通信单元210的通信链路和/或通过到输入/输出单元212的连接从计算机可读介质218传输到数据处理系统200。在说明性示例中，通信链路和/或连接可以是物理或无线的。计算机可读介质还可采取非有形介质的形式，诸如包含程序代码的通信链路或无线传输。为数据处理系统200示出的不同组件不意味着对在其中可以实现不同实施例的方式提供架构限制。不同的说明性实施例可以在包括除了为数据处理系统200示出的那些组件之外的组件或替代数据处理系统200示出的那些组件的组件的数据处理系统中实现。图2所示的其它组件可以不同于所示的说明性示例。作为一个示例，数据处理系统200中的存储设备是可以存储数据的任何硬件装置。存储器206、永久性存储装置208以及计算机可读介质218是有形形式的存储设备的示例。
35.在另一示例中，总线系统可用于实现通信结构202，并且可以包括一个或多个总线，诸如系统总线或输入/输出总线。当然，可以使用在附接到总线系统的不同组件或设备之间提供数据传送的任何合适类型的架构来实现总线系统。此外，通信单元可以包括用于发送和接收数据的一个或多个设备，诸如调制解调器或网络适配器。此外，存储器可以是例如存储器206或诸如在可能存在于通信结构202中的接口和存储器控制器集线器中发现的高速缓存。
36.能够以一种或多种程序设计语言的任意组合来编写用于执行本发明的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java
tm
、smalltalk、c
等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接至用户的计算机，或者可以连接至外部计算机(例如，使用互联网服务提供商通过互联网)。
37.本领域普通技术人员将理解，图1-图2中的硬件可以根据实施方式而变化。除了在图1-图2中描述的硬件或替代在图1-图2中描述的硬件，还可以使用其他内部硬件或外围设备，诸如闪存、等效非易失性存储器或光盘驱动器等。此外，在不脱离公开的主题的精神和范围的情况下，说明性实施例的过程可以应用于多处理器数据处理系统，而不是前述smp系统。
38.如将看到的，本文描述的技术可以在诸如图1所示的标准客户端-服务器范例内协同操作，在图1中，客户端机器与在一个或多个机器的集合上执行的互联网可访问的基于网络的门户通信。终端用户操作能够访问门户并与门户交互的互联网可连接设备(例如，桌上型计算机、笔记本计算机、支持互联网的移动设备等)。通常，每个客户端或服务器机器是诸如图2所示的包括硬件和软件的数据处理系统，并且这些实体通过诸如互联网、内联网、外联网、专用网络或任何其他通信介质或链路的网络彼此通信。数据处理系统通常包括一个或多个处理器、操作系统、一个或多个应用和一个或多个实用工具。数据处理系统上的应用提供对web服务的本地支持，包括但不限于对http、soap、xml、wsdl、uddi和wsfl等的支持。关于soap、wsdl、uddi和wsfl的信息可以从负责开发和维护这些标准的万维网联盟(w3c)获得；关于http和xml的进一步信息可从互联网工程任务组(ietf)获得。假定这些标准是熟悉的。
39.安全情报平台
40.当今的网络比以往的更大更复杂，并且保护它们免受恶意活动是永不结束的任务。组织寻求保护他们的知识产权、保护他们的客户身份、避免通信量中断等，需要做的不仅仅是监控日志和网络流数据；实际上，许多组织每天创建数百万或者甚至数十亿事件，而将该数据提炼到优先考虑的违规(priority offense)的短列表可能是令人望而生畏的。
41.已知的安全产品包括安全事故和事件管理(security incident and event management，siem)解决方案，该解决方案构建在基于规则的机制上，以评估观察到的安全事件。siem系统和方法收集、规范化以及关联可用网络数据。此类型的一种这样的安全情报产品是siem，其提供了一组平台技术，该平台技术检查网络流数据以发现网络上的有效主机和服务器(资产)并对其进行分类，跟踪它们使用的应用、协议、服务和端口。产品收集、存储和分析数据，并且执行实时事件相关以用于威胁检测以及合规性报告和审计。使用该平台，数十亿事件和流可因此根据它们的通信量影响而被减少以及按优先级被排序为少数可控诉的违规。
42.网络事务通常由服务器和客户端之间的一系列多个分组组成。随着安全监控的流行和siem的使用，许多实体正选择收集该流信息来检测网络威胁。随着网络上通信量的不断增加，对于允许对不同记录进行快速相关的机制的需求变得越来越重要。在安全操作中有用的一个这样的观点是，查看在特定流会话中发生了什么的能力。然而，对给定流会话中的流进行定义和查询的当前机制通常与关于以下各项的知识紧密耦合：哪个流收集器看到
通信量、哪个协议被使用、以及存在哪些流场。例如，看到同一会话的不同半部分的两个不同网络流收集器之间可能需要相关(即，非对称路由和重新组合)，或者网络流收集器与事件日志收集器之间可能需要相关。
43.图3中示出了已知类型的安全情报平台。通常，该平台提供搜索驱动的数据探索、会话重构和取证情报以帮助安全事故调查。在相关部分中，平台300包括分组捕获装置302、事故取证模块装置304、分布式数据库306和安全情报控制台308的集合。分组捕获装置和模块装置被配置为网络装置，或者它们可以被配置为虚拟装置。分组捕获装置302可操作来捕获离开网络的分组(使用已知的分组捕获(pcap)应用编程接口(api)或其他已知的技术)，并且将这样的数据(例如，实时日志事件和网络流)提供给分布式数据库306，其中数据被存储并且可供取证模块304和安全情报控制台308分析。分组捕获装置以面向会话的方式操作，捕获流中的所有分组，并索引元数据和有效载荷以实现快速搜索驱动的数据探索。数据库306提供取证储存库，其分布式和异构数据集包括由数据分组捕获装置收集的信息。控制台308提供网络可访问或云可访问的用户界面(ui)，该用户界面展示“取证”仪表板选项卡以促进调查者的事故调查工作流。使用该仪表板，调查者选择安全事故。事件取证模块304检索所选择的安全事故的所有分组(包括元数据、有效载荷等)并且重构会话以用于分析。
44.实现此类型的事故调查工作流的代表性商业产品是securityincientt forensics。使用该平台，调查者跨数据库中存储的分布式和异构数据集进行搜索，并且检索统一的搜索结果列表。搜索结果可以合并在网格中，并且它们可以在“数字印象”工具中可视化，使得用户可以探索标识之间的关系。
45.具体地，现在描述用于从取证储存库中的网络通信量和文档中提取相关数据的典型事故取证调查。根据该方法，平台实现简单的高级的方法：首先搜索许多记录并对其加上书签，然后使调查者能够集中于已加书签的记录来识别记录的最终集合。在典型的工作流中，调查者确定哪种材料是相关的。然后，他或她使用该材料来证明假设或“案例”以开发新的线索，这些线索可以通过在现有案例中使用其他方法来跟随。通常，调查者最初通过粗粒度的动作来集中他或她的调查，然后继续将这些发现微调成相关的最终结果集合。图3的底部部分示出了基本工作流。平台中的可视化和分析工具然后可以用于手动和自动评估相关性的结果。相关的记录可以被打印、导出或提交处理。
46.如上所述，平台控制台提供用户界面来促进该工作流。由此，例如，平台在界面显示选项卡上提供搜索结果页面作为默认页面。调查者使用搜索结果来搜索和访问文档。调查者可以使用其他工具来进一步调查。在网络通信量和文档中找到的已知实体或人员被自动地加标签。取证事故模块304可操作为使彼此交互的加标签的标识符相关。通常，收集关系表示与攻击者或网络相关实体相关联的连续收集的电子呈现。
47.通常，用于在上述系统中使用的装置被实现为网络连接的非显示装置。例如，特意构建用于执行传统的面向中间件服务的架构(soa)功能的装置在某些计算机环境中是普遍的。soa中间件装置可简化、帮助安全或加速xml和web服务部署，同时跨企业扩展现有soa基础设施。使用以中间件为目的的硬件和轻量级中间件堆栈可以解决传统软件解决方案所经历的性能负担。此外，该装置形状因子提供了用于实现中间件soa功能的安全的、可消费的包装。这些类型的设备所提供的一个特定优点是从后端系统卸载处理。这种类型的网络装置通常是机架安装设备。该设备包括使得该装置能够用作敏感信息的保险箱的物理安全
性。典型地，该装置被制造、预加载有软件，并且然后被部署在企业或其他网络操作环境内或与企业或其他网络操作环境相关联；可替代地，箱可以被位于本地且然后配备有标准或定制的中间件虚拟镜像，这些虚拟镜像可以被安全地部署和管理，例如，在私有或场所内云计算环境内。该装置可以包括硬件和固件加密支持以可能用于对硬盘上的数据进行加密。没有用户(包括管理用户)可以访问物理盘上的任何数据。具体地，优选地，操作系统(例如，linux)锁定根账户并且不提供命令壳(shell)，并且用户不具有文件系统访问。典型地，该装置不包括显示装置、cd或其他光学驱动器、或任何usb、火线或其他端口以使设备能够连接到其上。其被设计为密封的、具有有限可接近性的安全环境、且仅被认证和授权的个体。
48.此类型的装置可以促进安全信息事件管理(siem)。例如，securitysiem是包括可被配置为此类型的装置的分组数据捕获装置的企业解决方案。例如，这种设备被操作为捕获实时层4网络流数据，然后例如使用深度分组检查和其他技术可以从该实时层4网络流数据中分析第7层应用有效载荷。它使用基于流的网络知识、安全事件相关和基于资产的弱点评估的组合来提供态势感知以及合规性支持。在基本qradar siem安装中，诸如图3中所示的系统被配置为收集事件和流数据并生成报告。如所指出的，用户(例如，soc分析者)可以调查违规以确定网络问题的根本原因。
49.概括地，安全信息和事件管理(siem)工具提供用于分析、管理、监控和报告it安全事件和漏洞的一系列服务。这样的服务通常包括收集关于跨数据网络的受监控访问和意外发生的事件，以及在相关上下文中分析它们以确定它们对已配置的更高阶安全事件的贡献。它们还可以包括：对防火墙配置的分析，用于查看当前和潜在网络通信量模式的网络拓扑和连接可视化工具，将资产漏洞与网络配置和通信量相关以识别主动攻击路径和高风险资产，以及支持监控网络通信量、拓扑和漏洞暴露的策略兼容性。一些siem工具具有基于对通过公共网络信息模型处理的设备配置的转换分析来建立诸如路由器、防火墙和交换机之类的受管理网络设备的拓扑的能力。结果是可以用于安全威胁的模拟、防火墙过滤器的操作分析以及其他应用的位置上的组织。然而，主要设备标准完全是基于网络和网络配置的。虽然存在用于启动对受管理资产/系统的发现能力的许多方式，并且虽然用户界面中的包容是半自动管理的(即，通过允许具有拓扑的基于半自动的、人类输入的放置并且其显示和格式化是基于底层网络中的初始配置和改变/删除两者的发现而被数据驱动的用户界面的方法)，但是就产生全自动放置分析和建议的放置分析而言，什么都不提供。
50.由此，在该方法中，从siem系统(诸如qradar)提取违规的细节。该细节通常包括违规类型、规则、类别、源和目的地ip地址、以及用户名。例如，违规可以是指示在机器上检测到恶意软件的恶意软件类别违规。因此，机器在该违规周围的活动需要被检查以确定感染途径和潜在的数据泄漏。当然，需要被调查的活动的性质将取决于违规的性质。
51.存在许多不同类型的网络流收集器，并且该收集器经常专用于特定的网络流协议。示例是ipfix，并且另一示例是netflow，netflow是基于路由器的特征，其提供当进入或退出路由器接口时收集互联网协议(ip)网络通信量的能力。通过分析从这样的工具收集的数据，网络管理员可以识别通信量的源和目的地、服务的类别以及拥塞的原因。如图4所描绘的，典型的流监控设置包括：流出口器400，其聚集进入流中的分组并且向一个或多个收集器出口流记录；流收集器402，其接收、存储和预处理从流出口器接收的流数据；以及分析应用404，其分析接收到的流数据，例如，以用于入侵检测或通信量概况分析。通常，将流406
定义为全部共享以下值的分组的单向序列：输入接口、源ip地址、目的地ip地址、ip协议、udp/tcp的源端口(其他协议为0)、udp/tcp的目的地端口(或icmp的类型和代码，或其他协议为0)、以及服务类型。如图4所描绘的，数据记录408可以包含关于给定流中的通信量的各种各样的信息，例如，由snmp使用的输入接口索引、输出接口索引(或者零，如果分组被丢弃则为零)、流开始和结束时间的时间戳(通常自上次启动以来以毫秒计)、在流中观察到的字节和分组的数量，层3报头(源和目的地ip地址、icmp类型和代码、ip协议、服务类型(tos)值)、用于tcp、udp、sctp、tcp流的源和目的地端口号，在流的生命周期中观察到的所有tcp标志的并集、层3路由信息(例如，沿着至目的地的路由的紧接下一跳的ip地址)，以及源和目的地ip掩码(cidr标记中的前缀长度)。
52.存在许多其他类型的网络流出口协议和相关联的收集器机制。另一示例是sflow(简称“采样流”)，sflow是osi层2处的分组输出的行业标准。它提供用于输出截短的分组的部件，以及用于网络监控的接口计数器。其他示例包括ipfix，如前所述。每个流出口协议产生流记录。如现在将描述的，本发明的技术与任何网络流出口协议一起工作，而不管所生成的流记录的性质和语义。
53.上文描述的分组和网络流捕获技术代表可以在其中实施本公开的技术的不同操作环境。如将描述的，本文中的快速识别和检测方法可以使用不同的数据源(网络活动的实时记录)来执行，包括但不限于实际分组捕获，其中分组伴随有微秒(如果不是纳秒)准确度以用于记录分组到达时间，以及出口的网络流，其中分组计数、分组大小和其他数据(例如，帧间间隙，其是源跨网络发送数据分组的时刻与目的地响应的时间之间的静默时间段)被收集作为出口的流数据的一部分。
54.对于要传播到进行任何种类的分析的过程的网络数据，必须存在收集并打包网络数据的固定时间段(例如，在分组捕获(普遍以pcap形式)的情况下以及在网络流(如从出口的过程或设备发送的ipfix消息)的情况下)。在本公开的剩余部分的上下文中，该固定时间段被称为“收集区间”。更一般地，在网络通信量分析中，收集区间代表感兴趣的总体收集和报告单元，例如，流出口如何将其总体数据帧化。如将看到的，此区间的存在和调谐可以是平衡在本文描述的分析的吞吐量和实时有效性的因素。
55.快速识别网络通信量模式中的违规和攻击执行
56.以上内容作为背景，现在描述本公开的技术。根据一个方面，感兴趣的通信量流(包括被测试通信量以及系统尝试与被测试通信量匹配的一组候选通信量流)被编码成代表性格式。如上所述，这种格式在本文中称为“网络谱”。该方法的动机是认识到网络通信量本身与可见谱的颜色及其谱表示具有概念相似性。因此，在视觉谱以类似方式传达诸如幅度、色调、色素沉着等此类特性或特质的同时，本文的方法对网络通信量的一组特性或特质进行编码。这些特性/特质的性质和类型可以改变，但是通常包括总量、协议标识、方向性、非加密通信量元数据(例如，tcp协议和端口等同物)。例如，假设合理地细粒度的收集区间的参考模式，并且不考虑实际通信量有效载荷和内容，给定流的网络谱可以仅基于量化的ip通信量总量(或在帧间传输中缺乏ip通信量总量)、多方向和其他可检测的元数据(诸如ip承载协议，即tcp、udp、icmp、ggp等)来导出。该模式(网络谱)可以是多维的或简单地在任何聚合的流集合中识别的多个节点之间复制的。进一步，并且如将描述的，该方法可用于简单的两方情况(例如，跨两个端点的流)中，但也可用于其中通信量流中涉及多方的情况。
57.更正式地，网络谱是对分组捕获进行编码。通常，网络谱包含针对所捕获的通信量中的可寻址网络接口的每个配对的一组以区间为界限的通信量速率测量、识别测量区间的持续时间的数据、方向性数据、诸如源方和目的地方的其他可检测元数据、ip承载和应用协议、以及可选地关于测量熵的概要流元数据。给定这种编码，网络谱通常使用一组有效载荷中性的会话数据来概括两方或多方之间或之中的网络通信量模式。如果通信量在被编码到网络谱中的一个或多个区间期间是空闲的(非变化的)，并且如将在下面描述的，可以选择性地应用时间序列压缩来减少被编码数据的量，从而提供更紧凑的表示。
58.图5描绘了用于源502与目的地504之间的简单两方通信量流的示例网络谱500。这些实体可以是以如图1所示的客户端-服务器关系操作的如图2所示的计算系统。
59.如图5所示，该视觉表示描绘了正常的http会话的持续时间内的通信量流，其中“connection：keep-alive”报头存在于原始http请求中。尽管没有这种类型的两个会话是完全相同的，但在此存在某些预期模式。具体地，响应通信量(线以下)远远超过侧重于请求的通信量(线以上)的量。同样明显的是，初始响应(在左侧)形成了传输的绝大部分，随后是较小的请求(例如，并行检索多媒体内容页面，随后是嵌入的横幅广告的检索、单像素广告商跟踪机制等)。在此描述中，存在两种不同的已识别协议：tcp控制通信量和tcp会话通信量(粗线)。可见，该流的网络谱传达了关于整个会话的大量信息，但也不需要(例如，由安全分析者进行)任何内容(有效负载)分析。因此，如果该示例流是https协议会话，则使用本公开的网络谱方法来对其进行分析，同时避免管理性-侵入方法，诸如在通信量监控点处的密钥托管或使用特定解密设备等。
60.图6描绘了另一示例网络谱600，在此情况下，模式是潜在安全事故的特性。同样，这是源602和目的地604之间的两方流。在该示例中，粗线代表证书交换和传输控制通信量。附图标记606示出数据渗出，608示出命令和控制通信量。因此，该网络谱是代表恶意软件bot的图形模式。与先前示例一样，即使通信量被匿名并且没有内容透明性，但网络谱也能提供重要的信息。相反，相关信息是从可用数据获得的，即数据的总量和方向、tcp分组报头信息、交替协议交换(例如，x.509)等，并且该信息被识别为由恶意软件携带的交换的密切特征。继续与视觉谱类比，在该示例中，这些可用数据元素就像共同形成视觉表示的各种颜色或颜色特性。
61.诸如图5和图6所示的表示是参考网络谱的示例。诸如此类的表示可以被分组在一起，例如，分组到与更概括性的危害指示符(ioc)相关联的谱族中，在这种情况下，谱也可以具有相关联的“置信度”值(或其他优先级)，该“置信度”值反映了对它们可能的相关性的确定以指示感兴趣的ioc。
62.概括地，包括感兴趣的通信量流(尤其是正被分析的通信量段)的不同数据元素在本文中有时被称为维度。取决于流的性质和类型，以及流参与者的数量，包括网络谱的维度可以变化，但是通常它们是有效载荷中性的并且被定义在会话通信量的水平。会话的界限由流五元组定义，即源ip地址、目的地ip地址、源端口、源目的地和协议。这些是可以被包括在编码中的相关维度。其他包括但不限于字节计数(总量)、分组计数、字节计数的排序、分组计数配对的观察、方向、非加密的通信量元数据(例如，tcp协议和端口等同物)等。如上所述，给定网络谱可以基于双向网络通信量模式、多向网络通信量模式或其组合，所述模式通常基于连接(通常为tcp传输连接)的连接建立和拆除签名，所述连接通过底层ip网络结构
传输那些模式。如将看到的，使用网络谱方法，感兴趣的通信量段可以对照一组参考模式来分析，该通信量段被编码(通常在离线过程中)为表示网络中指示潜在安全违规或攻击的网络威胁和/或其他高价值事件的发生。这种分析可被实时地或基本上实时地执行，从而实现对与通信量段相关联的安全或其他威胁的“快速识别”。在一个示例(和非限制)实施例中，网络谱比较集在客户终端网络处提供网络事件的非常快速的执行hive(high value event，高价值事件)鉴定。
63.图7描绘了本公开的基本网络谱捕获和评估技术的概念视图。如所描绘的，在此示例实施例中，功能在网络谱分析器700中实现，网络谱分析器700可封装为独立应用、储存库层或其他处理能力(包括但不限于在例如wireshark等原生pcap应用中)。分析器700包括或具有访问参考网络谱的集合(库)702的能力。被测试通信量(例如，pcap流)由谱转换器组件704捕获且编码到网络谱中。被测试通信量在本文中有时被称为被分析通信量或被测通信量。用于创建参考网络谱的编码可不同于用于对被测试通信量进行编码的编码，或编码技术可相同。转换器组件704的输出是网络谱706，其随后在提供谱模式匹配的比较组件708中与参考网络谱进行比较。优选地，比较组件708以连续流传输的方式工作，其中(一些给定数量的此类参考谱中的)每个参考网络谱被视为匹配。随着匹配过程的进行，比较组件708生成指示捕获到的通信量与一个或多个参考网络谱之间的重叠程度的输出710。当测试网络谱与给定参考网络谱之间的给定的匹配的置信度下降使得参考网络谱不再被认为是(潜在的)匹配时；将该参考网络谱从进一步的考虑中移除。然后，匹配过程继续，直到保留至少一个匹配候选。基于模式匹配，如果流(由匹配的参考网络谱表示)是可疑的，则系统表征被测试通信量，必要时可能采取给定的补救或者缓解措施。虽然在通常的情况下，一个或多个参考网络谱匹配被发现为匹配被测试通信量，但还可能存在没有匹配候选从模式匹配保留的情况。在这种情况下，系统返回被测通信量是不确定的或未被识别的指示。
64.概括地，网络谱评估(测试编码下的通信量，以及模式匹配)由被馈送所捕获的分组通信量(例如，pcap文件)或从现场捕获通信量导出的数据(例如，ipfix消息)的系统(通常为软件系统)执行。
65.以下部分提供关于上述方法的实现的附加细节。
66.监控通信量、模式和流
67.如本文所使用的且如图7描绘的，将一个或多个参考谱(sref)与正被评估的通信量段(seval)进行比较。在典型的用例中，网络谱分析器考虑被编码到网络谱中的信息，例如，一个或多个通信量流维度，例如，分组计数、字节计数、和跨观察到的通信量模式的网络通信量元数据(例如，主ip承载协议、源/目的端口)，作为给定收集区间上的样本。对于任何给定的以时间为界限的区间(例如，每五(5)秒)，比较的形式化分析由以下等式描述：
[0068][0069]
该等式表示用于匹配所有候选参考网络谱的公式m，该等式是跨匹配区间i执行的。形式上，匹配区间通常表示收集区间内(结束之前)的一些特定细分。匹配区间通常是整数个编码区间。编码区间是收集区间内的最小持续时间，以鉴定和推断ioc(如参考网络谱中所描绘的)的存在和与被分析通信量的相同匹配区间的匹配。编码区间是比较的原子持
续时间-单位。优选地，以上描绘的公式是跨匹配空间中(在pcap中或跨所捕获的通信量的当前界限)的所有匹配区间迭代地执行的，其中每次迭代产生一组匹配谱和一组部分匹配的谱，m’，其中，是(部分匹配的)谱的标识的耦合以及偏移到谱中的编码，其中，匹配已经被识别为匹配区间的结束。在基于流的模式匹配中，在以匹配区间0处的任何匹配开始处，优选地，所有可能的参考谱都是可行的匹配候选(即，没有一个被消除)。当在匹配区间上评估通信量时，系统考虑从它们的偏移0的当前匹配候选。
[0070]
置信度区间加权
[0071]
如上所述，在基于流的模式匹配期间，被测通信量的编码与可以是用于测试通信量的匹配候选的每个参考网络谱的编码进行比较。随着模式匹配进行，分组分析器在匹配程度方面的置信度通常会变化，通常相对于某些已定义置信度区间而变化。更形式化地，置信度区间是跨匹配区间的连续正比较的数量，该匹配区间用于鉴定或确认与ioc(如参考网络谱收集区间中描绘的)进行比较的阈值可能性。通常，该数量是参考网络谱的特质，可能部分地基于由参考网络谱描绘的ioc的准确度的置信度；在替代实施例中，该数量通过系统或用户偏好、基于外部或其他因素(例如，一天中的时间、源或目的ip地址等)来调整。
[0072]
如上所述，在一个实施例中，什么被匹配取决于编码实现，但是通常包括：端口、字节计数、分组计数、以及在匹配区间的过程期间对《字节计数、分组计数》的成对观察值的排序。然而，许多因素中的任何一个可能导致参考谱匹配在匹配点上偏离，从而潜在地影响分析。这些因素包括，例如，在所有其他方面(具体地，对于》1024的任何端口)与谱潜在地匹配的模式的端口变化，由于内部变量的可变性而引起的分组有效载荷量的变化，以及其他。作为示例，网络钓鱼危害指示符(ioc)匹配可能包含http重定向，其在引用中具有78字节的目的地url，但是在观察到的通信量中具有112字节的匹配(可能由于协调网络钓鱼违规的命令和控制(c&c)中心的托管中的动态改变)。为了解决这些类型的误差，优选地，网络谱分析器导出并维持附加的置信区间加权，如现在所描述的。
[0073]
特别地，在分析器认为参考谱中的匹配的任何点处，优选地，分析器记录以下状态信息(构成如上所示的m或m’的某个成员)：(i)考虑中的网络谱的标识，(ii)如在通信量中观察到的端点标识与网络谱中描绘的端点标识的映射，(iii)到匹配中的偏移，其中已经成功完成到该点的匹配，以及(iv)其余置信度匹配区间平衡。第二项(ii)被保留，该谱可以涉及任何两个ip地址，而不仅仅是在参考网络谱中观察到的ip地址。第三项(iii)表示每个匹配以可以跨给定匹配递减的“保留”置信度开始。作为示例，假定置信度的任意100个点。大于1024的端口之间的失配可以是从该平衡可忽略的递减量，例如1点。然而，＜1024的端口之间的不匹配可能是与参考(例如，10个点)的更严重的偏离。匹配序列中的两个预期分组之间的大小变化可能在已定义的偏差范围上可变地加权，例如，在总体匹配上递减的[ (sref-seval)/sref]点。作为另一示例，在评估匹配空间传输连接上剩余大量的参考匹配空间的耗尽可以被加权以非常快速地耗尽匹配的置信点。这些仅仅是代表性示例。
[0074]
通过应用如上所述的置信区间加权，分析器的谱比较组件可以快速地标识正被评估的通信量段的谱与一组参考网络谱之间的失配。具体地，可以快速确定给定的参考网络谱缺乏可行性，只剩下具有一些匹配概率的参考网络谱候选。
[0075]
尽管不是必需的，但是可能期望例如通过网络级协议界限来约束考虑中的匹配空间。
next measure”(图8中)相对于被配置的(或每个谱)最高值(high water mark)来测量累积区间。该操作近似如下“条件熵”值：
[0084]
h(yvx)＝∑
(x∈x)
∑
(y∈y)
p(x，y)log(p(y∨x)。
[0085]
换言之，谱比较所生成的部分匹配可以具有它们自己的匹配度量来传达。这些度量也可能是感兴趣的，特别是对于高插值和原生熵的模式空间。这些熵测量也可以作为谱分析器的输入给出，以便使得分析器能够计算在确定匹配时可允许的“最大”熵偏差。这种类型的谱报告的一个应用包括但不限于检测网络谱编码区间界限本身的比较空间内的异常。
[0086]
下面提供了关于根据示例实施例的网络频谱分析仪的实现的附加细节。如上所述，现在参考图9，网络频谱分析仪将参考网络频谱900作为一个输入，并将pcap频谱转换器组件的输出902作为一个输入，并执行比较。如所描绘的，优选地，参考频谱组件执行编码区间匹配、平滑、插值(异常值减少)和熵偏差(例如，完美匹配＝0，完全相异＝1)计算，如上所述。平滑和插值是可选的。最终结果904提供捕获的通信量和参考网络谱之间的重叠程度，可选地，一起提供已经通过比较识别的任何精确重叠的注释和持续时间。
[0087]
(在匹配期间发生的)平滑、插值和熵计算优选地以每个编码区间进行。
[0088]
构建参考谱库
[0089]
给定持久网络谱的格式(例如，来自pcap转换的谱)，下面描述可以用于创建如图7所示的参考谱库702的实用工具。如图所示，分析器可以原生地存储库，或者也可以从外部储存库或任何其他数据源访问库。库可以定期更新或在接收到新的参考网络谱时更新。在一个实施方式(例如，涉及pcap数据流)中，实用工具采用pcap文件名和输出网络谱文件名。然后，该实用工具执行几个功能。具体地，其评估数据流中的帧间间隙以推断最佳可用的编码区间。然后，实用工具例如基于任何用户覆盖(尽管也支持无人值守操作，例如，对于自动测试应用)来调整该区间，并且基于编码区间对谱区间和帧级别进行编码，包括任何必要的平滑、插值和其他功能以实现以区间为界限的通信量水平报告。在此过程期间，实用工具还可以提供其他谱元数据，例如熵报告。根据本公开的另一方面，优选地，实用工具还为谱提供了附加的编码选项，这里称为软轴。
[0090]
优选地，该系统具有可用的网络谱库，该网络谱库基于对确定的或模拟的攻击通信量的测量而构建。网络谱可以例如经由安全社区分发模型从可信第三方源提供。
[0091]
用于生成参考谱的替代性编码方法可以基于例如在ipfix和oasis stix中记录的每分组流数据。对于ipfix，可以使用基本列表模板结构(如在rfc6313中所定义)来编码每区间交换。基本的每区间传达(这里区间由ipfix出口器报告区间定义)发出符合总体元数据模板的报告，然后是n个列表元素，其中n＝ipfix报告区间内的采样区间的数量。stix利用由2.0stix标准的第5卷中的多元素列表结构定义的类似机制。
[0092]
软轴时间序列压缩
[0093]
如上所述，优选地，通过处理编码以忽略或省略在其中通信量空闲(不变)的区间，以高度紧凑的方式对参考网络谱进行编码(以便于模式匹配)。当在被编码到网络谱中的一个或多个区间期间通信量是空闲的(不变的)时，优选地利用时间序列压缩来减少被编码数据的量，从而提供更紧凑的表示。该过程在本文中有时被称为使用软轴编码。这种编码确保了被分析的通信量模式不会由于空闲通信量条件(即不代表有意义的通信量的空闲活动)
导致的环境影响(对流)而逃避检测。空闲活动的性质和原因可以变化，但通常包括帧间间隙、应用协议活动，例如跨区间保持活动等。这些真实世界条件会对跨区间呈现的值的测量产生不利影响，否则值的测量在对由网络谱表示的loc进行概况分析时是有用的，并且软轴方法从编码中去除了该活动。
[0094]
对于典型的loc，代表性网络谱包括从一方到另一方的通信量水平的一些非零测量，以及表示任一方向上的零通信量水平的区间。这些零通信量水平可以代表谱参与者的一部分上的处理和微服务启动时间，或者它们可以代表传输延迟，特别是在采样区间是细粒度的长传输结构中。本文描述的软轴比较和编码减少了假阴性，否则这些假阴性可能由这些内部非零测量间隙产生。现在参考图10，在网络频谱1000的简化描述中，有几个零测量区间1002。在这种双方双向通信量模式中，虚线三角形1004表示a到b的通信量，实线三角形表示b到a的通信量。尽管在流的任一端点有可能高效地匹配实际通信量测量水平的谱模式，但这些值通常相对于参考谱和所测量的所捕获的通信量(表现出与该谱相关联的loc)保持相对恒定。然而，该测量的置信度(如果不是与谱匹配的整体能力)可能会受到零测量区间的某个已定义序列(例如，大于2)的存在的不利影响，该序列的存在会导致所捕获的通信量不准确，例如，由于系统处理中的瞬态条件或网络延迟。为了解决这个问题，软轴编码提供了沿不变(空闲通信量)的编码区间的时间序列压缩。无论何时何地，只要频谱包括零测量区间的给定序列，就可以使用这种压缩，但是优选的方法是根据通信量流的性质和可能损害表示的准确度的条件来更有选择地配置压缩。例如，零测量区间的压缩可以由正则表达式匹配元素来控制，该元素测试一个或多个条件的存在，诸如可能损害测量准确度的传输不确定性(例如，保持活动)、帧间间隙等。为了提供具体示例，正则表达式可以实现“匹配一个或多个”类型的正则表达式匹配元素；在匹配时，对零测量区间的序列实施时间序列压缩。这种编码是有利的，因为它考虑了零总量(非熵)编码区间的可变性。
[0095]
概括地，软轴(时间序列)编码提供了一种机制以(从编码中)过滤不代表用于比较目的的有意义通信量数据的测量。
[0096]
多方、多方向的网络通信量模式
[0097]
如上所述的技术使得能够在实体之间制定和使用双向网络模式。图5和图6表示典型的两方流。根据另一方面，本文的技术还容易地应用于多方向的通信量模式，包括涉及多方的通信量模式。这是期望的，因为不是所有的ioc都匹配两方(例如，客户端-服务器)范例。这通过图11中的示例来描述，图11描绘了示出一对通信量模式和字节的多方场景，对应于使用tor(the onion router，洋葱路由器)跨其对等路由结构交换数据的主客户端发送方和若干对等方。该用例并不旨在是限制性的。一旦被标识并被匿名，最终目的地就不是以其他方式可见的。在这种情况下，在交换中存在几个行动者。在比较两个曲线图时，可以看出，短区间内明显存在对等体组给出了与参考谱匹配的一些指示，但是出于匹配的目的，那些对等体的标识需要在给定的评估候选上被抽象和匹配，例如，其中给定一组对等体行动者a......e，被映射到给定谱的新兴标识ip地址。在从公共ip地址空间上的放置(比如说在nat防火墙后面的评估候选)生成待匹配的谱的情况下，匹配(在这种情况下，b...e
→
单个ip)更鲁棒，并且让多个匹配选项打开而没有置信匹配区间的显著递减。
[0098]
概括地，本文的技术可以被概括为促进多方网络谱比较。优选地，使用以上描述的功能来执行比较，并且根据需要评估来自每对实体(例如，[a，b]..[b，c]...[a.c])的通信
量流。每对实体包括所讨论的流。以此方式，本文的方法使得能够检测用于转发代理、中间人转换和其他对等关系转发或数据服务协议(诸如bittorrent)的模式。
[0099]
缓解和补救
[0100]
如已经描述的，本文的技术使得能够快速且高效地表征数据网络威胁和攻击。如已经描述的，基本用例尝试将网络状态与一组经表征且可辨识的威胁匹配(经由网络谱)。基于这样的匹配，系统输出随后对发起或控制威胁的某种缓解或补救有用的信息。缓解或补救的性质可以取决于威胁的严重性、匹配的程度、某个外部因素(例如，一天中的时间、攻击目标等)、或可以在安全策略中定义的某个其他考虑而改变。代表性的缓解或补救动作可以是更新防火墙阻止、丢弃连接、沙箱化连接、发出警报、日志记录或向另一安全设备、应用或系统提供控制信号或其他指示。
[0101]
本文的技术提供了显著的优点。如已经描述的，本文的技术使得能够快速且高效地表征数据网络威胁和攻击。首先，该技术提供网络谱的生成和使用，可针对这些网络谱来分析和表征双向和多向网络通信量模式。该方法使得网络谱分析器能够基于在参考谱中编码的数据来提供通信量的实时或近实时模式分析，这样的数据包括总量、方向和非加密通信量元数据(例如，tcp协议和端口等同物)，并且基于例如连接建立和拆除签名来采用非加密模式，以用于跨底层ip结构传输那些模式的连接。出于安全的目的，本文的技术使得能够实时比较那些通信量模式相对于表示网络威胁或网络的其他高价值事件的发生的参考模式。本文中的方法(具体地，“软轴”的概念)确保参考谱比较是稳健且准确的，其中，被测试通信量可能另外受环境网络条件(诸如，帧间间隙、跨区间的应用协议保活活动等)不利影响。该方法也可容易地扩展以对多方(p》2)建模，从而使得系统能够检测转发代理、中间人转换实体和其他对等关系转发或数据服务场景的复杂模式。
[0102]
不旨在限制，本文的方法可以与其他网络通信量监控和分组分析技术结合使用。本公开的网络谱分析器可以不同方式实现，并且其可以在现场配置、基于网络或基于云配置。
[0103]
网络谱分析仪的主题可以实现为服务。本主题还可以实现在数据中心内或与数据中心相关联，所述数据中心提供与其他网络安全产品和服务相关联的基于云的计算、数据存储装置或相关服务。谱生成器实用工具(用于建立参考谱)和谱分析器功能(用于执行实时快速识别和分析)中的每一个可以作为独立功能而提供，或者每一个可以利用来自其他产品和服务的功能，所述其他产品和服务包括但不限于任何其他安全监控和分析系统、产品、设备、程序或过程。
[0104]
在典型的使用情况下，siem或其他安全系统具有与其相关联的接口，该接口可以用于视觉地再现数据流信息、从警报或其他数据库搜索和检索相关信息、以及相对于该接口执行其他已知的输入和输出功能。
[0105]
如上所述，本文中的方法被设计成在安全系统(诸如，siem、网络安全分析平台等)内或与安全系统相关联地以自动化方式实现。
[0106]
本发明中所描述的功能性可完全或部分地实施为独立方法，例如由硬件处理器执行的基于软件的功能，或其可用作管理服务(包含经由soap/xml接口的网络服务)。本文描述的特定硬件和软件实现细节仅用于说明性目的并不旨在限制所描述的主题的范围。
[0107]
更一般地，所公开主题的上下文中的计算设备均是包括硬件和软件的数据处理系
统(诸如图2中所示)，并且这些实体通过诸如互联网、内联网、外联网、专用网络或任何其他通信介质或链路的网络彼此通信。数据处理系统上的应用提供对web和其他已知服务和协议的本机支持，包括但不限于对http、ftp、smtp、soap、xml、wsdl、uddi和wsfl等的支持。关于soap、wsdl、uddi和wsfl的信息可从负责开发和维护这些标准的万维网联盟(w3c)获得；关于http、ftp、smtp和xml的进一步信息可从互联网工程任务组(ietf)获得。假定这些已知的标准和协议是熟悉的。
[0108]
本文描述的方案可以在包括简单n层架构、web门户、联合系统等的不同服务器侧架构中或者结合不同服务器侧架构来实现。本文的技术可以在松散耦合的服务器(包括基于“云”的)环境中实践。
[0109]
更一般地，本文描述的主题可以采取完全硬件实施例、完全软件实施例、或包含硬件和软件元素两者的实施例的形式。在优选实施例中，该功能在软件中实现，该软件包括但不限于固件、常驻软件、微代码等。此外，如上所述，基于标识上下文的访问控制功能可以采取可从计算机可用或计算机可读介质访问的计算机程序产品的形式，该计算机可用或计算机可读介质提供用于由计算机或任何指令执行系统使用或者与计算机或任何指令执行系统结合使用的程序代码。为了本描述的目的，计算机可用或计算机可读介质可以是可包含或存储供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何装置。该介质可以是电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)。计算机可读介质的示例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、刚性磁盘和光盘。光盘的当前实例包括致密盘-只读存储器(cd-rom)、致密盘-读/写(cd-r/w)和dvd。计算机可读介质是有形物品。
[0110]
计算机程序产品可以是具有用于实现所描述的功能中的一个或多个的程序指令(或程序代码)的产品。那些指令或代码可在通过网络从远程数据处理系统下载之后存储在数据处理系统中的计算机可读存储介质中。或者，这些指令或代码可存储在服务器数据处理系统中的计算机可读存储介质中，且适于经由网络下载到远程数据处理系统以供在远程系统内的计算机可读存储介质中使用。
[0111]
在代表性实施例中，威胁部署和建模技术在专用计算机中实现，优选地在由一个或多个处理器执行的软件中实现。软件被维护在与一个或多个处理器相关联的一个或多个数据存储或存储器中，并且软件可以被实现为一个或多个计算机程序。总的来说，该专用硬件和软件包括上述功能。
[0112]
虽然以上描述了由本发明的某些实施例执行的操作的特定顺序，但应理解，这样的顺序是示范性的，因为替代实施例可以不同顺序执行操作、组合某些操作、重叠某些操作等。说明书中对给定实施例的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必包括该特定特征、结构或特性。
[0113]
最后，虽然已经单独地描述了系统的给定组件，但是本领域普通技术人员将理解，可以在给定指令、程序序列、代码部分等中组合或共享一些功能。
[0114]
本文的技术提供对另一技术或技术领域(例如，安全事件和事件管理(siem)系统、其他安全系统)的改进，以及对基于自动化的网络安全分析的改进。
[0115]
本文使用的“实时”或“近乎实时”的概念并不意味着需要相对于给定时钟值的任何绝对时间；相反，“实时”可以是相对的。结合所描述的谱模式匹配，实时指的是当被测试
通信量被接收到且被编码时正在执行的匹配过程。如所指出的，并且在编码进行时，通信量正与参考谱匹配。数据(被测试通信量)的流的这种模式匹配实时或近乎实时地发生。