一种加密流量行为检测的方法、系统及装置与流程

1.本发明涉及网络测技术领域，尤其涉及一种加密流量行为检测的方法、系统及装置。


背景技术：

2.本文中的加密流量，主要指是指绕过gfw的封锁，访问境外的互联网的内容。一般来说，加密流量的行为都是加密的。使用传统的方法，很难把加密流量和一般的加密协议(比如https,ssh等)区分开来，使得网络管控的工作非常困难。
3.随着信息技术的发展和员工安全防范意识的增强，加密技术得到了广泛的使用，加密强度也越来越高，特别是在加密流量行为的检测方面，加密流量工具往往通过更换版本、频繁更换ip和端口、更换加密算法和密钥、变换混淆模式、提高加密强度等手段，避开网络监管部门的检测。
4.以往依靠“锁定ip或端口”、“数据包特征协议识别”、“明文数据包信息还原”、“密钥破解还原弱加密强度的协议“等这些传统的手段来进行网络管控的效果越来越差，给网络安全部门的工作带来了极大的挑战。
5.另一方面，近年来，随着我国的蓬勃发展，网络安全变得更加重要。它的重要性，随着全球信息化步伐的加快变的越来越重要，同时也随着信息技术的深入发展，网络安全也日益严峻。
6.因此，采用更高效的方法来实现网络行为检测，特别是跨境的加密流量行为检测，是网络管控部门一项急迫的工作。
7.机器学习的发展和硬件性能的不断提升，为加密流量行为的检测带来了新的希望。和以往的检测方法相比，机器学习主要的特点是：学习成果可复制性、学习过程性能差、应用过程性能高。对于加密流量行为的检测，可以充分发挥硬件性能，集中、离线的学习；然后在多地、在线的应用学习成果。这样既能做到精确识别，又能大幅降低整个项目的建设经费。
8.机器学习在网络协议识别方面的运用，目前主要的有几个方面：明文/ 加密流的区分、隧道的识别(比如ssh,ss,openvpn等)，这些应用，主要是提取数据包的字节分布特征(如字节熵)、包长的分布特征(如平均包长)、包间时间特征(如上下行响应时间，同向包时间间隔等)来进行，获得了比较好的效果(基本上能够实现线速处理，正确率90％以上)。
9.然而，加密流量行为检测与简单的隧道识别不同，主要表现在：1、加密流量行为可以是多条流(如ss，tor，dsn隧道等)，2、加密流量行为检测要求尽量提取设备的信息，3、加密流量行为检测希望能获知员工加密流量之后访问了哪些内容(隧道内行为)。
10.因此，需要针对加密流量行为开发出一种新的加密流量行为检测的方法或系统。


技术实现要素：

11.本发明针对上述技术问题，提供一种加密流量行为检测的方法、系统及装置。
12.为了实现上述目的，本发明提供如下技术方案：
13.本发明首先提供一种加密流量行为检测的方法，包括以下步骤：
14.集中建立学习环境，通过自动化工具重复进行多次加密流量行为，并经过机器学习后，形成加密流量行为的检测学习成果，定期更新到各地的在线系统；
15.各地的在线系统通过捕获企业网络出口流量，再运用学习成果，在线分析网络协议以及应用特征，实时检测加密流量行为，存贮到数据库中，最终形成各种图表展示给用户。
16.进一步地，所述的自动化工具包括自动化操作模块、自动化标注模块和自动化复制模块；自动化操作模块用于自动更新加密流量工具、自动加密流量和自动访问境外的内容；自动化标注模块用于截获自动化操作模块的数据流，并根据时间、设备要素，标注所使用的工具和访问的内容；自动化复制模块用于按照设定的过滤条件重复发包。
17.进一步地，运用机器学习的算法，对数据包进行分析，并结合标注的内容，形成学习成果，使用学习的结果来进行识别，并和自动化标注的结果进行比对。
18.进一步地，实时检测的加密流量行为包括加密流量种类、加密流量工具、隧道内行为。
19.本发明还提供了一种加密流量行为检测的系统，包括学习环境和运用环境两部分，以实现上述的方法，学习环境的平台架构主要包括自动化层、学习层和界面层，运用环境的平台架构主要包括数据采集层、加密流量行为检测层、数据存储层和加密流量展现层。
20.进一步地，自动化层包括自动化操作模块、自动化标注模块和自动化复制模块；自动化操作模块用于自动更新加密流量工具、自动加密流量和自动访问境外的内容；自动化标注模块用于截获自动化操作模块的数据流，并根据时间、设备要素，标注所使用的工具和访问的内容；自动化复制模块用于按照设定的过滤条件重复发包。
21.进一步地，学习层包括学习模块，检验模块和参数调整模块；学习模块运用机器学习的算法，对数据包进行分析，并结合标注的内容，形成学习成果；检验模块使用学习的结果来进行识别，并和自动化标注的结果进行比对；参数调整模块用于学习参数的调整。
22.进一步地，数据采集层采用分光技术捕获企业网络出口流量。
23.进一步地，加密流量行为检测层主要进行加密流量种类、加密流量工具、隧道内行为的检测。
24.本发明还提供了一种加密流量行为检测的装置，包括加密流量行为检测设备，以实现上述的方法，加密流量行为检测设备采用atca机框和功能插卡的结构，功能插卡包括交换卡、数据处理卡、机器学习引擎卡、数据存贮卡和web展示卡，分光的数据首先接入交换卡，通过交换卡负载均衡到多块数据处理卡上，数据处理进行加密流量种类识别和提取特征之后，把特征数据汇聚到机器学习引擎卡，由机器学习引擎卡进行加密流量工具和隧道内容的识别，然后把识别的结果保存到数据存贮卡中，web展示卡提供web服务，允许用户进行统计分析或者在大屏幕上展示。
25.与现有技术相比，本发明的有益效果为：
26.本发明提供的加密流量行为检测的方法、系统及装置，实现对加密流量行为的检测，包括对常见加密流量类型的检测、以及对加密流量后的国外常见web应用的实时检测和加密流量人员的综合分析，为企业网络管理部门提供有力的防范雇员进行违规网络操作的
帮助。
附图说明
27.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例提供的学习环境的平台架构。
29.图2为本发明实施例提供的运用环境的平台架构。
30.图3为本发明实施例提供的加密流量行为检测系统的运行环境部署图。
31.图4为本发明实施例提供的测试设备连接示意图。
具体实施方式
32.为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
33.加密流量工具得使用者，主要包括几个方面：隐匿自身而进行网络攻击、诈骗、窃取、发布或传播谣言、泄露机密等行为，隐匿自身的社交、交易等。
34.针对加密流量的使用者，加密流量行为检测系统的主要使用单位是有多个分子机构的集团企业用户，主要的用途是：帮助网络管理人员发现和排查加密流量的人员、发现网络攻击、诈骗、窃取、散步流言等行为，为保证企业网络安全提供有力的帮助。
35.本发明提供一种加密流量行为检测的方法，包括以下步骤：
36.集中建立学习环境，通过自动化工具重复进行多次加密流量行为，并经过机器学习后，形成加密流量行为的检测学习成果，定期更新到企业各地的在线系统；
37.企业各地的在线系统通过捕获企业网络出口流量(本发明中采用分光技术)，再运用学习成果，在线分析网络协议以及应用特征，实时检测加密流量行为，存贮到数据库中，最终形成各种图表展示给用户。
38.本发明还提供了一种加密流量行为检测的系统，系统基于网络流量和数据包分析，通过机器学习方法，发现来自出口内外的加密流量行为。系统包括学习环境和运用环境两部分。
39.学习环境的平台架构如图1所示，部署在建设单位内网(有互联网出口，用于自动化操作)，主要包括自动化层(自动化操作模块、自动化标注模块和自动化复制模块)、学习层(包括学习模块，检验模块和参数调整模块)和界面层。
40.其中，自动化层包括自动化操作模块、自动化标注模块和自动化复制模块。学习层包括学习模块，检验模块和参数调整模块。
41.自动化操作模块用于自动更新加密流量工具、自动加密流量和自动访问境外的内容。
42.自动化标注模块用于截获自动化操作模块的数据流，并根据时间、设备要素，标注所使用的工具和访问的内容。具体地，自动化标注模块通过自动化工具，利用多台不同的设备(通过ip识别)，不同的时间(比如5 分钟间隔)，访问不同的加密隧道内应用来进行自动化标注。
43.自动化复制模块用于按照设定的过滤条件，将自动化操作模块截获的数据包重复
发包，主要用于参数调整时，通过重复发包来比较参数调整之后学习的效果。
44.学习模块运用机器学习的算法，对数据包进行分析，并结合标注的内容，形成学习成果。
45.检验模块使用学习的结果来进行识别，并和自动化标注的结果进行比对。
46.参数调整模块用于学习参数的调整。
47.运用环境的平台架构如图2所示，主要包括数据采集层、加密流量行为检测层、数据存储层和加密流量展现层。
48.其中，数据采集层采用分光技术捕获企业网络出口流量。同时更新学习的成果，可以采用定期人工导入的方式。
49.加密流量行为检测层主要进行加密流量种类、加密隧道内行为的检测。
50.关于隧道内容识别：
51.具体地实施方式中，通过包长特征指纹算法识别隧道内容。对隧道内的行为提取包长特征，并通过机器学习形成不同隧道内容的包长特征指纹，进而识别隧道内的应用。
52.由于隧道内容的算法是包长特征的，而有一些加密流量工具(如ss类)，如允许多流的，这里还需要解决按照隧道种类，相同客户端ip的多流汇集的问题。例如访问youtube首页时，浏览器会依次打开如下多个uri：
53.https://www.youtube.com/？feature＝ytca
54.https://i.ytimg.com/generate_204
55.https://www.youtube.com/s/desktop/1b170d1d/jsbin/desktop_polymer.vfls et/desktop_polymer.js
56.https://www.youtube.com/s/desktop/1b170d1d/jsbin/web-animations-next
‑ꢀ
lite.min.vflset/web-animations-next-lite.min.js
57.https://www.youtube.com/s/desktop/1b170d1d/jsbin/custom-elements-es5
‑ꢀ
adapter.vflset/custom-elements-es5-adapter.js
58.https://www.youtube.com/s/desktop/1b170d1d/jsbin/webcomponents-sd.vf lset/webcomponents-sd.js
59.https://www.youtube.com/s/desktop/1b170d1d/jsbin/intersection-observer. min.vflset/intersection-observer.min.js
60.https://www.youtube.com/s/desktop/1b170d1d/jsbin/scheduler.vflset/sche duler.js
61.https://www.youtube.com/s/desktop/1b170d1d/jsbin/www-i18n-constants
‑ꢀ
zh_cn.vflset/www-i18n-constants.js
62.https://www.youtube.com/s/desktop/1b170d1d/jsbin/www-tampering.vflse t/www-tampering.js
63.https://www.youtube.com/s/desktop/1b170d1d/jsbin/spf.vflset/spf.js
64.https://www.youtube.com/s/desktop/1b170d1d/jsbin/network.vflset/netwo rk.js
65.https://fonts.googleapis.com/css2？family＝roboto:wght@300；400；500；700 &family＝youtube sans:wght@300..900&display＝swap
66.……
67.https://www.gstatic.com/youtube/img/branding/favicon/favicon_144x144. png
68.https://www.gstatic.com/youtube/img/branding/favicon/favicon_192x192. png
69.https://www.gstatic.com/youtube/img/web/monochrome/logo_16x16.png
70.https://www.gstatic.com/youtube/img/web/monochrome/logo_32x32.png
71.https://fonts.gstatic.com/s/i/googlematerialicons/video_youtube/v11/white
ꢀ‑
48dp/1x/gm_video_youtube_white_48dp.png
72.https://www.gstatic.com/youtube/img/web/monochrome/logo_512x512.pn g
73.https://www.gstatic.com/youtube/img/web/shortcuts/subscriptions_512x51 2.png
74.https://www.gstatic.com/youtube/img/web/shortcuts/explore_512x512.png
75.打开这些uri时操作系统会建多条tcp会话流来传送这些网页数据，打开的流如表1所示：
76.表1
77.客户端地址客户端端口服务端地址服务端端口192.168.0.1215091112.232.214.1741322192.168.0.1215091212.232.214.1741322192.168.0.1215091312.232.214.1741322192.168.0.1215092012.232.214.1741322192.168.0.1215092312.232.214.1741322192.168.0.1215092912.232.214.1741322192.168.0.1215093312.232.214.1741322192.168.0.1215093212.232.214.1741322192.168.0.1215093512.232.214.1741322192.168.0.1215093912.232.214.1741322
78.识别隧道内容前系统会根据源ip地址 目的ip地址的hash值将同一客户端和服务端之间会话的数据全部汇聚到同一块板卡的同一个进程，从而保证该客户端访问youtube首页的所有数据能在同一个进程内部做识别处理。
79.数据存贮层：保留一段时间(比如为1年)内员工的加密流量行为，以便进行各种统计分析。
80.数据展示层：用于给使用单位网络管控者提供一个良好的汇总/分析界面。
81.另外，为了方便可解密的协议处理，系统将可以解密的隧道进行数据转发，使用单位可以集成现有或者采购破解和解密设备进行对接。
82.如图3所示，系统的运行环境部署在使用单位的独立网络(与其他网络不连通，仅接收分光的数据)，在流量总出口的idc机房部署企业网分流器之后，单位内部部署高速流量处理设备(加密流量行为检测设备)，接收分流器分光网络流量，分析数据特征和流量特征后，保存到数据库中。管理员可以在运维管理中心，通过浏览器对平台进行配置管理(比
如导入学习成果)。普通用户可以在web界面可视化查看检测的结果(如查看加密流量行为等)。
83.本发明还提供了一种新的加密流量行为检测的装置，包括加密流量行为检测设备，以实现上述的方法。具体地，加密流量行为检测设备采用atca机框和功能插卡的结构，功能插卡包括交换卡(用于分光线路接入/atca板卡交换)、数据处理卡(用于流量特征提取)、机器学习引擎卡(用于加密隧道内行为识别)、数据存贮卡和web展示卡，分光的数据首先接入交换卡，通过交换卡负载均衡到多块数据处理卡上，数据处理进行加密流量种类识别和提取特征之后，把特征数据汇聚到机器学习引擎卡，由机器学习引擎卡进行加密隧道内容的识别，然后把识别的结果保存到数据存贮卡中，web展示卡提供web服务，允许用户进行统计分析或者在大屏幕上展示。
84.具体地，本发明采用电信级atca处理架构，单卡可线性处理20gbps以上网络流量，单机可线速处理200gbps以上网络流量，具有高性能处理能力。
85.另外，交换卡也负责与其他系统的数据对接，如将特定的数据转发到特定的端口上，由vpn解密系统进行解密处理。
86.本发明提供的识别加密数据与加密流量的方法、系统及装置，可以实现对加密流量行为的检测，具体为：
87.1)实现对常见加密流量类型的检测，包括pptp、l2tp、ipsec/ikev2、openvpn、ssl、ss/ssr、v2ray等。
88.2)实现对加密流量后的国内外常见应用的实时检测，如wechat、tiktok、alipay、baidu、facebook、gmail、google、twitter、telegram等；
89.3)实现对加密流量人员的综合分析，并进行全维展现，包括客户端ip、服务端ip、客户端位置、服务端位置、时间、加密流量类型、使用应用、流量等；
90.3)实现对加密流量后的用户上网行为进行分析，如访问黄赌毒等web网址；
91.4)实现对加密流量人员的综合分析，如常访问的app应用、web网址以及变化规划、地域分布等。
92.综上，本发明突破以往人工数据标注效率低的问题，解决机器学习中海量数据标注难的问题；突破以往只能识别隧道的问题，解决加密流量工具识别的问题；突破以往加密隧道只能破解或搁置，解决在不解密的情况下进行内容识别的问题。可提供一整套网络加密流量行为检测设备，该平台最大可接入和处理200gbps的网络加密流量。
93.针对已经学习的隧道种类，识别率不低于90％，针对已经学习的加密流量工具，识别率不低于90％，针对已经学习的隧道内行为，识别率不低于95％。
94.一、测试设备如图4所示，具体过程如下：
95.1、通过wireshark依次抓取pptp、l2tp、ipsec、openvpn、ss等加密协议方式上网的数据，每种类型抓取100次，作为隧道正样例；
96.2、通过wireshark依次抓取ss加密方式访问a1、a2、a3
……
a10等10个网站的数据，每个网站抓取100次最为行为正样例；
97.3、通过wireshark抓取100gb非加密隧道背景包，作为隧道反样例；
98.4、通过wirshark依次抓取ss加密方式访问b1、b2、b3
……
b100等100个网站的数据，每个网站抓取100次，作为行为反样例；
99.5、用tcpreplay混合发送pptp、l2tp、ipsec、openvpn、ss等隧道正样例数据及隧道反样例至被测系统；
100.6、通过界面查看被识别为pptp、l2tp、ipsec、openvpn、ss隧道类型的五元组日志，与隧道正样例五元组信息进行比对，分别计算各隧道类型的识别率；
101.7、用tcpreplay混合发送a1、a2、a3
……
a10等10个网站的行为正样例数据及b1、b2、b3
……
b100等100个网站的行为反样例数据至被测系统；
102.8、通过界面查看被识别为a1、a2、a3
……
a10等网站访问行为的五元组日志，与行为正样例五元组信息进行比对，分别计算各网站的识别率。
103.二、测试数据如下：
104.1、隧道正样例：5种隧道，每种隧道100个数据包文件；
105.2、隧道反样例：100gb非加密隧道包；
106.3、行为正样例：10个网站，每个网站100个数据包文件；
107.4、行为反样例：100个网站，每个网站100个数据包文件。
108.三、测试结果如表2和表3所示。
109.表2隧道识别
[0110][0111][0112]
表2行为识别
[0113][0114]
测试结果：隧道识别整体识别率为99.6％，且每个隧道识别率均高于 97％。行为识别整体识别率为97.4％，且每个行为识别率均高于95％。
[0115]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。