一种恶意流量加密通信的快速识别检测方法与流程

1.本发明属于网络安全技术领域，具体涉及一种恶意流量加密通信的快速识别检测方法。


背景技术：

2.随着互联网的发展，网络攻击事件不断发生。木马、蠕虫、勒索软件层出不穷，这对网络安全环境形成了严重的威胁。流量检测，是指通过信息流向和流量特征的分析检测提取信息的一种手段。对通信数据包内容进行分析，通过匹配恶意软件通信流量特征识别出恶意软件通信，对检测结果进行处理，如：对恶意通信进行阻断等处理，从而达到降低终端用户网络安全的威胁。基于流量检测恶意软件能从根源上检测出恶意软件。
3.由于网络加密技术的普及与发展，单纯依赖数据包内容的传统恶意软件检测方法已经无法有效应对隐藏在加密流量中的恶意软件攻击。现有的基于恶意流量检测方法存在以下问题：1）未对加密流量作特别关注,存在着检测能力不足的问题；2）只对已知恶意软件流量进行检测，一旦恶意软件发生改变，即无法检测，存在检测适应不足的问题。如果不能及时检测出恶意流量，则会造成较大的损失后果。综上所述，网络安全领域需要一种对加密流量进行恶意流量检测的方法。


技术实现要素：

4.此发明目的在于对恶意程序的加密流量检测提供高效准确的解决方法，能快速的定位出恶意流量内容，并及时告警，减少恶意攻击造成的损失。
5.为了实现上述任务，本发明采用以下技术方案：一种恶意流量加密通信的快速识别检测方法，包括如下步骤：步骤1：接入待检测的原始加密数据流量；步骤2：训练softmax算法识别模型，区分是否为明文内容或加密内容，若为加密内容，根据归一概率从高到低依次进行解密。将训练好的softmax算法识别模型作为加密流量恶意性检测模型；步骤3：对解密后的明文进行去混淆处理后进行恶意流量识别。
6.下面分别从softmax算法训练、解码规则以及处理逻辑进行详细说明：判断是否为加密内容，首先从识别是否为明文开始，恶意流量通信过程常会伴随的系统命令，目前市面上的系统命令绝大部分采用ansi编码进行，研究重点即集中在ansi编码明文识别：1、收集ansi字符命令字典：为提高训练效果，这里以windows、linux命令为字典，辅助以英文字典单词；2、收集字符命令的停用符号：用于判断是否为命令截止，系统命令结尾会有明显的终止符号，如换行，”;”等，此停用符号做为训练集的加权值；3、字符命令的高频字符集：恶意命令会有特定的词频统计特征，通过词频统计算
法stf，可将一条明文数据进行归类为是否命令或是普通正常内容，若为命令，是否为恶意命令，可作为softmax算法的统计依据；4、字符语言的字母表：用于判断流量内容是否全为字符；5、字符语言频率分布：命令所用的字符会在空间、时间分布呈现特定规律，通过github下载数亿行代码，进行统计训练分析。得到区间分布；6、计算字符语言的句子长度：统计计算得到句子长度概率分布。
7.上述仅为通信内容过程全为可读性明文判断标准，但恶意流量传输还会以其他格式进行传输，如json、xml格式等格式。国际通用的标准格式，如json，可尝试使用ast进行解析，如果能生成完整的属性，则可判断明文为json格式；xml格式也是如此，通过尝试解析xml格式，生成etrree来进行判断。
8.通过如上的可得到明文的训练模型，加密流量内容可进行字符特征进行概率识别，如：1、 md5字符集为:(\d [a
‑
f]){32}；2、 sha1字符集：(\d [a
‑
f]){40}；3、 base64字符集：[a
‑
za
‑
z\d /]{214}([a
‑
za
‑
z\d /][a
‑
za
‑
z\d /=]|==)。
[0009]
经过上面处理可识别出加密流量内容，根据softmax匹配概率由高到低进行深度优先算法进行遍历，直到尝试结果匹配明文格式为止。
附图说明
[0010]
图1为总体结构示意图图2为softmax算法归类示意图图3为softmax算法公式
具体实施方式
[0011]
在本实施例中公开了一种恶意流量加密通信的快速识别检测方法，包括如下步骤：步骤1：接入待检测的原始加密数据流量步骤2：训练softmax算法识别模型，区分是否为明文内容或加密内容，若为加密内容，根据归一概率从高到低依次进行解密。将训练好的softmax算法识别模型作为加密流量恶意性检测模型。
[0012]
步骤3：对解密后的明文进行去混淆处理后进行恶意流量识别具体实施流程见图1，检测装置部署位置为nginx反代或ssl加密流量前面的镜像流量，接入的流量为未使用ssl加密后的流量。使用镜像部署的方式在于，尝试解密过程为cpu密集型，无法通过线程或者协程方式加速解密速度，为提供业务高响应方式，故采取旁路部署的方式。
[0013]
softmax算法训练模型首先是训练ansi编码明文识别：1、收集ansi字符命令字典：为提高训练效果，这里以windows、linux命令为字典，辅助以英文字典单词；2、收集字符命令的停用符号：用于判断是否为命令截止，系统命令结尾会有明显
的终止符号，如换行，”;”等，此停用符号做为训练集的加权值；3、字符命令的高频字符集：恶意命令会有特定的词频统计特征，通过词频统计算法stf，可将一条明文数据进行归类为是否命令或是普通正常内容，若为命令，是否为恶意命令，可作为softmax算法的统计依据。
[0014]
4、字符语言的字母表：用于判断流量内容是否全为字符。
[0015]
5、字符语言频率分布：命令所用的字符会在空间、时间分布呈现特定规律，通过github下载数亿行代码，进行统计训练分析。得到区间分布。
[0016]
6、计算字符语言的句子长度：统计计算得到句子长度概率分布。
[0017]
然后由于恶意流量传输还会以其他格式进行传输，如json、xml格式等格式。国际通用的标准格式，如json，可尝试使用ast进行解析，如果能生成完整的属性，则可判断明文为json格式；xml格式也是如此，通过尝试解析xml格式，生成etrree来进行判断。从而对加密流量内容可进行字符特征进行概率识别：1、 md5字符集为:(\d [a
‑
f]){32}2、 sha1字符集：(\d [a
‑
f]){40}3、 base64字符集：[a
‑
za
‑
z\d /]{214}([a
‑
za
‑
z\d /][a
‑
za
‑
z\d /=]|==)整个流程为接入加密后的流量，将加密流量通过softmax算法即上面得处理可识别出加密流量内容，然后根据softmax匹配概率由高到低进行深度优先算法进行遍历，直到尝试结果匹配明文格式为止。


技术特征：
1.一种恶意流量加密通信的快速识别检测方法，包括如下步骤：步骤1：接入待检测的原始加密数据流量；步骤2：训练softmax算法识别模型，区分是否为明文内容或加密内容，若为加密内容，根据归一概率从高到低依次进行解密，将训练好的softmax算法识别模型作为加密流量恶意性检测模型；步骤3：对解密后的明文进行去混淆处理后进行恶意流量识别。2.下面分别从softmax算法训练、解码规则以及处理逻辑进行详细说明：判断是否为加密内容，首先从识别是否为明文开始，恶意流量通信过程常会伴随的系统命令，目前市面上的系统命令绝大部分采用ansi编码进行，研究重点即集中在ansi编码明文识别：a) 收集ansi字符命令字典：为提高训练效果，这里以windows、linux命令为字典，辅助以英文字典单词；b) 收集字符命令的停用符号：用于判断是否为命令截止，系统命令结尾会有明显的终止符号，如换行，”;”等，此停用符号做为训练集的加权值；c) 字符命令的高频字符集：恶意命令会有特定的词频统计特征，通过词频统计算法stf，可将一条明文数据进行归类为是否命令或是普通正常内容，若为命令，是否为恶意命令，可作为softmax算法的统计依据；d) 字符语言的字母表：用于判断流量内容是否全为字符；e) 字符语言频率分布：命令所用的字符会在空间、时间分布呈现特定规律，通过github下载数亿行代码，进行统计训练分析，得到区间分布；f) 计算字符语言的句子长度：统计计算得到句子长度概率分布。3.上述仅为通信内容过程全为可读性明文判断标准，但恶意流量传输还会以其他格式进行传输，如json、xml格式等格式，国际通用的标准格式，如json，可尝试使用ast进行解析，如果能生成完整的属性，则可判断明文为json格式；xml格式也是如此，通过尝试解析xml格式，生成etrree来进行判断。4.通过如上的可得到明文的训练模型，加密流量内容可进行字符特征进行概率识别，如：a) md5字符集为:(\d [a
‑
f]){32}b) sha1字符集：(\d [a
‑
f]){40}c) base64字符集：[a
‑
za
‑
z\d /]{214}([a
‑
za
‑
z\d /][a
‑
za
‑
z\d /=]|==)。5.经过上面处理可识别出加密流量内容，根据softmax匹配概率由高到低进行深度优先算法进行遍历，直到尝试结果匹配明文格式为止。

技术总结
本发明公开了一种恶意流量加密通信的快速识别检测方法。此发明目的在于对恶意程序的加密流量检测提供高效准确的解决方法，能快速的定位出恶意流量内容，并及时告警，减少恶意攻击造成的损失。方法包括如下步骤：步骤1：接入待检测的原始加密数据流量；步骤2：训练softmax算法识别模型，区分是否为明文内容或加密内容，若为加密内容，根据归一概率从高到低依次进行解密。将训练好的softmax算法识别模型作为加密流量恶意性检测模型；步骤3：对解密后的明文进行去混淆处理后进行恶意流量识别。本发明可自适应识别恶意流量加密算法进行解密，高效准确的定位恶意流量。高效准确的定位恶意流量。高效准确的定位恶意流量。


技术研发人员：李佩泽 吴炎臻 张玉环
受保护的技术使用者：上海矢安科技有限公司
技术研发日：2021.09.07
技术公布日：2021/12/3