基于特征工程和表示学习的机器行为识别方法与流程

1.本发明涉及http协议中机器行为识别领域，特别涉及基于特征工程和表示学习的机器行为识别方法。


背景技术：

2.随者互联网技术的发展，大型软件、门户网站以及小程序的数量不断增加。由于上述程序软件大多数业务的网络数据交换基于http协议，因此，基于http协议的url请求日志也呈现爆发式增长。同时，手机、平板电脑等新兴移动终端的增加也促使网络访问不再受限于传统的计算机终端，而是呈现出客户端的多元化趋势，这一改变也加速了多网络下http协议的url日志请求数量激增。由于终端性能逐渐增强，诸如自动化获取文本，统计记录及测试连接等机器行为也越发增长，因此，随之而来的请求日志数量也越来越大。就目前而言，该领域的分析多集中在url的恶意攻击上，如ddos攻击，sql注入攻击等行为，对于本文所研究的机器行为分析还是空白。因此，为筛选出用户正常的点击访问网页行为，并对其进行下钻分析，本文提出一种方法，用来识别上述的机器行为。
3.在url的机器行为分析领域，目前大部分的分析都是基于攻击行为发起的。人们通过计算单一时间粒度下的ip访问url频次或者是通过查询d段下的ip数量访问url的频次等设置阈值的方法来判定是否是ddos攻击行为，而对于sql攻击等行为，则是根据一些样本数据集通过特征工程的方法或者是表示学习的方法对样本进行标注，最终实现对于以上攻击行为的判定。并不存在一种方法去判定是否存在本文所述的机器行为。


技术实现要素：

4.为解决上述现有技术存在的问题，本发明的目的在于提供基于特征工程和表示学习的机器行为识别方法。
5.为达到上述目的，本发明的技术方案为：
6.基于特征工程和表示学习的机器行为识别方法，由三个步骤构成：
7.步骤一，对大数据进行分析，通过时间、频次等多维度的信息，建立3σ模型，用于确定机器行为的访问时间频段，在机器行为的访问时间频段下，通过分组聚合等方式，归纳总结提取出基于机器行为的特征；
8.步骤二，并通过查阅api文档、软件模拟复现、官方的rfc文档等方式对行为进行定义和命名，整合成一组完备的机器行为特征，完成基于特征工程机器行为识别工作；
9.步骤三，对识别效果不佳的模型加入与其他行为存在交集的特征，去排除其他行为，以提高准确率。
10.进一步的，所述步骤一中，基于机器行为的特征具体包括：1、爬虫行为；2、track
‑
peer服务器通信行为的url参数特征；3、流量/埋点统计行为包含的url参数特征；4、暴力域名解析行为包括的域名特征；5、测试行为特征。
11.进一步的，所述的五个行为及其所包含的特征组成了一个完备的知识库；其中对
于流量/埋点统计行为的规则中包含了track
‑
peer服务器通信行为导致的效果不佳问题，加入了对于排除track
‑
peer服务器通信行为参数的限制规则。
12.进一步的，所述爬虫行为具体包括：url特征、源ip特征、ua特征。
13.进一步的，所述测试行为特征具体为url特征。
14.进一步的，所述步骤一具体为：在海量的数据中，依靠spark等计算工具统计在以时间粒度为1秒的情况下单一ip的url访问次数，并通过3σ模型分析在以时间粒度为1秒的情况下出现单一ip访问url可能出现的机器行为日志时间段。将这部分日志进行多维度的统计，即通过url、useragent、requestline、源ip、目标ip、源ip地理位置、目标ip地理位置、源ip端口号、目标ip端口号这部分数据进行分析；具体步骤如下：
15.设x为数据集、i为第i秒段、x
i
为第i秒段下url的访问次数；μ为e(x)即每秒url访问量的数学期望，σ为d(x)即在每秒url访问量的方差；通过公式(1)计算
[0016][0017]
由此得到关于时间
‑
频次分布图；根据单侧置信区间公式，对于服从正态分布的秒段数据集x即x～n(μ,σ)对其中大于3σ的秒段认定可能存在机器行为；
[0018]
对机器行为可能存在的x1、x2、x3......x
n
秒段进行下一步分析，分别对x1、x2、x3......x
n
秒段内的源ip、url、useragent等数据进行数据聚合，由于数据量过于庞大，一般的数据分析软件如python单机下内存受到限制，故无法处理上述超过100gb的数据；需应用spark的yarn
‑
cluster进行数据分析，如应用groupbykey算子、reducebykey算子、sortby算子对数据进行多维度分析；
[0019]
应用数理统计的基本原理及基础的分析可知，单一源ip(即一位用户)无法在一秒内访问过多的目的url；由此定位到机器行为可能出现的源ip，并通过useragent、url字段进行统计和查询，对其中的共性特征进行下一步的下钻分析；得出以下关于机器行为的特征；
[0020]
通过以上的分析步骤分析一批拦截日志得到以下的机器行为可能存在的区域并通过查阅api文档、软件模拟复现、检索官方的rfc文档等方式，提取到了以下几种机器行为的特征；
[0021]
爬虫行为
[0022]
大型搜索平台为满足用户搜索服务进行的页面预缓存行为；特征包括
[0023]
a)访问域名下的robots.txt爬虫配置文件；
[0024]
b)useragent标注{companyname} {spider/bot/crawl} {companyurl}；
[0025]
c)源ip字段为特定的搜索引擎公司网段；
[0026]
d)计算ip的活跃时长，对活跃ip进行判断；
[0027]
track
‑
peer服务器通信行为
[0028]
一种用于p2p服务器通信的约定格式用于数据track与peer、peer与peer的消息传递；特征包括
[0029]
a)参数info_hash：种子文件对应的hash值(20字节)
[0030]
b)参数peer_id：随机标识符，表示自身的请求(20字节)
[0031]
c)参数port：主机监听端口号，用与同其他peer的连接请求
[0032]
d)参数uploaded：当前上传总量
[0033]
e)参数downloaded：当前下载总量
[0034]
f)参数left：剩余下载量，即总量
‑
已下载量
[0035]
g)参数compact：track服务器反馈当前peer的方式
[0036]
h)参数event：主机的下载状态
[0037]
i)参数ip：可选，主机ip地址
[0038]
j)参数numwant：可选，track服务器反馈peer的数量
[0039]
k)参数key：可选，随机标识符
[0040]
l)useragent包含torrent、player字样
[0041]
流量/埋点统计行为
[0042]
一种为实现用户行为统计、数据分析等为目的的第三方网站统计行为；特征包括
[0043]
a)参数含有上一跳地址
[0044]
b)参数含有目标域名的url
[0045]
c)参数含有时间戳
[0046]
d)参数含有ip地址
[0047]
e)参数含有useragent字段
[0048]
f)参数含有系统名称
[0049]
g)参数含有屏幕尺寸
[0050]
h)参数含有用户动作
[0051]
i)参数含有目标域名在统计网站的编码id
[0052]
j)url存在特定的统计网站域名
[0053]
暴力域名解析行为
[0054]
以获取某一域名下的子域名，或某一级域名为目的的域名检索行为；多存在于dns解析过程而少部分存在于url表中；特征包括
[0055]
a)同一时间粒度下源ip访问次数多
[0056]
b)同一源ip访问了同一域名下的不同子域名
[0057]
测试行为
[0058]
测试行为包括了特定软件的测试行为以及服务器的测试行为，由于测试行为是由机器触发并存在失败重连规则，因此会导致日志量的激增；
[0059]
测试行为包括代理服务器连接测试、谷歌浏览器内核测试行为、dns服务商ip测试行为、服务器测试行为；
[0060]
①
代理服务器连接测试行为
[0061]
通过http协议进行的正向代理的行为，特征包括
[0062]
a)请求方式为connect
[0063]
b)同一源ip在一秒时间段内多次访问同一url
[0064]
②
谷歌浏览器内核测试行为
[0065]
由谷歌浏览器内核触发的网络连接测试行为，特征包括
[0066]
a)访问url为www.google.com/gen_204或clients[*].google.com，其中[*]为任意数字
[0067]
b)请求方式为get
[0068]
③
dns服务商ip测试行为
[0069]
由dns服务提供商进行的ip连接测试以确保与域名对应的ip服务器可以正常运行，特征包括
[0070]
a)dns服务商提供的部分ip表
[0071]
b)useragent为dns pod、dns
‑
monitor等标识符
[0072]
④
服务器测试行为
[0073]
对服务器进行测试访问特定的端口号或特征的请求方式进行测试的行为；特征如下
[0074]
a)端口号为7、9
[0075]
b)请求方式为trace。
[0076]
进一步的，所述步骤二具体为：
[0077]
机器行为识别模型的特征规则
[0078]
根据分析所得特征，构建url机器行为特征的思维导图并据此建立机器行为识别模型；
[0079]
机器行为识别模型构建
[0080]
模型设计分为两个个部分：首先，对于确定性的规则，如：测试行为识别、爬虫行为识别、暴力域名解析行为识别以及track
‑
peer服务器通信行为识别方法应用模式匹配和特定的识别算法；其次，对于非确定性的规则，如：流量/埋点统计行为识别，文本在工程中提出了基于层次分析法的识别模型并建立基于深度学习的识别模型以提升模型识别准确率；
[0081]
①
确定性机器行为的识别
[0082]
测试行为识别、爬虫行为识别以及track
‑
peer服务器通信行为识别方法根据上文所述的规则进行模式匹配；
[0083]
②
不确定性机器行为的识别
[0084]
由于流量/埋点统计行为的规则特征不明确，多为描述式的语言；并且流量统计行为的第三方网站数量众多没有统一的规则规范；为实现描述性特征的量化评价到行为识别；引用运筹学家saaty提出的一种解决复杂的多因素决策问题层次分析法；它将目标问题拆分为多个子问题，建立多要素、多层次的评估模型，该方法采用定性与定量相结合的方法，通过定性信息定量化的途径，使得复杂的评价问题可定量计算；文本构建的识别流量/埋点统计行为的识别评估模型，采用层次化的分层结构，将行为特征评估目标分解为参数类特征、时间类特征、域名类特征3个类别进行定量的计算问题；
[0085]
测试行为包括了特定软件的测试行为以及服务器的测试行为，由于测试行为是由机器触发并存在失败重连规则，因此会导致日志量的激增
[0086]
第一步给出评估模型的总体计算公式
[0087][0088][0089]
score(x
i
)＝w1β1 w2β2 w1β3ꢀꢀꢀ
(4)
[0090]
其中，设置数据集为x，第i条数据为x
i
；α1、α2、α3...α
n
为流量/埋点统计行为的基本特征规则，α
j
的评价值由公式(2)计算得到；
[0091]
β1、β2、β3为分类特征，分别是：β1类为参数类特征，β2类为时间类特征，β3类为域名类特征；α
j
∈β
k
类，m为β
k
类存在的特征总数，类别k∈{1,2,3}；β
k
类的评价值根据公式(3)计算得到；
[0092]
score(x
i
)为最后评估模型给出的对于该条日志的评价值，设权重向量为w＝[w1,w2,w3]
t
，获取权重向量的具体方法及权重向量值将在下面几步给出；score(x
i
)的数值根据公式(4)计算得到；
[0093]
第二步为获得权重向量值，需给出判定矩阵a
jm
，其中的元素a
ij
表示特征i比特征j对评价目标影响重要程度的倍数；在三类特征中，β1类即参数类特征最能体现行为特点，其次是β3类即域名类特征，最后是β2类即时间类特征；为了表征各个元素的重要性，本文引入数字1～9及其倒数作为度量；基于以上分析本文建立出判定矩阵a
jm
如公式(5)
[0094][0095]
第三步求得列向量归一化结果(6)、权重矩阵的w值(7)、λ
max
值(8).
[0096][0097][0098]
λ
max
＝3.0387
ꢀꢀꢀ
(8)
[0099]
第四步进行一致性检验
[0100]
①
计算一致性指标ci(consistency index)
[0101]
判断一致性指标ci度量了判断矩阵的平均偏离一致性，当ci＝0是矩阵一致性的充要条件，而且当ci越小时，判断矩阵偏离一致性程度就越小；ci的计算如公式(9)所示；
[0102][0103]
其中，n为矩阵阶数本文中n＝3
[0104]
②
确定平均随机一致性指标ri(random index)
[0105]
平均随机一致性指标ri是一致性指标ci的期望，表示ci的集中程度，saaty已经通过实验给出，查表即可；当n＝3时，ri＝0.58.
[0106]
③
计算一致性比率cr(consistency ratio)
[0107]
一致性比率cr是ci与cr的比值，如公式(10)所示，若cr<0.1则符合一致性检验，否则需要调整矩阵参数，再进行迭代计算；
[0108]
[0109]
将λ
max
＝3.0387代入公式(9)，并将ci、ri代入公式(10)可得，本文构建的判断矩阵a
jm
的一致性比率cr＝0.0334，小于0.1，符合一致性检验结果；
[0110]
第五步将权重向量w代入公式(4)，求得x
i
的评估值score(x
i
)后与阈值f进行比较判定是否为此类行为；
[0111][0112]
其中阈值f根据实验效果给出。
[0113]
相对于现有技术，本发明的有益效果为：本发明基于特征工程和表示学习的机器行为识别方法，在原有异常行为描述的基础上，提高了异常行为的识别粒度，可以更加精确地捕捉异常行为。更加快速的发现异常行为并进行归类判定。首次完成了对于非网络攻防机器行为的识别工作。节省了人工识别消耗的时间。
附图说明
[0114]
图1为url机器行为图；
[0115]
图2为确定性机器行为的识别方法图；
[0116]
图3为暴力域名解析行为的识别图；
[0117]
图4为阈值f折线图；
[0118]
图5为1万条日志的统计结果图；
[0119]
图6为一小时日志的统计结果。
具体实施方式
[0120]
下面结合附图和具体实施方式对本发明技术方案做进一步详细描述：
[0121]
如图1所示，基于特征工程和表示学习的机器行为识别方法，由三个步骤构成，第一步，对大数据进行分析，通过时间、频次等多维度的信息，建立3σ模型，用于确定机器行为的访问时间频段，在机器行为的访问时间频段下，通过分组聚合等方式，归纳总结提取出基于机器行为的特征，第二步，并通过查阅api文档、软件模拟复现、官方的rfc文档等方式对行为进行定义和命名，整合成一组完备的机器行为特征，完成基于特征工程机器行为识别工作。第三步，对识别效果不佳的模型加入其他限制规则，以提高准确率。
[0122]
2.1基于3σ模型的机器行为特征分析与发现
[0123]
在海量的数据中，依靠spark等计算工具统计在以时间粒度为1秒的情况下单一ip的url访问次数，并通过3σ模型分析在以时间粒度为1秒的情况下出现单一ip访问url可能出现的机器行为日志时间段。将这部分日志进行多维度的统计，即通过url、useragent、requestline、源ip、目标ip、源ip地理位置、目标ip地理位置、源ip端口号、目标ip端口号这部分数据进行分析。具体步骤如下：
[0124]
设x为数据集、i为第i秒段、x
i
为第i秒段下url的访问次数。μ为e(x)即每秒url访问量的数学期望，σ为d(x)即在每秒url访问量的方差。通过公式(1)计算
[0125][0126]
由此得到关于时间
‑
频次分布图。根据单侧置信区间公式，对于服从正态分布的秒
段数据集x即x～n(μ,σ)对其中大于3σ的秒段认定可能存在机器行为。
[0127]
对机器行为可能存在的x1、x2、x3......x
n
秒段进行下一步分析，分别对x1、x2、x3......x
n
秒段内的源ip、url、useragent等数据进行数据聚合，由于数据量过于庞大，一般的数据分析软件如python单机下内存受到限制，故无法处理上述超过100gb的数据。需应用spark的yarn
‑
cluster进行数据分析，如应用groupbykey算子、reducebykey算子、sortby算子对数据进行多维度分析。
[0128]
应用数理统计的基本原理及基础的分析可知，单一源ip(即一位用户)无法在一秒内访问过多的目的url。由此定位到机器行为可能出现的源ip，并通过useragent、url字段进行统计和查询，对其中的共性特征进行下一步的下钻分析。得出以下关于机器行为的特征。
[0129]
通过以上的分析步骤分析一批拦截日志得到以下的机器行为可能存在的区域并通过查阅api文档、软件模拟复现、检索官方的rfc文档等方式，提取到了以下几种机器行为的特征。
[0130]
2.1.1爬虫行为
[0131]
大型搜索平台为满足用户搜索服务进行的页面预缓存行为。特征包括
[0132]
a)访问域名下的robots.txt爬虫配置文件。
[0133]
b)useragent标注{companyname} {spider/bot/crawl} {companyurl}。
[0134]
c)源ip字段为特定的搜索引擎公司网段。
[0135]
d)计算ip的活跃时长，对活跃ip进行判断。
[0136]
2.1.2track
‑
peer服务器通信行为
[0137]
一种用于p2p服务器通信的约定格式用于数据track与peer、peer与peer的消息传递。特征包括
[0138]
a)参数info_hash：种子文件对应的hash值(20字节)
[0139]
b)参数peer_id：随机标识符，表示自身的请求(20字节)
[0140]
c)参数port：主机监听端口号，用与同其他peer的连接请求
[0141]
d)参数uploaded：当前上传总量
[0142]
e)参数downloaded：当前下载总量
[0143]
f)参数left：剩余下载量，即总量
‑
已下载量
[0144]
g)参数compact：track服务器反馈当前peer的方式
[0145]
h)参数event：主机的下载状态
[0146]
i)参数ip：可选，主机ip地址
[0147]
j)参数numwant：可选，track服务器反馈peer的数量
[0148]
k)参数key：可选，随机标识符
[0149]
l)useragent包含torrent、player字样
[0150]
2.1.3流量/埋点统计行为
[0151]
一种为实现用户行为统计、数据分析等为目的的第三方网站统计行为。特征包括
[0152]
a)参数含有上一跳地址
[0153]
b)参数含有目标域名的url
[0154]
c)参数含有时间戳
[0155]
d)参数含有ip地址
[0156]
e)参数含有useragent字段
[0157]
f)参数含有系统名称
[0158]
g)参数含有屏幕尺寸
[0159]
h)参数含有用户动作
[0160]
i)参数含有目标域名在统计网站的编码id
[0161]
j)url存在特定的统计网站域名
[0162]
2.1.4暴力域名解析行为
[0163]
以获取某一域名下的子域名，或某一级域名为目的的域名检索行为。多存在于dns解析过程而少部分存在于url表中。特征包括
[0164]
a)同一时间粒度下源ip访问次数多
[0165]
b)同一源ip访问了同一域名下的不同子域名
[0166]
2.1.5测试行为
[0167]
测试行为包括了特定软件的测试行为以及服务器的测试行为，由于测试行为是由机器触发并存在失败重连规则，因此会导致日志量的激增。
[0168]
测试行为包括代理服务器连接测试、谷歌浏览器内核测试行为、dns服务商ip测试行为、服务器测试行为。
[0169]
①
代理服务器连接测试行为
[0170]
通过http协议进行的正向代理的行为，特征包括
[0171]
a)请求方式为connect
[0172]
b)同一源ip在一秒时间段内多次访问同一url
[0173]
②
谷歌浏览器内核测试行为
[0174]
由谷歌浏览器内核触发的网络连接测试行为，特征包括
[0175]
a)访问url为www.google.com/gen_204或clients[*].google.com，其中[*]为任意数字
[0176]
b)请求方式为get
[0177]
③
dns服务商ip测试行为
[0178]
由dns服务提供商进行的ip连接测试以确保与域名对应的ip服务器可以正常运行，特征包括
[0179]
a)dns服务商提供的部分ip表
[0180]
b)useragent为dns pod、dns
‑
monitor等标识符
[0181]
④
服务器测试行为
[0182]
对服务器进行测试访问特定的端口号或特征的请求方式进行测试的行为。特征如下
[0183]
a)端口号为7、9
[0184]
b)请求方式为trace。
[0185]
2.2基于规则的机器行为识别模型构建
[0186]
2.2.1机器行为识别模型的特征规则
[0187]
根据3.1节分析所得特征，本文构建url机器行为特征的思维导图并据此建立机器
行为识别模型。如图1url机器行为特征分析
[0188]
2.2.2机器行为识别模型构建
[0189]
模型设计分为两个个部分：首先，对于确定性的规则，如：测试行为识别、爬虫行为识别、暴力域名解析行为识别以及track
‑
peer服务器通信行为识别方法应用模式匹配和特定的识别算法。其次，对于非确定性的规则，如：流量/埋点统计行为识别，文本在工程中提出了基于层次分析法的识别模型并建立基于深度学习的识别模型以提升模型识别准确率。
[0190]
①
确定性机器行为的识别
[0191]
测试行为识别、爬虫行为识别以及track
‑
peer服务器通信行为识别方法根据上文所述的规则进行模式匹配。识别流程如图2确定性机器行为的识别所示：
[0192]
暴力域名解析行为识别算法流程图如图3暴力域名解析行为的识别所示：
[0193]
②
不确定性机器行为的识别
[0194]
由于流量/埋点统计行为的规则特征不明确，多为描述式的语言。并且流量统计行为的第三方网站数量众多没有统一的规则规范。为实现描述性特征的量化评价到行为识别。本文引用运筹学家saaty提出的一种解决复杂的多因素决策问题层次分析法(analytical hierarchy process，简称ahp)。它将目标问题拆分为多个子问题，建立多要素、多层次的评估模型，该方法采用定性与定量相结合的方法，通过定性信息定量化的途径，使得复杂的评价问题可定量计算。文本构建的识别流量/埋点统计行为的识别评估模型，采用层次化的分层结构，将行为特征评估目标分解为参数类特征、时间类特征、域名类特征3个类别进行定量的计算问题。
[0195]
测试行为包括了特定软件的测试行为以及服务器的测试行为，由于测试行为是由机器触发并存在失败重连规则，因此会导致日志量的激增
[0196]
第一步给出评估模型的总体计算公式
[0197][0198][0199]
score(x
i
)＝w1β1 w2β2 w1β3ꢀꢀꢀ
(15)
[0200]
其中，设置数据集为x，第i条数据为x
i
。α1、α2、α3...α
n
为流量/埋点统计行为的基本特征规则，α
j
的评价值由公式(13)计算得到。
[0201]
β1、β2、β3为分类特征，分别是：β1类为参数类特征，β2类为时间类特征，β3类为域名类特征。α
j
∈β
k
类，m为β
k
类存在的特征总数，类别k∈{1,2,3}。β
k
类的评价值根据公式(14)计算得到。
[0202]
score(x
i
)为最后评估模型给出的对于该条日志的评价值，设权重向量为w＝[w1,w2,w3]
t
，获取权重向量的具体方法及权重向量值将在下面几步给出。score(x
i
)的数值根据公式(15)计算得到。
[0203]
第二步为获得权重向量值，需给出判定矩阵a
jm
，其中的元素a
ij
表示特征i比特征j对评价目标影响重要程度的倍数。本文认为在三类特征中，β1类即参数类特征最能体现行为特点，其次是β3类即域名类特征，最后是β2类即时间类特征。为了表征各个元素的重要性，
本文引入数字1～9及其倒数作为度量。基于以上分析本文建立出判定矩阵a
jm
如公式(5)
[0204][0205]
第三步求得列向量归一化结果(6)、权重矩阵的w值(7)、λ
max
值(8).
[0206][0207][0208]
λ
max
＝3.0387
ꢀꢀꢀ
(19)
[0209]
第四步进行一致性检验
[0210]
①
计算一致性指标ci(consistency index)
[0211]
判断一致性指标ci度量了判断矩阵的平均偏离一致性，当ci＝0是矩阵一致性的充要条件，而且当ci越小时，判断矩阵偏离一致性程度就越小。ci的计算如公式(9)所示。
[0212][0213]
其中，n为矩阵阶数本文中n＝3
[0214]
②
确定平均随机一致性指标ri(random index)
[0215]
平均随机一致性指标ri是一致性指标ci的期望，表示ci的集中程度，saaty已经通过实验给出，查表即可。当n＝3时，ri＝0.58.
[0216]
③
计算一致性比率cr(consistency ratio)
[0217]
一致性比率cr是ci与cr的比值，如公式(10)所示，若cr<0.1则符合一致性检验，否则需要调整矩阵参数，再进行迭代计算。
[0218][0219]
将λ
max
＝3.0387代入公式(20)，并将ci、ri代入公式(21)可得，本文构建的判断矩阵a
jm
的一致性比率cr＝0.0334，小于0.1，符合一致性检验结果。
[0220]
第五步将权重向量w代入公式(15)，求得x
i
的评估值score(x
i
)后与阈值f进行比较判定是否为此类行为。
[0221][0222]
其中阈值f根据实验效果给出。
[0223]
3实验结果
[0224]
3.2.1实验数据
[0225]
本文的实验数据来源于国内某科研机构提供的全量网络访问日志，每小时日志量在亿级左右，日均日志量在20亿左右，其中url日志量为每小时千万量级，日均url日志量过
亿。
[0226]
为了确定2.2节流量/埋点统计行为的阈值f，本文随机选取在时间戳1605239688到1605242544中30分钟下的共计10000条日志作为实验数据。并使用第2章所述方法进行实验，将识别结果通过人工校对以计算识别行为平均准确率p，平均召回率r与平均f1值(如公式(12)、(13)、(14)所示)
[0227][0228][0229][0230]
其中，tp表示正类预测为正类数目，fp表示将负类预测为正类数目，fn表示将正类预测为负类数。
[0231]
对于2.2节中流量/埋点统计行为的特征中参数类特征m数为7、时间类特征m数为2、域名类特征m数为4。由图4，从图4可知，阈值0.15对应的f1值最大，因此根据实验结果选取f为0.15。
[0232]
表1阈值f对应的评价值
[0233][0234]
在确定阈值f并对识别错误数据进行分析后，本文对流量/埋点统计行为与其他行为存在交集的部分加入限制规则并构建机器行为分析系统，分别在10000条日志数据集和一小时共计11480000条日志数据集上进行实验。得到如图5、图6的统计结果。
[0235]
通过上述实验表明，数据在1万份数据的实验集与1000万份数据的实验集上分布比例相同，可以验证模型的相对准确性。
[0236]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。