一种互联网流量流向的大数据分析的方法与流程

技术特征：
1.一种互联网流量流向的大数据分析的方法，其特征在于：所述方法由分析系统实现；所述分析系统包括用于数据采集的数据采集层、用于数据分析的大数据分析层以及用于数据汇总展示的分析结果展示层；所述方法包括以下步骤：所述数据采集包括：（1）netflow流量数据采集，网络设备主动以2000-4000:1的采样比将flow流数据发送到netflow流量数据采集服务器；（2）动态路由数据采集：通过与网络设备启动bgp动态路由协议学习网络中的动态路由；（3）dns日志数据釆集，通过ftp方式，dns系统将双向dns日志信息发送到dns日志采集服务器；所述数据分析：对采集到的数据进行大数据分析，基于hadoop大数据分析架构，结合分布式文件系统和分布式计算对海量日志进行数据分析；所述数据汇总展示通过将bgp路由表、dns日志和netflow流量数据混合计算，再经过至少一次数据迭代分析出用户流量流向数据，将各采集报文进行关联计算得出最终报表，并通过b/s架构展示给管理员，方便用户了解网络的工作情况和网络中用户正常和异常的行为。2.根据权利要求1所述的一种互联网流量流向的大数据分析的方法，其特征在于：所述通过数据迭代分析出用户流量流向数据通过以下方法实现：（1）通过实时dns解析数据采集建立ip地址和域名的对应关系，形成一个动态的反解库，并根据授权返回的地址更新这个反解库；（2）通过外部网站数据分析，可以分析出每个ip地址所归属的地区，结合as path数据和bgp的whois信息，可以将每个地址段对应到所属运营商；（3）在netflow分析时，通过建立的接口获取当时的ip与域名的对应关系，同时通过域名归属厂商，可以识别出一个流的归属厂商、业务类型细分以及ip归属位置；（4）通过基础数据表按不同的维度统计汇总分析并存入数据库。3.根据权利要求1所述的一种互联网流量流向的大数据分析的方法，其特征在于：所述数据采集还包括通过爬虫程序将信息补全；所述采集层负责采集原始的网络流量信息，爬虫程序将对原始的网络流量信息进行信息补全。4.根据权利要求3所述的一种互联网流量流向的大数据分析的方法，其特征在于：所述爬虫程序补全的信息包括通过域名ip补全注册商名称和公司名称以及通过ip补全所属地区。5.根据权利要求1所述的一种互联网流量流向的大数据分析的方法，其特征在于：所述数据采集层的工作模式为单向模式，只通过网络实时输入路由表，不对外发布数据。6.根据权利要求1所述的一种互联网流量流向的大数据分析的方法，其特征在于：所述采样比为3000:1。

技术总结
本发明公开了一种互联网流量流向的大数据分析的方法，由数据采集、数据分析和数据汇总展示构成。本方法可以过收集路由器和交换机的NetFlow数据，可以帮助网络管理员查看什么因素占用了带宽资源、网站网络流量是否超过安全门限、对网络流量统计数据进行全面的分析和存储，并出具自动生成的标准报告和客户化定制报告，可以让客户获得想要的所有数据，从而允许客户对全网性能做出准确判断，避免了大量部署和配置监测探针的复杂过程。通过采集DNS日志信息和BGP信息可以将NetFlow中的目标IP地址、地址归属和网站域名关联起来，通过大数据分析实现网络流量流向数据分析。分析实现网络流量流向数据分析。分析实现网络流量流向数据分析。


技术研发人员：梁锋 马雪林
受保护的技术使用者：广西壮族自治区公众信息产业有限公司
技术研发日：2022.10.10
技术公布日：2023/2/3