一种基于分布式调度IPv6网站检测方法与流程

一种基于分布式调度ipv6网站检测方法
技术领域
1.本发明涉及互联网领域中的分布式调度技术，特别是一种基于分布式调度ipv6网站检测方法。


背景技术：

2.从2012年开始，apnic的ipv4地址池基本枯竭，亚太地区的电信运营商无法再获得批量ipv4地址。由于移动互联网、云计算、大数据、物联网、人工智能等新兴信息技术持续高速发展，对ip地址资源的需求异常旺盛，电信运营商持有的ipv4地址快速消耗，被迫大量采取nat转换技术来应对ipv4地址缺乏的困境。ipv4地址资源匮乏已经成为数字经济发展的制约因素。面对ipv4地址短缺的现状，大规模部署ipv6推进互联网向ipv6升级演进是解决ip地址问题的唯一根本性解决方案。
3.ipv6协议是下一代互联网协议，在地址空间、安全性等方面有巨大提升。物联网、云计算、大数据、人工智能等新技术驱动网络空间向万物互联演进，利用ipv6技术解决地址短缺、培育创新空间是大势所趋，世界各国已充分认识规模部署ipv6的迫切，全球通信行业以及开展新兴技术应用的企业都在向ipv6迁移，并且呈现加速趋势。
4.2017年11月，国家发布《推进互联网协议第六版(ipv6)规模部署行动计划》《关于深化“互联网 先进制造业”发展工业互联网的指导意见》，全面部署ipv6(互联网协议第6版)，通过对部署ipv6网站按照国家政策要求进行检测，已检测符合国家ipv6网络标准。
5.但现有线性检测技术中检测速度慢，存在受反爬技术影响导致准不准确等问题。


技术实现要素：

6.针对现有线性检测技术中检测速度慢，存在受反爬技术影响导致准不准确等不足，本发明提供了一种基于分布式调度ipv6网站检测方法，采用分布式调度ipv6网站检测技术，按照指标对网站进行深度检测，检测可对ipv6网站首页、二级连接、三级连接通过分布式ipv6网站检测技术进行检测。
7.本发明采用的技术方案是：
8.本发明提供一种基于分布式调度ipv6网站检测方法，包括以下步骤：
9.1)中台管理：接收网站检测任务，由中台管理程序执行url合法性判断，任务去重，限制最大任务队列；
10.2)redis控制：通过kafka向调度下发未运行任务管理，对一级任务、二级任务、任务心跳、运行任务list及存储结构控制；
11.3)mongo控制：通过redis控制获取未完成任务、检查及任务恢复和最后记录的调度优先级控制；
12.4)调度：对redis控制所接收的任务进行拆分，将一个主url拆分多个子url，并根据各监测点性能、当前任务状态进行任务下发，并对任务进行轮询、定时更新、请求、入库进行控制管理；
13.5)网关：根据任务下发条件，按任务优先级、创建任务的时间先后及url名称升序选择任务，并根据最近的调度优先级，设定当前任务调度优先级执行；
14.6)爬虫：接收任务，并对url连接进行扫描。
15.步骤4)中将一个主url拆分多个子url，并将拆分后的子url生成单个可执行的任务，与步骤2)、步骤3)的任务管理控制机制协调，完成任务控制。
16.步骤4)中分析主url，将主url页面内各链接基于主url为基础，生成每一个子链接，从而形成多个可独立进行访问的url子链接。
17.本发明具有以下技术效果及优点：
18.1.本发明提供一种基于分布式调度ipv6网站检测方法，通过分布式ipv6网站检测技术，与传统网站检测技术相比，提升网站检测速度、检测准确性，解决传统线性检测技术中检测速度慢、受反爬技术影响导致准不准确等问题。
19.2.本发明方法通过将网站二级、三级连接拆分成独立的url，通过分发下发到全部监测点并统一时间执行检测，以及对多监测点的同时执行，可大幅缩短监测时间，提高监测效率。
20.3.分布式调度是将网站的二级、三级连接合理拆分，在检测中由多个不同监测点执行检测任务，并通过分布式调度统一管控，因此可有效规避单一检测点所产生的检测问题，有效提升检测准确性。
附图说明
21.图1为本发明基于分布式调度ipv6网站检测方法流程图；
22.图2为本明方法与现有技术测试结果对比图。
具体实施方式
23.如图1所示，本发明提供基于分布式调度ipv6网站检测方法，包括以下步骤：
24.1)中台管理：接收网站检测任务，由中台管理程序(为现有程序)执行url合法性判断，任务去重，限制最大任务队列；
25.2)redis控制：通过kafka向调度下发未运行任务管理，对一级任务、二级任务、任务心跳、运行任务list及存储结构控制；
26.3)mongo控制：通过redis控制获取未完成任务、检查及任务恢复和最后记录的调度优先级控制；
27.4)调度：对redis控制所接收的任务进行拆分，将一个主url拆分多个子url，并根据各监测点性能、当前任务状态进行任务下发，并对任务进行轮询、定时更新、请求、入库进行控制管理；
28.5)网关：根据任务下发条件，按任务优先级、创建任务的时间先后及url名称升序选择任务，并根据最近的调度优先级，设定当前任务调度优先级执行；
29.6)爬虫：接收任务，并对url连接进行扫描。
30.在本实施例中，步骤1)中台接收网站检测任务：接收网站检测任务，由中台网站监测程序执行url合法性判断，维护用户下发的url任务列表，并按照用户下发计划在不同地址isp1、isp2、isp3、isp4、isp5等isp下地检测结果输出；
31.步骤2)中redis控制通过维护自身的db1、db2、db3进行记录维护，通过kafka协调调度任务管理，其中，db1对已下发未运行任务list，taskinfo增加控制；db2对正在运行的list结构进行记录维护；db3对已完成任务list进行记录维护；
32.步骤3)中mongo控制通过redis控制获取未完成任务、检查及任务恢复和最后记录的调度优先级控制；
33.步骤4)中调度对redis控制所接收的任务进行拆分，将一个主url拆分多个子url，并根据各监测点性能、当前任务状态进行任务下发，并对任务进行轮询、定时更新、请求、入库等进行控制管理，对分布式进行加锁控制，对成功的任务、所有isp均失败的任务进行状态标示与加锁控制。
34.步骤5)中网关根据任务下发条件，按任务优先级、创建任务的时间先后及url名称升序选择任务，并根据最近的调度优先级，设定当前任务调度优先级执行；
35.步骤6)中爬虫接收到步骤5)网关发来的任务，并对url连接进行扫描，完成检测。
36.步骤4)中将一个主url拆分多个子url，并将拆分后的子url生成单个可执行的任务，与步骤2)、步骤3)的任务管理控制机制协调，完成任务控制，再通过步骤5)将拆分后的子链接url下发至步骤6)执行检测。通过分析主url，将主url页面内各链接基于主url为基础，生成每一个子链接，从而形成多个可独立进行访问的url子链接。
37.本发明方法采用多监测点分布式执行，提升检测效率；解决单个检测点异常时所导致的检测准确性问题；解决特定网站对单个检测点的反爬检测问题。
38.应用实例
39.1.测试环境条件：
40.测试网络环境：互联网
41.测试服务器配置：
[0042][0043][0044]
2.测试结果与现有技术对比
[0045]
如图2所示，通过现有技术与本专利技术实现的程序扫描时间进行比较，使用本专利技术扫描在扫描时间、扫描效率上均优于现有技术。
[0046]
以上所述，仅是本技术的较佳实施例而已，并非对本技术作任何形式上的限制，虽然本技术已以较佳实施例揭露如上，然而并非用以限定本技术,任何熟悉本专业的技术人员，在不脱离本技术方案范围内，当可利用上述揭示的技术内容，作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本技术方案内容，依据本技术的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本技术方案的范围内。