一种智能搜集日志、数据并快速形成关系拓扑的方法与流程

1.本发明涉及日志采集相关技术领域，尤其是指一种智能搜集日志、数据并快速形成关系拓扑的方法。


背景技术：

2.传统的日志采集技术主要是对操作系统以及应用程序产生的大量运行数据为目标进行数据采集，采集完毕后再通过数据传输的方式和渠道将采集到的若干数据传输给远端的存储设备进行存储，存储的数据庞大、无序且存在大量冗余信息，造成了大量的存储负担，在大数据应用场景下无形加重了计算节点和智能分析相关作业模块的工作压力，对形成有效数据存在阻力，且在数据关系构建过程中存在一定误判和信息缺失，不利于作业人员对日志提取的目标设备进行综合的审计和分析。
3.很多情况下，对目标设备提取的日志进行审计和分析是为了满足作业人员对目标设备的问题排查及操作行为的追踪溯源，以此达到定位问题、实时监控、风险排查的效果，系统日志及相关应用日志虽然能够提供大部分的运行数据，但是往往缺乏关键的关系型数据且数据维度存在一定的局限性，对节点的监控和审计造成一定程度的信息缺失。


技术实现要素：

4.本发明是为了克服现有技术中存在上述的不足，提供了一种提高数据质量和内容辨识度的智能搜集日志、数据并快速形成关系拓扑的方法。
5.为了实现上述目的，本发明采用以下技术方案：
6.一种智能搜集日志、数据并快速形成关系拓扑的方法，由组件管理模块进行业务驱动，组件管理模块作为核心模块，为增量服务提供注册及接入入口并对外部组件进行驱动、监控和管理，所有外部组件需要符合组件管理模块的注册标准，具体包括如下步骤：
7.(1)日志处理：外部组件负责与内核进行交互，负责在不影响内核工作效率的情况下获取有效的数据构建日志并主动上报；
8.(2)数据采集：通过数据采集模块负责各类日志的无差别实时采集，获得原始日志数据块；
9.(3)数据聚合：通过数据聚合模块负责对各类实时收录的原始日志数据按照真实存在的关联关系进行关系梳理，并构建真实准确的关系型标准数据，实现标准化输出；
10.(4)数据请求：通过数据请求模块负责注册、登录外部数据请求的传输方式并传输给第三方日志分析平台进行日志清洗、日志标记和日志分类，注册成功后的数据请求被响应，否则无效。
11.根据多元化日志信息以及其他辅助信息通过智能化的数据采集和聚合手段为数据使用方持续、实时、高效地提供以用户角色为执行根源的包括但不局限于操作行为、执行结果、日志记录以及网络访问等多元数据在内的综合关系型标准化数据源，构建真实有效、实时同步、关系明确的数据关系关联拓扑，以此为使用方提供追踪、溯源各类日志及行为产
生的最终责任人以及对当前责任人相关关联数据高效查阅的能力，并通过多种兼容方式向使用方提供聚合后的标准化关系型数据，提高数据质量和内容辨识度，减轻计算单元的计算压力。
12.作为优选，所述的组件管理模块包括注册、组件管理、组件监控和网络通信，所述的注册包括组件认证、组件测试和组件加载，所述的组件管理包括启用组件、停用组件、重启组件和卸载组件，所述的组件监控包括组件的运行状态检查，所述的网络通信包括解析执行远端指令、上传监控数据和回传日志数据。
13.作为优选，组件管理模块的具体操作方法如下：
14.(a)外部组件通过组件管理模块的注册单元进行接入，组件管理模块的注册单元会对申请接入的外部组件进行自动化的可行性测试，将外部组件添加到组件执行库中，添加成功后，外部组件会被复制到nca-autoscript组件目录中，即可进行组件的认证、测试和加载；外部组件负责指定类别日志的搜集和上传动作，在外部组件的制作过程中必须将申请到的组件唯一电子认证证书固化到外部组件中，传输方式和数据格式必须符合组件管理模块规定的标准；
15.(b)组件管理模块在进行外部组件的注册过程中会通过网络通信进行组件认证，认证唯一条件为固化到外部组件内部的唯一电子认证证书，认证成功后，外部组件会发送测试数据到组件管理模块的通信接口进行数据解析并等待回执，若收到的回执内容与发送的数据内容匹配，则将外部组件从nca-autoscript移动到ca-autoscript目录中，并标记状态为已认证；
16.(c)已认证的组件通过网络通信传输给目标设备进行使用，各设备装载的已认证的组件在当前设备的组件列表中进行查阅，作业人员对指定设备的相关已认证的组件进行启用、停用、重启、卸载操作；
17.(d)目标设备中的已认证的组件会实时地向设备中的监控模块上报心跳数据，若发现已认证的组件出现异常情况，会向组件管理模块发送组件异常信息并尝试重启组件进行修复，组件管理模块对目标设备的已认证的组件运行异常的情况进行报警并红色高亮标记，若目标设备通过内部自我修复的方式恢复组件的正常使用会再次向组件管理模块发送服务恢复的通告，组件管理模块则停止目标的异常告警并撤销相关的高亮标记行为。
18.作为优选，在步骤(2)中，各类日志分别由不同分工的外部组件提供采集支撑，采集到的有效数据通过网络通信上传到本地存储器进行存储，存储的数据分为未经处理的系统采集的原始数据和经过数据聚合的标准化数据两类，未经处理的系统采集的原始数据采用即采即存的方式进行数据存储，经过数据聚合的标准化数据由步骤(3)获取，经过数据聚合的标准化数据是在对数据进行实时存储后，将冗余数据进行规则化的清洗，然后依靠数据模型对各已认证的组件上报的数据进行关系构建，数据模型对已认证的组件上报数据的读取依赖于各组件配套的数据驱动，在关系构建过程中对数据内容进行关联并以此关联关系对日志内容进行分类，最后通过指定的数据输出格式对构建好的关系型数据进行格式转化并输出。
19.作为优选，所述的数据聚合模块包括数据清洗、数据聚合和数据标准化，所述的数据清洗包括数据查重、冗余清理和规则清洗，所述的数据聚合包括驱动学习、数据提取、关系构建和内容重组，所述的数据标准化包括元数据格式化和输出数据格式转换。
20.作为优选，在步骤(3)中，通过数据聚合模块处理后标准化输出的数据可实时输出给数据请求模块，亦可进行临时存储并在后期输出给数据请求模块。
21.作为优选，数据聚合模块是将采集到的原始数据进行关系构建，将无关系的原始数据通过真实的关联内容构建为一种关系型数据，数据聚合模块包括数据清洗、数据聚合、数据标准化三大内容，具体如下：
22.(31)数据清洗功能依托于制定的数据清洗的规则，此类规则由组件管理模块进行维护并且通过模块化和针对不同设备进行自定义配置两种方式进行配置，用户通过组件管理模块的管理界面对清洗的规则进行定义，主要对重复数据、冗余数据和规则内指定的清洗内容进行清洗；
23.(32)清洗完毕的数据作为数据聚合的数据源进行使用，在进行数据聚合时，须确保数据聚合模块已经具备所有正常工作的外部组件的数据驱动，数据聚合模块会通过各组件的数据驱动对各类组件提供的日志内容进行数据录入，录入过程中会将已装载到数据模型中的外部组件所提供的日志文件转化为数据模型的可识别数据进行有效数据的提取，提取完的数据内容由数据模型进行关系关联分析并形成关系拓扑并将各部分数据内容进行定义、分类，最后重组为新的关系型数据并进行存储；
24.(33)接收使用方的数据请求后，数据标准化会根据使用方请求的数据格式、最大长度将库中的数据内容按时间规则进行抽取，形成标准的附带描述的格式化数据，抽取出的关系型数据最终按照第三方要求的格式封装并发送给第三方，提高第三方对数据内容的辨识度，减轻第三方梳理数据关系的计算压力；为防止数据爆仓，所有被抽取的数据将按照顺序从本地数据库中删除，不再存储。
25.作为优选，所述的数据请求模块包括实时数据请求、延时数据请求和元数据请求，所述的实时数据请求通过白名单请求、密码认证请求或证书请求进行实时数据回传，所述的延时数据请求和元数据请求均通过白名单请求、密码认证请求或证书请求进行数据回传以及数据查询。
26.作为优选，数据请求模块中的数据请求类别分为实时数据、延时数据和元数据三大类，各类数据在传输过程中都附带检测数据完整性所需的size数据，接收方可通过解析size数据并对数据体进行测量，保证数据的完整性和可用性，具体操作方法如下：
27.(41)第三方平台通过身份认证的方式对作业设备内的数据进行获取请求，此类请求的第三方设备必须经由组件管理模块的管理界面向目标作业设备添加数据请求的授权，否则目标作业设备将拒绝无授权第三方服务的数据请求服务，并对检测到的频繁请求的未授权地址进行安全管制；
28.(42)日志数据回传的存储节点地址由组件管理模块对各设备进行配置，支持tcp、udp两种协议的网络传输模式，对于常规的、非重要性的、易过时的数据，提供udp主动回传的方式进行自动回传；对于高价值、结构性强的重要数据，则采用tcp的方式开放数据获取的请求接口，通过授权认证的第三方通过请求接口直接获取数据。
29.本发明的有益效果是：构建真实有效、实时同步、关系明确的数据关系关联拓扑，以此为使用方提供追踪、溯源各类日志及行为产生的最终责任人以及对当前责任人相关关联数据高效查阅的能力，并通过多种兼容方式向使用方提供聚合后的标准化关系型数据，提高数据质量和内容辨识度，减轻计算单元的计算压力。
附图说明
30.图1是本发明的方法流程图；
31.图2是本发明中组件管理模块的结构框图；
32.图3是本发明中数据聚合模块的结构框图；
33.图4是本发明中数据请求模块的结构框图。
具体实施方式
34.下面结合附图和具体实施方式对本发明做进一步的描述。
35.如图1所述的实施例中，一种智能搜集日志、数据并快速形成关系拓扑的方法，由组件管理模块进行业务驱动，组件管理模块作为核心模块，为增量服务提供注册及接入入口并对外部组件进行驱动、监控和管理，所有外部需要符合组件管理模块的注册标准，未经认证的外部组件同步进行源数据的采集行为，但不会将此类源数据添加到已授权组件的日志集合中进行数据聚合，其中组件管理模块包括注册、组件管理、组件监控和网络通信，注册包括组件认证、组件测试和组件加载，组件管理包括启用组件、停用组件、重启组件和卸载组件，组件监控包括组件的运行状态检查，网络通信包括解析执行远端指令、上传监控数据和回传日志数据；具体包括如下步骤：
36.(1)日志处理：外部组件负责与内核进行交互，负责在不影响内核工作效率的情况下获取有效的数据构建日志并主动上报；
37.(2)数据采集：通过数据采集模块负责各类日志的无差别实时采集，获得原始日志数据块；原始日志数据块指的是未经过标准化处理的原始数据集合的总称，用来向第三方日志分析平台提供可以进行分析的原始数据；
38.各类日志分别由不同分工的组件提供采集支撑，采集到的有效数据通过内部通信业务上传到本地存储器进行存储，存储的数据分为未经处理的系统采集的原始数据和经过数据聚合的标准化数据两类，供第三方使用。
39.原始数据采用即采即存的方式进行数据存储，不经过任何二次编辑，但是由于组件不一致性，各部分数据内容及格式存在部分差异。
40.标准化数据是在对数据进行实时存储后，将冗余数据进行规则化的清洗，然后依靠数据模型对各组件上报的数据进行关系构建，模型对组件上报数据的读取依赖于各组件配套的数据驱动，在关系构建过程中对包括但不局限于用户ip、用户名称、用户行为、进程树、pid、ppid、五元组等内容进行关联并以此关联关系对日志内容进行分类，最后通过指定的数据输出格式对构建好的关系型数据进行格式转化并输出，其由步骤(3)获取。
41.(3)数据聚合：通过数据聚合模块负责对各类实时收录的原始日志数据按照真实存在的关联关系进行关系梳理，并构建真实准确的关系型标准数据，实现标准化输出；数据聚合模块包括数据清洗、数据聚合和数据标准化，数据清洗包括数据查重、冗余清理和规则清洗，数据聚合包括驱动学习、数据提取、关系构建和内容重组，数据标准化包括元数据格式化和输出数据格式转换；通过数据聚合模块处理后标准化输出的数据可实时输出给数据请求模块，亦可进行临时存储并在后期输出给数据请求模块；
42.数据聚合模块的主要任务是将采集到的原始数据进行关系构建，将无关系的原始数据通过真实的关联内容构建为一种通俗易懂、直观明显的关系型数据，通过关系型数据
可以明确地了解到包括但不局限于用户、进程、端口、流量、日志等内容的关联关系，便于分析日志产生的原因以及造成的其他关联性的结果等。数据聚合模块具备数据清洗、数据聚合、数据标准化三大功能，具体如下：
43.(31)数据清洗功能依托于制定的数据清洗的规则，此类规则由组件管理模块进行维护并且可以通过模块化和针对不同设备进行自定义配置两种方式进行配置，用户可以通过组件管理模块的管理界面对清洗的规则进行定义，主要对重复数据、冗余数据和规则内指定的清洗内容进行清洗。
44.(32)清洗完毕的数据作为数据聚合的数据源进行使用，在进行数据聚合时，须确保智能数据聚合模块已经具备所有正常工作的外部组件的数据驱动，据聚合功能会通过各组件的数据驱动对各类组件提供的日志内容进行数据录入，录入过程中会将已装载到数据模型中的外部组件所提供的日志文件转化为数据模型的可识别数据进行有效数据的提取，提取完的数据内容由数据模型进行关系关联分析并形成关系拓扑并将各部分数据内容进行定义、分类，最后重组为新的关系型数据并进行存储，此类数据以nosql和mysql结合的方式进行存储。
45.(33)接收使用方的数据请求后，数据标准化功能会根据使用方请求的数据格式、最大长度将库中的数据内容按时间规则进行抽取，形成标准的附带描述的格式化数据，抽取出的关系型数据最终按照第三方要求的格式封装并发送给第三方，提高第三方对数据内容的辨识度，减轻第三方梳理数据关系的计算压力。
46.(34)为防止数据爆仓，所有被抽取的数据将按照顺序从本地数据库中删除，不再存储。
47.(4)数据请求：通过数据请求模块负责注册、登录外部数据请求的传输方式并传输给第三方日志分析平台进行日志清洗、日志标记和日志分类，注册成功后的数据请求被响应，否则无效；数据请求模块包括实时数据请求、延时数据请求和元数据请求，实时数据请求通过白名单请求、密码认证请求或证书请求进行实时数据回传，延时数据请求和元数据请求均通过白名单请求、密码认证请求或证书请求进行数据回传以及数据查询。具体操作方法如下：
48.(41)外部平台通过身份认证的方式对作业设备内的数据进行获取请求，请求的内容包括但不局限于数据格式、单次数据大小、数据传输频率等，此类请求的第三方设备必须经由组件管理模块的管理界面向目标作业设备添加数据请求的授权(白名单)，否则目标作业设备将拒绝无授权第三方服务的数据请求服务，并对检测到的频繁请求的未授权地址进行安全管制。
49.(42)日志数据回传的存储节点地址由组件管理模块对各设备进行配置，支持tcp、udp两种协议的网络传输模式。对于常规的、非重要性的、易过时的数据，提供udp主动回传的方式进行自动回传。对于高价值、结构性强的重要数据，则采用tcp的方式开放数据获取的请求接口，通过授权认证的第三方可以通过请求接口直接获取数据(例如ftp)。
50.数据的请求类别分为实时数据、延时数据和元数据三大类，各类数据在传输过程中都附带检测数据完整性所需的size数据，接收方可通过解析size数据并对数据体进行测量，保证数据的完整性和可用性。
51.除上述三大类，数据请求从数据格式上又分为标准化数据请求和原始数据请求两
大类，二者的区别在于原始数据即采即存，不做处理，标准化数据则通过数据间的关联关系构建标准化的关系型数据，通过标准化数据的格式定义，还可以将原始数据输出为使用者指定的数据格式，增加数据的可辨认性。
52.整个方法依靠各类日志采集模块负责数据，除内嵌的内核日志采集、系统日志采集、应用日志采集之外，还提供了一系列的外部组件接入功能用于横向扩充日志采集的范围，接入的外部组件必须符合组件接入模块的需求，否则无法正常使用。组件管理模块的具体操作方法如下：
53.(a)外部组件通过组件管理模块的注册单元进行接入，组件管理模块的注册单元会对申请接入的外部组件进行自动化的可行性测试，外部组件可以通过系统功能页录入组件的存储路径和上传组件文件两种方式将组件添加到组件执行库中，添加成功后，目标组件会被复制到nca-autoscript组件目录中，通过单击页面目标组件操作栏中的“注册”按钮，即可进行组件的认证、测试和加载。外部组件的功能主要负责指定类别日志的搜集和上传动作，在外部组件的制作过程中必须将申请到的组件唯一电子认证证书固化到组件中，传输方式和数据格式必须符合组件管理模块规定的标准。
54.(b)组件管理模块在进行组件注册过程中会通过网络通信进行组件认证，认证唯一条件为固化到组件内部的唯一电子认证证书，认证成功后，外部组件会发送测试数据到组件管理模块的通信接口进行数据解析并等待回执，若收到的回执内容与发送的数据内容匹配，则将外部组件从nca-autoscript移动到ca-autoscript目录中，并标记状态为已认证，管理人员可以通过管理界面对库中的已认证组件进行启用、禁用和删除行为。
55.(c)已认证的组件可以通过通信服务传输给目标设备进行使用，各设备装载的组件可以在当前设备的组件列表中进行查阅，作业人员可以通过指定设备目标组件右侧的操作栏，对指定设备的相关组件进行启用、停用、重启、卸载等操作，此类组件的操作功能独立，仅会影响到指定设备日志采集的数据维度，对核心采集业务没有影响。
56.(d)目标设备中的组件会实时地向设备中的监控模块上报心跳数据，心跳数据包括但不局限于当前时间戳、日志采集目标、日志采集条目数等信息，若监控模块发现组件出现数据过期等异常情况，会向组件管理模块发送组件异常信息并尝试重启组件进行修复，组件管理模块对目标设备的组件运行异常的情况进行报警并红色高亮标记，若目标设备通过内部自我修复的方式恢复组件的正常使用会再次向组件管理模块发送服务恢复的通告，组件管理模块则停止目标的异常告警并撤销相关的高亮标记行为。
57.(e)组件管理模块功能页面的设备列表右侧的操作行为除了对相关组件进行启用、停用、重启、卸载等操作，还可以对回传日志的行为进行开起、关闭、配置等操作。配置项主要对目标设备中的核心业务进行配置，包括但不局限于监控数据上传的监控节点地址、日志数据回传的存储节点地址、本地白名单设置以及外部组件的参数解析、数据驱动等内容的配置。
58.本发明的核心在于对于包括但不局限于各类安装linux、类linux操作系统的作业设备的日志采集能力，日志具体的采集范围受作业设备本身服务所使用的扩展组件的数量影响，包括但不局限于内核日志、系统日志、应用日志、行为日志以及未做阐述的其他日志等。
59.根据多元化日志信息以及其他辅助信息通过智能化的数据采集和聚合手段为数
据使用方持续、实时、高效地提供以用户角色为执行根源的包括但不局限于操作行为、执行结果、日志记录以及网络访问等多元数据在内的综合关系型标准化数据源，构建真实有效、实时同步、关系明确的数据关系关联拓扑，以此为使用方提供追踪、溯源各类日志及行为产生的最终责任人以及对当前责任人相关关联数据高效查阅的能力，并通过多种兼容方式向使用方提供聚合后的标准化关系型数据，提高数据质量和内容辨识度，减轻计算单元的计算压力。