一种智能搜集日志、数据并快速形成关系拓扑的方法与流程

技术特征：
1.一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，由组件管理模块进行业务驱动，组件管理模块作为核心模块，为增量服务提供注册及接入入口并对外部组件进行驱动、监控和管理，所有外部组件需要符合组件管理模块的注册标准，具体包括如下步骤：(1)日志处理：外部组件负责与内核进行交互，负责在不影响内核工作效率的情况下获取有效的数据构建日志并主动上报；(2)数据采集：通过数据采集模块负责各类日志的无差别实时采集，获得原始日志数据块；(3)数据聚合：通过数据聚合模块负责对各类实时收录的原始日志数据按照真实存在的关联关系进行关系梳理，并构建真实准确的关系型标准数据，实现标准化输出；(4)数据请求：通过数据请求模块负责注册、登录外部数据请求的传输方式并传输给第三方日志分析平台进行日志清洗、日志标记和日志分类，注册成功后的数据请求被响应，否则无效。2.根据权利要求1所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，所述的组件管理模块包括注册、组件管理、组件监控和网络通信，所述的注册包括组件认证、组件测试和组件加载，所述的组件管理包括启用组件、停用组件、重启组件和卸载组件，所述的组件监控包括组件的运行状态检查，所述的网络通信包括解析执行远端指令、上传监控数据和回传日志数据。3.根据权利要求2所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，组件管理模块的具体操作方法如下：(a)外部组件通过组件管理模块的注册单元进行接入，组件管理模块的注册单元会对申请接入的外部组件进行自动化的可行性测试，将外部组件添加到组件执行库中，添加成功后，外部组件会被复制到nca-autoscript组件目录中，即可进行组件的认证、测试和加载；外部组件负责指定类别日志的搜集和上传动作，在外部组件的制作过程中必须将申请到的组件唯一电子认证证书固化到外部组件中，传输方式和数据格式必须符合组件管理模块规定的标准；(b)组件管理模块在进行外部组件的注册过程中会通过网络通信进行组件认证，认证唯一条件为固化到外部组件内部的唯一电子认证证书，认证成功后，外部组件会发送测试数据到组件管理模块的通信接口进行数据解析并等待回执，若收到的回执内容与发送的数据内容匹配，则将外部组件从nca-autoscript移动到ca-autoscript目录中，并标记状态为已认证；(c)已认证的组件通过网络通信传输给目标设备进行使用，各设备装载的已认证的组件在当前设备的组件列表中进行查阅，作业人员对指定设备的相关已认证的组件进行启用、停用、重启、卸载操作；(d)目标设备中的已认证的组件会实时地向设备中的监控模块上报心跳数据，若发现已认证的组件出现异常情况，会向组件管理模块发送组件异常信息并尝试重启组件进行修复，组件管理模块对目标设备的已认证的组件运行异常的情况进行报警并红色高亮标记，若目标设备通过内部自我修复的方式恢复组件的正常使用会再次向组件管理模块发送服务恢复的通告，组件管理模块则停止目标的异常告警并撤销相关的高亮标记行为。
4.根据权利要求2或3所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，在步骤(2)中，各类日志分别由不同分工的外部组件提供采集支撑，采集到的有效数据通过网络通信上传到本地存储器进行存储，存储的数据分为未经处理的系统采集的原始数据和经过数据聚合的标准化数据两类，未经处理的系统采集的原始数据采用即采即存的方式进行数据存储，经过数据聚合的标准化数据由步骤(3)获取，经过数据聚合的标准化数据是在对数据进行实时存储后，将冗余数据进行规则化的清洗，然后依靠数据模型对各已认证的组件上报的数据进行关系构建，数据模型对已认证的组件上报数据的读取依赖于各组件配套的数据驱动，在关系构建过程中对数据内容进行关联并以此关联关系对日志内容进行分类，最后通过指定的数据输出格式对构建好的关系型数据进行格式转化并输出。5.根据权利要求1所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，所述的数据聚合模块包括数据清洗、数据聚合和数据标准化，所述的数据清洗包括数据查重、冗余清理和规则清洗，所述的数据聚合包括驱动学习、数据提取、关系构建和内容重组，所述的数据标准化包括元数据格式化和输出数据格式转换。6.根据权利要求5所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，在步骤(3)中，通过数据聚合模块处理后标准化输出的数据可实时输出给数据请求模块，亦可进行临时存储并在后期输出给数据请求模块。7.根据权利要求5或6所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，数据聚合模块是将采集到的原始数据进行关系构建，将无关系的原始数据通过真实的关联内容构建为一种关系型数据，数据聚合模块包括数据清洗、数据聚合、数据标准化三大内容，具体如下：(31)数据清洗功能依托于制定的数据清洗的规则，此类规则由组件管理模块进行维护并且通过模块化和针对不同设备进行自定义配置两种方式进行配置，用户通过组件管理模块的管理界面对清洗的规则进行定义，主要对重复数据、冗余数据和规则内指定的清洗内容进行清洗；(32)清洗完毕的数据作为数据聚合的数据源进行使用，在进行数据聚合时，须确保数据聚合模块已经具备所有正常工作的外部组件的数据驱动，数据聚合模块会通过各组件的数据驱动对各类组件提供的日志内容进行数据录入，录入过程中会将已装载到数据模型中的外部组件所提供的日志文件转化为数据模型的可识别数据进行有效数据的提取，提取完的数据内容由数据模型进行关系关联分析并形成关系拓扑并将各部分数据内容进行定义、分类，最后重组为新的关系型数据并进行存储；(33)接收使用方的数据请求后，数据标准化会根据使用方请求的数据格式、最大长度将库中的数据内容按时间规则进行抽取，形成标准的附带描述的格式化数据，抽取出的关系型数据最终按照第三方要求的格式封装并发送给第三方，提高第三方对数据内容的辨识度，减轻第三方梳理数据关系的计算压力；为防止数据爆仓，所有被抽取的数据将按照顺序从本地数据库中删除，不再存储。8.根据权利要求1所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，所述的数据请求模块包括实时数据请求、延时数据请求和元数据请求，所述的实时数据请求通过白名单请求、密码认证请求或证书请求进行实时数据回传，所述的延时数据请求和元数据请求均通过白名单请求、密码认证请求或证书请求进行数据回传以及数据查询。
9.根据权利要求8所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，数据请求模块中的数据请求类别分为实时数据、延时数据和元数据三大类，各类数据在传输过程中都附带检测数据完整性所需的size数据，接收方可通过解析size数据并对数据体进行测量，保证数据的完整性和可用性，具体操作方法如下：(41)第三方平台通过身份认证的方式对作业设备内的数据进行获取请求，此类请求的第三方设备必须经由组件管理模块的管理界面向目标作业设备添加数据请求的授权，否则目标作业设备将拒绝无授权第三方服务的数据请求服务，并对检测到的频繁请求的未授权地址进行安全管制；(42)日志数据回传的存储节点地址由组件管理模块对各设备进行配置，支持tcp、udp两种协议的网络传输模式，对于常规的、非重要性的、易过时的数据，提供udp主动回传的方式进行自动回传；对于高价值、结构性强的重要数据，则采用tcp的方式开放数据获取的请求接口，通过授权认证的第三方通过请求接口直接获取数据。

技术总结
本发明公开了一种智能搜集日志、数据并快速形成关系拓扑的方法。它具体包括如下步骤：外部组件负责与内核进行交互，负责在不影响内核工作效率的情况下获取有效的数据构建日志并主动上报；通过数据采集模块负责各类日志的无差别实时采集，获得原始日志数据块；通过数据聚合模块负责对各类实时收录的原始日志数据按照真实存在的关联关系进行关系梳理，并构建真实准确的关系型标准数据，实现标准化输出；通过数据请求模块负责注册、登录外部数据请求的传输方式并传输给第三方日志分析平台进行日志清洗、日志标记和日志分类，注册成功后的数据请求被响应，否则无效。本发明的有益效果是：提高数据质量和内容辨识度，减轻计算单元的计算压力。单元的计算压力。单元的计算压力。


技术研发人员：梁挺义 吴鹏程 郭德宇
受保护的技术使用者：上海梦鱼信息科技有限公司
技术研发日：2021.12.29
技术公布日：2022/4/8