一种具有资源共享功能的大数据处理系统的制作方法

1.本发明涉及大数据处理技术领域，具体为一种具有资源共享功能的大数据处理系统。


背景技术：

2.大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯， 当前，大数据快速发展，发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态，因此应用在各种领域。
3.目前市场上有资源共享功能的大数据处理系统，没有加密措施导致在使用的过程中，没有针对其进行有效管理，不仅容易出现病毒的入侵破坏，同时还会影响到资源的泄露，并且存储的资源往往臃肿，不利于储存。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种具有资源共享功能的大数据处理系统，解决了上述背景技术中提出的问题。
5.为实现以上目的，本发明通过以下技术方案予以实现：一种具有资源共享功能的大数据处理系统，包括采集模块、加密模块和异常预警模块，所述采集模块输出端交互电性连接有处理模块，且所述处理模块输出端电性连接有清除模块，所述清除模块将处理后的数据进行分析处理，并将处理的数据中无效部分析出剔除，由此优化存储时数据的容量，保证数据的质量与有效性，且所述清除模块输出端电性连接有存储资料库，所述加密模块电性连接于所述存储资料库的输出端，且所述加密模块针对存储资料库存储的内容进行分类加密，加密后的信息能够有效保护用户的资料的私密性，并降低用户资料泄露，在用户提取资料是仍需要进行验证核查，所述加密模块输出端电性连接有用户认证模块，且所述用户认证模块输出端电性连接有提取模块，所述异常预警模块电性连接于所述用户认证模块输出端。
6.可选的，所述采集模块包括主动收集单元和被动收集单元，且所述主动收集单元输出端电性设置有所述被动收集单元，所述主动收集单元用于用户主动信息资源填入将其时时更新储存，而被动收集单元则是根据用户的记录以及大数据收集所需要的资料，并生成日志和报告文件。
7.可选的，所述处理模块包括梳理单元、整合单元、分析单元和分类单元，且所述梳理单元输出端电性连接有整合单元，所述整合单元输出端电性连接有所述分析单元，且所述分析单元输出端电性连接有所述分类单元，梳理单元用于对采集的资源数据进行阶段式梳理，保证进行有序处理，整合单元用于梳理后的资源数据再次整合，方便数据的传输，分析单元针对资源数据进行智能分析，将数据中的重复与无效数据传输至清除模块进行核查与清除，优化存储时数据的容量，分类单元针对剔除无效信息后的有效信息进行智能分类，
并将分类完成数据依次输出至存储资料库中储存。
8.可选的，所述加密模块输出端分别与用户认证模块和异常预警模块交互电性连接，且所述异常预警模块与所述用户认证模块交互电性连接。
9.可选的，所述用户认证模块包括登录单元、核查单元、验证单元和权限模块，且所述登录单元输出端电性连接有所述核查单元，所述核查单元输出端电性连接有所述验证单元，所述权限模块电性安装于所述核查单元输出端，核查单元用于对用户信息生成的编码进行核查，对处理好的数据通过加密模块的加密进而去获取存储资料库内部信息，权限模块根据用户的等级情况开放权限，用于限制用户无节制的调用共享的资源，进而有效防止服务器的负载应用。
10.可选的，所述验证单元与所述加密模块交互电性连接，且所述验证单元采用单一多项验证方法，即同一验证流程多次验证，验证单元用于区分计算机机器人无理申请。
11.可选的，所述提取模块包括导出单元、在线浏览单元、转换单元和文档下载单元，且所述导出单元输出端电性连接有所述在线浏览单元，所述在线浏览单元输出端电性连接有所述转换单元，且所述转换单元输出端电性连接有所述文档下载单元。
12.可选的，所述导出单元用于存储资料库资料的导出并根据用户的权限输出资料，在用户权限不够时共享的大数据资料只能转入在线浏览单元输出，而在线浏览单元输出文件格式为png图片格式，在线浏览的资料不能复制文字与下载图片，有效降低资源的无故泄露，并在用户权限足够时由转换单元将图片格式转换并由文档下载单元输出。
13.可选的，所述异常预警模块包括病毒检测单元、数据异常检测单元、传输单元和自修复单元，且所述病毒检测单元输出端电性连接有所述数据异常检测单元，所述数据异常检测单元输出端电性连接有所述传输单元，且所述传输单元输出端电性连接有所述自修复单元可选的，所述提取模块输出端电性连接有所述搜索单元，且所述搜索单元与所述存储资料库电性连接。
14.本发明提供了一种具有资源共享功能的大数据处理系统，具备以下有益效果：基于具有资源共享功能的大数据处理系统，该具有资源共享功能的大数据处理系统，通过加密模块与清除模块的设置，在存储进存储资料库前将资料精炼，通过分析处理，并将处理的数据中无效部分析出剔除，由此优化存储时数据的容量，保证数据的质量与有效性，并同时对存储资料库内部的资料进行加密处理，不仅有效阻止病毒的侵入同时还能够极大的防止资料泄露，并通过用户认证单元快速分析出用户或是人机，进而防止人机的无效申请，降低服务器的负载工作量，有效降低资源，并通过异常预警模块检测病毒与异常信息，届时通过自修复单元辅助存储资料库自我修复与自我防御。
15.1．该具有资源共享功能的大数据处理系统，通过清除模块与采集模块之间的相互配合设置，使得在采集模块采集数据后，通过清除模块将处理后的数据进行分析处理，并将处理的数据中无效部分析出剔除，由此优化存储时数据的容量，保证数据的质量与有效性，并配合加密模块针对存储资料库存储的内容进行分类加密，加密后的信息能够有效保护用户的资料的私密性，并降低用户资料泄露，在用户提取资料是仍需要进行验证核查。
16.2．该具有资源共享功能的大数据处理系统，通过处理模块的设置，使其能够对采集的数据进行阶段式梳理，使其方便后续工作的有序处理，并配合整合单元用于梳理后的
资源数据再次整合，方便数据的传输，在整合单元将数据传输至分析单元中，由此进行分析处理将数据中的重复与无效数据传输至清除模块进行核查与清除，优化存储时数据的容量，配合分类单元将处理完成的有效资料分类传输至存储资料库中存储，方便后续的查找。
17.3．该具有资源共享功能的大数据处理系统，通过用户认证模块的设置，使其用户在调用资料库内部的数据时需要对用户进行核查，采用同一验证流程多次验证，用于区分计算机机器人无理申请，并在核查完成后再次通过验证单元进行复查，通过验证单元生成编码，通过加密模块的加密进而去获取存储资料库内部信息，权限模块根据用户的等级情况开放权限，用于限制用户无节制的调用共享的资源，进而有效防止服务器的负载应用。
18.4．该具有资源共享功能的大数据处理系统，通过提取模块的设置， 通过导出单元用于存储资料库资料的导出并根据用户的权限输出资料，在用户权限不够时只能转入在线浏览单元输出，而在线浏览单元输出为图片格式，此处不能复制文字与下载图片，有效降低资源的无故泄露，并在用户权限足够时由转换单元将图片格式转换并由文档下载单元输出，方便使用。
19.5．该具有资源共享功能的大数据处理系统，通过异常预警模块的设置，可通过病毒检测单元实时监测存储资料库的安全，避免其受到病毒的干扰导致资料泄露遗失，并在发现病毒时由自修复单元自动查杀并修复，同时通过自修复单元还能检测数据是否异常，在数据无异常时方可正常输出。
附图说明
20.图1为本发明整体系统流程示意图；图2为本发明处理模块流程示意图；图3为本发明用户认证模块流程示意图；图4为本发明提取模块流程示意图；图5为本发明异常预警模块流程示意图；图6为本发明用户认证模块工作流程示意图；图7为本发明异常预警模块工作流程示意图。
21.图中：1、采集模块；101、主动收集单元；102、被动收集单元；2、处理模块；201、梳理单元；202、整合单元；203、分析单元；204、分类单元；3、清除模块；4、存储资料库；5、加密模块；6、用户认证模块；601、登录单元；602、核查单元；603、验证单元；604、权限模块；7、提取模块；701、导出单元；702、在线浏览单元；703、转换单元；704、文档下载单元；8、异常预警模块；801、病毒检测单元；802、数据异常检测单元；803、传输单元；804、自修复单元；9、搜索单元。
具体实施方式
22.如图1-7所示，本发明提供一种技术方案：一种具有资源共享功能的大数据处理系统，包括采集模块1、加密模块5和异常预警模块8，采集模块1输出端交互电性连接有处理模块2，且处理模块2输出端电性连接有清除模块3，清除模块3将处理后的数据进行分析处理，并将处理的数据中无效部分析出剔除，由此优化存储时数据的容量，保证数据的质量与有效性，且清除模块3输出端电性连接有存储资料库4，加密模块5电性连接于存储资料库4的
输出端，且加密模块5针对存储资料库4存储的内容进行分类加密，加密后的信息能够有效保护用户的资料的私密性，并降低用户资料泄露，在用户提取资料是仍需要进行验证核查，加密模块5输出端电性连接有用户认证模块6，且用户认证模块6输出端电性连接有提取模块7，异常预警模块8电性连接于用户认证模块6输出端；如图1-2所示，采集模块1包括主动收集单元101和被动收集单元102，且主动收集单元101输出端电性设置有被动收集单元102，主动收集单元101用于用户主动信息资源填入将其时时更新储存，而被动收集单元102则是根据用户的记录以及大数据收集所需要的资料，并生成日志和报告文件，处理模块2包括梳理单元201、整合单元202、分析单元203和分类单元204，且梳理单元201输出端电性连接有整合单元202，整合单元202输出端电性连接有分析单元203，且分析单元203输出端电性连接有分类单元204，梳理单元201用于对采集的资源数据进行阶段式梳理，保证进行有序处理，整合单元202用于梳理后的资源数据再次整合，方便数据的传输，分析单元203针对资源数据进行智能分析，将数据中的重复与无效数据传输至清除模块3进行核查与清除，优化存储时数据的容量，分类单元204针对剔除无效信息后的有效信息进行智能分类，并将分类完成数据依次输出至存储资料库4中储存。
23.具体操作如下，通过清除模块3与采集模块1之间的相互配合设置，使得在采集模块1采集数据后，通过清除模块3将处理后的数据进行分析处理，并将处理的数据中无效部分析出剔除，由此优化存储时数据的容量，保证数据的质量与有效性，并配合加密模块5针对存储资料库4存储的内容进行分类加密，加密后的信息能够有效保护用户的资料的私密性，并降低用户资料泄露，在用户提取资料是仍需要进行验证核查，配合处理模块2的设置，使其能够对采集的数据进行阶段式梳理，使其方便后续工作的有序处理，并配合整合单元202用于梳理后的资源数据再次整合，方便数据的传输，在整合单元202将数据传输至分析单元203中，由此进行分析处理将数据中的重复与无效数据传输至清除模块3进行核查与清除，优化存储时数据的容量，配合分类单元204将处理完成的有效资料分类传输至存储资料库4中存储，方便后续的查找。
24.如图1、图3和图6所示，加密模块5输出端分别与用户认证模块6和异常预警模块8交互电性连接，且异常预警模块8与用户认证模块6交互电性连接，用户认证模块6包括登录单元601、核查单元602、验证单元603和权限模块604，且登录单元601输出端电性连接有核查单元602，核查单元602输出端电性连接有验证单元603，权限模块604电性安装于核查单元602输出端，核查单元602用于对用户信息生成的编码进行核查，对处理好的数据通过加密模块5的加密进而去获取存储资料库4内部信息，验证单元603与加密模块5交互电性连接，且验证单元603采用单一多项验证方法，即同一验证流程多次验证，验证单元603用于区分计算机机器人无理申请；具体操作如下，通过用户认证模块6的设置，使其用户在调用资料库内部的数据时需要对用户进行核查，采用同一验证流程多次验证，用于区分计算机机器人无理申请，并在核查完成后再次通过验证单元603进行复查，通过验证单元603生成编码，通过加密模块5的加密进而去获取存储资料库4内部信息，权限模块604根据用户的等级情况开放权限，用于限制用户无节制的调用共享的资源，进而有效防止服务器的负载应用。
25.如图1和图4所示，提取模块7包括导出单元701、在线浏览单元702、转换单元703和文档下载单元704，且导出单元701输出端电性连接有在线浏览单元702，在线浏览单元702
输出端电性连接有转换单元703，且转换单元703输出端电性连接有文档下载单元704，导出单元701用于存储资料库4资料的导出并根据用户的权限输出资料，在用户权限不够时只能转入在线浏览单元702输出，而在线浏览单元702输出为图片格式，此处不能复制文字与下载图片，有效降低资源的无故泄露，并在用户权限足够时由转换单元703将图片格式转换并由文档下载单元704输出；具体操作如下，通过提取模块7的设置， 导出单元701用于存储资料库4资料的导出并根据用户的权限输出资料，在用户权限不够时共享的大数据资料只能转入在线浏览单元702输出，而在线浏览单元702输出文件格式为png图片格式，在线浏览的资料不能复制文字与下载图片，有效降低资源的无故泄露，并在用户权限足够时由转换单元703将图片格式转换并由文档下载单元704输出，方便使用。
26.如图1、图5和图7所示，异常预警模块8包括病毒检测单元801、数据异常检测单元802、传输单元803和自修复单元804，且病毒检测单元801输出端电性连接有数据异常检测单元802，数据异常检测单元802输出端电性连接有传输单元803，且传输单元803输出端电性连接有自修复单元804，提取模块7输出端电性连接有搜索单元9，且搜索单元9与存储资料库4电性连接；具体操作如下，通过异常预警模块8的设置，可通过病毒检测单元801实时监测存储资料库4的安全，避免其受到病毒的干扰导致资料泄露遗失，并在发现病毒时由自修复单元804自动查杀并修复，同时通过自修复单元804还能检测数据是否异常，在数据无异常时方可正常输出。
27.综上，该具有资源共享功能的大数据处理系统，使用时，首先通过采集模块1采集信息，并通过清除模块3将处理后的数据进行分析处理，并将处理的数据中无效部分析出剔除，由此优化存储时数据的容量，保证数据的质量与有效性，并配合加密模块5针对存储资料库4存储的内容进行分类加密，加密后的信息能够有效保护用户的资料的私密性，并降低用户资料泄露，配合处理模块2的设置，使其能够对采集的数据进行阶段式梳理，使其方便后续工作的有序处理，并配合整合单元202用于梳理后的资源数据再次整合，方便数据的传输，在整合单元202将数据传输至分析单元203中，由此进行分析处理将数据中的重复与无效数据传输至清除模块3进行核查与清除，优化存储时数据的容量，配合分类单元204将处理完成的有效资料分类传输至存储资料库4中存储，方便后续的查找，然后在需要使用时需要用户认证模块6，通过登录单元601核查用户身份并配合核查单元602采用同一验证流程多次验证，用于区分计算机机器人无理申请，并在核查完成后再次通过验证单元603进行复查，通过验证单元603生成编码，通过加密模块5的加密进而去获取存储资料库4内部信息，权限模块604根据用户的等级情况开放权限，用于限制用户无节制的调用共享的资源，进而有效防止服务器的负载应用，然后通过搜索单元9查询关键词对存储资料库4内部资源进行快速搜索，届时通过提取模块7的设置， 通过导出单元701用于存储资料库4资料的导出并根据用户的权限输出资料，在用户权限不够时只能转入在线浏览单元702输出，而在线浏览单元702输出为图片格式，此处不能复制文字与下载图片，有效降低资源的无故泄露，并在用户权限足够时由转换单元703将图片格式转换并由文档下载单元704输出，最后在整个系统运行时异常预警模块8持续工作，通过病毒检测单元801实时监测存储资料库4的安全，避免其受到病毒的干扰导致资料泄露遗失，并在发现病毒时由自修复单元804自动查杀并修
复，同时通过自修复单元804还能检测数据是否异常，在数据无异常时方可正常输出。