一种基于网络安全的大数据处理平台的制作方法

1.本发明属于大数据处理技术领域，具体涉及一种基于网络安全的大数据处理平台。


背景技术：

2.大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，即大数据是一个由大量数据组成的数据集，这个数据集涵盖的数据种类繁多，已经无法用我们传统的数据处理技术来分析和管理，也无法用传统的数据库来存储和查询，而且随着数据的不断扩充，数据的不完备性及时效性也为数据处理带来了极大的挑战，从而产生了大数据处理技术。
3.随着社会的进步和信息通信技术的发展，大数据处理技术被广泛应用在精准营销、征信分析、消费分析以及各行业和领域，大数据处理平台顺势而生，平台主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据可视化等模块，虽然大数据处理平台现如今正在逐步完善，但仍然存在部分弊端，即平台目前仅针对在平台内的数据处理进行网络安全保护，而不针对由平台下载的数据进行保护，降低了平台在数据安全方面的性能，降低了平台的市场使用率，因此需要设计一种基于网络安全的大数据处理平台，以解决上述问题。


技术实现要素：

4.为解决上述背景技术中提出的问题。本发明提供了一种基于网络安全的大数据处理平台，具有有效避免人员在数据下载中以及下载后进行数据篡改，提高平台数据处理效果和数据处理安全性，提高平台的市场使用率，以及实时优化数据采集网页链路，提高数据采集效率的特点。
5.为实现上述目的，本发明提供如下技术方案：一种基于网络安全的大数据处理平台，包括控制平台运行的数据处理模块，所述数据处理模块的程序读取端口连接有数据存储模块，以获取控制程序，所述数据处理模块的控制端口分别连接有数据收集模块、数据预处理模块和数据分析模块，通过控制程序控制数据收集模块、数据预处理模块和数据分析模块运行，所述数据收集模块的采集端口通过互联网连接有网页，以采集网页上的数据，所述数据收集模块的数据输出端口连接数据预处理模块，以对采集的数据进行预处理，所述数据预处理模块的数据输出端口连接数据分析模块，以对预处理后的数据进行分析，所述数据分析模块的数据输出端口连接数据存储模块，以存储分析后的数据，所述数据处理模块的数据输入端口连接有数据输入模块，以输入需处理的数据，所述数据处理模块的数据提取端口连接数据存储模块，以提取存储的数据与输入数据进行比对处理，得出处理结果，所述数据处理模块的数据输出端口连接有数据输出模块，以输出得出的结果。
6.本发明中进一步的，所述数据存储模块包括处理程序存储模块、数据收集存储模
块和数据权限存储模块，所述数据处理模块的程序读取端口连接处理程序存储模块，以获取控制程序，所述数据分析模块的数据输出端口连接数据收集存储模块，以存储分析后的数据，所述数据处理模块的数据提取端口连接数据收集存储模块，以提取存储的数据与输入数据进行比对处理，得出处理结果，所述数据处理模块的数据提取端口连接数据权限存储模块，以提取数据权限存储模块内存储的数据。
7.本发明中进一步的，所述数据输入模块包括摄像数据输入模块和处理数据输入模块，所述数据处理模块的数据输入端口连接摄像数据输入模块，以获取平台的摄像数据，所述数据处理模块的数据输入端口和控制端口连接处理数据输入模块，以输入需处理的数据以及控制输入端输入状态。
8.本发明中进一步的，所述数据输出模块包括数据可视化模块和数据下载模块，所述数据处理模块的数据输出端口分别连接数据可视化模块和数据下载模块，以显示和下载处理结果。
9.本发明中进一步的，所述数据预处理包括数据清洗、数据集成、数据转换和数据归约，数据预处理过程中产生的无效或无用数据即刻被清除。
10.本发明中进一步的，所述数据分析包括数据聚类和数据分类，不同分类结果的数据被存放在数据收集存储模块的不同子存储模块内。
11.本发明中进一步的，所述摄像数据包括人脸数据和人体骨骼数据。
12.本发明中进一步的，所述数据处理模块对于人脸数据识别采用的是基于特征脸的人脸识别方法，所述数据处理模块对于骨骼数据识别采用的是基于时空图卷积网络模型方法。
13.本发明中进一步的，所述数据存储模块包括数据源预处理时长存储模块和数据利用率存储模块，所述数据预处理模块的数据输出端口连接数据源预处理时长存储模块，以存储各数据源进行预处理的时长，所述数据处理模块的数据输出端口连接数据利用率存储模块，以记录大数据处理时各存储数据在处理过程中的利用率，所述数据源预处理时长存储模块和数据利用率存储模块的数据提取端口连接有数据整合模块，以整合数据源预处理时长存储模块和数据利用率存储模块的数据，所述数据处理模块的控制端口连接数据整合模块，通过控制程序控制数据整合模块运行，所述数据整合模块的数据输出端口分别连接有数据采集白名单存储模块和数据采集黑名单存储模块，以对整合结果进行对应式存储，所述数据收集模块的数据提取端口分别连接数据采集白名单存储模块和数据采集黑名单存储模块，以根据数据采集白名单存储模块和数据采集黑名单存储模块内的存储数据对网页上的数据进行选择性采集。
14.与现有技术相比，本发明的有益效果是：1、本发明根据人体脸部加骨骼识别判断该在平台上操作人员的身份，并获取该操作人员的操作权限，在权限允许的条件下提供大数据处理结果可视化和下载，由于脸部加骨骼识别，因此可识别面积大，识别距离长，无需操作人员就近识别，加快平台的响应速度，同时由于权限保护，可有效避免数据在平台内泄露或篡改，提高数据在平台内的安全性。
15.2、本发明数据下载途中平台拒绝数据输入，能够有效防止操作人员进行数据篡改，同时下载的处理结果同步进行平台存储，可方便后期进行结果追溯，有效避免人员下载后进行数据篡改，提高数据在平台内和外的安全性，从而提高了平台的市场使用率。
16.3、本发明对于各数据源的数据预处理时间进行计时并存储，同时平台进行大数据处理途中引用的数据会同步进行计算并存储，后期通过预处理时长和利用率整合极差以及极优的数据源，并将极差以及极优数据源的网页链路分别存储成黑名单和白名单，数据采集时自动避开黑名单的网页链路，提高平台数据采集的效率，同时黑名单是由整合排名组成的，因此可实时变动，为后续优化的网页链路提供再次采集的可能性。
附图说明
17.图1为本发明基于网络安全的大数据处理平台的系统框图；图2为本发明数据存储模块的细化系统框图；图3为本发明数据输入模块和数据输出模块的细化系统框图；图中：1、数据收集模块；2、数据预处理模块；3、数据分析模块；4、数据存储模块；401、数据源预处理时长存储模块；402、数据收集存储模块；403、数据整合模块；404、数据采集白名单存储模块；405、数据采集黑名单存储模块；406、数据利用率存储模块；407、数据权限存储模块；408、处理程序存储模块；5、数据输入模块；501、摄像数据输入模块；502、处理数据输入模块；6、数据输出模块；601、数据可视化模块；602、数据下载模块；7、数据处理模块。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.实施例1请参阅图1-3，本发明提供以下技术方案：一种基于网络安全的大数据处理平台，包括控制平台运行的数据处理模块7，数据处理模块7的程序读取端口连接有数据存储模块4，以获取控制程序，数据处理模块7的控制端口分别连接有数据收集模块1、数据预处理模块2和数据分析模块3，通过控制程序控制数据收集模块1、数据预处理模块2和数据分析模块3运行，数据收集模块1的采集端口通过互联网连接有网页，以采集网页上的数据，数据收集模块1的数据输出端口连接数据预处理模块2，以对采集的数据进行预处理，数据预处理模块2的数据输出端口连接数据分析模块3，以对预处理后的数据进行分析，数据分析模块3的数据输出端口连接数据存储模块4，以存储分析后的数据，数据处理模块7的数据输入端口连接有数据输入模块5，以输入需处理的数据，数据处理模块7的数据提取端口连接数据存储模块4，以提取存储的数据与输入数据进行比对处理，得出处理结果，数据处理模块7的数据输出端口连接有数据输出模块6，以输出得出的结果。
20.具体的，数据存储模块4包括处理程序存储模块408、数据收集存储模块402和数据权限存储模块407，数据处理模块7的程序读取端口连接处理程序存储模块408，以获取控制程序，数据分析模块3的数据输出端口连接数据收集存储模块402，以存储分析后的数据，数据处理模块7的数据提取端口连接数据收集存储模块402，以提取存储的数据与输入数据进行比对处理，得出处理结果，数据处理模块7的数据提取端口连接数据权限存储模块407，以
提取数据权限存储模块407内存储的数据。
21.具体的，数据输入模块5包括摄像数据输入模块501和处理数据输入模块502，数据处理模块7的数据输入端口连接摄像数据输入模块501，以获取平台的摄像数据，数据处理模块7的数据输入端口和控制端口连接处理数据输入模块502，以输入需处理的数据以及控制输入端输入状态。
22.具体的，数据输出模块6包括数据可视化模块601和数据下载模块602，数据处理模块7的数据输出端口分别连接数据可视化模块601和数据下载模块602，以显示和下载处理结果。
23.具体的，数据预处理包括数据清洗、数据集成、数据转换和数据归约，数据预处理过程中产生的无效或无用数据即刻被清除。
24.具体的，数据分析包括数据聚类和数据分类，不同分类结果的数据被存放在数据收集存储模块402的不同子存储模块内。
25.具体的，摄像数据包括人脸识别数据和人体骨骼识别数据。
26.本实施例的工作原理：平台进行大数据处理前，数据处理模块7提取处理程序存储模块408内存储的控制程序，以控制相关模块运行，数据处理模块7控制数据收集模块1通过互联网采集网页上的数据，并将采集的网页数据通过互联网传输至数据预处理模块2，数据预处理模块2对采集的网页数据依次进行数据清洗、数据集成、数据转换和数据归约，在此过程中产生的无效或无用数据即刻被清除，预处理后的数据被传输至数据分析模块3，数据分析模块3对数据进行数据聚类和数据分类，相同类型数据以及不同类型数据被存储至数据收集存储模块402，相同类型的数据被存储至数据收集存储模块402的同一子存储模块，不同类型的数据被存储至数据收集存储模块402的不同子存储模块；平台进行大数据处理时，摄像数据输入模块501采集平台前操作人员的面部数据以及骨骼数据，并将采集到的面部数据以及骨骼数据传输至数据处理模块7，数据处理模块7提取数据权限存储模块407内的权限数据（数据权限存储模块407内的权限数据由操作人员通过处理数据输入模块502输入的，该权限内容包括仅查看权限人员身份数据以及查看下载人员身份数据），并通过基于特征脸的人脸识别方法以及基于时空图卷积网络模型方法与采集到的面部数据以及骨骼数据进行比对分析，判断该操作人员的权限，若操作人员的权限为仅查看，则操作人员通过处理数据输入模块502输入待处理数据，处理数据输入模块502将输入的数据传输至数据处理模块7，数据处理模块7先行判断该输入数据的类别，再根据类别判断结果提取数据收集存储模块402内对应类别子存储模块内的数据，与输入的数据进行比对处理（数据处理模块7的比对处理是基于比对处理模型进行的，比对处理模型是通过训练集数据和验证集数据进行训练和验证得出的，该模型的比对处理准确率可达99%），得到处理结果，数据处理模块7将处理结果传输至数据可视化模块601，数据可视化模块601对处理结果进行可视化（数据可视化模块601包括显示屏），方便操作人员了解处理结果，若操作人员的权限为查看下载，处理方法与上述相同，不同的是在操作人员想要下载处理结果时，可通过数据下载模块602进行处理结果数据下载（数据下载模块602包括usb插接下载方式），数据查看以及下载途中，数据处理模块7控制处理数据输入模块502无法输入，即拒绝数据篡改，同时在处理结果数据下载完成，数据处理模块7将处理结果另存一份并存
储至数据收集存储模块402的处理结果子存储模块，方便后期追溯，以防处理结果下载后被篡改，提高平台的数据安全性。
27.实施例2本实施例较实施例1的不同之处在于：具体的，数据存储模块4包括数据源预处理时长存储模块401和数据利用率存储模块406，数据预处理模块2的数据输出端口连接数据源预处理时长存储模块401，以存储各数据源进行预处理的时长，数据处理模块7的数据输出端口连接数据利用率存储模块406，以记录大数据处理时各存储数据在处理过程中的利用率，数据源预处理时长存储模块401和数据利用率存储模块406的数据提取端口连接有数据整合模块403，以整合数据源预处理时长存储模块401和数据利用率存储模块406的数据，数据处理模块7的控制端口连接数据整合模块403，通过控制程序控制数据整合模块403运行，数据整合模块403的数据输出端口分别连接有数据采集白名单存储模块404和数据采集黑名单存储模块405，以对整合结果进行对应式存储，数据收集模块1的数据提取端口分别连接数据采集白名单存储模块404和数据采集黑名单存储模块405，以根据数据采集白名单存储模块404和数据采集黑名单存储模块405内的存储数据对网页上的数据进行选择性采集。
28.本实施例的工作原理：数据预处理模块2会在数据预处理完成后将针对各网页数据预处理的时长存储至数据源预处理时长存储模块401，同时数据处理模块7会在大数据比对处理后对引用的数据利用率进行计算，并将计算的结果存储至数据利用率存储模块406，数据处理模块7控制数据整合模块403实时整合数据源预处理时长存储模块401和数据利用率存储模块406内的数据，并将整合出的前五名预处理时间短且利用率高的网页链路记为最优网页链路，存储至数据采集白名单存储模块404，后五名预处理时间长且利用率低的网页链路记为最差网页链路，存储至数据采集黑名单存储模块405，数据收集模块1在数据采集时会优先从数据采集白名单存储模块404上的网页进行数据采集，避开数据采集黑名单存储模块405的网页，尽可能加快平台数据收集模块1的数据收集速度。
29.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。