一种适用于超算中心的大数据处理能力评估方法与流程

1.本发明涉及数据处理的技术领域，尤其涉及一种适用于超算中心的大数据处理能力评估方法。


背景技术：

2.近年来，分析和处理大规模数据在众多科学领域中变的越来越重要，例如基因分析以及宇宙探索等等，正如著名计算机科学家图灵奖得主jim gray所说，数据科学已经成为继经验科学、理论科学、计算科学之后科学研究的第四类范式。随着大规模科学计算中模拟规模和模拟精度的不断成长以及高精度传感器的广泛应用，研究人员需要处理的数据呈爆炸性增长趋势，如天文望远镜、大型强子对撞机等每天都可以手机到几个pb的数据。高效的存储和处理这些大规模数据并从中获得有价值的信息是非常具有挑战性的问题。“大数据”当前已成为描述这种由于数据增长并且数据形式多样化带来的一系列问题的流行词；然而，传统超级计算机作为科学研究和工程创新的重大基础设施，主要面向计算密集型的数值模拟任务优化，随着大规模数据处理需求的不断增长，未来的超级计算机系统需要同时提供高性能计算服务和高性能数据分析能力。
3.现阶段，随着超算领域的科学家需要处理的数据规模越来越大，数据复杂性越来越高，这些流行的大数据处理技术越来越多的被应用领域研究，超算技术与大数据处理技术正以前所未有的速度融合发展，目前，鲜有人提出对基于超算中心对大数据处理能力评估的方法，从而很难保证其处理分析能力能时刻保证社会发展的需求以及一些紧急事项的实时处理及预警。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有存在的问题，提出了本发明。
6.因此，本发明解决的技术问题是：现有技术很难保证其处理分析能力能时刻保证社会发展的需求以及一些紧急事项的实时处理及预警。
7.为解决上述技术问题，本发明提供如下技术方案：采集超算中心相关数据并进行预处理，将预处理后的数据分为训练集和测试集；归一化处理所述训练集和测试集；构建综合评估模型，利用归一化后的训练集和测试集对所述综合评估模型进行训练，得到优化后的综合评估模型；利用所述优化后的综合评估模型对模拟仿真的自然灾害进行计算预测，根据计算预测结果评估所述超算中心的大数据处理能力。
8.作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：所述超算中心相关数据包括，超算中心环境数据：利用红外热成像仪及温湿度监测器采集超算中心的温湿度数据；需要超算中心进行处理的数据包括新能源、新材料、自然灾
害、气象预报、地质勘探、工业仿真模拟、新药开发、动漫制作、基因排序、城市规划相关数据。
9.作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：所述预处理过程包括，将红外热成像仪采集的图片信息转变为数字信号；数据清洗：空缺值清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗；数据变换：对数据进行特征构造、数据分级及数据量化；数据集成：对数据变换后的数据进行数据统计，将数据合并到统一的数据存储中；采用基于聚类的离群样本检测策略对数据样本中仍可能出现异常的样本进行检测剔除。
10.作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：根据所述预处理后的数据按照8:2的比例进行训练集和测试集的划分。
11.作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：归一化处理所述训练集和测试集包括，利用归一化公式进行归一化处理，所述归一化公式为：
[0012][0013]
所述归一化处理得到的数据集包括：
[0014][0015]
其中，z表示数据集，μ表示训练集，表示测试集。
[0016]
作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：所述综合评估模型包括输入层、隐藏层和输出层。
[0017]
作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：所述输入层、隐藏层和输出层包括，所述输入层：i；所述隐藏层：
[0018][0019]
所述输出层：
[0020][0021]
其中，i表示输入的数据集，n表示节点数，θ
ij
表示输入层节点与隐藏层节点的权值定义，x
i
表示数据集所在的节点阈值，表示节点阈值，j表示常数，f(z)表示输出函数，f表示影响因子。
[0022]
作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：所述综合评估模型的损失函数包括，
[0023][0024]
其中，l表示损失函数，r表示迭代次数，a表示常数，表示评估时间，s
n
(y)表示评
估函数，其皆为标量。
[0025]
作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：利用归一化后的训练集和测试集对所述综合评估模型进行训练，其训练完成的判断标准包括，当l∈(0,0.135]时，所述综合评估模型训练完成。
[0026]
作为本发明所述的适用于超算中心的大数据处理能力评估方法的一种优选方案，其中：根据计算预测结果评估所述超算中心的大数据处理能力的评判标准包括，当所述预测结果与实际输入值的误差率为[0，3.1％]时，所述大数据处理能力好；当所述预测结果与实际输入值的误差率为(3.1％，15.4％]时，所述大数据处理能力较好；当所述预测结果与实际输入值的误差率为[15.4％，30％]时，所述大数据处理能力较差；当所述预测结果与实际输入值的误差率高于30％时，所述大数据处理能力差。
[0027]
本发明的有益效果：本发明可以对超算中心对大数据的处理能力进行实时的监测与评估，可以保证其处理分析能力能时刻保证社会发展的需求以及一些紧急事项的实时处理及预警。
附图说明
[0028]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0029]
图1为本发明一个实施例提供的一种适用于超算中心的大数据处理能力评估方法的基本流程示意图。
具体实施方式
[0030]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0031]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0032]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0033]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0034]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此
不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0035]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0036]
实施例1
[0037]
参照图1，为本发明的一个实施例，提供了一种适用于超算中心的大数据处理能力评估方法，包括：
[0038]
s1：采集超算中心相关数据并进行预处理，将预处理后的数据分为训练集和测试集；需要说明的是：
[0039]
超算中心相关数据包括：
[0040]
超算中心环境数据：利用红外热成像仪及温湿度监测器采集超算中心的温湿度数据；
[0041]
需要超算中心进行处理的数据包括新能源、新材料、自然灾害、气象预报、地质勘探、工业仿真模拟、新药开发、动漫制作、基因排序、城市规划相关数据。
[0042]
进一步的，预处理过程包括：
[0043]
将红外热成像仪采集的图片信息转变为数字信号；其中，通过红外热成像仪采集超算中心的热成像信息，将热成像图片转换为数字信号，其转换代码为：
[0044]
[0045][0046]
利用温湿度监测器采集超算中心的温湿度数据，并将温湿度数据以及转换后的数字信号进行数据融合，接着，再进行进一步的数据处理：
[0047]
数据清洗：空缺值清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗；
[0048]
数据变换：对数据进行特征构造、数据分级及数据量化；
[0049]
数据集成：对数据变换后的数据进行数据统计，将数据合并到统一的数据存储中；
[0050]
采用基于聚类的离群样本检测策略对数据样本中仍可能出现异常的样本进行检测剔除。
[0051]
s2：归一化处理训练集和测试集；需要说明的是：
[0052]
归一化处理训练集和测试集包括，
[0053]
利用归一化公式进行归一化处理，归一化公式为：
[0054][0055]
归一化处理得到的数据集包括：
[0056][0057]
其中，z表示数据集，μ表示训练集，表示测试集。
[0058]
进一步的，根据预处理后的数据按照8:2的比例进行训练集和测试集的划分。
[0059]
s3：构建综合评估模型，利用归一化后的训练集和测试集对综合评估模型进行训练，得到优化后的综合评估模型；需要说明的是：
[0060]
综合评估模型包括输入层、隐藏层和输出层。
[0061]
其中，输入层、隐藏层和输出层包括：
[0062]
输入层：i
[0063]
隐藏层：
[0064][0065]
输出层：
[0066][0067]
其中，i表示输入的数据集，n表示节点数，θ
ij
表示输入层节点与隐藏层节点的权值定义，x
i
表示数据集所在的节点阈值，表示节点阈值，j表示常数，f(z)表示输出函数，f表示影响因子。
[0068]
进一步的，综合评估模型的损失函数包括，
[0069][0070]
其中，l表示损失函数，r表示迭代次数，a表示常数，表示评估时间，s
n
(y)表示评估函数，其皆为标量。
[0071]
利用归一化后的训练集和测试集对综合评估模型进行训练，其训练完成的判断标准包括：
[0072]
当l∈(0,0.135]时，综合评估模型训练完成。
[0073]
s4：利用优化后的综合评估模型对模拟仿真的自然灾害进行计算预测，根据计算预测结果评估超算中心的大数据处理能力；
[0074]
其中，自然灾害信息主要为气象灾害，其包括：水分因子表现为水分过多而引起的洪水、涝(渍)害、湿害、凌汛、冻涝、草原白害等；温度因子表现为气温过高而引起的作物“高温不实”、“高温逼熟”、雨后暴热、热浪中暑等；光照因子表现为光照过强而引起的灼伤和日烧病等。根据历史灾害信息数据进行模拟仿真，开启自动化测试设备并运用matlb软件编程实现本方法的仿真测试。
[0075]
根据计算预测结果评估超算中心的大数据处理能力的评判标准包括：
[0076]
当预测结果与实际输入值的误差率为[0，3.1％]时，大数据处理能力好；当预测结果与实际输入值的误差率为(3.1％，15.4％]时，大数据处理能力较好；
[0077]
当预测结果与实际输入值的误差率为[15.4％，30％]时，大数据处理能力较差；当预测结果与实际输入值的误差率高于30％时，大数据处理能力差。
[0078]
若超算中心处理的误差率大于或等于15.4％，则进行预警，通知管理人员进行设备的检查及维修，从而能够保证其数据处理能力一直保持高效能的状态。
[0079]
本发明将超算中心与大数据技术进行融合，并通过构建评估模型实现超算中心大数据处理能力进行实时的监测与评估，可以保证其处理分析能力能时刻保证社会发展的需求以及一些紧急事项的实时处理及预警。
[0080]
实施例2
[0081]
本实施例为本发明另一个实施例，该实施例不同于第一个实施例的是，提供了一种适用于超算中心的大数据处理能力评估方法的验证测试，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
[0082]
传统的技术方案：在对气象灾害的监测及预警上有大幅的时延且数据计算分析的结果准确度较低，效率也低；为验证本方法相对传统方法具有较高的结果分析准确度及效率。
[0083]
本实施例中将采用传统气象灾害预测方法和本方法分别对仿真气象灾害的预测精度及实时性进行实时测量对比。
[0084]
测试环境：在仿真平台模拟多个城市的气象灾害的发生过程，采用不同时间、地点、类型的气象灾害为测试样本，分别利用传统方法和本发明方法，开启自动化测试设备并运用matlb软件编程实现两种方法的仿真测试，根据实验结果得到仿真数据。每种方法各测试1000组数据，计算获得每组数据的气象灾害类型及其发生的时间，与仿真模拟输入的实
际数据进行对比计算误差，结果如下表所示。
[0085]
表1：实验结果对比表。
[0086]
项目传统方法本发明方法效率90.235％99.385％时延5.861min0.034ms准确度85.23％99.50％
[0087]
从上表可以看出本发明方法在进行数据处理能力评估后的数据处理能力相较于传统方法在效率及准确度上有大幅度的提升，其时延有大幅度的降低，体现了本发明方法的有效性。
[0088]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。