一种卫星物联网Spark数据处理方法、系统、终端及存储介质与流程

一种卫星物联网spark数据处理方法、系统、终端及存储介质
技术领域
1.本技术涉及数据处理领域，尤其是涉及一种卫星物联网spark数据处理方法、系统、终端及存储介质。


背景技术：

2.物联网是指通过各种信息传感设备或技术，实时采集任何需要监控、连接、互动的物体或过程，采集一些需要采集的信息；并且，通过网络的接入，可以实现物与物、物与人之间的连接，实现对物品的智能化感知、识别和管理；物联网技术的关键是数据通信传输，在物与物的信息传输过程中，聚集了大批数据；目前，针对这些数据的处理方法一般按照顺序执行，在处理数据的过程中，发明人发现，在利用传统的数据处理方法处理数据时，数据处理的效率较低。


技术实现要素：

3.本技术提供一种卫星物联网spark数据处理方法、系统、终端及存储介质，具有提高了数据处理效率的特点。
4.本技术目的一是提供一种卫星物联网spark数据处理方法。
5.本技术的上述申请目的一是通过以下技术方案得以实现的：一种卫星物联网spark数据处理方法，包括：获取地面采集数据并将地面采集数据存入数据库中；调用spark计算引擎对存入数据库中的地面采集数据进行并行处理；生成rdd模型，并利用rdd模型将主机资源分配至spark计算引擎中。
6.本技术在一较佳示例中可以进一步配置为，所述获取地面采集数据的步骤包括，利用地面的信息采集终端采集各种类型的数据，并将这些数据汇总形成地面采集数据。
7.本技术在一较佳示例中可以进一步配置为，在将地面采集数据存入数据库之前，需要对地面采集数据进行质量检测，若质量检测成功，那么调用mongodb数据库，并将地面采集数据存入mongodb数据库中。
8.本技术在一较佳示例中可以进一步配置为，所述调用spark计算引擎对存入数据库中的地面采集数据进行并行处理的步骤包括：启动驱动模块，并创建执行对象，所述执行对象内包含任务信息；根据执行对象与多个工作模块进行通信，选择空闲状态的工作模块接收任务；启动与空闲状态的工作模块相应的执行模块；将执行模块与驱动模块进行反向注册后对执行对象进行分解。
9.本技术在一较佳示例中可以进一步配置为，所述调用spark计算引擎对存入数据库中的地面采集数据进行并行处理的步骤包括：申请主机资源，并将主机资源分配至工作模块；构建dag图，并将dag图分解成stage；
当碰到action操作时，催生job；每个job中包含至少一个stage。
10.本技术在一较佳示例中可以进一步配置为，所述生成rdd模型，并利用rdd模型将主机资源分配至spark计算引擎中的步骤包括，根绝rdd的依赖关系并构建成dag图。
11.本技术在一较佳示例中可以进一步配置为，所述生成rdd模型，并利用rdd模型将主机资源分配至spark计算引擎中的步骤包括，将构建的dag图划分为一个完整的stage，然后按照stage中最后一个rdd往前回溯，并在回溯的过程中判断依赖关系。
12.本技术目的二是提供一种卫星物联网spark数据处理系统。
13.本技术的上述申请目的二是通过以下技术方案得以实现的：一种卫星物联网spark数据处理系统，包括：获取模块，用于获取地面采集数据并将地面采集数据存入数据库中；调用模块，用于调用spark计算引擎对存入数据库中的地面采集数据进行并行处理；生成模块，用于生成rdd模型，并利用rdd模型将主机资源分配至spark计算引擎中。
14.本技术目的三是提供一种智能终端。
15.本技术的上述申请目的三是通过以下技术方案得以实现的：一种智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行的上述卫星物联网spark数据处理方法的计算机程序指令。
16.本技术目的四是提供一种计算机介质，能够存储相应的程序。
17.本技术的上述申请目的四是通过以下技术方案得以实现的：一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种卫星物联网spark数据处理方法的计算机程序。
附图说明
18.图1是本技术实施例中一种卫星物联网spark数据处理方法的流程示意图。
19.图2是本技术实施例中一种卫星物联网spark数据处理系统的结构示意图。
20.附图标记说明：1、获取模块；2、调用模块；3、生成模块。
具体实施方式
21.本具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域人员在阅读完本说明书后可以根据需要对本实施例作出没有创造性贡献的修改，但只要在本技术的权利要求范围内都受到专利法的保护。
22.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本技术保护的范围。
23.下面结合说明书附图对本技术实施例做进一步详细描述。
24.本技术提供一种卫星物联网spark数据处理方法，所述方法的主要流程描述如下。
25.如图1所示：
步骤s101：获取地面采集数据并将地面采集数据存入数据库中。
26.步骤s102：调用spark计算引擎对存入数据库中的地面采集数据进行并行处理。
27.步骤s103：生成rdd模型，并利用rdd模型将主机资源分配至spark计算引擎中。
28.可以理解的是，在本技术实施例中采用spark数据，与传统的数据处理方式相比，spark的优势在于，数据处理的性能高；利用了分布式数据处理的原理，数据可以被快速的转换迭代，并缓存用以后续地频繁访问需求；在数据全部加载到内存的情况下，spark可以比hadoop快100倍，比传统的数据处理快更多倍；良好的兼容性，可以兼容java、scala、python、sql标准api以方便在物联网的各行业中使用，同时还含有即用的机器学习库，并且与现有hadoop v1 (simr) 和2.x (yarn) 生态兼容，数据可以进行无缝迁移；优异的大数据处理架构体系支撑下可以不断提高对于数据处理流程的各类问题。
29.在本技术实施例中，卫星数据传输及处理的整体流程如下，先对地面采集到的数据进行上传，然后对上传的数据进行质量检测，若数据质量检测成功后，将数据存入数据库中，然后利用计算引擎对数据库中的数据进行相应的处理。
30.首先，地面终端采集地面温湿度等各类行业的数据信息，形成初步的数据汇总；在本技术实施例中，终端通过网关获取到传感器数据，具体地，每个行业根据数据采集需求会设置多个传感器来采集相关数据，然后将传感器采集到的相关数据发送至网关，通过网关将数据发送至终端，然后终端再将数据上传。
31.在本技术实施例中，终端获取网关发送的传感器采集信息，传感器采集信息中包含网关标识信息；根据网关标识信息和预存的网关优先级规则对传感器采集信息按照相应的优先级进行排序；网关优先级规则包括网关标识信息、网关优先级信息以及网关标识与网关优先级之间的对应关系信息；终端将排序后的传感器采集信息依次上传。
32.具体地，网关优先级规则的建立步骤包括，获取网关标识信息和网关优先级信息；其中，获取网关优先级信息的步骤包括，获取网关的网络覆盖范围信息；根据网关的网络覆盖范围信息得到在网关的覆盖范围内的终端数量信息；根据终端数量信息设定网关的网关优先级信息，其中，终端数量即为网关优先级；将网关标识信息与网关优先级信息进行绑定后，根据网关标识信息、网关优先级信息以及网关标识与网关优先级之间的对应关系信息生成网关优先级规则；然后将网关优先级规则存储在各个终端内。
33.在本技术实施例中，当网关将数据发送至终端时，网关将存储的传感器数据发送至网关覆盖范围内的所有终端，终端接收传感器数据，同时接收到该传感器数据相应的网关标识信息，然后调取预存的网关优先级规则，然后利用网关优先级规则和网关标识信息得到传感器数据的优先级，再根据优先级对传感器数据进行排序，并依次将传感器数据上传。
34.为详细说明上述过程，下面进行举例说明，例如，网关a的网络覆盖范围内设置有三个终端，网关b的网络覆盖范围内设置有五个终端，网关c的网络覆盖范围内设置有一个终端；那么根据网络覆盖范围内的终端数量可以得到各个网关的网关优先级信息；其中，网关a的网关优先级为3，网关b的网关优先级为5，网关c的网关优先级为1，那么在网关a、b和c将传感器数据发送至终端，传感器数据附带网关标识，终端对网关标识进行处理后得到数据的优先级；可以理解的是，终端1内存储有数据1和数据2，数据1的优先级为3，数据2的优先级为4，那么数据1就先上传；然后在终端2内存储有数据2和数据5，数据2的优先级为4，数
据5的优先级为6，那么数据2先上传；因此，在实际情况中，虽然网关a覆盖的范围内有三个终端，导致网关a发送的数据的优先级均为3，但是对于不同的终端而言，优先级3可能是先发，也可能是后发，因此采用这种方式，即保证了数据上传的完整性，降低了在数据上传过程中数据丢失的可能性，提高了数据上传的稳定性和安全性，也保证了数据上传的时效性。
35.然后，将地面采集数据进行上传，卫星载荷在经过地面采集设备时进行数据的接收并进行数据质量的检测；若数据质量检测成功，那么spark 定时调度 shell 脚本读取配置文件，配置文件中配置文件接口规范、xdr数据采集频度、xdr 存储位置、mongodb 数据库等信息；然后调用mongodb数据库；然后进行入库管理和配置，最后调用spark数据任务执行引擎，开始对采集到入库的大规模数据进行数据任务的分配和执行。
36.在对数据进行处理的过程中，首先启动driver驱动开始spark数据处理流程，启动数据的submit请示，submit开始向master进行提出请求，提出请求的过程创建一个执行对象sparkcontext，sparkcontext其实包含了任务内容，紧接着向master发送任务消息；然后，master接收到任务信息后，开始资源调度，此时会和所有的worker进行通信，需要寻找到空闲的worker，并通知空闲的worker来接受任务并且启动相应的executor也就是任务执行；当executor启动后，开始与driver进行反向注册，接下来driver开始把任务发送给相应的executor，executor开始计算任务；对任务进行分解后，建立executor线程池，最后完成task。
37.sparkcontext连接到master，向master注册并申请资源；master根据sparkcontext的资源申请要求和worker心跳周期内报告的信息决定在哪个worker上分配资源，然后在该worker上获取资源，然后启动standaloneexecutorbackend；然后利用standaloneexecutorbackend向sparkcontext进行注册，sparkcontext将applicaiton代码发送给standaloneexecutorbackend；并且sparkcontext解析applicaiton代码，构建dag图，并提交给dag scheduler分解成stage（当碰到action操作时，就会催生job；每个job中含有1个或多个stage，stage一般在获取外部数据和shuffle之前产生），然后以stage（或者称为taskset）提交给task scheduler，task scheduler负责将task分配到相应的worker，最后提交给standaloneexecutorbackend执行；standaloneexecutorbackend会建立executor线程池，开始执行task，并向sparkcontext报告，直至task完成；最后，所有task完成后，sparkcontext向master注销，释放资源。
38.可以理解的是，在本技术实施例中，用户提交作业时通过一系列操作，如join,groupbykey，filter等操作生成rdd，然后由dagscheduler根绝rdd的依赖关系构建成一个dag图，但不执行作业，只有遇到rdd的action操作时才会触发执行之前的所有任务。dagscheduler将任务按照依赖关系划分为stage提交taskset给taskscheduler，taskscheduler根据任务去clustermanager申请资源分配给wroker节点，从而提交给wroker节点去执行。dagscheduler调度器首先将构建的dag图划分为一个完整的stage，然后按照stage中的最后一个rdd起往前回溯，在回溯的过程中不断的判断rdd的依赖关系，如果是窄依赖则继续进行回溯，如果是宽依赖则划分出一个新的stage，从而整个stage被划分为多个新的stage。从而dag图被划分为多个stage，每一个stage由多个task组成。
39.本技术还提供一种卫星物联网spark数据处理系统，如图2所示，一种卫星物联网spark数据处理系统包括，获取模块1，用于获取地面采集数据并将地面采集数据存入数据
库中；调用模块2，用于调用spark计算引擎对存入数据库中的地面采集数据进行并行处理；生成模块3，用于生成rdd模型，并利用rdd模型将主机资源分配至spark计算引擎中。
40.为了更好地执行上述方法的程序，本技术还提供一种智能终端，智能终端包括存储器和处理器。
41.其中，存储器可用于存储指令、程序、代码、代码集或指令集。存储器可以包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令以及用于实现上述卫星物联网spark数据处理方法的指令等；存储数据区可存储上述卫星物联网spark数据处理方法中涉及到的数据等。
42.处理器可以包括一个或者多个处理核心。处理器通过运行或执行存储在存储器内的指令、程序、代码集或指令集，调用存储在存储器内的数据，执行本技术的各种功能和处理数据。处理器可以为特定用途集成电路、数字信号处理器、数字信号处理装置、可编程逻辑装置、现场可编程门阵列、中央处理器、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。
43.本技术还提供一种计算机可读存储介质，例如包括：u盘、移动硬盘、只读存储器（read only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述卫星物联网spark数据处理方法的计算机程序。
44.以上描述仅为本技术得较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本技术中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。