基于大数据存储平台的卫星数据分布式处理系统和方法

1.本发明属于卫星数据处理技术领域，具体涉及一种基于大数据存储平台的卫星数据分布式处理系统和方法。


背景技术：

2.随着卫星应用越来越广泛，其数据越来越多，数据处理越来越复杂，计算量也越来越大，这对数据处理软件和软件运行平台的性能提出了越来越高的要求。原有的处理方式是按照处理目标(项目/评估类型)，将牵涉到所有算法集中到一个应用中，在一台数据处理计算机上进行整体处理；在出现计算性能问题时，多以提高数据处理计算机性能、优化软件编程技巧为处理手段。
3.但随着卫星数据的几何增长，不断丰富的算法以及不断复杂的逻辑，其计算处理时长在不断增加，需要消耗的资源在不断的增长，严重超出了软件和数据处理计算机的优化极限，影响了整体的指标计算，特别是影响了实时部分的数据处理。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供了一种基于大数据存储平台的卫星数据分布式处理系统和方法。本发明要解决的技术问题通过以下技术方案实现：
5.本发明的一个方面提供了一种基于大数据存储平台的卫星数据分布式处理系统，包括大数据存储平台、多个非实时数据处理应用模块、多个实时数据处理应用模块和监测模块，其中：
6.所述大数据存储平台用于从各观测站接收和存储待进行卫星数据处理的各类原始数据；
7.所述多个非实时数据处理应用模块中的每个非实时数据处理应用模块至少集成有一个卫星指标非实时算法软件，且所述多个非实时数据处理应用模块分别设置在不同的数据处理计算机上，以利用所述不同的数据处理计算机接收来自所述大数据存储平台的相应原始数据并进行非实时数据处理，获得观测卫星的相应非实时指标；
8.所述多个实时数据处理应用模块中的每个实时数据处理应用模块至少集成有一个卫星指标实时算法软件，且所述多个实时数据处理应用模块分别设置在不同的数据处理计算机上，以利用所述不同的数据处理计算机接收来自实时数据网络和各观测站的实时观测数据并进行实时数据处理，获得观测卫星的相应实时指标；
9.所述监测模块连接各数据处理计算机，用于检测各非实时数据处理应用模块和各实时数据处理应用模块的运行状态并进行显示；
10.所述大数据存储平台还用于接收和存储所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块的数据处理结果。
11.在本发明的一个实施例中，根据所述卫星指标非实时算法软件的计算时长和触发时间，将所述多个非实时数据处理应用模块设置在不同的数据处理计算机上，其中，每个数
据处理计算机上可以设置一个或多个非实时数据处理应用模块。
12.在本发明的一个实施例中，所述监测模块构建在任一所述数据处理计算机上，或者构建在单独的监测监测计算机上。
13.在本发明的一个实施例中，所述监测模块采用udp协议与所述数据处理计算机进行数据通信。
14.在本发明的一个实施例中，所有数据处理计算机和/或所述监测计算机均处于同一局域网内。
15.在本发明的一个实施例中，具有实时数据处理应用模块的数据处理计算机上还设置有实时数据接收模块，用于接收来自实时数据网络和观测站的实时观测数据并传输至所述时数据处理应用模块中进行处理。
16.在本发明的一个实施例中，所述大数据存储平台还用于：
17.按照日期生成按天存储的目录，以将来自所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块每天的数据处理结果保存在对应的目录之下；
18.在所述按天存储目录之下按照数据指标类型生成子目录，以将当天的不同数据指标存储在对应的子目录之下。
19.在本发明的一个实施例中，具有非实时数据处理应用模块的数据处理计算机上还设置有计时模块，用于预先设定非实时数据处理应用模块进行数据处理的时间间隔，以控制所述非实时数据处理应用模块在每次计算时刻到达时获取所述大数据存储平台上的相应数据进行数据处理，以得到相应的卫星非实时指标。
20.本发明的另一方面提供了一种基于大数据存储平台的卫星数据分布式处理方法，利用上述实施例中任一项所述的卫星数据分布式处理执行，所述方法包括：
21.利用大数据存储平台从各观测站接收和存储进行卫星数据处理的各类原始数据；
22.根据待计算的非实时指标以及设定的计算时间间隔，利用具有非实时数据处理应用模块的不同数据处理计算机接收来自所述大数据存储平台的相应原始数据并在所述非实时数据处理应用模块上进行非实时数据处理，获得观测卫星的相应非实时指标；
23.根据待计算的实时指标，利用具有实时数据处理应用模块的不同数据处理计算机接收来自实时数据网络和观测站的实时观测数据并在所述实时数据处理应用模块进行实时数据处理，获得待测卫星的相应实时指标；
24.检测所述非实时数据处理应用模块和所述实时数据处理应用模块的运行状态并进行显示；
25.利用所述大数据存储平台接收和存储所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块的数据处理结果。
26.在本发明的一个实施例中，利用所述大数据存储平台接收和存储所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块的数据处理结果，包括：
27.接收所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块的数据处理结果；
28.按照日期生成按天存储的目录，以将来自所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块每天的数据处理结果保存在对应的目录之下；
29.在所述按天存储目录之下按照数据指标类型生成子目录，以将当天的不同数据指
标存储在对应的子目录之下。
30.与现有技术相比，本发明的有益效果在于：
31.1、本发明的卫星数据分布式处理系统基于大数据存储平台，以分布式方式进行数据计算，是一种成本低廉、实现方便的数据处理系统架构，按照卫星数据处理算法的特点，将算法实现分配在多个数据处理应用模块中，再将所述多个数据处理应用模块部署在不同的数据处理计算机上；在运行上按照计算特点，或持续运行，或按时间触发，在满足处理的同时，也满足了对数据处理结果集中管理、方便使用的需求，同时对于数据处理计算机的性能要求将极大的降低，对于软件的实现，将极大地降低难度(性能优化)，不需要花费太多时间在性能优化上。
32.2、本发明的卫星数据分布式处理系统，具有良好的扩展性和灵活性，可以很好地适应不断增加的卫星数据以及处理方法的需求。
33.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
34.图1是本发明实施例提供的一种基于大数据平台的卫星数据分布式处理系统的模块示意图；
35.图2是本发明实施例提供的一种质量分析软件的算法示意图；
36.图3是本发明实施例提供的一种基于大数据平台的卫星数据分布式处理系统的具体框架示意图；
37.图4是本发明实施例提供的一种监测模块的通信示意图；
38.图5是本发明实施例提供的一种监测模块的处理流程示意图；
39.图6是本发明实施例提供的一种基于大数据平台的卫星数据分布式处理方法的流程图。
具体实施方式
40.为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于大数据平台的卫星数据分布式处理系统和方法进行详细说明。
41.有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
42.应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
43.实施例一
44.请参见图1，图1是本发明实施例提供的一种基于大数据平台的卫星数据分布式处理系统的结构示意图。该卫星数据分布式处理系统包括大数据存储平台1、多个非实时数据处理应用模块2、多个实时数据处理应用模块3和监测模块4。
45.大数据存储平台1用于接收和存储进行卫星数据处理的各种原始数据。在本实施例中，大数据存储平台1通过通信模块(如专线网络或互联网)连接至各观测站，用于接收和存储来自各观测站的原始观测数据，该大数据存储平台1可同时接收来自不同观测站的数据保存为数据文件，不同数据文件不会发生冲突。
46.需要说明的是，如图2所示，在使用卫星数据进行数据处理或卫星数据质量分析时需要进行各种各样的指标计算，每个指标都有一套算法，而且这些指标的数量还在不断的增加中，每个指标的算法类型和复杂度也在同步增长。例如，在一个项目或者评估项中，可以包含大量的卫星质量分析指标，如包括单点定位精度、pdop(position dilution of precision，位置精度因子)、时序、ure(user range error，用户测距误差)、uere(user equivalent range error，用户等效测距误差)等。卫星数据的所有指标构成了卫星的使用体系、评估体系等，但是各个指标的计算关联性并不是特别强，很多的算法其计算周期、数据源等是不同的，计算结果相互独立。将这些指标计算过程放在一个应用或数据处理计算机上实现，仅仅是因为同一个项目(或评估项)引起的思维定式。事实上，这些指标算法逻辑上没有关联，计算结果也是相互独立的。如在某质量分析软件中，虽然同时包含单点定位精度、pdop、时序、ure、uere等多个指标，但是这些指标的计算过程没有相互联系。因此，在本实施例中，将这些指标的算法进行模块化、形成多个数据处理应用模块，独立实现、独立运行，不需要集中在一起运行。进一步地，根据指标算法的实时性和数据源需要，可以将指标的计算过程分为需要进行实时指标算法和非实时指标算法。也就是说，不同指标的计算周期不同，有些指标需要在获取数据过程中实时进行计算或者计算间隔时间非常短(例如在1min之内)，例如单点定位精度、pdop、时序、观测站点的可见卫星、观测站点的运行状态等指标，这些指标需要获取来自观测站的实时数据进行计算；有些指标需要一段时间内获取的观测数据(例如24h)才能进行计算，例如ure、uere等指标，这些指标通常是按照预定的计算时间获取经存储的数据文件进行计算每种指标算法通常相互独立，通过分别计算即可获得所需的指标结果，以便于进行后续的卫星数据质量分析。
47.综上，本实施例的卫星数据分布式处理系统设置多个非实时数据处理应用模块2和多个实时数据处理应用模块3，其中，非实时数据处理应用模块2中集成的是卫星指标非实时算法软件，而实时数据处理应用模块3中集成的是卫星指标实时算法软件。
48.进一步地，请参见图3，图3是本发明实施例提供的一种基于大数据平台的卫星数据分布式处理系统的具体框架示意图，本实施例的多个非实时数据处理应用模块2中的每个非实时数据处理应用模块至少集成有一个卫星指标非实时算法软件，且多个非实时数据处理应用模块分别设置在不同的数据处理计算机上，以利用所述不同的数据处理计算机接收来自大数据存储平台的相应原始数据并进行非实时数据处理，获得待测卫星的相应指标。
49.具体地，在构建该卫星数据分布式处理系统时，首先对待计算指标的算法核心部分进行模块化实现，并提供调用接口，随后对算法进行分类，按照实时性、计算时长和触发时间进行分类，并部署在不同的数据处理计算机上。
50.在本实施例中，根据所述卫星指标各种非实时算法的计算时长和触发时间，可以将多个非实时算法软件集成在一个非实时数据处理应用模块2中，随后将该非实时数据处理应用模块2部署在一个数据处理计算机上。每个非实时数据处理应用模块2包含了一个或多个非实时指标算法，其算法计算间隔比较长，有的是每小时计算，有的是每天计算一次，但计算时间长(如在处理某个算法时，对所有站点的数据逐个处理，时间超过1个小时)。在此种情况下，在数据处理计算机内存中保存较长时间数据供计算是不现实的，因此在本实施例中，计算的数据源全部来源于大数据存储平台1。
51.根据所述卫星指标各种非实时算法的计算时长和触发时间，以及数据处理计算机的性能，每台数据处理计算机上还可以设置多个非实时数据处理应用模块，使得多个非实时数据处理应用模块中包含的卫星指标非实时算法软件错开触发时间，避免计算峰值的出现。也就是说，在一个数据处理计算机上可以同时部署多个非实时数据处理应用模块2，多个非实时数据处理应用模块2具有不同的计算时间。
52.在本实施例中，非实时数据处理应用模块2中的指标算法软件均为定时触发，即根据预设设定好的触发时间进行触发运行。具有非实时数据处理应用模块的数据处理计算机上还设置有计时模块，用于预先设定非实时数据处理应用模块进行数据处理的时间间隔，以控制所述非实时数据处理应用模块在每次计算时刻到达时获取所述大数据存储平台上的相应数据进行数据处理，以获得相应的卫星非实时指标。
53.进一步地，所述多个实时数据处理应用模块3中的每个实时数据处理应用模块至少集成有一个卫星指标实时算法软件，且多个非实时数据处理应用模块分别设置在不同的数据处理计算机上，以利用不同数据处理计算机接收来自实时数据网络的实时观测数据并进行实时数据处理，获得待测卫星的相应指标。在本实施例中，每个进行实时数据处理的数据处理计算机上还设置有实时数据接收模块，用于接收来自实时数据网络和观测站的实时观测数据并传输至同一数据处理计算机上的实时数据处理应用模块上进行处理。
54.如上所述，有些指标计算时效性较强，需要在收到数据后即刻处理给出指标计算结果，如观测站点的运行状态、观测站点的可见卫星等。由于需要实时显示，因此需要立即计算。对于这类实时数据处理应用模块3，其使用的数据是从观测站或实时数据网络直接接收到的数据，而不是保存在大数据存储平台的数据文件。这是因为，在这么短的时间内，保存为文件又读取出来，不仅读写会引发冲突，而且效率也会变低。
55.进一步地，在本实施例中，多个实时数据处理应用模块3分别设置在多个数据处理计算机上，在进行分配时，可以按照数据源进行分配，例如使用单个观测站点数据的算法组成的实时数据处理应用模块可以配置在同一个数据处理计算机上。
56.需要说明的是，对于实时数据处理应用模块，由于算法软件不间断地运行，需要处理好计算过程中数据垃圾问题，避免因长时间运行出现内存泄露。
57.此外，本实施例的卫星数据分布式处理系统具有可扩展性，可以根据实际需求，不断增加配置有非实时数据处理应用模块的数据处理计算机或者配置有实时数据处理应用模块的数据处理计算机，满足处理算法、数据规模不断扩展的需要。将不同的数据处理算法软件分布在不同的数据处理计算机上，降低了对计算平台的要求，可在通用数据处理计算机上完成计算。根据方法对计算资源的需要，可配置不同的计算平台进行计算。如对于较为复杂、资源需要较高的算法，可以配置性能较高的数据处理计算机；而对于简单的计算，则
可以配置一般的数据处理计算机。可将多个较为简单的计算，部署在一台数据处理计算机上计算；而对于较为复杂的计算，可以一个算法一个数据处理计算机。
58.进一步地，监测模块4连接每个数据处理计算机，用于检测非实时数据处理应用模块和实时数据处理应用模块的运行状态并进行显示在本实施例中，监测模块4构建在任一所述数据处理计算机上，或者构建在单独的第三数据处理计算机上。监测模块4采用udp协议与所述数据处理计算机数据处理计算机进行数据通信，如图4所示。
59.请参见图5，图5是本发明实施例提供的一种监测模块的处理流程示意图。本实施例的监测模块4的运行过程如下：首先，启动监测程序，读取通信配置，与各数据处理计算机建立udp监测线程，接收来自各数据处理计算机的log(日志)信息，所述log信息包括需要监测的信息，比如心跳、收发数据情况、算法执行情况、执行时间等。随后，对所述log信息进行解析，判读数据信息并在监测模块4所在计算机上对数据信息进行分类显示，以实现对各非实时数据处理应用模块和各实时数据处理应用模块运行情况的监测。进一步地，还可以形成统一的log文件并发送至大数据存储平台1上进行存储。
60.在本实施例中，所述数据处理计算机和/或所述监测计算机均处于同一局域网内，可互相访问。所述数据处理计算机和/或所述监测计算机均可访问大数据平台，对数据进行读写。由于处于高速局域网中，丢包率不需要考虑，整个通信协议采用udp协议，这样，所有应用模块的启动顺序不需要刻意安排，可以随意启停某个数据处理计算机客户端，也可以随时增加数据处理计算机，满足持续运行应用、定时运行应用的连接、发送的需求。
61.在本实施例中，大数据存储平台1还用于接收和存储多个非实时数据处理应用模块和多个实时数据处理应用模块的数据处理结果。
62.具体地，大数据存储平台1用于：
63.按照日期生成按天存储的目录，以将来自所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块每天的数据处理结果保存在对应的目录之下；
64.在所述按天存储目录之下按照数据指标类型生成子目录，以将当天的不同数据指标存储在对应的子目录之下。
65.本实施例基于大数据存储平台的卫星数据分布式处理系统基于大数据存储平台，以分布式方式进行计算，是一种成本低廉、实现方便的数据处理系统架构，按照卫星数据处理算法的特点，将算法实现分配在多个数据处理应用模块中，再将所述多个数据处理应用模块部署在不同的数据处理计算机上；在运行上按照计算特点，或持续运行，或按时间触发，在满足处理的同时，也满足了对数据处理结果集中管理、方便使用的需求。此外，该卫星数据分布式处理系统的架构具有良好的扩展性和灵活性，可以很好的适应不断增加的卫星数据以及处理方法的需求。
66.实施例二
67.在上述实施例的基础上，本实施例提供了一种基于大数据存储平台的卫星数据分布式处理方法。如图6所示，该卫星数据分布式处理方法包括：
68.s1：利用大数据存储平台从各观测站接收和存储进行卫星数据处理的各种各类原始数据。
69.具体地，所述大数据存储平台连接至各观测站，能够接收和存储来自各观测站的原始观测数据，并且大数据存储平台可同时接收来自不同观测站的数据保存为数据文件，
不同数据文件不会发生冲突。
70.s2：根据待计算计算的非实时指标和以及设定的计算时间间隔，利用利用不同数据处理计算机接收来自所述大数据存储平台的相应原始数据并在当前数据处理计算机的非实时数据处理应用模块上进行非实时数据处理，获得观测卫星的相应非实时指标待测卫星的相应指标；以及/或者根据待计算计算的实时指标，以利用不同数据处理计算机接收来自实时数据网络的实时观测数据并在当前数据处理计算机上的实时数据处理应用模块进行实时数据处理，获得待测卫星的相应实时指标。
71.具体地，所述非实时数据处理应用模块中的指标算法软件均为定时触发，即根据预设设定好的触发时间进行触发运行。在每次计算时刻到达时，所述非实时数据处理应用模块获取所述大数据存储平台上的相应数据进行数据处理，以获得相应的卫星非实时指标。
72.在本实施例中，根据所述卫星指标各种非实时算法的计算时长和触发时间，可以将多个非实时算法软件集成在一个非实时数据处理应用模块中，随后将该非实时数据处理应用模块部署在一个数据处理计算机上。
73.进一步地，所述多个实时数据处理应用模块中的每个实时数据处理应用模块至少集成有一个卫星指标实时算法软件，且多个非实时数据处理应用模块分别设置在不同的数据处理计算机上，以利用不同数据处理计算机接收来自实时数据网络的实时观测数据并进行实时数据处理，获得待测卫星的相应指标。每个进行实时数据处理的数据处理计算机上还设置有实时数据接收模块，用于接收来自实时数据网络和观测站的实时观测数据并传输至同一数据处理计算机上的实时数据处理应用模块上进行处理。
74.s3：检测所述非实时数据处理应用模块和所述实时数据处理应用模块的运行状态并进行显示。
75.具体地，启动监测程序，读取通信配置，与各数据处理计算机建立udp监测线程，接收来自各数据处理计算机的log(日志)信息，所述log信息包括需要监测的信息，比如心跳、收发数据情况、算法执行情况、执行时间等。随后，对所述log信息进行解析，判读数据信息并对数据信息进行分类显示，以实现对各非实时数据处理应用模块和各实时数据处理应用模块运行情况的监测。进一步地，还可以形成统一的log文件并发送至大数据存储平台上进行存储。
76.s4：利用所述大数据存储平台接收和存储所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块的数据处理结果。
77.具体存储过程包括：按照日期建立生成按天存储的目录，以将来自所述多个非实时数据处理应用模块和所述多个实时数据处理应用模块的数据处理结果每天的计算数据处理结果保存在对应的目录之下；在所述按天存储目录之下按照数据指标类型建立生成子目录，以将当天的把不同数据指标存储在不同对应的子目录之下。
78.本实施例的卫星数据分布式处理方法基于大数据平台在任一数据处理计算机节点可访问数据的特点，通过对数据处理方法的分析，将不同指标、不同数据源、不同计算频次的处理方法设置成独立的应用模块，分别部署在多台数据处理计算机上，避免了因计算方法多、数据量大、数据处理计算机处理能力低、部分计算实时性强所带来的计算环境难以满足需求的问题，降低了对计算平台的需求，同时也降低了开发难度。本实施例的方法能够
有效解决海量卫星数据、多指标计算的问题，降低了研发成本和计算平台成本，增加了系统灵活性和扩展性。
79.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。