一种气象数据的处理方法、装置、终端及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种气象数据的处理方法、装置、终端及存储介质。


背景技术：

2.在气象领域，需要将气象数据文件解析生成气象因子图片，而目前气象数据的解析都是通过编写java程序来实现的，但是采用这种方式进行气象数据的解析，其过程过于复杂，代码需要封装于一个单独的模块，且程序过于臃肿，同时解析程序部署在一个节点上，难以水平扩展，以将导致程序出现堵塞现象。
3.由此，目前需要有一种方案来解决现有技术中的问题。


技术实现要素：

4.有鉴于此，本发明提出了一种气象数据的处理方法、装置、终端及存储介质，用以解决现有技术中的问题，通过多个nifi节点对气象数据的进行并行处理，各个nifi节点之间通过flowfile数据流实现联动，方便拓展，以此加快了处理速度，避免了拥堵。
5.具体的，本发明提出了以下具体的实施例：
6.本发明实施例提出了一种气象数据的处理方法，包括：
7.通过第一nifi节点获取气象源文件，基于所述气象源文件生成ctl文件，并将所述ctl文件存储在flowfile中；
8.通过第二nifi节点从所述flowfile中读取所述ctl文件，并为读取的所述ctl文件设置参数；
9.通过第三nifi节点将设置有参数的所述ctl文件以flowfile的方式分发到多个第四nifi节点；
10.通过所述多个第四nifi节点接收flowfile，并基于所接收的flowfile生成图片。
11.在一个具体的实施例中，所述第一nifi节点、所述第二nifi节点、所述第三nifi节点以及各所述第四nifi节点的处理过程均以图像界面的方式进行展示。
12.在一个具体的实施例中，所述第一nifi节点、所述第二nifi节点以及所述第三nifi节点中的一个或多个包括多个子nifi节点。
13.在一个具体的实施例中，所述基于所述气象源文件生成ctl文件，包括：
14.基于所述气象源文件中的源文件名称获取气象信息；所述气象信息包括空气质量名称、起报时间及边界范围；
15.基于所述气象信息生成ctl文件。
16.在一个具体的实施例中，所述参数包括以下一种或多种的任意组合：气象通用参数、气象因子的边界范围、与气象因子名称对应的颜色范围、与颜色范围对应的数值范围、图片生成路径。
17.在一个具体的实施例中，所述基于所接收的flowfile生成图片，包括：
18.基于所接收的flowfile中的ctl文件与所述参数生成初始图片；
19.将所述初始图片的背景颜色进行透明化处理，同时保留所述初始图片中位于边界范围内的颜色，得到最终的图片。
20.通过所述多个第四nifi节点对flowfile中的ctl文件进行并行处理，以此提高了处理效率，有效避免了拥堵的发生。
21.在一个具体的实施例中，所述气象源文件是从ftp服务器上获取的；该方法还包括：
22.将生成的图片上传到ftp服务器上。
23.本发明实施例还提出了一种气象数据的处理装置，包括：
24.获取模块，用于通过第一nifi节点获取气象源文件，基于所述气象源文件生成ctl文件，并将所述ctl文件存储在flowfile中；
25.设置模块，用于通过第二nifi节点从所述flowfile中读取所述ctl文件，并为读取的所述ctl文件设置参数；
26.分发模块，用于通过第三nifi节点将设置有参数的所述ctl文件以flowfile的方式分发到多个第四nifi节点；
27.生成模块，用于通过所述多个第四nifi节点接收flowfile，并基于所接收的flowfile生成图片。
28.本发明实施例还提出了一种终端，包括存储器以及处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序以使所述处理器执行上述气象数据的处理方法。
29.本发明实施例还提出了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述气象数据的处理方法。
30.以此，本发明实施例提出了一种气象数据的处理方法、装置、终端及存储介质，该方法包括：通过第一nifi节点获取气象源文件，基于所述气象源文件生成ctl文件，并将所述ctl文件存储在flowfile中；通过第二nifi节点从所述flowfile中读取所述ctl文件，并为读取的所述ctl文件设置参数；通过第三nifi节点将设置有参数的所述ctl文件以flowfile的方式分发到多个第四nifi节点；通过所述多个第四nifi节点接收flowfile，并基于所接收的flowfile生成图片。通过多个nifi节点对气象数据的进行并行处理，各个nifi节点之间通过flowfile数据流实现联动，方便拓展，以此加快了处理速度，避免了拥堵。
附图说明
31.为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
32.图1示出了本发明实施例提出的一种气象数据的处理方法的流程示意图；
33.图2示出了本发明实施例提出的一种气象数据的处理方法的具体流程示意图；
34.图3示出了本发明实施例提出的一种气象数据的处理方法的得到的图片的示意图；
35.图4示出了本发明实施例提出的一种气象数据的处理装置的结构示意图；
36.图5示出了本发明实施例提出的一种气象数据的处理装置的另一结构示意图。
37.图例说明：
38.201
‑
获取模块；202
‑
设置模块；203
‑
分发模块；204
‑
生成模块；205
‑
上传模块。
具体实施方式
39.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
40.通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
42.此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
43.除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
44.实施例1
45.本发明实施例1公开了一种气象数据的处理方法，如图1与图2所示，包括以下步骤：
46.步骤s101、通过第一nifi节点获取气象源文件，基于所述气象源文件生成ctl文件，并将所述ctl文件存储在flowfile中；
47.具体的，所述气象源文件是从ftp(file transfer protocol，文件传输协议)服务器上获取的；具体的每个nifi(一种实时数据流处理系统)节点都是一个处理器，ctl文件是包含控件信息的文件。flowfile则是流文件。
48.以此，如图2所示，步骤s101中的所述“基于所述气象源文件生成ctl文件”，包括：
49.基于所述气象源文件中的源文件名称获取气象信息；所述气象信息包括空气质量名称、起报时间及边界范围；
50.基于所述气象信息生成ctl文件。
51.步骤s102、通过第二nifi节点从所述flowfile中读取所述ctl文件，并为读取的所述ctl文件设置参数；
52.具体的，所述参数包括以下一种或多种的任意组合：气象通用参数、气象因子的边
界范围、与气象因子名称对应的颜色范围、与颜色范围对应的数值范围、图片生成路径。
53.步骤s103、通过第三nifi节点将设置有参数的所述ctl文件以flowfile的方式分发到多个第四nifi节点；
54.具体的，当设置好参数之后，将其分发到多个第四nifi节点，以此加快处理效率。
55.步骤s104、通过所述多个第四nifi节点接收flowfile，并基于所接收的flowfile生成图片。
56.具体的步骤s104中的所述“基于所接收的flowfile生成图片”，包括：
57.基于所接收的flowfile中的ctl文件与所述参数生成初始图片；
58.将所述初始图片的背景颜色进行透明化处理，同时保留所述初始图片中位于边界范围内的颜色，得到最终的图片。
59.在生成有图片之后，该方法还包括：将生成的图片上传到ftp服务器上。
60.此外，所述第一nifi节点、所述第二nifi节点、所述第三nifi节点以及各所述第四nifi节点的处理过程均以图像界面(例如可以以web界面的方式进行展示)的方式进行展示，使得可以直观的看到解析流程与每个流程解析之后的结果，且动态设置额外的参数配置容易实现，不需要改动代码，也不需要重新部署，过程简单，只需要在图像界面，例如web界面重新启动nifi节点就能生效，且图像界面的方式进行展示也便于启动与停止，此外，为了增加拓展性，所述第一nifi节点、所述第二nifi节点以及所述第三nifi节点中的一个或多个包括多个子nifi节点。也即每个处理过程都能部署在多台服务器上，进一步提高水平扩展，以此进一步提高解析效率。
61.每个解析流程都是使用nifi节点来代替，流程清晰，每个处理器将解析之后的数据存储在flowfile对象中，之后将flowfile对象流向下一个处理器。部署多台nifi节点，提高解析效率。
62.具体的，以图2为例，在一个具体的应用场景中，本方案包括如下步骤：
63.1.拉取气象源文件。
64.2.根据源文件名称，获取空气质量名称、起报时间、边界范围等信息，生成ctl文件。
65.3.将ctl信息存储在flowfile对象中，流向下一个处理器。
66.4.设置opengrads(一种气象绘图增强软件)读取ctl内容时的，通用参数。
67.5.设置气象因子边界范围。
68.6.根据气象因子名称，设置颜色范围。
69.7.设置与颜色范围对应的数值范围。
70.8.设置图片生成路径。
71.9.使用http(超文本传输协议，英文:hypertexttransferprotocol)协议将flowfile流转到其他处理节点。
72.10.处理节点接收flowfile字节流。
73.11.根据flowfile对象中携带的参数信息，生成图片。
74.12.将图片背景颜色透明化，保留边界范围内的颜色，得到的图片如图3所示，背景是透明的，但是边界范围内的颜色被保留。
75.13.将图片上传ftp服务器上，供nginx(英文全称engine x，是一个高性能的http
和反向代理web服务器)代理访问。
76.实施例2
77.有鉴于此，本发明实施例2一种气象数据的处理装置，如图4所示，包括：
78.获取模块201，用于通过第一nifi节点获取气象源文件，基于所述气象源文件生成ctl文件，并将所述ctl文件存储在flowfile中；
79.设置模块202，用于通过第二nifi节点从所述flowfile中读取所述ctl文件，并为读取的所述ctl文件设置参数；
80.分发模块203，用于通过第三nifi节点将设置有参数的所述ctl文件以flowfile的方式分发到多个第四nifi节点；
81.生成模块204，用于通过所述多个第四nifi节点接收flowfile，并基于所接收的flowfile生成图片。
82.在一个具体的实施例中，所述第一nifi节点、所述第二nifi节点、所述第三nifi节点以及各所述第四nifi节点的处理过程均以图像界面的方式进行展示。
83.在一个具体的实施例中，所述第一nifi节点、所述第二nifi节点以及所述第三nifi节点中的一个或多个包括多个子nifi节点。
84.在一个具体的实施例中，所述获取模块201“基于所述气象源文件生成ctl文件”，包括：
85.基于所述气象源文件中的源文件名称获取气象信息；所述气象信息包括空气质量名称、起报时间及边界范围；
86.基于所述气象信息生成ctl文件。
87.在一个具体的实施例中，所述参数包括以下一种或多种的任意组合：气象通用参数、气象因子的边界范围、与气象因子名称对应的颜色范围、与颜色范围对应的数值范围、图片生成路径。
88.在一个具体的实施例中，所述生成模块204“基于所接收的flowfile生成图片”，包括：
89.基于所接收的flowfile中的ctl文件与所述参数生成初始图片；
90.将所述初始图片的背景颜色进行透明化处理，同时保留所述初始图片中位于边界范围内的颜色，得到最终的图片。
91.在一个具体的实施例中，所述气象源文件是从ftp服务器上获取的；
92.如图5所示，该这装置还包括：
93.上传模块205，用于将生成的图片上传到ftp服务器上。
94.实施例3
95.本发明实施例3还公开了一种终端，包括存储器以及处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序以使所述处理器执行实施例1中所述气象数据的处理方法。
96.实施例4
97.本发明实施例4还公开了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述气象数据的处理方法。
98.以此，本发明实施例提出了一种气象数据的处理方法、装置、终端及存储介质，该
方法包括：通过第一nifi节点获取气象源文件，基于所述气象源文件生成ctl文件，并将所述ctl文件存储在flowfile中；通过第二nifi节点从所述flowfile中读取所述ctl文件，并为读取的所述ctl文件设置参数；通过第三nifi节点将设置有参数的所述ctl文件以flowfile的方式分发到多个第四nifi节点；通过所述多个第四nifi节点接收flowfile，并基于所接收的flowfile生成图片。通过多个nifi节点对气象数据的进行并行处理，各个nifi节点之间通过flowfile数据流实现联动，方便拓展，以此加快了处理速度，避免了拥堵。
99.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
100.另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
101.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，randomaccess memory)、磁碟或者光盘等各种可以存储程序代码的介质。
102.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。