一种无线电超短波频段监测扫频基础数据存储方法与流程

1.本发明属于计算机技术领域，尤其是涉及一种无线电超短波频段监测扫频基础数据存储方法。


背景技术：

2.近年来，随着新无线电设备和新技术的广泛应用以及各省的无线电一体化平台的建设，各省采集的各频段扫描数据存储至各省的无线电监测数据平台。目前一个省的监测站大约为150个固定监测站以及20辆监测车，其产生的数据量是非常庞大的，一年大约有200t的监测数据。这些数据根据相关的国家要求，需要保存3~5年，同时也要满足监测中心业务上对数据随机提取、回放的要求。
3.为了满足对原始监测数据存储和使用的要求，目前一般有以下几种做法：1. 原始监测数据保存在各个设备对应的工控机上，这种方法可以进行快速的数据回放和采样，但是受限于工控机的小存储和无联网性，数据无法大规模保存以及被其他应用所调用；2.将监测数据分为255m大小的文件，这些文件保存至分布式存储系统中；同时每个文件建立相应的索引，索引保存在结构化数据库中，这种方法可以实现大量数据的存储以及数据在各应用间随机快速的数据查询，但是因为目前监测数据过于庞大，每年的数据文件索引会达到300万以上的索引条目，对于结构化数据库来说，将会成为很大的负担和瓶颈。
4.因此，在无线电一体化平台和无线电监测数据平台建立过程中，需要考虑对于海量的监测数据的有效存储，满足各级监测中心数据有效性的存储要求，同时也满足外部各级机关和应用对数据的随机读取需求。


技术实现要素：

5.本发明旨在解决上述技术问题，提供一种无线电超短波频段监测扫频基础数据存储方法。
6.为了达到上述目的，本发明采用如下技术方案：一种无线电超短波频段监测扫频基础数据存储方法，所述数据存储方法基于无线电超短波频段监测扫频基础数据存储系统，所述无线电超短波频段监测扫频基础数据存储系统包括扫频数据导入模块、扫频基础数据存储模块、扫频基础数据配置模块、扫频基础数据读取模块；所述扫频基础数据导入模块用于联网扫频数据、路测bin文件数据导入至无线电超短波监测扫频基础数据存储系统中，这些数据通过数据传输工具上传至无线电监测数据平台，并进行保存；扫频基础数据存储模块包括正常扫频基础数据存储模块和压缩扫频基础数据存储模块，正常扫频监测数据存储模块用于存储最新上传的监测数据，压缩扫频基础数据存储模块用于存储长时间未用的扫频数据；扫频基础数据配置模块用于实现对存储的扫频数据的配置管理功能，包括正常扫频数据管理、压缩扫频数据管理、数据压缩管理；扫频基础数据读取模块用于实现原始监测数据的快速读取功能，包括监测原文件的读取和基础监测数据流的读取；
所述数据存储方法包括以下步骤：步骤1、通过扫频数据导入模块将联网设备的扫频监测数据实时或准实时上传至无线电监测数据平台，并将相应的任务相关信息写入扫频基础数据配置模块中；步骤2、扫频基础数据存储模块基于无线电监测数据平台，扫频基础数据存储模块接收上传的扫频数据之后，根据扫频基础数据配置表的数据，确定数据的备份数以及压缩种类，进行数据的保存；步骤3、扫频基础数据配置模块对记录上传基础监测数据的各类信息进行数据的保存、压缩以及提取；步骤4、扫频基础数据读取模块接收到外部查询数据的需求后，通过查询扫频基础数据配置模块中相应的表项，通过定位算法确定监测基础数据，并返还给相关应用。
7.作为优选，所述步骤1中，联网监测平台将数据通过采集机上传监测基础扫频数据，采集机通过相关的传输软件flume、ftp等工具，将数据上传至无线电监测数据平台。
8.作为优选，所述步骤2中，扫频基础数据存储模块保存数据的种类包括原始监测扫频基础数据和压缩监测扫频基础数据，所述监测基础数据存储模块按任务数据的闲置时间进行压缩，监测基础数据存储模块读取监测配置模块中任务信息表中任务的最后的编辑时间，判断时间与目前时间是否超过一年，如果大于一年，则对此任务进行压缩，压缩后，此监测原始数据只会保留一份数据，同时在任务文件处理字段中也会标明已被压缩的标志。
9.作为优选，扫频基础数据存储模块接收扫频基础原始数据保存至无线电数据平台，扫频监测基础数据在无线电数据平台中按任务维度进行保存，扫频基础数据存储模块也会将数据更新至扫频数据配置模块的保存任务信息表中。
10.作为优选，所述扫频基础数据存储模块更新的数据用于与无线电数据平台进行任务信息的对接，通过上传数据的任务id从无线电数据平台进行周期性的查询并将对应的信息保存至保存任务信息表中；同时扫频基础数据存储模块自身也通过上传的数据对保存任务信息表进行自主更新，扫频基础数据存储模块通过每个任务文本帧中的最小时间和保存任务信息表中的文本开始时间进行比较，如果小于则进行更新，同时将每个任务文本帧中的最大时间和保存任务信息表中的文本结束时间进行比较，如果大于，则进行更新；扫频基础数据存储模块每接收一个文本，则更新的对应任务的文本大小；扫频基础数据存储模块通过扫频基础数据配置模块中的备份参数，对保存的原始数据进行备份数的选择与更改。
11.作为优选，所述步骤3中，扫频基础数据配置模块存储的扫频基础数据配置数据以数据集合的形式存储，所述数据集合包括对应的保存任务信息表、数据备份配置表。
12.作为优选，所述步骤4中，扫频基础数据读取模块提供对原始监测扫频文件的快速精确定位返回，支持快速原始监测文件返回和socket流的字节返回。
13.作为优选，快速原始监测文件返回中，扫频基础数据读取模块根据数据提取的时间或时间段、监测设备、监测任务返回对应的监测文件，其查询参数如下：<查询开始时间、查询结束时间、任务id>。
14.作为优选，扫频基础数据读取模块收到查询参数后，根据开始时间和任务id定位具体的文件读取数据，步骤如下：步骤1、扫频基础数据读取模块根据任务id查询保存任务信息表，查询的字段包括任务文本的开始时间、文本结束时间、监测任务数据量大小、监测任务数据量大小、监测任
务压缩状态参数；如果监测任务压缩状态参数显示是压缩的，则数据提取模块先将监测任务进行解压后，继续执行步骤1；步骤2、扫频基础数据读取模块比较获取监测任务持续时间δt和查询开始时间和文本开始时间的时间差δt,其计算方法如下:δt=t2
‑
t1，δt=t1
‑
t1；其中，t2表示监测任务文本结束时间，t1表示监测任务文本开始时间，t1表示查询开始时间；如果δt的时间小于0 ，则读取模块提供保存的监测原始任务数据标号为1的监测文本作为开始文本，如果δt大于0，则读取模块根据下列公式获取起始的文本： ；其中m表示这个整个监测任务的数据大小，floor表示取下整，255表示每个文本大小为255m，计算出来整数值为所取监测任务原始数据的文本起始序号值；步骤3、扫频基础数据读取模块比较获取监测任务持续时间δt和查询结束时间和文本结束时间的时间差t，其计算方法如下:δt=t2
‑
t1，t=t2
‑
t2；其中，t2表示监测任务文本结束时间，t1表示监测任务文本开始时间， t2表示查询结束时间；如果t的时间小于0 ，则扫频基础数据读取模块提供保存的监测原始任务数据标号最大的的监测文本作为结束文本；如果t大于0，则扫频基础数据读取模块根据下列公式获取起始的文本： ；其中m表示这个整个监测任务的数据大小，ceil表示取上整，255表示每个文本大小为255m，计算出来整数值为所取监测任务原始数据的文本结束序号值；步骤4、扫频基础数据读取模块按顺序递增的方式返回数据，返回的内容如下：<<监测原始文件文本url1、访问用户名、访问密码>，<监测原始文件文本url2、访问用户名、访问密码>
…
>。
15.作为优选，扫频基础数据读取模块支持通过socket的形式持续返回数据流，其方法包括以下步骤：步骤1、根据文件定位算法定位监测原始数据的文件位置；步骤2、调用解帧算法，对定位的原始监测文件进行解帧，将帧里的时间和查询开始时间的进行比较，如果两者的分钟级时间相等，则数据流定位成功，建立socket流；步骤3、扫频基础数据读取模块将socket流对应的url，用户名和密码进行返回。
16.采用上述技术方案后，本发明具有如下优点：本发明利用分布式存储系统、无线电一体化平台和结构化数据库开发设计的一种无线电超短波频段监测扫频基础数据存储方法，全面实现了无线电超短波监测扫频基础数
据的长时间有效存储、监测基础数据的精准定位读取，从而形成了全省或地市监测数据的数据资产基础，指导监测中心更好的管理、使用超短波监测数据成果。本发明解决了联网监测后海量扫频监测数据的有效存储和快速提取的问题。
附图说明
17.图1为无线电超短波频段监测扫频基础数据存储系统的结构示意图；图2为无线电超短波频段监测扫频基础数据存储方法的流程图。
具体实施方式
18.以下结合附图及具体实施例，对本发明作进一步的详细说明。
19.一种无线电超短波频段监测扫频基础数据存储方法，所述数据存储方法基于无线电超短波频段监测扫频基础数据存储系统。
20.如图1所示，所述无线电超短波频段监测扫频基础数据存储系统包括扫频数据导入模块、扫频基础数据存储模块、扫频基础数据配置模块、扫频基础数据读取模块。
21.所述扫频基础数据导入模块用于联网扫频数据、路测bin文件数据导入至无线电超短波监测扫频基础数据存储系统中，这些数据通过数据传输工具上传至无线电监测数据平台，并进行保存；扫频基础数据存储模块包括正常扫频基础数据存储模块和压缩扫频基础数据存储模块，正常扫频监测数据存储模块用于存储最新上传的监测数据，压缩扫频基础数据存储模块用于存储长时间未用的扫频数据；扫频基础数据配置模块用于实现对存储的扫频数据的配置管理功能，包括正常扫频数据管理、压缩扫频数据管理、数据压缩管理；扫频基础数据读取模块用于实现原始监测数据的快速读取功能，包括监测原文件的读取和基础监测数据流的读取。
22.一种无线电超短波频段监测扫频基础数据存储方法，包括以下步骤：步骤1、通过扫频数据导入模块将联网设备的扫频监测数据实时或准实时上传至无线电监测数据平台，并将相应的任务相关信息写入扫频基础数据配置模块中；步骤2、扫频基础数据存储模块基于无线电监测数据平台，扫频基础数据存储模块接收上传的扫频数据之后，根据扫频基础数据配置表的数据，确定数据的备份数以及压缩种类，进行数据的保存；步骤3、扫频基础数据配置模块对记录上传基础监测数据的各类信息进行数据的保存、压缩以及提取；步骤4、扫频基础数据读取模块接收到外部查询数据的需求后，通过查询扫频基础数据配置模块中相应的表项，通过定位算法确定监测基础数据，并返还给相关应用。
23.所述步骤1中，联网监测平台将数据通过采集机上传监测基础扫频数据，采集机通过相关的传输软件flume、ftp等工具，将数据上传至无线电监测数据平台。
24.所述步骤2中，扫频基础数据存储模块保存数据的种类包括原始监测扫频基础数据和压缩监测扫频基础数据，所述监测基础数据存储模块按任务数据的闲置时间进行压缩，监测基础数据存储模块读取监测配置模块中任务信息表中任务的最后的编辑时间，判
断时间与目前时间是否超过一年，如果大于一年，则对此任务进行压缩，压缩后，此监测原始数据只会保留一份数据，同时在任务文件处理字段中也会标明已被压缩的标志。
25.扫频基础数据存储模块接收扫频基础原始数据保存至无线电数据平台，扫频监测基础数据在无线电数据平台中按任务维度进行保存，扫频基础数据存储模块也会将数据更新至扫频数据配置模块的保存任务信息表中。
26.保存任务信息表中的字段如表1所示：表1序号字段名称中文说明类型1id序号varchar(255)2taskid任务idvarchar（64）3mfid设施idvarchar（64）4euqid设备idvarchar（64）5tasktype任务类型varchar（64）6appid应用类型varchar（64）7userid用户idvarchar（64）8status任务状态varchar（64）9feature服务代码int10functionname功能名称varchar（64）11step步进int12startfreq开始频率int13endfreq结束频率int14createtime任务创造时间time15starttime任务开始时间time16endtime任务结束时间time17runstarttime数据开始时间time18runendtime数据结束时间time19edittime编辑时间time20taskname任务名称varchar（64）21funparam功能参数varchar（64）22fummodule功能模式varchar（64）23filesize文件大小int24dealstatus文件处理状态int25monitorxmlin管理xml输入参数varchar（255）26monitorxmlout管理xml输出参数varchar（255）27taskfile_state任务文件类型varchar(10)28signal_extraction信号提取int所述扫频基础数据存储模块更新的数据用于与无线电数据平台进行任务信息的对接，通过上传数据的任务id从无线电数据平台进行周期性的查询并将对应的信息保存至保存任务信息表中；同时扫频基础数据存储模块自身也通过上传的数据对保存任务信息表
进行自主更新，扫频基础数据存储模块通过每个任务文本帧中的最小时间和保存任务信息表中的文本开始时间进行比较，如果小于则进行更新，同时将每个任务文本帧中的最大时间和保存任务信息表中的文本结束时间进行比较，如果大于，则进行更新；扫频基础数据存储模块每接收一个文本，则更新的对应任务的文本大小；扫频基础数据存储模块通过扫频基础数据配置模块中的备份参数，对保存的原始数据进行备份数的选择与更改。
27.所述步骤3中，扫频基础数据配置模块存储的扫频基础数据配置数据以数据集合的形式存储，所述数据集合包括对应的保存任务信息表、数据备份配置表。
28.其中，数据备份配置表包括的字段如表2所示：表2序号字段名称中文说明类型1id序号varchar(255)2mfid设施idvarchar（64）3euqid设备idvarchar（64）4backup备份数int所述步骤4中，扫频基础数据读取模块提供对原始监测扫频文件的快速精确定位返回，支持快速原始监测文件返回和socket流的字节返回。
29.快速原始监测文件返回中，扫频基础数据读取模块根据数据提取的时间或时间段、监测设备、监测任务返回对应的监测文件，其查询参数如下：<查询开始时间、查询结束时间、任务id>。
30.扫频基础数据读取模块收到查询参数后，根据开始时间和任务id定位具体的文件读取数据，步骤如下：步骤1、扫频基础数据读取模块根据任务id查询保存任务信息表，查询的字段包括任务文本的开始时间、文本结束时间、监测任务数据量大小、监测任务数据量大小、监测任务压缩状态参数；如果监测任务压缩状态参数显示是压缩的，则数据提取模块先将监测任务进行解压后，继续执行步骤1；步骤2、扫频基础数据读取模块比较获取监测任务持续时间δt和查询开始时间和文本开始时间的时间差δt,其计算方法如下:δt=t2
‑
t1，δt=t1
‑
t1；其中，t2表示监测任务文本结束时间，t1表示监测任务文本开始时间，t1表示查询开始时间；如果δt的时间小于0 ，则读取模块提供保存的监测原始任务数据标号为1的监测文本作为开始文本，如果δt大于0，则读取模块根据下列公式获取起始的文本： ；其中m表示这个整个监测任务的数据大小，floor表示取下整，255表示每个文本大小为255m，计算出来整数值为所取监测任务原始数据的文本起始序号值；步骤3、扫频基础数据读取模块比较获取监测任务持续时间δt和查询结束时间和文本结束时间的时间差t，其计算方法如下:
δt=t2
‑
t1，t=t2
‑
t2；其中，t2表示监测任务文本结束时间，t1表示监测任务文本开始时间， t2表示查询结束时间；如果t的时间小于0 ，则扫频基础数据读取模块提供保存的监测原始任务数据标号最大的的监测文本作为结束文本；如果t大于0，则扫频基础数据读取模块根据下列公式获取起始的文本： ；其中m表示这个整个监测任务的数据大小，ceil表示取上整，255表示每个文本大小为255m，计算出来整数值为所取监测任务原始数据的文本结束序号值；步骤4、扫频基础数据读取模块按顺序递增的方式返回数据，返回的内容如下：<<监测原始文件文本url1、访问用户名、访问密码>，<监测原始文件文本url2、访问用户名、访问密码>
…
>。
31.扫频基础数据读取模块支持通过socket的形式持续返回数据流，其方法包括以下步骤：步骤1、根据文件定位算法定位监测原始数据的文件位置；步骤2、调用解帧算法，对定位的原始监测文件进行解帧，将帧里的时间和查询开始时间的进行比较，如果两者的分钟级时间相等，则数据流定位成功，建立socket流；步骤3、扫频基础数据读取模块将socket流对应的url，用户名和密码进行返回。
32.关于本无线电超短波频段监测扫频基础数据存储方法的应用方法如下：步骤1、扫频数据导入模块使用数据传输工具将监测原始数据从分块的数据从采集机依次上传至无线电监测数据平台中的扫频基础数据存储模块中；步骤2、扫频基础数据存储模块再收到数据后，根据监测分块文件中的任务id，即查询一体化管控平台相关的任务信息，如果此任务信息在扫频基础数据配置模块中不存在，则将所有的信息写入任务信息保存表中，同时基础数据存储模块根据上传的文件以及文件的内容添加至无法更新的字段，这些字段包括数据开始时间、数据结束时间、文件大小、文件处理状态、任务文件类型、信号提取字段；如果查询后得到任务信息已经存在于任务保存信息表中，则只更新数据开始时间、数据结束时间、文件大小、文件处理状态、任务文件类型、信号提取字段；步骤3、监测基础数据在扫频基础数据存储模块中按自然任务分块进行保存，扫频基础数据存储模块采用易于扩展和适合海量数据存储的hdfs文件体系进行组织；步骤4、扫频基础数据存储模块定时巡检各个任务，如果任务在最近一年中没有发生任何访问记录，则对这个任务进行压缩，数据被压缩后，则按1个保存块进行保存；所述监测基础数据读取模块实现了为其他模块和应用快速提供检测原始数据的功能，其工作方法如下：步骤1、扫频监测基础数据读取模块通过接口的形式接受来自外部应用的数据查询请求，请求信息如下所示：<任务id、查询开始时间、查询结束时间>；
步骤2、扫频监测基础数据读取模块根据任务id从监测基础数据配置模块中查询此任务id对应的任务信息，包括下列信息：(数据开始时间、数据结束时间、监测任务大小、文件处理状态)；扫频监测基础数据读取模块判断任务的文件处理装填，如果对应的任务已经被压缩，则发出指令，将处于扫频监测数据储存模块中的压缩的任务自动解压至正常任务状态；步骤3、扫频监测基础数据读取模块根据查询任务的开始时间、文本开始时间、当前每个监测分块文件的大小，文件总大小计算开始文本的位置，并利用任务id、监测任务类型拼接出文件名；扫频监测基础数据读取模块根据查询任务的结束时间、文本结束时间、当前每个监测分块文件的大小，此监测任务总大小计算出结束文本的位置，并利用任务id、监测任务类型拼接处返回的最后一个文件；步骤4、扫频监测基础数据读取模块将位于查询开始文件和查询结束文件之间的所有文件以下列方式返回给查询方：<<任务文件1,ulr1、用户名,密码>，<任务文件2,ulr、用户名,密码>
…
<任务文件m,ulr、用户名,密码>>。
33.本发明无线电超短波频段监测扫频基础数据存储方法实现了对经过国家一体化平台设备联网后，满足一省5年的原始数据有效保存，也有良好的系统扩展性；同时此系统在其他外部应用系统或其他行业需求相关数据时，能够按需快速定位到相关的数据文件块，并按顺序提供，大大提升了无线电行业对于本行业数据资产的管理和使用，是无线电行业提升自身工作智能化、数据化、自动化的有效手段。
34.除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。