一种气象监测数据的传输方法、装置、介质及设备与流程
本发明涉及数据传输领域,尤其涉及一种气象监测数据的传输方法、装置、介质及设备。
背景技术:
1、在偏远地区、海洋、高山以及地质灾害频发区域部署气象监测站时,通信网络覆盖不稳定的问题长期制约着气象数据的实时采集与高效回传。目前,行业内主要存在两类技术方案。
2、一类是纯北斗短报文方案,利用北斗卫星导航系统全天候、无盲区的短报文通信功能,解决无公网覆盖区域的数据传输问题。然而,北斗短报文通信在通信长度和频率上存在显著限制——单次报文长度通常仅为几百字节,通信频次低至数分钟一次。原始气象数据采集量较大,直接通过北斗短报文传输会导致严重的传输延迟和较高的通信费用,难以满足气象监测对数据时效性和经济性的要求。此外,北斗二号短报文在实际应用中还存在漏报迟报、功耗过高等问题。
3、另一类是纯4g公网方案,成本低、带宽大,能够支持高频次、大数据量的传输。但在偏远山区、海洋等地理环境恶劣地区,4g网络信号往往难以覆盖或极不稳定,导致设备无法正常工作。
4、近年来,部分方案开始尝试将4g与北斗短报文相结合,通过双模通信实现信道的自动主备切换。例如,在公网覆盖区域优先使用4g传输,在无公网盲区自动切换至北斗短报文。然而,现有混合方案大多仅做简单的通信通道切换,缺乏对原始气象数据的有效预处理。原始数据不经过压缩或仅做简单打包处理就直接发送,导致北斗短报文信道下传输效率依然低下、通信成本居高不下。与此同时,由于缺乏基于数据特征的自适应压缩机制,现有系统在切换至北斗模式后往往简单地降低发送频率,无法根据气象数据的变化特性(平稳趋势段与显著变化段)进行差异化的数据精简与优先级调度。这些不足导致现有技术无法准确高效地对气象监测数据进行传输。
技术实现思路
1、本发明提供了一种气象监测数据的传输方法、装置、介质及设备,以解决现有技术中无法准确高效地对气象监测数据进行传输的问题。
2、第一方面,本技术提供了一种气象监测数据的传输方法,包括:
3、获取多个气象要素在连续采样时刻的采集值;
4、对于任一气象要素,根据当前时刻之前的多个采集值计算该气象要素的波动指标;
5、当所述波动指标小于或等于与该气象要素对应的动态阈值时,将多个所述采集值拟合为趋势特征参数,以生成该气象要素压缩后的特征数据;否则,根据多个所述采集值的统计量生成该气象要素压缩后的特征数据;
6、将所有气象要素压缩后的特征数据进行整合,得到整合数据包;
7、获取预设的第一通信网络的信号强度;当所述信号强度高于或等于预设门限时,通过所述第一通信网络完成所述整合数据包的传输;否则,通过预设的第二通信网络完成所述整合数据包的传输;
8、其中,所述第一通信网络的带宽高于第二通信网络的带宽,且所述第一通信网络的覆盖范围小于所述第二通信网络的覆盖范围。
9、本技术通过获取多个气象要素的采集值并计算各要素的波动指标,使得系统能够根据数据自身的平稳或变化特性自适应地选择趋势拟合或统计量提取两种差异化的压缩策略,既在数据平稳时以少量趋势特征参数完整刻画变化规律,又在数据剧变时以均值、极值和突变标志保留关键信息,从而在保证气象信息完整性和预警及时性的前提下大幅压缩各要素的数据量;进一步将所有要素的压缩特征整合为统一数据包,使得多源异构数据在发送前即完成融合归一化,既适配了窄带信道的单次传输容量约束,又避免了多包分发的额外开销与时延;在此基础上,通过检测带宽高但覆盖小的第一通信网络的信号强度并在强度不足时切换至带宽低但覆盖广的第二通信网络,使得终端能够在公网覆盖良好时充分利用高速信道实现高频低成本传输,在进入公网盲区时自动启用卫星信道确保数据不中断,同时由于数据包已在传输前被充分压缩,即便在窄带卫星信道下也能以较低的通信频次完成有效数据的可靠回传;由此,本技术在信道切换前先通过数据精简降低了对窄带信道的带宽依赖,又在信道切换后利用广覆盖网络保障了盲区可达性,实现了压缩策略与通信策略的协同优化,最终在低成本、高时效与全域覆盖之间取得了有效平衡。本技术有效解决了现有技术无法准确高效地对气象监测数据进行传输的问题。
10、进一步的,所述对于任一气象要素,根据当前时刻之前的多个采集值计算该气象要素的波动指标,具体为:
11、对于任一气象要素,以当前时刻为窗口终点,以当前时刻往前推预设数量个采集值的时刻为窗口起点,获取所述窗口起点至所述窗口终点之间的所有采集值,构成该气象要素的滑动观察窗口;
12、获取所述滑动观察窗口内采集值的最大值和最小值;
13、计算所述最大值与所述最小值之间的差值,将所述差值作为该气象要素的波动指标。
14、本技术通过针对任一气象要素构建以当前时刻为终点、向前回溯预设数量个采集时刻的滑动观察窗口,并计算窗口内采集值的极值差作为波动指标,使得该指标能够以极低的计算开销实时反映该要素在近期时间窗口内的实际波动幅度,避免了采用全量数据或复杂频域分析所带来的计算延迟与资源消耗;进一步地,由于该波动指标是后续判断数据处于平稳趋势段还是显著变化段的直接依据,其准确性和实时性直接决定了差异化压缩策略的触发精度——当波动指标准确反映数据平稳时系统采用趋势拟合实现高倍压缩,当波动指标准确识别数据剧变时系统切换至统计量输出以保留突变信息,从而在压缩效率与信息保真度之间实现动态平衡;最终,基于该波动指标所驱动的自适应压缩决策,各气象要素的特征数据量得以大幅精简,整合后的数据包能够适配窄带卫星信道的单次传输容量约束,使得本技术在公网盲区借助北斗短报文完成数据回传时,能够在有限的通信频次和报文长度内最大化有效信息的传输效率,从而在保证气象监测数据完整性和预警及时性的前提下,显著降低了对卫星信道资源的占用和通信成本。
15、进一步的,所述动态阈值根据以下方式确定:
16、对于任一气象要素,获取该气象要素在多个预设的历史窗口内采集值的各标准差,并计算各标准差的平均值,作为历史波动补偿量;
17、获取该气象要素对应的传感器的基础噪声容限;所述基础噪声容限是根据所述传感器的精度确定的;
18、将所述基础噪声容限与所述历史波动补偿量按照预设的灵敏度系数进行加权求和,得到该气象要素的动态阈值。
19、本技术通过将动态阈值设置为由基础噪声容限与历史波动补偿量加权求和构成,其中基础噪声容限根据传感器精度确定,确保了阈值不会低于传感器自身的固有噪声水平,避免了因设备测量误差而将正常波动误判为数据突变所导致的无效压缩;历史波动补偿量则通过统计多个历史窗口内采集值标准差的平均值获得,使得阈值能够跟随近期气候的剧烈程度自适应调整——当历史窗口内数据波动较大时补偿量增大从而抬升阈值,反之则降低阈值,从而避免了在气候剧烈变化期因阈值过低而频繁触发统计量输出模式所导致的压缩效率下降,也避免了在气候平稳期因阈值过高而忽略微小但真实的趋势变化所导致的压缩失真;最终,基础噪声容限与历史波动补偿量经灵敏度系数加权融合后所形成的动态阈值,兼顾了传感器自身的测量局限性和外部气候环境的时变特性,使得波动指标与该阈值的比较结果在不同工况下均能准确反映数据是否为真正的显著变化,为后续平稳趋势段的特征拟合与显著变化段的统计量输出的差异化压缩决策提供了精准的判定基准,从而在保障关键气象信息完整性的前提下最大程度地提升了数据精简效率。
20、进一步的,所述当所述波动指标小于或等于与该气象要素对应的动态阈值时,将多个所述采集值拟合为趋势特征参数,以生成该气象要素压缩后的特征数据;否则,根据多个所述采集值的统计量生成该气象要素压缩后的特征数据,具体为:
21、当所述波动指标小于或等于与该气象要素对应的动态阈值时,以所述滑动观察窗口内各所述采集值的相对时间序号为自变量、以各所述采集值为因变量进行线性拟合,得到拟合直线的截距参数和斜率参数;
22、对于任一采集值,根据该采集值的截距参数和斜率参数计算该采集值的拟合值,并计算该采集值与该采集值对应的拟合值之间的残差,得到该采集值的残差;
23、分别将所有采集值的残差与预设的误差容限进行比较;
24、当所有采集值的残差均不超过所述误差容限时,将所述拟合直线的截距参数、斜率参数和所述滑动观察窗口的时长作为趋势特征参数,并将所述趋势特征参数作为该气象要素压缩后的特征数据;
25、当任一采集值对应的任一残差超过所述误差容限时,将预设的第一突变标识、所述滑动观察窗口内各采集值的均值、最大值和最小值作为该气象要素压缩后的特征数据;
26、当所述波动指标大于与该气象要素对应的动态阈值时,根据多个所述采集值的统计量生成该气象要素压缩后的特征数据。
27、本技术通过先根据波动指标与动态阈值的比较结果将数据划分为平稳趋势段和显著变化段两个分支进行处理,其中平稳趋势段进入线性拟合后进一步引入残差校验机制,利用各采集值与拟合值之间的残差与预设误差容限的比较结果,仅当所有残差均不超过误差容限时才以截距参数、斜率参数和窗口时长作为趋势特征参数输出,使得最终输出的趋势特征参数能够确保拟合直线与原始采集值之间的偏差被严格限定在工程允许的误差范围内,避免了因线性拟合精度不足而导致数据失真;同时,当任一残差超过误差容限时,即便数据整体处于平稳趋势段,系统也会自动放弃趋势特征参数并切换至统计量输出,从而在保证压缩效率的前提下防止了精度不足的拟合结果被误用于后续数据传输;在此基础上,显著变化段直接输出包含第二突变标识的统计量,平稳段拟合失败输出包含第一突变标识的统计量,使得两种不同场景下输出的统计量通过不同的突变标识被明确区分,为后续整合数据包时的优先级判定提供了可靠的数据来源——其中第二突变标识对应数据发生显著变化的第一优先级,第一突变标识对应平稳段内不可压缩的第二优先级,纯趋势参数对应第三优先级;由此,本技术通过波动手判断与残差校验双重机制的精妙配合,不仅实现了气象数据的高效压缩,还同步产生了用于区分数据传输优先级的标记信息,为窄带信道下的差异化传输调度奠定了基础。
28、进一步的,所述当所述波动指标大于与该气象要素对应的动态阈值时,根据多个所述采集值的统计量生成该气象要素压缩后的特征数据,具体为:
29、当所述波动指标大于与该气象要素对应的动态阈值时,判定所述滑动观察窗口内的采集值发生突变,获取预设的第二突变标识,并计算所述滑动观察窗口内各采集值的均值、最大值和最小值;
30、将所述均值、所述最大值、所述最小值和所述第二突变标识作为所述统计量,生成该气象要素压缩后的特征数据。
31、本技术通过当波动指标大于动态阈值时直接判定当前滑动观察窗口内的采集值发生突变,并输出包含第二突变标识以及窗口内采集值的均值、最大值和最小值的统计量作为该气象要素压缩后的特征数据,使得在数据发生剧烈变化时,系统不会因强行拟合趋势参数而丢失关键的极值信息和突变性质,而是以三个简洁的统计值完整刻画了窗口内的整体水平与变化幅度,从而在压缩数据量的同时确保了极端天气事件的预警信息不被遗漏;同时,由于第二突变标识被嵌入统计量中一并输出,该标识在后续整合数据包时无需额外字段即可随特征数据传递至优先级判定环节,系统仅需检测各气象要素的特征数据中是否包含该第二突变标识即可快速识别出需要紧急上报的整合数据包,避免了因解析完整数据内容而产生的额外计算开销与处理时延;由此,本技术在显著变化段以统计量输出替代原始采集值,既大幅精简了数据量以适配窄带信道,又通过均值、极值与突变标识的组合完整保存了突变事件的本质特征,并结合第二突变标识为后续的优先级调度提供了即时可用的判定依据,从而在极端天气来临时实现了关键数据的优先上报与高效传输。
32、进一步的,所述将所有气象要素压缩后的特征数据进行整合,得到整合数据包,具体为:
33、获取所述滑动观察窗口对应的起始时刻和结束时刻,生成时段标签;
34、获取预设的气象监测终端的设备标识;
35、将所述时段标签、所述设备标识以及各气象要素压缩后的特征数据按照预设格式进行封装,生成整合数据包;其中,所述整合数据包的数据量适配所述第二通信网络单次传输的最大字节限制。
36、本技术通过获取滑动观察窗口对应的起始时刻和结束时刻生成时段标签,并将该时段标签、气象监测终端的设备标识以及各气象要素压缩后的特征数据按照预设格式封装为一个整合数据包,使得原本属于同一时段、同一监测站点的多要素压缩数据在发送前即被融合为单一数据单元,既保留了数据采集的时间区间信息和来源标识信息,又避免了多个数据包分别发送所带来的协议开销与时延;同时,通过将整合数据包的数据量适配第二通信网络单次传输的最大字节限制,使得整合后的数据包能够在窄带卫星信道一次发送中完整承载该时段内所有气象要素的关键信息,无需分包或二次拼接,从而在不增加通信频次的前提下实现了多要素数据的同步回传;由此,本技术在完成各要素独立压缩之后通过规范化封装将分散的特征数据聚合并容量限定,使得压缩所节省的数据量被高效转化为单次报文内的信息密度提升,为中心服务器端提供了带有时空标签和设备来源的完整数据记录,同时从根本上避免了因数据超长而导致的传输失败或多次重传,显著提升了北斗短报文等窄带通信场景下的传输成功率和信道利用效率。
37、进一步的,所述通过预设的第二通信网络完成所述整合数据包的传输,具体为:
38、当任一气象要素对应的所述整合数据包中的第二突变标识或任一气象要素的采集值超过预设的预警阈值时,将所述整合数据包的优先级等级确定为第一优先级;
39、当所有气象要素对应的所述整合数据包中均不包含所述第二突变标识且所述整合数据包中的特征数据包含统计量时,将所述整合数据包的优先级等级确定为第二优先级;
40、当所有气象要素对应的所述整合数据包中均不包含所述第二突变标识且所述整合数据包中的特征数据为趋势特征参数时,将所述整合数据包的优先级等级确定为第三优先级;
41、在所述第二通信网络的各传输时隙中,按照所述第一优先级、所述第二优先级、所述第三优先级的先后顺序依次传输各优先级的整合数据包;
42、在同一优先级内部,根据各整合数据包的生成时间,优先发送生成时间最早的整合数据包,并将等待时长超过预设生存时限的整合数据包丢弃;
43、将发送失败的整合数据包存入缓存,并在所述第一通信网络的信号强度恢复至高于或等于所述预设门限后,通过所述第一通信网络补发缓存中的整合数据包。
44、本技术通过根据整合数据包中是否包含第二突变标识以及特征数据的具体类型进行优先级分级,其中包含第二突变标识或任一采集值超过预警阈值的整合数据包被确定为第一优先级,包含统计量但不含第二突变标识的整合数据包被确定为第二优先级,仅包含趋势特征参数的整合数据包被确定为第三优先级,使得在第二通信网络有限的传输时隙中,反映气象要素显著变化的紧急数据能够被优先发送,而反映平稳趋势的常规数据则在后续时隙传输,从而在信道资源受限的条件下实现了基于数据重要性的差异化服务;在此基础上,在同一优先级内部根据生成时间优先发送等待时间最长的整合数据包,并将等待时长超过预设生存时限的整合数据包丢弃,既避免了同一优先级内陈旧数据长期积压占用队列资源,又防止了过时无效信息在信道恢复后被发送所造成的带宽浪费;此外,将发送失败的整合数据包存入缓存,并在第一通信网络的信号强度恢复后通过第一通信网络进行批量补发,使得在第二通信网络因信号遮挡等原因导致的偶发性传输失败不会造成数据永久丢失,且补发时优先使用带宽更高的第一通信网络,兼顾了数据完整性和补发效率;由此,本技术通过对压缩阶段所产生的不同标识和特征类型的整合数据包进行差异化的优先级调度,结合超时丢弃与缓存补发机制,在第二通信网络的窄带、低频次通信约束下实现了紧急数据的及时上报、常规数据的有序发送、失败数据的可靠补传,以及无效数据的主动淘汰,从而在有限信道资源下实现了数据传输效率与可靠性的综合优化。
45、第二方面,本技术提供了一种气象监测数据的传输装置。所述气象监测数据的传输装置包括:
46、获取模块,用于获取多个气象要素在连续采样时刻的采集值;
47、计算模块,用于对于任一气象要素,根据当前时刻之前的多个采集值计算该气象要素的波动指标;
48、拟合模块,用于当所述波动指标小于或等于与该气象要素对应的动态阈值时,将多个所述采集值拟合为趋势特征参数,以生成该气象要素压缩后的特征数据;否则,根据多个所述采集值的统计量生成该气象要素压缩后的特征数据;
49、整合模块,用于将所有气象要素压缩后的特征数据进行整合,得到整合数据包;
50、传输模块,用于获取预设的第一通信网络的信号强度;当所述信号强度高于或等于预设门限时,通过所述第一通信网络完成所述整合数据包的传输;否则,通过预设的第二通信网络完成所述整合数据包的传输;
51、其中,所述第一通信网络的带宽高于第二通信网络的带宽,且所述第一通信网络的覆盖范围小于所述第二通信网络的覆盖范围。
52、本技术通过获取模块采集多个气象要素的连续采集值,并由计算模块基于滑动窗口内的极值差计算出各要素的波动指标,使得后续的压缩决策能够以该波动指标为依据准确区分数据处于平稳还是突变状态;在此基础上,拟合模块在波动指标小于或等于动态阈值时将多个采集值拟合为趋势特征参数,否则以统计量方式输出均值与极值,使得各要素在保持信息完整性的前提下均实现了最大程度的数据精简,再由整合模块将所有要素的压缩特征与时段标签、设备标识融合为单一整合数据包,从而使得原本分散的多源异构数据在传输前即被归一化为统一格式且容量受控的数据单元,为后续窄带信道的一次性完整传输创造了条件;最后,传输模块通过检测第一通信网络的信号强度,在信号良好时利用其高带宽特性实现整合数据包的低成本高频次上报,而在信号劣化至门限以下时自动切换至覆盖范围更广的第二通信网络,由于整合数据包的容量已被预先适配至第二通信网络单次报文的最大字节限制,即使在带宽极窄的卫星信道下也能以单包形式完成完整传输;由此,本技术通过获取、计算、拟合、整合、传输五个模块的数据流串联,在压缩阶段通过波动指标驱动的差异化精简使数据量适配窄带信道,在传输阶段通过信号强度驱动的双模切换实现全域覆盖,最终形成了从数据采集、自适应压缩、多要素整合到信道智能切换的完整闭环。
53、第三方面,本技术提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如所述的一种气象监测数据的传输方法。其有益效果与本技术中第一方面提供的一种气象监测数据的传输方法相同。
54、第四方面,本技术提供一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的任意一种气象监测数据的传输方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com