一种数据处理方法及装置与流程

1.本技术涉及计算机和数据处理技术领域，尤其涉及河水流量的数据处理方法及装置。


背景技术：

2.水平声学多普勒流速剖面仪(horizontal-acoustic doppler current profiler，简称h-adcp)被广泛用于湖泊、河道的测流中，其原理是利用多普勒频移来计算水中颗粒物散射回来的声波来计算流速矢量。但h-adcp的测流数据容易受环境因素影响，如过高的水体泥沙含量会减弱声波在水里的穿透性，使有效的测流范围减小，远距离流层的测量结果可能不准确，甚至出现》10m/s的错误数据；过往船舶或较大的漂浮物也容易阻挡或干扰声波信号，造成较大的测流误差；h-adcp自带的声波传感器和压力传感器对水位的监测也存在明显缺陷，水面漂浮物及气压变化分别影响声波传感器和压力传感器的测量精度。


技术实现要素：

3.有鉴于此，本技术实施例提供了一种数据处理方法及装置，用于提高测流数据的准确性。
4.为解决上述技术问题，本说明书实施例是这样实现的：
5.本说明书实施例提供的一种数据处理方法，包括：
6.实时获取h-adcp采集的流速数据；
7.根据数据质量参数判断所述流速数据是否可靠，剔除不可靠的数据；
8.判断剩余的所述流速数据是否符合合理的流速范围，剔除超出范围的数据。
9.可选的，所述数据质量参数包括标准差或优解百分比。
10.可选的，所述方法还包括：
11.获取待测数据与前后三个数据组成的数据子集；
12.确定所述数据子集的中位数和标准差；
13.判断所述待测数据与所述中位数之差是否大于所述标准差的3倍，若有，剔除所述待测数据。
14.可选的，所述方法还包括：
15.对删除数据留下的空缺或者系统短时间缺报留下的空缺，通过三次卷积插值进行插值。
16.可选的，所述方法还包括：
17.通过小波降噪算法对流速数据的小扰动进行修正。
18.可选的，所述数据处理方法在“层数
×
时间”网格的流速数据集上做处理。
19.可选的，所述数据处理方法还包括水位数据处理方法，所述水位数据处理方法包括：
20.获取当前时刻的压力水位值；
21.计算所述压力水位值与气压校正值之和，作为校正内置水位。
22.可选的，所述气压校正值的确定方法如下：
23.获取预设时间内的水位数据集，所述水位数据集包括声波水位数据集与压力水位数据集；
24.计算任意时刻所述声波水位数据与所述压力水位数据的差值，取差值序列的中位数作为气压校正值。
25.可选的，所述h-adcp包括超声波水位传感器和压力水位传感器，所述声波水位传感器和压力水位传感器的安装位置相同。
26.可选的，所述方法还包括：
27.根据处理后的流速数据和所述校正内置水位计算流量。
28.本说明书实施例提供的一种数据处理装置，包括：
29.数据获取模块，用于实时获取adcp采集的流速数据；
30.不可靠数据剔除模块，用于根据数据质量参数判断所述流速数据是否可靠，剔除不可靠的数据；
31.超范围数据剔除模块，用于判断剩余的所述流速数据是否符合合理的流速范围，剔除超出范围的数据。
32.本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
33.本发明自动对h-adcp数据进行质量控制，去伪存真，提高数据的稳定性、可靠性和准确性。
34.在线流量平台针对两个水位传感器的特性，扬长避短，自动融合计算“校正内置水位”。
附图说明
35.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
36.图1为本说明书实施例提供的一种数据处理方法的流程示意图；
37.图2为本说明书实施例提供的一种数据处理方法的具体实施例的流程示意图；
38.图3为本说明书实施例提供的一种水位数据处理方法的流程示意图；
39.图4为本说明书实施例提供的一种流量数据处理方法的流程示意图；
40.图5为本说明书实施例提供的对应于图1的一种数据处理装置的结构示意图。
具体实施方式
41.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.h-adcp的测流数据容易受环境因素影响。如水体泥沙含量过高，会减弱声波在水里的穿透性，使有效的测流范围减小，远距离流层的测量结果可能不准确，甚至出现》10m/s
的错误数据；过往船舶或较大的漂浮物也容易阻挡或干扰声波信号，造成较大的测流误差。所以，在线流量监测平台设计了一些算法，自动对h-adcp数据进行质量控制，去伪存真，保障最终流量成果的准确性。所有后处理都是在“层数
×
时间”网格的流速数据集上做处理，然后再用处理的结果计算代表流速。
43.以下结合附图，详细说明本技术各实施例提供的技术方案。
44.图1为本说明书实施例提供的一种数据处理方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器的程序或应用客户端。
45.如图1所示，该流程可以包括以下步骤：
46.步骤110：实时获取h-adcp采集的流速数据。
47.步骤120：根据数据质量参数判断所述流速数据是否可靠，剔除不可靠的数据；其中，数据质量参数可以包括标准差或优解百分比等，还根据根据实际情况进行调整和修改。
48.步骤130：判断剩余的所述流速数据是否符合合理的流速范围(如不大于10m/s)，剔除超出范围的数据。则剩余的数据即为可靠的符合质量参数的数据。
49.其中，上述方法可以实时应用到采集的数据上，做到实时自动数据检测和处理。另外，所述数据处理方法的上述步骤在“层数
×
时间”网格的流速数据集上做处理，后面的步骤也是如此。
50.另外，除了实时的数据处理，还需要定期对数据进行处理，依据相邻数据的相关性进行一些修正，具体的，所述方法还可以包括：
51.获取待测数据与前后三个数据组成的数据子集；
52.确定所述数据子集的中位数和标准差；
53.判断所述待测数据与所述中位数之差是否大于所述标准差的3倍，若有，剔除所述待测数据。
54.上述操作可以称为领域滤波，通过该方法筛选出来的数据即为离群值，即明显偏离其他数据的数据，应该被剔除。
55.其中，定期的时间可以为一天。
56.另外，还可以进行差值补缺，例如：对删除数据留下的空缺或者系统短时间缺报留下的空缺，通过三次卷积插值进行插。使得插值后的数据变化平缓而没有突变，更接近水流的自然变化，相对于线性插值、最邻点插值等其他插值方法有更高的精度。
57.另外，对于数据扰动还可以进行修正，具体的，可以通过小波降噪算法对流速数据的小扰动进行修正。
58.图2为本说明书实施例提供的一种数据处理方法的具体实施例的流程示意图。如图2所示，该流程可以包括以下步骤：
59.步骤210：实时获取h-adcp采集的流速数据。
60.步骤220：根据数据质量参数判断所述流速数据是否可靠，剔除不可靠的数据；其中，数据质量参数可以包括标准差或优解百分比等，还根据根据实际情况进行调整和修改。
61.步骤230：判断剩余的所述流速数据是否符合合理的流速范围(如不大于10m/s)，剔除超出范围的数据。则剩余的数据即为可靠的符合质量参数的数据。
62.步骤240：根据领域滤波算法，将各个数据与前后各三个数据(共7个数据)组成数据子集，计算各个数据与该数据子集的中位数之差，如果其大于3倍标准差，将该数据视为
离群值进行剔除；
63.步骤250：对前三个步骤中出现的数据空缺，或系统短时间内缺报留下的空缺，进行三次卷积插值。
64.步骤260：对流速数据中存在的小扰动导致的数据异常值进行修正。
65.上述方法是对流速数据进行的处理，对于水位数据，本发明也进行了对应的处理。其中，所述h-adcp包括超声波水位传感器和压力水位传感器，所述声波水位传感器和压力水位传感器的安装位置相同。具体流程如图3所示，包含以下步骤：
66.步骤310：实时获取超声波水位传感器与压力水位采集的流速数据。
67.步骤320：通过所述声波水位数据与所述压力水位数据计算气压校正值。
68.步骤330：通过气压校正值计算校正内置水位。
69.基于上述两个水位传感器的设置，所述水位数据处理方法包括：
70.获取当前时刻的压力水位值；
71.计算所述压力水位值与气压校正值之和，作为校正内置水位。
72.其中，所述气压校正值的确定方法如下：
73.获取预设时间(2个小时)内的水位数据集，所述水位数据集包括声波水位数据集与压力水位数据集；
74.计算任意时刻所述声波水位数据与所述压力水位数据的差值，取差值序列的中位数作为气压校正值。
75.该方法通过在线流量平台针对两个水位传感器的特性，扬长避短，自动融合计算“校正内置水位”76.基于图1的方法，本说明书实施例还提供了该方法的一些具体实施方式，下面进行说明。
77.一、流速数据处理方法
78.h-adcp的测流数据容易受环境因素影响。如水体泥沙含量过高，会减弱声波在水里的穿透性，使有效的测流范围减小，远距离流层的测量结果可能不准确，甚至出现》10m/s的错误数据；过往船舶或较大的漂浮物也容易阻挡或干扰声波信号，造成较大的测流误差。所以，在线流量监测平台设计了一些算法，自动对h-adcp数据进行质量控制，去伪存真，保障最终流量成果的准确性。所有后处理都是在“层数
×
时间”网格的流速数据集上做处理，然后再用处理的结果计算代表流速，具体步骤如下：
79.①
数据自检：根据h-adcp自报的数据质量参数(如标准差、优解百分比等)判断相应的数据是否可靠，删除不可靠的数据；
80.②
剔除超限值：根据站点的水流特性，设定合理的流速范围，删除超出范围的数据；如果有特定流层经常受干扰，也可以将这些流层数据整层删除；
81.③
领域滤波：将各个数据与前后各三个数据(共7个数据)组成数据子集，考察各个数据与该数据子集的中位数之差，如果其大于3倍标准差，将该数据视为离群值进行剔除；
82.④
缺值插补：对前三步删除错误数据后留下的空缺，或者系统短时间缺报留下的空缺，通过三次卷积插值进行插补；这种插值方法可以保证插值曲面过样本点，且各个插值曲面的连接处左右极限相等、左右一阶导数相等，使得插值后的数据变化平缓而没有突变，更接近水流的自然变化，相对于线性插值、最邻点插值等其他插值方法有更高的精度。
83.⑤
小波降噪：通过小波降噪算法对流速数据的小扰动进行修正，这些数据扰动通常是由过往船舶或漂浮物的干扰造成。小波降噪基于小波变换算法，过滤高频的随机噪声，同时又能最大程度保留信号变化的细节，从而达到提高数据精度的目的。相比于傅里叶变换只能识别数据整体的频域特征，小波变换可以提取随时间变化的频域信息，可以更好地处理非平稳时间序列的变化特征，保证在保留真实的骤变信号的基础上能有效去除随机扰动，因而特别适合水文时间序列(暴雨、洪水、径流等都具有非平稳特征)的数据增强。其中
①
、
②
在每条数据接收之后就实时处理；
③
—
⑤
则用一段时间的数据做处理，每天运行一次。
84.二、水位数据处理方法
85.主流的h-adcp有两个水位传感器，包括超声波传感器和压力传感器。超声波传感器通过发送超声波探测探头离水面距离来测量水位，测量结果容易受漂浮物干扰，经常出现数据跳变。而压力传感器通过测量压力来换算水深，测量结果比较平稳，但该传感器没有实时的气压校正，气压的年变化会使水位结果出现20cm以上的系统误差。在线流量平台针对两个水位传感器的特性，扬长避短，自动融合计算“校正内置水位”：
86.取最近2小时的水位数据，计算声波水位与压力水位之差；取这个差值序列的中位数作为气压校正值，计算当前时刻压力水位与气压校正值之和，作为此时的“校正内置水位”。
87.图4为本说明书实施例提供的一种流量数据处理方法的流程示意图；如图4所示，所述方法包括：
88.步骤410：实时获取h-adcp采集的流速、水位数据，所述水位数据包括声波水位数据和压力水位数据的差值；跳转到步骤420和步骤421；
89.步骤420：根据数据质量参数判断所述流速数据是否可靠，提出不可靠的数据；跳转到步骤430；
90.步骤430：判断剩余的所述流速数据是否符合合理的流速范围，提出超出范围的数据；跳转到步骤440；
91.步骤440：根据领域滤波算法，提出数据集中的离群值；跳转到步骤150；
92.步骤450：对剔除异常值后或系统短期内缺报的流速数据空缺，进行三次卷积差值；跳转到步骤460；
93.步骤460：对流速数据的小扰动进行修订，提高最终数据精度；跳转到步骤470；
94.步骤421：计算任意时刻所述声波水位数据和所述压力水位数据的差值，取差值序列中的中位数作为气压校正值；跳转到步骤131；
95.步骤431：计算所述压力水位值和所述气压校正值之和，作为校正内置水位；跳转到步骤470；
96.步骤470：使用修正后的水位数据(校正内置水位)及预设的河底地形值可以计算横截面面积，之后使用修正后的流速数据与横截面面积即可计算流量。
97.基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图5为本说明书实施例提供的对应于图1的一种数据处理装置的结构示意图。如图5所示，该装置可以包括：
98.数据获取模块510，用于实时获取h-adcp采集的流速数据；
99.不可靠数据剔除模块520，用于根据数据质量参数判断所述流速数据是否可靠，剔
除不可靠的数据；
100.超范围数据剔除模块530，用于判断剩余的所述流速数据是否符合合理的流速范围，剔除超出范围的数据。
101.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
102.本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
103.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
104.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。