一种水质数据异常识别方法及系统与流程

1.本发明涉及水质监测技术领域，尤其涉及一种水质数据异常识别方法及系统。


背景技术：

2.水环境保护建设和发展的迫切需求是水环境治理，而水环境监测及时、准确、全面地反映流域水质状况及水质未来发展变化的重要前提和基础，是水环境治理工作的核心内容之一，为水环境管理、污染减排、环境规划等提供基础数据资料支撑。
3.目前对于水质数据的使用仅仅是操作人员根据直观的数据来判断是否进行水环境治理，无法从宏观角度判断水环境的异常程度，会造成人工判断的失误。


技术实现要素：

4.针对现有技术中存在的问题，本发明提供一种水质数据异常识别方法，预先构建一水质变化质谱库，用于保存多条标准质谱数据；
5.则所述水质数据异常识别方法包括:
6.步骤s1，获取一水质监测站点的一水质监测数据，所述水质监测数据包括多个指标因子和各所述指标因子对应的一时序数据；
7.步骤s2，针对每个所述指标因子，对所述指标因子对应的所述时序数据处理得到一标准化数组矩阵；
8.步骤s3，将各所述标准化数组矩阵分别转换为一影像数据，并对各所述影像数据进行波段合成得到一多波段影像数据，并分别提取各所述指标因子在所述多波段影像数据中的像元值形成一当前质谱数据；
9.步骤s4，将所述当前质谱数据与各所述标准质谱数据进行匹配，并根据匹配结果处理得到所述水质监测站点对应的水质数据异常识别结果。
10.优选的，每条所述标准质谱数据分别关联一标准监测时间，则所述步骤s4包括：
11.步骤s41，将所述当前质谱数据与各所述标准质谱数据进行匹配得到一适配质谱数据和所述适配质谱数据对应的所述标准监测时间作为所述匹配结果；
12.步骤s42，根据所述适配质谱数据对应的所述标准监测时间和所述当前质谱数据对应的一当前监测时间处理得到一时间差值，判断所述时间差值是否大于一预设阈值：
13.若是，输出表征所述当前质谱数据异常的水质数据异常识别结果；
14.若否，输出表征所述当前质谱数据正常的水质数据异常识别结果。
15.优选的，所述步骤s2包括：
16.步骤s21，针对每个所述指标因子，根据所述指标因子对应的所述时序数据分别处理得到一均值数据和一标准差数据；
17.步骤s22，根据所述均值数据、所述标准差数据和所述时序数据处理得到对应的所述标准化数组矩阵。
18.优选的，执行所述步骤s1之前包括所述水质变化质谱库的一构建过程，具体包括
以下步骤：
19.步骤a1，获取所述水质监测站点的多个历史监测数据，所述历史监测数据包括多个历史指标和各所述历史指标对应的一历史时序数据；
20.步骤a2，针对每个所述历史指标，对所述历史指标对应的所述历史时序数据处理得到一历史标准化矩阵；
21.步骤a3，对各所述历史标准化矩阵进行影像转换并提取各所述历史指标的像元值以形成对应的所述标准质谱数据。
22.优选的，所述步骤s41包括：
23.步骤s411，对所述当前质谱数据处理得到一当前概率向量分布，对各所述标准质谱数据分别处理得到一标准概率向量分布；
24.步骤s412，根据所述当前概率向量分布和各所述标准概率向量分布分别处理得到一信息散度，将各所述信息散度按从大到小的顺序进行排序；
25.步骤s413，将排序靠前的所述信息散度对应的所述标准质谱数据作为所述适配质谱数据，并将所述适配质谱数据和所述适配质谱数据对应的所述标准监测时间作为所述匹配结果。
26.优选的，一种水质数据异常识别系统，应用于上述水质数据异常识别方法，包括：
27.一数据获取模块，用于获取一水质监测站点的一水质监测数据，所述水质监测数据包括多个指标因子和各所述指标因子对应的一时序数据；
28.一矩阵处理模块，连接所述数据获取模块，用于针对每个所述指标因子，对所述指标因子对应的所述时序数据处理得到一标准化数组矩阵；
29.一影像转换模块，连接所述矩阵处理模块，用于将各所述标准化数组矩阵分别转换为一影像数据，对各所述影像数据进行波段合成得到一多波段影像数据，并分别提取各所述指标因子在所述多波段影像数据中的像元值形成一当前质谱数据；
30.一质谱处理模块，连接所述影像转换模块，用于将所述当前质谱数据与各所述标准质谱数据进行匹配，并根据匹配结果处理得到所述水质监测站点对应的水质数据异常识别结果。
31.优选的，每条所述标准质谱数据分别关联一标准监测时间，则所述质谱处理模块包括：
32.一第一处理单元，用于将所述当前质谱数据与各所述标准质谱数据进行匹配得到一适配质谱数据和所述适配质谱数据对应的所述标准监测时间作为所述匹配结果；
33.一第二处理单元，连接所述第一处理单元，用于根据所述适配质谱数据对应的所述标准监测时间和所述当前质谱数据对应的一当前监测时间处理得到一时间差值，将所述时间差值与一预设阈值进行比较并在所述时间差值大于所述预设阈值时输出表征所述当前质谱数据异常的水质数据异常识别结果；以及
34.在所述时间差值不大于所述预设阈值时，输出表征所述当前质谱数据正常的水质数据异常识别结果。
35.优选的，所述矩阵处理模块包括：
36.第三处理单元，用于针对每个所述指标因子，根据所述指标因子对应的所述时序数据分别处理得到一均值数据和一标准差数据；
37.第四处理单元，连接所述第三处理单元，用于根据所述均值数据、所述标准差数据和所述时序数据处理得到对应的所述标准化数组矩阵。
38.优选的，所述水质数据异常识别系统还包括一质谱库构建模块，连接所述质谱处理模块，包括：
39.一数据采集单元，用于获取所述水质监测站点的多个历史监测数据，所述历史监测数据包括多个历史指标和各所述历史指标对应的一历史时序数据；
40.一第五处理单元，连接所述数据采集单元，用于针对每个所述历史指标，对所述历史指标对应的所述历史时序数据处理得到一历史标准化矩阵；
41.一第六处理单元，连接所述第五处理单元，用于对各所述历史标准化矩阵进行影像转换并提取各所述历史指标的像元值以形成对应的所述标准质谱数据。
42.优选的，所述第一处理单元包括：
43.一第一处理子单元，用于对所述当前质谱数据处理得到一当前概率向量分布，对各所述标准质谱数据分别处理得到一标准概率向量分布；
44.一第二处理子单元，连接所述第一处理子单元，用于根据所述当前概率向量分布和各所述标准概率向量分布分别处理得到一信息散度，将各所述信息散度按从大到小的顺序进行排序；
45.一第三处理子单元，连接所述第二处理子单元，用于将排序靠前的所述信息散度对应的所述标准质谱数据作为所述适配质谱数据，并将所述适配质谱数据和所述适配质谱数据对应的所述标准监测时间作为所述匹配结果。
46.上述技术方案具有如下优点或有益效果：本方法及系统将水质监测站点获取的水质监测数据转换为多波段影像数据，提取多波段影像数据中的像元值得到当前质谱数据，通过信息散度筛选得到适配质谱数据，并通过时间差值进行水质数据异常识别，从而为控制水质达标及流域水环境监管提供科学支撑。
附图说明
47.图1为本发明的较佳的实施例中，本方法的步骤流程图；
48.图2为本发明的较佳的实施例中，步骤s4的具体流程图；
49.图3为本发明的较佳的实施例中，步骤s2的具体流程图；
50.图4为本发明的较佳的实施例中，构建过程的步骤流程图；
51.图5为本发明的较佳的实施例中，步骤s41的具体流程图；
52.图6为本发明的较佳的实施例中，本系统的结构原理图。
具体实施方式
53.下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
54.本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种水质数据异常识别方法，预先构建一水质变化质谱库，用于保存多条标准质谱数据；
55.则水质数据异常识别方法如图1所示，包括:
56.步骤s1，获取一水质监测站点的一水质监测数据，水质监测数据包括多个指标因
子和各指标因子对应的一时序数据；
57.步骤s2，针对每个指标因子，对指标因子对应的时序数据处理得到一标准化数组矩阵；
58.步骤s3，将各标准化数组矩阵分别转换为一影像数据，并对各影像数据进行波段合成得到一多波段影像数据，并分别提取各指标因子在多波段影像数据中的像元值形成一当前质谱数据；
59.步骤s4，将当前质谱数据与各标准质谱数据进行匹配，并根据匹配结果处理得到水质监测站点对应的水质数据异常识别结果。
60.具体地，本实施例中，水质监测数据中的指标因子可以包括温度、溶解氧、氨氮、总磷、总氮、化学需氧量、电导率、大气降水量、水中金属离子、叶绿素、藻密度、挥发酚等，以对某流域整体的水质状态进行分析。
61.优选的，水质监测数据中至少需要包含4种及以上指标因子，以保证水质监测数据分析的有效性。
62.本发明的较佳的实施例中，每条标准质谱数据分别关联一标准监测时间，则步骤s4如图2所示，包括：
63.步骤s41，将当前质谱数据与各标准质谱数据进行匹配得到一适配质谱数据和适配质谱数据对应的标准监测时间作为匹配结果；
64.步骤s42，根据适配质谱数据对应的标准监测时间和当前质谱数据对应的一当前监测时间处理得到一时间差值，判断时间差值是否大于一预设阈值：
65.若是，输出表征当前质谱数据异常的水质数据异常识别结果；
66.若否，输出表征当前质谱数据正常的水质数据异常识别结果。
67.本发明的较佳的实施例中，如图3所示，步骤s2包括：
68.步骤s21，针对每个指标因子，根据指标因子对应的时序数据分别处理得到一均值数据和一标准差数据；
69.步骤s22，根据均值数据、标准差数据和时序数据处理得到对应的标准化数组矩阵。
70.具体地，本实施例中，考虑到各指标因子的时序数据的结构均不一致，且时序数据往往不在一个量级，若直接进行分析，会对水质数据异常识别结果的精准度造成极大的干扰，因此需要对各指标因子的时序数据进行归一化处理，由于水质监测数据是一个时序数据，不同水质监测站点之间的组合可以实现空间层面的联系，通过大量数据试验表明，水质监测数据是服从正态分布的，因此，本方法通过计算均值和标准差对时序数据进行标准化处理。
71.具体地，本实施例中，时序数据包括每一年每一月每一天的指标数据，将水质监测数据中的指标因子分别用r1、r2、r3......rs来表示，并通过以下公式将各指标因子对应的时序数据转换为数组矩阵：
72.73.其中，
74.x
11
、x
12
...x
1n
表示不同年份中不同月份的指标数据；
75.x
11
、x
21
...x
m1
表示某个月份每一天的指标数据。
76.优选的，通过以下计算公式计算均值：
[0077][0078]
其中，
[0079]
m表示每个月指标数据的天数；
[0080]
n表示表示月份数；
[0081]m×
n表示指标数据的总个数；
[0082]
i表示天；
[0083]
j表示月；
[0084]
x
ij
表示第j月中第i天的指标数据；
[0085]
means表示均值。
[0086]
优选的，通过以下计算公式计算标准差：
[0087][0088]
其中，
[0089]
m表示每个月指标数据的天数；
[0090]
n表示表示月份数；
[0091]m×
n表示指标数据的总个数；
[0092]
i表示天；
[0093]
j表示月；
[0094]
x
ij
表示第j月中第i天的指标数据；
[0095]
means表示均值；
[0096]
σs表示标准差。
[0097]
优选的，通过以下计算公式对各指标因子的数组矩阵进行数据标准化处理得到标准化数组矩阵：
[0098]
[0099]
其中，
[0100]
表示标准化数组矩阵；
[0101]
σs表示标准差；
[0102]
means表示均值。
[0103]
具体地，本实施例中，对于转换为多波段影像数据的指标因子，可选择多波段影像数据进行红通道、绿通道、蓝通道波段组合显示。
[0104]
本发明的较佳的实施例中，执行步骤s1之前包括水质变化质谱库的一构建过程，如图4所示，具体包括以下步骤：
[0105]
步骤a1，获取水质监测站点的多个历史监测数据，历史监测数据包括多个历史指标和各历史指标对应的一历史时序数据；
[0106]
步骤a2，针对每个历史指标，对历史指标对应的历史时序数据处理得到一历史标准化矩阵；
[0107]
步骤a3，对各历史标准化矩阵进行影像转换并提取各历史指标的像元值以形成对应的标准质谱数据。
[0108]
具体地，本实施例中，根据各指标因子每一年、每一月、每一天的指标数据形成的多波段影像数据，分别选取各指标因子在多波段影像数据中的像元值，以各指标因子为横轴，以各指标因子的像元值为纵轴，建立水质变化质谱曲线来更直观的观察水质变化情况。
[0109]
优选的，水质变化质谱曲线中的横轴上至少需要包含四种及以上指标因子。
[0110]
优选的，由于实际场景中采集的是大样本量的水质监测数据，因此当需要对最新监测得到的水质监测数据进行处理时，对均值、标准差造成的影响可以忽略不计，因此根据最新监测得到的水质监测数据处理得到最新的数组矩阵后，可以根据以下计算公式对最新的数组矩阵进行标准化处理时处理得到最新的标准化数组矩阵：
[0111][0112]
其中，
[0113]
表示最新的标准化数组矩阵；
[0114]
βs表示最新的数组矩阵；
[0115]
σs表示标准差；
[0116]
means表示均值。
[0117]
本发明的较佳的实施例中，如图5所示，步骤s41包括：
[0118]
步骤s411，对当前质谱数据处理得到一当前概率向量分布，对各标准质谱数据分别处理得到一标准概率向量分布；
[0119]
步骤s412，根据当前概率向量分布和各标准概率向量分布分别处理得到一信息散度，将各信息散度按从大到小的顺序进行排序；
[0120]
步骤s413，将排序靠前的信息散度对应的标准质谱数据作为适配质谱数据，并将适配质谱数据和适配质谱数据对应的标准监测时间作为匹配结果。
[0121]
具体地，本实施例中，在进行数据分析时，先假设当前质谱数据为：
[0122]
α＝(α1、α2、α3、...、αn)
t
[0123]
其中，
[0124]
α表示当前质谱数据；
[0125]
αn表示当前质谱数据中各指标因子的像元值；
[0126]
优选的，设质谱分析模型内的标准质谱数据为：
[0127]
β＝(β1、β2、β3、...、βn)
t
[0128]
其中，
[0129]
β表示标准质谱数据；
[0130]
βn表示标准质谱数据中各指标因子的像元值。
[0131]
优选的，通过以下计算公式计算当前质谱数据的当前概率向量分布：
[0132][0133]
其中，
[0134]
ηi表示当前质谱数据的当前概率向量分布；
[0135]
αi表示当前质谱数据中第i个指标因子的像元值。
[0136]
优选的，通过以下计算公式计算标准质谱数据的标准概率向量分布：
[0137][0138]
其中，
[0139]
θi表示标准质谱数据的标准概率向量分布；
[0140]
βi表示标准质谱数据中第i个指标因子的像元值。
[0141]
优选的，基于k-l信息函数，定义标准质谱数据为y，定义当前质谱数据为x，通过以下计算公式计算y相对于x的相对熵：
[0142][0143]
其中，
[0144]
d(y||x)表示y相对于x的相对熵；
[0145]
ηi表示当前质谱数据的当前概率向量分布；
[0146]
θi表示标准质谱数据的标准概率向量分布。
[0147]
优选的，通过以下计算公式计算x相对于y的相对熵：
[0148][0149]
其中，
[0150]
d(x||y)表示x相对于y的相对熵。
[0151]
优选的，通过以下计算公式计算当前概率向量分布与标准概率向量分布的信息散度：
[0152]
sid(x,y)＝d(y||x) d(x||y)
[0153]
其中，
[0154]
sid(x,y)表示信息散度；
[0155]
d(y||x)表示y相对于x的相对熵；
[0156]
d(x||y)表示x相对于y的相对熵；
[0157]
sid(x,y)越大，表示当前质谱数据与标准质谱数据的相似性越小，反之，sid(x,y)越小，表示当前质谱数据与标准质谱数据的相似性越大。
[0158]
本发明的较佳的实施例中，一种水质数据异常识别系统，应用于上述水质数据异常识别方法，如图6所示，包括：
[0159]
一数据获取模块1，用于获取一水质监测站点的一水质监测数据，水质监测数据包括多个指标因子和各指标因子对应的一时序数据；
[0160]
一矩阵处理模块2，连接数据获取模块1，用于针对每个指标因子，对指标因子对应的时序数据处理得到一标准化数组矩阵；
[0161]
一影像转换模块3，连接矩阵处理模块2，用于将各标准化数组矩阵分别转换为一影像数据，对各影像数据进行波段合成得到一多波段影像数据，并分别提取各指标因子在多波段影像数据中的像元值形成一当前质谱数据；
[0162]
一质谱处理模块4，连接影像转换模块3，用于将当前质谱数据与各标准质谱数据进行匹配，并根据匹配结果处理得到水质监测站点对应的水质数据异常识别结果。
[0163]
本发明的较佳的实施例中，每条标准质谱数据分别关联一标准监测时间，则质谱处理模块4包括：
[0164]
一第一处理单元41，用于将当前质谱数据与各标准质谱数据进行匹配得到一适配质谱数据和适配质谱数据对应的标准监测时间作为匹配结果；
[0165]
一第二处理单元42，连接第一处理单元41，用于根据适配质谱数据对应的标准监测时间和当前质谱数据对应的一当前监测时间处理得到一时间差值，将时间差值与一预设阈值进行比较并在时间差值大于预设阈值时输出表征当前质谱数据异常的水质数据异常识别结果；以及
[0166]
在时间差值不大于预设阈值时，输出表征当前质谱数据正常的水质数据异常识别结果。
[0167]
本发明的较佳的实施例中，矩阵处理模块2包括：
[0168]
第三处理单元21，用于针对每个指标因子，根据指标因子对应的时序数据分别处理得到一均值数据和一标准差数据；
[0169]
第四处理单元22，连接第三处理单元21，用于根据均值数据、标准差数据和时序数据处理得到对应的标准化数组矩阵。
[0170]
本发明的较佳的实施例中，水质数据异常识别系统还包括一质谱库构建模块5，连接质谱处理模块4，包括：
[0171]
一数据采集单元51，用于获取水质监测站点的多个历史监测数据，历史监测数据包括多个历史指标和各历史指标对应的一历史时序数据；
[0172]
一第五处理单元52，连接数据采集单元51，用于针对每个历史指标，对历史指标对应的历史时序数据处理得到一历史标准化矩阵；
[0173]
一第六处理单元53，连接第五处理单元52，用于对各历史标准化矩阵进行影像转换并提取各历史指标的像元值以形成对应的标准质谱数据。
[0174]
本发明的较佳的实施例中，第一处理单元41包括：
[0175]
一第一处理子单元411，用于对当前质谱数据处理得到一当前概率向量分布，对各标准质谱数据分别处理得到一标准概率向量分布；
[0176]
一第二处理子单元412，连接第一处理子单元411，用于根据当前概率向量分布和各标准概率向量分布分别处理得到一信息散度，将各信息散度按从大到小的顺序进行排序；
[0177]
一第三处理子单元413，连接第二处理子单元412，用于将排序靠前的信息散度对应的标准质谱数据作为适配质谱数据，并将适配质谱数据和适配质谱数据对应的标准监测时间作为匹配结果。
[0178]
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。