一种通用海洋数据质控方法、计算机设备和储存介质与流程

1.本发明涉及数据处理技术领域，具体是指一种通用海洋数据质控方法、计算机设备和储存介质。


背景技术：

2.海洋信息技术的快速发展过程中，海洋监测数据逐渐成为实现海洋气象研究领域最重要的资源之一。
3.海上网络环境不畅，卫星通信效率低质量差，很难将体量庞大并且精度要求高的科研数据及时传输至地面研究场所，科研数据价值高精度高，需要有船上采集和稳定储存环境，确保数据安全。
4.同时，随着数据采集效率提升、数据量不断增大，数据质量问题也随之而来。海洋环境复杂，科研人员收集到的原始数据难以避免地含有大量误差、错误、缺失等“噪音”，科研人员不仅在应用数据时受到严重阻碍，甚至会使科研结果可信度受损。
5.针对以上现象，已有许多方法和技术作为支撑解决部分问题，但在处理数据储存、汇交、质量控制的过程中，想要同时满足数据储存安全以及数据的规范化、结构化、可视化需求，仍缺少完善而行之有效的方案。
6.首先，针对不同数据类型，检测设备输出产生数据的方式(如编码类型、输出数据格式、接口规范等)往往有很大差异，且科研数据量庞大，需要以tb为单位储存，如不能针对不同监测设备的输出结果自动保存在安全的非易失性介质，以及转换为标准编码和数据结构，会为分析人员增加大量无意义工作。
7.其次，不同科研人员分工筛查数据运用的工具、方法以及判断标准不一。没有统一规范的数据处理方法，会对数据可用性结果的判断产生明显干扰。
8.再者，科研工作领域划分细，针对不同的科研数据，分析员更关注某种特定数据特征是否符合要求。如果只是将数据进行笼统整合统一处理，不仅浪费硬件资源，对实际的科研工作反而有负向作用，且某些数据会因为多种质量问题被重复标注，影响实验结论。
9.另外，如果没有易操作的、可视化的操作过程和结果报表输出，对科研人员的心智无疑增加了额外的负担，对科研结果的输出效率造成不必要的损害。


技术实现要素：

10.本发明要解决的技术问题是克服以上技术缺陷，提供一种通用海洋数据质控方法、计算机设备和储存介质。
11.为解决上述技术问题，本发明提供的技术方案为：一种通用海洋数据质控方法，包括以下步骤：
12.步骤一：自动获取海洋数据监测点所收集的观测数据，并对所述观测数据进行保存；
13.步骤二：对所述观测数据进行统一自动化转换，并输出为统一的编码和数据结构；
14.步骤三：对经过所述统一自动化转换的所述观测数据进行通用性数据质量控制检测；其中，所述通用性数据质量控制检测包括全等性检验、日期检验、位置检验、着陆检验和缺测检验；
15.步骤四：对经过所述统一自动化转换的所述观测数据进行专用数据质量控制检测；其中，所述专用数据质量控制检测包括范围检验和一致性检验；
16.步骤五：根据所述通用性数据质量控制检测和所述专用数据质量控制检测的检测结果，进行数据质量判断；
17.步骤六：对所述观测数据、所述检测结果和所述数据质量判断的判断结果，采用非易失性储存介质进行保存；
18.步骤七：将所述检测结果和所述数据质量判断的判断结果，输出为可读性报表。
19.优选的，步骤一中采用多种非易失性储存介质保存观测数据。
20.优选的，步骤四中的一致性检验包括内部一致性检验和时间一致性检验。
21.优选的，步骤六中将观测数据、检测结果和数据质量判断的判断结果分别储存在海洋数据监测点储存服务器、地面工作站和纸面上。
22.优选的，步骤七中将检测结果和数据质量判断的判断结果通过打印设备输出为纸质实体文档。
23.一种计算机设备作为储存服务器，所述计算机设备包括：一个或多个处理器、储存器，以及一个或多个应用程序；其中，所述一个或多个应用程序被储存于所述储存器中，并配置为由所述处理器执行以实现所述步骤二。
24.一种计算机设备作为地面数据处理服务器，所述计算机设备包括：一个或多个处理器、储存器、一个或多个gpu图形处理器，以及一个或多个应用程序；其中，所述一个或多个应用程序被储存于所述储存器中，并配置为由所述gpu图形处理器配合所述处理器共同执行以实现所述步骤三和所述步骤四。
25.一种计算机可读储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现所述通用海洋数据质控方法的步骤。
26.本发明与现有技术相比的优点在于：首先，本技术包含一种通用海洋数据质控方法，对自动气象观测装置产生数据自动采集和储存观测数据、自动对采集储存过程监控及告警、自动对观测数据进行编码和格式转换方案。安全采集、储存重要数据的同时，能解放科研人员预处理数据的时间与精力，提高科研产出效率；
27.其次，本技术包含一种计算机设备，能根据研究项目的实际需要，选择多种数据质量控制检测方法组合，并针对特定数据特征检测数据噪音，提供精确、高可读性的结论报表。拥有更高灵活性的同时，能提高实验结论可信度。
28.再者，本技术包含一种计算机可读储存介质，其上储存有计算机程序，比普通的数据处理更精简、成体系，操作更简单、部署与调试更方便。
附图说明
29.图1是本发明一种通用海洋数据质控方法、计算机设备和储存介质的位置漂移检验示意图。
30.图2是本发明一种通用海洋数据质控方法、计算机设备和储存介质的使用场景示
意图。
31.图3是本发明一种通用海洋数据质控方法、计算机设备和储存介质的数据质量控制检测流程图。
32.图4是本发明一种通用海洋数据质控方法、计算机设备和储存介质的数据质量检测方法。
33.图5是本发明一种通用海洋数据质控方法、计算机设备和储存介质的船载服务存储器。
34.图6是本发明一种通用海洋数据质控方法、计算机设备和储存介质的地面工作站服务器。
35.图7是本发明一种通用海洋数据质控方法、计算机设备和储存介质的系统模块图。
36.图8是本发明一种通用海洋数据质控方法、计算机设备和储存介质的地面工作站用例流程图。
具体实施方式
37.下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
38.第一方面，本发明公开一种通用海洋数据质控方法，包括以下步骤：
39.步骤一：自动获取海洋数据监测点所收集的观测数据，并对所述观测数据采用多种非易失性储存介质保存；
40.如说明书附图2所示，监测点中央服务器与多种检测装置内网通信，收集由自动气象装置传输的未经处理的原始监测数据；原始监测数据可被保存监测点储存服务器包含的储存介质中，或通过打印机打印在纸张介质商作为文本备份。
41.步骤二：对所述观测数据进行统一自动化转换，并输出为统一和标准的编码和数据结构；
42.如说明书附图2所示，地面服务器负责对来自监测点的原始监测数据进行编码转换和格式调整。
43.步骤三：对经过所述统一自动化转换的所述观测数据进行通用性数据质量控制检测；其中，所述通用性数据质量控制检测包括全等性检验、日期检验、位置检验、着陆检验和缺测检验；
44.其详细检验方法如下：
45.全等性检验
46.主要针对观测记录中的某些元数据进行校验，如资料类型、浮标号、平台代码、海洋观测台站代码、观测方法、仪器名称、观测仪器海拔高度、观测点水深等，这些要素项的参数具有特定值并且往往保持长期不变，这些要素的记录和气象站检测开始前的约定值必须完全一致，否则视为错误。
47.日期检验
48.日期检验的目的是验证数据的基本合法性，主要针对以下方面进行校验：
49.年份取值范围不大于当前年份月份取值范围1～12日期取值范围不大于当月天数小时取值范围0～23分秒取值范围0～59
50.若校验不通过，则日期检查结果为错误。
51.位置检验
52.位置检验的目的在于验证数据的基本合法性，并确保该数据来源属于目的监测位置范围内，主要针对以下方面进行校验：
53.纬度位置范围-90
°
～90
°
经度位置范围-180
°
～180
°
固定观测站漂移范围不超过5公里
54.固定工作站漂移范围的检测方法如说明书附图1所示，若校验不通过，位置检查结果为错误。
55.着陆检验
56.着陆检验的目的是确认观测数据的位置信息是否位于海面上，用以检测数据的合理性。
57.可利用公开且权威的全球陆地位置背景数据集，将观测数据的元数据中陆地位置信息与全球陆地位置进行比对。
58.若观测位置不在海上，则位置检查结果为错误。
59.缺测检验
60.气象观测数据常遇到缺测情况，数据监测遇见空值时使视为缺测。
61.步骤四：对经过所述统一自动化转换的所述观测数据进行专用数据质量控制检测；其中，所述专用数据质量控制检测包括范围检验和一致性检验；
62.范围检验
63.气象记录的各种要素通常会在某一合理值域内波动，超出合理值域的数据可认为是记录错误。
64.检测要素的合理值域范围有多种取值方式，此处使用观测要素历史资料的累年极值或某区域内极值作为范围参数，参考《guide on the global data-processing system wmo 2004》和《国家海洋信息中心业务化工作规程和作业流程-海洋气象观测资料质量控制，2004.》列出如下气象变量的气候学界限范围。
[0065][0066][0067]
内部一致性检验
[0068]
内部一致性检验值同一监测点的同一时间(时段)内，不同观测要素之间的某种逻辑或物理联系检查。
[0069]
内部一致性检验的要素包含：
[0070]
本站最低气压≤气压≤本站最高气压最低气温≤气温≤最高气温最小相对湿度≤相对气温10分钟平均风速≤最大风速(瞬时)风速≤极大风速极大等速≥最大风速气温≥露点温度风为静稳(风速＝361)时，风速应小于0.2m/s
总辐射辐照度≥散射辐射辐照度总辐射辐照度≥反射辐射辐照度直接辐射辐照度≥总辐射辐照度与散射辐射辐照度之差
[0071]
若参与检验的要素至少有一项错误，则此处判断为未通过，参与检测的要素均判断为可疑。
[0072]
时间一致性检验
[0073]
时间一致性检验指检查要素随时间的变化情况是否符合特定的变化规律，因为海洋资料的观测位置不固定，时间一致性检验需要在同一位置(或相近地点)进行，多为定点连续观测时才进行的检查。
[0074][0075]
针对气温、气压等要素需要时间一致性检验，如果时间变化率超过变化范围，则判断为可疑。
[0076]
步骤五：根据所述通用性数据质量控制检测和所述专用数据质量控制检测的检测结果，进行数据质量判断；
[0077]
数据质量判断流程如图3所示。
[0078]
各类检查流程及质量控制标识设置过程：
[0079]
在输入标准格式数据后，设置质控标识码初始值qci＝9，首先执行通用质控检查(也即所述通用性数据质量控制检测)，进行日期检验(日期质控标识符)、位置检验(经纬度等位置质控标识符)、着陆检验(经纬度等位置质控标识符)，对各项基本信息进行检查，无论是否正确，都对各观测要素执行后续的质控环节。进入缺测检验(也即图3中的缺测检查)中，被检的气象要素被检出“缺测”时，赋质控标识码“8”，不再参与后续检查；当被检气象要素为“非缺测”，赋质控标识码初始值qci＝9，继续后续检查。在范围检查中，当被检数据超越其变化范围时，该环节的质控码设为错误(qci＝2)，要素不参与后续检查；范围检查通过后，根据要素选择性的执行一致性检查(也即所述一致性检验)，未通过，该环节的质控码设为可疑，qci＝1,继续参与其它环节的检查,最后进行综合判断，给出综合判断的质控标识码：若后续环节中出现标记为“错误”的检查结果，综合质控码qci＝2；否则，若后续环节中出现标记为“可疑”的检查结果，综合质控码qci＝1；否则，综合质控码qci＝0。另外，图3和图4中，范围检查也即所述范围检验，内部一致性检查也即所述内部一致性检验，时间一致性检查也即所述时间一致性检验。图4中，数据基本质控也即所述通用性数据质量控制检测，数据专用质控也即所述专用数据质量控制检测。
[0080]
步骤六：对所述观测数据、所述检测结果和所述数据质量判断的判断结果，采用非易失性储存介质进行保存，观测数据、检测结果和数据质量判断的判断结果可以储存在监测点储存服务器储存介质、地面工作站储存介质、纸面上；
[0081]
步骤七：将所述检测结果和所述数据质量判断的判断结果，输出为可读性报表，可选择将检测结果、数据质量判断的判断结果过打印设备输出为纸质实体文档备份。
[0082]
第二方面，本技术提供一种计算机设备作为储存服务器，所述计算机设备包括：一
个或多个处理器、储存器，以及一个或多个应用程序；其中，所述一个或多个应用程序被储存于所述储存器中，并配置为由所述处理器执行以实现所述步骤二。
[0083]
第三方面，本技术提供一种计算机设备作为地面数据处理服务器，所述计算机设备包括：一个或多个处理器、储存器、一个或多个gpu图形处理器，以及一个或多个应用程序；其中，所述一个或多个应用程序被储存于所述储存器中，并配置为由所述gpu图形处理器配合所述处理器共同执行以实现所述步骤三和所述步骤四。
[0084]
第四方面，本技术提供一种计算机可读储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现所述通用海洋数据质控方法的步骤。
[0085]
图8中，基础数据质控检测即为所述通用性数据质量控制检测，专用数据质控检测即为所述专用数据质量控制检测。
[0086]
根据说明书附图7所示，本技术的具体实施方法如下：
[0087]
101：实时数据采集单元种预置了数据源(监测点多种数据采集装置)的数据请求接口，用于获取自动气象站内不同采集检测设备的原始数据，以及采集设备、采集数据时间等信息转发给102。与103以http协议通信，每十分钟定时向103发送心跳信息；在请求失败或转发至102失败时，向103发送预先约定的代表失败的header标头，并在body部分留下已知的错误信息。
[0088]
102：采集数据处理单元会将101处获取的原始数据进行简单处理，生成文件以及文件名、文件生成时间、设备名等元数据，并将原始数据文件和元数据按照预置的储存结构统一发送至105单元储存。与103以http协议通信，每十分钟定时向103发送心跳信息；当储存过程失败时，向103发送预先约定的代表失败的header标头，并在body部分留下可能的错误信息。
[0089]
103:系统监控单元负责监听101以及102发送的心跳信息和错误信息，并记录日志，当101或102的心跳信息超过10min未收到或接收到101或102发送的错误信息时，向104发出警报指令。
[0090]
104：接收到103的警报指令后，发出大音量的提示声响。
[0091]
105：接收102发送的数据，储存文本文件，并依照预置的数据表结构，储存文本文件的位置信息、文本文件的元数据等。
[0092]
201：判断导入文件的文本编码格式，读取文本文件内容，统一转换为utf-8编码并输出至202。
[0093]
202：接收经过201处理的数据，提取数据中的科研数据元数据信息并识别采集装置，根据预设格式转换模型，转换为统一的ctd数据格式。
[0094]
203：配置并导入预设的格式转换模型，是一种根据采集来源设备对数据进行统一转换为ctd格式的方法。
[0095]
301：接收202发送的统一格式数据，读取元数据信息中的数据内容标识，从资源库读取如图4所示的质控检查模型及其专用质量控制检查方法，对每一条输入数据依据图3检测流程进行检测，并将该条质控码、检测内容的元数据信息发送至304。
[0096]
302：导入质控检测模型，并依照关系型数据表结构储存在资源库中。质控检测模型是一种质控检测数据内容类型和对应专用数据质量控制检测方法的数据关系。
[0097]
303：结果生成单元会实时统计301发送的质控检测结果，并按照预置格式将最终
统计结果发送至401。
[0098]
401：提取303的统计信息，并替换预置报表模板的占位符等内容，输出可被显示单元展示的报表文本，并可选择将报表文本发送至打印单元。
[0099]
402：打印单元会将来自401的报表数据打印成文本文档。
[0100]
501：显示单元，读取来自401报表文本信息后，显示在电脑显示器等设备上。
[0101]
502：报表的纸质文档。
[0102]
本技术可以在复杂监测环境下对采集和储存过程监控告警，确保数据储存过程安全可靠；储存过程中可以多种形式保存科研数据。通过统一转换监测设备数据格式，根据需要和规范自定义多种特定数据特征的数据质量检测方法组合，对大量科研数据进行质量控制检测，明确数据可用性，为后续科研成果提供支撑。
[0103]
该系统提供良好的可视化操作界面实现科研人员与系统的交互，并按规范提供有高可读性的结果报表输出，并提供实体报告文件打印存档。
[0104]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。