一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种数据质量检测方法、装置、设备及介质与流程

2022-04-27 11:48:23 来源:中国专利 TAG:


1.本发明实施例涉及计算机技术,尤其涉及一种数据质量检测方法、装置、设备及介质。


背景技术:

2.随着科技的发展,近些年的建筑物无论从规模还是智能化方面都有了极大的提升。相较于之前,人们对空调机组的可运行时长、可承受负载量、安全性以及节能水平等方面有了更高的要求。在这种情况下,就需要保持冷站系统运行的稳定性。
3.冷站系统数据量大且数据种类多,导致了冷站系统管理的复杂性和不一致性,从而引发了对自动及智能的控制管理需求,提高了对数据质量方面的要求。数据质量问题会导致冷站系统运行不稳定,引发一系列的设备运行控制问题。导致数据质量问题的因素包括传感器故障、采集器问题、网络通讯问题、采集程序中断等很多方面,因此,对于数据质量问题的定位难度大且问题定位成本高。


技术实现要素:

4.本发明实施例提供一种数据质量检测方法、装置、设备及介质,通过分层级对待检测数据进行质量检测,可以在质量检测不合格时,直接结束检测流程,提高数据质量检测的效率,减少数据质量检测的工作量。
5.第一方面,本发明实施例提供了一种数据质量检测方法,所述方法包括:
6.在检测到待检测数据输入目标数据检测层级时,依据与所述目标数据检测层级关联的目标数据检测配置信息,对所述待检测数据进行质量检测;所述待检测数据由冷站系统中至少两个信息点采集得到;
7.依据待检测数据的质量检测结果,将所述待检测数据传入下一数据检测层级进行质量检测。
8.第二方面,本发明实施例还提供了一种数据质量检测装置,所述装置包括:
9.数据质量检测模块,用于在检测到待检测数据输入目标数据检测层级时,依据与所述目标数据检测层级关联的目标数据检测配置信息,对所述待检测数据进行质量检测;所述待检测数据由冷站系统中至少两个信息点采集得到;
10.数据传入模块,用于依据待检测数据的质量检测结果,将所述待检测数据传入下一数据检测层级进行质量检测。
11.第三方面,本发明实施例还提供了一种电子设备,包括:
12.一个或多个处理器;
13.存储器,用于存储一个或多个程序;
14.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例提供的数据质量检测方法。
15.第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机
程序,该程序被处理器执行时实现本发明任意实施例提供的数据质量检测方法。
16.本发明实施例的技术方案,在检测到待检测数据输入目标数据检测层级时,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,进而依据待检测数据的质量检测结果,将待检测数据传入下一数据检测层级进行质量检测,实现分层级的对待检测数据进行质量检测,只有上一层级的检测结果满足设定条件,才会进入下一层级进行检测,提高了数据质量检测效率,减少了数据质量检测的工作量。
附图说明
17.图1是本发明实施例一中的一种数据质量检测方法的流程图;
18.图2是本发明实施例二中的一种数据质量检测方法的流程图;
19.图3是本发明实施例三中的一种数据质量检测方法的流程图;
20.图4是本发明实施例四中的一种数据质量检测装置的结构示意图;
21.图5是本发明实施例五提供的一种设备的结构示意图。
具体实施方式
22.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
23.实施例一
24.图1为本发明实施例一中的一种数据质量检测方法的流程图,本实施例的技术方案适用于分层级对冷站系统的数据进行质量检测的情况,该方法可以由数据质量检测装置执行,该装置可以由软件和/或硬件来实现,并可以集成在各种通用计算机设备中。本实施例中的数据质量检测方法,具体包括如下步骤:
25.步骤110、在检测到待检测数据输入目标数据检测层级时,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测;待检测数据由冷站系统中至少两个信息点采集得到。
26.为便于理解,首先对冷站系统作出解释:冷站系统包含多个需要进行数据检测的数据支路,每条数据支路中包含多个信息点。具体的,冷站系统包含5条需要进行数据检测的数据支路,分别为系统支路、冷机支路、冷冻泵支路、冷却泵支路以及冷却塔支路。
27.信息点用于表征唯一的传感器,信息点是针对传感器的静态描述信息。示例性的,信息点是传感器的id编号。对于每条数据支路包含多个信息点,也即在每条数据支路中,包含了多个用于进行数据采集的信息点。示例性的,系统支路包含5个信息点,5个信息点采集的数据分别为:冷冻水供水温度设定、冷站每小时累计供冷量、冷冻水总管供水温度以及冷冻水总管回水温度;冷机支路包含7个信息点,7个信息点采集的数据分别为:上一小时功耗、冷冻水出水温度设定、冷冻水供水温度、冷冻水回水温度、冷却水出水温度、冷却水回水温度以及电流百分比;冷冻泵支路包含2个信息点,2个信息点采集的数据分别为:变频器反馈频率和准点功率;冷却泵支路包含2个信息点,2个信息点采集的数据分别为变频器反馈频率和准点功率;冷却塔支路包含2个信息点,2个信息点采集的数据分别为:变频器反馈频率和准点功率。
28.本实施例中,可以按照预先设定的数据质量检测顺序,分层级的对待检测数据进行检测,只有在上一层级检测结果为合格,才会将待检测数据传到下一层级进行下一层级的质量检测。在进行数据质量检测过程中,可以将当前对待检测数据进行检测的层级作为目标数据检测层级,在检测到待检测数据输入到目标数据检测层级时,获取与目标数据检测层级所关联的目标数据检测配置信息,进而依据目标数据检测配置信息对待检测数据进行当前层级的目标数据检测。其中,目标数据检测配置信息可以是预先设置的用于对待检测数据进行质量检测的数据阈值或者数据指标的计算方法,例如,用于划分某一类型数据的数据质量的数据阈值,或者计算故障数据概率的方法等。
29.在一个具体的例子中,目标数据检测层级是信息点缺失检测层级,该层级用于检测待检测数据中是否缺失了某一信息点采集的数据,即是否缺失了冷站系统中需要采集的一类数据。在检测到待检测数据输入至信息点缺失检测层级时,可以从数据库中读取冷站系统所包含的全部信息点。进一步的,将待检测数据映射至对应信息点,当其中一个或者多个信息点不存在对应的数据时,可以确定待检测数据存在信息点缺失的问题。本实例中,目标数据检测配置信息即为冷站系统中所包含的信息点。
30.步骤120、依据待检测数据的质量检测结果,将待检测数据传入下一数据检测层级进行质量检测。
31.本公开实施例中,在目标数据检测层级对待检测数据进行质量检测,得到该层级对应的质量检测结果后,可以依据待检测数据的质量检测结果,将待检测数据传入下一数据检测层级进行质量检测。具体的,在目标数据检测层级得到的检测结果是数据可用的情况下,可以将待检测数据传入下一数据检测层级进行质量检测,在目标数据检测层级得到检测结果是数据不可用的情况下,不在进行下一层级的数据质量检测,而是直接输出目标数据检测层级对应的数据质量检测结果。
32.在一个具体的例子中,目标数据检测层级是信息点缺失检测层级,在该层级中,确定待检测数据存在信息点缺失的问题时,直接结束检测流程,并将信息点缺失的信息进行展示,不再将待检测数据传入下一数据检测层级。反之,若确定待检测数据中不存在信息点缺失的问题,则可以将待检测数据继续传入下一数据检测层级进行数据质量检测。例如,下一数据检测层级是数据完整度检测层级。
33.本发明实施例的技术方案,在检测到待检测数据输入目标数据检测层级时,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,进而依据待检测数据的质量检测结果,将待检测数据传入下一数据检测层级进行质量检测,实现分层级的对待检测数据进行质量检测,只有上一层级的检测结果满足设定条件,才会进入下一层级进行检测,提高了数据质量检测效率,减少了数据质量检测的工作量。
34.实施例二
35.图2为本发明实施例二中的一种数据质量检测方法的流程图,本实施例在上述实施例的基础上进一步细化,提供了依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测的具体步骤,以及依据待检测数据的质量检测结果,将待检测数据传入下一数据检测层级进行质量检测的具体步骤。下面结合图2对本发明实施例二提供的一种数据质量检测方法进行说明,包括以下步骤:
36.步骤210、在检测到待检测数据输入目标数据检测层级时,依据与目标数据检测层
级关联的目标数据检测配置信息,对待检测数据进行质量检测;待检测数据由冷站系统中至少两个信息点采集得到。
37.可选的,目标数据检测层级为信息点缺失检测层级、数据完整度检测层级、单支路数据检测层级、多支路关系检测层级、卡数判断层级、冷量表数据检测层级以及样本数据筛选层级中的至少一项。
38.本可选的实施例中,依据冷站系统中数据质量检测需求,目标数据检测层级可以是信息点缺失检测层级、数据完整度检测层级、单支路数据检测层级、多支路关系检测层级、卡数判断层级、冷量表数据检测层级以及样本数据筛选层级中的至少一项。
39.可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
40.在目标数据检测层级为信息点缺失检测层级的情况下,从数据库中读取冷站系统包含的至少两个信息点;
41.在待检测数据中确定与每个信息点关联的数据;
42.在至少一个信息点关联的数据量为0的情况下,确定待检测数据的质量检测结果为数据不可用。
43.本可选的实施例中,提供一种依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测的具体方式:在目标数据检测层级为信息点缺失检测层级的情况下,需要检测待检测数据中是否缺少某一信息点相关的数据。具体的,首先从数据库中读取冷站系统包含的信息点,进一步的,将待检测数据和各信息点进行匹配,在待检测数据中获取到与各信息点分别对应的数据。当一个或者多个信息点不存在对应数据时,可以确定待检测数据的指令检测结果为数据不可用。
44.在一个具体的例子中,首先从数据库中读取到冷站系统包含的3个信息点,进一步的,在待检测数据中查找与上述3个信息点分别对应的数据,例如,第一个信息点对应有100条数据,第二个信息点对应有150条数据,第三个信息点没有找到对应数据,则确定第三个信息点数据缺失。此时,可以确定待检测数据的指令检测结果为数据不可用。
45.可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
46.在目标数据质量检测层级为数据完整度检测层级的情况下,依据待检测数据的采集时间,计算完整数据占比;
47.在采集时间的跨度大于第一时间阈值,且完整数据占比大于设定占比阈值的情况下,确定待检测数据的质量检测结果为数据可用。
48.本可选的实施例中,提供另一种依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测的具体方式:在目标数据质量检测层级为数据完整度检测层级的情况下,需要对各信息点所关联数据的数据完整度进行检测。具体的,首先依据待检测数据的采集时间来计算每个信息点对应数据的完整数据占比,并在各信息点对应完整数据占比中,取最小值作为系统的完整数据占比。进一步的,在采集时间跨度大于第一时间阈值,并且系统的完整数据占比大于设定占比阈值的情况下,可以确定待检测数据的指令检测结果为数据可用。
49.在一个获取冷机开机数据的例子中,首先限定供冷季时间范围是6、7、8和9月,过
渡季时间范围是4、5、10和11月。针对每个信息点来说,依据待检测数据的采集时间,确定信息点采集到数据的时间长度,以及该信息点采集数据的总时间跨度,并通过计算采集到数据的时间长度和采集数据的总时间跨度之间的比值,得到该信息点的完整数据占比。例如,信息点的数据采集周期是15分钟,在两小时内理论上会采集到8组数据,但实际上,该信息点对应的两小时数据中仅包含5组数据,存在3组数据缺失,此时,完整数据占比即为5/8。同理,依次计算各信息点对应的完整数据占比,并取最小值,作为冷站系统的完整数据占比。在供冷季或者过渡季中采集数据的总时间跨度大于2个月,并且完整数据占比大于90%,则确定待检测数据的质量检测结果为数据可用。在不同时满足上述两个条件的情况下,则确定质量检测结果为数据不可用,直接结束检测流程,不再传入下一检测层级进行质量检测。
50.可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
51.在目标数据质量检测层级为数据完整度检测层级的情况下,依据待检测数据的采集时间,计算完整数据占比;
52.在完整数据占比大于设定占比阈值的情况下,确定待检测数据的质量检测结果为数据可用。
53.在一个获取冷机调节数据的例子中,输入到数据完整度检测层级的数据为7天内采集到的全部数据。针对每个信息点,依据该信息点关联数据的采集时间,确定信息点采集到数据的时间长度,以及该信息点采集数据的总时间跨度,并通过计算采集到数据的时间长度和采集数据的总时间跨度之间的比值,得到该信息点的完整数据占比。最终可以在各信息点对应的完整数据占比中选取最小值,作为冷站系统的完整数据占比。最终可以在完整数据占比大于90%的情况下,确定待检测数据的质量检测结果为大概率数据可用,在完整数据占比大于50%且小于或者等于90%。的情况下,确定待检测数据的质量检测结果为小概率数据可用。在完整数据占比小于或者等于50%的情况下,直接结束检测流程,不再传入下一检测层级进行质量检测。
54.可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
55.在目标数据质量检测层级为单支路数据检测层级的情况下,依据单支路数据检测层级关联的数据检测配置信息,在待检测数据中确定故障数据;
56.确定信息点对应的总数据量,以及该信息点对应的故障数据量,并依据总数据量和故障数据量,计算信息点的数据故障概率;
57.依据各信息点的数据故障概率,确定各信息点所属数据支路的数据故障概率;数据支路包括至少一个信息点;
58.在至少一个数据支路的数据故障概率大于或者等于设定概率阈值的情况下,确定待检测数据的质量检测结果为数据不可用。
59.本可选的实施例中,提供另一种依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测的具体方式:在目标数据质量检测层级为单支路数据检测层级的情况下,需要对冷站系统各支路中数据质量进行检测。具体的,首先依据单支路数据检测层级关联的数据检测配置信息,在待检测数据中确定故障数据,例如,数据检测配置信息包含了每个支路中各信息点关联数据的质量判断阈值,根据质量判断阈值,可以划
分每个信息点的质量数据。进一步的,针对每个信息点,确定该信息点对应的总数据量,以及该信息点对应的故障数据量,并通过计算故障数据量和总数据量之间的比值,得到该信息点的数据故障概率。进一步的,针对每个数据支路,可以分别确定该支路关联的信息点各自对应的数据故障概率,并在数据故障概率中选择最大值,作为该支路对应的数据故障概率。最终,在冷站系统中,若存在一个或者多个数据支路的数据故障概率大于或者等于20%,则确定待检测数据的质量检测结果为不可用。否则,确定待检测数据的质量检测结果为可用。具体的,在数据支路的数据故障概率小于5%时,确定该支路数据质量为大概率可用,在数据支路的数据故障概率大于或者等于5%,且小于20%时,确定该支路数据质量为小概率可用。
60.在一个具体的例子中,单支路数据检测层级关联的数据检测配置信息如表1所示,可以依据表1中的判断限制项,在各信息点对应的数据中确定故障数据。具体的,在数据满足对应信息点的判断限制条件时,确定该数据为正常数据,否则,确定该数据是故障数据。
61.表1
62.[0063][0064]
可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
[0065]
在目标数据质量检测层级为多支路关系检测层级的情况下,将待检测数据中归属第一数据支路的信息点关联的数据,与归属第二数据支路的信息点关联的数据进行比对;和/或,将待检测数据中归属第二数据支路的不同信息点关联的数据进行比对;
[0066]
依据比对结果,确定与进行比对的数据所属信息点关联的故障数据量;
[0067]
依据所述故障数据量;
[0068]
计算进行比对的数据所属信息点的数据故障概率;
[0069]
在至少一个信息点的数据故障概率大于或者等于设定概率阈值的情况下,确定待检测数据的质量检测结果为数据不可用。
[0070]
本可选的实施例中,提供另一种依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测具体方式:在目标数据质量检测层级为多支路关系检测层级的情况下,需要对不同支路之间数据的关联关系进行检测。具体的,将待检测数据中归属于第一数据支路的信息点关联的数据,与归属于第二数据支路的信息点关联的数据进行比对,例如,第一数据支路的信息点关联的数据是指与系统支路中冷冻水供水温度设定,第二支路的信息点关联的数据是指冷机支路的冷冻水出水温度设定。还可以是将归属于第二数据支路的不同信息点关联的数据进行比对,例如,归属于第二数据支路的不同信息点关联的数据,可以是归属于冷机支路的冷冻水供水温度和冷冻水回水温度,还可以是冷却水出水温度和冷却水回水温度。
[0071]
在比对完成后,可以依据比对结果,确定与进行比对的数据所属信息点关联的故障数据量,并依据故障数据量计算进行比对的数据所属信息点的数据故障概率,例如,在比对结果满足设定条件的情况下,确定进行比对的数据是正常数据,否则,比对数据为故障数据。在一个或者多个信息点的数据故障概率大于或者等于设定概率阈值的情况下,确定待检测数据的质量检测结果是数据不可用。
[0072]
在一个具体的例子中,依据下述判断条件,获取故障数据:
[0073]
a.判断系统支路中的冷站每小时累计供冷量是否小于开机冷机的总额定冷量*
1.2,若是,则确定当前判断的数据是正常数据,否则,确定为故障概率;
[0074]
b.判断系统支路中的冷冻水供水温度设定是否等于冷机支路的冷冻水出水温度设定,若是,则确定当前判断的冷冻水供水温度设定是正常数据,否则,确定为故障数据;
[0075]
c.判断冷机支路中冷冻水供水温度是否小于冷冻水回水温度,若是,则确定当前判断的冷冻水供水温度是正常数据,否则,确定为故障数据;
[0076]
d.判断冷机支路中冷却水供水温度是否小于冷却水回水温度,若是,则确定当前判断的冷却水供水温度是正常数据,否则,确定为故障数据。
[0077]
通过上述比对过程,确定故障数据后,分别计算采集冷站每小时累计供冷量数据的信息点对应的数据故障概率、采集冷冻水供水温度设定的信息点对应的数据故障概率、采集冷冻水供水温度的信息点对应的数据故障概率以及采集冷却水供水温度的信息点对应的数据故障概率。其中,针对每个信息点,数据故障概率计算方式均是计算信息单关联的故障数据量和该信息点关联的总数据量的比值。进一步的,在上述4个信息点的数据故障概率中取最大值作为最终的数据故障概率,当最终的数据故障概率大于或者等于20%情况下,确定待检测数据的质量检测结果为不可用。否则,确定待检测数据的质量检测结果为可用。具体的,在最终的数据故障概率小于5%时,确定待检测数据的质量为大概率可用,在最终的数据故障概率大于或者等于5%,且小于20%时,确定待检测数据的数据质量为小概率可用。
[0078]
可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
[0079]
在目标数据质量检测层级为卡数判断层级的情况下,在待检测数据中,确定至少一个信息点关联的数据保持不变的最大持续时长;
[0080]
若最大持续时长超过第二时间阈值,则确定待检测数据的质量检测结果为数据不可用。
[0081]
本可选的实施例中,提供了另一种依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测的具体方式:在目标数据质量检测层级为卡数判断层级的情况下,需要判断待检测数据中各信息点是否出现卡数现象。具体的,在待检测数据中确定至少一个信息点关联的数据保持不变的最大持续时长,若最大持续时长超过了预先设定的第二时间阈值,则确定待检测数据的质量检测结果为数据不可用,否则,确定待检测数据的质量检测结果为数据可用。
[0082]
在一个具体的例子中,依据待检测数据的采集时间,在待检测数据的每个信息点对应的数据中,确定数据保持不变的最大持续时长。进一步的,将最大持续时长与预先设定的各信息点匹配的第二时间阈值进行比对,若超过第二时间阈值,则确定待检测数据的质量检测结果为数据不可用。其中,与各信息点匹配的第二时间阈值如表2所示:
[0083]
表2
[0084][0085]
可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
[0086]
在目标数据质量检测层级为冷量表数据检测层级的情况下,确定与系统支路关联的至少一个目标信息点,并依据冷量表数据检测层级关联的数据检测配置信息,在与目标信息点关联的数据中确定故障数据;
[0087]
根据目标信息点对应的故障数据量和总数据量,计算各目标信息点的数据故障概率;
[0088]
在至少一个目标信息点的数据故障概率大于或者等于设定概率阈值的情况下,确定待检测数据的质量检测结果为数据不可用。
[0089]
本可选的实施例中,提供另一种依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测的具体方式:在目标数据质量检测层级为冷量表数据检测层级的情况下,需要对冷机开机状态下,判断与系统支路关联的目标信息点,并根据冷量表数据检测层级关联的数据检测配置信息,在于目标信息点关联的数据中确定故障数据。其中,数据检测配置信息可以是用于划分数据质量的阈值数据。进一步的,针对每个目标信息点,可以根据目标信息点对应的故障数据量和总数据量,计算目标信息点的数据故障概率。最终在一个或者多个目标信息点的数据故障概率大于或者等于设定概率阈值的情况下,确定待检测数据的质量检测结果为数据不可用。
[0090]
在一个具体的例子中,确定与系统支路关联的目标信息点有4个,4个目标信息点采集的数据分别是冷冻水总管供水温度、冷冻水总管回水温度以及冷冻水总管流量。依据下述判断条件,在上述4个目标信息点采集的数据中确定故障数据:
[0091]
a.冷冻水总管供水温度在所有冷机蒸发器出水温度中最低值的
±
1℃范围内;
[0092]
b.冷冻水总管回水温度在所有冷机蒸发器回水温度中最低值的
±
1℃范围内;
[0093]
c.冷机开始时,冷冻水总管流量大于100立方米/小时。
[0094]
在得到各目标信息点对应的故障数据后,依据各目标信息点对应的故障数据量和总数据量,计算各目标信息点对应的数据故障概率。在上述4个目标信息点对应的数据故障概率中选择最大值作为该层级最终的数据故障概率,最终的数据故障概率大于或者等于20%情况下,确定待检测数据的质量检测结果为不可用。否则,确定待检测数据的质量检测结果为可用。具体的,在最终的数据故障概率小于5%时,确定待检测数据的质量为大概率可用,在最终的数据故障概率大于或者等于5%,且小于20%时,确定待检测数据的数据质量为小概率可用。
[0095]
可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
[0096]
在目标数据质量检测层级为样本数据筛选层级的情况下,依据与样本数据筛选层级关联的数据检测配置信息,确定待检测数据中断数数据,并对断数数据进行差分填补,得到补全后的待检测数据;
[0097]
在补全后的待检测数据中,筛选满足冷机开机条件的目标数据;
[0098]
将目标数据映射到预先划分的至少一个时间区间,在设定时间区间关联的目标数据的数据量大于第一数量阈值的情况下,确定待检测数据的质量检测结果为数据可用;目标数据用于作为开机模型训练样本。
[0099]
本可选的实施例中,提供了另一种依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测的具体方式:在目标数据质量检测层级为样本数据筛选层级的情况下,依据与样本数据筛选层级关联的数据检测配置信息,确定待检测数据中的缺失数据,并依据与缺失数据相邻的数据,对断数数据进行差分填补,得到补全后的待检测数据。在补全后的待检测数据中,筛选满足冷机开机条件的目标数据,并将目标数据映射到预先划分的多个时间区间内。进一步的,在设定时间区间关联的目标数据的数据量大于第一数量阈值的情况下,可以确定待检测数据的质量检测结果为数据可用,否则,确定为数据不可用。其中,目标数据可以作为冷机开机模型的训练样本。
[0100]
在一个具体的例子中,待检测数据中包含室内温度、室外湿球温度、冷冻水总管回水温度和冷站每小时累计供冷量,在室内温度数据中查找[10,35]范围之外的数据,将该数据确定为断数,进而依据与其相邻的前方或者后方数据,对断数所在位置进行差分填补,得到补全后的室内温度数据;在室外湿球温度数据中查找[10,35]范围之外的数据,将该数据确定为断数,进而依据与其相邻的前方或者后方数据,对断数所在位置进行差分填补,得到补全后的室外湿球温度数据;在冷冻水总管回水温度查找[-50,50]范围之外的数据,将该数据确定为断数,进而依据与其相邻的前方或者后方数据,对断数所在位置进行差分填补,得到补全后的冷冻水总管回水温度;在冷站每小时累计供冷量数据中查找[0,99999]范围之外的数据,将该数据确定为断数,进而依据与其相邻的前方或者后方数据,对断数所在位置进行差分填补,得到补全后的冷站每小时累计供冷量数据。值得注意的是,在断数的数据量超出设定阈值时,可以将当日的数据进行删除。
[0101]
在补全后的待检测数据中,筛选出每天中每小时累计供冷量暴增(例如,第一条差
分值大于100的数据)的数据,并将该数据映射到预先划分的时间区间内。具体的,时间区间分为[6,9),[9,10),[10,11),[11,12)。若映射到前3个时间段的数据条数大于30条,则确定待检测数据的质量检测结果为数据可用,得到的数据可以用于建立用于预测开机数据的供冷季模型。若映射到后3个时间段的样本数据量大于30条,并且前两个时间段大于20条,则确定待检测数据的质量检测结果为数据可用,得到的数据可以建立用于预测开机数据的过渡季模型。若不满足上述两种情况,则确定质量检测结果为数据不可用。
[0102]
可选的,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,包括:
[0103]
在目标数据质量检测层级为样本数据筛选层级的情况下,依据与样本数据筛选层级关联的数据检测配置信息,确定待检测数据中断数数据,并对断数数据进行差分填补,得到补全后的待检测数据;
[0104]
确定补全后的待检测数据的数据量;
[0105]
在数据量大于第二数据阈值的情况下,确定待检测数据的质量检测结果为数据可用;补全后的待检测数据用于作为调节模型训练样本。
[0106]
本实施例中,提供另一种依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测的具体方式:在目标数据质量检测层级为样本数据筛选层级的情况下,首先依据与样本数据筛选层级关联的数据检测配置信息,确定待检测数据中的断数数据,并依据与断数数据相邻的数据对断数数据进行填补,得到补全后的待检测数据。进一步的,确定在设定时间段内(例如,在5天内)补全后的待检测数据的数据量,在数据量大于第二数据阈值的情况下,确定待检测数据的质量检测结果为数据可用。
[0107]
在一个具体的例子中,待检测数据中包含室内温度、室外湿球温度、冷冻水总管回水温度和冷站每小时累计供冷量,在待检测数据确定断数数据,并对断数数据所在位置进行差分填补的方式与上一可选的实施例相同,此处不再赘述。在5天内的待检测数据大于480条,则可以确定待检测数据的质量检测结果为数据可用。这些待检测数据可以用于建立供冷季或者过渡季的调节模型。
[0108]
步骤220、在待检测数据的质量检测结果为数据可用的情况下,将待检测数据传入下一数据检测层级进行质量检测。
[0109]
本实施例中,在目标数据检测层级检测到待检测数据的质量检测结果是数据可用的情况下,将待检测数据传入下一数据检测层级继续进行质量检测,实现分层级的数据质量检测。
[0110]
示例性的,在信息点缺失检测层级,检测到待检测信息没有信息点数据缺失的问题,则可以将待检测数据传入数据完整度检测层级,进行数据完整度检测。
[0111]
步骤230、在待检测数据的质量检测结果为数据不可用的情况下,结束检测流程,并展示待检测数据的质量检测结果。
[0112]
本实施例中,在目标数据检测层级检测到待检测数据的质量检测结果是数据不可用的情况下,不会继续将待检测数据传入下一数据检测层级进行质量检测,而是直接结束检测流程,并展示待检测数据的质量检测结果,使得监控人员可以及时定位数据质量问题,节省数据质量问题检测所需的人力成本。
[0113]
示例性的,在信息点缺失检测层级,检测到一个或者多个信息点存在数据缺失的
问题,则直接结束检测流程,减少数据质量检测的工作量,并且将缺失数据的信息点进行展示,使得监控人员可以及时定位数据质量问题。
[0114]
本发明实施例的技术方案,在检测到待检测数据输入目标数据检测层级时,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,在待检测数据的质量检测结果为数据可用的情况下,将待检测数据传入下一数据检测层级进行质量检测,在待检测数据的质量检测结果为数据不可用的情况下,结束检测流程,并展示待检测数据的质量检测结果。通过分层级的对待检测数据进行质量检测,在数据质量不合格时直接抛出异常,不再进行下一层级的质量检测,提高了数据质量检测效率。
[0115]
实施例三
[0116]
图3为本发明实施例二中的一种数据质量检测方法的流程图。下面结合图3对本发明实施例三提供的一种数据质量检测方法进行说明,包括以下步骤:
[0117]
步骤310、将待检测数据输入至信息点缺失检测层级,检测是否存在信息点缺失问题,若是,则结束检测流程,重新开始下一批数据的检测,并展示信息点缺失问题;若否,则执行步骤320。
[0118]
步骤320、将待检测数据输入至数据完整度检测层级,检测数据完整度是否合格,若是,则执行步骤330;若否,则结束检测流程,重新开始下一批数据的检测,并展示数据完整度问题。
[0119]
步骤330、将待检测数据输入至单支路数据检测层级,检测各数据支路的数据是否合格,若是,则执行步骤340;若否,则结束检测流程,并展示数据不合格的数据支路。
[0120]
步骤340、将待检测数据输入至多支路关系检测层级,检测数据支路之间的数据关联关系是否合格,若是,则执行步骤350;若否,则结束检测流程,重新开始下一批数据的检测,并展示数据支路间数据关联关系不合格的信息。
[0121]
步骤350、将待检测数据输入至卡数判断层级,检测各信息点关联的数据是否存在卡数,若是,则结束检测流程,重新开始下一批数据的检测,并展示卡数问题;若否,则执行步骤360。
[0122]
步骤360、将待检测数据输入至冷量表数据检测层级,检测系统支路关联的数据是否合格,若是,则执行步骤370或者380;若否,则结束检测流程,重新开始下一批数据的检测,并展示系统支路关联的数据不合格的信息。
[0123]
步骤370、依据待检测数据的采集时间,确定待检测数据中断数数据,并对断数数据进行差分填补,在补全后的数据中获取满足冷机开机条件的目标数据,在目标数据的数据量大于第一数量阈值时,确定待检测数据的质量检测结果为数据可用。
[0124]
步骤380、依据待检测数据的采集时间,确定待检测数据中断数数据,并对断数数据进行差分填补,在补全后的待检测数据的数据量大于第二数量阈值时,确定待检测数据的质量检测结果为数据可用。
[0125]
可以理解的是,步骤370和步骤380是根据实际场景择一执行的。在筛选开机模型的训练样本的场景下,执行步骤370,在筛选调节模型的训练样本的场景下,执行步骤380。
[0126]
本发明实施例的技术方案,对待检测数据进行分层级的质量检测,只有在上一层级检测合格,才会将待检测数据传入下一层级继续进行质量检测,可以减少数据质量检测的工作量,并且节省数据质量检测的人力成本。
[0127]
实施例四
[0128]
图4为本发明实施例四提供的一种数据质量检测装置的结构示意图,该数据质量检测装置,包括:数据质量检测模块410和数据传入模块420。
[0129]
数据质量检测模块410,用于在检测到待检测数据输入目标数据检测层级时,依据与所述目标数据检测层级关联的目标数据检测配置信息,对所述待检测数据进行质量检测;所述待检测数据由冷站系统中至少两个信息点采集得到;
[0130]
数据传入模块420,用于依据待检测数据的质量检测结果,将所述待检测数据传入下一数据检测层级进行质量检测。
[0131]
本发明实施例的技术方案,在检测到待检测数据输入目标数据检测层级时,依据与目标数据检测层级关联的目标数据检测配置信息,对待检测数据进行质量检测,进而依据待检测数据的质量检测结果,将待检测数据传入下一数据检测层级进行质量检测,实现分层级的对待检测数据进行质量检测,只有上一层级的检测结果满足设定条件,才会进入下一层级进行检测,提高了数据质量检测效率,减少了数据质量检测的工作量。
[0132]
可选的,数据传入模块420,包括:
[0133]
数据传入单元,用于在待检测数据的质量检测结果为数据可用的情况下,将所述待检测数据传入下一数据检测层级进行质量检测;
[0134]
检测结果展示单元,用于在待检测数据的质量检测结果为数据不可用的情况下,结束检测流程,并展示待检测数据的质量检测结果。
[0135]
可选的,目标数据检测层级为信息点缺失检测层级、数据完整度检测层级、单支路数据检测层级、多支路关系检测层级、卡数判断层级、冷量表数据检测层级以及样本数据筛选层级中的至少一项。
[0136]
可选的,数据质量检测模块410,包括:
[0137]
信息点读取单元,用于在目标数据检测层级为信息点缺失检测层级的情况下,从数据库中读取冷站系统包含的至少两个信息点;
[0138]
关联数据获取单元,用于在所述待检测数据中确定与每个信息点关联的数据;
[0139]
第一检测结果确定单元,用于在至少一个信息点关联的数据量为0的情况下,确定所述待检测数据的质量检测结果为数据不可用。
[0140]
可选的,数据质量检测模块410,包括:
[0141]
完整数据占比计算单元,用于在目标数据质量检测层级为数据完整度检测层级的情况下,依据所述待检测数据的采集时间,计算完整数据占比;
[0142]
第二检测结果确定单元,用于在所述采集时间的跨度大于第一时间阈值,且所述完整数据占比大于设定占比阈值的情况下,确定所述待检测数据的质量检测结果为数据可用。
[0143]
可选的,数据质量检测模块410,包括:
[0144]
第一故障数据确定单元,用于在目标数据质量检测层级为单支路数据检测层级的情况下,依据所述单支路数据检测层级关联的数据检测配置信息,在所述待检测数据中确定故障数据;
[0145]
第一信息点故障概率计算单元,用于确定信息点对应的总数据量,以及该信息点对应的故障数据量,并依据所述总数据量和故障数据量,计算信息点的数据故障概率;
[0146]
支路故障概率确定单元,用于依据各信息点的数据故障概率,确定各信息点所属数据支路的数据故障概率;所述数据支路包括至少一个信息点;
[0147]
第三检测结果确定单元,用于在至少一个数据支路的数据故障概率大于或者等于设定概率阈值的情况下,确定所述待检测数据的质量检测结果为数据不可用。
[0148]
可选的,数据质量检测模块410,包括:
[0149]
数据比对单元,用于在目标数据质量检测层级为多支路关系检测层级的情况下,将待检测数据中归属第一数据支路的信息点关联的数据,与归属第二数据支路的信息点关联的数据进行比对;和/或,将待检测数据中归属第二数据支路的不同信息点关联的数据进行比对;
[0150]
故障数据量确定单元,用于依据比对结果,确定与进行比对的数据所属信息点关联的故障数据量;
[0151]
第二信息点故障概率计算单元,用于依据所述故障数据量,计算进行比对的数据所属信息点的数据故障概率;
[0152]
第四检测结果确定单元,用于在至少一个信息点的数据故障概率大于或者等于设定概率阈值的情况下,确定所述待检测数据的质量检测结果为数据不可用。
[0153]
可选的,数据质量检测模块410,包括:
[0154]
持续时长确定单元,用于在目标数据质量检测层级为卡数判断层级的情况下,在待检测数据中,确定至少一个信息点关联的数据保持不变的最大持续时长;
[0155]
第五检测结果确定单元,用于若所述最大持续时长超过第二时间阈值,则确定所述待检测数据的质量检测结果为数据不可用。
[0156]
可选的,数据质量检测模块410,包括:
[0157]
第二故障数据确定单元,用于在目标数据质量检测层级为冷量表数据检测层级的情况下,确定与系统支路关联的至少一个目标信息点,并依据所述冷量表数据检测层级关联的数据检测配置信息,在与所述目标信息点关联的数据中确定故障数据;
[0158]
第三信息点故障概率计算单元,用于根据目标信息点对应的故障数据量和总数据量,计算各目标信息点的数据故障概率;
[0159]
第六检测结果确定单元,用于在至少一个目标信息点的数据故障概率大于或者等于设定概率阈值的情况下,确定所述待检测数据的质量检测结果为数据不可用。
[0160]
可选的,数据质量检测模块410,包括:
[0161]
第一数据补全单元,用于在目标数据质量检测层级为样本数据筛选层级的情况下,依据待检测数据的采集时间,确定所述待检测数据中断数数据,并对所述断数数据进行差分填补,得到补全后的待检测数据;
[0162]
目标数据筛选单元,用于在所述补全后的待检测数据中,筛选满足冷机开机条件的目标数据;
[0163]
第七检测结果确定单元,用于将所述目标数据映射到预先划分的至少一个时间区间,在设定时间区间关联的目标数据的数据量大于第一数量阈值的情况下,确定所述待检测数据的质量检测结果为数据可用;所述目标数据用于作为开机模型训练样本。
[0164]
可选的,数据质量检测模块410,包括:
[0165]
第二数据补全单元,用于在目标数据质量检测层级为样本数据筛选层级的情况
下,依据待检测数据的采集时间,确定所述待检测数据中断数数据,并对所述断数数据进行差分填补,得到补全后的待检测数据;
[0166]
数据量确定单元,用于确定所述补全后的待检测数据的数据量;
[0167]
第八检测结果确定单元,用于在所述数据量大于第二数据阈值的情况下,确定所述待检测数据的质量检测结果为数据可用;所述补全后的待检测数据用于作为调节模型训练样本。
[0168]
本发明实施例所提供的数据质量检测装置可执行本发明任意实施例所提供的数据质量检测方法,具备执行方法相应的功能模块和有益效果。
[0169]
实施例五
[0170]
图5为本发明实施例五提供的一种电子设备的结构示意图,如图5所示,该电子设备包括处理器50、存储器51、输入装置52和输出装置53;设备中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接,图5中以通过总线连接为例。
[0171]
存储器51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据质量检测方法对应的程序指令/模块(例如,数据质量检测装置中的数据质量检测模块410和数据传入模块420)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的数据质量检测方法,包括:
[0172]
在检测到待检测数据输入目标数据检测层级时,依据与所述目标数据检测层级关联的目标数据检测配置信息,对所述待检测数据进行质量检测;所述待检测数据由冷站系统中至少两个信息点采集得到;
[0173]
依据待检测数据的质量检测结果,将所述待检测数据传入下一数据检测层级进行质量检测。
[0174]
存储器51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器51可进一步包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0175]
实施例六
[0176]
本发明实施例六还提供一种其上存储有计算机程序的计算机可读存储介质,所述计算机程序在由计算机处理器执行时用于执行一种数据质量检测方法,该方法包括:
[0177]
在检测到待检测数据输入目标数据检测层级时,依据与所述目标数据检测层级关联的目标数据检测配置信息,对所述待检测数据进行质量检测;所述待检测数据由冷站系统中至少两个信息点采集得到;
[0178]
依据待检测数据的质量检测结果,将所述待检测数据传入下一数据检测层级进行质量检测。
[0179]
当然,本发明实施例所提供的包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据质量检测
方法中的相关操作。
[0180]
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,应用服务器,或者网络设备等)执行本发明各个实施例所述的方法。
[0181]
值得注意的是,上述一种数据质量检测装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
[0182]
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献