一种数据处理的方法、装置、设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种数据处理的方法、装置、设备及存储介质。


背景技术：

2.随着综合能源系统的零碳解决方案的迅速发展，对能接入包括各类供能/用能设备(如风、光、储、充、氢、电负荷以及冷热负荷等设备)以及多种能源形式(如冷、热、电以及氢等)的数据采集边缘设备的需求也愈发急迫。
3.通常，边缘采集设备可以在利用通讯协议读取各类供能/用能设备的数据后，再利用通讯技术将读取到的数据传输到云平台，当云平台需要配置数据点时，边缘采集设备也可以利用通讯技术和通讯协议，配置外部设备的相应数据，从而实现了云平台和外部设备之间数据的传输，以及云平台对外部设备的控制。
4.然而，各种用能设备和供能设备的数据的特征通常存在较大差异，常规的数据采集边缘设备对采集到的数据的处理方式较为单一，从而导致处理之后得到的数据仍存在较多问题，如仍存在异常值，且不能对园区级的大量且多种类的数据进行有效的处理。


技术实现要素：

5.本发明提供了一种数据处理的方法、装置、设备及存储介质，以实现对大量且多种类的数据进行有效的处理。
6.第一方面，本发明实施例提供了一种数据处理的方法，应用于数据采集边缘设备，所述方法包括：
7.获取待处理数据，其中，所述待处理数据基于所述数据采集边缘设备从预设设备采集到的原始数据确定；
8.确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，其中，
9.所述预设问题包括数据异常、数据缺失以及数据噪声中的至少一种；
10.利用所述目标算法处理所述待处理数据，得到目标数据。
11.第二方面，本发明实施例提供了一种数据处理的装置，配置于数据采集边缘设备，所述装置包括：
12.数据获取模块，用于获取待处理数据，其中，所述待处理数据基于所述数据采集边缘设备从预设设备采集到的原始数据确定；
13.目标算法确定模块，用于确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，其中，所述预设问题包括数据异常、数据缺失以及数据噪声中的至少一种；
14.数据处理模块，用于利用所述目标算法处理所述待处理数据，得到目标数据。
15.第三方面，本发明实施例提供了一种数据采集边缘设备，该数据采集边缘设备包
括：
16.至少一个处理器；
17.以及与至少一个处理器通信连接的存储器；
18.其中，存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面的数据处理的方法。
19.第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现上述第一方面的数据处理的方法。
20.本发明实施例提供的数据处理的方案，获取待处理数据，其中，所述待处理数据基于所述数据采集边缘设备从预设设备采集到的原始数据确定，确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，其中，所述预设问题包括数据异常、数据缺失以及数据噪声中的至少一种，利用所述目标算法处理所述待处理数据，得到目标数据。通过采用上述技术方案，先获取待处理数据，然后根据待处理数据的数据特征确定待处理数据的问题，并根据该数据特征选定处理该问题的算法，即确定目标算法，最后利用目标算法处理待处理数据，得到目标数据，针对待处理数据中不同的数据特征，有针对性的确定处理该待处理数据的算法，避免了因单一处理方式造成的数据处理效果不佳的问题，可以适应不同类型的预设设备且可以有效处理园区级的大量且多种类的数据。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是根据本发明实施例一提供的一种数据处理的方法的流程图；
24.图2是根据本发明实施例一提供的一种数据采集边缘设备的结构示意图；
25.图3是根据本发明实施例二提供的一种数据处理的方法的流程图；
26.图4是根据本发明实施例三提供的一种数据处理的装置的结构示意图；
27.图5是根据本发明实施例四提供的一种数据采集边缘设备的结构示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
29.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.实施例一
31.图1为本发明实施例一提供了一种数据处理的方法的流程图，本实施例可适用于处理从预设设备获取到的数据的情况，预设设备例如可以是供能设备和/或用能设备。该方法可以由数据处理的装置来执行，该数据处理的装置可以采用硬件和/或软件的形式实现，该数据处理的装置可配置于数据采集边缘设备中，该数据采集边缘设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。
32.如图1所示，该本发明实施例一提供的一种数据处理的方法，具体包括如下步骤：
33.s101、获取待处理数据，其中，所述待处理数据基于所述数据采集边缘设备从预设设备采集到的原始数据确定。
34.具体的，数据采集边缘设备可以位于能量管理系统三层结构中的中间，即传输层，其主要起到连接上层应用层和下层设备层的承上启下作用。数据采集边缘设备可以具备南北向接口，南向接口可以实现原始数据的采集以及将控制指令下发等功能，北向接口可以实现对原始数据处理后的上传以及接收应用层控制指令等功能。图2为一种数据采集边缘设备的结构示意图，如图2所示，数据采集边缘设备的驱动封装层可以包含外设模块和协议栈模块，外设模块可以按照操作对象，如通用异步收发器和网口等，对接口进行封装，从而为数据处理模块等提供统一的接口，协议栈模块可以对modbus rtu、modbus tcp、iec 104、dl/t 645以及cj/t 188等协议进行封装。数据采集边缘设备的功能模块层可以包含采集模块和转发模块，采集模块可以通过端口，实时的进行设备连接状态的检测和连接，并对下层设备进行定期和/或不定期的数据采集，以及在接受上位机指令之后，对设备测点数据的修改，转发模块可以实现工作站后台的数据中转，完成对采集器内部数据的接收和转发、对后台请求命令的应答以及将数据转发至采集器内部其它模块。数据采集边缘设备的数据处理层可以包含数据保存模块和数据处理模块，数据保存模块可以在从采集模块中接收数据之后，根据业务逻辑将相关测点数据保存到预设存储区域中，数据处理模块可以定时将预设存储区域中的数据分段取出，同时对相关测点的数据进行处理，然后将处理后的数据传递给转发模块。其中，数据处理模块处理的数据可以采用先进先出的数据队列形式。
35.在本实施例中，数据采集边缘设备从预设设备，例如用电设备和/或发电设备中采集到数据后，可以先将该数据存储至数据采集边缘设备的预设存储区内，当需要对数据进行处理时，可以从预设存储区域内读取该数据，该数据即为待处理数据，其中，原始数据可以理解为从预设设备中采集到的且未经过处理的数据。
36.s102、确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据
是否存在预设问题，若存在，则根据所述数据特征确定目标算法，其中，所述预设问题包括数据异常、数据缺失以及数据噪声中的至少一种。
37.在本实施例中，由于预设设备，例如用电设备和/或发电设备的不稳定性，所以未经处理的数据，即从预设存储区域中读取的待处理数据，通常存在一些问题，如数据异常、数据缺失以及数据噪声等，则可以先确定待处理数据的数据特征，再根据数据特征判断是否存在上述问题，若存在，可根据不同的数据特征选取不同的算法，即目标算法，来解决待处理数据中存在的问题，其中，待处理数据中可以同时存在多种问题，数据异常可以包括数据值过大和数据值过小，数据缺失可以理解为待处理数据中的数据不完整，存在缺失现象，数据噪声可以理解为待处理数据中存在偏离数据期望值的干扰数据。
38.s103、利用所述目标算法处理所述待处理数据，得到目标数据。
39.在本实施例中，当确定出目标算法后，可以利用目标算法处理待处理数据，从而得到处理后的数据，即目标数据，如上文所述，该目标数据可以传递给数据采集边缘设备的转发模块，其中，上述步骤101-103可以由数据采集边缘设备中的处理模块实现。
40.本发明实施例提供的数据处理的方法，获取待处理数据，其中，所述待处理数据基于所述数据采集边缘设备从预设设备采集到的原始数据确定，确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，其中，所述预设问题包括数据异常、数据缺失以及数据噪声中的至少一种，利用所述目标算法处理所述待处理数据，得到目标数据。本发明实施例技术方案，数据采集边缘设备先从预设设备中采集待处理数据，然后根据待处理数据的数据特征确定待处理数据的问题，并根据该数据特征选定处理该问题的算法，即确定目标算法，最后利用目标算法处理待处理数据，得到目标数据，针对待处理数据中不同的数据特征，有针对性的确定处理该待处理数据的算法，避免了因单一处理方式造成的数据处理效果不佳的问题，可以适应不同类型的预设设备且有效的处理了园区级的大量且多种类的数据。
41.可选的，所述确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，包括：确定所述待处理数据的数据特征是否存在第一数据特征；若存在所述第一数据特征，则根据所述第一数据特征中的数据异常判断特征，判断所述待处理数据是否存在数据异常，其中，所述第一数据特征包括所述数据异常判断特征和第一算法选择特征；若存在所述数据异常，则根据所述第一算法选择特征，从预设算法库中，确定第一目标算法；其中，所述利用所述目标算法处理所述待处理数据，得到目标数据，包括：利用所述第一目标算法处理所述待处理数据，得到第一目标数据，其中，所述第一目标算法属于所述目标算法，所述第一目标数据属于所述目标数据。这样设置的好处在于，通过确定待处理数据的数据特征，可以甄别出待处理数据是否存在数据异常的问题，当数据异常问题存在时，在算法库中选定最合适的算法，来处理数据异常的问题。
42.可选的，所述确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，包括：确定所述待处理数据的数据特征是否存在第二数据特征；若存在所述第二数据特征，则根据所述第二数据特征中的数据缺失判断特征，判断所述待处理数据是否存在数据缺失，其中，所述第二数据特征包括所述数据缺失判断特征和第二算法选择特征；若存在所述数据缺失，则根据
所述第二算法选择特征，从预设算法库中，确定第二目标算法；其中，所述利用所述目标算法处理所述待处理数据，得到目标数据，包括：利用所述第二目标算法处理所述待处理数据，得到第二目标数据，其中，所述第二目标算法属于所述目标算法，所述第二目标数据属于所述目标数据。这样设置的好处在于，在处理完待处理数据的数据异常的问题之后，还可以根据得到的待处理数据的数据特征，甄别出是否还存在数据缺失的问题，当数据缺失问题存在时，在算法库中选定最合适的算法，来处理数据缺失的问题。
43.可选的，所述确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，包括：确定所述待处理数据的数据特征是否存在第三数据特征；若存在所述第三数据特征，则根据所述第三数据特征中的数据噪声判断特征，判断所述待处理数据是否存在数据噪声，其中，所述第三数据特征包括所述数据噪声判断特征和第三算法选择特征；若存在所述数据噪声，则根据所述第三算法选择特征，从预设算法库中，确定第三目标算法；其中，所述利用所述目标算法处理所述待处理数据，得到目标数据，包括：利用所述第三目标算法处理所述待处理数据，得到第三目标数据，其中，所述第三目标算法属于所述目标算法，所述第三目标数据属于所述目标数据。这样设置的好处在于，在处理完数据异常和数据缺失的问题之后，还可以根据得到的待处理数据的数据特征，甄别出是否还存在数据噪声的问题，当数据噪声问题存在时，在算法库中选定最合适的算法，来处理数据噪声的问题，通过三次的处理，保证了数据的有效性。
44.实施例二
45.图3为本发明实施例二提供的一种数据处理的方法的流程图，本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化，给出了处理数据的具体方式，如图3所示，本实施例可适用于对待处理数据可能存在多种预设问题，即数据异常、数据缺失以及数据噪声，进行依次判断和处理的情况。其中，按照处理的先后顺序，可将前一项处理后得到的数据作为后一项处理的待处理数据。
46.如图3所示，本发明实施例二提供的一种数据处理的方法，具体包括如下步骤：
47.s201、获取待处理数据。
48.可选的，在所述获取待处理数据之前，还包括：从预设设备采集原始数据以及获取所述预设设备使用的通讯协议；判断所述通讯协议是否和预设目标通讯协议一致；若不一致，则将所述原始数据转换为待处理数据，并将所述待处理数据存入预设存储区域，其中，所述待处理数据符合所述预设目标通讯协议中的通讯规则。这样设置的好处在于，确保数据采集边缘设备可以兼容不同的通讯协议，使数据采集边缘设备可以从市面上绝大多数的用电设备和供电设备中获取数据。
49.具体的，在获取待处理数据之前，可以先从用电设备和/或发电设备中采集原始数据，并确定该原始数据对应的通讯协议，然后判断该通讯协议是否和预先设定的通讯协议一致，即是否与预设目标通讯协议一致，若一致，则可将该原始数据写入预设存储区域，若不一致，则可将原始数据的通讯协议转换为预设目标通讯协议，具体操作可以为，更改原始数据遵循的通讯格式，使更改后的原始数据符合预设目标通讯协议中的通讯规则，从而得到待处理数据，并将其写入预设存储区域。其中，预设目标通讯协议一般设置为较为通用的通讯协议，如cj/t 188。
50.进一步的，所述将所述待处理数据存入预设存储区域，包括：判断所述待处理数据是否为加密数据，若是，则对所述待处理数据进行解密操作，得到解密后的待处理数据，并将所述解密后的待处理数据存入预设存储区域。这样设置的好处在于，通过解密，保证了数据采集边缘设备获取到的加密数据的有效性。
51.具体的，由于不同的客户需求，部分原始数据可能存在保密性，这部分原始数据通常经过了加密处理，经过加密处理的原始数据会在固定的数据位中标识出来，如置1等，加密的方式也会在其他固定的数据位中标识出来，因此可以在将待处理数据存入预设存储区域之前，判断出待处理数据是否为加密数据，若是，则可以先对待处理数据进行解密操作，在得到解密后的待处理数据后，并其存入预设存储区域，若否，则可以将待处理数据直接存入预设存储区域。
52.可选的，也可以对从预设存储区域取出的待处理数据进行加密处理，从而得到加密后的待处理数据，以保证数据的安全性和保密性，加密的方式在此不做限定，如按照sm4.0密码算法进行加密处理
53.s202、确定待处理数据的数据特征是否存在第一数据特征，若存在，则执行步骤203，若不存在，则执行步骤205。
54.具体的，可以提取待处理数据的数据特征，确定该数据特征是否为设定的数据特征，即第一数据特征，若该数据特征和设定的数据特征一致，则可以执行步骤203，否则可以执行步骤205。其中，由于含有不同数据特征的多个数据可以存在同一数据问题，而处理数据时，不同的数据处理算法最适用的数据的数据特征一般不同，因此可以根据数据处理算法最适用的数据的数据特征以及数据可能存在的问题对应的特征，来设定第一数据特征。
55.s203、根据第一数据特征中的数据异常判断特征，判断待处理数据是否存在数据异常，若存在数据异常，则执行步骤204，若不存在数据异常，则执行步骤205。
56.其中，所述第一数据特征包括所述数据异常判断特征和第一算法选择特征。
57.具体的，数据特征中可以包含判断是否存在数据问题的特征，如数据异常判断特征，还包含选定目标算法的算法选择特征，如第一算法选择特征，根据数据异常判断特征可以确定待处理数据是否存在数据异常的问题。
58.可选的，所述根据所述第一数据特征中的数据异常判断特征，判断所述待处理数据是否存在数据异常，包括：判断所述待处理数据是否服从第一预设数据分布，根据判断结果从预设算法库中判断所述数据异常的多个算法中，确定数据异常判断算法，并利用所述数据异常判断算法确定预设范围；判断所述待处理数据的值是否超过所述预设范围，其中，所述待处理数据的值属于数据异常判断特征；若是，则确定所述待处理数据存在数据异常。这样设置的好处在于，通过设置预设范围，可以快速的从大量的待处理数据中，识别出异常数据，并且根据待处理数据的数据分布特征来设置相应的预设范围，可以使得预设范围的设置更具合理性，从而提高识别出异常数据的准确度。
59.示例性的，若待处理数据为风速数据，第一预设数据分布为正态分布，预设算法库中判断数据异常的算法包括箱线图法和3σ法，若待处理数据服从正态分布，则可以确定待处理数据的数据异常判断算法为3σ法，若待处理数据不服从正态分布，则可以确定待处理数据的数据异常判断算法为箱线图法，若根据箱线图法或3σ法确定的数据正常的范围为，即预设范围为，大于0且小于63，0即为异常数据的上限，63即为异常数据的下限，当待处理
数据的值超出预设范围时，如待处理数据中存在70这个数据时,则可以确定待处理数据存在数据异常。
60.s204、根据第一算法选择特征，从预设算法库中，确定第一目标算法，利用第一目标算法处理待处理数据，得到第一目标数据，并将第一目标数据确定为待处理数据。
61.其中，所述第一目标算法属于所述目标算法，所述第一目标数据属于所述目标数据。
62.具体的，针对每一个数据问题，在预设算法库中存储有多个算法，预设算法库中可以包含处理多个不同数据问题的算法。根据第一算法选择特征可以从预设算法库中，确定第一目标算法，第一目标算法即为可以解决数据异常问题的算法，待处理数据经过第一目标算法的处理后的得到的数据，即为第一目标数据。
63.可选的，所述根据所述第一算法选择特征，从预设算法库中，确定第一目标算法，包括：判断所述待处理数据是否属于第一预设数据类型，其中，所述第一算法选择特征包括所述待处理数据的数据类型；若属于，则从预设算法库中处理所述数据异常的多个算法中，确定第一数据异常处理算法，若不属于，则从预设算法库中处理所述数据异常的多个算法中，确定第二数据异常处理算法，其中，所述第一数据异常处理算法和所述第二数据异常处理算法均属于所述第一目标算法。这样设置的好处在于，确定待处理数据属于的数据类型，可以准确的从多个处理数据异常的算法中，选出最优算法来处理数据异常的问题。
64.示例性的，若待处理数据为电流数据，第一预设数据类型为电力数据，如电流和电压等数据，第二预设数据类型为过程类数据，如温度、压力以及流量等数据，则待处理数据属于第一预设数据类型，可以将待处理数据内的异常值，替换为设定时段内的待处理数据的平均值，当待处理数据属于第二预设数据类型时，可以将待处理数据内的异常值，替换为设定时刻的待处理数据的有效值。其中，设定时段对应的时间和设定时刻，均早于异常数据对应的时间，上述处理待处理数据的方式即为预设算法库中处理数据异常的算法对应的处理方式。
65.s205、确定待处理数据的数据特征是否存在第二数据特征，若存在，则执行步骤206，若不存在，则执行步骤208。
66.具体的，如上文所述，通过判断待处理数据的特征是否与预设的第二数据特征一致，可以确定待处理数据中是否存在第二数据特征。
67.s206、根据第二数据特征中的数据缺失判断特征，判断待处理数据是否存在数据缺失，若存在数据缺失，则执行步骤207，若不存在数据缺失，则执行步骤208。
68.其中，所述第二数据特征包括所述数据缺失判断特征和第二算法选择特征。
69.具体的，本步骤中的第二数据特征可以包含，判断数据是否存在数据缺失的数据缺失判断特征和用于选定目标算法的第二算法选择特征。
70.可选的，所述根据所述第二数据特征中的数据缺失判断特征，判断所述待处理数据是否存在数据缺失，包括：判断所述待处理数据的时间戳是否不连续，和/或，所述待处理数据的数量是否小于第一预设数量，其中，所述待处理数据时间戳显示的时间和/或所述待处理数据的数量属于数据缺失判断特征；若是，则确定所述待处理数据存在数据缺失。这样设置的好处在于，通过进一步确定待处理数据是否连续或待处理数据的数量，可以准确的确定出待处理数据是否存在缺失。
71.示例性的，若待处理数据为风速数据，风力发电机，即发电设备，采集风速的采集频率为每10毫秒一次，数据采集边缘设备获取原始数据的采样周期为每10秒一次，则每10秒采集到的原始数据的数量应为1000个，则可以将第一预设数量设置为1000，则若待处理数据的时间戳不连续，即时间戳的间隔不满足10毫秒，和/或，待处理数据的数量是否小于1000个，则可以确定待处理数据存在数据缺失，若待处理数据的时间戳连续，且待处理数据的数量为1000个，则可以确定待处理数据不存在数据缺失。
72.s207、根据第二算法选择特征，从预设算法库中，确定第二目标算法，利用第二目标算法处理待处理数据，得到第二目标数据，并将第二目标数据确定为待处理数据。
73.其中，所述第二目标算法属于所述目标算法，所述第二目标数据属于所述目标数据。
74.可选的，所述根据所述第二算法选择特征，从预设算法库中，确定第二目标算法，包括：判断是否，所述待处理数据的数量小于第二预设数量、所述第一预设数量的与所述待处理数据的数量差值占所述第一预设数量的比例小于预设比例以及所述待处理数据服从第二预设数据分布，其中，所述第二算法选择特征包括所述待处理数据服从的数据分布类型、所述待处理数据的数量以及所述第一预设数量的与所述待处理数据的数量差值占所述第一预设数量的比例；若是，则从预设算法库中处理所述数据缺失的多个算法中，确定第一数据缺失处理算法，若否，则从预设算法库中处理所述数据缺失的多个算法中，确定第二数据缺失处理算法，其中，所述第一数据缺失处理算法和所述第二数据缺失处理算法均处于所述第二目标算法。这样设置的好处在于，通过对待处理数据的特征的进一步判断，可以快速的从可以处理数据缺失的多个算法中确定出最优算法。
75.示例性的，若待处理数据为风速数据，第二预设数量为2000个，预设比例为20％，第二预设数据分布为集中分布，预设算法库中处理数据缺失的算法包括，均值填充法和回归填充法，则若待处理数据的数量为900个，其小于第二预设数量，待处理数据的数量900与第一预设数量1000的差值占第一预设数量1000的比例为10％，其小于预设比例20％，待处理数据服从集中分布，则可以确定待处理数据的第一数据缺失处理算法为均值填充法。
76.可选的，若不满足上述第一数据缺失处理算法对应的特征，但待处理数据服从正态分布，且从待处理数据中可以确定多个辅助变量，则可以确定待处理数据的第二数据缺失处理算法为回归填充法，其中，待处理数据中可以存在可以预测缺失的数据的自变量，而辅助变量可以理解为能间接反映缺失数据大小的值，如待处理数据的平均值等。
77.s208、确定待处理数据的数据特征是否存在第三数据特征，若存在第三数据特征，则执行步骤209，若不存在第三数据特征，则结束。
78.s209、根据第三数据特征中的数据噪声判断特征，判断待处理数据是否存在数据噪声，若存在数据噪声，则执行步骤210，若不存在数据噪声，则结束。
79.其中，所述第三数据特征包括所述数据噪声判断特征和第三算法选择特征。
80.具体的，本步骤中的第二数据特征可以包含，判断数据是否存在数据噪声的数据噪声判断特征和用于选定目标算法的第三算法选择特征。
81.可选的，所述根据所述第三数据特征中的数据噪声判断特征，判断所述待处理数据是否存在数据噪声，包括：判断所述待处理数据对应的数据波形图中是否存在谐波，其中，所述待处理数据对应的数据波形图属于数据噪声判断特征；若是，则确定所述待处理数
据存在数据噪声。这样设置的好处在于，通过判断数据波形图中是否存在谐波，直观的确定出了待处理数据中是否存在数据噪声。
82.示例性的，可以利用软件，如matlab，绘制待处理数据对应的数据波形图，可以利用人工或预设算法，识别出该数据波形图中是否存在谐波，若存在谐波，则可以确定待处理数据存在数据噪声。
83.s210、根据第三算法选择特征，从预设算法库中，确定第三目标算法，利用第三目标算法处理待处理数据，得到第三目标数据。
84.其中，所述第三目标算法属于所述目标算法，所述第三目标数据属于所述目标数据。
85.可选的，所述根据所述第三算法选择特征，从预设算法库中，确定第三目标算法，包括：判断是否，所述待处理数据的采样周期小于预设周期且所述待处理数据的纯滞后时间常数大于预设常数，其中，所述第三算法选择特征包括待处理数据的采样周期和所述待处理数据的纯滞后时间常数；若是，则从预设算法库中处理所述数据噪声的多个算法中，确定第一数据噪声处理算法，若否，则从预设算法库中处理所述数据噪声的多个算法中，确定第二数据噪声处理算法，其中，所述第一数据噪声处理算法和所述第二数据噪声处理算法均属于所述第三目标算法。这样设置的好处在于，通过对采样周期和纯滞后时间常数的判断，可以准确的判断出，解决待处理数据存在的数据噪声的问题的最优算法。
86.示例性的，若待处理数据为风速数据，预设周期为,15秒采集一次待处理数据，预设常数为10秒，预设算法库中处理数据噪声算法包括，加权递推平均滤波、一阶低通滤波和限幅消抖滤波算法，则若待处理数据的采样周期为每10秒一次，小于每15秒采集一次，且待处理数据的纯滞后时间常数为20秒，大于预设常数10秒，则可以确定待处理数据的第一数据噪声处理算法为加权递推平均滤波算法。
87.可选的，若不满足上述第一数据噪声处理算法对应的特征，但待处理数据的采样周期为每20秒一次，大于预设周期为每15秒采集一次，且待处理数据中的高频扰动类的噪声数据的数据量大于第一预设值，则可以确定待处理数据的第二数据噪声处理算法为一阶低通滤波算法。
88.可选的，若不满足上述第一数据噪声处理算法和第二数据噪声处理算法对应的特征，但待处理数据的数值变化缓慢，如若待处理数据为温度数据时，且存在脉冲性干扰类的数据，则可以确定待处理数据的第三数据噪声处理算法为限幅消抖滤波算法。其中，第三数据噪声处理算法也属于第三目标算法。
89.可选的，在所述得到目标数据之后，还包括：判断所述数据采集边缘设备使用的预设目标通讯协议，与所述预设设备使用的通讯协议是否一致，若不一致，则将所述数据采集边缘的指令数据转换为待发送数据，若一致，则将所述指令数据确定为待发送数据；对所述待发送数据进行加密操作，得到待发送加密数据，并将所述待发送加密数据发送给所述预设设备，其中，所述待发送数据符合所述预设设备使用的通讯协议中的通讯规则。
90.具体的，可以通过将数据采集边缘设备中目标数据使用的通讯协议，即预设目标通讯协议，转化为与预设设备使用的通讯协议，从而得到与预设设备使用的通讯协议相匹配的待发送数据，然后根据业务需求，如对数据的保密性需求等，来决定是否需要对待发送数据进行加密处理，若需要，可对待发送数据进行加密处理，在得到待发送加密数据后，可
将其发送给预设设备，以实现预设设备和数据采集边缘设备的双向通信，其中，加密数据的算法可以为sm4密码算法等，指令数据例如可以为由数据采集边缘设备自身下发，或者，由与数据采集边缘设备相连的云平台下发并由数据采集边缘设备转发的用于对预设设备进行控制或配置的指令。
91.本发明实施例提供的数据处理的方法，数据采集边缘设备先从预设设备中采集待处理数据，然后根据待处理数据的数据特征分别确定待处理数据是否存在数据异常、数据缺失以及数据噪声等问题，并根据该数据特征选定处理该问题的最优算法，即分别确定每个数据问题的目标算法，并利用目标算法处理待处理数据，即可目标数据，通过利用数据的不同的数据特征，可以从处理同一数据问题的多个算法中，筛选出最优算法，并通过对数据可能存在的数据问题的多次判断，进一步的保证了数据的正确性。
92.实施例三
93.图4为本发明实施例三提供的一种数据处理的装置的结构示意图。如图4所示，该装置包括：数据获取模块301、目标算法确定模块302以及数据处理模块303，其中：
94.数据获取模块，用于获取待处理数据，其中，所述待处理数据基于所述数据采集边缘设备从预设设备采集到的原始数据确定；
95.目标算法确定模块，用于确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，其中，所述预设问题包括数据异常、数据缺失以及数据噪声中的至少一种；
96.数据处理模块，用于利用所述目标算法处理所述待处理数据，得到目标数据。
97.本发明实施例提供的数据处理的装置，数据采集边缘设备先从预设设备中采集待处理数据，然后根据待处理数据的数据特征确定待处理数据的问题，并根据该数据特征选定处理该问题的算法，即确定目标算法，最后利用目标算法处理待处理数据，得到目标数据，针对待处理数据中不同的数据特征，有针对性的确定处理该待处理数据的算法，避免了因单一处理方式造成的数据处理效果不佳的问题，可以适应不同类型的预设设备且有效的处理了园区级的大量且多种类的数据。
98.可选的，目标算法确定模块包括：
99.第一特征判断单元，用于确定所述待处理数据的数据特征是否存在第一数据特征；
100.数据异常判断单元，用于所述第一特征判断单元返回的判断结果为存在所述第一数据特征，则根据所述第一数据特征中的数据异常判断特征，判断所述待处理数据是否存在数据异常，其中，所述第一数据特征包括所述数据异常判断特征和第一算法选择特征；
101.第一目标算法确定单元，用于所述数据异常判断单元返回的判断结果为存在所述数据异常，则根据所述第一算法选择特征，从预设算法库中，确定第一目标算法。
102.可选的，数据处理模块包括：
103.第一处理单元，用于利用所述第一目标算法处理所述待处理数据，得到第一目标数据，其中，所述第一目标算法属于所述目标算法，所述第一目标数据属于所述目标数据。
104.可选的，所述根据所述第一数据特征中的数据异常判断特征，判断所述待处理数据是否存在数据异常，包括：判断所述待处理数据是否服从第一预设数据分布，根据判断结果从预设算法库中判断所述数据异常的多个算法中，确定数据异常判断算法，并利用所述
数据异常判断算法确定预设范围；判断所述待处理数据的值是否超过所述预设范围，其中，所述待处理数据的值属于数据异常判断特征；若是，则确定所述待处理数据存在数据异常；
105.其中，所述根据所述第一算法选择特征，从预设算法库中，确定第一目标算法，包括：判断所述待处理数据是否属于第一预设数据类型，其中，所述第一算法选择特征包括所述待处理数据的数据类型；若属于，则从预设算法库中处理所述数据异常的多个算法中，确定第一数据异常处理算法，若不属于，则从预设算法库中处理所述数据异常的多个算法中，确定第二数据异常处理算法，其中，所述第一数据异常处理算法和所述第二数据异常处理算法均属于所述第一目标算法。
106.可选的，目标算法确定模块还包括：
107.第二特征判断单元，用于确定所述待处理数据的数据特征是否存在第二数据特征；
108.数据缺失判断单元，用于所述第二特征判断单元返回的判断结果为存在所述第二数据特征，则根据所述第二数据特征中的数据缺失判断特征，判断所述待处理数据是否存在数据缺失，其中，所述第二数据特征包括所述数据缺失判断特征和第二算法选择特征；
109.第二目标算法确定单元，用于所述数据缺失判断单元返回的判断结果为存在所述数据缺失，则根据所述第二算法选择特征，从预设算法库中，确定第二目标算法。
110.可选的，数据处理模块还包括：
111.第二处理单元，用于利用所述第二目标算法处理所述待处理数据，得到第二目标数据，其中，所述第二目标算法属于所述目标算法，所述第二目标数据属于所述目标数据。
112.可选的，所述根据所述第二数据特征中的数据缺失判断特征，判断所述待处理数据是否存在数据缺失，包括：判断所述待处理数据的时间戳是否不连续，和/或，所述待处理数据的数量是否小于第一预设数量，其中，所述待处理数据时间戳显示的时间和/或所述待处理数据的数量属于数据缺失判断特征；若是，则确定所述待处理数据存在数据缺失；
113.其中，所述根据所述第二算法选择特征，从预设算法库中，确定第二目标算法，包括：判断是否，所述待处理数据的数量小于第二预设数量、所述第一预设数量的与所述待处理数据的数量差值占所述第一预设数据的比例小于预设比例以及所述待处理数据服从第二预设数据分布，其中，所述第二算法选择特征包括所述待处理数据服从的数据分布类型、所述待处理数据的数量以及所述第一预设数量的与所述待处理数据的数量差值占所述第一预设数量的比例；若是，则从预设算法库中处理所述数据缺失的多个算法中，确定第一数据缺失处理算法，若否，则从预设算法库中处理所述数据缺失的多个算法中，确定第二数据缺失处理算法，其中，所述第一数据缺失处理算法和所述第二数据缺失处理算法均处于所述第二目标算法。
114.可选的，目标算法确定模块还包括：
115.第三特征判断单元，用于确定所述待处理数据的数据特征是否存在第三数据特征；
116.数据噪声判断单元，用于所述第三特征判断单元返回的判断结果为存在所述第三数据特征，则根据所述第三数据特征中的数据噪声判断特征，判断所述待处理数据是否存在数据噪声，其中，所述第三数据特征包括所述数据噪声判断特征和第三算法选择特征；
117.第三目标算法确定单元，用于所述数据噪声判断返回的判断结果为存在所述数据
噪声，则根据所述第三算法选择特征，从预设算法库中，确定第三目标算法，其中，所述第三目标算法属于所述目标算法。
118.可选的，数据处理模块还包括：
119.第三处理单元，用于利用所述第三目标算法处理所述待处理数据，得到第三目标数据，其中，所述第三目标算法属于所述目标算法，所述第三目标数据属于所述目标数据。
120.可选的，所述根据所述第三数据特征中的数据噪声判断特征，判断所述待处理数据是否存在数据噪声，包括：判断所述待处理数据对应的数据波形图中是否存在谐波，其中，所述待处理数据对应的数据波形图属于数据噪声判断特征；若是，则确定所述待处理数据存在数据噪声；
121.其中，所述根据所述第三算法选择特征，从预设算法库中，确定第三目标算法，包括：判断是否，所述待处理数据的采样周期小于预设周期且所述待处理数据的纯滞后时间常数大于预设常数，其中，所述第三算法选择特征包括待处理数据的采样周期和所述待处理数据的纯滞后时间常数；若是，则从预设算法库中处理所述数据噪声的多个算法中，确定第一数据噪声处理算法，若否，则从预设算法库中处理所述数据噪声的多个算法中，确定第二数据噪声处理算法，其中，所述第一数据噪声处理算法和所述第二数据噪声处理算法均属于所述第三目标算法。
122.可选的，该装置还包括：
123.数据获取模块，用于从预设设备采集原始数据以及获取所述预设设备使用的通讯协议；
124.协议判断模块，用于判断所述通讯协议是否和预设目标通讯协议一致；
125.原始数据处理模块，用于所述协议判断模块返回的判断结果为不一致，则将所述原始数据转换为待处理数据，并将所述待处理数据存入预设存储区域，其中，所述待处理数据符合所述预设目标通讯协议中的通讯规则。
126.可选的，所述将所述待处理数据存入预设存储区域，包括：判断所述待处理数据是否为加密数据，若是，则对所述待处理数据进行解密操作，得到解密后的待处理数据，并将所述解密后的待处理数据存入预设存储区域。
127.可选的，该装置还包括：
128.待发送数据确定模块，用于在所述得到目标数据之后，判断所述数据采集边缘设备使用的预设目标通讯协议，与所述预设设备使用的通讯协议是否一致，若不一致，则将所述数据采集边缘的指令数据转换为待发送数据，若一致，则将所述指令数据确定为待发送数据；
129.数据转发模块，用于对所述待发送数据进行加密操作，得到待发送加密数据，并将所述待发送加密数据发送给所述预设设备，其中，所述待发送数据符合所述预设设备使用的通讯协议中的通讯规则。
130.本发明实施例所提供的数据处理的装置可执行本发明任意实施例所提供的数据处理的方法，具备执行方法相应的功能模块和有益效果。
131.实施例四
132.图5示出了可以用来实施本发明的实施例的数据采集边缘设备40的结构示意图。数据采集边缘设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工
作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
133.如图5所示，数据采集边缘设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(rom)42、随机访问存储器(ram)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(rom)42中的计算机程序或者从存储单元48加载到随机访问存储器(ram)43中的计算机程序，来执行各种适当的动作和处理。在ram 43中，还可存储数据采集边缘设备40操作所需的各种程序和数据。处理器41、rom 42以及ram 43通过总线44彼此相连。输入/输出(i/o)接口45也连接至总线44。
134.数据采集边缘设备40中的多个部件连接至i/o接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许数据采集边缘设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
135.处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如数据处理的方法。
136.在一些实施例中，数据处理的方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由rom 42和/或通信单元49而被载入和/或安装到数据采集边缘设备40上。当计算机程序加载到ram 43并由处理器41执行时，可以执行上文描述的数据处理的方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理的方法。
137.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
138.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
139.上述提供的计算机设备可用于执行上述任意实施例提供的数据处理的方法，具备
相应的功能和有益效果。
140.实施例五
141.在本发明的上下文中，计算机可读存储介质可以是有形的介质，所述计算机可执行指令在由计算机处理器执行时用于执行数据处理的方法，应用于数据采集边缘设备，该方法包括：
142.获取待处理数据，其中，所述待处理数据基于所述数据采集边缘设备从预设设备采集到的原始数据确定；
143.确定所述待处理数据的数据特征，基于所述数据特征判断所述待处理数据是否存在预设问题，若存在，则根据所述数据特征确定目标算法，其中，所述预设问题包括数据异常、数据缺失以及数据噪声中的至少一种；
144.利用所述目标算法处理所述待处理数据，得到目标数据。
145.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
146.上述提供的计算机设备可用于执行上述任意实施例提供的数据处理的方法，具备相应的功能和有益效果。
147.值得注意的是，上述数据处理的装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
148.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。