基于特征抽样的数据修复方法、装置及相关设备

1.本发明涉及数据处理技术领域，尤其涉及一种基于特征抽样的数据修复方法、装置及相关设备。


背景技术：

2.随着工业互联网平台的建设日益成熟，智能制造作为工业互联网的核心,成为发展先进制造业的关键。智能制造贯穿于设计、生产、管理、服务等制造活动的各个环节，涵盖感知层、网络层、执行层和应用层四个层次，具有自感知、自学习、自决策、自执行、自适应等功能，其中，感知层由各种行业传感器、大量联网设备等组成，为智能制造生产后续流程提供充实的数据支持。
3.但在实际应用环境中，往往会由于外界环境因素或时间带来的机械损耗出现某些传感器暂时失灵或者故障失效的情况，从而造成智能制造生产数据质量差的问题，导致无法准确获取生产制造情况，进而影响生产。因此，在智能制造工业流程数据质量管理的过程中，自动化数据异常检测与修复是保证智能制造执行层和应用层正常运作必不可少的一环。另一方面，随着大量传感器的应用，传统的数据存储方式已经不能支持工业互联网的数据存储，目前一般采用分布式大数据存储方式，存储方式的改变也给智能制造工业数据的修复带来困难。针对智能制造产业数据体量大、数据存储分布的特性，目前的数据修复方式主要通过特定的规则对数据进行检查修复，对于大体量不确定的数据缺陷，存在复用性低、并行化不足、移植困难等挑战与难点。


技术实现要素：

4.本发明实施例提供一种基于特征抽样的数据修复方法、装置、计算机设备和存储介质，以提升缺陷数据的修复效率和覆盖面，提高智能制造生产数据的质量。
5.为了解决上述技术问题，本技术实施例提供一种基于特征抽样的数据修复方法，包括：基于聚类算法，对n个分布式数据存储节点的本地数据集进行特征提取，得到每个所述分布式数据存储节点的k个特征值；将每个所述分布式数据存储节点的k个特征值作为每个所述分布式数据存储节点对应的数据采样集合；将每个所述分布式数据存储节点对应的数据采样集合与其它n-1个所述分布式数据存储节点的数据采样集合进行合并，得到每个所述分布式数据存储节点对应的合成数据集；将所述分布式数据存储节点对应的合成数据集分发到存储节点，并采用每个所述分布式数据存储节点在本地基于预设的数据修复方法，对所述合成数据集进行修复，得到修复数据集。
6.为了解决上述技术问题，本技术实施例还提供一种基于特征抽样的数据修复装
置，包括：特征聚类模块，用于基于聚类算法，对n个分布式数据存储节点的本地数据集进行特征提取，得到每个所述分布式数据存储节点的k个特征值；第一数据采样集合确定模块，用于将每个所述分布式数据存储节点的k个特征值作为每个所述分布式数据存储节点对应的数据采样集合；合并模块，用于将每个所述分布式数据存储节点对应的数据采样集合与其它n-1个所述分布式数据存储节点的数据采样集合进行合并，得到每个所述分布式数据存储节点对应的合成数据集；修复模块，用于将所述分布式数据存储节点对应的合成数据集分发到存储节点，并采用每个所述分布式数据存储节点在本地基于预设的数据修复方法，对所述合成数据集进行修复，得到修复数据集。
7.为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于特征抽样的数据修复方法的步骤。
8.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于特征抽样的数据修复方法的步骤。
9.本发明实施例提供的基于特征抽样的数据修复方法、装置、计算机设备及存储介质，基于聚类算法，对n个所述分布式数据存储节点的数据特征集进行特征提取，得到每个所述分布式数据存储节点的k个特征值；将每个所述分布式数据存储节点的k个特征值作为每个所述分布式数据存储节点对应的数据采样集合；将每个所述分布式数据存储节点对应的数据采样集合与其它n-1个所述分布式数据存储节点的数据采样集合进行合并，得到每个所述分布式数据存储节点对应的合成数据集；基于预设的数据修复方法，对所述合成数据集进行修复，得到修复数据集，提升缺陷数据的修复效率和覆盖面，提高智能制造生产数据的质量。
附图说明
10.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
11.图1是本技术可以应用于其中的示例性系统架构图；图2是本技术的基于特征抽样的数据修复方法的一个实施例的流程图；图3是根据本技术的基于特征抽样的数据修复装置的一个实施例的结构示意图；图4是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
12.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体
的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
13.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
14.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
16.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
17.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器( moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3 )、mp4( moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4 )播放器、膝上型便携计算机和台式计算机等等。
18.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
19.需要说明的是，本技术实施例所提供的基于特征抽样的数据修复方法由服务器执行，相应地，基于特征抽样的数据修复装置设置于服务器中。
20.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本技术实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
21.请参阅图2，图2示出本发明实施例提供的一种基于特征抽样的数据修复方法，以该方法应用在图1中的服务端为例进行说明，详述如下：s201：基于聚类算法，对n个分布式数据存储节点的本地数据集进行特征提取，得到每个分布式数据存储节点的k个特征值。
22.具体的，聚类算法可以是k-means算法，k-means算法的输入为一个样本集（或者称为点集），通过该算法可以将样本进行聚类，具有相似特征的样本聚为一类，针对每个点，计算这个点距离所有中心点最近的那个中心点，然后将这个点归为这个中心点代表的簇，一次迭代结束之后，针对每个簇类，重新计算中心点，然后针对每个点，重新寻找距离自己最近的中心点，如此循环，直到前后两次迭代的簇类没有变化，在本步骤中，根据预设的修复精度和预设的修复速率，设置分类数k，k-means聚类算法对分布式数据存储节点的数据特
征集进行数据采样，通过对分布式数据存储节点的数据特征集进行均值计算，得到每个分布式数据存储节点的k个特征值，此处，需要特别说明的是，预设的修复精度和预设的修复速率根据用户的实际需求或者经验确定，此处不做具体限定，k、n为大于0的正整数，此外，聚类算法还可以是神经网络算法、k-nn最近邻节点算法等。
23.s202：将每个分布式数据存储节点的k个特征值作为每个分布式数据存储节点对应的数据采样集合。
24.s203：将每个分布式数据存储节点对应的数据采样集合与其它n-1个分布式数据存储节点的数据采样集合进行合并，得到每个分布式数据存储节点对应的合成数据集。
25.具体的，假设共有n个分布式存储节点，其中，分布式数据存储节点z的数据采样集合为，其它的分布式数据存储节点对应的数据采样集合分别为为，其中，n为大于0的正整数，则分布式数据存储节点z的合成数据集为。
26.s204：基于预设的数据修复方法，对合成数据集进行修复，得到修复数据集。
27.具体的，预设的数据修复方法包括但不限于arima移动平均自回归算法、svd分解算法、knn最近邻节点算法、贝叶斯网络修复算法、bp神经网络算法、基于张量的修复算法，优选的，本技术采用svd分解算法对合成数据集进行修复。
28.在本实施例中，基于k-means聚类算法，对n个分布式数据存储节点的本地数据集进行特征提取，得到每个分布式数据存储节点的k个特征值；将每个分布式数据存储节点的k个特征值作为每个分布式数据存储节点对应的数据采样集合；将每个分布式数据存储节点对应的数据采样集合与其它n-1个分布式数据存储节点的数据采样集合进行合并，得到每个分布式数据存储节点对应的合成数据集；将分布式数据存储节点对应的合成数据集分发到存储节点，并采用每个分布式数据存储节点在本地基于预设的数据修复方法，对合成数据集进行修复，得到修复数据集，提高智能制造生产数据的质量。
29.在本实施例的一些可选的实现方式中，步骤s201中，基于k-means聚类算法，对n个分布式数据存储节点的数据特征集进行特征提取，得到每个分布式数据存储节点的k个特征值包括：在每个分布式数据存储节点的数据特征集中随机选择k个特征数据，作为k个初始簇中心。
30.依次计算每个分布式数据存储节点的数据特征集中的特征数据与k个初始簇中心之间的距离。
31.具体的，根据如下公式（1）得到距离：（1）式中，x为待划分特征数据，y为初始簇中心，为待划分特征数据的标签属性，为初始簇中心的标签属性，m为带划分特征数据的总数量。
32.根据距离的大小，从k个初始簇中心中，确定目标簇中心并将特征数据划分到目标
簇中心对应的簇，得到数据特征簇。
33.具体的，将特征数据划分到与k个初始簇中心中距离最短的初始簇中心。
34.对数据特征簇中的特征数据进行均值计算，得到数据特征簇的均值。
35.将均值作为初始簇中心，返回计算分布式数据存储节点的数据特征集中的特征数据与k个初始簇中心之间的距离的步骤继续执行，直至迭代次数等于预设迭代次数为止，得到每个分布式数据存储节点的k个特征值。
36.具体的，若迭代次数达到预设迭代次数，输出分布式数据存储节点的k个特征值，形成分布式数据存储节点的数据采样集合。
37.在本实施例中，通过计算每个分布式数据存储节点的数据特征集中的特征数据与k个初始簇中心之间的距离，根据距离的大小，从k个初始簇中心中，确定目标簇中心并将特征数据划分到目标簇中心对应的簇，得到数据特征簇，对数据特征簇中的特征数据进行均值计算，得到数据特征簇的均值，有利于提高智能制造生产数据的质量。
38.在本实施例的一些可选的实现方式中，基于特征抽样的数据修复方法还包括：基于剔除缺失数据方式，对n个分布式数据存储节点的数据特征集进行处理，得到每个分布式数据存储节点对应的完整数据集和待修复数据集。
39.具体的，对n个分布式数据存储节点的数据特征集进行剔除缺失数据处理，形成完成数据集，将缺失数据作为待修复数据集。
40.将完整数据集和待修复数据集作为每个分布式数据存储节点对应的数据采样集合。
41.在本实施例中，通过得到每个分布式数据存储节点对应的完整数据集和待修复数据集，将完整数据集和待修复数据集作为每个分布式数据存储节点对应的数据采样集合，有利于提高智能制造生产数据的质量。
42.在本实施例的一些可选的实现方式中，步骤s204中，预设的数据修复方法为svd分解填充方法，合成数据集包括待修复合成数据集，基于预设的数据修复方法，对合成数据集进行修复，得到修复数据集包括：基于svd分解填充方法，对待修复合成数据集进行特征均值填补，得到完整矩阵。
43.具体的，采用相应的列方法替换待修复合成数据集中的待修复合成数据缺失的值，得到插补矩阵，计算插补矩阵的秩k近似，得到k个相似度值，采用k个相似度值中最大的相似度值对应的近邻替换插补矩阵中相应的插补位置的值，返回计算插补矩阵的秩k近似，得到k个相似度值的步骤继续执行，直至损失函数收敛为止，得到完整矩阵。
44.对完整矩阵进行奇异值分解，得到第一奇异值分解矩阵。
45.具体的，根据如下公式（2）得到第一奇异值分解矩阵：（2）式中，q为第一奇异值分解矩阵，u为左奇异矩阵，v为右奇异矩阵，u和v为单位正交矩阵，其中，uu
t
=1，vv
t
=1，为奇异值矩阵，即该矩阵仅在对角线上有值，为奇异值，其余元素为0，左奇异矩阵、右奇异矩阵和奇异值矩阵的维度分别为，其中，a，b为大于0的正整数。
46.基于预设的剔除方式，剔除第一奇异值分解矩阵中对应的值，得到第二奇异值分
解矩阵。
47.具体的，预设的剔除方式包括：第一，基于预设的奇异值剔除数量，剔除第一奇异值分解矩阵中的奇异值矩阵的最小的奇异值，得到剔除后的奇异值矩阵，预设的奇异值剔除数量通过分析历史经验数据获得；第二，剔除第一奇异值分解矩阵中的左奇异矩阵中相应的列，得到剔除后的左奇异矩阵；第三，剔除第一奇异值分解矩阵中右奇异矩阵中相应的列，得到剔除后的右奇异矩阵；将剔除后的奇异值矩阵、剔除后的左奇异矩阵和剔除后的右奇异矩阵作为第二奇异值分解矩阵。
48.假设预设的奇异值剔除数量为t，则将奇异值中最小的t个奇异值剔除，得到剔除后的奇异值矩阵，剔除后的矩阵的维度为，单位正交阵u和ｖ剔除相应的列，得到剔除后的左奇异矩阵和剔除后的右奇异矩阵，其中，的维度为，的维度为。
49.将第二奇异值分解矩阵中的奇异值对应的特征矩阵进行恢复，得到近似矩阵。
50.具体的，根据如下公式（３）得到近似矩阵：（３）式中，为近似矩阵，为剔除后的左奇异矩阵，为剔除后的奇异值矩阵，为剔除后的右奇异矩阵，t为转置符号。
51.从近似矩阵中取出填充值，并采用填充值对完整矩阵进行填充，得到初始修复矩阵。
52.将初始修复矩阵作为完整矩阵，返回对完整矩阵进行奇异值分解，得到第一奇异值分解矩阵的步骤继续执行，直至达到预设的停止条件为止，得到最终修复矩阵。
53.具体的，取出近似矩阵中的完整矩阵的缺失位置的值，重新作为填充值，构成新的第一奇异值分解矩阵q，大小为a*b。
54.将最终修复矩阵作为修复数据集。
55.在本实施例中，通过对完整矩阵进行奇异值分解，得到第一奇异值分解矩阵，并基于预设的剔除方式，对第一奇异值分解矩阵相应的值进行剔除后，得到第二奇异值分解矩阵，将第二奇异值分解矩阵中的奇异值对应的特征矩阵进行恢复，得到近似矩阵，从近似矩阵中取出填充值，并采用填充值对完整矩阵进行填充，得到初始修复矩阵，有利于提高智能制造生产数据的质量。
56.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
57.图3示出与上述实施例基于特征抽样的数据修复方法一一对应的基于特征抽样的数据修复装置的原理框图。如图3所示，该基于特征抽样的数据修复装置包括特征聚类模块30、第一数据采样集合确定模块31、合并模块32和修复模块33。各功能模块详细说明如下：特征聚类模块30，用于基于k-means聚类算法，对n个分布式数据存储节点的本地数据集进行特征提取，得到每个分布式数据存储节点的k个特征值。
58.第一数据采样集合确定模块31，用于将每个分布式数据存储节点的k个特征值作为每个分布式数据存储节点对应的数据采样集合。
59.合并模块32，用于将每个分布式数据存储节点对应的数据采样集合与其它n-1个分布式数据存储节点的数据采样集合进行合并，得到每个分布式数据存储节点对应的合成数据集。
60.修复模块33，用于将分布式数据存储节点对应的合成数据集分发到存储节点，并采用每个所述分布式数据存储节点在本地基于预设的数据修复方法，对合成数据集进行修复，得到修复数据集。
61.进一步的，特征聚类模块30包括：初始簇中心确定模块，用于在每个分布式数据存储节点的数据特征集中随机选择k个特征数据，作为k个初始簇中心。
62.距离计算模块，用于依次计算每个分布式数据存储节点的数据特征集中的特征数据与k个初始簇中心之间的距离。
63.数据特征簇获取模块，用于根据距离的大小，从k个初始簇中心中，确定目标簇中心并将特征数据划分到目标簇中心对应的簇，得到数据特征簇。
64.均值计算模块，用于对数据特征簇中的特征数据进行均值计算，得到数据特征簇的均值。
65.特征数据划分模块，用于将均值作为初始簇中心，返回计算分布式数据存储节点的数据特征集中的特征数据与k个初始簇中心之间的距离的步骤继续执行，直至迭代次数等于预设迭代次数为止，得到每个分布式数据存储节点的k个特征值。
66.可选的，基于特征抽样的数据修复装置还包括：数据处理模块，用于基于剔除缺失数据方式，对n个分布式数据存储节点的数据特征集进行处理，得到每个分布式数据存储节点对应的完整数据集和待修复数据集。
67.第二数据采样集合确定模块，用于将完整数据集和待修复数据集作为每个分布式数据存储节点对应的数据采样集合。
68.进一步的，预设的数据修复方法为svd分解填充方法，修复模块33包括：特征均值填补模块，用于基于svd分解填充方法，对待修复合成数据集进行特征均值填补，得到完整矩阵。
69.奇异值分解模块，用于对完整矩阵进行奇异值分解，得到第一奇异值分解矩阵。
70.奇异值剔除模块，用于基于预设的剔除方式，剔除第一奇异值分解矩阵中对应的值，得到第二奇异值分解矩阵。
71.近似矩阵获得模块，用于将第二奇异值分解矩阵中的奇异值对应的特征矩阵进行恢复，得到近似矩阵。
72.初始修复矩阵获得模块，用于从近似矩阵中取出填充值，并采用填充值对完整矩
阵进行填充，得到初始修复矩阵。
73.最终修复矩阵获得模块，用于将初始修复矩阵作为完整矩阵，返回对完整矩阵进行奇异值分解，得到第一奇异值分解矩阵的步骤继续执行，直至达到预设的停止条件为止，得到最终修复矩阵。
74.修复数据集确定模块，用于将最终修复矩阵作为修复数据集。
75.关于基于特征抽样的数据修复装置的具体限定可以参见上文中对于基于特征抽样的数据修复方法的限定，在此不再赘述。上述基于特征抽样的数据修复装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
76.为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
77.所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器 (digital signal processor，dsp)、嵌入式设备等。
78.所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
79.所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，sd或d界面显示存储器等）、随机访问存储器（ram）、静态随机访问存储器（sram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、可编程只读存储器（prom）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
80.所述处理器42在一些实施例中可以是中央处理器（central processing unit，cpu）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。
81.所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在
所述计算机设备4与其他电子设备之间建立通信连接。
82.本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于特征抽样的数据修复方法的步骤。
83.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本技术各个实施例所述的方法。
84.显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。