基于云计算的软件开发应用数据处理方法与流程

1.本发明涉及数据处理领域，具体涉及一种基于云计算的软件开发应用数据处理方法。


背景技术：

2.由于图像数据能够带来极佳的视觉享受，很多软件在开发或应用时都需要对图像数据进行处理和展示，例如交友软件中好友发送的照片，聊天记录中的图片、软件ui中加载的图像、用户收集的相册等都涉及到图像数据的处理，其中将图像上传云端进行永久存储是软件开发和应用时的一项重要的数据处理任务，能够保证软件所需的图像数据不会丢失，同时在存储时为了节省存储空间往往需要对图像数据进行压缩。
3.现有的图像压缩算法，例如基于图像金字塔的压缩算法，基于稀疏分解的图像压缩算法等对图像的压缩率取决于图像中的信息含量；当图像中包含的信息量较大时，例如大量的图像中存在噪声或大量无规律纹理时，这些多而且不重要，就算剔除掉也对图像的信息影响不大，但是这些无用的信息会使图像的压缩结果的压缩率不会太大，不够节约存储空间；当图像中包含的信息量越小，例如图像中特征单一或纹理之间具有一定相似性时，则可以在图像压缩时图像的压缩结果的压缩率可以相对较大，节省存储空间。
4.本发明需要一种数据预处理方法，令图像中无用的信息剔除掉，使得图像只包含少量的有用信息，从而使得图像能够被高压缩率压缩的同时不损失重要信息。


技术实现要素：

5.本发明提供基于云计算的软件开发应用数据处理方法，以解决现有的问题。
6.本发明的基于云计算的软件开发应用数据处理方法采用如下技术方案：本发明提供一种基于云计算的软件开发应用数据处理方法，该方法包括：s1：获取软件开发应用过程的所有图像，对每个图像进行分割获得每个图像的所有超像素块；s2：对每个图像的所有超像素块进行融合操作，获得每个图像上新的所有超像素块，包括：获取每个超像素块的表征向量，利用所有图像的超像素块的表征向量进行聚类获得所有超像素块集合；获取每个超像素块集合中每个超像素块的无用信息，根据每个超像素块的无用信息获得每个超像素块集合的所有参考像素块，所述每个参考像素块对应一个无用信息；获取每个超像素块集合的权重，分别从任意两个超像素块集合中获得一组第一超像素块与第二超像素块，根据任意两个超像素块集合中所有参考像素块的无用信息、第一超像素块的无用信息以及第二超像素块的无用信息获得第一超像素块的第一指标和第二超像素块的第二指标，利用任意两个超像素块集合的权重对第一超像素块的第一指标和第二超像素块的第二指标进行加权求和，获得第一超像素块与第二超像素块的融合程度；
对每个图像上融合程度最大的一组第一超像素块与第二超像素块进行融合，融合后每个图像上得到新的所有超像素块；s3：重复执行对每个图像的新的所有超像素块进行融合操作预设次数后，将最终得到的每个图像上新的所有超像素块记为每个图像的所有最终超像素块，利用每个图像的所有最终超像素块对图像进行预处理压缩存储。
7.优选的，所述获取每个超像素块的表征向量的步骤包括：获取每个超像素块rgb三通道的每个通道，获取每个超像素块在每个通道上的灰度共生矩阵，将三个通道得到的三个灰度共生矩阵分别展平为向量，将得到的三个向量拼接成一个向量，记为每个超像素块的表征向量。
8.优选的，所述利用所有图像的超像素块的表征向量进行聚类获得所有超像素块集合的步骤包括：首先对所有图像的所有超像素块的表征向量进行均值漂移聚类，获得所有第一类别；对于同一个第一类别中的所有超像素块，将属于同一个图像上的超像素块划分成不同集合中，将属于不同图像上的超像素块划分成相同集合中，进而将第一类别中的所有超像素块划分为若干集合；同理将所有第一类别划分为多个集合，将所述每个集合记为每个超像素块集合。
9.优选的，所述获取每个超像素块集合中每个超像素块的无用信息的步骤包括：将每个超像素块集合所有超像素块的所有表征向量输入到pca算法中，获得若干数量个单位向量，以及每个单位向量的特征值，获取预设数量个特征值最小的单位向量，记为无用特征，将所述每个超像素块的无用信息在所有无用特征上的投影构成的向量记为每个超像素块的无用信息。
10.优选的，所述根据每个超像素块的无用信息获得每个超像素块集合的所有参考像素块的步骤包括：对每个超像素块集合所有超像素块的无用信息进行均值漂移聚类，获得所有第二类别，将所有第二类别中的所有超像素块记为每个超像素块集合的所有参考像素块。
11.优选的，所述每个超像素块集合的权重的获取步骤为：在每个超像素块集合的所有参考像素块的所有无用信息中，获取任意两个无用信息的余弦相似度，所有无用信息中得到的所有余弦相似度之和作为每个超像素块集合的权重。
12.优选的，所述分别从任意两个超像素块集合中获得一组第一超像素块与第二超像素块的步骤为：分别将任意两个超像素块集合记为第一集合、第二集合；将满足：属于同一图像上的且相邻的，同时分别属于第一集合、第二集合的两个超像素块记为第一超像素块和第二超像素块。
13.优选的，所述根据任意两个超像素块集合中所有参考像素块的无用信息、第一超像素块的无用信息以及第二超像素块的无用信息获得第一超像素块的第一指标和第二超像素块的第二指标的步骤包括：对于将任意两个超像素块集合对应的第一集合、第二集合，分别获取第一超像素
块的无用信息与第二集合所有参考像素块的无用信息的第一余弦相似度，将得到的所有第一余弦相似度的均值记为第一超像素块的第一指标；分别获取第二超像素块的无用信息与第一集合所有参考像素块的无用信息的第二余弦相似度，将得到的所有第二余弦相似度的均值记为第二超像素块的第二指标。
14.优选的，所述利用每个图像的所有最终超像素块对图像进行压缩存储的步骤为：获取每个图像上每个最终超像素块的表征向量，利用所有图像的所有最终超像素块的表征向量进行聚类获得每个超像素块集合sq，所述每个超像素块集合sq包含多个最终超像素块，将每个图像展平为一维向量，同时让每个超像素块集合sq中的最终超像素块包含的像素分布在一维向量的同一维度区域；利用pca降维预处理方法对所有图像的所述一维向量进行预处理，并对预处理结果进行压缩存储。
15.本发明的有益效果是：本发明通过提取超像素块的无用信息获得超像素块之间的融合程度，进而对超像素块进行不断融合成新的超像素块，充分提取了不同超像素块集合所包含无用信息的分布特征，使得任意两个超像素块计算的融合程度更具有区分性，可以更准确的区分出哪个超像素块该与哪个超像素块优先融合，保证融合得到的超像素块对应的纹理区域具有尽可能多的冗余信息，保证对图像进行预处理时可以剔除更多的冗余无用信息，使得图像中只包含少量的有用信息，使得对预处理后的图像进行压缩时这些有用信息可以被高压缩率压缩，即节省了存储空间又不损失太多有用信息。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明的基于云计算的软件开发应用数据处理方法的实施例总体步骤的流程图；图2为图像一维向量中的超像素块包含的像素进行重新排列和拼接过程示意图；图3为不同图像的一维向量被重新配列和拼接后的结果的示意图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明的一种基于云计算的软件开发应用数据处理方法的实施例，如图1，该方法包括：s001、获取软件开发应用所需的图像数据。
20.在软件开发过程中，搭建云端服务器平台，软件开发测试或上线应用过程中用户使用的图像数据均被上传到云端服务器平台上，云端服务器具有云计算节点，云计算节点
获得每秒用户上传的所有图像，本发明需要对这些图像进行预处理和压缩存储。
21.本发明中这些图像均为大小一致的rgb图像，如果图像大小不一样那么本发明只获得其中大小一样的图像进行处理，本发明以图像大小为1024
×
1024为例进行叙述。
22.步骤s002、对每个图像进行分割获得每个图像上的所有超像素块，对所有图像上的所有超像素块进行聚类，获得多个超像素块集合。
23.首先需要说明的是，本发明需要对所有的图像进行预处理，然后对预处理的结果进行压缩存储；其中常用图像预处理方法有pca算法，pca算法是一种数据降维方法，该算法可以将图像中冗余的、无用的特征剔除掉，保留图像少量的、有用的信息；在对大量图像使用pca算法处理时需要将每个二维的图像数据展平为一维向量，然后对所有图像对应的所有一维向量进行pca预处理；其中将图像展平为一维向量是一种常用方法：按从上到下从左到右的顺序将图像的像素值排列构成一维向量。
24.但是存在一个问题：某些图像上的某些纹理区域之间具有一定相似性，甚至一模一样，那么这些纹理区域必然是存在一些冗余无用的信息的，那么越期望对这些纹理区域进行pca预处理可以剔除掉其中的冗余信息，将少量的有用信息保留下来；然后而这些纹理区域处于不同图像上的不同位置处，当将这些图像分别展平为一维向量时，不同图像上的纹理区域会分布在一维向量的不同维度上，例如某些纹理区域处于一个图像的左上角，那么这个图像展平为一维向量后这个纹理区域在一维向量的左侧，如果某些纹理区域处于一个图像的右下角，那么这个图像展平为一维向量后这个纹理区域在一维向量的右侧，这导致对图像进行pca算法预处理时无法提取到这些纹理区域包含的少量的、有用的信息，进而导致对这些图像的预处理结果进行压缩时没有较高的压缩率。
25.基于上述分析，本发明将每个图像分割成不同的纹理区域，然后获取分别属于不同图像上的若干纹理区域，保证这些若干纹理区域可以通过pca算法剔除掉其中的冗余信息只提取出一些少量的、有用的、重要的信息；然后在对每个图像展平成一维向量时，让这些若干纹理区域处于同一维度上，那么即可保证对所有图像进行pca预处理后的记过具有高压缩率。
26.（1）那么首先需要对每个图像进行分割，具体方法为：对每个图像进行超像素分割，获得每个图像上所有超像素块，本实施例使用的超像素分割算法为slic。每个超像素块可视为一个纹理区域。
27.（2）根据图像上的超像素块获得每个超像素块集合，具体方法：对于每个图像上的每个超像素块，该超像素块具有三个通道，获得该超像素块的每个通道的灰度共生矩阵，三个通道获得三个灰度共生矩阵，将这三个灰度共生那个矩阵分别展平并拼接成一个向量，该向量记为该超像素块的表征向量，用于表征超像素块的纹理分布特征。
28.获取所有图像上所有超像素块的表征向量，对这些表征向量进行均值漂移聚类获得多个第一类别，同一个第一类别中的表征向量之间是近似的，由于每个表征向量对应一个超像素块，因此每一个第一类别也可以看成是一些纹理特征相近的超像素块构成的集合；对于同一个第一类别中的所有超像素块，将属于同一个图像上的超像素块划分成不同集合中，将属于不同图像上的超像素块划分成相同集合中，从而将第一类别中的所有
超像素块划分为若干集合；同理将所有第一类别划分为多个集合，每个集合中的超像素块分别来自于不同像上且纹理分布相近。这里得到的每个集合记为每个超像素块集合，每个超像素块集合中的超像素块的纹理存在有一些冗余无用信息。
29.至此获得了每个超像素块集合，在将所有图像展平为一维向量时，只需让同一超像素块集合的超像素块在一维向量处于同一维度即可。例如让某个超像素块集合中的超像素块同时处于一维向量的前100个维度中，另外一个超像素块集合中的超像素块同时处于一维向量的后100个维度中即可。从而保证具有用于信息的超像素块可以经过pca预处理后保留较少的有用信息，剔除较多的冗余无用信息。
30.但是至此依然存在一个问题：首先上述使用的超像素分割算法获得的每个超像素块只是某个完整纹理区域的一部分，例如一些图像上分别具有一张相同的人脸，本发明需要得到的是人脸区域构成的超像素块，而上述的超像素分割算法得到的每个超像素块可能只是包含人脸上的鼻子区域或脸颊区域等局部区域，而不是一个完整的人脸区域，因此上述获得的每个超像素块集合中的超像素块不是本发明所期望获得的结果，依然会导致无法到达完备准确的剔除冗余无用特征以及保留有用特征的目的，从而导致不能得到较高的把压缩率。
31.因此需要在上述超像素分割结果的基础上，对得到的超像素块进行融合，使得每个超像素块集合中的超像素块包含的是一个完整的纹理区域，且这些纹理区域可以通过pca算法剔除尽可能多的冗余无用信息，保留一些少量的、有用的信息。这里说的是尽可能多的冗余无用信息是指某种或某些冗余信息多，而不是有很多种不同的冗余信息。
32.步骤s003、对每个超像素块集合中的超像素块进行处理，获得每个超像素块集合的无用信息。
33.对于同一个超像素块集合中所有超像素块的表征向量s，将这些表征向量s作为pca算法的输入数据，根据pca算法原理可知，该算法会得到n个单位向量，n等于表征向量的维度，表示其中的第n个单位向量，这些单位向量满足：这些表征向量s在每个单位向量上的投影的方差取极大值，并且每个单位向量对应一个特征值，第n个单位向量对应的特征值记为。当单位向量对应的特征值越大说明单位向量代表一种有用的重要特征，当单位向量对应的特征值越小说明单位向量代表一种无用的冗余特征；此处是根据pca算法原理得到的，本发明不再赘述其具体过程以及逻辑含义。
34.本发明为了保留少量重要特征，因此将特征值最大的个单位向量记为重要特征，分别记为，剩余的个单位向量记为无用特征， 分别记为；其中n1和n2可以实际情况人为指定，保证两者之和等于n即可。
35.对于这些表征向量s中的第i个表征向量，其在重要特征上的映射结果为
；其在无用特征上的映射结果为； 表示与的内积，由于是单位向量，因此还表示在上的投影，同理表示相同含义。
36.即向量表示第i个表征向量对应的超像素块中含有的重要信息，表征含有的无用信息。至此获得了每个超像素块集合中每个超像素块的重要信息和无用信息。
37.s004、根据所有每个超像素块的无用信息对每个图像上的所有超像素块进行融合，获得每个图像上新的所有超像素块。
38.对于每个超像素集合中所有超像素块s1，根据这些超像素块s1的无用信息进行均值漂移聚类，获得所有第二类别，每个第二类别中包含多个超像素块。需要说明的是由于采用的是均值漂移聚类算法，因此所有超像素块s1中有些超像素块是不会被分类到第二类别中的。
39.具体来说，每个第二类别中的超像素块具有近似一致的无用信息，或者说每个第二类别中的包含的无用信息大量集中出现；而不属于第二类别的超像素块，其无用信息是随机或偶尔出现的；本发明在后续融合超像素块时期望的是将具有大量无用信息的超像素块进行融合，从而才能保证融合后的超像素块也包含大量集中出现的无用信息，进而可以保证能够保留少量的有用信息，那么自然对拥有少量的且有用的信息进行存储时才能得到高的压缩率，将第二类别中的每个超像素块记为参考像素块，从而每个超像素集合中得到多个参考像素块。
40.对于任意两个超像素集合，分别记为第一集合、第二集合；对于一个图像，该图像上有两个超像素块，分别记为第一超像素块、第二超像素块，第一超像素块、第二超像素块满足：分别属于第一集合与第二集合，且这两个超像素块是不相邻的时，这两个超像素块需要进行融合；这两个超像素块的融合程度p为：其中的获取方法为：对于第一集合的所有参考像素块s1，。
41.其中表示所有参考像素块s1任意两个不同的参考像素块x和y，表示参考像素块x和y对应的无用信息的余弦相似度；获取所有参考像素块s1中任意两个无用信息的余弦相似度，这里得到的所有余弦相似度之和就是，该值越大说明第一集合所包含的无用信息越多越集中。
42.其中的获取方法为：对于第二集合的所有参考像素块s2，。
43.其中表示所有参考像素块s2任意两个不同的参考像素块f和g，表示
参考像素块f和g对应的无用信息的余弦相似度；获取所有参考像素块s2中任意两个无用信息的余弦相似度，这里得到的所有余弦相似度之和就是，该值越大说明第二集合所包含的无用信息越多越集中。
44.、分别视为两个超像素集合的权重。
45.d1表示第一像素块的无用信息与第二集合的所有参考像素块的无用信息与余弦相似度的均值，d1越大说明第一像素块的无用信息越和第二集合的所有参考像素块的无用信息相似；同理，d2表示第二像素块的无用信息与第一集合的所有参考像素块的无用信息与余弦相似度的均值，d2越大说明第二像素块的无用信息越和第一集合的所有参考像素块的无用信息相似。
46.表示以和为权重对d1和d2进行加权求和，表示当第一集合中的无用信息愈多越集中时说明第一集合中的无用信息更具有参考价值或被剔除的价值，此时更应该关注第一集合中的第一像素块与第二集合中超像素块无用信息的近似情况，或者当第二集合中的无用信息愈多越集中时说明第二集合中的无用信息更具有参考价值或被剔除的价值，此时更应该关注第二集合中的第二像素块与第一集合中超像素块无用信息的近似情况；在这样计算p充分提取了不同超像素块集合所包含无用信息的分布特征，使得任意两个超像素块计算的融合程度p更具有区分性，后续可以更准确的区分出哪个超像素块该与哪个超像素块优先融合，保证融合得到的超像素块具有尽可能多的冗余信息。
47.其中是归一化系数。
48.总之p越大说明两个超像素块越应该融合。至此在一个图像上获得了哪两个超像素块需要融合以及融合程度。
49.在一个图像上，对于需要融合的所有超像素块，获取融合程度最大的两个超像素块，将这两个超像素块合并为一个超像素块，那么每个图像得到了所有的新的超像素块。
50.步骤s005、利用所有图像得到的新的超像素块对图像进行预处理以及压缩存储。
51.（1）重读依次执行：步骤s002中的（2）、步骤s003和步骤s004预设数量次，本发明以预设数量等于5为例进行叙述，该值越大最终的压缩效果越好，但是付出的计算量也越大，综合考虑来说不建议取太大值。重复执行过程中灰度每个图像上的超像素块进行不断地融合，得到新地超像素块。
52.完成重复执行后每个图像上最终分割得到多个超像素块，这些超像素块就是每个图像的最终分割结果，记为每个图像上所有的最终超像素块。
53.然后重新利用步骤s002中（2）所述的方法根据所有图像的最终超像素块重新获得每个超像素块集合sq。
54.（2）然后将每个图像分别展平为一维向量，图像上每个像素在一维向量上对应一个维度，一维向量的维度就等于图像的大小。
55.获取同一超像素块集合sq中的每个超像素块，每个超像素块中包含的像素分布在一维向量的不同维度上，现需要在一维向量上将超像素块内的像素所在的维度重新排列和拼接，让维度连续分布，如图2所示，然后让同一超像素块集合所有超像素块包含的像素对应的维度在一维向量的同一维度区域即可，例如让包含的像素左侧对齐进行排列，如图3所
示。
56.进而所有图像中每个图像均对应一个一维向量，这些图像上相似的纹理区域分布在一维向量的同一维度区间，相比常规的将图像展成一维向量的方法来说，本发明获得的一维向量能够使得这些一维向量进行pca降维预处理后，去除更多的冗余信息，同时保证有用信息不损失，由于冗余信息去除的多，有用信息相对较少，因此pca降维预处理后的数据可以被高压缩率的压缩存储。
57.pca降维预处理是常用的数据处理方法，具体为：将所有图像的所有一维向量所述pca算法，获得输出结果即为所有图像的预处理结果。
58.然后对所有预处理结果采用现有的压缩算法进行压缩处理，例如本发明采用k-svd稀疏分解的算法进行压缩，可以获得较高的压缩率，同时不损毁数据的重要信息。
59.需要补充说明的是：当需要将压缩后的图像读取出来时，需要对压缩结果进行解压缩，获得预处理结果，因为压缩方法是现有技术公开的，因此解压缩方法也是已知的。由于预处理结果是通过pca方法对图像的一维向量进行处理获得的，因此可以利用pca算法的逆向过程反推出来图像的一维向量，只不过是这里反推出来的一维向量是有数据损失的，损失的就是冗余数据。最后根据反推出来的一维向量将图像还原出来即可，还原方法就是步骤s005中（2）的逆过程，本发明不再赘述和改进。
60.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。