一种基于人工智能的图像重复数据删除方法与流程

1.本发明涉及图像压缩领域，具体涉及一种基于人工智能的图像重复数据删除方法。


背景技术：

2.重复数据删除是一种在数据备份和归档过程中广泛使用的数据缩减技术，其通过删除数据集中重复的数据来消除冗余数据，从而减少在存储空间中使用的存储容量。
3.目前，行业内对图像重复数据的删除方法主要分为有损删除和无损删除。这些方法与图像压缩的思想基本一致，都是通过将图像的冗余数据删除来减少图像的数据存储量，从而实现图像的数据压缩。现有的对图像冗余数据的删除方法主要通过离散余弦变换将图像数据转换为频域数据，然后对频域数据进行量化和反量化操作，再通过熵编码器和熵解码器经过离散余弦反变化得到图像压缩后的数据。但是，这类方法所存在的缺陷是在删除数据时极有可能删除一些非冗余数据，也即没有准确地删除相应的数据，从而致使最终得到的图像质量损失较大。
4.因此，亟需要一种能够准确删除冗余数据的方法。


技术实现要素：

5.为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的图像重复数据删除方法，所采用的技术方案具体如下：
6.获取图像数据，并对所述图像数据依次进行灰度化处理和等分块操作，得到多个灰度图像块；
7.对所述多个灰度图像块进行图像处理，得到各灰度图像块中各像素点的标记值；
8.根据各灰度图像块的标记值，判断相邻灰度图像块是否满足相同标记值分布，当相邻灰度图像块满足相同标记值分布时，则判断两相邻灰度图像块相似，进行图像拼接，得到新的灰度图像块，依次判断，直至将所有相似灰度图像块进行拼接，得到相似区域块；反之，则判断两相邻灰度图像块不相似，不进行图像拼接，最终得到非相似区域块；
9.根据各相似区域块中像素点的标记值计算相似区域块内像素点之间的相似程度；并将所述相似区域块的像素点的数量和作为相似区域块的大小；根据各非相似区域块像素点的标记值计算非相似区域块内像素点之间的相似程度；并将所述非相似区域块的像素点的数量和作为非相似区域块的大小；分别根据所述相似区域块的大小和相似度、所述非相似区域块的大小和相似程度，确定对应区域块的卷积核大小和卷积次数；
10.根据不同区域块的卷积核大小和卷积次数，分别对对应的相似区域块和非相似区域块进行卷积处理，得到对应的图像特征图；
11.将得到的各图像特征图合并得到压缩后的图像数据。
12.进一步地，所述图像处理的具体步骤为：
13.1)选取任意一灰度图像块，将所述灰度图像块中第一行第一个像素点的灰度值依
次与该像素点后的第二个、第三个、第四个像素点作差，得到相应的灰度差值；
14.2)计算所述灰度差值的差值均值，将差值均值与均值阈值作比较，若差值均值小于等于均值阈值，则所有参与计算的像素点标记值为0，若差值均值大于均值阈值，则第一个像素点的标记值为其中，为差值均值，m1为均值阈值；
15.3)依次类推，按照上述步骤1)和2)，得到第j个像素点的标记值；进而得到各灰度图像块的各像素点的标记值。
16.进一步地，所述相邻灰度图像块是否满足相同标记值分布的判断方法为：
17.将两相邻灰度图像块的标记值进行三维空间映射，获取对应的三维空间分布平面，将两三维空间分布平面进行重叠，并计算所述两三维空间分布平面重叠后灰度图像块中像素点之间的欧氏距离，根据灰度图像块像素点之间欧氏距离均值得到耦合度，当耦合度小于设定耦合阈值，则两灰度图像满足相同标记值分布；其中，灰度图像块的大小为三维空间底面大小，标记值为像素点的三维空间高度。
18.进一步地，在满足所述相同标记值分布条件之后，还包括计算相邻灰度图像块的边缘像素点的灰度差值，当所述灰度差值小于设定阈值，则进行图像拼接，得到相似区域块；当所述灰度差值大于设定阈值，则不进行图像拼接，最终得到非相似区域块的步骤。
19.进一步地，所述相似程度为：
[0020][0021]
其中，在相似区域块中，i是相似区域块中任一像素点，ki是像素点i标记值，n是相似区域块中像素点的总数量。
[0022]
进一步地，所述卷积核大小为：
[0023]
其中，l表示相似区域块或者非相似区域块的边长与最小区域块的边长的比值，表示向下取整。
[0024]
进一步地，所述卷积次数为其中，表示向上取整，为相似程度。
[0025]
进一步地，所述各图像特征图合并的方法为：根据灰度图像块的邻接关系，对所述各图像特征图在进行卷积操作时缺失的部分进行补0操作后，直接与相邻的图像特征图进行拼接得到压缩后的图像数据。
[0026]
本发明的有益效果为：
[0027]
本发明通过获取图像中每个像素点的标记值，得出相似区域块和非相似区域块，较好的保留了图像中的非相似区域图像特征，提高了图像冗余数据删除后的图像质量。
[0028]
本发明将相似区域和非相似区域分别根据不同卷积层进行卷积，获取对应的压缩图像，以此达到图像重复数据删除的效果；图像重复数据删除后保留的数据仍具有较为完整的原图像结构和图像信息，当保留的数据在进行数据恢复的过程中，保证了图像质量损失尽可能的小。
附图说明
[0029]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施
例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0030]
图1为本发明的一种基于人工智能的图像重复数据删除方法实施例的方法流程图。
具体实施方式
[0031]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0032]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0033]
下面结合附图具体的说明本发明所提供的一种基于人工智能的图像重复数据删除方法的具体方案；本发明是对任意需要存储的图像数据进行压缩，以便于在进行存储时，减少占用内存。
[0034]
具体地，本发明以人脸图像数据为例进行具体方案的说明：
[0035]
请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的图像重复数据删除方法的步骤流程图，该方法包括以下步骤：
[0036]
步骤1，获取图像数据，并对图像数据依次进行灰度化处理和等分块操作，得到多个灰度图像块。
[0037]
具体地，本实施例中利用相机获取人脸图像的图像数据，采集到的图像数据尺寸为240*240。
[0038]
具体地，本实施例中采用加权灰度化的方法对图像进行灰度处理，其中，r、g、b三个通道的灰度权重分别为0.3、0.6、0.1。根据灰度化处理得到的灰度图像块尺寸大小为8*8，一共得到900个灰度图像块；为了更好地提高进行重复数据删除后的图像质量，本实施例也支持选择更大的灰度图像块分块，如16*16；将图像进行分块处理是由于图像像素点之间是相互独立的，这样处理有利于神经网络进行并行运算，能够提高系统处理效率，降低时间复杂度。
[0039]
步骤2，对多个灰度图像块进行图像处理，得到各灰度图像块中各像素点的标记值。
[0040]
本实施例中，图像处理的具体步骤为：
[0041]
1)选取任意一灰度图像块，将所选灰度图像块中第一行第一个像素点的灰度值依次与该像素点后的第二个、第三个、第四个像素点作差，得到相应的灰度差值d0、d1、d2；
[0042]
其中，上述步骤中的第一行的第一个像素点一般从灰度图像块左侧开始。
[0043]
2)计算所述灰度差值d0、d1、d2的差值均值，将差值均值与均值阈值作比较，若差值均值小于等于均值阈值，则所有参与计算的像素点标记值为0；若差值均值大于均值阈值，则第一个像素点的标记值为其中，为差值均值，m1为均值阈值；
[0044]
其中上述步骤中的均值阈值m1＝
±
10。
[0045]
依次类推，按照上述步骤1)和2)，得到第j个像素点的标记值；进而得到各灰度图像块的各像素点的标记值。需要说明的是，当第一个像素点与该像素点后的第二个、第三个、第四个像素点的标记值为0时，计算得到第二个像素点与该像素点后的第三个、第四个、第五个像素点的灰度差值大于均值阈值时，则将作为第五个像素点的标记值，其余像素点的标记值不变；将第五个像素点作为灰度跳变点，当计算第六个像素点与该像素点后的第七个、第八个像素点的灰度差值时，则将灰度跳变点作为第一像素点进行计算；计算第七个像素点的灰度差值时，则将第六个像素点作为第一像素点进行计算，依次类推，直至得出灰度差值小于等于差值阈值的像素点区域。
[0046]
步骤3，根据各灰度图像块的标记值，判断相邻灰度图像块是否满足相同标记值分布，当相邻灰度图像块满足相同标记值分布时，则判断两相邻灰度图像块相似，进行图像拼接，得到新的灰度图像块，依次判断，直至将所有相似灰度图像块进行拼接，得到相似区域块；反之，则判断两相邻灰度图像块不相似，不进行图像拼接，最终得到非相似区域块。
[0047]
具体地，相邻灰度图像块是否满足相同标记值分布的判断方法为：
[0048]
将两相邻灰度图像块的标记值进行三维空间映射，获取对应的三维空间分布平面，将两三维空间分布平面进行重叠，并计算所述两三维空间分布平面重叠后灰度图像块中像素点之间的欧氏距离，根据灰度图像块像素点之间欧氏距离均值得到耦合度，当耦合度小于设定耦合阈值，则两灰度图像满足相同标记值分布；
[0049]
其中，灰度图像块的大小为三维空间底面大小，标记值为像素点的三维空间高度；
[0050]
其中，耦合度越接近于0，认为两灰度图像越满足标记值分布相同。
[0051]
具体地，将三维空间的映射值进行三维空间连线得到三维空间分布平面。
[0052]
需要说明的是，若两个灰度图像的三维空间分布平面为非等大时，则需要对较大的灰度图像进行缩放处理，得到与另一个灰度图像等大的三维空间分布平面；其中。缩放处理方法为采用间隔像素点相似点删除的方法，将图像缩放到等大，在进行两个三维空间分布平面耦合度判断。
[0053]
进一步地，为了更准确地进行相似图像块的判断，本发明在满足所述相同标记值分布条件之后，还包括计算相邻灰度图像块的边缘像素点的灰度差值，当所述灰度差值小于设定阈值，则进行图像拼接，得到相似区域块；当所述灰度差值大于设定阈值，则不进行图像拼接，最终得到非相似区域块的步骤。
[0054]
步骤4，根据各相似区域块中像素点的标记值计算相似区域块内像素点之间的相似程度，并将相似区域块的像素点的数量和作为相似区域块的大小；根据各非相似区域块像素点的标记值计算非相似区域块内像素点之间的相似程度；并将非相似区域块的像素点的数量和作为非相似区域块的大小；分别根据相似区域块的大小和相似度、非相似区域块的大小和相似程度，确定对应区域块的卷积核大小和卷积次数。
[0055]
具体地，本实施例中相似区域块的相似程度为
[0056]
[0057]
其中，在相似区域块中，i是相似区域块中任一像素点，ki是像素点i标记值，n是相似区域块中像素点的总数量。
[0058]
本实施例中，对于非相似区域块的相似度的计算，其与上述相似区域块的计算方式相同，此处不再过多赘述。
[0059]
本实施例中卷积核大小为其中，l为相似区域块或者非相似区域块的边长与最小区域块的边长的比值，表示向下取整，保证卷积核为整数；其中，本实施例中的最小区域块为8*8的区域块，默认最小区域块对应的卷积核大小为3*3；然后以各图像块区域的边长与8的比值l，进行卷积核大小量化，得到对应的卷积核大小为
[0060]
具体地，本实施例中根据不同区域块的相似程度计算对应的卷积次数；其中，为了避免网络过度卷积，增加后续图像数据恢复的难度，本实施例中设定卷积最大次数为20次，卷积次数为其中，为相似程度，的区域块进行1次卷积；表示向上取整，向上取整的目的是让卷积次数取最小整数，让灰度图像尽量少的卷积，更多的保留原图像数据特征。
[0061]
本实施例中，由于获取的相似区域块与非相似区域块的图像大小是不同的，因此需要对不同图像大小设定不同的卷积核；需要说明的是，卷积核越大，对应提取的图像特征越粗糙，获得的特征图保留的图像原有信息越多。
[0062]
步骤5，根据不同区域块的卷积核大小和卷积次数，分别对对应的相似区域块和非相似区域块进行卷积处理，得到对应的图像特征图。
[0063]
本实施例中，由于区域块在卷积的过程中，得到的特征图参数越来越少，相应的特征图越来越小；为了确保经过冗余数据删除后的图像尺寸大小不变，采用对区域块卷积缺少的部分进行补0操作的方法，保证图像特征图始终保持初始卷积时的大小；本实施例中将图像缺失部分补0的操作的实际上等同于对图像相似区域的像素点进行冗余数据删除，达到了图像数据的冗余数据的删除，也即实现了图像数据的压缩的目的。
[0064]
步骤6，将得到的各图像特征图合并得到压缩后的图像数据。
[0065]
具体地，各图像特征图合并的方法为：根据灰度图像块的邻接关系，对各图像特征图在进行卷积操作时缺失的部分进行补0操作后，直接与相邻的图像特征图进行拼接得到压缩后的图像数据。
[0066]
进一步地，本发明还包括对压缩后的图像数据进行恢复的步骤。
[0067]
具体地，由于图像卷积过程本身是不可逆的，所以本实施例中采用自编码网络对图像特征图进行恢复；其中的自编码网络包括卷积网络部分和自编码网络部分，该网络的整体结构为：encoder
‑
decoder；其中，encoder编码器为网络卷积部分，decoder解码器为自编码图像数据恢复部分。
[0068]
需要说明的是，自编码网络的训练过程与实施例中的网络卷积过程为同步训练，目的是保证自编码的网络参数能够与网络卷积参数进行同步学习，保证重构图像尽可能的保留图像质量；此部分非本发明的重点，不在详细赘述过程，可理解为利用现有的自编码网络训练方法，完成自编码网络的解码器训练。
[0069]
本发明采用自编码网络能够弥补卷积不可逆的问题，并且自编码网络在完成图像数据恢复过程中，能够尽可能的减少图像质量损失。
[0070]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0071]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0072]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。