一种基于全局抠图的训练数据增强方法

1.本发明涉及涉及图像训练数据增强领域，具体涉及一种基于全局抠图的训练数据增强方法。


背景技术：

2.大数据时代下的每一张图像数据都来之不易，丰富而多样的数据越来越成为一种无形的财富。红外线与可见光相比具有较强的适应性和抗干扰性，因此红外成像技术在许多领域有广泛的应用。但复杂环境下的红外辐射传输特性使得红外图像存在信噪比低、弱细节模糊和对比度不强等问题。图像抠图是一种从数字图像中将用户感兴趣的部分(即前景部分)从图像其他部分中分离岀来的一种数字图像处理技术。数字图像的合成公式描述为：c＝αf (1-α)b，c,f和b分别表示合成图像、前景图像和背景图像。目前的抠图算法主要分为三类：基于采样的方法，基于传播的方法以及基于深度学习的方法。
3.以往在解决红外图像在复杂背景下目标物体不突出的问题时，通常是采用更深的神经网络来处理，而与此同时也带来的更高的计算量。而对杂乱背景进行抑制会提高网络性能，但是这方面的工作在之前很少被重视。


技术实现要素：

4.本发明的目的在于克服现有红外图像中目标物体不突出，神经网络难以学习的问题，提供一种基于全局抠图的训练数据增强方法。本发明通过抠图的方式对原图中感兴趣的部分进行增强操作，从而降低神经网络提取到有效特征的难度，实现对训练数据的增强。实现该方案需要两个部分，一是通过采样抠图方法，根据指定三分图对原图进行抠图处理，二是对抠图得到的透明度遮罩进行导向滤波。
5.本发明通过下述技术方案实现：
6.一种基于全局抠图的训练数据增强方法，包括以下步骤：
7.(a)算法以图片为输入，对输入图片进行等比例缩放，将图片缩放至长边长度为64像素。
8.(b)依据输入的三分图，对图像中前景和背景区域的像素进行边缘采样；
9.(c)依据输入的三分图，遍历图像中每个未知像素，其中对每个未知像素，计算其与所有采样后的像素对的评估函数值，选择评估函数值最优的像素对；
10.(d)每个未知像素根据最优像素对计算透明度遮罩值；
11.(e)利用原图对得到的透明度遮罩图进行导向滤波。
12.(f)输出增强后的图像。
13.上述基于全局抠图的训练数据增强方法的步骤(b)中，主要分为两步：
14.(b-1)逐个遍历前景像素，若该像素的四邻域内存在未知像素，则将其加入到前景采样子集中；
15.(b-2)逐个遍历背景像素，若该像素的四邻域内存在未知像素，则将其加入到背景
采样子集中。
16.上述基于全局抠图的训练数据增强方法的步骤(c)中，主要分为两步：
17.(c-1)若原图为彩色图像，则计算的评估函数包括颜色判据、空间临近判据，具体计算公式为：其中：
[0018][0019][0020][0021]
k为第k个未知像素，i、j为其对应的第i、j个前背景像素，c
j(b)
分别第k个未知像素、及其对应的第i个前景像素和第j个背景像素的颜色，s
j(b)
分别是第k个未知像素、第i个前景像素的坐标及其对应的第j个背景像素的坐标，σc、σs分别是颜色判据和空间临近判据的惩罚因子；
[0022]
(c-2)若原图为灰度图像，则计算的评估函数只包括空间临近判据，具体计算公式为：为：的定义见公式(2)、(3)
[0023]
上述基于全局抠图的训练数据增强方法的步骤(c-1)中，1)中，中的惩罚因子σc＝0.5、σs＝0.5。即颜色判据和空间判据在评估函数中所占比例为1：1。
[0024]
上述基于全局抠图的训练数据增强方法的步骤(d)中，每个未知像素根据最优像素对计算透明度遮罩值的公式为其中αz为该未知像素的透明度值，iz是该未知像素的颜色，fz是该未知像素对应的最优像素对中前景像素的颜色，bz是该未知像素对应的最优像素对中背景像素的颜色。
[0025]
上述基于全局抠图的训练数据增强方法的步骤(e)中，将原图作为引导图，将透明度遮罩值作为滤波输入，使用导向滤波器输出滤波后的图像。导向滤波是指，对于一个输入的图像p，通过引导图像i，经过滤波后得到输出图像q，其中p和i都是算法的输入。导向滤波定义了一个线性滤波过程，对于i位置的像素点，得到的滤波输出是一个加权平均值：qi＝∑jw
ij
(i)pj,其中i和j分别表示像素下标，w
ij
是只和引导图像i相关的滤波核。
[0026]
本发明提供的基于全局抠图的训练数据增强方法，首先使用采样抠图算法对输入图像按照给定三分图进行抠图增强操作，得到原图的透明度遮罩图，然后对透明度遮罩图以原图为引导图像，使用导向滤波进行滤波操作，得到最终的增强训练数据。增强后的训练图片拥有比原图更加显著的特征，可以突出目标物体的细节同时过滤掉无关的背景，从而使神经网络等深度学习方法无需复杂的网络结构即可学到物体的特征，有利于降低模型的复杂度和计算时间。
[0027]
与直接使用原始数据进行训练的神经网络相比，本发明具有如下优点和技术效果：
[0028]
本发明使用基于采样的抠图方法，一定程度上避免了因三分图质量过差导致无法抠图的问题，对于复杂环境下的红外图像抠图问题具备一定的鲁棒性；通过对彩色图像和灰度图像使用不同的评估函数，即保证了在彩色图像下抠图的准确性，也保证了当图像为灰度(单通道)图像时算法速度可以得到提升；通过在抠图后使用导向滤波器对抠图结果进行滤波操作，可以使抠图结果在保证边缘的情况下更加平滑。
附图说明
[0029]
图1为本发明基于全局抠图的训练数据增强方法的流程图。
具体实施方式
[0030]
下面结合具体实施例对本发明作进一步具体详细描述。
[0031]
如图1所示，本发明公开了一种基于全局抠图的训练数据增强方法；主要流程包括以下步骤：
[0032]
第一步，读入训练图片，对图片进行预处理。具体来说是对图片按将图片缩放至长边64的比例等比例缩放，判断图片类型是彩色图像还是灰度图像，并将图像类型转化为ubyte8。为后面的操作做准备。
[0033]
算法读入训练图片，在对图片进行缩放操作，目的是将图片缩放至统一规格，有利于后续算法进行处理，可以保证算法速度的稳定性。
[0034]
第二步，对前景像素和背景像素进行采样。这一步目的是减少搜索空间。
[0035]
分别对前景像素和背景像素进行边缘采样：对前景像素，逐个遍历每个前景像素，若该像素的四邻域范围内存在未知像素，则将其加入到前景样本集中，使用同样的方法对背景像素进行采样。最终得到前景像素和背景像素的采样子集。
[0036]
若前景采样子集为空，则将全体前景像素作为采样子集，若仍为空，则随机选取像素总数的十分之一个像素作为前景采样子集。背景像素使用相同的方式进行处理。
[0037]
第三步，对图像进行抠图增强操作。这一步的目的是得到初步的增强训练数据。
[0038]
首先判断图片类型是彩色图像还是灰度图像，若为彩色图像，则评估函数为若为灰度图像，则评估函数为
[0039]
随后逐个未知像素进行处理，每个未知像素计算所有采样后的前景背景像素对的评估函数值，根据评估函数值最优的像素对，按照计算该未知像素处的透明度遮罩值。其中αz为该未知像素的透明度值，iz是该未知像素的颜色，fz是该未知像素对应的最优像素对中前景像素的颜色，bz是该未知像素对应的最优像素对中背景像素的颜色。
[0040]
第四步，对抠图得到的透明度遮罩图按原图为引导图像进行导向滤波操作，这一步的目的是在保持图像边缘的情况下对透明度遮罩图进行平滑操作。
[0041]
得到抠图的透明度遮罩图之和，将透明度遮罩图p作为输入，原图作为引导图像i，经过导向滤波后得到输出图像q，其中p和i都是算法的输入。导向滤波定义了一个线性滤波
过程，对于i位置的像素点，得到的滤波输出是一个加权平均值：qi＝∑jw
ij
(i)pj,其中i和j分别表示像素下标，w
ij
是只和引导图像i相关的滤波核。
[0042]
如上所述，本发明通过抠图的方式，对训练数据进行图像增强；同时通过采样的方式，实现对抠图问题的高效率求解。本发明使用简单，计算量少，对输入的训练图片没有特殊要求，可以快速有效的对训练图片进行数据增强。
[0043]
本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。