一种图像数据增强方法及系统

1.本发明涉及图像处理领域，特别是涉及一种图像数据增强方法及系统。


背景技术：

2.在机器学习的监督学习分类任务中，需要输入一些标注完毕的数据进行训练满足分类要求，遇到数据量不足的情况则需要进行数据增强。数据增强是在不增加数据量的情况下，让有限的数据产生等价于更多数据的价值的一种方法。数据增强方法包括有监督和无监督的方法。有监督学习通过采用预设的数据变换规则，在已有数据上进行数据扩增。有监督学习方法包括单样本数据增强的几何变换与颜色变换方法；多样本数据增强的线性插值方法获得新样本，提高小样本数据在全体数据中的占比。在无监督数据学习方法下采用基于模型学习的gan直接生成类似图像，或从数据本身出发寻找最佳图像变换策略。但是当前数据增强方法主要针对数据进行简单变化，没有考虑环境变化和环境适应性，对于环境变化情况的泛化能力较差。


技术实现要素：

3.本发明的目的是提供一种图像数据增强方法及系统，本发明能够得到考虑了环境特性的数据增强图像，提高了数据增强方法对于不同环境的泛化能力。
4.为实现上述目的，本发明提供了如下方案：一种图像数据增强方法，所述方法包括以下步骤：获取标注后图像和环境背景图像，所述标注后图像为对原始图像中的前景物体进行标注后得到的图像；对所述环境背景图像进行分割，得到环境背景图像中的第一天空区域和第一地面区域；裁剪所述标注后图像中标注为前景物体的区域，得到目标区域图像；对所述目标区域图像中各像素点进行聚类以分离前景和背景，并获取仅包括前景物体的前景图像；判断所述前景图像中的物体是否为地面物体；若是，则将所述前景图像拼接在所述环境背景图像中的第一地面区域中，得到数据增强图像；若否，则将所述前景图像拼接在所述环境背景图像中的第一天空区域中，得到数据增强图像。
5.本发明还提供了一种图像数据增强系统，所述系统包括：图像获取单元，用于获取标注后图像和环境背景图像，所述标注后图像为对原始图像中的前景物体进行标注后得到的图像；图像分割单元，用于对所述环境背景图像进行分割，得到环境背景图像中的天空区域和地面区域；
目标区域图像获取单元，用于裁剪所述标注后图像中标注为前景物体的区域，得到目标区域图像；前景图像获取单元，用于对所述目标区域图像中各像素进行聚类以分离前景和背景，并获取仅包括前景物体的前景图像；判断单元，用于判断所述前景图像中的物体是否为地面物体；第一拼接单元，用于当判断结果为是时，将所述前景图像拼接在所述环境背景图像中的地面区域中，得到数据增强图像；第二拼接单元，用于当判断结果为否时，将所述前景图像拼接在所述环境背景图像中的天空区域中，得到数据增强图像。
6.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明公开了一种图像数据增强方法及系统，所述方法包括以下步骤：获取标注后图像和环境背景图像，所述标注后图像为对原始图像中的前景物体进行标注后得到的图像；对所述环境背景图像进行分割，得到环境背景图像中的第一天空区域和第一地面区域；裁剪所述标注后图像中标注为前景物体的区域，得到目标区域图像；对所述目标区域图像中各像素点进行聚类以分离前景和背景，并获取仅包括前景物体的前景图像；判断所述前景图像中的物体是否为地面物体；若是，则将所述前景图像拼接在所述环境背景图像中的第一地面区域中，得到数据增强图像；若否，则将所述前景图像拼接在所述环境背景图像中的第一天空区域中，得到数据增强图像。本发明通过对环境背景图像进行分割，得到环境背景图像中的天空区域和地面区域，通过聚类的方式得到前景物体的区域中的前景图像，然后根据前景图像中物体的类别决定将前景图像拼接到地面区域或天空区域，最终得到数据增强图像。与现有技术相比，并不是对数据进行了简单的变化，考虑了环境特性，提高了数据增强方法对于不同环境的泛化能力。
附图说明
7.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
8.图1为本发明实施例1提供的一种图像数据增强方法的流程图；图2为最优边界线和次优边界线的划分示意图；图3为本发明实施例2提供的一种图像数据增强系统的结构框图。
具体实施方式
9.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
10.本发明的目的是提供一种图像数据增强方法及系统，本发明能够得到考虑了环境特性的数据增强图像，提高了数据增强方法对于不同环境的泛化能力。
11.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
12.实施例1：请参阅图1，本发明提供了一种图像数据增强方法，所述方法包括以下步骤：s1：获取标注后图像和环境背景图像，所述标注后图像为对原始图像中的前景物体进行标注后得到的图像；s2：对所述环境背景图像进行分割，得到环境背景图像中的第一天空区域和第一地面区域；s3：裁剪所述标注后图像中标注为前景物体的区域，得到目标区域图像；s4：对所述目标区域图像中各像素点进行聚类以分离前景和背景，并获取仅包括前景物体的前景图像；s5：判断所述前景图像中的物体是否为地面物体；s6：若是，则将所述前景图像拼接在所述环境背景图像中的第一地面区域中，得到数据增强图像；s7：若否，则将所述前景图像拼接在所述环境背景图像中的第一天空区域中，得到数据增强图像。
13.数据增强的过程中采用目标区域图像中的前景图像与环境背景图像融合的方法，为了保证数据增强后的结果符合生活逻辑，不出现不必要的数据影响训练效果，故需要对环境背景图像的天空和地面区域的进行分类并限制数据增强的区域，例如车辆、树木和其他地面凸台、凹坑等障碍物不会出现在天空中。
14.考虑到使用深度学习网络的进行天空和地面的分割训练难度比较大，需要对于不同环境需要收集足够样本进行训练，违背了数据增强需要简洁易用的初衷。本发明采用基于数值计算的方法进行环境背景图像中的天空和地面分割。首先天空区域的像素变化并不明显，远低于地面其他区域的像素变化，可以利用数学方法计算变化阈值，确定是否出现了天空扫描环境背景图像的每一列像素，调整像素变化的梯度阈值得到天空和地面的边界，并不断优化找到最优边界。
15.具体的，在步骤s2中，对所述环境背景图像进行分割，得到环境背景图像中的第一天空区域和第一地面区域，具体包括：将所述环境背景图像进行矩阵转换，得到图像二维矩阵a；对所述图像二维矩阵a进行sobel算子的卷积计算，得到图像梯度图，所述图像梯度图由横向灰度梯度图g
x
和纵向灰度梯度图gy构成。
16.其中，灰度梯度图g
x
的计算公式为：纵向灰度梯度图gy的计算公式为：设定预设阈值k，对整幅灰度梯度图g
x
和gy和进行从上往下扫描，得到所述图像梯
度图中每个像素点的像素值和位置；分别计算每个像素点与相邻像素点的像素值的差值；差值的计算公式如下：between=|c
now-c
near
|其中，between为差值，c
now
为当前像素点的像素值，c
near
为与当前像素点相邻像素点的像素值，在本实施例中，相邻的像素点为直线间隔为1个像素的像素点，共有8个。
17.将所述差值不在预设阈值k范围内的像素点作为不平坦像素点，并记录所有不平坦像素点的位置(xi,yi)；将所有近邻的不平坦像素点进行连接得到若干条边界线，所述近邻的不平坦像素点为欧氏距离为3个像素以内的两个不平坦像素点；具体的，按照像素点位置从左到右、从上到下连接满足条件的像素点并构成一条边界线，将边界线存入变化边界数组edge中，如下式所示：ifbetween》kthen(xi,yi)ofbetween存入edge根据不平坦像素点，考虑到天空像素的蓝色通道数值较大，构建能量函数，所述能量函数为与边界线上下像素点的蓝色通道的单个像素值和边界线上下rgb通道颜色相关的函数；所述能量函数的计算公式如下：其中，p
edge
为能量函数值，γ为可变参数，n1为边界线长度的像素点个数，sb为边界线以上像素点的蓝色通道的单个像素值，gb为边界线以下像素点的蓝色通道的单个像素值，依据分界线以上的像素个数n2计算平均值，s
sky
为天空颜色的rgb通道颜色，s为边界线以上的rgb通道颜色。
18.根据所述能量函数，计算每条边界线对应的能量值；选取所述能量值最大的边界线作为临时最优边界线；如下式所示，对于不同边界线的能量值寻找最大的能量值，最大的能量值对应的边界线，说明边界线上方rgb的像素蓝色通道的平均像素值较高。同时和已知天空颜色的通道相差不大，此时最大的能量值说明在天空集合内和地面集合内的像素相似度最高。此时的边界线被称为临时最优边界线true
edge
；true
edge
=edge[arg max(p
edge
)]根据所述临时最优边界线对所述环境背景图像进行分割，得到环境背景图像中的第一天空区域和第一地面区域。
[0019]
但是由于每次扫描时边界是由一个梯度阈值分割的，可能存在云彩、电线等情况出现较大的阈值跳变。例如最优边界线出现在天空和电线交界的区域，但是电线下方还有天空区域出现，如果只计算最优边界线那么会丢弃大量的天空边界。对于这种情况，根据边界线的能量值，选取最优边界线和次优边界线，所述次优边界线为能量值仅小于最大能量值时对应的边界线。如图2所示，将图像分割为第一天空区域m1、第二天空区域m1 m2、第一地面区域g m2和第二地面区域g。
[0020]
为了判别m1、m1 m2哪个是真实天空区域，分别计算第一天空区域m1与第一地面区
域g m2的马氏距离和第二天空区域m1 m2与第二地面区域g的马氏距离，所述马氏距离的计算公式如下：其中，dm(m,n)为马氏距离的值，m为边界线天空附近的像素平均值矩阵，n为边界线地面附近的像素平均值矩阵，为协方差矩阵，t为转置。
[0021]
把马氏距离大的认为是真实天空区域（m
sure
），剩余的是地面区域g。如果天空上方还存在区域，那么认为上方区域统一都是天空。
[0022]
通过以上方法，在环境背景图像中找到了天空区域和地面区域的分界线。
[0023]
在背景分离的过程中，需要准确识别前景和背景之间变化阈值不大的梯度分界线，同时解决因为阈值过度接近出现的前景像素丢失的情况。针对该难点，本发明获取前景物体的区域中的背景色作为参考值，结合kmeans聚类方法设定合理聚类类别提取前景图像和背景图像。
[0024]
标注后图像来自于同一环境，使用kmeans聚类方法处理。需要进行分类的数据包括了图像的前景和背景，在kmeans聚类过程中进行前景和背景两个类簇的聚类，聚类得到前景结果，再对前景进行轮廓线提取，填充前景内部的缺失点，增强提取效果。
[0025]
具体的，裁剪所述标注后图像中标注为前景物体的区域，得到目标区域图像，其中，所述标注为围绕前景物体围成的矩形标注框，在所述矩形标注框内包括前景物体的前景图像和与前景物体无关的背景图像，为了获取前景物体的前景图像，现采用以下方法对目标区域图像中前景和背景进行分离：对所述前景物体的区域做一维展开，得到图像展开数据image，对于前景和背景分割给定聚类数type为2。
[0026]
采用kmeans聚类算法对所述图像展开数据进行聚类，得到聚类结果，所述聚类结果包括：聚类结果位置和聚类中心数组；具体聚类过程如下：首先设置聚类标签，聚类需要分为前景和背景聚类。对图像展开数据image进行前景和背景聚类，通过选择图像展开数据image角点作为背景初始中心和图像展开数据image中心作为前景初始中心得到图像数据的初始中心μ，以初始中心像素的rgb通道值作为聚类样本向量的初始值，对比其他像素的rgb通道值x(i)与前景初始中心、背景初始中心的rgb通道值μ
rgb-j
（分别为前景初始中心的rgb通道值μ
rgb-1
和背景初始中心的rgb通道值μ
rgb-2
）的差值，计算差值的二范数并将最小的结果存入到前景和背景分类后的cj数组中（前景记为c1数组，背景记为c2数组），计算公式如下式所示：。
[0027]
单次kmeans聚类过程中设置迭代次数为106次，在聚类过程中计算新的前景聚类中心(x
c1mid
,y
c1mid
)的像素点位置，计算公式如下式所示：
其中，m1为前景的像素点数量，(x
c1i
,y
c1i
)为使用前景c1数组中存储的像素点位置信息。
[0028]
在聚类过程中计算新的背景聚类中心(x
c2mid
,y
c2mid
)的像素点位置，计算公式如下式所示：其中，m2为背景的像素点数量，(x
c2i
,y
c2i
)为使用背景c2数组中存储的像素点位置信息。
[0029]
若到达迭代次数或kmeans聚类结果的前景聚类中心(x
c1mid
,y
c1mid
)的像素点位置和图像中心(μ
x
,μy)像素位置距离的平方和误差e(i)小于35个像素时，停止聚类；所示kmeans聚类结果的前景聚类中心(x
c1mid
,y
c1mid
)的像素点位置和图像中心(μ
x
,μy)像素位置距离的平方和误差e(i)的计算公式如下式所示：对聚类进行10次重复，设置能量密度函数，得到能量密度j，根据不同环境进行选择，比较前景和背景聚类中心与图像中心(μ
x
,μy)像素点位置的二范数，选取最小的能量密度时的聚类信息作为最优解进行输出。输出最优聚类结果，包括聚类结果位置和聚类中心数组两个值。所述能量密度函数的计算公式如下：将最优聚类结果在图像中的位置记录下来，将聚类后的结果位置反馈到图像展开数据image中，对图像展开数据image做不同rgb通道值的颜色掩膜，使用黑白颜色进行区分，前景为白色，背景为黑色，得到二值化后的前景图像和背景图像。对图像展开数据image做不同rgb通道值的颜色掩膜的计算公式如下：采用sobel算子对所述二值极化后的前景图像进行图像卷积提取，得到前景边界元素；对所述前景边界元素进行膨胀，得到膨胀后的前景边界元素，所述膨胀用于滤除离散的边界干扰点；采用掩膜（mask）技术对所述膨胀后的前景边界元素所围成区域内的像素进行提
under curve)曲线下面积情况，最终比较两种数据增强方法效果。
[0038]
表1 深度学习训练结果实验数据结果参数yolo v5原始数据增强方法精确率89.976%yolo v5原始数据增强回归率92.456%yolo v5原始数据增强方法aur0.827改进后数据增强方法精确率93.234%改进后数据增强方法回归率98.721%改进后原始数据增强方法aur0.983通过对比两种不同数据增强方法的最终回归率、精确率和roc曲线围绕坐标轴形成的的aur面积大小，衡量在使用不同数据增强方法的条件下应用相同训练数据训练同一种深度学习网络的最终效果。发现使用本发明提出的数据增强方法训练的精确率误差降低了36.36%；回归率误差降低了25.57%；roc曲线的aur面积综合提升了18.86%。使用本发明的数据增强方法使深度学习网络对于不同环境的泛化能力得到了增强。
[0039]
实施例2：请参阅图3，本发明提供了一种图像数据增强系统，所述系统包括：图像获取单元1，用于获取标注后图像和环境背景图像，所述标注后图像为对原始图像中的前景物体进行标注后得到的图像；图像分割单元2，用于对所述环境背景图像进行分割，得到环境背景图像中的天空区域和地面区域；目标区域图像获取单元3，用于裁剪所述标注后图像中标注为前景物体的区域，得到目标区域图像；前景图像获取单元4，用于对所述目标区域图像中各像素点进行聚类以分离前景和背景，并获取仅包括前景物体的前景图像；判断单元5，用于判断所述前景图像中的物体是否为地面物体；第一拼接单元6，用于当判断结果为是时，将所述前景图像拼接在所述环境背景图像中的地面区域中，得到数据增强图像；第二拼接单元7，用于当判断结果为否时，将所述前景图像拼接在所述环境背景图像中的天空区域中，得到数据增强图像。
[0040]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0041]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。