基于神经网络的训练样本图像增强方法及系统与流程

1.本发明涉及训练样本增强方法，具体的说，涉及了一种基于神经网络的训练样本图像增强方法及系统。


背景技术：

2.目前，人工智能应用于各行各业，其所依赖的深度神经网络技术因其自适应能力强、处理非线性关系能力优异、并行计算速度快等优点而广泛应用于图像、视频、自然语言处理等领域。但是深度神经网络的构建需要海量丰富的数据来支持，随着深度学习算法的不断提升，其构建的主要任务量几乎都集中于前期的数据采集部分。此外，神经网络所使用训练数据的质量与丰富程度又影响了网络最终的性能。
3.训练数据的采集通常需要大量的人力和物力，且实际应用中采集到符合训练任务需求数量的数据是往往是比较困难的。目前训练数据的增强，多是通过平移、旋转等方式来把一张图像变为多张不同的图像，但是训练集的丰富程度并未有效增长，只是单纯扩增了数量而已。cn109948562b公开了人工通过图像编辑软件ps来拼接编辑图像，但该方式依靠手动操作，需要耗费大量的人工和时间成本，自动化程度较低。
4.为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。


技术实现要素：

5.本发明的目的是针对现有技术的不足，从而提供了一种基于神经网络的训练样本图像增强方法及系统。
6.为了实现上述目的，本发明所采用的技术方案是：一种基于神经网络的训练样本图像增强方法，包括以下步骤：
7.对初始样本集中的样本图像进行人工标注，得到语义分割标签；
8.利用语义分割标签对样本图像进行分割，获得背景和前景目标；计算任意两个前景目标的相似度，计算任意两个背景的相似度；
9.按照样本图像的顺序，对同时包含背景和前景目标的样本图像，依据前景目标的相似度进行背景的替换，依据背景的相似度进行前景目标的替换，得到组合信息；对只包含背景的样本图像，增加与其背景相似的样本图像中的前景目标，得到组合信息；
10.计算每个组合信息的优选度，按照优选度从大到小的顺序选取预扩展数量的组合信息，对每个组合信息对应的相应区域进行泊松融合，得到扩增图像，组成扩增样本集。
11.基于上述，计算任意两个前景目标的相似度时，执行以下步骤：
12.对每个前景目标进行连通域分析，得到边缘轮廓各点的坐标数据以及区域中心点的坐标数据，以区域中心点为原点计算边缘轮廓的极坐标以及边缘各点对应径长的方差；依据前景目标边缘各点对应径长的方差计算两个前景目标边缘轮廓的相似度；
13.对前景目标进行角点检测和角点描述，并对两个前景目标的角点进行匹配，根据角点的匹配结果计算两个前景目标内部区域的相似度；
14.根据公式qs(a，b)＝α*bs(a，b) β*ns(a，b)计算两个前景目标的相似度，其中，qs(a，b)表示前景目标a和前景目标b的相似度，bs(a，b)表示前景目标a和前景目标b的边缘轮廓相似度，ns(a，b)表示前景目标a和前景目标b的内部区域相似度，α、β分别表示边缘轮廓相似度的影响权重以及内部区域相似度的影响权重。
15.基于上述，采用计算任意两个前景目标边缘轮廓的相似度，其中，似度，其中，ri表示前景目标a的第i个边缘点到前景目标a的区域中心点的距离，n为前景目标a的边缘点数量，rua为前景目标a的n个边缘点到前景目标a的区域中心点的平均距离；rj表示前景目标b的第j个边缘点到前景目标b的区域中心点的距离，m为前景目标b的边缘点数量，rub为前景目标b的m个边缘点到前景目标b的区域中心点的平均距离。
16.基于上述，根据角点的匹配结果计算两个前景目标内部区域的相似度时，执行以下步骤：
17.计算任意两个前景目标的角点匹配率pl：
18.其中，dsa表示前景目标a的角点数量，dsb表示前景目标b的角点数量；ps表示前景目标a与前景目标b中匹配成功的角点数量；kd为预设比例参数；
19.计算匹配点的离散度ls：
[0020][0021]
其中，js(a)表示前景目标a中匹配成功的角点的角度个数，js(b)表示前景目标b中匹配成功的角点的角度个数；rs(a)表示前景目标a中匹配成功的角点的径长类别数，rs(b)表示前景目标b中匹配成功的角点的径长类别数；max(r
a，m
)表示前景目标a中对应径长的最大值；max(r
b，m
)表示前景目标b中对应径长的最大值。
[0022]
基于上述，计算任意两个背景的相似度时，执行以下步骤：
[0023]
利用预先训练好的vgg网络提取每一个样本图像背景的局部特征图像和全局特征图像，计算局部格拉姆矩阵和全局格拉姆矩阵；
[0024]
计算两个背景的局部格拉姆矩阵的差异和全局格拉姆矩阵的差异：
[0025][0026][0027]
其中，jc(c，d)表示背景c和背景d的局部特征矩阵的差异，qc(c，d)表示背景c和背景d的全局特征矩阵的差异；jg
(c，i，j
)表示背景c的局部特征矩阵中第i行j列位置的元素值，jg
(d，i，j)
表示背景d的局部特征矩阵中第i行j列位置的元素值；qg
(c，i，j
)表表示背景c的全局特征矩阵中第i行j列位置的元素值，qg
(d，i，j
)表表示背景d的全局特征矩阵中第i行j列位置
的元素值；i和j分别为行数和列数；
[0028]
计算两个样本图像背景的相似度：bs(c，d)＝γ/jc(c，d) δ/qc(c，d)；
[0029]
其中，γ、δ分别表示局部特征矩阵的差异、全局特征矩阵的差异两个方面的影响权重。
[0030]
基于上述，计算每个组合信息的优选度时，执行以下步骤：
[0031]
对同时包含背景和前景目标的样本图像，利用公式hp＝qs(a，b)计算每个组合信息的合理度；
[0032]
对只包含背景的样本图像，利用公式hp＝bs(a，b)计算每个组合信息的合理度；
[0033]
对每个组合信息的合理度进行归一化操作，得到每个组合信息的优选度。
[0034]
基于上述，所述训练鉴别器的结构为编码器 全连接层的结构，由编码器内的卷积、池化层来提取组合信息中的特征得到特征序列，全连接层网络基于特征序列判断图像真伪度的置信度。
[0035]
本发明还提供一种基于神经网络的训练样本图像增强系统，包括人工标注模块和组合拼接模块，
[0036]
所述人工标注模块，用于对初始样本集中的样本图像进行人工标注得到语义分割标签；
[0037]
所述组合拼接模块，用于利用语义分割标签对样本图像进行分割，获得背景和前景目标，计算任意两个前景目标的相似度，计算任意两个背景的相似度；
[0038]
以及用于按照样本图像的顺序，对同时包含背景和前景目标的样本图像，依据前景目标的相似度进行背景的替换，依据背景的相似度进行前景目标的替换，得到组合信息；对只包含背景的样本图像，增加与其背景相似的样本图像中的前景目标，得到组合信息；
[0039]
还用于计算每个组合信息的优选度，按照优选度从大到小的顺序选取预扩展数量的组合信息，对每个组合信息对应的相应区域进行泊松融合，得到扩增图像，组成扩增样本集。
[0040]
基于上述，还包括训练鉴别器，所述训练鉴别器用来判断扩增图像的真伪度，选择结果为真的扩增图像组成扩增样本集；
[0041]
所述训练鉴别器的结构为编码器 全连接层的结构，由编码器内的卷积、池化层来提取组合信息中的特征得到特征序列，全连接层网络基于特征序列判断图像真伪度的置信度。
[0042]
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说：
[0043]
本发明利用当前采集的少量样本图像组成初始样本集，对初始样本集中的样本图像进行人工标注获得语义标签，通过语义分割获得各个标签对应的前景目标和背景，再通过不同样本图像中的前景目标和背景的互换等拼接融合的方式扩增出更多符合要求的相似图像，既增加样本数据的数量和丰富程度，又能减少相应的人工标注工作量；
[0044]
本发明设置一款训练鉴别器，以筛选出拼接痕迹明显的扩增图像，提高扩增图像的融合效果和真实性。
附图说明
[0045]
图1是本发明实施例1的流程示意图。
[0046]
图2是本发明实施例1的效果示意图。
[0047]
图3是本发明实施例2的流程示意图。
具体实施方式
[0048]
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
[0049]
如图1所示，一种基于神经网络的训练样本图像增强方法，包括以下步骤：
[0050]
对初始样本集中的样本图像进行人工标注，得到初始训练集，所述初始训练集包括语义分割标签和样本图像；
[0051]
利用语义分割标签对样本图像进行分割，获得背景和前景目标；计算任意两个前景目标的相似度，计算任意两个背景的相似度；
[0052]
按照样本图像的顺序，对同时包含背景和前景目标的样本图像，依据前景目标的相似度进行背景的替换，依据背景的相似度进行前景目标的替换，得到组合信息；对只包含背景的样本图像，增加与其背景相似的样本图像中的前景目标，得到组合信息；
[0053]
计算每个组合信息的优选度，按照优选度从大到小的顺序选取预扩展数量的组合信息，对每个组合信息对应的相应区域进行泊松融合，得到扩增图像，组成扩增样本集。
[0054]
本发明利用当前采集少量，通过语义分割获得各个标签对应的前景目标和背景，再通过不同样本图像中的前景目标和背景的互换等拼接融合的方式扩增出更多符合要求的相似图像，既增加样本数据的数量和丰富程度，又能减少相应的人工标注工作量。
[0055]
在具体实施时，对初始样本集中的样本图像进行人工标注为：建立等尺寸、单通道的标签图像，将原rgb图像中对应位置的像素为背景类标注为0，将原rgb图像中对应位置的像素为a类目标标注为1，原rgb图像中对应位置的像素为b类目标标注为2，以此类推，按照图像像素所属类别在标签图像中进行相应赋值，直到整个样本图像中每一像素都完成标注。在完成人工标注后，便可利用语义分割标签对样本图像进行分割，获得背景和前景目标。
[0056]
由于前景目标的目标类型较多，例如人、车、建筑、动物等都属于前景目标，所以采用比较通用的方法来识别前景目标的相似度。
[0057]
具体的，本发明从前景目标的内、外两个方面进行比较，分别为前景目标的外部边缘轮廓相似度与内部角点相似度；即首先获取前景目标的边缘轮廓并比较外部边缘轮廓相似度，然后再对目标进行角点检测得到角点的描述，根据角点的匹配结果来判断前景目标的内部角点相似度。
[0058]
在具体实施时，计算任意两个前景目标的相似度时，执行以下步骤：
[0059]
1)对每个前景目标进行连通域分析，得到边缘轮廓各点的坐标数据以及区域中心点的坐标数据，以区域中心点为原点计算边缘轮廓的极坐标以及边缘各点对应径长的方差；依据前景目标边缘各点对应径长的方差计算两个前景目标边缘轮廓的相似度；
[0060]
其中，计算任意两个前景目标边缘轮廓的相似度时采用其中，计算任意两个前景目标边缘轮廓的相似度时采用其中，ri表示前景目标a的第i个边缘点到前景目标a的区域中心点的距离，n为前景目标a的边缘点数量，rua为前景目标a的n个边缘点到前景目标a的区域中心点的平均距离；rj表示前景目标b的第j个边缘点
到前景目标b的区域中心点的距离，m为前景目标b的边缘点数量，rub为前景目标b的m个边缘点到前景目标b的区域中心点的平均距离。
[0061]
2)对前景目标进行角点检测和角点描述，并对两个前景目标的角点进行匹配，根据角点的匹配结果计算两个前景目标内部区域的相似度。
[0062]
角点检测为图像拼接中图像对比匹配的常用手段，其逻辑为对图像中像素值四周的变化进行描述，而后比较描述值来匹配。例如可以利用orb算法来进行图像区域的角点检测及其描述，通过该算法可以得到灰度图像中各角点的位置及其描述，其描述为各角点周围的灰度差异情况。
[0063]
获取角点描述后，若角点的描述一致或者满足设定的误差范围即为匹配成功的角点点对，然后根据匹配角点的数量以及匹配成功角点的位置来判断相似度。
[0064]
在具体实施时，根据角点的匹配结果计算两个前景目标内部区域的相似度时，执行以下步骤：
[0065]
a.计算任意两个前景目标的角点匹配率pl：
[0066]
其中，dsa表示前景目标a的角点数量，dsb表示前景目标b的角点数量；ps表示前景目标a与前景目标b中匹配成功的角点数量；kd为预设比例参数；经验值为3。
[0067]
角点匹配率能够反映前景目标内部区域整体的相似程度。
[0068]
b.计算匹配点的离散度ls：
[0069][0070]
其中，js(a)表示前景目标a中匹配成功的角点的角度个数，js(b)表示前景目标b中匹配成功的角点的角度个数，例如前景目标a中有两个匹配成功的点，一个点是10
°
，两个是30
°
，则数量为2；rs(a)表示前景目标a中匹配成功的角点的径长类别数，rs(b)表示前景目标b中匹配成功的角点的径长类别数；max(r
a，m
)表示前景目标a中对应径长的最大值；max(r
b，m
)表示前景目标b中对应径长的最大值。
[0071]
该公式分为两部分，第一部分为角度方面的离散程度，即是否集中于部分角度范围。第二部分为径长方面的离散程度，即是否集中于部分距离范围。
[0072]
设计该部分是为了避免局部区域与全局区域的匹配率对相似度的影响。例如：区域1为人体上身区域，区域二为人体全身区域，此时匹配率虽高(因为上半身的角点匹配的多，匹配点过于集中)，但是两个区域并不是很相似。
[0073]
3)根据公式qs(a，b)＝α*bs(a，b) β*ns(a，b)计算两个前景目标的相似度，其中，qs(a，b)表示前景目标a和前景目标b的相似度，bs(a，b)表示前景目标a和前景目标b的边缘轮廓相似度，ns(a，b)表示前景目标a和前景目标b的内部区域相似度，α、β分别表示边缘轮廓相似度的影响权重以及内部区域相似度的影响权重，经验值为0.45、0.55。
[0074]
本发明通过背景区域的颜色、纹理风格来进行相似度判断，而图像经过卷积操作得到的特征图像的格拉姆矩阵(gram matrix)能很好的判断图像间的风格差异。故本发明需要判断两背景图像特征图像的格拉姆矩阵来获得背景的相似度。
[0075]
在具体实施时，计算任意两个背景的相似度时，执行以下步骤：
[0076]
i.利用预先训练好的vgg网络提取每一个样本图像背景的局部特征图像和全局特
征图像，计算局部格拉姆矩阵和全局格拉姆矩阵；
[0077]
训练完成的vgg网络可以对待处理的图像进行特征提取，即能够通过权值已确定的卷积、池化操作来得到各隐含层对应的feature maps(特征图像)。浅层的特征图像侧重于图像的局部相似度，而深层的特征图像侧重于图像整体内容的相似度。
[0078]
所以提取前m层卷积特征图像为背景图像对应的局部特征，提取后n层卷积特征图像为背景图像对应的全局特征。
[0079]
具体的，局部特征矩阵的获取步骤如下：把得到的前m个特征图像进行展平操作，得到对应的特征矩阵，即每个二维特征图像展开为一维的特征向量，作为特征矩阵中一行数据；m个特征向量得到m行数据，组合得到对应的局部特征矩阵。
[0080]
同理可得后n层卷积层对应的全局特征矩阵。
[0081]
ii.计算两个样本图像背景的局部格拉姆矩阵的差异和全局格拉姆矩阵的差异；
[0082]
特征矩阵与其转置矩阵相乘得到对应的格拉姆矩阵。利用均方差公式可以求特征矩阵之间的差异，即矩阵中每个位置进行对比，得到差值的平方，而后求平均。
[0083]
以下公式用来计算两个背景的局部格拉姆矩阵的差异和全局格拉姆矩阵的差异：
[0084][0085][0086]
其中，jc(c,d)表示背景c和背景d的局部特征矩阵的差异,qc(c,d)表示背景c和背景d的全局特征矩阵的差异；jg
(c，i，j)
表示背景c的局部特征矩阵中第i行j列位置的元素值，jg
(d，i，j)
表示背景d的局部特征矩阵中第i行j列位置的元素值；qg
(c，i，j)
表表示背景c的全局特征矩阵中第i行j列位置的元素值，qg
(d，i，j)
表表示背景d的全局特征矩阵中第i行j列位置的元素值；i和j分别为行数和列数；
[0087]
计算两个样本图像背景的相似度：bs(c，d)＝γ/jc(c，d) δ/qc(c，d)；
[0088]
其中，γ、δ分别表示局部特征矩阵的差异、全局特征矩阵的差异两个方面的影响权重。
[0089]
基于上述，计算每个组合信息的优选度时，执行以下步骤：
[0090]
对同时包含背景和前景目标的样本图像，利用公式hp＝qs(a，b)计算每个组合信息的合理度；
[0091]
以前景背景目标都对应相似的两张图像为例：
[0092]
图像1的组成为：背景1 a1 b1 c1
[0093]
图像2的组成为：背景2 a2 b2 c2
[0094]
则同类替换可以得到：
[0095]
背景1 a2 b1 c1
[0096]
背景1 a1 b2 c1
[0097]
背景1 a1 b1 c2
[0098]
背景1 a2 b2 c1
[0099]
背景1 a1 b2 c2
[0100]
背景1 a2 b1 c2
[0101]
背景1 a2 b2 c2
[0102]
…
(背景2同理)
[0103]
对于该类方式组合的图像，其合理性hp判断如下：
[0104]
hp＝qs(a，b)
[0105]
即同类替换，该类组合图像的合理性为：替换目标的相似度，替换目标越相似，越合理。
[0106]
我们有时为了扩充数据的丰富性，会采集对应的背景，但是无目标的图像，此时需要我们在背景上叠加对应的前景。
[0107]
例如：图像1：背景1 a1
[0108]
图像2：背景2
[0109]
则可以得到:背景2 a1；
[0110]
因此，对只包含背景的样本图像，利用公式hp＝bs(a,b)计算每个组合信息的合理度；
[0111]
对每个组合信息的合理度进行归一化操作，得到每个组合信息的优选度。
[0112]
以图2为例，图2中左侧原图像从上往下依次为1游泳的狗，2游泳的人，3海水；把游泳的狗1与游泳的人2叠加到3海水中，即可得到全新的图像，即图2中间图像，叠加痕迹明显，图像质量较差；对组合叠加后的图像进行泊松融合，即得到图2右侧图像，融合效果较好，真实性强，可作为新的图像来扩增训练数据。
[0113]
实施例2
[0114]
本实施例与实施例1的区别在于：如图3所示，在形成扩增图像后，还利用训练鉴别器判断扩增图像的真伪度，选择结果为真的扩增图像组成扩增样本集。
[0115]
采用实施例所述方式可以得到各目标图像对应的组合信息，但是组合后的图像很可能拼接组合的痕迹明显(图像简单的叠加)，会影响后续网络的训练效果。本发明采用判别器网络来判断融合图像的真伪，以筛选出拼接痕迹明显的扩增图像，提高扩增图像的融合效果和真实性。
[0116]
需要说明的是，本发明所述判别器网络由卷积神经网络来实现，该网络相对于上述需要扩充训练数据的网络，首先其任务目的不同，判别器网络是为了分辨图像的真假，而目标识别网络是为了从各种各样场景中识别出不同的目标。其次，训练数据的采集难度不同，判别器网络更加通用，不需要特定场景、目标的图像，而目标检测网络则需要不同场景下的目标图像，采集大量的图像比较困难。最后，标注的难度也不同，判别器仅需人工标注图像真假的置信度即可，而目标检测网络则需要复杂的语义分割标签。
[0117]
本发明所述训练判别器的具体内容如下：
[0118]
1)判别器网络的结构为encoder(编码器) fc(全连接层)的结构，即先由编码器内的卷积、池化层来提取图像中特征，得到特征序列，随后特征序列通过全连接网络进行图像真伪程度的置信度判断。
[0119]
2)网络的输入为组合后按照对应参数融合后的图像，网络的输出为对应图像真伪程度的置信度。
[0120]
3)标注过程为：采集一些真实场景中的图像，对图像内容无必然要求，将这些图像直接标注为真图像；搜集一些素材简单叠加与背景上，通过融合算法进行随机参数的图像若那个，再由人工进行真伪性标注，其中组合痕迹明显图像，标记为伪图像[0,1]，而融合效果好的图像，标记为真图像[1,0]。
[0121]
3)利用上述标注过的真实场景图像和组合图像，对判别器进行训练，网络所用损失函数为二元交叉熵(binary cross-entropy)损失函数，公式如下：
[0122][0123]
其中，yi是二元标签0或者1，p(yi)是输出属于yi标签的概率，n为样本数量，ω为待优化的参数。
[0124]
进一步的，利用训练鉴别器判断扩增图像的真伪度后，还可以根据扩增图像的真伪度优化图像融合参数，实现自适应最优参数选择。
[0125]
泊松融合需要调节的参数在对应的范围内进行调节，得到各参数组合融合后的图像，输入上述判别器网络中，选取结果为真的图像，保留至扩充数据集中。
[0126]
得到融合图像后，根据各区域对应的语义标签，可组合得到融合图像对应的语义标签，保留至扩充数据对应的标签集中。
[0127]
实施例3
[0128]
本实施例提供一种基于神经网络的训练样本图像增强系统，包括人工标注模块和组合拼接模块，
[0129]
所述人工标注模块，用于对初始样本集中的样本图像进行人工标注得到语义分割标签；
[0130]
所述组合拼接模块，用于利用语义分割标签对样本图像进行分割，获得背景和前景目标，计算任意两个前景目标的相似度，计算任意两个背景的相似度；
[0131]
以及用于按照样本图像的顺序，对同时包含背景和前景目标的样本图像，依据前景目标的相似度进行背景的替换，依据背景的相似度进行前景目标的替换，得到组合信息；对只包含背景的样本图像，增加与其背景相似的样本图像中的前景目标，得到组合信息；
[0132]
还用于计算每个组合信息的优选度，按照优选度从大到小的顺序选取预扩展数量的组合信息，对每个组合信息对应的相应区域进行泊松融合，得到扩增图像，组成扩增样本集。
[0133]
在具体实施时，所述训练样本图像增强系统还包括融合优化模块，所述融合优化模块包括训练鉴别器，所述训练鉴别器用来判断扩增图像的真伪度，选择结果为真的扩增图像组成扩增样本集；
[0134]
所述训练鉴别器的结构为编码器 全连接层的结构，由编码器内的卷积、池化层来提取组合信息中的特征得到特征序列，全连接层网络基于特征序列判断图像真伪度的置信度。
[0135]
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发
明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。