基于递进式学习的靶标数据融合增强方法、系统及装置与流程

1.本发明属于图像信息处理领域，尤其涉及一种基于递进式学习的靶标数据融合增强方法、系统及装置。


背景技术：

2.现在人工智能对于各行各业的冲击巨大，利用目标检测算法与具体的工业场景需求结合已屡见不鲜。数据 算法的结合方式使得基于深度学习的目标检测在实际工业应用中取得了较好的效果，但是针对有些具体的任务需求，目前没有公开数据集，但是由于模型训练又需要大量甚至海量数据去支撑深度学习算法进行自主学习，因此无法满足对于初始数据的需求。
3.例如现代战争中对作战效率的高要求，并不断强调战争零伤亡，利用无人机(车)搭载带有ai算法的agx嵌入式设备，通过对地面静止目标和运动目标进行识别、定位、跟踪，能够向无人机提供敌方目标的实时状态，为无人机完成对地面目标的精确打击打下坚实的基础，对于提高作战效率，降低作战代价具有重要作用。但是军事场景下的靶标不是公开数据集，也很难获取大量的训练数据集。在人工智能迅速发展的时代，某些行业数据集匮乏现状导致行业结合人工智能具体应用停滞不前，甚至形成了技术壁垒。


技术实现要素：

4.本发明旨在解决上述问题，提供一种适用于数据集匮乏情况下基于递进式学习的靶标数据融合增强方法、系统及装置。
5.第一方面，本发明提供一种基于递进式学习的靶标数据融合增强方法，包括：获取原图的初始数据；从初始数据选取部分进行标注，得到训练集；对训练集通过卷积神经网络进行训练学习，得到数量满足的训练集；所述训练集中包括经过训练后的原图对应生成的标签文件；从经过训练的数据当中提出目标数据信息；将目标数据与多源图像进行融合，得到新图像；通过图像增强对新图像进行多样性泛化；将目标数据的类别、坐标变换到新图像坐标系，得到每一个新图像对应的标签文件；前述原图对应生成的标签文件和新图像对应的标签文件一起组成标靶数据。
6.进一步，本发明所述基于递进式学习的靶标数据融合增强方法，所述通过卷积神经网络进行训练学习，包括如下过程：将训练集通过卷积神经网络进行训练，得到训练权重；利用上一次训练得到的训练权重处理新数据，输出类别、坐标和置信度；根据置信度进行数据清洗，将清洗后的数据作为前述训练集的补充，得到扩充的训练集；
将上一次的训练权重作为本次训练的预训练权重，将扩充的训练集通过神经网络继续训练；重复上述训练学习过程，直至得到数量满足的训练集。
7.进一步，本发明所述基于递进式学习的靶标数据融合增强方法，所述多样性泛化包括对新图像进行亮度和色调和饱和度的变换。
8.进一步，本发明所述基于递进式学习的靶标数据融合增强方法，所述多样性泛化包括对新图像进行随机旋转。
9.进一步，本发明所述基于递进式学习的靶标数据融合增强方法，所述标签包括检测类别、中心点坐标、标注框尺寸和目标置信度。
10.第二方面，本发明提供一种基于递进式学习的靶标数据融合增强系统，包括：扩充训练模块，用于获取原图的初始数据；从初始数据选取部分进行标注，得到训练集；对训练集通过卷积神经网络进行训练学习，得到数量满足的训练集；所述训练集中包括经过训练后的原图对应生成的标签文件；目标提取模块，用于从经过训练的数据当中提出目标数据信息；图像融合模块，用于将目标数据与多源图像进行融合，得到新图像；图像增强模块，通过图像增强对新图像进行多样性泛化；将目标数据的类别、坐标变换到新图像坐标系，得到每一个新图像对应的标签文件；前述原图对应生成的标签文件和新图像对应的标签文件一起组成标靶数据。
11.进一步，本发明所述基于递进式学习的靶标数据融合增强系统，所述通过卷积神经网络进行训练学习，包括如下过程：将训练集通过卷积神经网络进行训练，得到训练权重；利用上一次训练得到的训练权重处理新数据，输出类别、坐标和置信度；根据置信度进行数据清洗，将清洗后的数据作为前述训练集的补充，得到扩充的训练集；将上一次的训练权重作为本次训练的预训练权重，将扩充的训练集通过神经网络继续训练；重复上述训练学习过程，直至得到数量满足的训练集。
12.进一步，本发明所述基于递进式学习的靶标数据融合增强方法，所述多样性泛化包括对新图像进行亮度和色调和饱和度的变换。
13.进一步，本发明所述基于递进式学习的靶标数据融合增强方法，所述多样性泛化包括对新图像进行随机旋转。
14.第三方面，本发明提供一种基于递进式学习的靶标数据融合增强装置，包括相电连接的处理器和存储器；所述存储器上存储有计算机程序；所述计算机程序被处理器执行时可实现前述第一方面所述的基于递进式学习的靶标数据融合增强方法。
15.本发明所述基于递进式学习的靶标数据融合增强方法、系统及装置，通过递进式学习的扩充数据的方法，极大程度上减少了人工标注作业难度和工作量；通过多源图像融合增强方法，针对优化场景单一、图片相似度高的情况，提升了自制数据集的多源性、多样性和泛化性；递进补充式学习与多源图像融合增强相辅相成，递进补充式学习为多源图像融合增强提供原始感兴趣目标，最高程度地还原真实场景、贴近具体任务要求；多源图像融合增强方法为递进补充学习方法进行兜底、泛化与数据增强、更深层次的扩充，简单可行，
迁移性强，同时可迭代可优化性高，而且多源性数据的补充降低了数据集的搜集获取难度和门槛。
附图说明
16.图1为本发明实施例一所述基于递进式学习的靶标数据融合增强方法流程示意图；图2为本发明实施例二所述胸环靶标注示意图；图3为本发明实施例二所述胸环靶数据进行推理检测效果示意图；图4为本发明实施例二所述对靶标进行提取流程示意图；图5为本发明实施例二所述目标提取效果示意图；图6为本发明实施例二所述多源图像融合流程示意图；图7为本发明实施例二所述标签投影转换示意图；图8为本发明实施例二所述数据融合效果原图；图9为本发明实施例二所述数据融合效果检测示意图；图10为本发明实施例三所述基于递进式学习的靶标数据融合增强系统结构示意图。
具体实施方式
17.下面通过附图及实施例对本发明所述基于递进式学习的靶标数据融合增强方法、系统及装置进行详细说明。
18.实施例一本公开实施例公开了一种基于递进式学习的靶标数据融合增强方法，包括；获取原图的初始数据；从初始数据选取部分进行标注，得到训练集；对训练集通过卷积神经网络进行训练学习，得到数量满足的训练集；所述训练集中包括经过训练后的原图对应生成的标签文件；从经过训练的数据当中提出目标数据信息；将目标数据与多源图像进行融合，得到新图像；通过图像增强对新图像进行多样性泛化；将目标数据的类别、坐标变换到新图像坐标系，得到每一个新图像对应的标签文件；前述原图对应生成的标签文件和新图像对应的标签文件一起组成标靶数据。
19.在本公开实例中，所述通过卷积神经网络进行训练学习，包括如下过程：将训练集通过卷积神经网络进行训练，得到训练权重；利用上一次训练得到的训练权重处理新数据，输出类别、坐标和置信度；根据置信度进行数据清洗，将清洗后的数据作为前述训练集的补充，得到扩充的训练集；将上一次的训练权重作为本次训练的预训练权重，将扩充的训练集通过神经网络继续训练；重复上述训练学习过程，直至得到数量满足的训练集。
20.在本公开实施例中，在场景真实度模拟还原情况下进行图像采样，如图1所示，具体包括如下步骤：步骤s101、针对具体的目标检测任务进行场景分类；步骤s102、针对不同场景进行图像采集，在本公开实施例中采集方式是拍摄视频，这样可以较为快速地获取大量数据；
步骤s103、根据视频按照一定的帧数得到图片，人工标注小批量数据；步骤s104、小批量数据进行专门训练，得到较为简单的训练权重；步骤s105、利用上次学习的权重进行新数据的推理检测，输出标签及置信度；步骤s106、根据置信度得分进行数据清洗，保留检测结果良好的数据，剔除置信度并进行类别检查，将这些数据作为新的训练集进行补充；步骤s107、以上一次训练得到的权重作为本次训练的预训练权重，将扩充的训练集送入网络继续学习；步骤s108、重复步骤s104-s107，直到最终得到多个场景数量足够的训练集即可。
21.本公开实施例由于真实模拟场景进行视频拍摄，按照一定帧数提取图片的方式，不可避免的造成场景单一、样本量相对较少；最大问题是逐帧采集方式使得图片相似度较高。为了增强数据的多样性，提升网络的泛化能力，将感兴趣目标从原图进行提取，与其他可能场景的图像进行融合生成新的图像，同时对图片进行不同亮度、色调和饱和度的变换，进行随机旋转，引入高斯噪声等方式进行数据增强。具体包括如下步骤：步骤s111、将真实场景采样的图片中的感兴趣目标从原图进行提取；步骤s112、将感兴趣目标与其他可能场景的多源图像进行融合生成，得到新的图像；步骤s113、不同亮度、色调和饱和度的变换，进行随机旋转，引入高斯噪声等方式进行数据增强；步骤s114、将原来的标签数据投影变换到新的融合图像中。
22.实施例二本公开实施例公开了一种基于递进式学习的靶标数据融合增强方法，包括两部分，递进补充式学习扩充靶标数据和多源图像融合增强扩充靶标数据。
23.在本公开实施例中，第一部分所述递进补充式学习扩充靶标数据包如下步骤：步骤s201、真实场景采样获取数据流；利用视频采集设备，进行多预设场景的数据采样，然后按照一定的帧数进行图片获取，在本公开实施例中该获取过程通过脚本程序实现，将.bmp格式的图片转换为.png或者.jpg格式的图片，这样便于图片压缩与传输。
24.步骤s202、小批量数据标注；由于视频逐帧获取的图片存在高度的相似性甚至是一致性，有时接连几十张图像都是一致的。因此需要人为干预，手工选取差异较大的一部分数据，在本公开实施例中利用labelme开源图像检测标注软件进行手动标注，针对无人打击任务的特定性，对于目标中心的准确性极高，因此选用labelme的edit菜单下的圆框标注工具“create circle”进行靶标标注，以胸环靶为例，首先确定靶标中心，然后选择半径让圆包围整个靶标，如图2所示；第一批的标注质量至关重要，直接影响后续的数据整体质量。
25.步骤s203、卷积神经网络进行训练并检测；由于采用的是圆框标注方式，但是本实施例的yolov5的标签文件要求是矩形框形式，即类别、中心点坐标x、中心点坐标y、框宽和框高，因此需将圆框标签转换矩形框，将标签文件全部更改为标准矩形框格式；最后小批量训练集送入yolov5检测网络，经过训练得到权重文件，然后对新的胸环靶数据进行推理检测，推理效果如图3所示。
26.步骤s204、数据清洗与训练集补充；由于第一次小批量训练的效果泛化能力不够；需要利用置信度confidence得分进行数据筛选清洗，选取推理效果较好的数据，作为新一轮的训练集。但是网络推理的标签文件目前是6个字段的数据：检测类别、中心点坐标x、中心点坐标y、框宽、框高和目标置信度得分，需要对清洗后的标签进行置信度的剔除，同时还要将每个标签文件对应的原图(没有检测框)进行提取，得到新一轮训练图片和标签。
27.步骤s205、继续加载预训练权重，训练新数据；有了第一次的训练权重，接下来训练就以已有的权重作为本次训练的预训练权重加载到配置文件当中，在训练中将数据集配置文件的路径替换为新的数据。
28.在本公开实施例中，第二部分，所述多源图像融合增强扩充靶标数据包括如下步骤：步骤s211、感兴趣目标从原图提取；在第一部分中，针对靶标数据集已经构建了一批高质量的带标签数据集，但是由于这些数据的获取手段较为单一，造成了图像多为相似甚至同一幅图。对于具体的检测任务，希望能够对目标区域充分进行特征提取，不希望有过多的背景区域进行干扰。所以对靶标进行提取，如图4所示，算法设计流程如下：step1:遍历数据集标签文件，读取每一个标签文件的每一行；step2:由归一化坐标(x_norm,y_norm,w_norm,h_norm)转换为相对于原图尺寸的绝对坐标(x_abs,y_abs,w_abs,h_abs)，转换公式如下：x_abs＝x_norm
×
width_orgy_abs＝y_norm
×
height_orgw_abs＝w_norm
×
width_orgh_abs＝h_norm
×
height_orgstep3：根据标签截取原图的感兴趣目标区域，将裁剪的小图保存到新的文件夹；感兴趣目标提取效果如图5所示。
29.步骤s212、感兴趣目标与多源图像融合；将获取的感兴趣区域(小图)与多源图像进行融合，如图6所示，包括如下步骤：step1：遍历多源图像文件夹，读取每一个待融合图片，一共有m张待融合图片；step2：对每一个待融合图片，随机在裁剪小图文件夹中选取n张感兴趣目标，融合生成n张融合图片，就相当于每一个待融合图片都可以生成相应的n张完全不同的融合图片(n张融合图片都是同一背景)；step3：为了让同一背景的n张融合图片变为直观上完全不同的n张新图，对小图(感兴趣目标)进行随机变换，比如不同尺度缩放，不同色调、亮度、饱和度的变换，目的是增强数据多样性；step4：最终可以得到m
×
n张完全不同的，同时带有感兴趣目标的融合图像，从而达到数据扩充的目的。
30.步骤s213、利用图像增强技术对生成的融合图像进行多样性泛化；已经拥有了m
×
n张的融合图像，为了对数据集进一步提升泛化能力，增强多样性，对所有融合图像采取图像增强技术，采用的增强方式有：随机翻转，旋转，不同色调、亮度和
饱和度的变换，加入随机高斯噪声等操作。
31.步骤s214、标签投影并写入；对m
×
n张融合图像进行标签文件的生成，这个过程其实是两个坐标系的投影转换的过程，如图7所示：原图的图像宽高分别为width_org、height_org,原图中的感兴趣目标区域中心点归一化坐标为x_norm、y_norm，感兴趣目标区域归一化宽高为w_norm、h_norm；融合图像宽高分别为width_new、height_new,融合图像中的感兴趣目标区域中心点是随机生成的，为center_x、center_y，注意此时的center_x和center_y仍然是归一化大小，要得到感兴趣区域相对于融合图像的绝对坐标x'_abs,y'_abs,w'_abs,h'_abs，scale为随机变换尺度，坐标系投影变换公式如下所示：x'_abs＝center_x
×
width_newy'_abs＝center_y
×
height_neww'_abs＝scale
×
w_absh'_abs＝scale
×
h_abs现在已经完成了对每一张融合图像的图像生成和标签坐标的投影转换，还需要最后一步，就是将m
×
n张融合图片对应标签坐标写入txt文件。这样，就完成了整个数据扩充流程。
32.如图8、图9所示为靶标与网络爬取图片数据融合效果，在具体应用中，根据不同的类别标签，可以限定靶标在某些物体上，而不是在图像上随机分布。
33.对于具体的检测任务，我们只对感兴趣目标(待检测目标)负责提取，因此，只需搜集、裁剪获取大量的感兴趣目标，数据尽量少的加入背景信息，然后将这些感兴趣目标与其他的图像进行融合。这些图像之所以是多源的，是因为可以通过各种各样的途径去获取，只要是接近具体的检测任务场景都是可以的。因此本发明所述方法不仅仅局限于靶标数据的扩充构建，也同样适用于其他的数据集构建任务，在人工智能迅速发展的时代，某些行业数据集匮乏现状导致行业结合人工智能具体应用停滞不前，甚至形成了技术壁垒，多源图像融合增强扩充数据思想在一定程度上克服了数据集匮乏的难题。
34.实施例三本公开实例公开一种基于递进式学习的靶标数据融合增强系统，如图10所示包括：扩充训练模块，用于获取原图的初始数据；从初始数据选取部分进行标注，得到训练集；对训练集通过卷积神经网络进行训练学习，得到数量满足的训练集；所述训练集中包括经过训练后的原图对应生成的标签文件；目标提取模块，用于从经过训练的数据当中提出目标数据信息；图像融合模块，用于将目标数据与多源图像进行融合，得到新图像；图像增强模块，通过图像增强对新图像进行多样性泛化；将目标数据的类别、坐标变换到新图像坐标系，得到每一个新图像对应的标签文件；前述原图对应生成的标签文件和新图像对应的标签文件一起组成标靶数据。
35.在本公开实施例中，所述通过卷积神经网络进行训练学习，包括如下过程：将训练集通过卷积神经网络进行训练，得到训练权重；利用上一次训练得到的训练权重处理新数据，输出类别、坐标和置信度；根据置信度进行数据清洗，将清洗后的数据作为前述训练集的补充，得到扩充的
训练集；将上一次的训练权重作为本次训练的预训练权重，将扩充的训练集通过神经网络继续训练；重复上述训练学习过程，直至得到数量满足的训练集。
36.在本公开实施例中，所述多样性泛化包括对新图像进行亮度和色调和饱和度的变换，还包括对新图像进行随机旋转。
37.实施例四本公开实施例公开一种基于递进式学习的靶标数据融合增强装置，包括相电连接的处理器和存储器；所述存储器上存储有计算机程序；所述计算机程序被处理器执行时可实现前述实施例一、实施例二所述的基于递进式学习的靶标数据融合增强方法，具体的方法步骤与前述实施例一、实施例二相同，在此不再赘述。
38.本发明所述递进补充式学习与多源图像融合增强方法相辅相成，二者互相支持。递进补充式学习方法为多源图像融合增强提供原始感兴趣目标，最高程度地还原真实场景、最可能的贴近具体任务要求；同时该方法还是降低数据重复标注工作的有效手段。多源图像融合增强方法为递进补充学习方法进行兜底、泛化与数据增强、更深层次的扩充，可进一步加强背景复杂性与数据泛化能力，为各行业各领域的数据集制作提供了一种新方式。
39.上述实施例仅是本发明所述技术方案的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都应属于本发明保护的范围。