训练图像集生成方法、装置及设备

1.本发明属于图像处理技术领域，更具体地涉及一种训练图像集生成方法、装备及设备。


背景技术：

2.目前，人工智能技术迅猛发展，基于机器视觉的物体识别技术和物体计数技术在各种场景中得到了广泛应用，都需要通过有监督学习的方式获得模型，模型所需标注图片在10^4以上量级，标注工作量巨大，需要消耗大量人工。
3.在一些特殊场景下的物体计数模型获取图像困难，难以提供大量训练图像集，而有监督学习的模型质量往往和训练样本集的规模和训练样本的质量成正比，为了获得较高的模型质量，往往需要大规模、高质量的训练样本，需要占用大量的存储资源。


技术实现要素：

4.为解决现有技术中存在的上述问题，本发明提供了一种训练图像集生成方法、装置及设备。
5.本发明的技术方案如下：
6.第一方面，提供了一种训练图像集生成方法，所述方法包括：
7.获取包含目标图像的第一图像集，所述目标图像通过图形分割生成目标图形，获取包含所述目标图形的目标图形集；
8.将所述目标图形集中每个目标图形进行标注，每个目标图形生成对应的目标图形信息；
9.随机选取所述多个目标图形信息获取所述对应的多个目标图形，将所述多个目标图形通过第一图形图层参数生成方法生成第一图层参数，并将所述生成第一图层参数的多个目标图形合成第一前景图像，获取包含有效背景图像的背景图像集，将所述第一前景图像与所述背景图像集中一个有效背景图像组合生成训练样本，或将所述第一前景图像与所述背景图像集中一个有效背景图像组合并添加一种天气情况生成训练样本；
10.或者，获取包含遮挡物图像的第二图像集，所述遮挡物图像通过图形分割生成遮挡物图形，获取包含所述遮挡物图形的遮挡物图形集，将所述遮挡物图形集中每个遮挡物图形进行标注，每个遮挡物图形生成对应的遮挡物图形信息，随机选取所述多个目标图形信息和遮挡物图形信息获取所述对应的多个目标图形和遮挡物图形，将所述多个目标图形和遮挡物图形通过第二图形图层参数生成方法生成第二图层参数，并将所述生成第二图层参数的多个目标图形和遮挡物图形合成第二前景图像，获取包含有效背景图像的背景图像集，将所述第二前景图像与所述背景图像集中一个有效背景图像组合生成训练样本，或将所述第二前景图像与所述背景图像集中一个有效背景图像组合并添加一种天气情况生成训练样本；
11.汇集多张训练样本形成训练图像集。
12.优选地，在上述训练图像集生成方法中，所述图形分割包括：
13.31)在所述待分割图像上选取种子像素点进行人工标注；
14.32)将所述人工标注的种子像素点作为生长起始点，按照生长规则对所述待分割图像上的像素点进行识别，若生长起始点邻域中像素点符合生长规则，则划分至生长起始点所在区域，若邻域中像素点不符合生长规则，则不进行划分；
15.33)重复上述步骤32)，直至对所述待分割图像上的像素点识别完毕或将所述待分割图像上所有符合生长规则的像素点全部划分至所述生长起始点所在区域。
16.优选地，在上述训练图像集生成方法中，所述将所述目标图形集中每个目标图形进行标注，每个目标图形生成对应的目标图形信息，所述目标图形信息包括目标图形包围框和目标图形类别标记，所述目标图形包围框包括：
17.基于目标图形像素坐标获取所述目标图形集中每个目标图形分别在纵轴和横轴的最大值和最小值；
18.根据所述每个目标图形在纵轴最大值和最小值作两条平行于纵轴的直线，根据所述每个目标图形在横轴最大值和最小值作两条平行于横轴的直线，四条直线形成所述目标图形的包围框，四条直线的四个交点为所述目标图形包围框的顶点；
19.所述将所述遮挡物图形集中每个遮挡物图形进行标注，每个遮挡物图形生成对应的遮挡物图形信息，所述遮挡物图形信息包括遮挡物图形包围框和遮挡物图形标记，所述遮挡物图形包围框包括：
20.基于遮挡物图形像素坐标获取所述遮挡物图形集中每个遮挡物图形分别在纵轴和横轴的最大值和最小值；
21.根据所述每个遮挡物图形在纵轴最大值和最小值作两条平行于纵轴的直线，根据所述每个遮挡物图形在横轴最大值和最小值作两条平行于横轴的直线，四条直线形成所述遮挡物图形的包围框，四条直线的四个交点为所述遮挡物图形包围框的顶点。
22.优选地，在上述训练图像集生成方法中，所述目标图形类别标记为1，遮挡物图形类别标记为0。
23.优选地，在上述训练图像集生成方法中，所述随机选取所述多个目标图形信息获取所述对应的多个目标图形，将所述多个目标图形通过第一图形图层参数生成方法生成第一图层参数，所述第一图形图层参数生成方法包括：
24.所述随机选取所述多个目标图形信息获取所述对应的多个目标图形，将所述多个目标图形通过第一图形图层参数生成方法生成第一图层参数，所述第一图形图层参数生成方法包括：
25.将n个待生成第一图层参数的目标图形的包围框4个顶点坐标排列为矩阵，其中，第n个图形的顶点坐标为(i
n1
、i
n2
、i
n3
、i
n4
)；
26.生成m个图层，且m＜n；
27.将n个待生成第一图层参数的目标图形随机分布至m个图层，且每个图层至少有一个待生成第一图层参数的目标图形，若第n个待生成第一图层参数的目标图形分配至第m图层，则第n个目标图形的顶点坐标重新配置为(i
n1
、i
n2
、i
n3
、i
n4
、mn)，mn表示第m个图层的预设号码，mn越大，优先级越高，优先级高的图形覆盖优先级低的图形；
28.所述随机选取所述多个目标图形信息和遮挡物图形信息获取所述对应的多个目
标图形和遮挡物图形，将所述多个目标图形和遮挡物图形通过第二图形图层参数生成方法生成第二图层参数，所述第二图形图层参数生成方法包括：
29.将q个待生成第二图层参数的目标图形和遮挡物图形的包围框4个顶点坐标排列为矩阵，其中，第q个图形的顶点坐标为(i
q1
、i
q2
、i
q3
、i
q4
)；
30.生成r个图层，且r＜q；
31.将q个待生成第二图层参数的目标图形或遮挡物图形随机分布至r个图层，且每个图层至少有一个待生成第二图层参数的目标图形或遮挡物图形，若第q个图形为待生成第二图层参数的遮挡物图形，则第q个遮挡物图形的顶点坐标重新配置为(i
q1
、i
q2
、i
q3
、i
q4
、rq)，rq表示第r个图层的预设号码，rq越大，优先级越高，优先级高的图形覆盖优先级低的图形。
32.优选地，在上述训练图像集生成方法中，在所述获取包含有效背景图像的背景图像集后，对所述背景图像集中每个有效背景图像进行标注，生成背景图像信息，所述背景图像信息包括将所述有效背景图像中的有效背景区域添加矩形框并生成4个矩形框顶点坐标，其中，所述有效背景图像是指满足所述目标图形分布条件的图像，在所述有效背景图像中有效背景区域占所述整个有效背景图像面积的50％以上，所述目标图形和遮挡物图形包围框的顶点坐标在所述有效背景图像中的有效背景区域的矩形框顶点坐标范围内。
33.优选地，在上述训练图像集生成方法中，汇集多张训练样本形成训练图像集后，对所述训练图像集进行数据增强处理，所述数据增强处理包括以下的任意一种或组合：滤除噪声、调整大小、裁剪、旋转。
34.优选地，在上述训练图像集生成方法中，所述天气情况包括风、云、雾、雨、闪、雪、霜、雷、雹、霾。
35.第二方面，提供了一种训练图像集生成装置，所述装置包括：
36.图形分割模块，用于将所述包含目标图像的第一图像集中目标图像分割成目标图形，将所述包含遮挡物图像集中遮挡物图像分割成遮挡物图形；
37.参数生成模块，用于生成第一图层参数、第二图层参数、目标图形信息、遮挡物图形信息和背景图像信息；
38.图像合成模块，用于合成第一前景图像、第二前景图像、训练样本、训练图像集；
39.存储模块，用于存储所述图形分割模块中分割信息，参数生成模块中第一图层参数、第二图层参数、目标图形信息、遮挡物图形信息和背景图像信息，图像合成模块中第一前景图像、第二前景图像、训练样本和训练图像集；
40.传输模块，用于维持所述图形分割模块、参数生成模块、图像合成模块和存储模块间信息传递；
41.服务器，用于接收外界指令，调用执行图形分割模块、参数生成模块、图像合成模块、存储模块和传输模块的功能。
42.第三方面，提供了一种训练图像集生成设备，包括：
43.存储器，用于存储指令；
44.处理器，用于执行所述存储器中指令，以执行上述方法；
45.通信接口，用于通信。
46.本发明技术方案的主要有点如下：
47.本发明的训练图像集生成方法、装置及设备，能够减少图像人工标注成本、存储成本，降低特殊场景下训练图像集获取难度，快速自动生成海量带有标注好包围框的训练图像样本。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1是本发明训练图像集生成方法中一个实施例流程图。
50.图2是本发明训练图像集生成方法中另一个实施例流程图。
51.图3是本发明训练图像集生成方法中第一图形图层参数生成方法流程图。
52.图4是本发明训练图像集生成方法中第二图形图层参数生成方法流程图。
53.图5是本发明训练图像集生成方法中图形分割流程图。
54.图6是本发明训练图像集生成装置的结构框图。
55.图7是本发明训练图像集生成设备结构框图。
具体实施方式
56.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.第一方面，本发明提供一种训练图像集生成方法，如图1所示，本发明训练图像集生成方法的一实施例，包括以下步骤：
58.步骤s101：获取包含目标图像的第一图像集，目标图像通过图形分割生成目标图形，获取包含目标图形的目标图形集；
59.具体地，包含目标图像的第一图像集例如通过实地拍摄、视频帧图像截取、网络爬虫等方式获取，其中，目标图像可以是人、军事装备、军事目标等。
60.步骤s102：将目标图形集中每个目标图形进行标注，每个目标图形生成对应的目标图形信息；
61.具体地，将目标图形集中每个目标图形进行标注时，对每个目标图形进行统一变换，使得每个目标图形尺寸一致，像素一致，方便存储，每个目标图形生成对应的目标图形信息，目标图形信息包括目标图形包围框和目标图形类别标记，其中，目标图形类别标记为1，目标图形包围框包括：
62.基于目标图形像素坐标获取目标图形集中每个目标图形分别在纵轴和横轴的最大值和最小值；
63.根据每个目标图形在纵轴最大值和最小值作两条平行于纵轴的直线，根据每个目标图形在横轴最大值和最小值作两条平行于横轴的直线，四条直线形成目标图形的包围框，四条直线的四个交点为目标图形包围框的顶点。
64.步骤s103：随机选取多个目标图形信息获取对应的多个目标图形，将多个目标图形通过第一图形图层参数生成方法生成第一图层参数，并将生成第一图层参数的多个目标图形合成第一前景图像；
65.具体地，如图3所示，第一图形图层参数生成方法包括：
66.11)将n个待生成第一图层参数的目标图形的包围框4个顶点坐标排列为矩阵，其中，第n个图形的顶点坐标为(i
n1
、i
n2
、i
n3
、i
n4
)；
67.12)生成m个图层，且m＜n；
68.13)将n个待生成第一图层参数的目标图形随机分布至m个图层，且每个图层至少有一个待生成第一图层参数的目标图形，若第n个待生成第一图层参数的目标图形分配至第m图层，则第n个目标图形的顶点坐标重新配置为(i
n1
、i
n2
、i
n3
、i
n4
、mn)，mn表示第m个图层的预设号码，mn越大，优先级越高，优先级高的图形覆盖优先级低的图形。
69.步骤s104：获取包含有效背景图像的背景图像集；
70.具体地，包含有效背景图像的背景图像集例如通过实地拍摄、视频帧图像截取、网络爬虫等方式获取，获取包含有效背景图像的背景图像集后，对背景图像集中每个有效背景图像进行标注，生成背景图像信息，背景图像信息包括将有效背景图像中的有效背景区域添加矩形框并生成4个矩形框顶点坐标，进一步地，有效背景图像是指满足目标图形分布条件的图像，在有效背景图像中有效背景区域占所述整个有效背景图像面积的50％以上，目标图形包围框的顶点坐标在有效背景图像中的有效背景区域的矩形框顶点坐标范围内。
71.步骤s105：将第一前景图像与背景图像集中一个有效背景图像组合生成训练样本；或者，将第一前景图像与背景图像集中一个有效背景图像组合并添加一种天气情况生成训练样本；
72.具体地，天气情况包括风、云、雾、雨、闪、雪、霜、雷、雹、霾。
73.步骤s106：，汇集多张训练样本形成训练图像集。
74.具体地，汇集多张训练样本形成训练图像集后，对训练图像集进行数据增强处理，数据增强处理包括以下的任意一种或组合：滤除噪声、调整大小、裁剪、旋转。
75.如图2所示，本发明训练图像集生成方法的另一实施例，包括以下步骤：：
76.步骤s201：获取包含目标图像的第一图像集，目标图像通过图形分割生成目标图形，获取包含目标图形的目标图形集；
77.具体地，包含目标图形的第一图像集例如通过实地拍摄、视频帧图像截取、网络爬虫等方式获取，其中，目标图形可以是人、军事装备、军事目标等。
78.步骤s202：将目标图形集中每个目标图形进行标注，每个目标图形生成对应的目标图形信息；
79.具体地，将目标图形集中每个目标图形进行标注时，对每个目标图形进行统一变换，使得每个目标图形尺寸一致，像素一致，方便存储，每个目标图形生成对应的目标图形信息，目标图形信息包括目标图形包围框和目标图形类别标记，其中，目标图形类别标记为1，目标图形包围框包括：
80.基于目标图形像素坐标获取目标图形集中每个目标图形分别在纵轴和横轴的最大值和最小值；
81.根据每个目标图形在纵轴最大值和最小值作两条平行于纵轴的直线，根据每个目
标图形在横轴最大值和最小值作两条平行于横轴的直线，四条直线形成目标图形的包围框，四条直线的四个交点为目标图形包围框的顶点。
82.步骤s203：获取包含遮挡物图像的第二图像集，遮挡物图像通过图形分割生成遮挡物图形，获取包含遮挡物图形的遮挡物图形集，将遮挡物图形集中每个遮挡物图形进行标注，每个遮挡物图形生成对应的遮挡物图形信息，随机选取多个目标图形信息和遮挡物图形信息获取对应的多个目标图形和遮挡物图形，将多个目标图形和遮挡物图形通过第二图形图层参数生成方法生成第二图层参数，并将生成第二图层参数的多个目标图形和遮挡物图形合成第二前景图像；
83.可选地，包含遮挡物图像的第二图像集例如通过实地拍摄、视频帧图像截取、网络爬虫等方式获取。具体地，将遮挡物图形集中每个遮挡物图形进行标注时，对每个遮挡物图形进行统一变换，使得每个遮挡物图形尺寸一致，像素一致，方便存储，每个遮挡物图形生成对应的遮挡物图形信息，遮挡物图形信息包括遮挡物图形包围框和遮挡物图形类别标记，其中，遮挡物图形类别标记为0，遮挡物图形包围框包括：
84.基于遮挡物图形像素坐标获取遮挡物图形集中每个遮挡物图形分别在纵轴和横轴的最大值和最小值；
85.根据每个遮挡物图形在纵轴最大值和最小值作两条平行于纵轴的直线，根据每个遮挡物图形在横轴最大值和最小值作两条平行于横轴的直线，四条直线形成遮挡物图形的包围框，四条直线的四个交点为遮挡物图形包围框的顶点。
86.进一步地，如图4所示，在本实施例中，第二图形图层参数生成方法包括：
87.21)将q个待生成第二图层参数的目标图形和遮挡物图形的包围框4个顶点坐标排列为矩阵，其中，第q个图形的顶点坐标为(i
q1
、i
q2
、i
q3
、i
q4
)；
88.22)生成r个图层，且r＜q；
89.23)将q个待生成第二图层参数的目标图形或遮挡物图形随机分布至r个图层，且每个图层至少有一个待生成第二图层参数的目标图形或遮挡物图形，若第q个图形为待生成第二图层参数的遮挡物图形，则第q个遮挡物图形的顶点坐标重新配置为(i
q1
、i
q2
、i
q3
、i
q4
、rq)，rq表示第r个图层的预设号码，rq越大，优先级越高，优先级高的图形覆盖优先级低的图形。
90.步骤s204：获取包含有效背景图像的背景图像集；
91.具体地，包含有效背景图像的背景图像集例如通过实地拍摄、视频帧图像截取、网络爬虫等方式获取，获取包含有效背景图像的背景图像集后，对背景图像集中每个有效背景图像进行标注，生成背景图像信息，背景图像信息包括将有效背景图像中的有效背景区域添加矩形框并生成4个矩形框顶点坐标，进一步地，有效背景图像是指满足目标图形分布条件的图像，在有效背景图像中有效背景区域占所述整个有效背景图像面积的50％以上，目标图形和遮挡物图形包围框的顶点坐标在有效背景图像中的有效背景区域的矩形框顶点坐标范围内。
92.步骤s205：将第二前景图像与背景图像集中一个有效背景图像组合生成训练样本；或者，将第二前景图像与背景图像集中一个有效背景图像组合并添加一种天气情况生成训练样本；
93.具体地，天气情况包括风、云、雾、雨、闪、雪、霜、雷、雹、霾。
94.步骤s206，汇集多张训练样本形成训练图像集。
95.具体地，汇集多张训练样本形成训练图像集后，对训练图像集进行数据增强处理，数据增强处理包括以下的任意一种或组合：滤除噪声、调整大小、裁剪、旋转。
96.值得说明的是，如图5所示，在两个实施例中采用的图形分割包括：
97.31)在待分割图像上选取种子像素点进行人工标注；
98.32)人工标注的种子像素点作为生长起始点，按照生长规则对待分割图像上的像素点进行识别，若生长起始点邻域中像素点符合生长规则，则划分至生长起始点所在区域，若邻域中相邻像素点不符合生长规则，则不进行划分；
99.33)重复步骤32)，直至对待分割图像上的像素点识别完毕或将待分割图像上所有符合生长规则的像素点全部划分至生长起始点所在区域。
100.具体地，生长起始点选取待分割图像的中心点，或者大面积色彩区域的中心点，进一步地，在一个待分割图像上，生长起始点为一个或多个。
101.第二方面，参见图6，本发明还提供了一种训练图像集生成装置，该装置包括：
102.图形分割模块301，用于将包含目标图像的第一图像集中目标图像分割成目标图形，将包含遮挡物图像集中遮挡物图像分割成遮挡物图形；
103.参数生成模块302，用于生成第一图层参数、第二图层参数、目标图形信息、遮挡物图形信息和背景图像信息；
104.图像合成模块303，用于合成第一前景图像、第二前景图像、训练样本、训练图像集；
105.存储模块304，用于存储图形分割模块301中分割信息、参数生成模块302中第一图层参数、第二图层参数、目标图形信息、遮挡物图形信息和背景图像信息，图像合成模块303中第一前景图像、第二前景图像、训练样本和训练图像集；
106.传输模块305，用于维持图形分割模块301、参数生成模块302、图像合成模块303和存储模块304间信息传递；
107.服务器306，用于接收外界指令，调用执行图形分割模块301、参数生成模块302、图像合成模块303、存储模块304和传输模块305的功能。
108.第三方面，如图7所示，本发明还提供一种训练图像集生成设备，包括：存储器401、处理器402、通信接口403；
109.存储器401，用于存储指令；
110.处理器402，用于执行存储器401中指令，以执行上述的训练图像集生成方法；
111.通信接口403，用于进行通信。
112.上述存储器401可以是随机存取存储器(ram)、闪存(flash)、只读存储器(rom)、可擦写可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、寄存器(register)、硬盘、移动硬盘、cd-rom或者本领域技术人员知晓的任何其他形式的存储介质。
113.上述处理器402例如可以是中央处理器(cpu)、通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术实施例公开内容所描述的各种示例性的逻辑方框和模块。处理器也可以是实现计算功能的组合，例如包含一个
或多个微处理器组合，dsp和微处理器的组合等等。该处理器的详细处理过程请参考上述训练图像集生成方法的详细描述，这里不再赘述。
114.上述通信接口403例如可以是接口卡等，可以为以太(ethernet)接口或异步传输模式(atm)接口。
115.本发明的训练图像集生成方法、装置及设备，能够减少图像人工标注成本、存储成本，降低特殊场景下训练图像集获取难度，快速自动生成海量带有标注好包围框的训练图像样本，有效改善大量训练图像集占用存储空间的情况。
116.需要说明的是，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体与另一个实体区分开来，而不一定要求或者暗示这些实体之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。同时，本文中使用的术语“连接”等应做广义理解，可以是固定连接，也可以是可拆卸连接，可以是直接相连，也可以通过中间部件间接相连。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”、“内”、“外”等均以附图中表示的放置状态为参照。
117.还需要说明的是，以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的范围。