一种基于街景的儿童图像合成方法与流程

1.本技术属于计算机视觉技术领域，更具体地说，是涉及一种基于街景的儿童图像合成方法。
2.街景技术
3.随着卷积神经网络(convolutional neural network)在计算机视觉领域的应用越来越广泛，对图像数据的依赖也越来越重，图像数据量的多少很大程度上影响着不同任务上cnn网络的精度。然而，在实际的计算机视觉任务中并不是所有的场景图像数据都是足够充分的，有些任务场景的图像可能只有几张或几十张，而这在cnn中需要几千、上万，甚至是几十万、上百万、上千万、上亿图像数据是远远不够的，图像数据量制约着cnn网络的应用。因此，如何获得特定场景图像数据就尤为重要，在实际过程各个场景的图像数据采集需要耗费巨大的人力财力，得不偿失，而图像合成恰好能够很好的解决这一问题。图像合成是指将一张图片上的特定前景剪切下来，粘贴到另一张图片(背景)上，从而得到一张新的图像。图像合成实现了图像从少到多，对于不同任务场景下极度缺乏图像数据提供了有力的支撑，为cnn模型的训练提供了充足的训练数据。图像合成技术除了数据增强的应用外，还有广泛的应用，如人像换背景、虚拟社交、艺术创作、广告图片自动生成等。
4.在城市管理系统中会用到随着卷积神经网络来检测街景图像中的遗失儿童，为提高检测精度，需要的图像数据量庞大，因此需要进行图像合成。但是由于街景的环境复杂程度高于常规环境，不同国家、不同城市、不同街道的风格都不一样，采用传统的图像合成方法合成基于街景场景下的儿童图像的前景与背景的内容不协调、不自然与部合理等问题多，如前景粘贴到天上、河上、墙上、汽车上等各种不合理的位置；前景大小与背景的匹配，出现前景过大或过小的情景；选取不合理朝向的前景儿童放置目标背景的街景图上，出现与背景内容的不一致性。进而严重降低了cnn模型针对各个街景场景下检测儿童泛化能力。


技术实现要素：

5.本技术实施例的目的在于提供一种基于街景的儿童图像合成方法，以解决现有技术对传统图像合成过程中存在的合成基于街景场景下的儿童图像不合理、影响了街景场景下检测儿童泛化能力的技术问题。
6.为实现上述目的，本技术采用的技术方案是：提供一种基于街景的儿童图像合成方法，包括：
7.检测儿童的前景图像数据集中儿童的身体朝向属性，检测带有成人的街景图像数据集中的最佳参照成人目标及其身体朝向属性；
8.提取任意两张相同身体朝向属性的前景图像以及街景图像；
9.根据最佳参照成人目标的检测框大小按比例缩放前景图像；
10.将前景图像粘贴在街景图像中的最佳参照成人目标周围区域。
11.优选地，所述身体朝向属性至少包括向前、向后、向左以及向右4类。
12.优选地，所述检测带有成人的街景图像数据集中的最佳参照成人目标的方法，包
括以下步骤：
13.检测带有成人的街景图像数据集中的全部成人目标；
14.选择全部成人目标中检测分数最高的为最佳参照成人目标。
15.优选地，所述根据最佳参照成人目标的检测框大小按比例缩放前景图像的方法，包括以下步骤：
16.获取最佳参照成人目标的检测框坐标；
17.计算最佳参照成人目标的检测框的宽和/或高；
18.缩放前景图像至前景图像的宽和/或高与最佳参照成人目标的检测框的宽和/或高为合理比值。
19.优选地，所述合理比值的计算方法，包括以下步骤：
20.检测前景图像中儿童的年龄；
21.根据年龄大小设置合理比值的大小。
22.优选地，在根据最佳参照成人目标的检测框大小按比例缩放前景图像之后，还包括步骤：
23.对街景图像进行地面分割处理，分割出地面区域；
24.根据缩放后前景图像的掩模图形状大小，在街景图像的最佳参照成人目标的检测框周边随机选取相同形状大小的前景粘贴候选区域；
25.判断前景粘贴候选区域的底部是否在地面区域内；
26.若否，则在街景图像的最佳参照成人目标的检测框周边重新随机选取相同形状大小的前景粘贴候选区域，重新判断前景粘贴候选区域的底部是否在地面区域内；若是，则选择当前的前景粘贴候选区域为前景图像的粘贴区域。
27.优选地，选择当前的前景粘贴候选区域为前景图像的粘贴区域之后，还包括步骤：
28.将粘贴区域与最佳参照成人目标的检测框进行交并比计算；
29.若交并比小于阈值，则最终确定粘贴区域；若否，则在街景图像的最佳参照成人目标的检测框周边重新随机选取相同形状大小的前景粘贴候选区域，重新判断前景粘贴候选区域的底部是否在地面区域内。
30.优选地，在根据最佳参照成人目标的检测框大小按比例缩放前景图像之后，还包括步骤：
31.对前景图像的掩模图进行腐蚀操作处理；
32.将腐蚀操作处理后的前景图像的掩模图进行高斯模糊处理。
33.优选地，在根据最佳参照成人目标的检测框大小按比例缩放前景图像之后，还包括步骤：
34.选择前景图像在街景图像的粘贴区域；
35.以粘贴区域为中心在街景图像中按一定比例扩充裁剪粘贴区域，得到包含粘贴区域的局部背景图像；
36.计算局部背景图像的颜色以及光照信息，采用自适应阈值方法调整前景图像的颜色以及光照信息以匹配局部背景图像。
37.优选地，所述将前景图像粘贴在街景图像中的最佳参照成人目标周围区域的方法，包括以下步骤：
38.将调整颜色以及光照信息后的前景图像以及前景图像的掩模图粘贴至街景图像的粘贴区域；
39.得到带有儿童与成人的街景图像。
40.本技术提供的基于街景的儿童图像合成方法，与现有技术相比，通过提取任意两张相同身体朝向属性的儿童前景图像以及带成人的街景图像合成出新的带有儿童与成人的街景图像数据集，解决合成图像内容中的前景图像与街景图像粘贴区域周围环境内容不协调问题，保证前景与背景的自然与合理，同时根据最佳参照成人目标的检测框大小按比例缩放前景图像，确保成人与儿童的身材比例合理，如此能够针对不同国家不同城市街景场景下的儿童图像合成，提升各个街景场景下检测儿童泛化能力。
附图说明
41.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
42.图1为本技术实施例提供的基于街景的儿童图像合成方法的流程示意图；
43.图2为本技术实施例提供的儿童的前景图像的示例图；
44.图3为图2中的儿童的前景图像的掩模图；
45.图4为本技术实施例提供的带有成人的街景图像的示例图；
46.图5为图2中的前景图像与图4中的街景图像的合成后的效果图。
具体实施方式
47.为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
48.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
49.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
50.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
51.请一并参阅图1至图5，现对本技术实施例提供的基于街景的儿童图像合成方法进行说明。所述基于街景的儿童图像合成方法，包括：
52.步骤s1.0，检测儿童的前景图像数据集中儿童的身体朝向属性，检测带有成人的
街景图像数据集中的最佳参照成人目标及其身体朝向属性；
53.步骤s2.0，提取任意两张相同身体朝向属性的前景图像以及街景图像；
54.步骤s3.0，根据最佳参照成人目标的检测框大小按比例缩放前景图像；
55.步骤s4.0，将前景图像粘贴在街景图像中的最佳参照成人目标周围区域。
56.可以理解的是，在步骤s1.0中，所述身体朝向属性的检测可以通过人体属性朝向模型来判断，人体属性朝向模型是一个分类模型，能够输出多种不同的身体朝向属性，以代替人工标注，提高图像合成效率，适合大批量图像合成。儿童的前景图像根据身体朝向属性的分类及其对应的mask图分别置于各自的前景图像类别文件中；带有成人的街景图像根据身体朝向属性的分类置于各自的街景图像类别文件中。
57.在步骤s2.0中，提取任意两张相同身体朝向属性的前景图像以及街景图像，可以合成出大量新的带有儿童与成人的街景图像。例如，身体朝向属性为向前的前景图像有100张，身体朝向属性为向前的街景图像有50张，则提取任意两张身体朝向属性为向前的前景图像以及街景图像进行合成后，可以获得5000张带有儿童与成人的街景图像。
58.由于街景图像中的成人与前景图像的儿童身体朝向属性相同，对选取的行人进行朝向判断，根据朝向结果对应随机选取相同方向的前景图像，确保儿童在背景图像中的朝向与周围行人身体朝向属性相同，避免出现因身体朝向属性不一致而导致合成图像内容中的前景图像与粘贴区域周围内容不协调问题。
59.通过上述获得的大量带有儿童与成人的街景图像，混合有成人监管儿童的街景图像，以儿童与成人在街景图像中的位置关系、动作、距离等特征进行标注，可以用于训练遗失儿童检测模型，提高遗失儿童检测模型的检测精度，降低数据集获取难度。其中，遗失儿童检测模型运用于城市管理监测系统中时，通过城市管理监测系统可以检测各街道中的遗失儿童，自动报警，帮助成人家长及时找到儿童。
60.在步骤s3.0中，由于前景图像的儿童与街景图像的成人大小比例是不确定的，因此，需要根据最佳参照成人目标的检测框大小按比例缩放前景图像，对前景图像以及对应的mask图进行缩放处理，保证前景目标粘贴到背景图像内有一个较为合理的大小，确保成人与儿童的身材比例协调。
61.在步骤s4.0中，将前景图像粘贴在街景图像中的最佳参照成人目标周围区域，使得儿童可以更好的融入街景，避免儿童的前景图像随机粘贴到天上、河上、墙上、汽车上等各种不合理位置，进一步提高合理性。
62.本技术提供的基于街景的儿童图像合成方法，与现有技术相比，通过提取任意两张相同身体朝向属性的儿童前景图像以及带成人的街景图像合成出新的带有儿童与成人的街景图像数据集，解决合成图像内容中的前景图像与街景图像粘贴区域周围环境内容不协调问题，保证前景与背景的自然与合理，同时根据最佳参照成人目标的检测框大小按比例缩放前景图像，确保成人与儿童的身材比例合理，如此能够针对不同国家不同城市街景场景下的儿童图像合成，提升各个街景场景下检测儿童泛化能力。
63.在本技术另一个实施例中，在步骤s1.0中，所述身体朝向属性至少包括向前、向后、向左以及向右4类。
64.可以理解的是，在步骤s1.0中，检测儿童的前景图像数据集中儿童的身体朝向属性，根据检测结果将儿童的前景图像数据集分成向前、向后、向左以及向右4类；检测带有成
人的街景图像数据集中成人的身体朝向属性，根据检测结果将成人的街景图像数据集分成向前、向后、向左以及向右4类。
65.在本技术另一个实施例中，在步骤s2.0中，所述检测带有成人的街景图像数据集中的最佳参照成人目标的方法，包括以下步骤：
66.检测带有成人的街景图像数据集中的全部成人目标；
67.选择全部成人目标中检测分数最高的为最佳参照成人目标。
68.可以理解的是，每张带有成人的街景图像中都有可能有多个成人目标，因此，选择全部成人目标中检测分数最高的为最佳参照成人目标，一方面可以减少误识别的概率，另一方面最佳参照成人目标的人体形态相对清晰，整体相对完整，有利于在步骤s3.0中作为参照按比例缩放前景图像。
69.在本技术另一个实施例中，在步骤s3.0中，所述根据最佳参照成人目标的检测框大小按比例缩放前景图像的方法，包括以下步骤：
70.获取最佳参照成人目标的检测框坐标；
71.计算最佳参照成人目标的检测框的宽和/或高；
72.缩放前景图像至前景图像的宽和/或高与最佳参照成人目标的检测框的宽和/或高为合理比值。
73.进一步地，所述合理比值的计算方法，包括以下步骤：
74.检测前景图像中儿童的年龄；
75.根据年龄大小设置合理比值的大小。
76.可以理解的是，在同一街景当中，为避免出现违和感，儿童的身体长宽高都要小于成人的的身体长宽高，因此，把儿童的前景图像粘贴在街景图像之前需要将儿童的前景图像进行缩放处理，使得前景图像的宽和/或高与最佳参照成人目标的检测框的宽和/或高为合理比值。
77.为使得儿童的身体长宽高与成人的的身体长宽高比例最合理，可以通过使用年龄检测cnn(卷积神经网络)检测前景图像中儿童的年龄，检测到儿童的年龄越大，儿童的宽和/或高与成人的宽和/或高比例越大，但比例不超过1；检测到儿童的年龄越小，儿童的宽和/或高与成人的宽和/或高比例越小，但比例小于0.2。
78.在本技术另一个实施例中，在步骤s3.0中，在根据最佳参照成人目标的检测框大小按比例缩放前景图像之后，还包括步骤：
79.对街景图像进行地面分割处理，分割出地面区域；
80.根据缩放后前景图像的掩模图形状大小，在街景图像的最佳参照成人目标的检测框周边随机选取相同形状大小的前景粘贴候选区域；
81.判断前景粘贴候选区域的底部是否在地面区域内；
82.若否，则在街景图像的最佳参照成人目标的检测框周边重新随机选取相同形状大小的前景粘贴候选区域，重新判断前景粘贴候选区域的底部是否在地面区域内；若是，则选择当前的前景粘贴候选区域为前景图像的粘贴区域。
83.进一步地，选择当前的前景粘贴候选区域为前景图像的粘贴区域之后，还包括步骤：
84.将粘贴区域与最佳参照成人目标的检测框进行交并比计算；
85.若交并比小于阈值，则最终确定粘贴区域；若否，则在街景图像的最佳参照成人目标的检测框周边重新随机选取相同形状大小的前景粘贴候选区域，重新判断前景粘贴候选区域的底部是否在地面区域内。
86.可以理解的是，先判断前景粘贴候选区域的底部是否在地面区域内，可以检测前景图像中儿童是否位于街景的道路上，防止出现儿童站在车上、房檐、天空等地方，确保儿童的位置合理性。再将粘贴区域与最佳参照成人目标的检测框进行交并比计算，确保前景图像粘贴到街景图像后上不会造成街景图像内的成人目标的大范围遮挡。对上述步骤反复迭代操作，直至最终得到前景图像在街景图像中合理的粘贴区域，使得儿童的前景图像完美融入带有成人的街景图像中。
87.在本技术另一个实施例中，在步骤s3.0中，在根据最佳参照成人目标的检测框大小按比例缩放前景图像之后，还包括步骤：
88.对前景图像的掩模图进行腐蚀操作处理；
89.将腐蚀操作处理后的前景图像的掩模图进行高斯模糊处理。
90.可以理解的是，对前景图像的掩模图进行腐蚀操作处理，可以优化掩模图的边缘部分；将腐蚀操作处理后的前景图像的掩模图进行高斯模糊处理，进一步优化掩模图的边缘部分，在前景图像粘贴合成后边缘部分过渡更加自然。
91.在本技术另一个实施例中，在步骤s3.0中，在根据最佳参照成人目标的检测框大小按比例缩放前景图像之后，还包括步骤：
92.选择前景图像在街景图像的粘贴区域；
93.以粘贴区域为中心在街景图像中按一定比例扩充裁剪粘贴区域，得到包含粘贴区域的局部背景图像；
94.计算局部背景图像的颜色以及光照信息，采用自适应阈值方法调整前景图像的颜色以及光照信息以匹配局部背景图像。
95.可以理解的是，通过以粘贴区域为中心在街景图像中按一定比例扩充裁剪粘贴区域，得到包含粘贴区域的局部背景图像，可以精准计算出粘贴区域的颜色以及光照信息，采用自适应阈值方法调整前景图像的颜色以及光照信息以匹配局部背景图像，实现前景与背景的局部和谐化。局部和谐化的方法避免了对背景图像全局进行处理，一方面很大程度上减少了计算量，提高计算速率。另一方面利用前景粘贴区域的局部信息和谐化处理匹配前景的颜色光照等信息适配当前的粘贴区域，不改变背景图像全局颜色光照等信息的分布，使得合成的图像更加真实自然。
96.进一步地，在步骤s4.0中，所述将前景图像粘贴在街景图像中的最佳参照成人目标周围区域的方法，包括以下步骤：
97.将调整颜色以及光照信息后的前景图像以及前景图像的掩模图粘贴至街景图像的粘贴区域；
98.得到带有儿童与成人的街景图像。
99.可以理解的是，粘贴方法使用opencv相关函数进行粘贴操作，最终得到一张较为真实的街景场景下的儿童合成图像。
100.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。