物体简笔画的自动生成方法及装置与流程

1.本发明涉及图像处理领域，更具体地说，涉及一种物体简笔画的自动生成方法及装置。


背景技术：

2.随着智能手机等智能终端设备性能的提高，越来越多的人习惯使用智能手机拍照和录制视频。智能手机的摄像设备的改进方向主要有两个：一是不断提高的硬件性能，拍摄的照片的质量越来越接近专业单反相机；而是日渐丰富的软件功能，能够提供特定场景模式、物体识别、物体美化等功能，满足人们多样的拍摄需求。
3.目前流行的一种功能是在拍摄图像上识别特定物体，并生成特定物体的简笔画，即物体简笔画生成方案，这种功能能够增加拍照的趣味性和互动性。例如，在拍摄天空图像时，天空中的云朵形态多样，依照云朵的边缘作出简笔画，使得在拍摄天空的这个特定场景下时，增强云朵的拍摄效果。
4.同时，物体简笔画生成方案也可以用于工业领域，例如产品海报的制作。现有的产品海报制作方法是采用人工的方式，根据产品的实物图片，使用图像处理软件进行处理，这样的方式效率较低，不利于大批量产品的海报生产。因此，需要一种简笔画生成方法，能够自动将拍摄的图像生成具有简明线条的简笔画，自动完成产品海报的制作，提高产品海报的制作效率。
5.然而现有的图像生成简笔画的方案大多利用结构化学习的算法，进行图像生成，特别是利用生成式对抗网络gan进行图像生成算法。这些算法存在以下缺点：1、需要大量复杂的人工标注数据，实现同样的功能对样本的标注成本极高；2、图像生成的算法对图像大小敏感；3、结构化算法实现同样的功能，训练时候需要更大显存和更多计算资源。
6.因此，需要一种物体简笔画的自动生成方法，能够对所有尺寸和类型的拍摄图像进行图像简笔画生成处理，采用深度学习的方式，减少人工标注消耗的人力物力，避免对智能终端处理资源的大量消耗。


技术实现要素：

7.有鉴于此，本发明的目的在于提供一种物体简笔画的自动生成方法及装置，用于解决现有技术从拍摄图像中生成物体简笔画时，对图像尺寸、图像标注、系统资源有较高要求的问题，避免图像尺寸对算法的影响，减少复杂图像标注的消耗，有效提高系统的处理效率。
8.为了解决上述技术问题，现提出的方案如下：
9.一种物体简笔画的自动生成方法，包括：
10.对输入图像进行物体检测，获取所述图像中的物体区域；
11.提取所述物体区域的特征向量；
12.将所述物体区域的特征向量与注册简笔画特征库中的特征向量模板进行相似度
匹配，获得最相似的特征向量模板对应的注册简笔画素材；
13.根据所述注册简笔画素材在所述输入图像上生成物体简笔画。
14.优选的，所述对输入图像进行物体检测，获取所述图像中的物体区域，具体包括：
15.基于物体检测模型d确定所述图像中的物体数量，以及至少一个物体的物体区域；
16.其中，所述物体区域包括物体的位置坐标范围；
17.所述物体检测模型d的训练方法，具体包括：
18.获取已标注物体外轮廓坐标信息的图像集合作为训练样本a；
19.基于mobilenet v2主干网络，利用非极大值抑制nms算法对所述训练样本a进行候选框的合并，训练得到物体检测模型d。
20.优选的，所述提取所述物体区域的特征向量，具体包括：
21.基于特征提取模型e，提取所述物体区域的512维特征向量；
22.其中，所述特征提取模型e的训练方法，具体包括：
23.选取注册简笔画素材库中的至少一幅图像，使用不同的阈值参数进行边缘检测，获取每一幅图像的边缘检测数据集合作为训练样本b；
24.基于18层残差神经网络resnet18和压缩激发块se-block结构，利用arcface loss损失函数对所述训练样本b进行计算，获得特征提取模型e。
25.优选的，所述将物体区域的特征向量与注册简笔画特征库中的特征向量模板进行相似度匹配，获得最相似的特征向量模板对应的简笔画素材，具体包括：
26.基于相似度函数公式(1)计算所述物体区域的特征向量f1与所述注册简笔画特征库中的至少一个特征向量模板f2的相似度；
[0027][0028]
确定与所述特征向量最相似的特征向量模板f2对应的注册简笔画素材。
[0029]
优选的，所述注册简笔画特征库中的特征向量模板的获取方法，具体包括：
[0030]
对注册简笔画素材库中的所有图像进行边缘检测，获得注册简笔画边缘检测图像集合；
[0031]
基于特征提取模型e从所述注册简笔画边缘检测图像集合中提取注册简笔画特征库的特征向量模板集合。
[0032]
优选的，所述根据注册简笔画素材在所述输入图像上生成物体简笔画，具体包括：
[0033]
基于所述物体区域的位置坐标范围，将获得的所述简笔画素材缩放至合适的大小，生成在所述输入图像上。
[0034]
一种物体简笔画的自动生成装置，包括：
[0035]
物体区域检测模块，用于对输入图像进行物体检测，获取所述图像中的物体区域；
[0036]
特征向量提取模块，用于提取所述物体区域的特征向量；
[0037]
特征向量匹配模块，用于将所述物体区域的特征向量与注册简笔画特征库中的特征向量模板进行相似度匹配，获得最相似的特征向量模板对应的注册简笔画素材；
[0038]
简笔画生成模块，用于根据所述注册简笔画素材在所述输入图像上生成物体简笔画。
[0039]
优选的，所述物体区域检测模块，具体包括：
[0040]
基于物体检测模型d确定所述图像中的物体数量，以及至少一个物体的物体区域；
[0041]
其中，所述物体区域包括物体的位置坐标范围；
[0042]
所述物体检测模型d的训练方法，具体包括：
[0043]
获取已标注物体外轮廓坐标信息的图像集合作为训练样本a；
[0044]
基于mobilenet v2主干网络，利用非极大值抑制nms算法对所述训练样本a进行候选框的合并，训练得到物体检测模型d。
[0045]
优选的，所述特征向量提取模块，具体包括：
[0046]
基于特征提取模型e，提取所述物体区域的512维特征向量；
[0047]
其中，所述特征提取模型e的训练方法，具体包括：
[0048]
选取注册简笔画素材库中的至少一幅图像，使用不同的阈值参数进行边缘检测，获取每一幅图像的边缘检测数据集合作为训练样本b；
[0049]
基于18层残差神经网络resnet18和压缩激发块se-block结构，利用arcface loss损失函数对所述训练样本b进行计算，获得特征提取模型e。
[0050]
优选的，所述特征向量匹配模块，具体包括：
[0051]
相似度计算模块，用于基于相似度函数公式(1)计算所述物体区域的特征向量f1与所述注册简笔画特征库中的至少一个特征向量模板f2的相似度；
[0052][0053]
素材确定模块，用于确定与所述特征向量最相似的特征向量模板f2对应的注册简笔画素材。
[0054]
优选的，所述简笔画生成模块，具体包括：
[0055]
基于所述物体区域的位置坐标范围，将获得的所述简笔画素材缩放至合适的大小，生成在所述输入图像上。
[0056]
一种物体简笔画的自动生成装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现物体简笔画的自动生成方法的步骤。
[0057]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，，所述计算机程序被处理器执行时实现物体简笔画的自动生成方法的步骤。
[0058]
从上述的技术方案可以看出，本技术实施例提供的物体简笔画的自动生成方法，通过对图像的物体检测、物体特征提取和匹配，快速选取物体对应的简笔画素材，解决了现有技术从拍摄图像中生成物体简笔画时，对图像尺寸、图像标注、系统资源有较高要求的问题，避免图像尺寸对算法的影响，减少复杂图像标注的消耗，有效提高系统的处理效率。
附图说明
[0059]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0060]
图1是本发明的物体简笔画的自动生成方法的流程图。
[0061]
图2是本发明的物体简笔画的自动生成方法中物体检测模型d的训练流程图。
[0062]
图3是本发明的物体简笔画的自动生成方法中特征提取模型e的训练流程图。
[0063]
图4是本发明的物体简笔画的自动生成方法中注册简笔画特征库中的特征向量模板的获取方法的流程图。
[0064]
图5是本发明的物体简笔画的自动生成装置的结构示意图之一。
[0065]
图6是本发明的物体简笔画的自动生成装置的结构示意图之二。
具体实施方式
[0066]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0067]
本发明提供的物体简笔画的自动生成方法适用于图像处理领域，尤其是涉及在使用智能终端进行图像拍摄和图像处理时，对图像中的物体进行识别、增强等处理。
[0068]
图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别三个部分。
[0069]
生成式对抗网络gan(generative adversarial nets)：是一种深度学习模型，模型通过框架中(至少)两个模块：生成模型(generative model)和判别模型(discriminative model)的互相博弈学习产生相当好的输出。实用中一般使用深度神经网络作为g和d，需要有良好的训练方法。gan最常使用的地方就是图像生成，做数据增强。
[0070]
如图1所示，本发明提供的一种物体简笔画的自动生成方法，具体包括：
[0071]
步骤101，对输入图像进行物体检测，获取图像中的物体区域。
[0072]
图像中的物体检测，是指找出图像中包含某种目标物体的矩形区域，得到该物体在图像中的位置和大小。
[0073]
这里的输入图像可以是各种尺寸的图像，也可以是大批量的多张图像。
[0074]
步骤101具体来说，基于已经训练好的物体检测模型d，确定所述图像中的物体数量，以及至少一个物体的物体区域。其中，物体区域包括物体的位置坐标范围。
[0075]
传统的gan算法对图像大小敏感。本发明通过截取图像中的物体区域图像，对任意大小的输入图像都可以重新设置尺寸，再进行特征匹配，避免对输入图像尺寸的限制。
[0076]
为了能够提高物体检测的准确度，物体检测模型d的深度学习至关重要。物体检测模型d的训练方法，如图2所示，具体包括：
[0077]
获取已标注物体外轮廓坐标信息的图像集合作为训练样本a。
[0078]
基于mobilenet v2主干网络，利用非极大值抑制nms算法对所述训练样本a进行候选框的合并，训练得到物体检测模型d。
[0079]
mobilenet v2主要架构是将mobilenet v1和残差网络resnet的残差单元结合起来，用depthwise convolutions代替残差单元的bottleneck，最重要的是与residuals block相反，通常的residuals block是先经过1
×
1的卷积，降低feature map通道数，然后
再通过3
×
3卷积，最后重新经过1
×
1卷积将feature map通道数扩张回去；而且为了避免relu对特征的破坏，用线性层替换channel数较少层后的relu非线性激活。
[0080]
这里云朵检测网络可以用其他的通用网络来代替。
[0081]
非极大值抑制nms算法(non-maximum suppression)：本质是搜索局部极大值，抑制非极大值元素。是目标检测框架中的后处理模块，主要用于去除冗余的候选框，得到最具代表性的结果，以加快目标检测的效率。
[0082]
算法的作用：当算法对一个目标产生了多个候选框的时候，选择score最高的框，并抑制其他对于改目标的候选框。
[0083]
适用场景：一幅图中有多个目标；如果只有一个目标，那么直接取score最高的候选框即可。
[0084]
算法的输入：算法对一幅图产生的所有的候选框，以及每个框对应的score，阈值thresh。可以用一个5维数组dets表示，前4维表示四个角的坐标，第5维表示分数。
[0085]
算法的输出：正确的候选框组，dets的一个子集。
[0086]
这里在训练时需要的训练数据较少，仅需要标注物体检测的检测框数据，解决了需要对训练样本图像进行复杂的人工标注的问题。
[0087]
步骤102，提取物体区域的特征向量。
[0088]
图像边缘检测，是指根据输入的图像检测出来图像包含边缘信息的像素点。图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。比较常用的方法有三种，sobel算子，laplacian算子，canny算子。
[0089]
特征提取，是指根据固定大小的图像提取出来能够最具表达力的一个向量。
[0090]
具体来说，基于特征提取模型e，提取每个物体区域的512维特征向量f。
[0091]
其中，特征提取模型e的训练方法，如图3所示，具体包括：
[0092]
选取注册简笔画素材库中的至少一幅图像，使用不同的阈值参数进行边缘检测，获取每一幅图像的边缘检测数据集合作为训练样本b。
[0093]
简笔画经过不同阈值的canny操作能够得到一系列边缘图像，这部分数据将作为训练样本训练网络，阈值不同，图像边缘细节丰富程度不同。
[0094]
基于18层残差神经网络resnet18和压缩激发块se-block结构作为分类网络，利用arcface loss损失函数作为识别算法对训练样本b进行计算，获得特征提取模型e。
[0095]
这里使用天空中的云朵作为例子来说明。检测模型d得到云朵位置坐标，继而得到云朵区域图像。由于云本身边缘稀少，因此难以通过固定的canny阈值得到边缘图像。当canny阈值较小，边缘丰富，云朵内部纷繁的细节干扰匹配；阈值较大时，边缘较少，甚至会缺少外轮廓信息，外轮廓边缘的缺少也会降低匹配精度。
[0096]
为了解决此问题，本方案采用动态阈值做canny边缘提取。经统计所得，当采用不同的阈值边缘化不同的图像，使得边缘像素的比例占整幅图像的比例在一定范围内，这样既能保证云外轮廓的完整性，又确保云内部细节较少。
[0097]
注册简笔画素材库，是指已经存在的，以及在图像训练和处理过程中逐渐获取并保存的简笔画素材，是一个动态更新的简笔画素材数据库。
[0098]
残差神经网络resnet18，是一种18层的卷积神经网络。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了
在深度神经网络中增加深度带来的梯度消失问题。
[0099]
这里，特征提取模型的网络结构可以用其他通用网络来代替。例如：mobilenet，shufflenet等。
[0100]
压缩激发块se-block结构(squeeze-and-excitation networks)，是一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。可以自适应的调整各通道的特征响应值，对通道间的内部依赖关系进行建模。如果将se block添加到之前的先进网络中，只会增加很小的计算消耗，但却可以极大地提升网络性能。
[0101]
在人脸识别中，算法的提高主要体现在损失函数的设计上。arcface loss损失函数，arcface是直接在角度空间(angular space)中最大化分类界限，对整个网络的优化有着导向性的作用。
[0102]
步骤103，将物体区域的特征向量与注册简笔画特征库中的特征向量模板进行相似度匹配，获得最相似的特征向量模板对应的注册简笔画素材。
[0103]
特征匹配，是指根据两个特征的距离来计算两个向量的相似度。
[0104]
具体来说，基于相似度函数公式(1)计算物体区域的特征向量f1与注册简笔画特征库中的至少一个特征向量模板f2的相似度。
[0105][0106]
进而确定与物体区域的特征向量最相似的特征向量模板f2对应的注册简笔画素材。
[0107]
这里，注册简笔画特征库中的每一个特征向量模板都有对应的注册简笔画素材，基于这种对应关系，确定图像中物体所使用的简笔画素材。
[0108]
其中，如图4所示，注册简笔画特征库中的特征向量模板的获取方法，具体包括：
[0109]
对注册简笔画素材库中的所有图像进行边缘检测，获得注册简笔画边缘检测图像集合。
[0110]
基于特征提取模型e从所述注册简笔画边缘检测图像集合中提取注册简笔画特征库的特征向量模板集合。
[0111]
步骤104，根据注册简笔画素材在所述输入图像上生成物体简笔画。
[0112]
基于物体区域的位置坐标范围，将获得的简笔画素材缩放至合适的大小，生成在输入图像上。
[0113]
当选出最匹配的简笔画素材时，缩放简笔画素材为云朵合适的尺寸，素材也不会造成失真，输出对尺寸也不敏感。
[0114]
上述的这种方法可以应用在产品海报制作上，即也是一种产品海报制作方法。具体来说，获取产品的实物图片，根据上述物体简笔画的自动生成方法，自动将拍摄的图像生成具有简明线条的简笔画，自动完成产品海报的制作。
[0115]
基于本发明前文提供的一种物体简笔画的自动生成方法的相同构思，本发明还提供一种物体简笔画的自动生成装置，如图5所示，该装置包括：物体区域检测模块100、特征向量提取模块200、特征向量匹配模块300以及简笔画生成模块400。
[0116]
物体区域检测模块100，用于对输入图像进行物体检测，获取图像中的物体区域。
[0117]
特征向量提取模块200，用于提取物体区域的特征向量。
[0118]
特征向量匹配模块300，用于将物体区域的特征向量与注册简笔画特征库中的特征向量模板进行相似度匹配，获得最相似的特征向量模板对应的注册简笔画素材。
[0119]
简笔画生成模块400，用于根据注册简笔画素材在所述输入图像上生成物体简笔画。
[0120]
基于本发明前文提供的一种物体简笔画的自动生成方法的相同构思，本发明还提供一种物体简笔画的自动生成装置，如图6所示，该装置包括：存储器101、处理器102以及存储在所述存储器中并可在处理器102上运行的计算机程序。处理器102执行计算机程序时实现物体简笔画的自动生成方法的步骤。
[0121]
最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0122]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0123]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0124]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0125]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0126]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0127]
附图中的流程图和框图显示了根据本发明的多个实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图和框图中的每个方框可以代
表一个模块、程序段或代码的一部分，包含一个或多个用于实现逻辑功能的计算机可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。也要注意的是，框图和流程图中的每个方框或方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。