物体简笔画的自动生成方法及装置与流程

技术特征：
1.一种物体简笔画的自动生成方法，所述方法包括：对输入图像进行物体检测，获取所述图像中的物体区域；提取所述物体区域的特征向量；将所述物体区域的特征向量与注册简笔画特征库中的特征向量模板进行相似度匹配，获得最相似的特征向量模板对应的注册简笔画素材；根据所述注册简笔画素材在所述输入图像上生成物体简笔画。2.根据权利要求1所述的方法，所述对输入图像进行物体检测，获取所述图像中的物体区域，具体包括：基于物体检测模型d确定所述图像中的物体数量，以及至少一个物体的物体区域；其中，所述物体区域包括物体的位置坐标范围；所述物体检测模型d的训练方法，具体包括：获取已标注物体外轮廓坐标信息的图像集合作为训练样本a；基于mobilenet v2主干网络，利用非极大值抑制nms算法对所述训练样本a进行候选框的合并，训练得到物体检测模型d。3.根据权利要求1或2所述的方法，所述提取所述物体区域的特征向量，具体包括：基于特征提取模型e，提取所述物体区域的512维特征向量；其中，所述特征提取模型e的训练方法，具体包括：选取注册简笔画素材库中的至少一幅图像，使用不同的阈值参数进行边缘检测，获取每一幅图像的边缘检测数据集合作为训练样本b；基于18层残差神经网络resnet18和压缩激发块se-block结构，利用arcface loss损失函数对所述训练样本b进行计算，获得特征提取模型e。4.根据权利要求3所述的方法，所述将物体区域的特征向量与注册简笔画特征库中的特征向量模板进行相似度匹配，获得最相似的特征向量模板对应的简笔画素材，具体包括：基于相似度函数公式(1)计算所述物体区域的特征向量f1与所述注册简笔画特征库中的至少一个特征向量模板f2的相似度；确定与所述特征向量最相似的特征向量模板f2对应的注册简笔画素材。5.根据权利要求4所述的方法，所述注册简笔画特征库中的特征向量模板的获取方法，具体包括：对注册简笔画素材库中的所有图像进行边缘检测，获得注册简笔画边缘检测图像集合；基于特征提取模型e从所述注册简笔画边缘检测图像集合中提取注册简笔画特征库的特征向量模板集合。6.根据权利要求5所述的方法，所述根据注册简笔画素材在所述输入图像上生成物体简笔画，具体包括：基于所述物体区域的位置坐标范围，将获得的所述简笔画素材缩放至合适的大小，生成在所述输入图像上。
7.一种物体简笔画的自动生成装置，所述装置包括：物体区域检测模块，用于对输入图像进行物体检测，获取所述图像中的物体区域；特征向量提取模块，用于提取所述物体区域的特征向量；特征向量匹配模块，用于将所述物体区域的特征向量与注册简笔画特征库中的特征向量模板进行相似度匹配，获得最相似的特征向量模板对应的注册简笔画素材；简笔画生成模块，用于根据所述注册简笔画素材在所述输入图像上生成物体简笔画。8.根据权利要求7所述的装置，所述物体区域检测模块，具体包括：基于物体检测模型d确定所述图像中的物体数量，以及至少一个物体的物体区域；其中，所述物体区域包括物体的位置坐标范围；所述物体检测模型d的训练方法，具体包括：获取已标注物体外轮廓坐标信息的图像集合作为训练样本a；基于mobilenet v2主干网络，利用非极大值抑制nms算法对所述训练样本a进行候选框的合并，训练得到物体检测模型d。9.根据权利要求7或8所述的装置，所述特征向量提取模块，具体包括：基于特征提取模型e，提取所述物体区域的512维特征向量；其中，所述特征提取模型e的训练方法，具体包括：选取注册简笔画素材库中的至少一幅图像，使用不同的阈值参数进行边缘检测，获取每一幅图像的边缘检测数据集合作为训练样本b；基于18层残差神经网络resnet18和压缩激发块se-block结构，利用arcface loss损失函数对所述训练样本b进行计算，获得特征提取模型e。10.根据权利要求9所述的装置，所述特征向量匹配模块，具体包括：相似度计算模块，用于基于相似度函数公式(1)计算所述物体区域的特征向量f1与所述注册简笔画特征库中的至少一个特征向量模板f2的相似度；素材确定模块，用于确定与所述特征向量最相似的特征向量模板f2对应的注册简笔画素材。11.根据权利要求10所述的方法，所述简笔画生成模块，具体包括：基于所述物体区域的位置坐标范围，将获得的所述简笔画素材缩放至合适的大小，生成在所述输入图像上。12.一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。

技术总结
本发明提供了一种物体简笔画的自动生成方法及装置，通过对图像的物体检测、物体特征提取和匹配，快速选取物体对应的简笔画素材，解决了现有技术从拍摄图像中生成物体简笔画时，对图像尺寸、图像标注、系统资源有较高要求的问题，避免图像尺寸对算法的影响，减少复杂图像标注的消耗，有效提高系统的处理效率。有效提高系统的处理效率。有效提高系统的处理效率。


技术研发人员：徐婷 邹建法
受保护的技术使用者：阿里巴巴集团控股有限公司
技术研发日：2020.04.17
技术公布日：2021/10/21