一种精细化全身美型方法、设备、存储介质与流程

1.本发明涉及美颜技术领域，特别涉及一种精细化全身美型方法、设备、 存储介质。


背景技术：

2.液化滤镜可用于推、拉、旋转、反射、折叠和膨胀图像的任意区域。 创建的扭曲可以是细微的或剧烈的，这就使“液化”命令成为修饰图像和 创建艺术效果的强大工具。用户利用软件对图片中的人像进行大量修改， 打造出完美形象，在这个过程中人体体态的液化瘦身是一个非常耗时且难 度很高的操作，不仅需要用户的频繁操作更需要使用者有着对人体各部位 曲线的完美认知。
3.随着技术发展全身美型算法也逐步进入大众视野，但目前的全身美型 算法主要是通过检测人体骨骼点，再根据经验设计不同局部的扭曲调整。 如cn202010928126.0公开了基于人体外轮廓变形的自动瘦身方法，包括 以下步骤：对输入图片使用人体检测算法，获取图片中所有人物主体的位 置；依次对每个人物位置框内的人物主体使用骨骼关键点检测算法，获取 其姿态信息；将姿态信息送入基于k-means聚类算法的姿势匹配算法获取 参考模板库中与其姿势最相近的参考模板；获取瘦身幅度和变形方向使用 基于人体外轮廓的变形方法对待修改人体进行瘦身操作。但是这种方式无 法精准定位手臂赘肉、小腿健硕、富贵包、溜肩等小粒度形体瑕疵，调整 程度也完全依赖人工设计，导致美型部位不够精细，美型程度不够到位。
4.又如cn202010927633.2公开了一种基于3d建模的人像自动瘦身方 法，包括以下步骤：使用自训练的人体检测算法获取图片中所有人体的位 置坐标、性别及其胖瘦评级；针对每个待处理的人体区域获取人物主体的 骨骼关键点，去除背景；将去除背景后的人体区域配合关键点坐标送入 3d建模算法获取人体的3d模型；使用pca主成分分析获取3d模型输出 的人体外形参数，实现对于3d模型的瘦身操作；完成瘦身的3d模型投影 至2d图像上；使用delaunay三角形剖分算法获取三角形网格，得到最终 的瘦身结果。但是其缺陷在于对瑕疵的选择采用的方法是用超过10000张 不同场景、不同服饰的人物照片，手工标定人体位置框、性别和胖瘦评级 训练人体检测网络，可快速实现对日常照片、艺术写真、婚纱照片中的人 物做出关于位置、性别、胖瘦的正确判断。但事实上这种并不适合，尤其 是每个人的审美不一样，这是一种主观的评判，类似于脑力活动的方案， 单纯的利用这种手工标注的方式，得出的结果偏差较大，难以真正的评判 是否为瑕疵。
5.而随着图像社区、短视频社区的快速发展，用户会越来越重视体态的 线条自然优美，而当前的算法无法满足该精细化的需求。因此申请人提出 一种精细化全身美型方法、设备、存储介质解决现有技术中无法精准定位 手臂赘肉、小腿健硕、富贵包、溜肩等小粒度形体瑕疵，调整程度也完全 依赖人工设计，导致美型部位不够精细，美型程度不够到位的不足。


技术实现要素：

6.(一)技术方案
7.本发明通过如下技术方案实现：一种精细化全身美型方法，所述方法 包括：
8.获取包含至少一个肢体的待处理图像；
9.输入第一检测网络，构建至少一个人体外包框并裁切成人体图像块；
10.输入第二检测网络，检出至少一个肢体瑕疵点；
11.基于至少一个肢体瑕疵点，分割至少一个瑕疵肢体图像块；
12.输入第三检测网络，对瑕疵进行修饰；
13.输出结果。
14.作为上述方案的进一步说明，所述输入第二检测网络，检出至少一个 肢体瑕疵点包括：
15.基于人体图像块确定检测范围，建立图像热力图；
16.基于热力图检出至少一个肢体对象，将肢体对象位置切分为n个肢体 区域，获得n个候选检测区域；其中肢体对象位置包括颈部、腰部、腿部；
17.计算n个候选检测区域的n个信息值，基于n个候选检测区域采用非 极大值抑制算法进行迭代处理，优化得到的候选检测区域作为检测结果。
18.作为上述方案的进一步说明，若未获得检测结果，则将肢体对象位置 切分为2n个肢体区域；
19.计算2n个候选检测区域的2n个信息值，基于2n个候选检测区域采 用非极大值抑制算法进行迭代处理，优化得到的候选检测区域作为检测结 果。
20.作为上述方案的进一步说明，若未获得检测结果，则将所述非极大值 抑制算法的阈值进行修改；所述阈值修改方式通过预设阈值序列进行修改； 所述预设阈值序列包括n个预设阈值，n为大于1的整数；
21.将阈值按照预设阈值序列中的阈值进行修改；优化得到的候选检测区 域作为检测结果；
22.否则，直至遍历完预设阈值序列集合。
23.作为上述方案的进一步说明，所述信息值为肢体区域像素个数或肢体 区域每行像素点个数的占比或肢体区域每行像素点的长度。
24.作为上述方案的进一步说明，所述基于至少一个肢体瑕疵点，分割至 少一个瑕疵肢体图像块包括：
25.基于肢体瑕疵点建立位置坐标，通过坐标建立肢体块序列
26.l＝{li|i∈[0,n)}
[0027]
基于位置坐标分割出瑕疵肢体图像块。
[0028]
作为上述方案的进一步说明，所述输入第三检测网络，对瑕疵进行修 饰还包括训练得到第三检测网络模型的步骤，该步骤包括：
[0029]
依据调整系数划分至少一个分类；
[0030]
在一个分类下，将待训练肢体图像块输入网络架构，搭建检测模型； 其中所述待训练肢体图像块标注有肢体瑕疵类别和调整系数；
[0031]
采用所述待训练肢体图像块对模型进行训练，获得若干个分类的检测 模型，将训
练好的检测模型作为所述第三检测网络。
[0032]
所述调整系数包括调整方向{dire_x,dire_y}和调整力度s；
[0033]
所述输入第三检测网络，对瑕疵进行修饰具体的修饰公式如下：
[0034][0035]
式中：ji表示瑕疵肢体图像块的图像坐标；
[0036][0037]
c是液化推动起点,即瑕疵坐标；
[0038]
m是液化推动终点公式如下：
[0039]
m＝c s*{dire_x,dire_y}
[0040]
r为是液化范围r＞1.5s或r＜3s；
[0041]
本发明还提出一种精细化全身美型设备，包括处理器、存储器以及存 储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行 以实现一种精细化全身美型方法。
[0042]
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质包 括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可 读存储介质所在设备执行一种精细化全身美型方法。
[0043]
(三)有益效果
[0044]
本发明相对于现有技术，具有以下有益效果：
[0045]
1、可以精细化调节图像人物体态，达到瘦身纤体的效果。
[0046]
2、每个调整点相互独立，可以根据用户选择控制每个调整点的力度。
[0047]
3、调整的风格由训练数据决定，根据不同设计师制造的数据集合可 以得到不同的美型效果。
具体实施方式
[0048]
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将对本发 明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式 是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方 式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实 施方式，都属于本发明保护的范围。基于本发明中的实施方式，本领域普通 技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于 本发明保护的范围。
[0049]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能 理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此， 限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个 该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有 明确具体的限定。
[0050]
实施例
[0051]
一种精细化全身美型方法，所述方法包括：
[0052]
获取包含至少一个肢体的待处理图像；需要进一步说明的是肢体包括 人的颈部、腰部、腿部等位置，换言之获得图像可能包括一个人或者多个 人，并不限定人数。
[0053]
输入第一检测网络，构建至少一个人体外包框并裁切成人体图像块； 具体的：
[0054]
输入图像i，通过人体检测网络humen_detnet，预测出人体所处位置 box＝humen_detnet(i)，按人体外包框裁剪得到仅含有人体的图像块 p＝i[box]；
[0055]
输入第二检测网络，检出至少一个肢体瑕疵点；
[0056]
所述输入第二检测网络，检出至少一个肢体瑕疵点包括：
[0057]
基于人体图像块确定检测范围，建立图像热力图；
[0058]
基于热力图检出至少一个肢体对象，将肢体对象位置切分为n个肢体 区域，获得n个候选检测区域；其中肢体对象位置包括颈部、腰部、腿部；
[0059]
计算n个候选检测区域的n个信息值，基于n个候选检测区域采用非 极大值抑制算法进行迭代处理，优化得到的候选检测区域作为检测结果。 若未获得检测结果，则将肢体对象位置切分为2n个肢体区域；计算2n个 候选检测区域的2n个信息值，基于2n个候选检测区域采用非极大值抑制 算法进行迭代处理，优化得到的候选检测区域作为检测结果。
[0060]
需要进一步说明的是，上述技术方案的原理是，人的美学都是可以量 化的，例如脸部的比例、腿部的比例、手臂的长度、手臂的比例等，那么 完全可以都过这些量化的比例作为标准寻找肢体的瑕疵，如手臂太粗、腰 部太粗的问题；那么为什么第一次n个肢体区域找不到瑕疵时会考虑进一 步划分成2n个肢体区域，这就类似于减少步进距离，将进一步细化区域， 能够更加精确的判断瑕疵与否。需要进一步说明的时，所述信息值为肢体 区域像素个数或肢体区域每行像素点个数的占比或肢体区域每行像素点的 长度。通过n个肢体区域的位置计算他们的信息值，再通过信息值计算n 个候选检测区域的n个信息值，基于n个候选检测区域采用非极大值抑制 算法进行迭代处理，优化得到的候选检测区域作为检测结果。但是为什么 不用n个区域的信息值与美的比例进行对比，其原因在于肢体的美型里每 个肢体区域之间是前后关联的，并不是说某个区域出现瑕疵，修正这个区 域就可以的，因此在寻找瑕疵的过程中不仅需要考虑单个位置的瑕疵，也 要考虑肢体整体的数据的离散程度。
[0061]
同时本发明也提出第二种比较方案具体的：
[0062]
若未获得检测结果，则将所述非极大值抑制算法的阈值进行修改；所 述阈值修改方式通过预设阈值序列进行修改；所述预设阈值序列包括n个 预设阈值，n为大于1的整数；
[0063]
将阈值按照预设阈值序列中的阈值进行修改；优化得到的候选检测区 域作为检测结果；
[0064]
否则，直至遍历完预设阈值序列集合。
[0065]
需要进一步说明的是，这一方案的出发点在源于人体之间的差异，比 如说男人、女人、小孩之间是具有体型是有差异的，那么其肢体的比例等 关系一定是具有区别的，那么意味着只用一个阈值的话，势必是不能满足 所有的要求的。假如预设阈值是以正常男人的体型来设置的，那么对于女 人、小孩来说就不一定适用，因此引入预设阈值序列来进行控制。
[0066]
现在常用的技术也有采用经验法，如用超过10000张不同场景、不同 服饰的人物照片，手工标定人体位置框、性别和胖瘦评级训练人体检测网 络，可快速实现对日常照片、艺术写真、婚纱照片中的人物做出关于位置、 性别、胖瘦的正确判断。但事实上这种并不适合，尤其是每个人的审美不 一样，单纯的利用这种手工标注的方式，得出的结果偏差较大，难以真正 的评判是否为瑕疵。
[0067]
基于至少一个肢体瑕疵点，分割至少一个瑕疵肢体图像块；
[0068]
基于肢体瑕疵点建立位置坐标，通过坐标建立肢体块序列
[0069]
l＝{li|i∈[0,n)}
[0070]
基于位置坐标分割出瑕疵肢体图像块。
[0071]
输入第三检测网络，对瑕疵进行修饰；所述输入第三检测网络，对瑕 疵进行修饰还包括训练得到第三检测网络模型的步骤，该步骤包括：
[0072]
依据调整系数划分至少一个分类；
[0073]
在一个分类下，将待训练肢体图像块输入网络架构，搭建检测模型； 其中所述待训练肢体图像块标注有肢体瑕疵类别和调整系数；
[0074]
需要进一步说明的是，现有的美型仍然拥有不同的标准，比如欧式美、 中式美、韩式美，因此针对于不同的需求，需要建立不同的分类网络便于 应对不同类型的审美需求。
[0075]
采用所述待训练肢体图像块对模型进行训练，获得若干个分类的检测 模型，将训练好的检测模型作为所述第三检测网络。
[0076]
在本实施例中具体的由第三检测网络reshaping_net，预测每个肢体 块，得到调整系数θ＝reshaping_net(l),θ＝{θi|i∈[0,n)}, 每个调整系数包含调整方向{dire_x,dire_y}和调整力度s
[0077]
所述调整系数包括调整方向{dire_x,dire_y}和调整力度s；
[0078]
所述输入第三检测网络，对瑕疵进行修饰具体的修饰公式如下：
[0079][0080]
式中：ji表示瑕疵肢体图像块的图像坐标；
[0081][0082]
c是液化推动起点,即瑕疵坐标；这个瑕疵坐标可以通过
[0083]
l＝{li|i∈[0,n)}
[0084]
进行获取。
[0085]
m是液化推动终点公式如下：
[0086]
m＝c s*{dire_x,dire_y}
[0087]
r为是液化范围r＞1.5s或r＜3s；
[0088]
通过上述的修饰之后输出修饰的结果。
[0089]
总体过程如下：输入图经过一个网络得到人体框，根据人体框裁剪出 人体图像
块，由体态瑕疵定位网络得到体态瑕疵位置，该位置中包含n个 需要调整的体态瑕疵。将n个体态瑕疵逐一裁出得到体态瑕疵肢体块，由 体态瑕疵改善网络得到每个体态瑕疵肢体块需要调整的系数。根据系数表 达的方向和力度可以直接对输入图液化处理得到最终效果。
[0090]
本发明的优点在于：
[0091]
1、可以精细化调节图像人物体态，达到瘦身纤体的效果。
[0092]
2、每个调整点相互独立，可以根据用户选择控制每个调整点的力度。
[0093]
3、调整的风格由训练数据决定，根据不同设计师制造的数据集合可 以得到不同的美型效果。
[0094]
本发明还提出一种精细化全身美型设备，包括处理器、存储器以及存 储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行 以实现一种精细化全身美型方法。
[0095]
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质包 括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可 读存储介质所在设备执行一种精细化全身美型方法。
[0096]
示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或 者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。 所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段， 该指令段用于描述所述计算机程序在精细化全身美型方法设备中的执行过 程。
[0097]
所述一种精细化全身美型设备可包括但不仅限于处理器、存储器。本 领域技术人员可以理解，所述示意图仅仅是一种精细化全身美型设备的示 例，并不构成对精细化全身美型方法设备的限定，可以包括比图示更多或 更少的部件，或者组合某些部件，或者不同的部件，例如所述精细化全身美 型方法设备还可以包括输入输出设备、网络接入设备、总线等。
[0098]
所称处理器可以是中央处理单元(central processing unit，cpu)，还 可以是其他通用处理器、数字信号处理器(digital signal processor， dsp)、专用集成电路(application specific integrated circuit，asic)、 现成可编程门阵列(field-programmable gate array，fpga)或者其他可 编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器 可以是微处理器或者该处理器也可以是任何常规的处理器等，所述精细化全 身美型设备的控制中心，利用各种接口和线路连接整个精细化全身美型设 备的各个部分。
[0099]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运 行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存 储器内的数据，实现所述精细化全身美型设备的各种功能。所述存储器可主 要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少 一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储 数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。 此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器， 例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)， 安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁 盘存储器件、闪存器件、或其他易失性固态存储
器件。
[0100]
其中，所述精细化全身美型方法设备集成的单元如果以软件功能单元 的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取 存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分 流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序 可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实 现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码， 所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些 中间形式等。
[0101]
所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实 体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读 存储器(rom，read-only memory)、随机存取存储器(ram，randomaccess memory)、电载波信号、电信信号以及软件分发介质等。需要说明 的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实 践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践， 计算机可读介质不包括电载波信号和电信信号。
[0102]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为 分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分 布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来 实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况 下，即可以理解并实施。
[0103]
上述实施例中的实施方案可以进一步组合或者替换，且实施例仅仅是对本发 明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离 本发明设计思想的前提下，本领域中专业技术人员对本发明的技术方案作出 的各种变化和改进，均属于本发明的保护范围。