一种漫画特效类图像换色方法和系统与流程

1.本发明涉及图像处理技术领域，特别涉及一种漫画特效类图像换色方法和系统。


背景技术：

2.目前移动端app或者pc图像处理软件中经常涉及到各种漫画风格特效，将用户真实照片处理为漫画风格，这些特效往往具有较高的市场认知度，备受用户喜爱，因而具有较高的商业价值。但现有漫画特效的制作非常复杂，以ai漫画算法为例，往往一款漫画算法的研发，需要很多设计师、算法开发人员，投入相当多人力和金钱进行修图、训练模型和调参迭代，时间周期长，效果单一，一款漫画往往只有一种颜色风格，无法对漫画进行颜色风格修改或自定义。如果要修改风格，则需要重新研发，成本较高。因此，如何快速产生多种颜色风格的漫画，满足不同人群的需要，成为一个技术难点。


技术实现要素：

3.本发明其中一个发明目的在于提供一种漫画特效类图像换色方法和系统，所述方法和系统基于语义分割模型对漫画原图进行目标切割，获取原图的不同兴趣区域，并建立漫画模板图像，根据所述漫画模板图像进行语义分割，生成对应的模板区域，根据所述模板区域采用颜色迁移算法将所述模板区域颜色迁移到对应的原图兴趣区域，从而可以实现快速的漫画特效迁移。
4.本发明另一个发明目的在于提供一种漫画特效类图像换色方法和系统，所述方法和系统首先对现实图片进行ai漫画算法进行漫画处理，在并进一步执行对漫画处理后图像的语义分割，减少原始图像颜色直接迁移带来的兴趣边界不清晰的问题。
5.本发明另一个发明目的在于提供一种漫画特效类图像换色方法和系统，所述方法和系统基于ai漫画算法进行漫画处理，通过所述ai漫画算法通过训练的方式生成具有相似风格的图像集，并对同样风格的漫画集进行兴趣区域的划分，并且配置相同或相似的模板作为颜色迁移基础，从而可以快速并准确地进行模板颜色的迁移。
6.为了实现至少一个上述发明目的，本发明进一步提供一种漫画特效类图像换色方法，所述方法包括：
7.获取输入的原始图像，所述原始图像为同类型图像；
8.采用ai漫画算法将所述原始图像进行漫画处理，得到第一漫画图像；
9.建立和所述原始图像相同类的模板图像，作为颜色迁移的模板图像；
10.采用语义分割算法将所述第一漫画图像和模板图像进行分割，得到第一漫画兴趣分割图像和模板兴趣分割图像；
11.采用颜色迁移算法将所述模板兴趣风格图像中的每一兴趣区域对应颜色迁移到所述第一漫画兴趣分割图像的对应兴趣区域中，得到第二漫画图像。
12.根据本发明其中一个较佳实施例，对所述原始图像进行语义分割的方法包括：设置网络输入图像的大小、设置三通道rgb数据，输出和输入图像相同大小的三通道rgb图像，
其中根据每个原图的分割区域分别配置对应的语义标签，对每一语义标签区域配置不同的rgb颜色，用于构建语义分割的样本图集，采用分割网络模型对所述样本图集进行训练，得到训练好的对应风格的语义分割模型，根据所述训练好的语义分割模型得到原始图的目标分割区域形成第一漫画兴趣分割图像。
13.根据本发明另一个较佳实施例，所述模板图像的分割方法包括：获取和所述原图相同类型的模板图像，将所述模板图像输入到训练好的所述语义分割模型中，输出具有对应的目标分割区域的模板兴趣分割图像。
14.根据本发明另一个较佳实施例，在完成所述第一漫画图像和模板图像的语义分割后，进一步执行目标分割区域的颜色迁移操作，其中所述颜色迁移操作包括：获取所述第一漫画兴趣分割图像的目标分割区域集合后，计算第一漫画兴趣分割图像中每一目标分割区域在所述第一漫画兴趣分割图像中包含的像素值到lab颜色空间分量的均值和方差，并计算所述模板兴趣分割图像中每一目标分割区域在所述模板兴趣分割图像所包含像素rgb值对应到lab颜色空间分量的均值和方差。
15.根据本发明另一个较佳实施例，所述第一漫画兴趣分割图像目标区域的像素值到lab颜色空间分量计算方法包括：
[0016][0017]
l、m、s分别为转换参数。
[0018]
根据本发明另一个较佳实施例，所述第一漫画兴趣分割图像中包含的像素值到lab颜色空间分量的均值和方差计算方法包括：
[0019]
k[n]＝sum(seta[n])
[0020][0021][0022][0023][0024]
[0025][0026]
其中l
s_mean
，a
s_mean
，b
s_mean
为第一漫画兴趣分割图像中包含的像素值到lab颜色空间对应分量均值；l
s_var
，a
s_var
，b
s_var
为第一漫画兴趣分割图像中包含的像素值到lab颜色空间对应分量的方差，其中定义(i,j)为目标区域的像素位置，l(i,j)表示第一漫画兴趣切割图中(i,j)位置像素在lab颜色空间中l分量值；a(i,j)表示第一漫画兴趣切割图中(i,j)位置像素在lab颜色空间中a分量值，b(i,j)表示第一漫画兴趣切割图中(i,j)位置像素在lab颜色空间中b分量值；其中seta表示第一漫画兴趣切割图像目标区域集合，n表示第一漫画兴趣切割图像目标区域个数。
[0027]
根据本发明另一个较佳实施例，遍历所述第一漫画兴趣分割图像中的目标区域，计算所述目标区域中每一像素值(l，a，b)，并计算颜色迁移后的像素值(1’，a’,b’):
[0028][0029][0030][0031]
根据本发明另一个较佳实施例，配置rgb转换公式，进一步将完成颜色迁移后的像素值(1’，a’,b’)转化为对应的rgb值，得到最终迁移转换成功的所述第二漫画图像。
[0032]
为了实现至少一个上述发明目的，本发明进一步提供一种漫画特效类图像换色系统，所述系统执行上述一种漫画特效类图像换色方法。
[0033]
本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行所述一种漫画特效类图像换色方法。
附图说明
[0034]
图1显示的是本发明一种漫画特效类图像换色方法的流程示意图。
[0035]
图2显示的是本发明中经过ai漫画处理的原始图像语义分割后目标区域示意图。
[0036]
图3显示的是本发明中模板图像进行语义分割后目标区域示意图。
[0037]
图4显示的是本发明中经过ai漫画处理的第一漫画图示意图。
[0038]
图5显示的是本发明中模板图像示意图。
[0039]
图6显示的是本发明中颜色迁移后的第二漫画图示意图。
具体实施方式
[0040]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0041]
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
[0042]
请结合图1-图6，本发明公开了一种漫画特效类图像换色方法和系统，所述方法主要包括如下步骤：首先需要选定图像类型、漫画类型和漫画风格，采用ai漫画算法对原始图像进行漫画处理，其中所述原始图像可以为真实拍摄的图像，通过所述ai漫画算法可以将同一种类型的照片进行漫画处理，得到相同或相似风格的漫画处理后的漫画图像。进一步配置和原图具有相同类型和风格的模板图像，将漫画处理后图像和模拟图像进行语义分割，并将分割后的图像进行颜色迁移最终得到需要的特效颜色转换的模板图像。
[0043]
具体而言，请参考图4，本发明以人脸图像作为举例说明，所述原始图像为拍照的图像s，经过ai漫画算法处理后得到如图4显示的第一漫画图，其中所述ai漫画算法包括但不仅限于cartoongan算法,pix2pix算法，stargan算法和stylegan算法等，本发明以pix2pix算法举例：设计师在获取原始人脸图像后，根据人脸图像进行相同类型和风格的人脸图像漫画绘制，基于原图绘制批量的同类型风格漫画图像，生成漫画数据集，所述漫画数据集包含至少10000张以上的漫画样本，将所述漫画样本输入到所述pix2pix算法中进行模型训练，获得满足损失函数要求的超参数等训练参数，得到训练好的pix2pix漫画模型，将拍照后的人脸照片输入到所述训练好的pix2pix漫画模型即可得到如图4展示的第一漫画图像。需要说明的是，由于漫画图像是基于相同类型和风格的原始图像的漫画图像进行处理，因此输出的第一漫画图像同样具备相同或相似的漫画风格。
[0044]
进一步的，在获取所述原始图像漫画处理后第一漫画图像后，进一步采用语义分割算法对所述第一漫画图像进行语义分割，其中所述语义分割算法包括但不仅限于unet算法,pspnet算法,segnet算法,deeplab算法，e-net算法等，其中上述语义分割算法为现有公开算法，本发明对此不再详细描述。为了更好的说明本发明技术效果，本发明以unet语义分割算法作为举例说明，方法包括如下步骤：设置所述unet语义分割网络的输入图像大小，比如可以设置256
×
256大小的图像，并设置三通道的rgb数据，使得经过所述语义分割网络的图像为256
×
256
×
3的彩色三通道图像。进一步配置语义标签，将原图通过所述语义分割算法分割为4个目标区域，分别为1、人像皮肤目标区域；人像头发目标区域；3、人像衣服目标区域；4、人像背景目标区域。进一步将所述4个目标区域配置对应的语义标签和rgb颜色的值，其中上述4个目标区域的rgb颜色的配置可以分别配置为目标区域1:rgb(255,0,0)；目标区域2:rgb(0,255,0)；目标区域3:rgb(0,0,255)；目标区域4:rgb(0,0,0)。其中目标区域1-4分别对应语义标签分别为人像皮肤、人像头发、人像衣服和人像背景，当对所有绘制的数据集中样本图像进行语义标签的配置后，采用所述unet网络输入所述绘制的数据集样本进行语义分割训练，根据训练好的语义分割模型，得到如图2显示的基于原图的目标区域集合的第一漫画兴趣分割图像。
[0045]
在完成对所述原图对应第一漫画图像的语义分割后，进一步获取模板图像进行语义分割，其中所述模板图像为和所述第一漫画图像相同类型和风格的漫画图像，比如本发明中第一漫画图像为女性人像图，对应的相同类型和风格的模板图像也是人像图(如图5显示)，其中将所述模板图输入到预先训练好的和第一漫画图像相同的语义分割的unet语义分割模型中，得到所述模板图语义分割后的模板兴趣分割图像。
[0046]
其中图3显示的是本发明模板图语义分割后的对比示意图，在所述模板兴趣分割图像中，目标区域1为对应的人像头发标签；目标区域2为对应的人像皮肤标签；目标区域3为人像衣服标签，目标区域4为人像背景标签。在本发明一些较佳实施例中，通过设置自定义的迁移策略，将所述模板兴趣分割图像中不同区域颜色进行替换，在替换后进一步执行颜色的迁移操作。
[0047]
为了更好的说明本发明的技术效果，本发明进一步提供基于语义分割的图像目标区域颜色迁移算法，所述颜色迁移算法包括如下步骤：获取所述第一漫画兴趣分割图中的目标区域集合：seta＝{头发，皮肤，衣服，背景}，进一步计算seta中每个目标区域在图a中所包含像素rgb值对应到lab颜色空间分量的均值l
s_mean
，a
s_mean
，b
s_mean
和方差l
s_var
，a
s_var
，b
s_var
；其中l,a，b代表对应目标区域在lab颜色空间上的不同分量。其中像素rgb数值转化为lab颜色空间分量计算方法包括：
[0048][0049]
其中l,m,s为转化参数。所述算seta中每个目标区域在图a中所包含像素rgb值对应到lab颜色空间分量的均值和方差计算方法为：
[0050]
k[n]＝sum(seta[n])
[0051][0052][0053][0054][0055][0056][0057]
其中n表示目标区域集合中的目标个数，所述第一漫画兴趣切割图像中有4个目标区域，分别表示头发、皮肤、衣服和背景目标区域；进一步定义(i,j)表示像素位置，l(i,j)表示第一漫画兴趣切割图中(i,j)位置像素在lab颜色空间中l分量值，a(i,j)表示第一漫画兴趣切割图中(i,j)位置像素在lab颜色空间中a分量值，b(i,j)表示第一漫画兴趣切割
图中(i,j)位置像素在lab颜色空间中b分量值；其中seta表示第一漫画兴趣切割图像目标区域集合，n表示第一漫画兴趣切割图像目标区域个数。
[0058]
对于模板兴趣分割图像m，对应的目标区域集合为setm＝{头发，皮肤，衣服，背景}，进一步计算所述setm在模板兴趣分割图像m中包含像素rgb值对应到lab颜色空间分量的均值l
m_mean
，a
m_mean
，b
m_mean
和方差l
m_var
，a
m_var
，b
m_var
。所述setm像素rgb值对应到lab颜色空间分量的均值和方法的计算方式和所述第一漫画图像的均值相同，本发明对此不再赘述。
[0059]
在完成所述第一漫画兴趣分割区域和模板兴趣图像的分割区域对应的lab颜色空间分量的均值和方差计算后，对于每一个第一漫画兴趣分割区域n∈{头发，皮肤，衣服，背景}，遍历所述第一漫画兴趣分割区域图中对应seta[n]区域(i,j)位置的像素(l,a,b)值，根据颜色迁移算法计算将模板图像目标区域颜色迁移到第一漫画图像目标区域后的像素值(l’,a’,b’)。其中所述迁移后像素值计算方法为：
[0060][0061][0062][0063]
进一步将颜色迁移后的像素值(l’,a’,b’)转换为rgb值，得到如图6显示的最终输出的第二漫画效果图，其中像素值(l’,a’,b’)转为rgb值的公式为：
[0064][0065][0066]
上述转换公式中l、m、s为转换参数，所述模板图像可以为自定义的相同类型的图像。本发明上述完整技术方案所起到的技术效果包括：通过智能ai漫画处理和语义分割可以实现原始图像的快速颜色迁移。无需重复训练漫画模型，且大幅降低设计师修图和算法工程师训练资源消耗，使得上述方法和系统具有更好的适配性。
[0067]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机
可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、rf等等，或者上述的任意合适的组合。
[0068]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0069]
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。