基于草图的图片转换方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于草图的图片转换方法、装置、设备及存储介质。


背景技术：

2.绘制草图是用于人类表达和传递信息的最自然与灵活的途径之一。近年来随着触屏设备的日益普及，在触屏上以寥寥数笔绘制草图来表达人类的视觉需求，已经成为重要的人机的交互方式。由于草图具有高度抽象性，且不同人绘制的草图在完成的准确度与风格上可能有很大的不同，因此草图-图像翻译问题仍面临着巨大的挑战。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种基于草图的图片转换方法、装置、设备及存储介质，旨在解决现有技无法根据基于草图的图片转换准确图片的技术问题。
5.为实现上述目的，本发明提供了一种基于草图的图片转换方法，所述基于草图的图片转换方法包括：
6.获取用户的待转换草图和草图转换指令；
7.根据所述草图转换指令确定目标图片类型；
8.对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征；
9.根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片。
10.可选地，所述根据所述草图转换指令确定目标图片类型，包括:
11.根据所述草图转换指令确定目标标签；
12.在标签类型映射表中查找所述目标标签对应的图片类型；
13.根据所述目标标签对应的图片类型确定目标图片类型。
14.可选地，所述对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征，包括：
15.对所述待转换草图进行线条识别，得到所述待转换草图的线条特征；
16.对所述待转换草图进行颜色识别，得到所述待转换草图的颜色特征；
17.对所述待转换草图进行基础形状识别，得到所述待转换草图的形状特征；
18.根据所述线条特征、颜色特征以及形状特征确定所述待转换草图的目标转换特征。
19.可选地，所述根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片，包括：
20.根据所述目标图片类型确定目标转换模型；
21.输入所述目标转换特征至所述目标转换模型进行图片转换，得到初始转换图片及
其对应的图片匹配度；
22.对所述图片匹配度进行排名，得到排名结果；
23.获取所述排名结果中排名第一的目标图片匹配度，将所述目标图片匹配度对应的初始转换图片作为目标转换图片。
24.可选地，所述根据所述目标图片类型确定目标转换模型，包括：
25.获取各样本图片类型及对应的样本转换图片；
26.根据所述样本转换图片确定所述样本转换图片对应的样本转换草图；
27.根据所述样本转换图片及对应的样本转换草图对初始转换模型进行模型训练，得到各所述样本图片类型对应的样本转换模型；
28.根据所述目标图片类型、样本图片类型以及各所述样本图片类型对应的样本转换模型确定目标转换模型。
29.可选地，所述根据所述样本转换图片及对应的样本转换草图对初始转换模型进行模型训练，得到各所述样本图片类型对应的样本转换模型，包括：
30.对所述样本转换草图进行特征提取，得到训练线条特征、训练颜色特征及训练形状特征；
31.输入所述训练线条特征、训练颜色特征、训练形状特征、样本转换图片以及样本转换图片对应的样本匹配度至初始转换模型中进行模型训练，得到各所述样本图片类型对应的样本转换模型。
32.可选地，所述根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片之后，还包括：
33.发送所述目标转换图片至所述用户，并接收所述用户反馈的评价结果；
34.当所述评价结果不为预设评价结果时，返回执行根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片的步骤。
35.此外，为实现上述目的，本发明还提出一种基于草图的图片转换装置，所述基于草图的图片转换装置包括：
36.获取模块，用于获取用户的待转换草图和草图转换指令；
37.确定模块，用于根据所述草图转换指令确定目标图片类型；
38.提取模块，用于对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征；
39.转换模块，用于根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片。
40.此外，为实现上述目的，本发明还提出一种基于草图的图片转换设备，所述基于草图的图片转换设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于草图的图片转换程序，所述基于草图的图片转换程序配置为实现如上文所述的基于草图的图片转换方法。
41.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于草图的图片转换程序，所述基于草图的图片转换程序被处理器执行时实现如上文所述的基于草图的图片转换方法。
42.本发明通过获取用户的待转换草图和草图转换指令；根据所述草图转换指令确定
目标图片类型；对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征；根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片。通过上述方式，通过用户的待转换草图和草图转换指令确定准确的目标转换特征和目标图片类型，并基于目标图片类型和目标转换特征进行图片转换，从而保证了图片转换的准确性及高效性，并提升了用户体验感受。
附图说明
43.图1是本发明实施例方案涉及的硬件运行环境的基于草图的图片转换设备的结构示意图；
44.图2为本发明基于草图的图片转换方法第一实施例的流程示意图；
45.图3为本发明基于草图的图片转换方法第二实施例的流程示意图；
46.图4为本发明基于草图的图片转换装置第一实施例的结构框图。
47.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
48.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
49.参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于草图的图片转换设备结构示意图。
50.如图1所示，该基于草图的图片转换设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
51.本领域技术人员可以理解，图1中示出的结构并不构成对基于草图的图片转换设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
52.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于草图的图片转换程序。
53.在图1所示的基于草图的图片转换设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于草图的图片转换设备中的处理器1001、存储器1005可以设置在基于草图的图片转换设备中，所述基于草图的图片转换设备通过处理器1001调用存储器1005中存储的基于草图的图片转换程序，并执行本发明实施例提供的基于草图的图片转换方法。
54.本发明实施例提供了一种基于草图的图片转换方法，参照图2，图2为本发明一种基于草图的图片转换方法第一实施例的流程示意图。
55.基于草图的图片转换方法包括以下步骤：
56.步骤s10：获取用户的待转换草图和草图转换指令。
57.需要说明的是，本实施例的执行主体为终端设备，终端设备上安装有基于草图的图片转换系统，终端设备在接收到用户发送的待转换草图和草图转换指令时，将待转换草图和草图转换指令发送至基于草图的图片转换系统，基于草图的图片转换系统根据草图转换指令确定目标图片类型，并对待转换草图进行特征提取，得到待转换草图的目标转换特征，最终根据目标转换特征和目标图片类型进行图片转换，得到待转换草图对应的目标转换图片。在本实施例中，终端设备可为电脑、手机或其他智能终端设备，本实施例对此不加以限制。
58.可以理解的是，待转换草图指的是用户手工绘制的表达用户基本意向和概念的图像。草图转换指令指的是用户发送的用于根据待转换草图的转换指令，在接收到草图转换指令后，基于草图转换指令和待转换草图进行图片转换过程。
59.步骤s20：根据所述草图转换指令确定目标图片类型。
60.需要说明的是，目标图片类型指的是用户绘制的待转换草图的图片类型，例如，用户绘制的待转换草图的图片类型为人物图像类型，则目标图片类型为人物图像类型。
61.可以理解的是，为了根据草图转换指令得到准确的目标图片类型，从而保证后续图片转换时的准确性，进一步地，所述根据所述草图转换指令确定目标图片类型，包括:根据所述草图转换指令确定目标标签；在标签类型映射表中查找所述目标标签对应的图片类型；根据所述目标标签对应的图片类型确定目标图片类型。
62.在具体实现中，草图转换指令中包括但不限于待转换草图对应类型的目标标签。标签类型映射表指的是预先对图片类型打上标签后，将图片类型和标签之间的映射关系进行存储的表格。例如，通过字母对图片类型进行打标签，得到老年人的图像类型对应的标签为a，建筑物的图像类型对应的标签为b，狗的图像类型对应的标签为c。
63.需要说明的是，提取草图转换指令中的目标标签，在标签类型映射表中查找目标标签对应的图片类型，根据目标标签对应的图片类型确定目标图片类型。例如，草图转换指令中的目标标签为a，在标签类型映射表中查找目标标签a对应的图片类型为老年人的图像类型，则根据草图转换指令确定的目标图片类型为老年人。
64.步骤s30：对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征。
65.需要说明的是，目标转换特征指的是从待转换草图中提取的用于图片转换时的特征。目标转换特征包括但不限于待转换草图的线条特征、颜色特征及形状特征。在得到待转换草图后，对待转换草图进行特征提取，从而得到待转换草图的目标转换特征。
66.可以理解的是，为了基于待转换草图提取到准确的目标转换特征，进一步地，所述对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征，包括：对所述待转换草图进行线条识别，得到所述待转换草图的线条特征；对所述待转换草图进行颜色识别，得到所述待转换草图的颜色特征；对所述待转换草图进行基础形状识别，得到所述待转换草图的形状特征；根据所述线条特征、颜色特征以及形状特征确定所述待转换草图的目标转换特征。
67.在具体实现中，在获取到待转换草图后，对待转换草图进行线条识别，得到待转换草图中所存在的所有线条及线条对应的轮廓，根据线条及线条对应的轮廓得到待转换草图的线条特征。
68.需要说明的是，对待转换草图进行颜色识别，提取所述待转换草图中与颜色相关的颜色特征信息，从而得到待转换草图中的颜色特征。
69.可以理解的是，对待转换草图进行基础形状识别，从而得到待转换草图中所具有的基础形状，最终得到待转换草图的形状特征。基础形状包括但不限于矩形、圆形、椭圆形以及平行四边形等一系列基础形状。
70.在具体实现中，根据提取到的待识别草图的线条特征、颜色特征以及形状特征确定
71.步骤s40：根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片。
72.需要说明的是，在得到目标图片类型和目标转换特征后，基于草图的图片转换系统可基于目标图片类型和目标转换特征进行图片模拟转换，从而目标转换图片。目标转换图片指的是根据用户的待转换草图对应的用户想表达传递的图片，目标转换图片可为现实世界中出现过的图片也可为现实世界中未曾出现过的图片，本实施例对此不加以限制。
73.可以理解的是，为了使目标转换图片能够满足用户要求，进一步提高用户的满意度，进一步地，所述根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片之后，还包括：发送所述目标转换图片至所述用户，并接收所述用户反馈的评价结果；当所述评价结果不为预设评价结果时，返回执行根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片的步骤。
74.在具体实现中，预设评价结果指的是目标转换图片符合待转换草图对应的图片，在得到目标转换图片后，将目标转换图片发送至用户所在终端进行图片展示，并接收用户对于目标转换图片反馈的评价结果，当评价结果为预设评价结果时，则直接输出目标转换图片，当评价结果为目标转换图片不符合待转换草图对应的图片时，则返回执行根据目标图片类型和目标转换特征进行图片转换，得到目标转换图片的步骤。
75.本实施例通过获取用户的待转换草图和草图转换指令；根据所述草图转换指令确定目标图片类型；对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征；根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片。通过上述方式，通过用户的待转换草图和草图转换指令确定准确的目标转换特征和目标图片类型，并基于目标图片类型和目标转换特征进行图片转换，从而保证了图片转换的准确性及高效性，并提升了用户体验感受。
76.参考图3，图3为本发明一种基于草图的图片转换方法第二实施例的流程示意图。
77.基于上述第一实施例，本实施例基于草图的图片转换方法中所述步骤s40，包括：
78.步骤s41：根据所述目标图片类型确定目标转换模型。
79.需要说明的是，目标转换模型指的是经过样本图片类型和样本图片类型对应的样本转换草图进行深度学习训练后得到的模型，目标转换模型可基于目标转换特征进行图片转换，输出多张待转换草图对应的转换图片及各转换图片对应的图片匹配度。由于不同的图片类型对应不同的样本转换模型，因此，在获取到目标图片类型后，需要在样本转换模型中根据目标图片类型确定对应的目标转换模型。
80.可以理解的是，为了得到准确的目标转换模型，从而保证转换的目标转换图片高度匹配用户需求，进一步地，获取各样本图片类型及对应的样本转换图片；根据所述样本转
换图片确定所述样本转换图片对应的样本转换草图；根据所述样本转换图片及对应的样本转换草图对初始转换模型进行模型训练，得到各所述样本图片类型对应的样本转换模型；根据所述目标图片类型、样本图片类型以及各所述样本图片类型对应的样本转换模型确定目标转换模型。
81.在具体实现中，各样本图片类型指的是在预设数据库中存储的多种图片类型，例如，老年人图片类型、建筑物图片类型、狗图片类型、小孩图片类型等，还可为其他图片类型，本实施例对此不加以限制。
82.需要说明的是，在预设数据库中存储有各样本图片类型对应的样本转换图片，在获取到样本图片类型对应的样本转换图片后，基于各样本转换图片在预设数据库中获取各样本转换图片对应的样本转换草图，样本转换草图是用于模型训练的用户绘制的样本草图，一张样本转换草图对应多张样本转换图片，每张样本转换图片上标注有绘制样本转换草图的用户评价的样本匹配图，样本匹配图用于体现样本转换图片与样本转换草图之间的匹配度。
83.可以理解的是，在得到样本转换草图和样本转换图片后，基于样本转换草图和样本转换图片进行模型训练，从而得到各样本图片类型对应的样本转换模型。根据目标图片类型与样本图片类型进行匹配，在查找到与目标图片类型相同的样本图片类型后，获取该样本图片类型对应的样本转换模型，将该样本图片类型对应的样本转换模型作为目标转换模型。
84.在具体实现中，为了保证模型训练的准确程度，进一步地，所述根据所述样本转换图片及对应的样本转换草图对初始转换模型进行模型训练，得到各所述样本图片类型对应的样本转换模型，包括：对所述样本转换草图进行特征提取，得到训练线条特征、训练颜色特征及训练形状特征；输入所述训练线条特征、训练颜色特征、训练形状特征、样本转换图片以及样本转换图片对应的样本匹配度至初始转换模型中进行模型训练，得到各所述样本图片类型对应的样本转换模型。
85.需要说明的是，对样本转换草图进行特征提取，得到样本转换草图的样本训练特征，样本训练特征包括训练线条特征、训练颜色特征及训练形状特征，将训练线条特征、训练颜色特征、训练形状特征、样本转换图片及样本转换图片对应的样本匹配度输入至初始转换模型中进行模型训练，从而得到各样本图片类型对应的样本转换模型。
86.步骤s42：输入所述目标转换特征至所述目标转换模型进行图片转换，得到初始转换图片及其对应的图片匹配度。
87.需要说明的是，在得到待转换草图的目标转换特征后，将目标转换特征输入至目标转换模型中进行图片转换，从而得到与待转换草图对应的的多张初始转换图片，并输出各初始转换图片与待转换草图的图片匹配度。
88.步骤s43：对所述图片匹配度进行排名，得到排名结果。
89.需要说明的是，在得到图片匹配度后，对图片匹配度进行排名，得到各初始转换图片对应的图片匹配度的排名结果。
90.步骤s44：获取所述排名结果中排名第一的目标图片匹配度，将所述目标图片匹配度对应的初始转换图片作为目标转换图片。
91.需要说明的是，在得到排名结果后，获取图片匹配度中排名第一的图片匹配度，将
排名第一的图片匹配度作为目标图片匹配度，将目标图片匹配度对应的初始转换图片作为目标转换图片进行图片输出。
92.本实施例通过根据所述目标图片类型确定目标转换模型；输入所述目标转换特征至所述目标转换模型进行图片转换，得到初始转换图片及其对应的图片匹配度；对所述图片匹配度进行排名，得到排名结果；获取所述排名结果中排名第一的目标图片匹配度，将所述目标图片匹配度对应的初始转换图片作为目标转换图片。通过上述方式，基于目标图片类型对应的目标转换模型和目标转换特征进行图片转换，并基于图片匹配度得到最终的目标转换图片，可提升图片转换的准确性和客户满意度。
93.此外，参照图4，本发明实施例还提出一种基于草图的图片转换装置，所述基于草图的图片转换装置包括：
94.获取模块10，用于获取用户的待转换草图和草图转换指令。
95.确定模块20，用于根据所述草图转换指令确定目标图片类型。
96.提取模块30，用于对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征。
97.转换模块40，用于根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片。
98.本实施例通过获取用户的待转换草图和草图转换指令；根据所述草图转换指令确定目标图片类型；对所述待转换草图进行特征提取，得到所述待转换草图的目标转换特征；根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片。通过上述方式，通过用户的待转换草图和草图转换指令确定准确的目标转换特征和目标图片类型，并基于目标图片类型和目标转换特征进行图片转换，从而保证了图片转换的准确性及高效性，并提升了用户体验感受。
99.在一实施例中，所述确定模块20，还用于根据所述草图转换指令确定目标标签；
100.在标签类型映射表中查找所述目标标签对应的图片类型；
101.根据所述目标标签对应的图片类型确定目标图片类型。
102.在一实施例中，所述提取模块30，还用于对所述待转换草图进行线条识别，得到所述待转换草图的线条特征；
103.对所述待转换草图进行颜色识别，得到所述待转换草图的颜色特征；
104.对所述待转换草图进行基础形状识别，得到所述待转换草图的形状特征；
105.根据所述线条特征、颜色特征以及形状特征确定所述待转换草图的目标转换特征。
106.在一实施例中，所述转换模块40，还用于根据所述目标图片类型确定目标转换模型；
107.输入所述目标转换特征至所述目标转换模型进行图片转换，得到初始转换图片及其对应的图片匹配度；
108.对所述图片匹配度进行排名，得到排名结果；
109.获取所述排名结果中排名第一的目标图片匹配度，将所述目标图片匹配度对应的初始转换图片作为目标转换图片。
110.在一实施例中，所述转换模块40，还用于获取各样本图片类型及对应的样本转换
图片；
111.根据所述样本转换图片确定所述样本转换图片对应的样本转换草图；
112.根据所述样本转换图片及对应的样本转换草图对初始转换模型进行模型训练，得到各所述样本图片类型对应的样本转换模型；
113.根据所述目标图片类型、样本图片类型以及各所述样本图片类型对应的样本转换模型确定目标转换模型。
114.在一实施例中，所述转换模块40，还用于对所述样本转换草图进行特征提取，得到训练线条特征、训练颜色特征及训练形状特征；
115.输入所述训练线条特征、训练颜色特征、训练形状特征、样本转换图片以及样本转换图片对应的样本匹配度至初始转换模型中进行模型训练，得到各所述样本图片类型对应的样本转换模型。
116.在一实施例中，所述转换模块40，还用于发送所述目标转换图片至所述用户，并接收所述用户反馈的评价结果；
117.当所述评价结果不为预设评价结果时，返回执行根据所述目标图片类型和所述目标转换特征进行图片转换，得到目标转换图片的步骤。
118.由于本装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
119.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于草图的图片转换程序，所述基于草图的图片转换程序被处理器执行时实现如上文所述的基于草图的图片转换方法的步骤。
120.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
121.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
122.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于草图的图片转换方法，此处不再赘述。
123.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
124.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
125.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方
法。
126.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。