一种图像生成方法及装置、图像中干扰的去除方法、炊具与流程

1.本发明涉及智能炊具技术领域，更为具体来说，本发明能够提供一种图像生成方法及装置、图像中干扰的去除方法、炊具。


背景技术：

2.随着信息社会的发展，网络和信息家电已经越来越多地出现在人们生活中，而这一切发展的根本目标在于为用户提供一个智能、舒适以及便捷的家居环境。其中，智慧厨房是家居智能化和舒适化的重要一环，智能炊具又是智慧厨房的重中之重；有人提出将人工智能技术用于智慧厨房中，以促进智慧厨房的快速发展。但是，由于厨房环境的复杂性，例如油烟、水雾、油渍、水珠等影响，导致人工智能技术所需采集的信息复杂程度较高。特别是图像信息，其受影响最为严重，使得人工智能技术所需的数据集样本数量少且质量差。而且该方式获取样本存在成本较高的问题。特别地，随着用户厨房的长时间使用，厨房环境将会变得更为复杂。


技术实现要素：

3.本发明的主要目的之一在于提供一种图像生成方法及装置、图像中干扰的去除方法、炊具，以解决常规方案中场景图像数据集样本数量不足以及样本获取成本高的问题，达到生成非均匀的有干扰图像、降低投入成本等技术目的。
4.为解决上述的技术问题，本发明能够提供一种图像生成方法，该图像生成方法包括但不限于如下的一个或多个步骤。采集无干扰图像，且无干扰图像为真实场景的图像。对无干扰图像进行网格划分处理，以将该无干扰图像切分成多个第一子图像。从多个第一子图像中选择一定数量第二子图像，并保存剩余的第一子图像。对这些第二子图像进行干扰处理，以生成第三子图像。将第三子图像与剩余的第一子图像组合，以生成有干扰图像。
5.为解决上述的技术问题，本发明能够提供一种图像中干扰的去除方法；该去除方法包括但不限于如下的至少一个步骤。获取无干扰图像，并根据无干扰图像通过本发明实施例中的图像生成方法得到有干扰图像。利用多对有干扰图像和无干扰图像组合形成图像对训练集，并利用该图像对训练集对对抗生成网络模型进行训练。最后使用训练完成的对抗生成网络模型去除待处理图像中的干扰，得到几乎完全接近真实场景的图像。
6.为解决上述的技术问题，本发明能够提供一种图像生成装置；该装置包括但不限于图像采集模块、网格划分模块、子图像选择模块、子图像干扰模块以及子图像组合模块。图像采集模块用于采集无干扰图像，该无干扰图像为真实场景的图像。网格划分模块用于对无干扰图像进行网格划分处理，以将无干扰图像切分成多个第一子图像。子图像选择模块用于从多个第一子图像中选择第二子图像，以及保存剩余的第一子图像。子图像干扰模块用于对第二子图像进行干扰处理，以生成第三子图像；子图像组合模块用于将第三子图像与剩余的第一子图像有序组合起来，以生成有干扰图像。
7.为解决上述的技术问题，本发明还能够提供一种智能炊具，该智能炊具可包括但
不限于本发明实施例中的图像生成装置。
8.为解决上述的技术问题，本发明还能够提供一种计算机存储介质。计算机存储介质上存储有图像生成程序，而且图像生成程序被处理器执行时，实现本发明任一实施例中的图像生成方法。
9.本发明的有益效果为：本发明能够在低成本的前提下产生与无干扰图像对应的大量有干扰图像，整个过程不需要人工干预，为对抗生成网络模型提供用于训练的原始数据集。所以本发明具有智能化程度高、成本低等突出优点。
10.本发明极大地降低了海量图像样本的获取难度，能够产生非均匀干扰的图像，更接近于实际采集的真实场景图像(例如炒菜时的带油烟图像、带水印的洗碗机图像等)，使得应用本发明的智能算法精度会更高。所以本发明能够明显提升模型的泛化性、鲁棒性以及适用性，极大地提升图像处理算法的识别精度，进而为用户提供更好的智慧厨房和智能烹饪的交互体验。
11.基于本发明实施例提供的技术方案，可有效地去除图像中的干扰信息。以炒菜时的烹饪图片为例，本发明能够去除烹饪图片中的油烟干扰；通过洗碗机进行洗碗时，对于采集的图片，本发明能够去除图片中的水渍、泡沫等干扰。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
13.图1示出了本发明实施例中通过无干扰图像生成有干扰图像的方法流程示意图。
14.图2示出了本发明实施例中利用m
×
n个网格对无干扰图像进行网格划分处理的示意图。
15.图3示出了本发明实施例中利用随机分布的方式从m
×
n个第一子图像中筛选出k个第二子图像的示意图。
16.图4示出了本发明实施例中利用连通区域的方式从m
×
n个第一子图像中筛选出k个第二子图像的示意图。
17.图5示出了本发明实施例中利用中心连通区域的方式从m
×
n个第一子图像中筛选出k个第二子图像的示意图。
18.图6示出了本发明实施例中通过网格选取的方式从第一子图像中筛选出第二子图像的算法流程示意图。
19.图7示出了本发明实施例中通过一个无干扰图像生成多对有、无干扰图像对的算法流程示意图。
20.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步地说明。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基
于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.鉴于有干扰和无干扰图像样本集数量少、样本获取成本高等问题，本发明提供了一种图像生成方法及装置、图像中干扰的去除方法、炊具，能够有效地解决常规技术存在的至少一个问题。
23.如图1所示，本发明实施例能够提供一种图像生成方法，该生成方法包括但不限于如下的一个或多个步骤。
24.首先，本发明需采集无干扰图像，无干扰图像为真实场景的图像。无干扰图像在本发明实施例可以是厨房场景下的图像，例如无油烟、无水印的图像，当然并不限于此。
25.本发明实施例中采集无干扰图像过程可包括：提供具有清晰视野的厨房环境，在该环境下没有油烟、水雾、油渍或水珠等图像干扰因素。在厨房环境下开启搭载于炊具上的摄像头，以通过摄像头采集当前真实场景的图像，作为无干扰图像。炊具例如可以是油烟机或洗碗机等，可见本发明能够在油烟机或洗碗机等炊具上部署摄像头，进而利用该摄像头拍摄相应场景的图像(即图片)信息，然后可利用人工智能的方法对图像信息进行处理。
26.可理解的是，本实施例在无任何干扰因素的情况下对厨房场景进行拍摄，能够得到高成像质量的厨房相关的场景图像(即本发明实施例采集的无干扰图像)。
27.如图7所示，本发明能够将多个无干扰图像保存下来，通过保存的无干扰图像构建无干扰数据集。在准备进行无干扰图像处理时，本发明实施例可根据无重复选取方式，从无干扰数据集中获取一个待处理无干扰图像，以用于进行网格(grid)划分处理。可理解的是，本发明实施例能够通过一张无干扰图像得到一张或多张有干扰图像，并通过设置迭代轮次l实现。其中，l为自然数，表示可通过一张无干扰图像产生l张不规则的有干扰图像。本发明实施例不对l具体值进行限定，在本发明基础上可根据实际情况进行合理设置。
28.其次，获取到无干扰图像后，对该无干扰图像进行网格划分处理，以将无干扰图像切分成多个第一子图像，可见本发明实施例能够提供一种基于网格的有干扰图片生成方法。
29.具体地，本发明实施例通过设置三元组自然数(m，n，k)对表示网格划分数量和网格采样数量。其中，m表示网格的行数，n表示网格的列数，k表示要从m
×
n个网格中采样的网格数量，即待确定的第二子图像的数量k。
30.可选地，m用于表示根据图像高度所划分的等间距的行数，n用于表示根据图像宽度所划分的等间距的列数，则划分后得到的网格总数为m
×
n，例如图2中的示意图。
31.再次，从多个第一子图像中选择预设数量第二子图像，并保存剩余的第一子图像。本发明实施例使用网格采样的方式，确定与被采样网格相对应的第一子图像，即实现了第二子图像的选取。
32.其中，m
×
n＝第二子图像预设数量 剩余的第一子图像数量。
33.如图3所示，可选地，从多个第一子图像中选择第二子图像包括：遍历所有第一子图像，即m
×
n个子图像，根据概率分布统计出每个第一子图像的被干扰可能概率；例如，可能被油烟熏到的概率，有水渍的概率等。本实施例中的概率分布包括高斯分布、随机分布中的一种。根据被干扰可能概率从所有第一子图像中筛选出k个第二子图像：具体操作时从m
×
n个网格中选取k个网格，以实现从m
×
n个第一子图像中选择k个作为第二子图像。
34.如图4所示，并可结合图6，本发明实施例从多个第一子图像中选择第二子图像可包括：从m
×
n个网格中随机选择一个网格，即随机选择一个第一子图像作为第二子图像，根据连通区域分析法，从当前第二子图像邻接的第一子图像中继续选择第一子图像，作为新的第二子图像。可选地，本发明实施例根据当前的第二子图像数量返回继续选择新的第二子图像步骤，或结束第二子图像选择步骤。具体地，当前的第二子图像数量小于k时，则继续在当前第二子图像邻接的第一子图像中继续选取判断；当前的第二子图像数量等于或大于k时，则结束子图像的选取步骤，即终止循环。
35.可选地，通过连通区域分析法选取新的第二子图像过程能够包括：获取当前第二子图像邻接的各个第一子图像的像素值，分别计算各个第一子图像与当前第二子图像之间的像素差值；根据像素差值选择相应的第一子图像作为新的第二子图像。例如，将具有最小像素差值的邻接第一子图像作为第二子图像；或者将小于或等于预设像素差值的第一子图像均作为第二子图像。可理解的是，本实施例中两个子图像“邻接”，其含义可理解为两个子图像所在的网格直接相连或者具有公共边。
36.如图5所示，本发明对无干扰图像进行网格划分处理还能够包括：在无干扰图像区域设置奇数行、奇数列的网格，并对无干扰图像进行等距网格划分处理。m为奇数且n为奇数，以保证m
×
n个网格中具有中心网格，该中心网格位置可理解为((m 1)/2，(n 1)/2)，即能够确定与中心网格对应的子图像。则本发明实施例从多个第一子图像中选择第二子图像包括：将位于无干扰图像中心、即((m 1)/2，(n 1)/2)位置的第一子图像作为第二子图像，根据中心连通区域分析法，从当前第二子图像邻接的第一子图像中继续选择新的第二子图像；然后根据当前的第二子图像数量返回继续选择新的第二子图像步骤，或结束第二子图像选择步骤。其中，当前的第二子图像数量小于k时继续在当前第二子图像邻接的第一子图像中继续选取判断；当前的第二子图像数量等于或大于k时，则结束第二子图像选取步骤，即终止循环流程。
37.确定合适数量k的第二子图像后，对第二子图像进行干扰处理，以生成第三子图像。其中，通过在第二子图像上形成或设置干扰信息的方式得到第三子图像，即一个第三子图像与一个第二子图像相对应。
38.由此可见，本发明能够采用概率分布或连通区域分析的方式对网格进行采样，即从第一子图像中挑选出一些子图像作为第二子图像。这些采样方式的结果是非均匀的，即本发明在图像上产生的干扰是非均匀的。与均匀干扰相比，本发明提供的方案更适于厨房环境中的油烟分布干扰、水雾分布干扰或油渍分布干扰等等。因此，本发明最终能够产生几乎接近于真实采集的图像(例如正在炒菜时的烹饪场景图像、通过洗碗机洗碗的场景图片)的有干扰图像。
39.最后，将第三子图像与剩余的第一子图像组合，以生成一或多张有干扰图像。具体地，由于第三子图像、第二子图像、被选择的第一子图像存在一一对应的关系，本发明实施例能够将第三子图像按照原始子图像排列顺序重新合成新的图像，即非均匀的有干扰图像。可见本发明有干扰图像来源于无干扰图像，与无干扰图像对应。而且本发明产生的有干扰图像中的干扰是非均匀的，更接近真实场景中的图片，图片大小与原始无干扰的图片相同。
40.如图7所示，该图像生成方法还包括：与前述迭代轮次l对应，本发明实施例判断根
据当前无干扰图像生成的有干扰图像数量是否达到迭代轮次l；根据未达到迭代轮次l重新选择网格划分参数，返回对当前无干扰图像进行网格划分步骤；网格划分参数包括网格的行数、列数以及待确定的第二子图像数量中的至少一种。根据达到迭代轮次l结束通过当前无干扰图像生成新的有干扰图像过程，即终止循环。
41.与本发明图像生成方法基于相同的技术构思，本发明实施例还能够提供图像生成装置，该生成装置可包括但不限于图像采集模块、网格划分模块、子图像选择模块、子图像干扰模块以及子图像组合模块。
42.图像采集模块用于采集无干扰图像，无干扰图像为真实场景的图像。本发明图像采集模块还可用于通过多个无干扰图像构建无干扰数据集，并能够用于根据无重复选取方式从该无干扰数据集中获取一个无干扰图像。
43.可选地，图像采集模块可用于在具有清晰视野的厨房环境下开启搭载于炊具上的摄像头，进而用于控制摄像头采集当前真实场景的图像，并将采集的图像作为无干扰图像。
44.网格划分模块用于对获取的无干扰图像进行网格划分处理，以将无干扰图像切分成多个第一子图像。
45.子图像选择模块用于从多个第一子图像中选择第二子图像，并保存剩余的第一子图像。
46.可选地，子图像选择模块用于遍历当前无干扰图像的所有第一子图像，并能用于根据概率分布方式统计出每个第一自图像的被干扰可能概率，以及用于根据得到的被干扰可能概率从所有第一子图像中筛选出一个或多个第二子图像。本发明实施例中的概率分布包括高斯分布、随机分布等分布中的一种。
47.可选地，子图像选择模块用于随机选择一个第一子图像作为第二子图像，以及用于在此基础上使用连通区域分析法，从当前选择的第二子图像邻接的第一子图像中继续选择新的第二子图像。子图像选择模块还用于判断当前的第二子图像数量，并根据判断结果小于k继续选择新的第二子图像，或用于根据判断结果等于或大于k结束第二子图像的选择步骤。进一步地，子图像选择模块用于获取当前第二子图像邻接的各个第一子像素的像素值，并用于计算这些子像素的像素值与当前第二子图像像素值的像素差值，且用于根据像素差值小于预设值选择相应的第一子图像作为新的第二子图像。
48.可选地，本发明子图像选择模块用于选择位于无干扰图像中心的第一子图像作为第二子图像，以及在此基础上使用中心连通区域分析法，从当前选择的第二子图像邻接的第一子图像中继续选择新的第二子图像。子图像选择模块还用于判断当前的第二子图像数量，并根据判断结果小于k继续选择新的第二子图像，或用于根据判断结果等于或大于k结束第二子图像的选择步骤。进一步地，子图像选择模块用于获取当前第二子图像邻接的各个第一子像素的像素值，并用于计算这些子像素的像素值与当前第二子图像像素值的像素差值，且用于根据像素差值小于预设值选择相应的第一子图像作为新的第二子图像。可理解的是，本实施例中网格划分模块用于在无干扰图像区域上设置奇数行和奇数列的网格，且用于对无干扰图像进行等距网格划分处理。
49.子图像干扰模块用于对第二子图像进行干扰处理，以生成第三子图像。
50.子图像组合模块用于将第三子图像与剩余的第一子图像组合，以生成有干扰图像。
51.本发明图像生成装置还能够包括迭代判断模块。迭代判断模块用于判断根据当前无干扰图像生成的有干扰图像的数量是否达到预设值；并用于根据未达到迭代轮次l的条件重新选择网格划分参数，且控制网格划分模块使用重新选择的网格划分参数对当前无干扰图像进行网格划分，进而可生成新的有干扰图像。或者，用于根据达到迭代轮次l的条件结束对当前无干扰图像的处理。其中，网格划分参数可包括但不限于网格行数、网格列数、第二子图像数量等。
52.可理解的是，本发明提供的图像生成装置可集成在处理芯片中。该处理芯片能够集成图像的基本操作软件库和多线程处理库，以加快整个图像处理速度。
53.在本发明实施例图像生成方法的基础上，本发明还能够提供一种图像中干扰的去除方法，该方法可包括但不限于如下的至少一个步骤。
54.首先，获取无干扰图像。
55.接着，根据获取的无干扰图像生成有干扰图像；通过本发明任一实施例中的图像生成方法得到有干扰图像。
56.其次，利用相对应的有干扰图像和无干扰图像形成图像对训练集，并且利用图像对训练集训练对抗生成网络模型。图像对训练集由有、无干扰图像对组成，一个图像对包括一张有干扰图像和对应的无干扰图像。
57.最后，使用训练完成的对抗生成网络模型去除待处理图像中的干扰，以得到真实的无干扰图像。
58.将本发明用于人工智能任务中时，本发明能够去除当前采集的图像中的干扰。即使采集的图像中产生大量的油烟、水雾，和/或镜头上附着有油渍、水珠或其他干扰，本发明都能够较好地将其去除，提升产品品质和用户体验。
59.特别地，即使烹饪习惯不同、烹饪环境存在差异，会导致烹饪场景图像(例如油烟图片)不同，本发明实施例仍能够基于有干扰图像训练完成的对抗生成网络模型真实地还原现实的场景。
60.与本发明实施例的图像生成方法基于相同发明构思，本发明还能够提供一种智能炊具，该智能炊具可包括但不限于本发明任一实施例中的图像生成装置。可选地，该智能炊具是一种智能油烟机或者洗碗机等。
61.可见本发明能够提供一种智能油烟机，智能油烟机具有图像生成功能和图像中干扰去除功能。本发明实施例中的智能油烟机上部署有摄像头，以用来获取无干扰图像。本发明能够基于无干扰图像生成多个具有非均匀干扰特征的有干扰图像，进而可构建“有干扰 无干扰”数据集，进而用于对干扰去除模型(对抗生成网络模型)进行高效训练。本发明能够将训练完成的干扰去除模型布置于智能炊具上，例如设置在智能油烟机或洗碗机的处理器中。
62.可选地，本发明实施例能够将摄像头部署在适当的位置，然后不断地将视频和图像数据传输到后端相关系统进行处理。其中，摄像头例如可以设置在油烟机下侧壁板上。
63.可理解的是，本发明实施例还可提供一种计算机存储介质，计算机存储介质上存储有图像生成程序；在图像生成程序被处理器执行时，实现如本发明任一实施例中的图像生成方法。图像生成方法的详细流程如前述内容，此处将不再进行赘述。可见本发明能够提供搭载由处理器和存储器的智能油烟机，该存储器用于存储有干扰图像生成程序，该处理
器用于执行该有干扰图像生成程序。
64.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram，random access memory)，只读存储器(rom，read-only memory)，可擦除可编辑只读存储器(eprom，erasable programmable read-only memory，或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom，compact disc read-only memory)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
65.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga，programmable gate array)，现场可编程门阵列(fpga，field programmable gate array)等。
66.在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
67.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，“多条”的含义是至少两条，例如两条，三条等，除非另有明确具体的限定。
68.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
69.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等
术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
70.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。