用于控制家用器具的方法与流程

1.本技术涉及一种用于根据待由家用器具处理的负载来控制家用器具、特别是洗碗机的方法、一种相关的家用器具、一种相关的计算系统和一种计算机程序产品。


背景技术：

2.从us 2012/0060875 a1已知洗碗机内的负载检测是期望的，因为塑料、金属、玻璃和陶瓷在它们的清洁和干燥行特性方面不同。塑料通常具有的特性是典型的餐具污垢仅相对松散地粘附。然而，与其它类型的餐具相比，塑料的干燥性能较差。相比之下，污垢相对较好地粘附在金属上。玻璃通常只有轻微的污渍，污渍只是相对松散地粘附。如果洗碗机中的餐具由相对容易清洗的材料制成，则可以降低洗涤水的水压和/或温度。类似地，可以设想缩短洗涤程序的运行时间和/或减少施用的洗涤剂和清洁助剂的量，同时仍然保持必要的清洁效果。如果待处理的负载已知，则可以显著提高洗碗机的效率。此外，通过将洗涤程序调整以适于洗碗机中的包括玻璃的负载，可以防止对相对敏感的玻璃的损坏。特别地，可以通过调整洗涤参数来防止离子从玻璃中洗出，这被称为“玻璃腐蚀”。
3.为了检测负载，us 2012/0060875 a1建议在下机架区域布置声音变换器，因为它特别适合检测塑料和/或金属，因为塑料和/或金属通常放置在下机架中而不是放在上机架中。此外，us 2012/0060875 a1的洗碗机配备有用于照亮餐具的至少一个光源和用于图片捕获餐具上发生的光反射的至少一个摄像机。特别是对比度强烈的光反射是专门在玻璃表面上产生的，其中，玻璃主要放置在洗碗机的上机架中。因此，光源和摄像机布置在洗碗机的上机架区域。
4.虽然us 2012/0060875 a1已经取得了一些改进，但是负载的检测仍然相当不精确，特别是关于某些类型的负载在洗碗机内的确切位置。因此，洗碗机的工作程序的调整是相当初级的。


技术实现要素：

5.因此，本技术的目的是提供一种用于根据待由家用器具处理的负载来控制家用器具的改进技术。所述目的通过独立权利要求的主题来解决。实施例由从属权利要求、以下描述和附图来指定。
6.因此，本技术包括一种用于根据待由家用器具处理的负载来控制家用器具的方法，所述方法包括以下步骤。在服务器上接收所述负载的负载图像。处理所述负载图像以生成处理结果。在一个实施例中，基于所述处理结果在所述服务器上确定用来控制所述家用器具的控制数据。然后，将所述控制数据发送到所述家用器具。在另一个实施例中，将所述处理结果发送到所述家用器具，以使所述家用器具能够自行确定所述控制数据。当然，也可以想象，同时将所述处理结果和所述控制数据从所述服务器发送到所述家用器具。可以从广义上理解本公开的上下文中的服务器的概念。当然，它可以实施为云服务或与所述家用器具分开的任何其它形式的分布式计算基础设施。因此，在本公开的上下文中，云服务也可
以理解为服务器。
7.所提出的方法具有不需要在家用器具上提供高性能的中央处理器(cpu)的优点。家用器具可以简单地捕获待由家用器具处理的负载的图像并将其发送到服务器，在服务器中可以执行计算上复杂的操作。这可以降低家用器具的成本，同时提高家用器具对负载的适配精度。
8.在一些实施例中，处理所述负载图像以生成处理结果的步骤包括使用训练过的神经网络来分析所述负载的步骤。所述训练过的神经网络可以是例如深度卷积神经网络、优选地是深度卷积语义分割神经网络。这种网络的一个示例是segnet，如vijay badrinarayanan、alex kendall和roberto cipolla在2017年的ieee transactions on pattern analysis and machine intelligence中的文章“segnet：a deep convolutional encoder-decoder architecture for image segmentation”中所描述的。所述分析可以允许以高精度将所述负载图像分割成存在特定类型负载的各个区域。
9.在一些实施例中，处理所述负载图像以生成处理结果的步骤还包括在分析所述负载之前使用训练过的生成对抗网络(gan：generative adversarial network)、特别是超分辨率生成对抗网络(srgan：super resolution generative adversarial network)来放大所述负载图像的步骤。放大后的负载图像可以被馈送到上述神经网络中，在所述神经网络中可以进行对象检测和分割。srgan的一个示例可以在christian ledig等人于2017年7月发表在ieee计算机视觉和模式识别会议(cvpr)上的文章“photo-realistic single image super-resolution using a generative adversarial network”中找到。如下面将更详细地解释的，如果所述放大将所述负载图像的分辨率提高至2到8倍、优选4到8倍、最优选4到6倍，则可能是特别有利的。gan的使用可以允许使用家用器具上的具有分辨率的摄像机，所述分辨率(没有gan)将不足以允许神经网络对所述负载图像进行有意义的分割。因此，可以在家用器具中使用更便宜的摄像机。此外，家用器具中的图像处理电子设备和连接模块可以具有较低的性能，这进一步节省了成本。
10.处理结果可以根据负载在家用器具内的位置指示负载量，或甚至更好地讲可以指示负载的类型。处理结果可以包括根据负载的类型对负载的分割。例如，处理结果可以是负载的带标签的分割图像，其中，所述标签优选地是指所述负载的类型。所述家用器具可以是洗碗机并且所述负载的类型可以包括例如玻璃、塑料、金属、陶瓷和空置空间。
11.如果所述负载已知，则洗碗机可以根据所述负载精确地调整其清洁和干燥行为。例如，如果所述负载内的塑料量相当高，则可以延长干燥时间。如果所述负载中存在大量玻璃，则可以减少漂洗助剂的使用，并降低温度和水压以避免玻璃腐蚀。可以定位空置空间并且当喷雾臂经过空置空间时，可以相应地调整喷雾臂的速度。由于洗碗机内的喷雾臂的准确角度对于家用器具来说是已知的，因此负载的带标签的分割图像可以允许洗碗机根据当前水喷雾所针对的负载的类型动态地调整水喷雾的水压。这避免了例如塑料碗被翻转或被从机架上推出。
12.因此，在一些实施例中，控制数据可以包括与干燥时间、漂洗时间和喷雾臂的喷雾压力中的至少一个有关的控制命令。如果负载内的塑料量超过塑料阈值，这可能是特别有利的。控制数据还可以包括与温度、喷雾臂的喷雾压力和漂洗助剂的量中的至少一个有关的控制命令，如果负载内的玻璃量超过玻璃阈值，这可能是有利的。此外，控制数据可以包
括用于指示喷雾臂跳过空置空间的控制命令。如果负载内的空置空间量超过间隙阈值，这就特别有价值。
13.从家用器具的角度来看，用于根据待由家用器具处理的负载来控制家用器具的方法可以包括以下步骤。首先，用可以布置在所述家用器具处的摄像机来拍摄待由所述家用器具处理的所述负载的负载图像。之后，将所述负载图像发送到服务器。在一些实施例中，所述家用器具接收从所述负载图像导出的控制数据作为来自服务器的响应。在其它实施例中，所述家用器具从所述服务器接收从所述负载图像导出的处理结果，并基于所述处理结果自行确定控制数据。当然，也可以设想所述家用器具从服务器接收所述处理结果和所述控制数据两者。基于所述控制数据，所述家用器具控制所述家用器具的至少一个工作程序。
14.根据本技术的另一方面，提供了一种用于根据待由家用器具处理的负载来控制家用器具的服务器。所述服务器包括：被配置成能够从所述家用器具接收所述负载的负载图像的接收模块；被配置成能够处理所述负载图像以生成处理结果的处理模块；以及发送模块。在一些实施例中，所述服务器包括被配置成能够基于所述处理结果确定用来控制所述家用器具的控制数据的确定模块，所述发送模块被配置成能够将所述控制数据发送到所述家用器具。在其它实施例中，所述发送模块被配置成能够将所述处理结果发送到所述家用器具，以使所述家用器具能够基于所述处理结果确定用来控制所述家用器具的控制数据。所述发送模块还可以被配置成能够发送所述处理结果和所述控制数据两者。如果服务器确定了所述控制数据，则如果服务器能访问关于家用器具的类型和/或配置的信息是有利的。如果所述家用器具自行确定所述控制数据，则服务器可能没有必要访问所述信息。
15.所述处理模块可以包括训练过的神经网络。如已经描述的，这可以是深度卷积神经网络、优选地是深度卷积语义分割神经网络。此外，所述处理模块可以包括训练过的生成对抗网络、特别是超分辨率生成对抗网络。这可以允许将所述负载图像放大至2到8倍、优选4到8倍、最优选4到6倍。神经网络的计算是复杂的，需要大量的计算能力。因此，将所述处理模块分配给服务器具有可以更快地完成对负载的分析的优点。此外，可以在家用器具中使用更便宜的cpu。
16.根据又一方面，本技术提出了一种家用器具，所述家用器具包括用于拍摄待由家用器具处理的负载的负载图像的摄像机、用于将所述负载图像发送到服务器的发送模块、以及接收模块。所述接收模块可以适于从所述服务器接收从所述负载图像导出的控制数据。替代性地或附加性地，它可以适于从所述服务器接收从所述负载图像导出的处理结果。因此，所述家用器具可以包括用于基于所述处理结果确定控制数据的确定模块。此外，所述家用器具还配备有用于基于所述控制数据控制所述家用器具的至少一个工作程序的控制模块。如已经提到的，所述家用器具可以特别是洗碗机。
17.摄像机可以布置在家用器具的前部处。在一些实施例中，所述家用器具包括用于保持负载的至少一个机架。在这种情况下，所述家用器具可以被配置成能够在所述至少一个机架处于拉出位置时使用摄像机捕获负载的负载图像。因此，所述家用器具可以包括用于检测所述至少一个机架的拉出位置的传感器。在一些实施例中，所述家用器具包括下机架和上机架。优选地，所述机架中的每个的位置可以由相应的传感器来确定。如果在所述上机架处于拉出位置并且所述下机架处于推入位置时拍摄所述上机架的负载图像是有利的。同样，当所述下机架处于拉出位置并且所述上机架处于推入位置时，优选拍摄所述下机架
的负载图像。这提高了在基于相应的负载图像分析负载时的准确性。如已经提到的，由于gan、特别是srgan，可以使用具有低分辨率的廉价摄像机，而不会削弱服务器分析负载的能力。这允许使用提供具有分辨率小于20000像素的负载图像、优选地具有分辨率小于10000像素的负载图像的摄像机。
18.此外，根据另一方面，本技术包括一种系统，所述系统包括所公开的家用器具和所描述的服务器。根据又一方面，本技术提供了一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令使所述计算机执行上述方法。所述计算机程序可以存储在数据载体上或者可以从中央数据存储库下载。
19.已经关于一种方法、一种服务器、一种家用器具、一种系统和一种计算机程序产品描述了本技术。如果没有另外说明，则关于一个权利要求类别公开的特征可以应用于所有其它权利要求类别，反之亦然。
附图说明
20.在下面，将参考附图解释本技术的实施例的进一步细节和相关优点，在这些附图中
21.图1是根据本技术的系统的一个实施例；
22.图2是根据本技术的家用器具的一个实施例处的摄像机的可能布置。
23.图3是由根据图2的摄像机拍摄的两个示例性负载图像；
24.图4是负载图像和所得到的负载的带标签的分割图像的一个示例；
25.图5是如何训练神经网络的一个示例；
26.图6是gan的一个实施例的示意图；
27.图7是如何训练gan的一个示例；
28.图8是gan与神经网络的一个示例性组合；
29.图9是根据本技术的方法的第一实施例；
30.图10是根据本技术的方法的第二实施例；
31.图11是根据本技术的家用器具和服务器的第一实施例；
32.图12是根据本技术的家用器具和服务器的第二实施例；以及
33.图13是根据本技术的服务器的一个实施例的示例性识别精度。
具体实施方式
34.在下面，如果没有特别说明，相似的特征和具有相似功能的特征将用相同的附图标记表示。
35.图1示出了根据本技术的系统的一个实施例。在左侧示出了具有下机架2和上机架3的洗碗机形式的家用器具1的一个实施例。摄像机4能够拍摄机架中的每个的负载图像。摄像机4连接到耦合到通信模块6的cpu 5。负载图像被发送到家中的wifi热点7，wifi热点7经由互联网8将它们转发到被实施为云服务的服务器9，服务器9。服务器9分析负载图像并将结果发送回到家用器具1，家用器具1基于所述结果控制其操作。
36.图2示出了摄像机4在家用器具1处的可能布置。图2a示出了侧视图，而图2b描绘了前视图。摄像机4布置在家用器具1的前部处并且可以具有例如在80
°
至130
°
之间的视场10。
在所示的实施例中，垂直维度上的视场角为89
°
，水平维度上的视场角为122
°
。第一传感器11能够检测下机架的位置，而第二传感器12监测上机架3的位置。这样，可以在适当的情况下触发摄像机4以拍摄负载的图片。
37.图3a示出了由摄像机4拍摄的上机架3的负载图像的一个示例。下机架2的负载图像的一个示例在图3b中示出。
38.图4示出了语义分割的一个示例。在图4a中，示出了示例性负载图像13，在图4b中示出了对应于负载图像13的负载的示例性带标签的分割图像14。负载的可能类型是空的15、塑料16、金属17、玻璃18和陶瓷19。从图4b中可以看出，负载图像13包括3个区域，即装载有金属的第一区域20、装载有陶瓷的第二区域21和空的第三区域22。
39.图5示出了如何用已经被人类正确分割(正确分割25)的高分辨率图像24来训练深度卷积语义分割神经网络23的一个示例。高分辨率图像24被馈送到神经网络23，所述神经网络23递送成估计的分割26的形式的结果。将估计的分割26与正确的分割25进行比较，并且根据成本函数评估偏差。这意味着计算了损失27。如现有技术中众所周知的，损失被用于使用反向传播来调整神经网络23的权重和偏差。
40.图6示出了gan如何工作的基本原理，这在现有技术中是众所周知的。首先用高分辨率图像29训练鉴别器28(其是一个神经网络)。当鉴别器被充分训练时，gan 30将低分辨率图像31作为输入，并尝试生成对于鉴别器28而言无法与高分辨率图像29区分的超分辨率图像32(即放大的图像)。计算了损失33，其被用于调整gan 30的权重和偏差。
41.在图7所示的实施例中，通过缩小34从高分辨率图像24生成低分辨率图像31以用于训练目的。低分辨率图像31随后由gan 30放大并且计算原始高分辨率图像24与由gan 30放大的图像之间的损失以训练gan 30。这样，gan 30学习了从低分辨率负载图像生成逼真的高分辨率负载图像。
42.图8示出了如何训练根据本技术的处理模块的一个实施例。一旦gan 30已经被充分训练，则gan 30的权重和偏差被固定，即gan的训练完成。低分辨率图像31被馈送到gan 30，所述gan 30放大图像并将它们馈送到深度卷积语义分割神经网络23，深度卷积语义分割神经网络23输出估计的分割26。将估计的分割26与正确的分割25进行比较以计算损失27，所述损失27被用于微调神经网络23的权重和偏差。
43.图9示出了根据本技术的方法的第一实施例。在家用器具1上执行的步骤显示在左侧，而在服务器9上执行的步骤位于右侧。在第一步骤s1中，用摄像机4拍摄负载的负载图像13。然后，在步骤s2中将负载图像13发送到服务器9。在步骤s3中，在服务器9上接收负载图像13，其中，在服务器9处在步骤s4中使用训练过的gan 30对负载图像13进行放大。放大的负载图像被馈送到神经网络23，所述神经网络23在步骤s5中分析负载图像。基于神经网络的处理结果、例如负载14的带标签的分割图像，在步骤s6中确定用来控制家用器具的控制数据。在步骤s7中将控制数据发送到家用器具，在步骤s8中在所述家用器具中接收所述控制数据。在步骤s12中，家用器具基于控制数据控制家用器具的至少一个工作程序。
44.图10示出了根据本技术的方法的第二实施例。同样，在家用器具1上执行的步骤位于左侧，而在服务器9上执行的步骤在右侧描绘。步骤s1至s5与第一实施例中的相同。然而，在第二实施例中缺少步骤s6。取而代之的是，在步骤s9中，将处理结果发送到家用器具，在步骤s10中在所述家用器具中接收所述处理结果。在步骤s11中，家用器具根据处理结果自
行确定控制数据，随后在步骤s12中使用所述控制数据来控制家用器具的至少一个工作程序。与第二实施例相比，第一实施例的缺点在于服务器可能需要关于家用器具的类型和配置的知识，才能够确定合理的控制数据。然而，它的优点在于控制数据的确定可以由服务器上的与家用器具的cpu相比性能更高的cpu来执行。
45.图11示出了根据本技术的家用器具1的第一实施例和根据本技术的服务器9的第一实施例。家用器具1的第一实施例包括用于拍摄待由家用器具1处理的负载的负载图像的摄像机4。此外，家用器具1具有用于将负载图像发送到服务器的发送模块40和适于从第一实施例中的服务器接收从负载图像导出的控制数据的接收模块41。附加地，家用器具1包括用于基于控制数据控制家用器具的至少一个工作程序的控制模块42。服务器9的第一实施例包括：被配置成能够从家用器具1接收负载的负载图像的接收模块50；以及被配置成能够处理负载图像以生成处理结果的处理模块51。处理模块51配备有gan 30和神经网络23。附加地，服务器9包括被配置成能够基于处理结果来确定用来控制家用器具的控制数据的确定模块52和被配置成能够将控制数据发送到家用器具1的发送模块53。
46.图12示出了根据本技术的家用器具1的第二实施例和根据本技术的服务器9的第二实施例。家用器具的第一实施例与第二实施例的主要区别在于，家用器具1的第二实施例附加地包括用于基于处理结果确定控制数据的确定模块43。与服务器9的第一实施例相比，服务器9的第二实施例不包括确定模块52，取而代之的是，服务器9的第二实施例的发送模块53被配置成能够将处理结果发送到家用器具1，以使家用器具能够基于处理结果来自行确定用来控制家用器具的控制数据。
47.下表示出了本技术可以实现的重要优点：
[0048][0049]
在第一行中，给出了由处理模块处理的图像的分辨率。最高分辨率为640x480像素，这使得总像素数为307200(见第二行)。如果将此分辨率缩小为2分之一，则两个维度均除以2，得到320x240的分辨率(见第三列)，这使得总像素数为76800(即307200的四分之一)。在第三行中，示出了由处理模块执行的语义图像分割的识别精度，如果具有第一行中提到的分辨率的图像在其被馈送到神经网络之前被馈送到gan中，在gan中该图像被上采样到640x480，则产生该结果。在第四行中示出了如果将具有第一行中提到的分辨率的图像直
接馈送到神经网络中，而之前不使用gan，则产生的语义图像分割的识别精度。
[0050]
从第三行中可以看出，当从1的缩小因子变为6的缩小因子时，如果使用gan对图像进行上采样，则语义图像分割的识别精度仅从83％略微下降到75％。如果不使用gan，则退化更加严重，从83％下降到48％。对于非生命威胁的应用的洗碗机，可以接受75％到80％之间的识别精度。这允许在洗碗机上使用分辨率较低的摄像机，这当然要便宜得多。因此，在服务器侧使用gan可以节省家用器具侧的硬件成本，而不会显著削弱识别精度。
[0051]
图13试图以图形方式可视化这种相关性。当识别精度绘制在纵轴上时，缩小因子在横轴上画出。虚线60涉及不使用gan时的识别精度，实线61示出使用gan时的识别精度。技术人员立即明白，在缩小因子为16时，两种方法都会使得结果不足，但特别是在缩小因子为4至8之间时，使用gan的方法比没有使用gan的方法产生显著更好的结果。
[0052]
上述本技术尤其可以具有以下优点：将负载图像发送到服务器允许使用服务器的高计算能力，这特别允许使用神经网络来进行对象识别和图像分割。这样，就可以特别好地识别待由家用器具处理的负载，使得家用器具可以根据负载非常精确地调整其操作。由于使用了gan，家用器具的摄像机硬件的总成本可以保持在最小。高速图像采集可能是可能的，因为随着分辨率的降低，摄像机可能能够以更高的速度拍摄图片。这可能会降低动态拍摄的图片的模糊度，特别是当洗碗机的机架被推入时。在低光条件下的性能可能会得到改善(当在厨房里是昏暗的时)。此外，还可以提高信噪比。在洗碗机处可能需要较少的数据处理，并且需要发送到服务器的数据量可能较低，这进一步降低了成本。
[0053]
关于附图的描述将以说明性的方式解释，而不是以限制性的意义解释。可以在不背离如所附权利要求中阐述的本技术的范围的情况下对所描述的实施例进行许多修改。
[0054]
附图标记列表
[0055]
1 家用器具
[0056]
2 下机架
[0057]
3 上机架
[0058]
4 摄像机
[0059]
5 cpu
[0060]
6 通信模块
[0061]
7 wifi热点
[0062]
8 互联网
[0063]
9 服务器
[0064]
10 视场
[0065]
11 传感器
[0066]
12 传感器
[0067]
13 负载图像
[0068]
14 负载的带标签的分割图像
[0069]
15 空的
[0070]
16 塑料
[0071]
17 金属
[0072]
18 玻璃
[0073]
19 陶瓷
[0074]
20 带金属的第一区域
[0075]
21 带陶瓷的第二区域
[0076]
22 空的第三区域
[0077]
23 神经网络
[0078]
24 高分辨率图像
[0079]
25 正确的分割
[0080]
26 估计的分割
[0081]
27 损失
[0082]
28 鉴别器
[0083]
29 高分辨率图像
[0084]
30 gan
[0085]
31 低分辨率图像
[0086]
32 超分辨率图像(放大的图像)
[0087]
33 损失
[0088]
34 缩小
[0089]
35 损失
[0090]
40 发送模块
[0091]
41 接收模块
[0092]
42 控制模块
[0093]
43 确定模块
[0094]
50 接收模块
[0095]
51 处理模块
[0096]
52 确定模块
[0097]
53 发送模块
[0098]
60 不使用gan的识别精度
[0099]
61 使用gan的识别精度
[0100]
s1 拍摄负载图像
[0101]
s2 发送负载图像
[0102]
s3 接收负载图像
[0103]
s4 放大负载图像
[0104]
s5 使用神经网络分析负载
[0105]
s6 确定控制数据
[0106]
s7 发送控制数据
[0107]
s8 接收控制数据
[0108]
s9 发送处理结果
[0109]
s10 接收处理结果
[0110]
s11 确定控制数据
[0111]
s12 控制家用器具的至少一个工作程序