衣物展示方法和装置、电子设备、计算机可读存储介质与流程

1.本发明涉及家用电器技术领域，尤其涉及一种衣物展示方法、一种衣物展示装置、一种电子设备和一种计算机可读存储介质。


背景技术：

2.目前家电产品的智能化和互联化趋势发展迅速，很多家电都被赋予了“智能”功能，很多人工智能算法都嵌入到家电中，洗衣机亦不例外。但现在市面上的智能产品很多只是有“智能”标签，无法让用户真实感受智能化的效果；此外，智能化功能缺少和用户的交互，智能化功能得不到升级，不能满足人们的高质量生活需求。


技术实现要素：

3.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种衣物展示方法，通过获取图像中每个像素点存在衣物的概率值生成热力图，并与图像生成显性化图像进行展示，使用户可以直接感受算法效果，实现与用户的交互。
4.本发明的第二个目的在于提出一种衣物展示装置。
5.本发明的第三个目的在于提出一种电子设备。
6.本发明的第四个目的在于提出一种计算机可读存储介质。
7.为达到上述目的，本发明第一方面实施例提出了一种衣物展示方法，应用于衣物处理设备中，所述方法包括：获取所述衣物处理设备的洗衣筒内衣物的图像；对所述图像进行处理，以获取所述图像中每个像素点存在衣物的概率值；根据每个像素点存在衣物的概率值生成热力图；根据所述热力图和所述图像生成显性化图像，并控制所述衣物处理设备对所述显性化图像进行展示。
8.根据本发明实施例的衣物展示方法，首先获取衣物处理设备的洗衣筒内衣物的图像，通过对图像进行处理获取图像中每个像素点存在衣物的概率值，然后，根据每个像素点存在衣物的概率值生成热力图，根据热力图和图像生成显性化图像，并控制衣物处理设备对显性化图像进行展示。由此，该方法通过获取图像中每个像素点存在衣物的概率值生成热力图，并与图像生成显性化图像进行展示，使用户可以直接感受算法效果，实现与用户的交互。
9.另外，根据本发明上述实施例的衣物展示方法，还可以具有如下的附加技术特征：
10.根据本发明的一个实施例，根据所述热力图和所述图像生成显性化图像，包括：将所述热力图叠加在所述图像上，以生成所述显性化图像。
11.根据本发明的一个实施例，根据每个像素点存在衣物的概率值生成热力图，包括：获取每个像素点存在衣物的概率值所对应的显示颜色；根据获取的不同显示颜色生成所述热力图。
12.根据本发明的一个实施例，对所述图像进行处理，以获取所述图像中每个像素点
存在衣物的概率值，包括：采用深度卷积神经网络对所述图像进行分割预测，以获取所述图像中每个像素点衣物存在的概率值。
13.根据本发明的一个实施例，采用深度卷积神经网络对所述图像进行分割预测，包括：通过所述深度卷积神经网络中的下卷积模块对所述图像进行处理，以获取所述衣物的特征；通过所述深度卷积神经网络中的上卷积模块对所述衣物的特征进行处理，以获取所述图像中每个像素点存在衣物的概率值。
14.根据本发明的一个实施例，上述的衣物展示方法还包括：获取所述概率值大于第一预设值的像素点数量；根据所述像素点数量和所述图像中像素点总数量确定所述衣物在洗衣筒内的体积占比；根据所述体积占比获取洗涤水位，并根据所述洗涤水位对所述衣物处理设备进行控制。
15.根据本发明的一个实施例，上述的衣物展示方法还包括：确定接收到用户对所述显性化图像的确认指令，或者，在第一预设时间内未接收到用户的确认指令，则获取所述衣物在洗衣筒内的体积占比。
16.为达到上述目的，本发明第二方面实施例提出了一种衣物展示装置，应用于衣物处理设备中，所述装置包括：获取模块，用于获取所述衣物处理设备的洗衣筒内衣物的图像；图像处理模块，用于对所述图像进行处理，以获取所述图像中每个像素点存在衣物的概率值；生成模块，用于根据每个像素点存在衣物的概率值生成热力图；展示控制模块，用于根据所述热力图和所述图像生成显性化图像，并控制所述衣物处理设备对所述显性化图像进行展示。
17.根据本发明实施例的衣物展示装置，通过获取模块获取衣物处理设备的洗衣筒内衣物的图像，并通过图像处理模块对图像进行处理，以获取图像中每个像素点存在衣物的概率值，以及通过生成模块根据每个像素点存在衣物的概率值生成热力图，展示控制模块根据热力图和图像生成显性化图像，并控制衣物处理设备对显性化图像进行展示。由此，该装置通过获取图像中每个像素点存在衣物的概率值生成热力图，并与图像生成显性化图像进行展示，使用户可以直接感受算法效果，实现与用户的交互。
18.为达到上述目的，本发明第三方面实施例提出的一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的衣物展示程序，所述处理器执行所述衣物展示程序时，实现上述的衣物展示方法。
19.根据本发明实施例的电子设备，通过处理器执行衣物展示程序，实现上述衣物展示方法，通过对显性化图像进行展示，可以使用户可以直接感受算法效果，实现与用户的交互。
20.为达到上述目的，本发明第四方面实施例提出的一种计算机可读存储介质，其上存储有衣物展示程序，该衣物展示程序被处理器执行时实现上述衣物展示方法。
21.根据本发明实施例的计算机可读存储介质，通过执行衣物展示程序实现上述的衣物展示方法，通过对显性化图像进行展示，可以使用户可以直接感受算法效果，实现与用户的交互。
22.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
23.图1为根据本发明实施例的衣物展示方法的流程图；
24.图2为根据本发明一个实施例的衣物展示方法的显性化展示洗衣机的示意图；
25.图3为根据本发明实施例的衣物展示装置的方框图；
26.图4为根据本发明实施例的电子设备的方框图。
具体实施方式
27.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
28.下面参考附图描述本发明实施例提出的衣物展示方法、衣物展示装置、电子设备和计算机可读存储介质。
29.图1为根据本发明实施例的衣物展示方法的流程图。在本发明的一个实施例中，该衣物展示方法可应用于衣物处理设备中，以便于用户能够在衣物处理设备的显示屏上直观的查看洗衣筒内衣物的状态和位置。其中，衣物处理设备可以为波轮式洗衣机、滚筒式洗衣机、搅拌式洗衣机、喷流式洗衣机、烘干一体机、干衣机等具有显示屏的设备。
30.如图1所示，本发明实施例的衣物展示方法，可包括以下步骤：
31.s1，获取衣物处理设备的洗衣筒内衣物的图像。
32.具体而言，以衣物处理设备为滚筒式洗衣机为例进行举例说明，如图2所示，该滚筒式洗衣机100为侧边开门式结构，其洗衣机机门110位于滚筒式洗衣机100的一侧，且洗衣机机门110的形状设置为与滚筒式洗衣机100的洗衣筒相适配的圆形。滚筒式洗衣机100于设置洗衣机机门110的同侧上方设置为触屏显示和控制区域130，用户可通过该触屏显示和控制区域130对洗衣机的运行程序进行选择控制。洗衣机机门110的中部安装有摄像头120，并利用摄像头120对洗衣筒内的衣物进行拍摄采集。在具体应用过程中，用户将衣物投放于洗衣筒内，并将洗衣机机门110进行关闭，并对触屏显示和控制区域130内的启动按钮进行开启，则摄像头120接收到触发信号，然后对洗衣筒内进行拍摄，获取到处于洗衣筒内的衣物的图像。上述摄像头120的拍摄动作可通过衣物处理设备的启动上电信号进行触发。而用户再次进行衣物投放时，通过洗衣机机门110的关闭进行对摄像头120拍摄动作的再次触发，即对洗衣筒内衣物进行再次拍摄，形成新的图像，此时，将最新获取的图像作为后续需要处理的图像。
33.需要说明的是，上述摄像头120的安装位置仅为本发明的一种实施例的具体实现方式。在保证对洗衣机筒内图像进行有效采集的前提下，可根据洗衣机的结构选择最佳安装位置。如：波轮式洗衣机的洗衣机机门在上面，因此可将摄像头安装于波轮式洗衣机的上方，即洗衣机机门上。此外，摄像头的安装位置以及自身参数对于获取洗衣筒内衣物的图像质量具有至关重要的影响，因此在进行摄像头选择时，应根据洗衣机的要求进行选择装配。
34.s2，对图像进行处理，以获取图像中每个像素点存在衣物的概率值。
35.根据本发明的一个实施例，对图像进行处理，以获取图像中每个像素点存在衣物的概率值，还包括：采用深度卷积神经网络对图像进行分割预测，以获取图像中每个像素点衣物存在的概率值。
36.进一步地，根据本发明的一个实施例，采用深度卷积神经网络对图像进行分割预测，包括：通过深度卷积神经网络中的下卷积模块对图像进行处理，以获取衣物的特征；通过深度卷积神经网络中的上卷积模块对衣物的特征进行处理，以获取图像中每个像素点存在衣物的概率值。
37.具体而言，上述摄像头拍摄的图像以照片加密的方式上传至服务器端，以保证个人隐私安全。当服务器端接收到图像时，通过深卷积神经网络的方式对图像进行处理，进而使其在图像的特征值的基础上进行计算。深卷积神经网络通过下卷积模块对服务器端接收到的图像采用空洞卷积的方式进行处理。空洞卷积特征抓取技术，提高衣物位置和体积的识别准确率，使其空筒识别准确率达到100％，小衣物的识别准确率达到98％。例如，洗衣筒内进行一件衣物投放，摄像头拍摄到的图像为具有一件衣物的洗衣筒，其中，为保证摄像头对洗衣筒内图像的有效拍摄，不可避免的会对洗衣筒内壁进行图像采集，而当衣物放置较少时，对洗衣筒的覆盖面积也会减少，相对的摄像头采集的图像中洗衣筒内壁图像面积也会增大。下卷积模块在对图像进行处理时，根据预先设定的模型，对图像进行训练，可以得到衣物的特征信息，包括材质信息。上卷积模块对下卷积模块所提取的衣物特征进行处理，可以获取图像中每个像素点存在衣物的概率值。
38.s3，根据每个像素点存在衣物的概率值生成热力图。
39.根据本发明的一个实施例，根据每个像素点存在衣物的概率值生成热力图，包括：根据获取的不同显示颜色生成热力图。其中，显示颜色与概率值的对应关系可进行预先设定，例如，概率值越大，颜色越深，概率值越小，颜色越浅。
40.具体而言，在通过上述实施例获取到图像中每个像素点存在衣物的概率值之后，根据概率值与显示颜色的对应关系，通过深度卷积神经网络生成热力图。其中，概率值在一定的区间内时，对应一种显示颜色，可按照红橙黄绿青蓝紫的顺序，依次对应概率值从大到小，例如，当概率值在[0.8，1]之间时，对应的显示颜色为红色，当概率值在[0,0.2]之间时，对应的显示颜色为紫色。根据上述设定的显示颜色与像素点处衣物存在概率值的关系确定显示颜色，从而生成相对应的热力图。
[0041]
需要说明的是，上述显示颜色与衣物存在概率值的对应关系仅为对本发明一个实施例的具体说明，为保证热力图显像精度，可进行多个显示颜色的设定，进而精化衣物存在概率值与显示颜色的关系。
[0042]
s4，根据热力图和图像生成显性化图像，并控制衣物处理设备对显性化图像进行展示。
[0043]
在本发明的一个实施例中，根据热力图和图像生成显性化图像，包括：将热力图叠加在图像上，以生成显性化图像。
[0044]
具体而言，上述根据显示颜色与衣物存在概率值的对应关系获取的热力图叠加在原摄像头采集到的洗衣筒内衣物的图像上，实现将数据处理后的热力图结果与相对应的图像进行叠加，以获取相对应的显性化图像，并通过洗衣机的触屏显示和控制区域内的显示屏进行显性化图像的显示，用户可通过该区域对显性化图像进行查看，从而让人工智能算法具有一个显性化效果，用户可以直接感受算法效果，知晓衣物在洗衣机筒内的位置。
[0045]
根据本发明的一个实施例，该衣物展示方法，还包括：确定接收到用户对显性化图像的确认指令，或者，在第一预设时间内未接收到用户的确认指令，则获取衣物在洗衣筒内
的体积占比。其中，第一预设时间可根据实际应用进行设定，例如，第一预设时间可以为10s。
[0046]
具体而言，通过洗衣机的触屏显示对上述显性化图像的展示，以便用户查看显性化图像，并判断显性化图像是否有异议，即获取的显性化图像与原始衣物图像的重叠度是否满足要求。当用户对显性化图像没有异议时，可通过触屏显示中的触控按键发送确认指令；当用户对显性化图像有异议时，可通过触屏显示中的触控按键发送取消指令，此时重新获取洗衣筒内衣物的图像，并对衣物图像进行上述操作，生成显性化图像。当对于用户所输出的有异议的显性化图像，服务器端会对用户有异议的显性化图像进行标记，并在预设周期内对进行标记的显性化图像进行统一整理，并基于上述显性化图像对深度卷积模型进行优化和性能提升。
[0047]
服务器接收到用户的确认指令，或者第一预设时间(如10s)内未接收到用户的反馈信息时，均认为用户对该显性化图像无异议，此时根据衣物存在概率值确定衣物在洗衣筒内的体积占比，进一步确定洗涤水位。
[0048]
为提升数据计算结果的准确性，在整个衣物识别过程中，摄像头将拍摄多张洗衣机筒内衣物的图像，并通过上述操作输出多张显性化图像，用户可选择最佳显性化图像，并根据该显性化图像对应的体积占比确定洗涤水位，并进行洗涤操作。而当第一预设时间倒计时结束无反应时，可选择位于第一位的显性化图像作为后续的洗涤水位确定基础。而当对上述显性化图像均存在异议，则重复上述图像拍摄和识别过程。
[0049]
根据本发明的一个实施例，上述衣物展示方法，还可包括：获取概率值大于第一预设值的像素点数量；根据像素点数量和图像中像素点总数量确定衣物在洗衣筒内的体积占比；根据体积占比获取洗涤水位，并根据洗涤水位对衣物处理设备进行控制。其中，第一预设值可根据实际应用进行预先设定，例如，第一预设值可以为0.8。
[0050]
具体而言，上述概率值的设置可为0至1之间，其中，0表示无衣物存在，1表示有衣物存在，0
‑
1之间的值记为存在的概率值，例如，当概率值为0.8时，认为存在衣物的可能性很大；当概率值为0.2时，认为衣物存在的可能性很小，即概率值越靠近1，衣物存在的可能性越大，越靠近0，衣物存在的可能性越小。采用深度卷积神经网络对衣物图像中的每个像素点进行0至1之间的概率值确定之后，结合设定概率值，来确定衣物是否存在。其中，当概率值大于0.8时，认定为该像素点有衣物存在；当像素点对应的概率值小于等于0.8时，认定为该像素点无衣物存在。
[0051]
假设，上述摄像头采集的图像中的所有像素点总数为n，获取概率值大于0.8(第一预设值)的像素点的总数，记为n，那么衣物在洗衣机筒内的体积占比即为n/n。系统中可预先进行体积占比与洗涤水位对应关系表格或计算公式，形成数据库。当获得体积占比时，调用数据库中的体积占比与洗涤水位对应关系，找到对应的洗涤水位，然后根据该洗涤水位对衣物处理设备中的进水口进行控制，从而实现根据衣物体积占比对洗涤水位的精度控制。
[0052]
需要说明的是，上述衣物与洗衣筒内的体积占比的确认方式仅为本发明一个实施例，即依据一个摄像头安装于洗衣机机门中部的结构前提下进行的具体说明。为了提高体积占比的计算精度，可通过安装多个摄像头的方式，提高图像中每个像素点存在衣物的概率值的精度值，进而提高体积占比的计算精度。
[0053]
另外，上述的方式是将采集的衣物图像发送至云端服务器，通过云端服务器进行一系列的处理，生成显性化图像和获得衣物处理设备的洗涤水位。当然还可以通过衣物处理设备自身的控制芯片生成显性化图像和获得衣物处理设备的洗涤水位。
[0054]
综上，该衣物展示方法，通过基于洗衣机内置摄像头拍摄洗衣筒内图像，并采用加密方式将图像上传至服务器，在服务器中采用深度卷积神经网络对图像中的特征值进行提取，保证衣物位置和体积的识别准确率，并对图像中每个像素点衣物存在概率进行预测，然后将预测结果采用热力图的方式进行输出，进一步将热力图与初始的图像合成显性化图像，最终将显性化图像传至洗衣机端，通过洗衣机的触摸显示和控制区域进行展示，使人工智能算法具有一个显性化效果，用户可以直接感受算法效果，并对结果进行交互和反馈。若用户对该显性化图像没有异议或在第一预设时间内没有回应，统计和计算衣物存在概率大于第一预设值的像素点总数，将像素点总数除以洗衣机筒的像素点数量，获得衣物在筒内的体积占比，并根据该体积占比推荐洗涤水位。若用户对该显性化图像有异议，则重新进行图像拍摄和识别过程。此外，对于用户有异议的图像，服务器端会定期进行整理，基于这些图像对模型进行优化和性能提升，提升智能化功能与用户的交互，实现智能化功能的升级。
[0055]
综上所述，根据本发明实施例的衣物展示方法，通过获取图像中每个像素点存在衣物的概率值生成热力图，并与图像生成显性化图像进行展示，使用户可以直接感受算法效果，实现与用户的交互。
[0056]
对应上述实施例，本发明还提出了一种衣物展示装置。
[0057]
图3为根据本发明实施例的衣物展示装置的方框图。在本发明的一个实施例中，该衣物展示装置可应用于衣物处理设备中，以便于用户能够在衣物处理设备的显示屏上直观的查看洗衣筒内衣物的状态和位置其中，衣物处理设备可以为波轮式洗衣机、滚筒式洗衣机、搅拌式洗衣机、喷流式洗衣机、烘干一体机等具有显示屏的设备。
[0058]
如图3所示，该衣物展示装置，可包括：获取模块10、图像处理模块20、生成模块30和展示控制模块40。
[0059]
其中，获取模块10用于获取衣物处理设备的洗衣筒内衣物的图像。图像处理模块20用于对图像进行处理，以获取图像中每个像素点存在衣物的概率值。生成模块30用于根据每个像素点存在衣物的概率值生成热力图。展示控制模块40用于根据热力图和图像生成显性化图像，并控制衣物处理设备对显性化图像进行展示。
[0060]
根据本发明的一个实施例，展示控制模块40根据热力图和图像生成显性化图像，具体用于：将热力图叠加在图像上，以生成显性化图像。
[0061]
根据本发明的一个实施例，展示控制模块30根据每个像素点存在衣物的概率值生成热力图，具体用于：根据获取的不同显示颜色生成热力图。
[0062]
根据本发明的一个实施例，图像处理模块20对图像进行处理，以获取图像中每个像素点存在衣物的概率值，具体用于：采用深度卷积神经网络对图像进行分割预测，以获取图像中每个像素点衣物存在的概率值。
[0063]
根据本发明的一个实施例，图像处理模块20采用深度卷积神经网络对图像进行分割预测，具体用于：通过深度卷积神经网络中的下卷积模块对图像进行处理，以获取衣物的特征；通过深度卷积神经网络中的上卷积模块对衣物的特征进行处理，以获取图像中每个像素点存在衣物的概率值。
[0064]
根据本发明的一个实施例，图像处理模块20具体用于：获取概率值大于第一预设值的像素点数量；根据像素点数量和图像中像素点总数量确定衣物在洗衣筒内的体积占比；根据体积占比获取洗涤水位，并根据洗涤水位对衣物处理设备进行控制。
[0065]
根据本发明的一个实施例，展示控制模块40还用于：确定接收到用户对所述显性化图像的确认指令，或者，在第一预设时间内未接收到用户的确认指令，则获取衣物在洗衣筒内的体积占比。
[0066]
需要说明的是，本发明实施例的衣物展示装置中未披露的细节，请参照本发明上述实施例的衣物展示方法中所披露的细节，具体这里不再赘述。
[0067]
根据本发明的衣物展示装置，通过获取图像中每个像素点存在衣物的概率值生成热力图，并与图像生成显性化图像进行展示，使用户可以直接感受算法效果，实现与用户的交互。
[0068]
对应上述实施例，本发明还提出了一种电子设备200。
[0069]
如图4所示，电子设备200可包括：存储器210、处理器220及存储在存储器210上并可在处理器220上运行的衣物展示程序，处理器220执行衣物展示程序时，实现上述的衣物展示方法。
[0070]
根据本发明实施例的电子设备，通过处理器执行衣物展示程序，实现上述衣物展示方法，可以使用户可以直接感受算法效果，实现与用户的交互。
[0071]
对应上述实施例，本发明还提出了一种计算机可读存储介质，其上存储有衣物展示程序，该衣物展示程序被处理器执行时实现上述的衣物展示方法。
[0072]
根据本发明实施例的计算机可读存储介质，通过执行衣物展示程序实现上述衣物展示方法，可以使用户可以直接感受算法效果，实现与用户的交互。
[0073]
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0074]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场
可编程门阵列(fpga)等。
[0075]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
[0076]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。