食材的监控方法、装置、存储介质以及处理器与流程

1.本技术涉及食材监控领域，具体而言，涉及一种食材的监控方法、装置、存储介质以及处理器。


背景技术：

2.相关技术中，当人们利用冰箱存放食物时，尤其当存放时间较长，食物可能发生变质，这时往往只能依靠人工的方式进行辨别，例如通过肉眼识别，或者通过闻气体的方式确认目标食材有没有变质，即相关技术中，缺乏一种自控监控目标食材的机制，缺少有目标食材监控功能，往往得等到目标食材已经腐烂变质后，才能确定目标食材发生了变质，这样可能会在冰箱中滋生大量的细菌影响冰箱的正常使用，也又可能影响其他未变质的目标食材，且有可能对用户的身体健康带来不良影响。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种食材的监控方法、装置、存储介质以及处理器，以至少解决由于相关技术中往往只能依靠人工的方式对变质的食材进行识别造成的影响冰箱的正常使用、引起其他食材腐烂变质，以及对用户健康带来不良影响的技术问题。
5.根据本技术实施例的一个方面，提供了一种食材的监控方法，方法应用于冰箱中，包括：向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；根据探测数据确定超声波在目标食材内的目标衰减系数；至少根据目标衰减系数确定目标食材是否发生变质。
6.可选地，根据探测数据确定超声波在目标食材内的目标衰减系数，包括：确定探测数据中第一回波的第一振幅、第二回波的第二振幅以及超声波在目标食材内沿着探测方向的传输距离，其中，第一回波与第二回波为两次相邻的回波信号；根据第一振幅、与第二振幅以及传输距离确定目标衰减系数。
7.可选地，至少根据目标衰减系数确定目标食材是否发生变质，包括：确定目标食材的目标类型；调取目标类型的食材对应的多个衰减系数区间，其中，多个衰减系数区间指示的目标类型的食材的变质等级不同；将目标衰减系数与多个衰减系数区间进行匹配，根据匹配结果确定目标食材是否发生变质。
8.可选地，将目标衰减系数与多个衰减系数区间进行匹配，根据匹配结果确定目标食材是否发生变质，包括：确定目标衰减系数所属于的目标衰减系数区间，其中，多个衰减系数区间包括：目标衰减系数区间；确定目标衰减系数区间对应的变质等级为目标食材的目标变质等级；在目标变质等级大于预设等级的情况下，确定目标食材变质。
9.可选地，至少根据目标衰减系数确定目标食材是否发生变质，方法还包括：获取目标食材的目标图像；基于目标图像确定目标食材的目标类型；确定目标图像与样本图像的
图像相似度，其中，样本图像为目标类型的食材变质后的样本图像；根据图像相似度与目标衰减系数确定目标食材是否发生变质。
10.可选地，根据图像相似度与目标衰减系数确定目标食材是否发生变质，包括：获取相似度对应的第一权重值；获取目标衰减系数对应的第二权重值；根据图像相似度、第一权重值、目标衰减系数以及第二权重值确定目标食材的目标变质等级；在目标变质等级大于预设等级的情况下，确定目标食材变质。
11.可选地，目标图像至少包括：目标形状以及目标颜色；样本图像至少包括：样本形状以及样本颜色，确定目标图像与样本图像的图像相似度，包括：确定目标形状与样本形状的形状相似度；确定目标颜色与样本颜色的颜色匹配度；根据形状相似度与颜色匹配度确定图像相似度，其中，形状相似度与颜色匹配度越大，图像相似度越高。
12.可选地，方法还包括：采集目标食材的包装袋的文字信息；识别文字信息中的保质期，在确定当前时间已过保质期的情况下，确定目标食材变质。
13.可选地，确定目标食材变质的情况下，发送提示信息至目标对象所持有的终端，其中，提示信息用于提醒目标对象对目标食材进行清理。
14.可选地，冰箱为高度可调节的冰箱，方法还包括：确定冰箱内各个存储空间剩余容量，其中，存储空间包括：冷藏室、冷冻室；根据存储空间剩余容量确定各个存储空间对应的空间利用率；将空间利用率小于预设利用率阈值的存储空间确定为目标存储空间，对目标存储空间进行收缩，以降低冰箱的高度。
15.根据本技术实施例的另一方面，还提供了一种食材的监控装置，包括：发送模块，用于向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；第一确定模块，用于根据探测数据确定超声波在目标食材内的目标衰减系数；第二确定模块，用于至少根据目标衰减系数确定目标食材是否发生变质。
16.根据本技术实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行任意一种食材的监控方法。
17.根据本技术实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行任意一种食材的监控方法。
18.在本技术实施例中，采用超声波探测的方式，通过向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；根据探测数据确定超声波在目标食材内的目标衰减系数；至少根据目标衰减系数确定目标食材是否发生变质，达到了及时监控食材状态的目的，从而实现了基于超声波的探测信号自动监控检测食材状态，及时判定出变质食材，避免变质食材对其他正常食材的影响以及保证冰箱可正常使用等技术效果，进而解决了由于相关技术中往往只能依靠人工的方式对变质的食材进行识别造成的影响冰箱的正常使用、引起其他食材腐烂变质，以及对用户健康带来不良影响的技术问题。
附图说明
19.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本申
请的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
20.图1是根据本技术实施例的食材的监控方法的流程示意图；
21.图2是本技术一种示例性的智能冰箱的控制系统结构图；
22.图3是根据本技术实施例的一种可选的食材的监控装置的结构示意图。
具体实施方式
23.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
24.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.为了便于本领域技术人员更好的理解本技术相关实施例，现将本技术可能涉及技术术语或者部分名词解释如下：
26.超声波衰减：超声波在介质中传播时，随着传播距离的增加，超声波的能量逐渐减弱的现象称为超声波的衰减。
27.衰减的种类和原因：(1)扩散衰减：由于声束的扩散，随着传播距离的增加，波束截面越来越大，从而使单位面积上的能量逐渐减小。这种衰减叫扩散衰减。扩散衰减主要取决于波阵面的几何形状，与传播介质的性质无关。(2)散射衰减：超声波在传播过程中，遇到由不同声阻抗介质组成的界面时，发生散射(反射、折射或波型转换)，使声波原传播方向上的能量减少。这种衰减称为散射衰减。材料中晶粒粗大(和波长相比)是引起散射衰减的主要因素。(3)吸收衰减：超声波在介质中传播时，由于介质质点间的内摩擦(粘滞性)和热传导等因素，使声能转换成其它能量(热量)。这种衰减称为吸收衰减，又称粘滞衰减。散射衰减，吸收衰减与介质的性质有关，因此统称为材质衰减。
28.根据本技术实施例，提供了一种食材的监控方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
29.图1是根据本技术实施例的食材的监控方法，该方法应用于冰箱中，如图1所示，该方法包括如下步骤：
30.步骤s102，向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；
31.步骤s104，根据探测数据确定超声波在目标食材内的目标衰减系数；
32.步骤s106，至少根据目标衰减系数确定目标食材是否发生变质。
33.该食材的监控方法中，通过向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；然后，根据探测数据确定超声波在目标食材内的目标衰减系数；最后，可至少根据目标衰减系数确定目标食材是否发生变质，达到了及时监控食材状态的目的，从而实现了基于超声波的探测信号自动监控检测食材状态，及时判定出变质食材，避免变质食材对其他正常食材的影响以及保证冰箱可正常使用等技术效果，进而解决了由于相关技术中往往只能依靠人工的方式对变质的食材进行识别造成的影响冰箱的正常使用、引起其他食材腐烂变质，以及对用户健康带来不良影响的技术问题。
34.本技术一些实施例中，根据探测数据确定超声波在目标食材内的目标衰减系数，可通过如下步骤实现，具体地，确定探测数据中第一回波的第一振幅、第二回波的第二振幅以及超声波在目标食材内沿着探测方向的传输距离，其中，第一回波与第二回波为两次相邻的回波信号；最后，根据第一振幅、与第二振幅以及传输距离确定目标衰减系数。需要说明的是，上述根据第一振幅、第二振幅以及传输距离确定目标衰减系数，具体的可以为：a＝[20log(h2-h1)-x]/2d(db/mm)。
[0035]
其中，a为目标衰减系数，h2和h1分别表示第一回波的第一振幅和第二回波的第二振幅；[20log(h2-h1)-x]表示第一回波与第二回波分贝差的分贝值(db)，x为任意常数(可取2)，d为声程，即探测方向上超声波的传输距离。
[0036]
本技术一些可选的实施例中，可至少根据目标衰减系数确定目标食材是否发生变质，包括：确定目标食材的目标类型；调取目标类型的食材对应的多个衰减系数区间，其中，多个衰减系数区间指示的目标类型的食材的变质等级不同；将目标衰减系数与多个衰减系数区间进行匹配，根据匹配结果确定目标食材是否发生变质。具体地，将目标衰减系数与多个衰减系数区间进行匹配，根据匹配结果确定目标食材是否发生变质，包括：确定目标衰减系数所属于的目标衰减系数区间，其中，多个衰减系数区间包括：目标衰减系数区间；确定目标衰减系数区间对应的变质等级为目标食材的目标变质等级；在目标变质等级大于预设等级的情况下，确定目标食材变质。例如，衰减区间有[0-3)、[3-7)、[7-10]，上述瞬间区间分别对应的变质等级为0级(食材未变质)、1级(食材发生一般变质)、2级(食材变质严重)。例如目标衰减系数为1，则确定食材完好，变质等级为0级，即确定食材没有发生变质，又例如，目标衰减率为6级，则确定食材发生一般变质。
[0037]
本技术一些实施例中，至少根据目标衰减系数确定目标食材是否发生变质，还可以通过如下方式实现，具体地，可以为获取目标食材的目标图像，然后基于目标图像确定目标食材的目标类型，最后，确定目标图像与样本图像的图像相似度，其中，样本图像为目标类型的食材变质后的样本图像；根据图像相似度与目标衰减系数确定目标食材是否发生变质。即将当前检测到的目标食材图像与已经变质的同类食材的图像进行匹配，根据两者之间的相似度确定目标食材是否变质。
[0038]
本技术一些可选的实施例中，在根据图像相似度与目标衰减系数确定目标食材是否发生变质的情况下，可获取相似度对应的第一权重值，并获取目标衰减系数对应的第二权重值；根据图像相似度、第一权重值、目标衰减系数以及第二权重值确定目标食材的目标变质等级；在目标变质等级大于预设等级的情况下，确定目标食材变质。具体地，可以为图
像相似度乘以第一权重值加上目标衰减系数乘以第二权重值得到目标变质等级。
[0039]
本技术一些实施例中，目标图像可至少包括：目标形状以及目标颜色；样本图像至少包括：样本形状以及样本颜色，因此，确定目标图像与样本图像的图像相似度，可通过如下步骤实现，具体地，确定目标形状与样本形状的形状相似度；确定目标颜色与样本颜色的颜色匹配度；根据形状相似度与颜色匹配度确定图像相似度，其中，形状相似度与颜色匹配度越大，图像相似度越高。
[0040]
本技术一些可选的实施例中，还可采集目标食材的包装袋的文字信息；识别文字信息中的保质期，在确定当前时间已过保质期的情况下，确定目标食材变质。需要说明书，上述识别算法可以通过ocr识别算法实现。
[0041]
本技术一些实施例中，在确定目标食材变质的情况下，可发送提示信息至目标对象所持有的终端，其中，提示信息用于提醒目标对象对目标食材进行清理。
[0042]
本技术一些可选的实施例中，可接收用户的语音控制指令，基于用户的语音指令控制冰箱的温度，且还可以基于摄像头采集到的图像，汇总用户当前在冰箱存储的食材，对冰箱内存储的食材进行分类，并可结合云端的菜谱数据，向用户推荐菜谱，需要说明的是，对冰箱内的食材进行分类，可以识别出食材所在的位置，然后显示在显示屏上，该显示屏可以为冰箱自身配置的显示屏，也可为其他显示屏，若识别结果显示用户未按照预设的分类类型进行摆放，则可以将当前的摆放情况，以及分类建议显示在显示屏，以供用户查看。
[0043]
本技术另一些可选的实施例中，上述冰箱为高度可调节的冰箱，因此可确定冰箱内各个存储空间剩余容量，其中，存储空间包括：冷藏室、冷冻室；根据存储空间剩余容量确定各个存储空间对应的空间利用率；将空间利用率小于预设利用率阈值的存储空间确定为目标存储空间，对目标存储空间进行收缩，以降低冰箱的高度。
[0044]
具体地，还可以通过图像采集装置采集到的数据，识别冰箱各个存储空间内的剩余容量，例如，确定冷藏室或者冷冻室的空间剩余容量，并根据剩余容量确定空间利用率，在识别结果指示某个存储空间的空间利用率小于预设利用率阈值时，可发送提示信息至用户的终端，或者将提示信息显示在显示屏，其中，该提示信息用于提示用户将该存储空间的摆放的食材或者物品摆放至其他存储空间，例如，冷藏室某一层摆放的物品或者食材较少，空间利用率小于预设利用率阈值，则提示用户将该层的物品以及食材移动至冷藏室的其他冷藏层，需要说明的是，在将物品以及食材移动至其他冷藏层后，则自动收缩该冷藏层，可以理解的，自动收缩不使用的冷藏层可以进一步其他冷藏层的存储空间，进一步，在自动收缩不使用的冷藏层或者冷冻室后，可以调节冰箱的高度，节省冰箱占用的空间。
[0045]
图2是本技术一种示例性的智能冰箱的控制系统结构图，如图2所示，该系统包括：语音控制系统、图像识别系统、分类与物品摆放提示系统、自动伸缩系统、食材监控系统、用户食谱的个性化推荐系统。其中，语音控制系统可以利用语音控制系统调节冰箱冷藏室和冷冻室的温度。图像识别系统可基于云端图片库以及深度学习的图像识别算法，识别冰箱中物品(食材)等，然后进行物品分类和物品统计，且可基于图片识别，辅助监控食材是否变质。分类与物品摆放提示系统可根据图像识别分类结果，在检测到用户冰箱的物品摆放比较凌乱的情况下，自动提醒用户摆放好物品。
[0046]
可选地，自动伸缩系统用于当冷藏室或者冷冻室某一层空间利用率低的情况下，提示用户将该层的物品放到其它层，进一步地，当该层再次被图像识别系统识别和检测为
空，则可自动收缩该层，通过上述步骤可使得冰箱高度降低，减少占用面积并提高了厨房空间的利用率。
[0047]
可选地，食材监控系统可以为利用超声波技术、图像识别技术以及ocr技术构建的食材监控系统，该系统会在食材进入冰箱的时候通过ocr技术扫描食材的保质期，如果食材即将过期，冰箱会直接发送通知给用户手机，那么用户会可以根据自己需要处理待过期的食材，也可以根据超声波数据等确定食材是否变质，在确定食材变质的情况下，发送提示指令至用户。
[0048]
可选地，用户食谱的个性化推荐系统可基于当前冰箱内的食材进行菜谱推荐，为用户提供更好的使用体验。
[0049]
需要说明的是，图像识别系统中可以采用深度学习算法包括但不限于：卷积神经网络模型(简称cnn)。可以理解的，卷积神经网络常用于影像数据的分析处理，故在场景识别系统中就采用该算法，卷积神经网络主要应用于图像分类、目标检测和语义分割，在本技术相关实施例中的应用场景中，该算法就是用来解决图像识别和目标检测的。图像识别系统的操作步骤可基于face 开源框架，识别食材类别，然后进行自动化分类。
[0050]
容易注意到的是，本技术具有以下有益效果：
[0051]
1.对比按键式冰箱温度控制，加入语音唤醒和语音控制，便于用户控制冰箱温度。
[0052]
2.基于用户冰箱存储的物品，进行图像识别，汇总用户当前冰箱所存储的食材，结合云端的菜谱数据，对用户进行食谱推荐。
[0053]
3.根据图像识别，对冰箱里面的物品进行分类，并进行自动化检测，会将识别的物品所在位置，显示在冰箱的显示屏上，如果用户没有按类摆放物品，可以相应提醒用户物品按类摆放。
[0054]
4.当冷藏室或者冷冻室哪一层空间利用率低，则会提示用户将该层的物品放到其它层，那么该层再次被图像识别系统识别和检测为空，则自动收缩该层，冰箱高度降低，占用面积减少，提高了厨房空间的利用率。
[0055]
5.利用图像识别技术以及ocr技术构建的食材监控系统，该系统会在食材进入冰箱的时候扫描食材的保质期，如果食材即将过期，冰箱会直接发送通知给用户手机，那么用户会可以根据自己需要处理待过期的食材。
[0056]
图3是根据本技术实施例的一种食材的监控装置，如图3所示，该装置包括：
[0057]
发送模块40，用于向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；
[0058]
第一确定模块42，用于根据探测数据确定超声波在目标食材内的目标衰减系数；
[0059]
第二确定模块44，用于至少根据目标衰减系数确定目标食材是否发生变质。
[0060]
该装置中，发送模块40，用于向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；第一确定模块42，用于根据探测数据确定超声波在目标食材内的目标衰减系数；第二确定模块44，用于至少根据目标衰减系数确定目标食材是否发生变质，达到了及时监控食材状态的目的，从而实现了基于超声波的探测信号自动监控检测食材状态，及时判定出变质食材，避免变质食材对其他正常食材的影响以及保证冰箱可正常使用等技术效
果，进而解决了由于相关技术中往往只能依靠人工的方式对变质的食材进行识别造成的影响冰箱的正常使用、引起其他食材腐烂变质，以及对用户健康带来不良影响的技术问题。
[0061]
根据本技术实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行任意一种食材的监控方法。
[0062]
根据本技术实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行任意一种食材的监控方法。
[0063]
具体地，上述存储介质用于存储执行以下功能的程序指令，实现以下功能:
[0064]
向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；根据探测数据确定超声波在目标食材内的目标衰减系数；至少根据目标衰减系数确定目标食材是否发生变质。
[0065]
具体地，上述处理器用于调用存储器中的程序指令，实现以下功能：
[0066]
向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；根据探测数据确定超声波在目标食材内的目标衰减系数；至少根据目标衰减系数确定目标食材是否发生变质。
[0067]
在本技术实施例中，采用超声波探测的方式，通过向冰箱内的目标食材发送超声波，利用超声波对目标食材进行探测，得到探测数据，其中，探测数据用于记录超声波在目标食材内传输过程中所发生的变化；根据探测数据确定超声波在目标食材内的目标衰减系数；至少根据目标衰减系数确定目标食材是否发生变质，达到了及时监控食材状态的目的，从而实现了基于超声波的探测信号自动监控检测食材状态，及时判定出变质食材，避免变质食材对其他正常食材的影响以及保证冰箱可正常使用等技术效果，进而解决了由于相关技术中往往只能依靠人工的方式对变质的食材进行识别造成的影响冰箱的正常使用、引起其他食材腐烂变质，以及对用户健康带来不良影响的技术问题。
[0068]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0069]
在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0070]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0071]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0072]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0073]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0074]
以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。