冰箱及其食材管理方法与流程

1.本发明涉及冰箱控制领域，尤其涉及一种冰箱及其食材管理方法。


背景技术：

2.随着冰箱技术的逐渐发展，具备食材管理功能的冰箱已经成为智能化冰箱的发展趋势。具备食材管理的冰箱可以利用摄像头实现远程查看冰箱内存放的食材，便于用户进行食材管理。现有的具备食材管理的冰箱中，通常采用冰箱默认的图像识别模型对冰箱中的食材进行识别，而默认的图像识别模型无法根据用户需求进行更新，而每个用户购买的食材差异较大，默认的图像识别模型可能无法涵盖该用户所需的食材，导致无法识别食材。


技术实现要素：

3.本发明实施例的目的是提供一种冰箱及其食材管理方法，能够利用用户个人标注的食材信息形成新的训练集，并将训练后的新模型加载到用户冰箱上，每个冰箱产品搭载各自独有的图像识别模型，提高食材识别的准确率。
4.为实现上述目的，本发明实施例提供了一种冰箱，包括：
5.箱体，其包括若干个储藏室；
6.箱门，设于所述储藏室的开口处，其外侧设有显示屏；
7.摄像装置，设于所述储藏室中，用于对储藏室中的食材进行识别；
8.控制器被配置为：
9.获取所述摄像装置拍摄的待训练图片，并将所述待训练图片显示在所述显示屏中；
10.当接收到用户基于所述待训练图片的标注操作时，将标注后的所述待训练图片输入到云端，以使云端将所述待训练图片作为训练集输入到原图像识别模型中，以对所述原图像识别模型进行更新；
11.获取云端更新后的图像识别模型。
12.作为上述方案的改进，所述标注操作包括用户对所述待训练图片的食材定义操作和特征点标注操作；其中，所述食材定义操作包括对自定义食材的拼音输入操作和手写输入操作。
13.作为上述方案的改进，所述控制器还被配置为：
14.响应于用户对自定义食材的拼音输入操作，获取用户输入的待转换拼音；
15.获取预先建立的食材拼音对照表；其中，所述食材拼音对照表中包括多种食材名称和其对应的拼音；
16.将所述待转换拼音与所述食材拼音对照表进行比对；
17.当在所述食材拼音对照表中存在与所述待转换拼音相匹配的拼音时，从所述食材拼音对照表中获取与所述待转换拼音对应的食材名称作为所述自定义食材的名称。
18.作为上述方案的改进，当在所述食材拼音对照表中不存在与所述待转换拼音相匹
配的拼音时，所述控制器还被配置为：
19.将所述待转换拼音与所述食材拼音对照表中的拼音进行相似度计算，得到两者的拼音相似度；
20.当所述拼音相似度大于预设的相似度阈值时，从所述食材拼音对照表中获取与所述待转换拼音对应的食材名称作为所述自定义食材的名称。
21.作为上述方案的改进，所述控制器还被配置为：
22.响应于用户对自定义食材的手写输入操作，获取用户输入的手写名称；
23.将所述手写名称与所述食材拼音对照表进行比对；
24.当在所述食材拼音对照表中存在与所述手写名称相匹配的食材名称时，将所述手写名称作为所述自定义食材的名称。
25.作为上述方案的改进，当在所述食材拼音对照表中不存在与所述手写名称相匹配的食材名称时，所述控制器还被配置为：
26.将所述手写名称转换为待处理拼音；
27.将所述待处理拼音与所述食材拼音对照表进行比对；
28.当在所述食材拼音对照表中存在与所述待处理拼音相匹配的拼音时，从所述食材拼音对照表中获取与所述待处理拼音对应的食材名称作为所述自定义食材的名称。
29.为实现上述目的，本发明实施例还提供了一种冰箱食材管理方法，包括：
30.获取冰箱中摄像装置拍摄的待训练图片，并将所述待训练图片显示在冰箱的显示屏中；
31.当接收到用户基于所述待训练图片的标注操作时，将标注后的所述待训练图片输入到云端，以使云端将所述待训练图片作为训练集输入到原图像识别模型中，以对所述原图像识别模型进行更新；
32.获取云端更新后的图像识别模型。
33.作为上述方案的改进，所述标注操作包括用户对所述待训练图片的食材定义操作和特征点标注操作；其中，所述食材定义操作包括对自定义食材的拼音输入操作和手写输入操作。
34.作为上述方案的改进，所述方法还包括：
35.响应于用户对自定义食材的拼音输入操作，获取用户输入的待转换拼音；
36.获取预先建立的食材拼音对照表；其中，所述食材拼音对照表中包括多种食材名称和其对应的拼音；
37.将所述待转换拼音与所述食材拼音对照表进行比对；
38.当在所述食材拼音对照表中存在与所述待转换拼音相匹配的拼音时，从所述食材拼音对照表中获取与所述待转换拼音对应的食材名称作为所述自定义食材的名称。
39.作为上述方案的改进，所述方法还包括：
40.当在所述食材拼音对照表中不存在与所述待转换拼音相匹配的拼音时，所述方法还包括：
41.将所述待转换拼音与所述食材拼音对照表中的拼音进行相似度计算，得到两者的拼音相似度；
42.当所述拼音相似度大于预设的相似度阈值时，从所述食材拼音对照表中获取与所
述待转换拼音对应的食材名称作为所述自定义食材的名称。
43.相比于现有技术，本发明实施例所述的冰箱及其食材管理方法，能够利用用户个人标注的食材信息形成新的训练集，并将训练后的新模型加载到用户冰箱上，每个冰箱产品搭载各自独有的图像识别模型，提高食材识别的准确率。另外，在用户需要自定义食材名称时，能够对用户的拼音输出入操作以及手写输入操作进行校正，确保自定义的食材名称是准确的。
附图说明
44.图1是本发明实施例提供的一种冰箱中控制器的流程图；
45.图2是本发明实施例提供的食材拼音对照表的示意图；
46.图3是本发明实施例提供的拼音输入操作的流程图；
47.图4是本发明实施例提供的手写输入操作的流程图；
48.图5是本发明实施例提供的一种冰箱食材管理方法的流程图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.参见图1，图1是本发明实施例提供的一种冰箱中控制器的流程图，所述冰箱包括：
51.箱体，其包括若干个储藏室；
52.箱门，设于所述储藏室的开口处，其外侧设有显示屏；
53.摄像装置，设于所述储藏室中，用于对储藏室中的食材进行识别；
54.控制器被配置为：
55.s11、获取所述摄像装置拍摄的待训练图片，并将所述待训练图片显示在所述显示屏中；
56.s12、当接收到用户基于所述待训练图片的标注操作时，将标注后的所述待训练图片输入到云端，以使云端将所述待训练图片作为训练集输入到原图像识别模型中，以对所述原图像识别模型进行更新；
57.s13、获取云端更新后的图像识别模型。
58.具体地，当用户将食材放进冰箱的储藏室后，在需要更新已存储的图像识别模型时，开启摄像头对食材进行拍照，以获取所述待训练图片显示在所述显示屏中。用户可在显示屏中对所述待训练图片进行标注操作，所述标注操作包括用户对所述待训练图片的食材定义操作和特征点标注操作；其中，所述食材定义操作包括对自定义食材的拼音输入操作和手写输入操作。用户进行完标注操作后，将标注后的所述所述待训练图片输入到云端，以使云端将所述待训练图片作为训练集输入到原图像识别模型中，以对所述原图像识别模型进行更新，利用云端对所述原图像识别模型进行更新，无需占用冰箱的资源。在云端更新完所述原图像识别模型后，冰箱从云端获取更新后的图像识别模型。
59.可选地，在用户进行标注过程中，所述控制器还被配置为：
60.响应于用户对自定义食材的拼音输入操作，获取用户输入的待转换拼音；
61.获取预先建立的食材拼音对照表；其中，所述食材拼音对照表中包括多种食材名称和其对应的拼音；
62.将所述待转换拼音与所述食材拼音对照表进行比对；
63.当在所述食材拼音对照表中存在与所述待转换拼音相匹配的拼音时，从所述食材拼音对照表中获取与所述待转换拼音对应的食材名称作为所述自定义食材的名称。
64.进一步地，当在所述食材拼音对照表中不存在与所述待转换拼音相匹配的拼音时，所述控制器还被配置为：
65.将所述待转换拼音与所述食材拼音对照表中的拼音进行相似度计算，得到两者的拼音相似度；
66.当所述拼音相似度大于预设的相似度阈值时，从所述食材拼音对照表中获取与所述待转换拼音对应的食材名称作为所述自定义食材的名称。
67.示例性的，参见图2，冰箱预先存储有食材拼音对照表，图中仅给出了部分食材名称的示例，实际使用的所述食材拼音对照表应当涵盖市面上所有食材的食材名称及其对应的拼音，所述食材拼音对照表可以定期更新。
68.参见图3，检测到用户采用的是拼音输入操作时，将所述待转换与所述食材拼音对照表中的拼音进行匹配，若所述食材拼音对照表中存在与所述待转换拼音相匹配的食材名称时，获取该食材名称作为所述自定义食材的名称。若所述食材拼音对照表中不存在与所述待转换拼音相匹配的食材名称时，需要进行模糊搜索，从所述食材拼音对照表中找到与所述待转换拼音相似的若干个拼音，然后一一进行相似度计算，当相似度大于所述相似度阈值时，获取大于相似度阈值的拼音对应的食材名称作为自定义食材的名称。可以理解的，若有两个或两个以上的拼音的大于所述相似度阈值，获取相似度较大的拼音对应的食材名称作为自定义食材的名称。若相似度小于或等于所述相似度阈值，获取相似度直接近所述相似度阈值的拼音对应的食材名称作为自定义食材的名称；或者，此时保留用户输入的待转换拼音，直接作为自定义食材的名称；又或者，在相似度小于或等于所述相似度阈值时，所述冰箱发出提示信息提醒用户重新输入。
69.示例性的，所述待转换拼音a和所述食材拼音对照表中的拼音b的相似度计算满足以下公式：
[0070][0071]
其中，k为音节数，由于汉语拼音中多数为4个音节以下，所以大于4个音节的情况不考虑；n为待比较字符连续k个音节匹配的个数，n为拼音b的总音节数。 s越大认为相似度越高。
[0072]
举例说明：所述待转换拼音a为(pinguo)，所述食材拼音对照表中的拼音b 为(pingguo)，拼音比对结果参考表1。
[0073]
表1拼音比对结果
[0074]
apinguo bpingguo
[0075]
当k＝1时，1个连续音节匹配的为p、i、n、g、u、o共6个；当k＝2时，2 个连续音节匹配的为pi、in、ng、gu、uo共5个；当k＝3时，3个连续音节匹配的为pin、ing、guo共3个；当k＝4时，4个连续音节匹配的为ping共1个。值得说明的是，每轮匹配时，拼音b中匹配过的音节不再参与匹配。则，pinguo 和pingguo的相似度
[0076]
计算所述带转换拼音和所述食材拼音对照表中所有拼音的相似度s，若s》4 则认为该词为正确拼音，停止计算并转化为对应中文；若没有相似度大于4的则选取相似度最高的进行转化或者保存用户原有输入内容，并将其加入到模型的字典中，作为新食材处理。
[0077]
可选地，在用户进行标注过程中，所述控制器还被配置为：
[0078]
响应于用户对自定义食材的手写输入操作，获取用户输入的手写名称；
[0079]
将所述手写名称与所述食材拼音对照表进行比对；
[0080]
当在所述食材拼音对照表中存在与所述手写名称相匹配的食材名称时，将所述手写名称作为所述自定义食材的名称。
[0081]
进一步地，当在所述食材拼音对照表中不存在与所述手写名称相匹配的食材名称时，所述控制器还被配置为：
[0082]
将所述手写名称转换为待处理拼音；
[0083]
将所述待处理拼音与所述食材拼音对照表进行比对；
[0084]
当在所述食材拼音对照表中存在与所述待处理拼音相匹配的拼音时，从所述食材拼音对照表中获取与所述待处理拼音对应的食材名称作为所述自定义食材的名称。
[0085]
参见图4，检测到用户采用的是手写输入操作时，获取手写名称，将所述手写名称与所述食材拼音对照表中的食材名称进行匹配，若所述食材拼音对照表中存在与所述手写名称相匹配的食材名称时，将所述手写名称作为自定义食材的名称。若所述食材拼音对照表中不存在与所述手写名称相匹配的食材名称时，首先将所述手写名称转换为待处理拼音，此时有可能是用户手写错误，比如将“胡萝卜”写成“胡罗卜”，将所述待处理拼音与所述食材拼音对照表中的拼音进行匹配，若能在所述食材拼音对照表中找到匹配的拼音，则从所述食材拼音对照表中获取与所述待处理拼音对应的食材名称作为自定义食材的名称。若在所述食材拼音对照表中找不到匹配的拼音，此时需要进行模糊搜索，从所述食材拼音对照表中找到与所述待处理拼音相似的若干个拼音，然后一一进行相似度计算，当相似度大于所述相似度阈值时，获取大于相似度阈值的拼音对应的食材名称作为自定义食材的名称。可以理解的，若有两个或两个以上的拼音的大于所述相似度阈值，获取相似度较大的拼音对应的食材名称作为自定义食材的名称。若相似度小于或等于所述相似度阈值，获取相似度直接近所述相似度阈值的拼音对应的食材名称作为自定义食材的名称；或者，此时保留用户输入的待转换拼音，直接作为自定义食材的名称；又或者，在相似度小于或等于所述相似度阈值时，所述冰箱发出提示信息提醒用户重新输入。
[0086]
相比于现有技术，本发明实施例所述的冰箱，能够利用用户个人标注的食材信息形成新的训练集，并将训练后的新模型加载到用户冰箱上，每个冰箱产品搭载各自独有的图像识别模型，提高食材识别的准确率。另外，在用户需要自定义食材名称时，能够对用户的拼音输出入操作以及手写输入操作进行校正，确保自定义的食材名称是准确的。
[0087]
参见图5，图5是本发明实施例提供的一种冰箱食材管理方法的流程图，所述冰箱
食材管理方法包括：
[0088]
s21、获取冰箱中摄像装置拍摄的待训练图片，并将所述待训练图片显示在冰箱的显示屏中；
[0089]
s22、当接收到用户基于所述待训练图片的标注操作时，将标注后的所述待训练图片输入到云端，以使云端将所述待训练图片作为训练集输入到原图像识别模型中，以对所述原图像识别模型进行更新；
[0090]
s23、获取云端更新后的图像识别模型。
[0091]
具体地，当用户将食材放进冰箱的储藏室后，在需要更新已存储的图像识别模型时，开启摄像头对食材进行拍照，以获取所述待训练图片显示在所述显示屏中。用户可在显示屏中对所述待训练图片进行标注操作，所述标注操作包括用户对所述待训练图片的食材定义操作和特征点标注操作；其中，所述食材定义操作包括对自定义食材的拼音输入操作和手写输入操作。用户进行完标注操作后，将标注后的所述所述待训练图片输入到云端，以使云端将所述待训练图片作为训练集输入到原图像识别模型中，以对所述原图像识别模型进行更新，利用云端对所述原图像识别模型进行更新，无需占用冰箱的资源。在云端更新完所述原图像识别模型后，冰箱从云端获取更新后的图像识别模型。
[0092]
可选地，在步骤s22中用户进行标注过程中，所述食材管理方法还包括步骤 s221～s226：
[0093]
s221、响应于用户对自定义食材的拼音输入操作，获取用户输入的待转换拼音；
[0094]
s222、获取预先建立的食材拼音对照表；其中，所述食材拼音对照表中包括多种食材名称和其对应的拼音；
[0095]
s223、将所述待转换拼音与所述食材拼音对照表进行比对；
[0096]
s224、当在所述食材拼音对照表中存在与所述待转换拼音相匹配的拼音时，从所述食材拼音对照表中获取与所述待转换拼音对应的食材名称作为所述自定义食材的名称；
[0097]
s225、当在所述食材拼音对照表中不存在与所述待转换拼音相匹配的拼音时，将所述待转换拼音与所述食材拼音对照表中的拼音进行相似度计算，得到两者的拼音相似度；
[0098]
s226、当所述拼音相似度大于预设的相似度阈值时，从所述食材拼音对照表中获取与所述待转换拼音对应的食材名称作为所述自定义食材的名称。
[0099]
示例性的，冰箱预先存储有食材拼音对照表，图中仅给出了部分食材名称的示例，实际使用的所述食材拼音对照表应当涵盖市面上所有食材的食材名称及其对应的拼音，所述食材拼音对照表可以定期更新。
[0100]
具体地，检测到用户采用的是拼音输入操作时，将所述待转换与所述食材拼音对照表中的拼音进行匹配，若所述食材拼音对照表中存在与所述待转换拼音相匹配的食材名称时，获取该食材名称作为所述自定义食材的名称。若所述食材拼音对照表中不存在与所述待转换拼音相匹配的食材名称时，需要进行模糊搜索，从所述食材拼音对照表中找到与所述待转换拼音相似的若干个拼音，然后一一进行相似度计算，当相似度大于所述相似度阈值时，获取大于相似度阈值的拼音对应的食材名称作为自定义食材的名称。可以理解的，若有两个或两个以上的拼音的大于所述相似度阈值，获取相似度较大的拼音对应的食材名称作为自定义食材的名称。若相似度小于或等于所述相似度阈值，获取相似度直接近所述
相似度阈值的拼音对应的食材名称作为自定义食材的名称；或者，此时保留用户输入的待转换拼音，直接作为自定义食材的名称；又或者，在相似度小于或等于所述相似度阈值时，所述冰箱发出提示信息提醒用户重新输入。
[0101]
示例性的，所述待转换拼音a和所述食材拼音对照表中的拼音b的相似度计算满足以下公式：
[0102][0103]
其中，k为音节数，由于汉语拼音中多数为4个音节以下，所以大于4个音节的情况不考虑；n为待比较字符连续k个音节匹配的个数，n为拼音b的总音节数。 s越大认为相似度越高。
[0104]
举例说明：所述待转换拼音a为(pinguo)，所述食材拼音对照表中的拼音b 为(pingguo)，拼音比对结果参考表1。
[0105]
表1拼音比对结果
[0106]
apinguo bpingguo
[0107]
当k＝1时，1个连续音节匹配的为p、i、n、g、u、o共6个；当k＝2时，2 个连续音节匹配的为pi、in、ng、gu、uo共5个；当k＝3时，3个连续音节匹配的为pin、ing、guo共3个；当k＝4时，4个连续音节匹配的为ping共1个。值得说明的是，每轮匹配时，拼音b中匹配过的音节不再参与匹配。则，pinguo 和pingguo的相似度
[0108]
计算所述带转换拼音和所述食材拼音对照表中所有拼音的相似度s，若s》4 则认为该词为正确拼音，停止计算并转化为对应中文；若没有相似度大于4的则选取相似度最高的进行转化或者保存用户原有输入内容，并将其加入到模型的字典中，作为新食材处理。
[0109]
可选地，在步骤s22中在用户进行标注过程中，所述食材管理方法还包括步骤s321～s326：
[0110]
s321、响应于用户对自定义食材的手写输入操作，获取用户输入的手写名称；
[0111]
s322、将所述手写名称与所述食材拼音对照表进行比对；
[0112]
s323、当在所述食材拼音对照表中存在与所述手写名称相匹配的食材名称时，将所述手写名称作为所述自定义食材的名称。
[0113]
s324、当在所述食材拼音对照表中不存在与所述手写名称相匹配的食材名称时，将所述手写名称转换为待处理拼音；
[0114]
s325、将所述待处理拼音与所述食材拼音对照表进行比对；
[0115]
s326、当在所述食材拼音对照表中存在与所述待处理拼音相匹配的拼音时，从所述食材拼音对照表中获取与所述待处理拼音对应的食材名称作为所述自定义食材的名称。
[0116]
具体地，检测到用户采用的是手写输入操作时，获取手写名称，将所述手写名称与所述食材拼音对照表中的食材名称进行匹配，若所述食材拼音对照表中存在与所述手写名称相匹配的食材名称时，将所述手写名称作为自定义食材的名称。若所述食材拼音对照表中不存在与所述手写名称相匹配的食材名称时，首先将所述手写名称转换为待处理拼音，
此时有可能是用户手写错误，比如将“胡萝卜”写成“胡罗卜”，将所述待处理拼音与所述食材拼音对照表中的拼音进行匹配，若能在所述食材拼音对照表中找到匹配的拼音，则从所述食材拼音对照表中获取与所述待处理拼音对应的食材名称作为自定义食材的名称。若在所述食材拼音对照表中找不到匹配的拼音，此时需要进行模糊搜索，从所述食材拼音对照表中找到与所述待处理拼音相似的若干个拼音，然后一一进行相似度计算，当相似度大于所述相似度阈值时，获取大于相似度阈值的拼音对应的食材名称作为自定义食材的名称。可以理解的，若有两个或两个以上的拼音的大于所述相似度阈值，获取相似度较大的拼音对应的食材名称作为自定义食材的名称。若相似度小于或等于所述相似度阈值，获取相似度直接近所述相似度阈值的拼音对应的食材名称作为自定义食材的名称；或者，此时保留用户输入的待转换拼音，直接作为自定义食材的名称；又或者，在相似度小于或等于所述相似度阈值时，所述冰箱发出提示信息提醒用户重新输入。
[0117]
相比于现有技术，本发明实施例所述的食材管理方法，能够利用用户个人标注的食材信息形成新的训练集，并将训练后的新模型加载到用户冰箱上，每个冰箱产品搭载各自独有的图像识别模型，提高食材识别的准确率。另外，在用户需要自定义食材名称时，能够对用户的拼音输出入操作以及手写输入操作进行校正，确保自定义的食材名称是准确的。
[0118]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。