冰箱、冰箱控制方法、冰箱自动补货方法和系统与流程

1.本发明涉及冰箱技术领域，尤其涉及一种冰箱、冰箱控制方法、冰箱自动补货方法和系统。


背景技术：

2.随着智能冰箱的蓬勃发展，各种智能功能相继出现，比如在冰箱内设置拍照装置进行拍照，以实现对冰箱中的食材的远程监控。现有冰箱远程监控方案中，通过在冰箱安装摄像头对食材进行拍照后将拍摄的照片上传云端，用户可以远程监控冰箱内的食材，已有智能冰箱能够实现对于冰箱内场景的获取，但是目前的智能冰箱通常都是简单记录相应的物品存放时间和物品图像，并在显示屏上进行显示提醒，当食材库存不足时，不能自动下单，冰箱的智能化水平不高。


技术实现要素：

3.本发明实施例的目的是提供一种冰箱、冰箱控制方法、冰箱自动补货方法和系统，能有效检测冰箱中食物的库存，库存不足时能够实现自动下单补货。
4.为实现上述目的，本发明实施例提供了一种冰箱，包括：
5.箱体，内部设有若干个储藏室，所述储藏室中设有若干个摄像装置；
6.箱门，其可开闭的设于所述储藏室的开口处；
7.控制器，与所述摄像装置连接，用于：
8.根据获取到的拍摄指令，控制所述摄像装置对对应的储藏室进行拍照；
9.获取所述摄像装置拍摄的待识别图片；
10.将所述待识别图片上传至云端，以使云端对所述待识别图片中的食物进行图像识别，在识别结果满足预设的补货条件时制定订单发送给关联商家；其中，所述图像识别包括数量识别和尺寸识别中的至少一种。
11.作为上述方案的改进，当所述云端识别到所述食物为预设的第一类型的食物时，采用数量识别；则，所述补货条件为所述食物的数量小于或等于预设的数量阈值。
12.作为上述方案的改进，当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别；则，所述补货条件为所述食物的尺寸小于或等于预设的尺寸阈值。
13.作为上述方案的改进，当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别，所述云端预先建立有所述第二类型的食物的尺寸和重量的关联关系；其中，所述第二类型的食物为带射频识别标签的食物，所述标签上记录有当前食物的初始重量；则，所述补货条件为所述食物的重量小于或等于预设的重量阈值。
14.作为上述方案的改进，所述将所述待识别图片上传至云端，包括：
15.获取当前时间，当所述当前时间处于预设的上传时间时，将所述摄像装置在所述上传时间前最后一次拍摄的所述待识别图片上传至云端。
16.为实现上述目的，本发明实施例还提供了一种冰箱控制方法，包括：
17.根据获取到的拍摄指令，控制摄像装置对对应的储藏室进行拍照；其中，所述摄像装置设于所述冰箱的储藏室中；
18.获取所述摄像装置拍摄的待识别图片；
19.将所述待识别图片上传至云端，以使云端对所述待识别图片中的食物进行图像识别，在识别结果满足预设的补货条件时制定订单发送给关联商家；其中，所述图像识别包括数量识别和尺寸识别中的至少一种。
20.作为上述方案的改进，当所述云端识别到所述食物为预设的第一类型的食物时，采用数量识别；则，所述补货条件为所述食物的数量小于或等于预设的数量阈值；
21.当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别；则，所述补货条件为所述食物的尺寸小于或等于预设的尺寸阈值。
22.作为上述方案的改进，所述将所述待识别图片上传至云端，包括：
23.获取当前时间，当所述当前时间处于预设的上传时间时，将所述摄像装置在所述上传时间前最后一次拍摄的所述待识别图片上传至云端。
24.为实现上述目的，本发明实施例还提供了一种冰箱自动补货方法，包括：
25.接收冰箱发送的待识别图片；其中，所述待识别图片为设于所述冰箱的储藏室中的摄像装置拍摄的；
26.对所述待识别图片中的食物进行图像识别；其中，所述图像识别包括数量识别和尺寸识别中的至少一种；
27.在识别结果满足预设的补货条件时制定订单发送给关联商家。
28.为实现上述目的，本发明实施例还提供一种冰箱自动补货系统，包括云端和上述任一实施例所述的冰箱。
29.相比于现有技术，本发明实施例所述的冰箱、冰箱控制方法、冰箱自动补货方法和系统，通过在冰箱的储藏室中设置摄像装置，能够实时获取储藏室中食物的图片，云端在获取到待识别图片后，首先对待识别图片进行图像识别，所述图像识别包括数量识别和尺寸识别中的至少一种，针对不同类型的食物采用不同的识别方式，能够提高食物库存识别的准确性。另外，在识别结果满足预设的补货条件时制定订单发送给关联商家，商家能够根据订单送货上门。本发明公开的冰箱、冰箱控制方法、冰箱自动补货方法和系统解决了现有冰箱在食材库存不足时，不能自动下单的问题，能有效检测冰箱中食物的库存，实现自动下单补货，提高了冰箱的智能化水平。
附图说明
30.图1是本发明实施例提供的一种冰箱中控制器的工作流程图；
31.图2是本发明实施例提供的一种冰箱控制方法的流程图；
32.图3是本发明实施例提供的一种冰箱自动补货方法的流程图；
33.图4是本发明实施例提供的一种冰箱自动补货系统的结构框图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.参见图1，图1是本发明实施例提供的一种冰箱中控制器的工作流程图；所述冰箱包括：
36.箱体，内部设有若干个储藏室，所述储藏室中设有若干个摄像装置；
37.箱门，其可开闭的设于所述储藏室的开口处；
38.控制器，与所述摄像装置连接，用于：
39.s11、根据获取到的拍摄指令，控制所述摄像装置对对应的储藏室进行拍照；
40.s12、获取所述摄像装置拍摄的待识别图片；
41.s13、将所述待识别图片上传至云端，以使云端对所述待识别图片中的食物进行图像识别，在识别结果满足预设的补货条件时制定订单发送给关联商家；其中，所述图像识别包括数量识别和尺寸识别中的至少一种。
42.具体地，当用户在开启箱门然后关闭时，与所述储藏室对应的摄像装置开始启动并拍摄图片。可以理解的，其余储藏室中的摄像装置保持关闭状态。检测所述冰箱开门和关门的方式可以参考现有技术，在此不再赘述。
43.具体地，所述控制器在控制所述摄像装置拍摄待识别图片后，将所述待识别图片上传至云端，云端对所述待识别图片进行图像识别，在识别结果满足预设的补货条件时制定订单发送给关联商家。
44.在第一种实施方式中，当所述云端识别到所述食物为预设的第一类型的食物时，采用数量识别；则，所述补货条件为所述食物的数量小于或等于预设的数量阈值。
45.示例性的，所述第一类型的食物为个数鲜明的食物，比如水果、厅装饮料等，所述数量阈值用户可以分别针对不同的种类的食物进行设定，所述数量阈值可以有多个，即针对不同种类的水果也设置了不同的数量阈值，如苹果和橙子，可以设置不同的数量阈值。当所述第一类型的食物的数量小于或等于其对应的数量阈值时，制定订单发送给关联商家。可以理解的，当个数鲜明的食物成堆叠状时，云端可以预估数量，如根据拍摄的到的食物的摆放位置和识别出来的单个食物相较于整个图片的尺寸比值来预估食物的整体数量，能够避免食物堆叠导致无法准确识别食物数量的问题。
46.在第二种实施方式中，当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别；则，所述补货条件为所述食物的尺寸小于或等于预设的尺寸阈值。
47.示例性的，所述第二类型的食物为块状食物，比如肉类食物，针对成块的肉类食物，采用食物在待识别图片中的占用面积进行估算，得到所述第二类型的食物的尺寸。可以理解的，针对成块的肉类食物，可以将当前图像识别结果和初次图像识别结果进行比对，以监控肉类食物的余量，如果检测到肉类食材的余量低于30％，则制定订单发送给关联商家。
48.在第三种实施方式中，当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别，所述云端预先建立有所述第二类型的食物的尺寸和重量的关联关系；其中，所述第二类型的食物为带射频识别标签的食物，所述标签上记录有当前食物的初始重量；则，所述补货条件为所述食物的重量小于或等于预设的重量阈值。
49.示例性的，所述冰箱可以具有rfid(radio frequency identification，射频识别技术)功能，针对肉类食物，标签内已经存储了食材的初始重量，通过图像识别该肉类的初
始尺寸，并将该初始尺寸和初始重量建立关联关系，当尺寸发生变化时，可以得到对应的重量，能够自动检测肉类重量的消耗变化。当所述第二类型的食物的重量小于或等于预设的重量阈值时，则制定订单发送给关联商家。
50.值得说明的是，本发明实施例中的摄像装置可以固定在一个拍摄角度去拍摄块状食物，这样能够保证每次获取的图片都是一个角度的图片，在用户存取块状食物的过程中，可以和初次拍摄的图片进行比对，因图片的拍摄角度相同，因此在比对时能够准确得到块状食物的尺寸变化。可以理解的，当同一种食物同时放置在不同的储藏室时，云端可以对不同的摄像装置拍摄的图片进行信息整合以确定该食物的库存。
51.具体地，所述控制器中预先存储有用户指定的监控信息，所述监控信息包括了摄像装置的工作状态，所述控制器根据所述监控信息确定开启哪一个储藏室中的摄像装置以及所述摄像装置的监控时长。如用户需要监控某一冷藏室的食物库存，则可以通过设置监控信息给所述控制器。
52.具体地，所述云端的数据库中预先存储有与食材种类对应的标准库存、商家、送货地址、送货时间等信息。云端在识别出食物的库存之后，根据所述标准库存制定订单信息，然后将该订单信息发送给关联商家。
53.进一步地，所述将所述待识别图片上传至云端，包括：
54.获取当前时间，当所述当前时间处于预设的上传时间时，将所述摄像装置在所述上传时间前最后一次拍摄的所述待识别图片上传至云端。
55.在本发明实施例中，在处于预设的上传时间时，再将摄像装置最后一次拍摄的第一目标图片上传至云端，云端不会收到过多的图片，不会占用云端的存储资源。
56.相比于现有技术，本发明实施例所述的冰箱，通过在冰箱的储藏室中设置摄像装置，能够实时获取储藏室中食物的图片，云端在获取到待识别图片后，首先对待识别图片进行图像识别，所述图像识别包括数量识别和尺寸识别中的至少一种，针对不同类型的食物采用不同的识别方式，能够提高食物库存识别的准确性。另外，在识别结果满足预设的补货条件时制定订单发送给关联商家，商家能够根据订单送货上门。本发明公开的冰箱解决了现有冰箱在食材库存不足时，不能自动下单的问题，能有效检测冰箱中食物的库存，实现自动下单补货，提高了冰箱的智能化水平。
57.参见图2，图2是本发明实施例提供的一种冰箱控制方法的流程图，所述冰箱控制方法包括：
58.s21、根据获取到的拍摄指令，控制摄像装置对对应的储藏室进行拍照；其中，所述摄像装置设于冰箱的储藏室中；
59.s22、获取所述摄像装置拍摄的待识别图片；
60.s23、将所述待识别图片上传至云端，以使云端对所述待识别图片中的食物进行图像识别，在识别结果满足预设的补货条件时制定订单发送给关联商家；其中，所述图像识别包括数量识别和尺寸识别中的至少一种。
61.值得说明的是，所述冰箱控制方法由所述冰箱中的控制器执行实现，所述控制器与所述摄像装置预先建立好连接关系，用于控制所述摄像装置的工作。
62.具体地，当用户在开启箱门然后关闭时，与所述储藏室对应的摄像装置开始启动并拍摄图片。可以理解的，其余储藏室中的摄像装置保持关闭状态。检测所述冰箱开门和关
门的方式可以参考现有技术，在此不再赘述。当用户在开启箱门然后关闭时，与所述储藏室对应的摄像装置开始启动并拍摄图片。可以理解的，其余储藏室中的摄像装置保持关闭状态。检测所述冰箱开门和关门的方式可以参考现有技术，在此不再赘述。
63.在第一种实施方式中，当所述云端识别到所述食物为预设的第一类型的食物时，采用数量识别；则，所述补货条件为所述食物的数量小于或等于预设的数量阈值。
64.示例性的，所述第一类型的食物为个数鲜明的食物，比如水果、厅装饮料等，所述数量阈值用户可以分别针对不同的种类的食物进行设定，所述数量阈值可以有多个，即针对不同种类的水果也设置了不同的数量阈值，如苹果和橙子，可以设置不同的数量阈值。当所述第一类型的食物的数量小于或等于其对应的数量阈值时，制定订单发送给关联商家。可以理解的，当个数鲜明的食物成堆叠状时，云端可以预估数量，如根据拍摄的到的食物的摆放位置和识别出来的单个食物相较于整个图片的尺寸比值来预估食物的整体数量，能够避免食物堆叠导致无法准确识别食物数量的问题。
65.在第二种实施方式中，当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别；则，所述补货条件为所述食物的尺寸小于或等于预设的尺寸阈值。
66.示例性的，所述第二类型的食物为块状食物，比如肉类食物，针对成块的肉类食物，采用食物在待识别图片中的占用面积进行估算，得到所述第二类型的食物的尺寸。可以理解的，针对成块的肉类食物，可以将当前图像识别结果和初次图像识别结果进行比对，以监控肉类食物的余量，如果检测到肉类食材的余量低于30％，则制定订单发送给关联商家。
67.在第三种实施方式中，当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别，所述云端预先建立有所述第二类型的食物的尺寸和重量的关联关系；其中，所述第二类型的食物为带射频识别标签的食物，所述标签上记录有当前食物的初始重量；则，所述补货条件为所述食物的重量小于或等于预设的重量阈值。
68.示例性的，所述冰箱可以具有rfid(radio frequency identification，射频识别技术)功能，针对肉类食物，标签内已经存储了食材的初始重量，通过图像识别该肉类的初始尺寸，并将该初始尺寸和初始重量建立关联关系，当尺寸发生变化时，可以得到对应的重量，能够自动检测肉类重量的消耗变化。当所述第二类型的食物的重量小于或等于预设的重量阈值时，则制定订单发送给关联商家。
69.值得说明的是，本发明实施例中的摄像装置可以固定在一个拍摄角度去拍摄块状食物，这样能够保证每次获取的图片都是一个角度的图片，在用户存取块状食物的过程中，可以和初次拍摄的图片进行比对，因图片的拍摄角度相同，因此在比对时能够准确得到块状食物的尺寸变化。可以理解的，当同一种食物同时放置在不同的储藏室时，云端可以对不同的摄像装置拍摄的图片进行信息整合以确定该食物的库存。
70.具体地，所述控制器中预先存储有用户指定的监控信息，所述监控信息包括了摄像装置的工作状态，所述控制器根据所述监控信息确定开启哪一个储藏室中的摄像装置以及所述摄像装置的监控时长。如用户需要监控某一冷藏室的食物库存，则可以通过设置监控信息给所述控制器。
71.具体地，所述云端的数据库中预先存储有与食材种类对应的标准库存、商家、送货地址、送货时间等信息。云端在识别出食物的库存之后，根据所述标准库存制定订单信息，然后将该订单信息发送给关联商家。
72.进一步地，所述将所述待识别图片上传至云端，包括：
73.获取当前时间，当所述当前时间处于预设的上传时间时，将所述摄像装置在所述上传时间前最后一次拍摄的所述待识别图片上传至云端。
74.在本发明实施例中，在处于预设的上传时间时，再将摄像装置最后一次拍摄的第一目标图片上传至云端，云端不会收到过多的图片，不会占用云端的存储资源。
75.相比于现有技术，本发明实施例所述的冰箱控制方法，通过在冰箱的储藏室中设置摄像装置，能够实时获取储藏室中食物的图片，云端在获取到待识别图片后，首先对待识别图片进行图像识别，所述图像识别包括数量识别和尺寸识别中的至少一种，针对不同类型的食物采用不同的识别方式，能够提高食物库存识别的准确性。另外，在识别结果满足预设的补货条件时制定订单发送给关联商家，商家能够根据订单送货上门。本发明公开的冰箱控制方法解决了现有冰箱在食材库存不足时，不能自动下单的问题，能有效检测冰箱中食物的库存，实现自动下单补货，提高了冰箱的智能化水平。
76.参见图3，图3是本发明实施例提供的一种冰箱自动补货方法的流程图，所述冰箱自动补货方法包括：
77.s31、接收冰箱发送的待识别图片；其中，所述待识别图片为设于所述冰箱的储藏室中的摄像装置拍摄的；
78.s32、对所述待识别图片中的食物进行图像识别；其中，所述图像识别包括数量识别和尺寸识别中的至少一种；
79.s33、在识别结果满足预设的补货条件时制定订单发送给关联商家。
80.值得说明的是，本发明实施例所述的冰箱自动补货方法由云端执行实现，所述云端预先与所述冰箱建立连接关系。
81.可选地，当所述云端识别到所述食物为预设的第一类型的食物时，采用数量识别；则，所述补货条件为所述食物的数量小于或等于预设的数量阈值。
82.可选地，当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别；则，所述补货条件为所述食物的尺寸小于或等于预设的尺寸阈值。
83.可选地，当所述云端识别到所述食物为预设的第二类型的食物时，采用尺寸识别，所述云端预先建立有所述第二类型的食物的尺寸和重量的关联关系；其中，所述第二类型的食物为带射频识别标签的食物，所述标签上记录有当前食物的初始重量；则，所述补货条件为所述食物的重量小于或等于预设的重量阈值。
84.可选地，所述将所述待识别图片上传至云端，包括：
85.获取当前时间，当所述当前时间处于预设的上传时间时，将所述摄像装置在所述上传时间前最后一次拍摄的所述待识别图片上传至云端。
86.具体的所述冰箱自动补货方法的工作流程可参考上述冰箱和云端的工作过程，在此不再赘述。
87.相比于现有技术，本发明实施例所述的冰箱自动补货方法，通过在冰箱的储藏室中设置摄像装置，能够实时获取储藏室中食物的图片，云端在获取到待识别图片后，首先对待识别图片进行图像识别，所述图像识别包括数量识别和尺寸识别中的至少一种，针对不同类型的食物采用不同的识别方式，能够提高食物库存识别的准确性。另外，在识别结果满足预设的补货条件时制定订单发送给关联商家，商家能够根据订单送货上门。本发明公开
的冰箱自动补货方法解决了现有冰箱在食材库存不足时，不能自动下单的问题，能有效检测冰箱中食物的库存，实现自动下单补货，提高了冰箱的智能化水平。
88.参见图4，图4是本发明实施例提供的一种冰箱自动补货系统100的结构框图,所述冰箱自动补货系统100包括云端20和上述任一实施例所述的冰箱10。
89.值得说明的是，本发明实施例所述冰箱自动补货系统100的工作过程可以参考上述实施例中所述冰箱的工作过程，在此不再赘述。
90.相比于现有技术，本发明实施例所述的冰箱自动补货系统，通过在冰箱的储藏室中设置摄像装置，能够实时获取储藏室中食物的图片，云端在获取到待识别图片后，首先对待识别图片进行图像识别，所述图像识别包括数量识别和尺寸识别中的至少一种，针对不同类型的食物采用不同的识别方式，能够提高食物库存识别的准确性。另外，在识别结果满足预设的补货条件时制定订单发送给关联商家，商家能够根据订单送货上门。本发明公开的冰箱自动补货系统解决了现有冰箱在食材库存不足时，不能自动下单的问题，能有效检测冰箱中食物的库存，实现自动下单补货，提高了冰箱的智能化水平。
91.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。