冰箱控制方法、冰箱及计算机可读存储介质与流程

本申请涉及智能控制的技术领域，尤其涉及一种冰箱控制方法、冰箱及计算机可读存储介质。

背景技术：

人们在日常生活中，饮食上大都遵循着一日三餐的规律，但现代社会人们因为工作繁忙等原因，普遍没有足够的时间去搭配适合自己健康状况的饮食。因此，很难做到膳食平衡，及保证身体健康。现有技术中已经存在营养配餐系统及其实现营养配餐的方法，可以对每个人每日的膳食进行管理，自由选配出一天的食物，进而安排出将来的一个时间段的食物。

但是，现有技术中随机选择食物进行配餐，且生成的配餐清单中的食材品种多样，可能存在食物不易获取的情况，并且不能实时地针对已有的个别食材提出搭配意见。随着智能冰箱的普及以及大屏冰箱的产生，冰箱具备了更加丰富的功能。冰箱是家庭中存储食物的主要容器，如何确定冰箱里存储的食材与从冰箱中拿出的食材是否适合搭配使用，成为了亟需解决的问题。

技术实现要素：

本申请的主要目的在于提供一种冰箱控制方法、冰箱及计算机可读存储介质，旨在提供一种更方便更智能的食材搭配和提醒方式。

第一方面，本申请提供一种冰箱控制方法，所述冰箱控制方法包括以下步骤：

当检测到冰箱的箱门开启时，开启安装在所述冰箱内的摄像头；

通过所述摄像头采集用户拿取食材的视频数据，并根据所述视频数据确定所述用户拿取的目标食材；

获取所述冰箱中的食材信息集，以及预设的食材搭配清单；

根据所述食材搭配清单、食材信息集和目标食材，确定食材搭配提醒，并输出所述食材搭配提醒。

第二方面，本申请还提供一种冰箱，所述冰箱包括摄像头、处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的冰箱控制方法的步骤。

第三方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的冰箱控制方法的步骤。

本申请提供一种冰箱控制方法、冰箱及计算机可读存储介质，本申请当检测到冰箱的箱门开启时，开启安装在该冰箱内的摄像头以采集用户拿取食材的视频数据，根据该视频数据确定该用户拿取的目标食材，然后获取冰箱中的食材信息集以及预设的食材搭配清单，在根据该食材搭配清单、食材信息集和目标食材，确定食材搭配提醒，最后输出该食材搭配提醒，可以提醒用户冰箱中的那些食材可以和用户拿取的食材进行搭配或者不搭配，提供一种更方便更智能的食材搭配和提醒方式，极大提高了用户体验。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种冰箱控制方法的流程示意图；

图2为图1中的冰箱控制方法的子步骤流程示意图；

图3为本申请实施例提供的一种冰箱的示意图；

图4为实施本实施例提供的冰箱控制方法的一场景示意图；

图5为本申请实施例提供的一种冰箱显示屏的示意图；

图6为本申请实施例提供的一种冰箱的结构示意性框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请实施例提供一种冰箱控制方法、冰箱及计算机可读存储介质。其中，该冰箱控制方法可应用于冰箱，该冰箱可以是压缩式电冰箱、吸收式电冰箱、电磁振动式冰箱等。

可以理解的，该冰箱控制方法也可应用于终端设备或服务器中，该终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、智能电视等电子设备；该服务器可以为单台的服务器，也可以为由多台服务器组成的服务器集群。具体地，由终端设备或服务器作为执行主体，承担计算和处理任务并生成控制指令，再将控制指令发送至冰箱，以控制冰箱执行相应步骤。

以下以该冰箱控制方法应用于冰箱为例进行解释说明。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请的实施例提供的一种冰箱控制方法的流程示意图。

如图1所示，该冰箱控制方法包括步骤s101至步骤s104。

步骤s101、当检测到冰箱的箱门开启时，开启安装在所述冰箱内的摄像头。

所述冰箱包括冷冻室、冷藏室和变温室中的至少一个间室。所述冰箱还安装有摄像头，可选地安装在间室的箱门上，当间室的箱门打开时，用于采集图像数据或者视频数据。其中，所述摄像头可以为单目摄像头、双目摄像头、2d摄像头和深度摄像头等。需要说明的是，该摄像头可以是一个或者多个，且该摄像头可以安装在冰箱的任意一个或多个间室中。例如，该摄像头分别安装在冰箱的冷藏室和冷冻室的箱门上，当所述冷藏室或冷冻室的箱门打开时，可以拍摄关于所述冷藏室或冷冻室的视频数据。

在一实施例中，检测到冰箱的箱门开启预设时间后，控制开启安装在所述冰箱内的摄像头。具体地，通过所述冰箱中的计时器，在检测到所述冰箱的箱门开启时，开始计时；当所述计时的时间达到预设时间时，开启安装在所述冰箱内部的摄像头，以采集图像数据或者视频数据。其中，该预设时间可根据实际情况进行设置，本申请不做具体限定，可选的，预设时间为3s，可以理解的是，也可以在检测到冰箱的箱门开启时，立即开启安装在所述冰箱内的摄像头，此时的预设时间为零。

需要说明的是，所述冰箱的箱门处设置有门控开关，该门控开关根据所述箱门的开关而连通或断开，以检测所述箱门的开关状态，其中，该门控开关可以是微动开关或接近开关。可以理解的是，也可以通过冰箱内设置的传感器检测所述箱门的开关状态，例如接近传感器或者光电传感器等，本申请不做具体限定。

在一实施例中，冰箱中安装有射频识别rfid阅读器，用于读取冰箱内的rfid标签信息。当所述冰箱读取到新的rfid标签信息，或者不能读取到冰箱的任一当前rfid标签信息时，则开启所述冰箱内部的摄像头，以采集所述冰箱内部的图像。其中，新的rfid标签信息为当前rfid标签库中不存在的rfid标签信息，该当前rfid标签库用于存储所述冰箱内的当前食材的rfid标签信息。需要说明的是，若读取到新的rfid标签信息，或者不能读取到冰箱的当前rfid标签库中的任意一个当前rfid标签信息时，则认为冰箱的箱门开启，用户正在拿取或放置贴有rfid标签的食材，可以控制开启安装在所述冰箱内的摄像头。

在一实施例中，冰箱内安装有红外传感装置，该红外传感装置包括红外发射器和红外接收器，用于检测所述冰箱箱门的开关状态。该红外发射器用于发射特定频率的红外光，当所述箱门开启时，红外接收器接收不到红外光信号或者接收的红外光信号较弱；当所述箱门关闭时，红外接收器接收的红外光信号较强。

步骤s102、通过所述摄像头采集用户拿取食材的视频数据，并根据所述视频数据确定所述用户拿取的目标食材。

当冰箱的箱门打开时，可以控制所述摄像头进行拍摄得到视频数据。一般而言，冰箱的箱门打开时，用户正处于从冰箱中拿取食材或者往冰箱中放置食材的动作状态。通过所述摄像头采集用户拿取食材的视频数据，并根据所述视频数据确定所述用户拿取的目标食材。

在一实施例中，如图2所示，步骤s102包括：子步骤s1021至子步骤s1023。

子步骤s1021、通过所述摄像头录制包括用户手部的第一视频数据。

请参阅图3，如图3所示，摄像头可以安装在第一区域a或者第二区域b，其中，第一区域a为冰箱一内壁的上侧区域，第二区域b冰箱的箱门内侧的上端部分。需要说明的是，通过在第一区域a或者第二区域b安装的至少一个摄像头可以拍摄到包括用户手部的第一视频数据。可以理解的是，所述摄像头也可以安装在冰箱内部的其他区域或者冰箱的外部，只要所述摄像头能够录制包括用户手部的第一视频数据即可，不代表对本申请的限制。

在一实施例中，采用自适应窗口定位第一视频数据中的用户手部。具体的，首先从第一视频数据中选取一帧待识别的视频数据，通过自适应窗口定位所选一帧待识别的视频数据的手部区域。通过自适应窗口能够知晓第一视频数据中何时出现用户手部，以及用户手部出现的位置。

子步骤s1022、基于预先训练的行为识别模型，对所述第一视频数据进行筛选，得到所述用户拿取食材的第二视频数据。

其中，所述第一视频数据可以包括用户拿取食材的第二视频数据，也可以包括用户放置食材的第三视频数据，还可以包括用户手部伸入冰箱准备拿取食材和用户食材放置完毕手部伸出冰箱的第四视频数据。需要说明的是，用户拿取食材的第二视频数据为用户手部拿着食材从冰箱伸出的过程。基于预先训练的行为识别模型，对所述第一视频数据进行动作识别，并保留用户手部拿着食材从冰箱伸出的动作过程，得到所述用户拿取食材的第二视频数据。该行为识别模型可以为多层卷积神经网络模型、深度残差网络模型、对抗神经网络模型、混合神经网络模型和26自由度手部模型等。

在一实施例中，行为识别模型为多层卷积神经网络模型。其中，多层卷积神经网络包括输入层、多个卷积、池化层、默认框层、行为分类层和输出层，该默认框层用于根据多个卷积层选择默认框的长宽比，通过默认框层可以得到的每一帧视频数据的手部特征向量；行为分类层用于对每一帧视频数据的手部特征向量进行动作分类，以确定用户拿取食材的每一帧视频数据；输出层用于输出用户拿取食材的每一帧视频数据，得到第二视频数据。

进一步地，行为分类层用于将每个动态手部动作用t帧表示，对t帧手部特征向量进行量化，得到t帧离散特征向量；对所述t帧离散特征向量进行训练，获得行为分类层参数；训练后的行为分类层用于对所述t帧离散特征向量进行分类判别，得到手部动作识别结果；根据所述手部动作识别结果，确定第二视频数据。其中，手部动作识别结果包括拿取食材的第一动作、放置食材的第二动作、手部伸入冰箱准备拿取食材的第三动作和食材放置完毕手部伸出冰箱的第四动作。该手部动作识别结果还包括每个动作各自对应的t帧视频数据，第一动作对应的每个t帧视频数据即为第二视频数据。

在一实施例中，用户的手部先是伸入冰箱放置食材，食材放置完毕后，又拿取该放置的食材，需要说明的是，任何从冰箱中拿取食材的过程都被视为第二视频数据，包括拿取上述放置的食材的过程。

子步骤s1023、根据所述第二视频数据确定所述用户拿取的目标食材。

具体地，从第二视频数据中截取至少一帧图像数据；将至少一帧所述图像数据输入预先训练的食材识别模型，确定所述用户拿取的目标食材。其中，该食材识别模型为深度学习的卷积神经网络，将截取至少一帧图像数据发送到冰箱的处理器，该处理器将接收到的至少一帧图像数据输入预设的卷积神经网络，可以确定用户拿取的目标食材。

在一实施例中，将训练样本输入到深度学习的卷积神经网络中，利用深度学习框架caffe，对深度学习的卷积神经网络进行训练，可以获得训练好的卷积神经网络。其中，训练样本为各种类型的食材图像，包括各种类型的蔬菜、水果、肉类等食物的图像，通过训练好的卷积神经网络检测所述图像数据，可以确定用户拿取的食材类型。

进一步地，卷积神经网络包括预处理子层、特征识别子层和输出层，通过预处理子层，对图像数据进行预处理，得到经过预处理后的图像数据；基于特征提取子层，对经过预处理后的图像数据进行特征识别，得到用户拿取的食材类型。其中，预处理子层用于对目标图像进行预处理，预处理的过程包括平滑去噪、腐蚀、膨胀等。同时，也要根据检测方法对图像数据进一步加工，例如边缘检测、灰度变化、斑点检测、深度检测等。特征提取子层用于对经过预处理后的图像数据进行特征识别，以确定图像数据中的食材类型，其中，所识别的食材特征可以是食材形状、食材颜色、食材花纹等。输出层用于输出识别出的目标食材，该输出的目标食材可以是一个或者多个。通过卷积神经网络识别用户拿取的食材类型，可以提高识别的准确度。

可以理解的是，也可以采用其他适当的图像识别方法来确定所述用户拿取的目标食材，例如，在截取至少一帧图像数据之后，可以采用诸如尺度不变特征变换算法、基于角点的图像特征提取与匹配算法、基于局部特征的图像匹配与识别、基于视觉信息的图像特征提取算法等各种不同的方法，对图至少一帧像数据进行处理，以确定所述用户拿取的目标食材，本申请不作具体限定。

在一实施例中，冰箱中安装有射频识别rfid阅读器，用于读取冰箱内的rfid标签信息，rfid标签信息包括食材类型、食材重量等信息。当冰箱的当前rfid标签库中的任意当前rfid标签信息消失时，获取该任意当前rfid标签信息，并根据该任意当前rfid标签信息，确定用户拿取的目标食材。其中，该当前rfid标签库用于存储所述冰箱内的当前食材的rfid标签信息，该当前rfid标签信息为当前rfid标签库中的rfid标签信息。需要说明的是，若所述冰箱不能读取到当前rfid标签库中的任意一个当前rfid标签信息，则认为冰箱的箱门开启，且用户正在拿取贴有rfid标签的食材，根据该rfid标签对应的rfid标签信息，可以确定所述用户拿取的目标食材。

步骤s103、获取所述冰箱中的食材信息集，以及预设的食材搭配清单。

食材信息集为冰箱当前存有的食材信息的集合，食材信息包括食材的种类、重量等信息，食材搭配清单为不同食材之间进行搭配的清单，可以参考中医理论、用户的历史习惯数据或者现代营养理论预先列出。例如《中国居民膳食指南》指出，人们平均每天需要摄入12种以上食物，每周25种以上，食材搭配清单可以预先列出多种食材相互搭配的方案，例如推荐鸡蛋和西红柿搭配。又例如，《中国居民膳食指南》指出，我国多数居民目前食盐、烹调油和脂肪摄入过多，这是高血压、肥胖和心脑血管疾病等慢性病发病率居高不下的重要因素，因此食材搭配清单可以预先列出多种食材不建议相互搭配的方案，例如不建议巧克力和冰淇淋搭配食用。可以理解的是，食材搭配清单中的多种食材相互搭配的方案可以是某道菜的菜谱，食材搭配清单还可以包括该菜谱的具体介绍。

在一实施例中，获取所述冰箱内部的目标图像，并根据所述目标图像确定所述冰箱中的食材信息集；或者，获取所述冰箱内部的rfid标签信息，并根据所述rfid标签信息确定所述冰箱中的食材信息集。需要说明的是，冰箱中安装有射频识别rfid阅读器，用于读取冰箱内部的rfid标签信息，rfid标签信息包括食材类型、食材重量等信息。

其中，通过冰箱安装的摄像头获取所述冰箱内部的目标图像，所述冰箱中的食材信息集的确定方式具体为：将所述目标图像输入预先训练的食材识别模型，得到所述冰箱中的食材信息集。需要说明的是，食材识别模型可以为深度学习的卷积神经网络，其具体实施步骤可参考子步骤s1023中的实施例，本申请不再进行赘述。

步骤s104、根据所述食材搭配清单、食材信息集和目标食材，确定食材搭配提醒，并输出所述食材搭配提醒。

需要说明的是，食材搭配清单为不同食材之间进行搭配的清单，食材信息集为冰箱当前存有的食材信息的集合，目标食材为用户从冰箱中拿取的食材。通过食材搭配清单，可以确定目标食材是否与食材信息集中的食材搭配，并输出所述食材搭配提醒，以提醒用户食材信息集中的那些食材可以和目标食材进行搭配或者不搭配，提供一种更方便更智能的食材搭配和提醒方式，极大提高了用户体验。

在一实施例中，确定食材搭配提醒的具体方法为：根据所述食材搭配清单和目标食材，确定与所述目标食材对应的目标搭配信息；将所述食材信息集与目标搭配信息进行对比，保留所述食材信息集中的与目标搭配信息一致的食材信息，得到食材搭配提醒。其中，食材搭配清单中包括多种多样的食材之间的搭配信息，该目标搭配信息为目标食材与其他食材之间的搭配信息，例如目标搭配信息为鸡蛋与其他食材之间的搭配信息。

其中，所述目标搭配信息包括第一搭配信息和第二搭配信息；所述确定与所述目标食材对应的目标搭配信息，包括：根据所述目标食材的标识，从所述食材搭配清单中确定与所述标识对应的第一搭配信息和第二搭配信息。其中，目标食材的标识与目标搭配信息一一对应，第一搭配信息为建议搭配信息，即目标食材和其他食材进行搭配的建议信息，例如建议鸡蛋与西红柿、鸡蛋与韭菜、鸡蛋与火腿肠等搭配；第二搭配信息为不建议搭配信息，即目标食材和其他食材不进行搭配的建议信息，例如不建议巧克力与冰淇淋、巧克力与蛋糕、巧克力与奶油等搭配。

进一步地，将所述食材信息集与第一搭配信息进行对比，保留所述食材信息集中的与所述第一搭配信息一致的食材信息，得到第一食材搭配提醒；以及，将所述食材信息集与第二搭配信息进行对比，保留所述食材信息集中的与所述第二搭配信息一致的食材信息，得到第二食材搭配提醒。示例性地，第一搭配信息为建议鸡蛋与西红柿、鸡蛋与韭菜、鸡蛋与火腿肠搭配，第二搭配信息为不建议巧克力与冰淇淋、巧克力与蛋糕、巧克力与奶油搭配；食材信息集为[西红柿、冰淇淋、韭菜、蛋糕、土豆、鱼肉]；则可以得出第一食材搭配提醒为鸡蛋与西红柿、韭菜可以搭配，第二食材搭配提醒为巧克力与冰淇淋、蛋糕不要一起搭配食用。

在一实施例中，所述食材搭配提醒包括第一食材搭配提醒和第二食材搭配提醒；将所述第一食材搭配提醒发送至所述冰箱的显示屏进行显示和/或播报；和/或，将所述第二食材搭配提醒发送至终端设备，以供所述终端设备显示和/或播报所述第二食材搭配提醒。其中，第一食材搭配提醒为目标食材和其他食材进行搭配的提醒列表，例如建议鸡蛋与西红柿、韭菜搭配；第二食材搭配提醒为目标食材和其他食材不进行搭配的提醒列表，例如不建议巧克力和冰淇淋搭配。

示例性地，如图4所示，冰箱a将所述第二食材搭配提醒发送至终端设备b，以供所述终端设备b播报所述第二食材搭配提醒，第二食材搭配提醒为不建议巧克力和冰淇淋搭配，可以智能地提醒用户c，以保证用户c的膳食平衡和饮食健康。如图5所示，将所述第一食材搭配提醒发送至所述冰箱的显示屏进行显示，该冰箱的显示屏显示有食材搭配提醒，该第一食材搭配提醒为建议鸡蛋与西红柿搭配，以及建议鸡蛋与西红柿、火腿肠搭配，可以智能地提醒用户冰箱中有哪些食材可以与目标食材搭配食用，极大地提高用户体验。

在一实施例中，可以将第一食材搭配提醒和第二食材搭配提醒发送至所述冰箱和/或终端设备进行显示和/或播报，本申请不做具体限定。

上述实施例提供的冰箱控制方法，当检测到冰箱的箱门开启时，开启安装在该冰箱内的摄像头以采集用户拿取食材的视频数据，根据该视频数据确定该用户拿取的目标食材，然后获取冰箱中的食材信息集以及预设的食材搭配清单，在根据该食材搭配清单、食材信息集和目标食材，确定食材搭配提醒，最后输出该食材搭配提醒，可以提醒用户冰箱中的那些食材可以和用户拿取的食材进行搭配或者不搭配，提供一种更方便更智能的食材搭配和提醒方式，极大提高了用户体验。

请参阅图6，图6为本申请实施例提供的一种冰箱的结构示意性框图。该冰箱可以为压缩式电冰箱、吸收式电冰箱、电磁振动式冰箱等。

如图6所示，该冰箱包括通过系统总线连接的摄像头、处理器和存储器，其中，摄像头可以采集用户拿取食材的视频数据，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种冰箱控制方法。

处理器用于提供计算和控制能力，支撑整个冰箱的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种冰箱控制方法。

该冰箱还可以包括与系统总线连接的网络接口，该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的冰箱的限定，具体的冰箱可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(centralprocessingunit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

当检测到冰箱的箱门开启时，开启安装在所述冰箱内的摄像头；

通过所述摄像头采集用户拿取食材的视频数据，并根据所述视频数据确定所述用户拿取的目标食材；

获取所述冰箱中的食材信息集，以及预设的食材搭配清单；

根据所述食材搭配清单、食材信息集和目标食材，确定食材搭配提醒，并输出所述食材搭配提醒。

在一个实施例中，所述处理器在实现所述食材搭配提醒包括第一食材搭配提醒和第二食材搭配提醒；所述输出所述食材搭配提醒时，用于实现：

将所述第一食材搭配提醒发送至所述冰箱的显示屏进行显示和/或播报；和/或

将所述第二食材搭配提醒发送至终端设备，以供所述终端设备显示和/或播报所述第二食材搭配提醒。

在一个实施例中，所述处理器在实现所述根据所述食材搭配清单、食材信息集和目标食材，确定食材搭配提醒时，用于实现：

根据所述食材搭配清单和目标食材，确定与所述目标食材对应的目标搭配信息；

将所述食材信息集与目标搭配信息进行对比，保留所述食材信息集中的与所述目标搭配信息一致的食材信息，得到食材搭配提醒。

在一个实施例中，所述处理器在实现所述目标搭配信息包括第一搭配信息和第二搭配信息；所述根据所述食材搭配清单和目标食材，确定与所述目标食材对应的目标搭配信息时，用于实现：

根据所述目标食材的标识，从所述食材搭配清单中确定与所述标识对应的第一搭配信息和第二搭配信息；

所述处理器还用于实现：

将所述食材信息集与第一搭配信息进行对比，保留所述食材信息集中的与所述第一搭配信息一致的食材信息，得到第一食材搭配提醒；以及

将所述食材信息集与第二搭配信息进行对比，保留所述食材信息集中的与所述第二搭配信息一致的食材信息，得到第二食材搭配提醒。

在一个实施例中，所述处理器在实现所述通过所述摄像头采集用户拿取食材的视频数据，并根据所述视频数据确定所述用户拿取的目标食材时，用于实现：

通过所述摄像头录制包括用户手部的第一视频数据；

基于预先训练的行为识别模型，对所述第一视频数据进行筛选，得到所述用户拿取食材的第二视频数据；

根据所述第二视频数据确定所述用户拿取的目标食材。

在一个实施例中，所述处理器在实现所述根据所述视频数据确定所述用户拿取的目标食材时，用于实现：

从所述视频数据中截取至少一帧图像数据；

将至少一帧所述图像数据输入预先训练的食材识别模型，确定所述用户拿取的目标食材。

在一个实施例中，所述处理器在实现所述获取所述冰箱中的食材信息集时，用于实现：

获取所述冰箱内部的目标图像，并根据所述目标图像确定所述冰箱中的食材信息集；或者

获取所述冰箱内部的rfid标签信息，并根据所述rfid标签信息确定所述冰箱中的食材信息集。

在一个实施例中，所述处理器在实现所述根据所述目标图像确定所述冰箱中的食材信息集时，用于实现：

将所述目标图像输入预先训练的食材识别模型，得到所述冰箱中的食材信息集。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述冰箱的具体工作过程，可以参考前述冰箱控制方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请冰箱控制方法的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的冰箱的内部存储单元，例如所述冰箱的硬盘或内存。所述计算机可读存储介质也可以是所述冰箱的外部存储设备，例如所述冰箱上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。