一种智能冰箱、存取动作识别方法、设备及介质与流程

1.本技术涉及图像处理领域，尤其涉及一种智能冰箱、存取动作识别方法、设备及介质。


背景技术：

2.随着科学技术的进步，智能冰箱出现在各个家庭中，作为家庭生活中最常见的白色家电。其中，关于冰箱的食材管理已成为智能冰箱的核心功能，食材管理包括食材种类、数量、保鲜期及存放位置信息的管理。其中，食材存放位置信息是基于食材的存取动作确定的。
3.在一些识别冰箱食材的存取动作的实现中，通常基于深度相机，获取物品的空间位置，再确定手部的位置，根据该物品的空间位置和手部的位置，识别用户当前的动作是存入动作还是取出动作。但是，在基于深度相机确定物品的空间位置时，当物品距离相机较远时，计算得到的物品的空间位置与实际的空间位置误差较大，会导致存取动作识别不准确、或无法识别的问题。


技术实现要素：

4.本技术提供了一种智能冰箱、存取动作识别方法、设备及介质，用以解决现有技术中存取动作识别不准确以及无法识别的问题。
5.第一方面，本技术提供一种智能冰箱，所述智能冰箱包括：
6.采集单元，所述采集单元被配置为采集第一目标rgb图像及采集第二目标rgb图像；
7.控制单元，所述控制单元被配置为：
8.确定采集到的第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区域，以及所述第一目标rgb图像的采集时间之后采集到的第二目标rgb图像中包含有手部区域的第二目标roi区域；
9.若识别到所述第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中所述第一目标roi区域的第一面积及所述第二目标rgb图像中所述第二目标roi区域的第二面积；根据所述第一面积和第二面积的大小，确定存取动作。
10.第二方面，本技术还提供一种存取动作识别方法，所述方法包括：
11.确定采集到的第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区域，以及所述第一目标rgb图像的采集时间之后采集到的第二目标rgb图像中包含有手部区域的第二目标roi区域；
12.若识别到所述第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中所述第一目标roi区域的第一面积及所述第二目标rgb图像中所述第二目标roi区域的第二面积；
13.根据所述第一面积和第二面积的大小，确定存取动作。
14.第三方面，本技术还提供一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现上述所述的存取动作识别方法的步骤。
15.第四方面，本技术还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的存取动作识别方法的步骤。
16.由于在本技术中，确定采集到的第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区域，以及该第一目标rgb图像的采集时间之后采集到的第二目标rgb图像中包含有手部区域的第二目标roi区域，若识别到该第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中该第一目标roi区域的第一面积及该第二目标rgb图像中该第二目标roi区域的第二面积，根据该第一面积和第二面积的大小，确定存取动作。在本技术中，通过确定第一目标rgb图像中包含有手部区域的第一目标roi区域和第一目标rgb图像中包含有手部区域的第二目标roi区域，当识别到第一目标roi区域位于食材存储区域时，根据第一目标roi区域和第二目标roi区域的面积的大小，确定存取动作，提高了存取动作识别的准确性。
附图说明
17.为了更清楚地说明本技术的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本技术提供的一种智能冰箱的结构示意图；
19.图2a为本技术的一些实施例提供的roi区域的示意图；
20.图2b为本技术的一些实施例提供的roi区域的示意图；
21.图3a为本技术一些实施例提供的抽屉的第一区域的示意图；
22.图3b为本技术一些实施例提供的抽屉的第一区域的示意图；
23.图4为本技术一些实施例提供的智能冰箱内部空间示意图；
24.图5a为本技术一些实施例提供的第一目标roi区域未位于第一区域内的显示示意图；
25.图5b为本技术一些实施例提供的第一目标roi区域位于第一区域内的显示示意图；
26.图6为本技术一些实施例提供的存取动作识别的流程示意图；
27.图7为本技术一些实施例提供的存取动作识别过程示意图；
28.图8为本技术提供的一种电子设备结构示意图。
具体实施方式
29.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
30.在本技术中，当接收到采集的第一目标rgb图像和在该第一目标rgb图像的采集时
间之后采集到的第二目标rgb图像后，确定该第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区域，以及该第二目标rgb图像中包含有手部区域的第二目标roi区域，若识别到该第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中该第一目标roi区域的第一面积及该第二目标rgb图像中该第二目标roi区域的第二面积，根据该第一面积和第二面积的大小，确定存取动作。
31.为了提高了存取动作识别的准确性，本技术提供了一种智能冰箱、存取动作识别方法、设备及介质。
32.图1为本技术提供的一种智能冰箱的结构示意图，该智能冰箱包括：
33.采集单元101，所述采集单元被配置为采集第一目标rgb图像及采集第二目标rgb图像；
34.控制单元102，所述控制单元被配置为确定采集到的第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区域，以及所述第一目标rgb图像的采集时间之后采集到的第二目标rgb图像中包含有手部区域的第二目标roi区域；
35.若识别到所述第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中所述第一目标roi区域的第一面积及所述第二目标rgb图像中所述第二目标roi区域的第二面积；
36.根据所述第一面积和第二面积的大小，确定存取动作。
37.在本技术中，智能冰箱内部的顶部区域安装有采集单元，当智能冰箱的冰箱门体被开启后，该采集单元实时地进行rgb图像的采集，具体的该采集单元中可以包括图像采集设备。为了减少由于手部运动导致拍摄到的rgb图像出现模糊不清楚的情况，在本技术中，该采集单元优先使用曝光时间较短的图像采集设备。
38.当采集到第一目标rgb图像和二目标rgb图像后，为了进行存取动作的识别，在本技术中，首先需要跟踪手部在目标rgb图像中的位置。其中，该第二目标rgb图像可以是该第一目标rgb图像的采集时间之后采集到的首张rgb图像，还可以是在该第一目标rgb图像的采集时间的预设时间间隔之后采集到的rgb图像。
39.具体的，确定第一目标rgb图像中包含有手部区域的第一目标感兴趣(roi，region of interest)区域，以及从第二目标rgb图像中获取包含手部区域的第二目标rgb图像。其中，在本技术中，该手部区域包括用户的手，以及用户手上拿的食材。
40.具体的，可以基于传统视觉的方法确定手部区域，例如通过手部肤色检测或运动目标检测等。
41.在本技术中，基于目标rgb图像识别存取动作时，为了节省资源，当目标rgb图像中的目标roi区域位于食材存储区域时，智能冰箱进行存取动作识别，若该目标rgb图像中的目标roi区域未位于食材存储区域，则不进行存取动作的识别，直至出现目标roi区域位于食材存储区域的目标rgb图像出现。
42.在本技术中，若识别到第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中的第一目标roi区域的第一面积以及第二目标rgb图像中的第二目标roi区域的第二面积。
43.在确定了第一面积和第二面积后，根据该第一面积和第二面积的大小，确定存取动作。具体的，若该第一面积大于该第二面积，在确定为存放动作，若该第一面积小于该第
二面积，则确定为拿取动作。
44.在本技术中，通过确定第一目标rgb图像中的第一目标roi区域和第一目标rgb图像中的第二目标roi区域，当识别到第一目标roi区域位于食材存储区域时，根据第一目标roi区域和第二目标roi区域的面积的大小，确定存取动作，提高了存取动作识别的准确性。
45.为了在目标rgb图像中确定包含手部区域的roi区域，在上述实施例的基础上，在本技术中，所述控制单元102，具体被配置为：
46.将目标rgb图像输入到训练完成的网络模型，接收所述网络模型输出标识有所述目标roi区域的信息的rgb图像。
47.在本技术中，在确定目标roi区域时，可以基于深度学习的方法。具体的，在确定目标rgb图像中包含的手部区域的roi区域时，将目标rgb图像输入到训练完成的网络模型，接收网络模型输出的标识有目标roi区域的信息的rgb图像。具体的，该目标roi区域的信息可以是在rgb图像中框选出的阴影区域，还可以是目标roi区域的信息在rgb图像中的坐标信息。
48.图2a为本技术的一些实施例提供的roi区域的示意图，如该图2a所示，该图2a中被框出的区域即为roi区域。
49.图2b为本技术的一些实施例提供的roi区域的示意图，如该图2b所示，该图2b中被框出的区域即为roi区域。
50.为了得到训练完成的用于获取目标roi区域的网络模型，在上述各实施例的基础上，在本技术中，所述控制单元102，具体被配置为：
51.获取训练集中的任一样本rgb图像，其中，所述样本rgb图像中预先标注有roi区域的第一位置信息；
52.将所述样本rgb图像输入到网络模型中，输出所述样本rgb图像中roi区域的第二位置信息；
53.根据所述第一位置信息和第二位置信息，对所述网络模型进行训练。
54.在基于深度学习的方法，确定目标roi区域时，需要预先完成对网络模型的训练。为了完成对网络模型的训练，预先配置有训练集，其中该训练集中保存有样本rgb图像，该样本rgb图像中预先标注有roi区域的第一信息。
55.具体进行训练时，获取训练集中的任一样本rgb图像，其中，在该样本rgb图像中预先标注有roi区域的第一信息，将样本rgb图像输入到网络模型中，输出该样本rgb图像中roi区域的第二信息，根据该第一信息和第二信息，对该网络模型进行训练。
56.具体的，将标记有roi区域的信息的rgb图像输入到网络模型中，对该网络模型进行训练，根据网络输出的结果和预先标记的roi区域计算该网络模型的损失值，再基于该损失值调整网络模型的参数。若该损失值达到最小损失值或者迭代次数达到预设的最大迭代次数，则认为完成了网络模型的训练。
57.为了识别第一目标roi区域是否位于食材存储区域，在上述各实施例的基础上，在本技术中，所述控制单元102，具体被配置为：
58.若确定智能冰箱的抽屉处于开启状态，则确定所述抽屉在所述第一目标rgb图像中的第一区域；
59.若所述第一目标roi区域位于所述第一区域内，则确定所述第一目标roi区域位于
食材存储区域。
60.在本技术中，若确定智能冰箱的抽屉处于开启状态，则用户可能在对抽屉内的食材进行存取操作，因此为了确定用户是否对抽屉内的食材进行存取操作，确定第一目标rgb图像中抽屉所在的第一区域，判断该第一目标roi区域是否位于该第一区域内，若该第一目标roi区域位于该第一区域内，则确定该第一目标roi区域位于食材存储区域，并且位于食材存储区域的抽屉位置。
61.确定了该抽屉处于开启状态后，在该构建了坐标系中的第一目标rgb图像中，确定第一目标roi区域的边缘的每个坐标，若该第一目标roi区域边缘的所有坐标均在第一区域的范围内，则确定该第一目标roi区域位于第一区域内，即确定该第一目标roi区域位于食材存储区域。
62.图3a为本技术一些实施例提供的抽屉的第一区域的示意图，如该图3a所示，被框出的区域即为抽屉的第一区域。
63.图3b为本技术一些实施例提供的抽屉的第一区域的示意图，如该图3b所示，被框出的区域即为抽屉的第一区域。
64.为了识别第一目标roi区域位于食材存储区域，在上述各实施例的基础上，在本技术中，所述控制单元102，具体被配置为：
65.根据预先保存的智能冰箱的除抽屉外的食材存储区域的第二区域，判断所述第一目标roi区域是否位于所述第二区域内；
66.若是，则确定所述第一目标roi区域位于食材存储区域。
67.智能冰箱中还包括除抽屉外的其他食材存储区域，如隔层、门侧收纳等，在本技术中，预先保存有智能冰箱除抽屉外的其他食材存储区域的第二区域，确定第一目标roi区域的边缘的每个坐标，若该第一目标roi区域边缘的所有坐标均在第二区域的范围内，则确定该第一目标roi区域位于该第二区域，确定该第一目标roi区域位于食材存储区域。
68.例如，确定第一目标rgb图像中抽屉的左上角的坐标为(105，90)，右下角的坐标为(200，75)，预先保存的抽屉的左上的坐标为(105，75)，右下角的坐标为(200，75)，确定该抽屉处于开启状态，并确定该抽屉的第一区域为以(150，90)、(105，75)、(200，75)和(200，90)为顶点的矩形框。识别到第一目标roi区域为以(160，82)、(160，70)、(180，70)和(180，82)为顶点的矩形框，通过坐标确定该第一目标roi区域位于该第一区域内，则确定该第一目标roi区域位于食材存储区域。
69.图4为本技术一些实施例提供的智能冰箱内部空间示意图，如该图4所示，该智能冰箱的采集单元位于内部空间的顶部中间位置，该智能冰箱的食材存放区域包括抽屉和隔层。
70.图5a为本技术一些实施例提供的第一目标roi区域未位于第一区域内的显示示意图，如该图5a所示，该第一目标roi区域未位于抽屉的第一区域。
71.图5b为本技术一些实施例提供的第一目标roi区域位于第一区域内的显示示意图，如该图5b所示，该第一目标roi区域位于抽屉的第一区域。
72.图6为本技术一些实施例提供的存取动作识别的流程示意图，如该图6所示，该过程包括：
73.s601：确定采集到的第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区
域，以及该第一目标rgb图像的采集时间之后采集到的第二目标rgb图像中包含有手部区域的第二目标roi区域。
74.s602：识别该第一目标roi区域是否位于食材存储区域，若是，则执行s603，若否，则结束。
75.s603：确定第一目标rgb图像中该第一目标roi区域的第一面积及该第二目标rgb图像中该第二目标roi区域的第二面积。
76.s604：根据该第一面积和第二面积的大小，确定存取动作。
77.为了提高了存取动作识别的准确性，在上述各实施例的基础上，在本技术中，所述控制单元102，具体被配置为：
78.若所述第一面积大于所述第二面积，则确定当前动作为存入动作；
79.若所述第一面积小于所述第二面积，则确定当前动作为取出动作。
80.在本技术中，在确定存取动作时，可以根据第一目标rgb图像中的第一目标roi区域的第一面积，以及在该第一目标rgb图像的采集时间之后采集的第二目标rgb图像中的第二目标roi区域的第二面积，确定存取动作。
81.具体的，在本技术中，智能冰箱中用于采集rgb图像的采集单元的位置是固定的，并且位于智能冰箱的顶部位置，当出现存入动作时，随着动作的发生，手部区域也就是目标roi区域时逐渐远离该图像采集设备的，因此在该采集单元采集到的rgb图像中，该目标roi区域的面积逐渐减小；当出现取出动作时，随着动作的发生，手部区域也就是目标roi区域时逐渐靠近该图像采集设备的，因此在该采集单元采集到的rgb图像中，该目标roi区域的面积逐渐增大。
82.因此，在本技术中，若第一目标rgb图像的第一目标roi区域的第一面积小于第二rgb图像的第二roi区域的第二面积，说明当前动作正在靠近图像采集设备，则确定当前动作为取出动作；若第一目标rgb图像的第一目标roi区域的第一面积大于第二rgb图像的第二roi区域的第二面积，说明当前动作正在远离图像采集设备，则确定当前动作为存入动作。
83.为了识别抽屉的开关状态，在上述各实施例的基础上，在本技术中，所述控制单元102，具体被配置为：
84.确定所述第一目标rgb图像中抽屉边缘的第一位置信息；
85.若所述第一位置信息和预先保存的抽屉闭合时抽屉边缘的第二位置信息不一致，则确定所述抽屉处于开启状态。
86.在确定抽屉是否处于开启状态时，在第一目标rgb图像中确定抽屉边缘的第一位置信息，根据该第一位置信息和预先保存的抽屉处于闭合状态时抽屉边缘的第二位置信息，确定该第一目标rgb图像中抽屉的状态信息。若该第一位置信息和该第二位置信息一致，则确定该抽屉处于闭合状态，若该第一位置信息和该第二位置信息不一致，则确定该抽屉处于开启状态。
87.具体的，在本技术中，根据预先设置有构建坐标系的方法，在第一目标rgb图像中构建坐标系，并将该第一目标rgb图像中抽屉边缘的坐标，根据预先保存的抽屉闭合时抽屉边缘的坐标，确定该抽屉是否处于开启状态，若该第一rgb图像中的抽屉边缘的坐标与预先保存的抽屉边缘的坐标不一致，则确定该抽屉处于开启状态。
88.图7为本技术一些实施例提供的存取动作识别过程示意图，如该图7所示，该过程包括：
89.s701：确定采集到的第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区域，以及所述第一目标rgb图像的采集时间之后采集到的第二目标rgb图像中包含有手部区域的第二目标roi区域。
90.s702：若识别到所述第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中所述第一目标roi区域的第一面积及所述第二目标rgb图像中所述第二目标roi区域的第二面积。
91.s703：根据所述第一面积和第二面积的大小，确定存取动作。
92.在一种可能的实施方式中，确定采集到的目标rgb图像中包含有手部区域的目标感兴趣roi区域包括：
93.将目标rgb图像输入到训练完成的网络模型，接收所述网络模型输出标识有所述目标roi区域的信息的rgb图像。
94.在一种可能的实施方式中，所述识别到所述第一目标roi区域位于食材存储位置包括：
95.若确定智能冰箱的抽屉处于开启状态，则确定所述抽屉在所述第一目标rgb图像中的第一区域；
96.若所述第一目标roi区域位于所述第一区域内，则确定所述第一目标roi区域位于食材存储区域。
97.在一种可能的实施方式中，所述识别到所述第一目标roi区域位于食材存储位置包括：
98.根据预先保存的智能冰箱的除抽屉外的食材存储区域的第二区域，判断所述第一目标roi区域是否位于所述第二区域内；
99.若是，则确定所述第一目标roi区域位于食材存储区域。
100.在一种可能的实施方式中，所述根据所述第一面积和第二面积的大小，确定存取动作包括：
101.若所述第一面积大于所述第二面积，则确定当前动作为存入动作；
102.若所述第一面积小于所述第二面积，则确定当前动作为取出动作。
103.在一种可能的实施方式中，所述网络模型的训练过程包括：
104.获取训练集中的任一样本rgb图像，其中，所述样本rgb图像中预先标注有roi区域的第一信息；
105.将所述样本rgb图像输入到网络模型中，输出所述样本rgb图像中roi区域的第二信息；
106.根据所述第一信息和第二信息，对所述网络模型进行训练。
107.在一种可能的实施方式中，确定所述抽屉处于开启状态包括：
108.确定所述第一目标rgb图像中抽屉边缘的第一位置信息；
109.若所述第一位置信息和预先保存的抽屉处于闭合状态时抽屉边缘的第二位置信息不一致，则确定所述抽屉处于开启状态。
110.图8为本技术提供的一种电子设备结构示意图，在上述各实施例的基础上，本技术
还提供了一种电子设备，如图8所示，包括：处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信；
111.所述存储器803中存储有计算机程序，当所述程序被所述处理器801执行时，使得所述处理器801执行如下步骤：
112.确定采集到的第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区域，以及所述第一目标rgb图像的采集时间之后采集到的第二目标rgb图像中包含有手部区域的第二目标roi区域；
113.若识别到所述第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中所述第一目标roi区域的第一面积及所述第二目标rgb图像中所述第二目标roi区域的第二面积；
114.根据所述第一面积和第二面积的大小，确定存取动作。
115.在一种可能的实施方式中，确定采集到的目标rgb图像中包含有手部区域的目标感兴趣roi区域包括：
116.将目标rgb图像输入到训练完成的网络模型，接收所述网络模型输出标识有所述目标roi区域的信息的rgb图像。
117.在一种可能的实施方式中，所述识别到所述第一目标roi区域位于食材存储位置包括：
118.若确定智能冰箱的抽屉处于开启状态，则确定所述抽屉在所述第一目标rgb图像中的第一区域；
119.若所述第一目标roi区域位于所述第一区域内，则确定所述第一目标roi区域位于食材存储区域。
120.在一种可能的实施方式中，所述识别到所述第一目标roi区域位于食材存储位置包括：
121.根据预先保存的智能冰箱的除抽屉外的食材存储区域的第二区域，判断所述第一目标roi区域是否位于所述第二区域内；
122.若是，则确定所述第一目标roi区域位于食材存储区域。
123.在一种可能的实施方式中，所述根据所述第一面积和第二面积的大小，确定存取动作包括：
124.若所述第一面积大于所述第二面积，则确定当前动作为存入动作；
125.若所述第一面积小于所述第二面积，则确定当前动作为取出动作。
126.在一种可能的实施方式中，所述网络模型的训练过程包括：
127.获取训练集中的任一样本rgb图像，其中，所述样本rgb图像中预先标注有roi区域的第一信息；
128.将所述样本rgb图像输入到网络模型中，输出所述样本rgb图像中roi区域的第二信息；
129.根据所述第一信息和第二信息，对所述网络模型进行训练。
130.在一种可能的实施方式中，确定所述抽屉处于开启状态包括：
131.确定所述第一目标rgb图像中抽屉边缘的第一位置信息；
132.若所述第一位置信息和预先保存的抽屉处于闭合状态时抽屉边缘的第二位置信
息不一致，则确定所述抽屉处于开启状态。
133.由于上述电子设备解决问题的原理与存取动作识别方法相似，因此上述电子设备的实施可以参见上述实施例，重复之处不再赘述。
134.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口802用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
135.在上述各实施例的基础上，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
136.确定采集到的第一目标rgb图像中包含有手部区域的第一目标感兴趣roi区域，以及所述第一目标rgb图像的采集时间之后采集到的第二目标rgb图像中包含有手部区域的第二目标roi区域；
137.若识别到所述第一目标roi区域位于食材存储区域，则确定第一目标rgb图像中所述第一目标roi区域的第一面积及所述第二目标rgb图像中所述第二目标roi区域的第二面积；
138.根据所述第一面积和第二面积的大小，确定存取动作。
139.在一种可能的实施方式中，确定采集到的目标rgb图像中包含有手部区域的目标感兴趣roi区域包括：
140.将目标rgb图像输入到训练完成的网络模型，接收所述网络模型输出标识有所述目标roi区域的信息的rgb图像。
141.在一种可能的实施方式中，所述识别到所述第一目标roi区域位于食材存储位置包括：
142.若确定智能冰箱的抽屉处于开启状态，则确定所述抽屉在所述第一目标rgb图像中的第一区域；
143.若所述第一目标roi区域位于所述第一区域内，则确定所述第一目标roi区域位于食材存储区域。
144.在一种可能的实施方式中，所述识别到所述第一目标roi区域位于食材存储位置包括：
145.根据预先保存的智能冰箱的除抽屉外的食材存储区域的第二区域，判断所述第一目标roi区域是否位于所述第二区域内；
146.若是，则确定所述第一目标roi区域位于食材存储区域。
147.在一种可能的实施方式中，所述根据所述第一面积和第二面积的大小，确定存取
动作包括：
148.若所述第一面积大于所述第二面积，则确定当前动作为存入动作；
149.若所述第一面积小于所述第二面积，则确定当前动作为取出动作。
150.在一种可能的实施方式中，所述网络模型的训练过程包括：
151.获取训练集中的任一样本rgb图像，其中，所述样本rgb图像中预先标注有roi区域的第一信息；
152.将所述样本rgb图像输入到网络模型中，输出所述样本rgb图像中roi区域的第二信息；
153.根据所述第一信息和第二信息，对所述网络模型进行训练。
154.在一种可能的实施方式中，确定所述抽屉处于开启状态包括：
155.确定所述第一目标rgb图像中抽屉边缘的第一位置信息；
156.若所述第一位置信息和预先保存的抽屉处于闭合状态时抽屉边缘的第二位置信息不一致，则确定所述抽屉处于开启状态。
157.由于上述提供的计算机可读取介质解决问题的原理与存取动作识别方法相似，因此处理器执行上述计算机可读取介质中的计算机程序后，实现的步骤可以参见上述实施例，重复之处不再赘述。
158.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
159.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
160.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
161.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
162.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。