一种智能冰箱和食材存取动作识别方法与流程

1.本发明涉及家电技术领域，尤其涉及一种智能冰箱和食材存取动作识别方法。


背景技术：

2.冰箱作为一种家用电器，已经非常广泛地使用在人们的日常生活中，随着人们生活节奏的不断加快，为更方便食用，人们通常将很多日常使用的食材存储在冰箱中。
3.近来，冰箱的容积越来越大，冰箱中存放的食材越来越多，用户往往不清楚各种食材分别放在冰箱中的哪个储藏空间，而由于冰箱在进行食材存取动作的识别时，无法确定存取的食材对应的存取位置，因此无法准确地向用户反馈各个食材对应的储藏空间，导致用户在冰箱中寻找所需要的食材浪费大量的时间。
4.因此，如何确定食材存取动作对应的存取位置，成为亟待解决的技术问题。


技术实现要素：

5.本技术实施例提供一种智能冰箱和食材存取动作识别方法，可以识别用户的食材存取动作对应的存取位置，有助于准确地向用户反馈各个食材存放的储藏空间。
6.本技术实施例提供的具体技术方案如下：
7.第一方面，本技术实施例提供一种智能冰箱，包括：
8.机壳，机壳内部设有多个储藏室，每个储藏室均设有门体；
9.图像采集装置，图像采集装置连接在机壳的外壁上，用于采集门体的活动区域的图像；
10.处理器，处理器被配置为：若第一储藏室的门体打开，则获取图像采集装置采集的图像构成的图像序列；第一储藏室为多个储藏室中的任意一个储藏室；
11.从图像序列中检测运动目标；
12.若第一储藏室内包括多个储藏空间，则获取预先建立的智能冰箱的结构模型中第一储藏室的结构模型；
13.根据图像序列中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置之间的关系，确定运动目标中包含的食材的存取位置。
14.在本技术实施例中，将图像采集装置安装在智能冰箱机壳的外壁上，可以实现包括冰箱冷藏区和冷冻区的全空间存取动作和存取位置识别。通过获取图像采集装置采集的图像构成的图像序列，从图像序列中检测运动目标，再根据图像序列中运动目标的位置与各个储藏空间的位置之间的关系，可以识别用户的食材存取动作对应的存取位置，有助于准确地向用户反馈各个食材存放的储藏空间。
15.在一种可选的实施方式中，图像采集装置通过伸缩杆连接在机壳顶部的外壁上；
16.处理器还被配置为：若第一储藏室的门体打开，则控制伸缩杆带动图像采集装置从机壳顶部伸出，并开启图像采集装置以采集图像；若第一储藏室的门体关闭，则关闭图像采集装置，并控制伸缩杆带动图像采集装置缩回。
17.在本技术实施例中，当检测到储藏室的门体处于打开状态时，图像采集装置被唤醒弹出，当检测到储藏室的门体处于关闭状态时，图像采集装置缩回，可以保持智能冰箱整体的美观，还可以防止图像采集装置长时间伸出智能冰箱之外，受到其它物体的碰撞而损坏。
18.在一种可选的实施方式中，处理器还被配置为：
19.在确定运动目标中包含的食材的存取位置之后，根据检测到的运动目标分别确定运动目标中包含的食材的种类和食材存取动作的类型；
20.根据食材存取动作的类型、运动目标中包含的食材的种类和存取位置，更新智能冰箱的食材储存信息。
21.在本技术实施例中，在用户打开智能冰箱的门体时，可以确定用户此次食材存取动作的类型，以及存取的食材的种类和存取位置，进而可以根据上述信息，更新智能冰箱的食材存储信息，即在每次用户存取食材后，均可以确定智能冰箱中当前存储的食材的信息，准确地向用户反馈各个食材对应的储藏空间，使用户不必再耗费大量的时间从冰箱中寻找所需要的食材，因此可以节省用户的时间。
22.在一种可选的实施方式中，处理器还被配置为：
23.通过图像采集装置采集智能冰箱在各个状态下的空间区域图像；各个状态包括智能冰箱的各个储藏室的门体处于打开状态或关闭状态；
24.从空间区域图像中分别提取多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息；其中，每个边缘的位置信息包括边缘在空间区域图像中对应的线段的端点坐标；
25.根据多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息，建立智能冰箱的结构模型。
26.在本技术实施例中，根据多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息，建立智能冰箱的结构模型，用于标识智能冰箱在各种状态时，各个储藏空间的边缘在图像采集装置所采集的图像中的投影位置，进而标示出智能冰箱的各个储藏空间在图像采集装置所采集的图像中的投影区域。在对用户的食材存取动作对应的存取位置进行识别时，采用预先建立的智能冰箱的结构模型，可以提高食材存取动作和存取位置自动化识别的实时性。
27.同时，由于智能冰箱的结构模型中包括每个储藏室的内部结构模型，其中也包括冷冻区储藏室的内部结构模型，从而可以避免出现当用户把食材储存在冷冻区储藏室时，没有相应的冷冻区储藏室而导致无法被识别或出现识别发生紊乱的问题。
28.在一种可选的实施方式中，处理器具体被配置为：
29.针对空间区域图像中的每条线段，分别确定线段的位置信息；线段的位置信息包括线段的端点坐标和线段的长度；线段的长度是根据线段的端点坐标确定的；
30.根据长度不小于设定长度阈值的线段的位置信息，确定多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息。
31.在图像采集装置所采集的图像中，智能冰箱内部的各个储藏空间都有清晰地边缘特征，该边缘特征在图像中表现为线段。根据各个边缘对应的线段的端点坐标确定线段的长度，可以确定线段在所在智能冰箱的结构模型中的位置，有助于更好的建立智能冰箱的
结构模型。
32.考虑到智能冰箱的门体内壁上可能存在一些凹凸结构，在图像采集装置所采集的图像中也表现为线段，而这部分线段并不构成储藏空间的边缘，因此在建立智能冰箱的结构模型时会造成干扰。本技术实施例通过设定的长度阈值确定在构建结构模型的过程中所需要的目标线段，可以过滤掉对构建智能冰箱模型造成干扰的短小的边缘特征，得到准确度更高的智能冰箱的结构模型，使智能冰箱的结构模型中各个储藏空间的投影区域的范围更加清晰。
33.在一种可选的实施方式中，处理器具体被配置为：
34.根据每条线段的方向，分别确定每条线段对应的边缘的方向；
35.针对方向为水平方向的边缘对应的线段，将长度不小于设定的第一长度阈值的线段作为目标线段；
36.针对方向为竖直方向的边缘对应的线段，将长度不小于设定的第二长度阈值的线段作为目标线段；第一长度阈值大于第二长度阈值；
37.根据各个目标线段的位置信息，确定多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息。
38.考虑到智能冰箱中储藏空间的水平边缘和竖直边缘在图像中对应的线段的长度可能会不同，本技术实施例针对水平边缘对应的线段和竖直边缘对应的线段分别设置不同的阈值，可以更加准确地过滤掉会造成干扰的非边缘线段。
39.在一种可选的实施方式中，处理器具体被配置为：
40.将图像序列中的相邻的每两帧图像进行比对，确定各帧图像中包含的运动目标以及运动目标在各帧图像中的位置。
41.在一种可选的实施方式中，处理器具体被配置为：
42.根据图像序列中运动目标在各帧图像中的位置，确定运动目标距离图像下边界最近的目标图像；
43.将目标图像中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置进行匹配，确定目标图像中运动目标的位置所对应的目标储藏空间；
44.将目标储藏空间作为运动目标中包含的食材的存取位置。
45.在本技术实施例中，通过把图像序列中的相邻的每两帧图像进行比对，把实际变化的区域和背景分开，获取到运动目标，可以在确定运动目标的同时，获取到运动目标在各帧图像中的位置，通过识别获取目标图像，确定运动目标所在的存储空间的位置，可以对每次进行的存取动作都进行识别，保证所有被存储或者被取出的食材都可以被识别到，采用动态识别的方法避免被存储到图像采集装置视野后方的食材被位于图像采集装置视野前方的食材遮挡而无法被识别的问题。
46.在一种可选的实施方式中，处理器具体被配置为：
47.通过食材识别模型对检测到的运动目标进行识别，确定运动目标中包含的食材以及食材的种类；
48.分别确定运动目标中的食材在图像序列的各帧图像中的位置；
49.根据所述食材在所述各帧图像中的位置，确定食材的运动方向；
50.若所述食材的运动方向指向所述智能冰箱，确定食材存取动作的类型为存入食
材；
51.若所述食材的运动方向远离所述智能冰箱，确定食材存取动作的类型为取出食材。
52.在本技术的实施例中，通过判断食材的运动方向结合对食材种类的识别确定食材存取动作的类型，可以确保每一种食材的存取类型都被自动识别，不需要用户手动录入食材的存取信息，简化了用户在使用智能冰箱时的步骤，使智能冰箱的使用更加人性化，更加贴合大众的需求。
53.第二方面，本技术实施例提供一种食材存取动作的识别方法，应用于智能冰箱，智能冰箱包括多个储藏室和安装在机壳外壁上的图像采集装置，每个储藏室均设有门体，图像采集装置用于采集门体的活动区域的图像；方法包括：
54.若第一储藏室的门体打开，则获取图像采集装置采集的图像构成的图像序列；第一储藏室为所述多个储藏室中的任意一个储藏室；
55.从图像序列中检测运动目标；
56.若第一储藏室内包括多个储藏空间，则获取预先建立的智能冰箱的结构模型中所述第一储藏室的结构模型；
57.根据图像序列中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置之间的关系，确定运动目标中包含的食材的存取位置。
58.在一种可选的实施方式中，若第一储藏室的门体打开，则控制伸缩杆带动图像采集装置从机壳顶部伸出，并开启图像采集装置以采集图像；若第一储藏室的门体关闭，则关闭图像采集装置，并控制伸缩杆带动图像采集装置缩回。
59.在一种可选的实施方式中，在确定运动目标中包含的食材的存取位置之后，根据检测到的运动目标分别确定运动目标中包含的食材的种类和食材存取动作的类型；
60.根据食材存取动作的类型、运动目标中包含的食材的种类和存取位置，更新智能冰箱的食材储存信息。
61.在一种可选的实施方式中，通过图像采集装置采集智能冰箱在各个状态下的空间区域图像；各个状态包括智能冰箱的各个储藏室的门体处于打开状态或关闭状态；
62.从空间区域图像中分别提取多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息；其中，每个边缘的位置信息包括边缘在空间区域图像中对应的线段的端点坐标；
63.根据多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息，建立智能冰箱的结构模型。
64.在一种可选的实施方式中，针对空间区域图像中的每条线段，分别确定线段的位置信息；线段的位置信息包括线段的端点坐标和线段的长度；线段的长度是根据线段的端点坐标确定的；
65.根据长度不小于设定长度阈值的线段的位置信息，确定多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息。
66.在一种可选的实施方式中，根据每条线段的方向，分别确定每条线段对应的边缘的方向；
67.针对方向为水平方向的边缘对应的线段，将长度不小于设定的第一长度阈值的线
段作为目标线段；
68.针对方向为竖直方向的边缘对应的线段，将长度不小于设定的第二长度阈值的线段作为目标线段；第一长度阈值大于第二长度阈值；
69.根据各个目标线段的位置信息，确定多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息。
70.在一种可选的实施方式中，将图像序列中的相邻的每两帧图像进行比对，确定各帧图像中包含的运动目标以及运动目标在各帧图像中的位置。
71.在一种可选的实施方式中，根据图像序列中运动目标在各帧图像中的位置，确定运动目标距离图像下边界最近的目标图像；
72.将目标图像中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置进行匹配，确定目标图像中运动目标的位置所对应的目标储藏空间；
73.将目标储藏空间作为运动目标中包含的食材的存取位置。
74.在一种可选的实施方式中，通过食材识别模型对检测到的运动目标进行识别，确定运动目标中包含的食材以及食材的种类；
75.分别确定运动目标中的食材在图像序列的各帧图像中的位置；
76.根据食材在各帧图像中的位置，确定食材的运动方向；
77.若食材的运动方向指向智能冰箱，确定食材存取动作的类型为存入食材；
78.若食材的运动方向远离智能冰箱，确定食材存取动作的类型为取出食材。
79.第三方面，本技术实施例提供一种食材存取动作识别装置，所述装置包括：
80.第一获取单元，第一储藏室的门体打开，获取图像采集装置采集的图像构成的图像序列；第一储藏室为多个储藏室中的任意一个储藏室；
81.检测单元，从图像序列中检测运动目标；
82.第二获取单元，第一储藏室内包括多个储藏空间，获取预先建立的智能冰箱的结构模型中第一储藏室的结构模型；
83.第三获取单元，根据图像序列中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置之间的关系，确定运动目标中包含的食材的存取位置。
84.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面中任意一种食材存取动作识别方法的步骤。
85.第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
86.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
87.图1为本技术实施例提供的一种智能冰箱的应用场景图；
88.图2为本技术实施例提供的一种智能冰箱的硬件结构示意图；
89.图3为本技术实施例提供的一种智能冰箱的结构示意图；
90.图4为本技术实施例提供的一种智能冰箱的结构示意图；
91.图5为本技术实施例提供的一种智能冰箱的侧视结构示意图；
92.图6为本技术实施例提供的一种智能冰箱的结构示意图；
93.图7为本技术实施例提供的一种智能冰箱的结构模型图；
94.图8为本技术实施例提供的另一种智能冰箱的结构模型图；
95.图9为本技术实施例提供的一种食材存取动作识别方法的流程示意图；
96.图10为本技术实施例提供的一种智能冰箱储存食材的结构模型图；
97.图11为本技术实施例提供的一种智能冰箱取出食材的结构模型图；
98.图12为本技术实施例提供的另一种食材存取动作识别方法的流程示意图；
99.图13为本技术实施例提供的一种智能冰箱的结构示意图。
具体实施方式
100.为了使本技术领域的人员更好地理解本公开中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
101.在本公开的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
102.术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
103.在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。
104.目前，冰箱作为一种家用电器，已经非常广泛地使用在人们的日常生活中，随着人们生活节奏的不断加快，为方便食用，人们通常会把大量的食材存储在冰箱中。当下冰箱容积越来越大，冰箱中食材的摆放往往较为拥挤且杂乱无章，用户往往不清楚食材分别放在了冰箱中的哪一层位置，在冰箱中找食材会耗费大量时间。因此，需要一种可以向用户提供食材存储位置信息的智能冰箱，帮助用户节省时间。
105.基于该问题，本技术实施例提出一种食材存取动作识别方法，无需用户手动录入所存取的食材，智能冰箱在用户打开冰箱时，通过安装在外壁上的图像采集装置自动采集运动目标的图像序列，从图像序列中检测运动目标，再根据图像序列中运动目标的位置与
各个储藏空间的位置之间的关系，可以识别用户的食材存取动作对应的存取位置，有助于准确地向用户反馈各个食材存放的储藏空间。
106.图1为本技术实施例提供的一种智能冰箱的应用场景图。参见图1所示，智能冰箱100与服务器200通过互联网等多种通信方式进行数据通信。其中，智能冰箱100通过局域网(local area network，lan)、无线局域网(wireless local area network，wlan)和其他网络进行通信连接。
107.服务器200可以向智能冰箱100提供各种内容和互动。示例的，智能冰箱100可以发送和接收信息，例如：接收运动目标识别数据、访问远程储存的数字媒体库、发送待检测图像数据。服务器200可以一组，也可以多组，可以一类或多类服务器。服务器200可以部署于本地，也可以部署于云端，通过服务器200实现图像识别等功能。
108.智能冰箱100可以根据用户存取食材的动作确定食材对应的存取位置。智能冰箱的类型、尺寸大小和功率等可以不同。
109.在一些实施例中，如图2和图3所示，智能冰箱100至少包括机壳110，门体120，图像采集装置130，以及处理器140，其中，机壳110内部设有多个储藏室，每个储藏室均设有门体120。门体120与机壳110活动连接，用于遮挡储藏室的开口。图像采集装置130与机壳110连接，用于采集门体的活动区域的图像。处理器140可以设置在机壳110中，也可以设置在门体120中，本技术对此并不限定。
110.本技术实施例中，智能冰箱100可以是冰箱门体上设有电子显示屏幕的智能冰箱，也可以是其他类型的智能冰箱，例如：具有语音播报功能的智能冰箱、没有设置电子显示屏幕的智能冰箱等，在本实施例中以图4所示的设有电子显示屏幕的智能冰箱为例进行说明，当用户打开智能冰箱冷藏区储藏室的门体进行存储食材时，电子显示屏上可以相应的显示出智能冰箱的结构模型，并突出显示处于打开状态的冷藏区储藏室的区域，标示用户正在冷藏区储藏室的储藏空间中存储食材。可选地，电子显示屏上还可以显示冷藏区储藏室的内部结构。
111.在本技术实施例中，图像采集装置130可以设置在机壳110的顶部，也可以设置在机壳110的其他部位，例如将图像采集装置130设置于机壳110的底部位置等。图像采集装置可以是为彩色相机，也可以是其他类型的相机，如深度相机等。在本技术实施例中以彩色相机为例进行说明。如图3和图4所示，彩色相机通过相机弹出装置安装在智能冰箱的机壳外壁的顶部中心位置，彩色相机位于在相机弹出装置内部，当用户打开智能冰箱的门体时，相机弹出装置带动彩色相机一起被弹出。
112.假设智能冰箱包括冷藏区储藏室150、第一冷冻区储藏室160和第二冷冻区储藏室170共三个储藏室。当智能冰箱的三个储藏室的门体都处于关闭状态时，安装在智能冰箱机壳外壁顶部中心的相机弹出装置131处于伸缩状态，如图5实线部分所示，当用户打开智能冰箱三个储藏室的门体中的任意一个门体时，安装在智能冰箱机壳外壁顶部中心的相机弹出装置131被唤醒，然后弹出，如图5虚线部分所示。图5是智能冰箱和相机弹出装置的侧视图。
113.在本技术实施例中，相机弹出装置131可以包括控制开关和伸缩杆，图像采集装置固定在伸缩杆的端部。当感应到用户打开智能冰箱任意一个储藏室的门体时，处理器控制相机弹出装置的控制开关，使其控制伸缩杆弹出，进而带动图像采集装置弹出。
114.在本实施例中，以图3所示的将图像采集装置130安装在智能冰箱机壳110外侧顶部中心的位置进行描述。在用户打开冰箱门体时，安装在机壳外侧顶部中心的图像采集装置拍摄到的图像中智能冰箱的内部结构更对称，在存取食材时对用户存取动作和食材存取位置的识别也更加准确。
115.如图3所示，图像采集装置130被设置于机壳110的外侧顶部中心，用于采集门体的活动区域的图像。在安装好图像采集装置130之后，可以先通过图像采集装置130采集智能冰箱在各个状态下的空间区域图像，基于智能冰箱在各个状态下的空间区域图像，建立智能冰箱的结构模型，以使在实际使用时，用户打开第一储藏室的门体120存食材或者取食材，处理器140监测到第一储藏室的门体120被打开，获取图像采集装置130采集的图像构成的图像序列。其中，第一储藏室为上述多个储藏室中的任意一个储藏室。处理器140可以基于图像采集装置130获取的图像序列，确定用户的食材存取动作对应的存取位置。
116.为了便于理解本技术实施例，下文中先介绍智能冰箱的结构模型的建立过程。
117.示例性地，假设智能冰箱包括冷藏区储藏室150、第一冷冻区储藏室160和第二冷冻区储藏室170共三个储藏室，如图3和图6所示。可以先将智能冰箱三个储藏室的门体全部关闭，通过图像采集装置采集智能冰箱的第一张空间区域图像，再将智能冰箱的冷藏区储藏室的门体打开，其余两个冷冻区储藏室的门体关闭，图6示出了智能冰箱在该状态下的结构图。在该状态下，通过图像采集装置采集智能冰箱的第二张空间区域图像，然后打开第一冷冻区储藏室的门体，第二冷冻区储藏室的门体保持关闭，通过图像采集装置采集智能冰箱的第三张空间区域图像，图7示出了图像采集装置采集到的第三张空间区域图像的示意图。接着打开第二冷冻区储藏室的门体，通过图像采集装置采集智能冰箱的第四张空间区域图像，还可以仅打开第一冷冻区储藏室的门体，关闭冷藏区储藏室的门体和第二冷冻区储藏室的门体，通过图像采集装置采集第五张空间区域图像，图8示出了图像采集装置采集到的第五张空间区域图像的示意图。其余各种状态下的空间区域图像都需要通过图像采集装置进行采集，此处不再赘述。
118.通过上述过程，可以获取图像采集装置采集的智能冰箱在各个状态下的空间区域图像，包括智能冰箱的各个储藏室的门体处于打开状态或关闭状态的空间区域图像。从各张空间区域图像中分别提取多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息。
119.在一种实施例中，每个边缘的位置信息可以包括每个边缘在空间区域图像中对应的线段的端点坐标。根据多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息，建立智能冰箱的结构模型。
120.例如，可以将各个储藏空间的边缘对应的线段组成一个边缘集合，记为l，边缘集合l可以表示为：l＝[l1,l2,l3,...,ln]。其中，ii表示在空间区域图像中，各个储藏空间的边缘对应的线段，i＝1,2,3，
……
n。每条线段表示为：
[0121]
li＝[x
i1
,y
i1
,x
i2
,y
i2
]
[0122]
x
i1
,x
i2
,y
i1
,y
i2
依次为第i条线段两端点的x坐标和y坐标。
[0123]
根据上述各个边缘对应的线段的端点坐标，可以建立智能冰箱的结构模型。智能冰箱的结构模型用于标示智能冰箱内部的各个储藏空间的边缘在图像采集装置所采集的图像中的投影位置，进而标示出智能冰箱的各个储藏空间在图像采集装置所采集的图像中
的投影区域。
[0124]
在另一种实施例中，可以针对空间区域图像中的每条线段，分别确定每条线段的位置信息，线段的位置信息可以包括线段的端点坐标和线段的长度，其中，线段的长度是根据线段的端点坐标确定的。
[0125]
例如，可以将各个储藏空间的边缘对应的线段组成一个边缘集合，记为l，边缘集合l可以表示为：l＝[l1,l2,l3,...,ln]。其中，ii表示在空间区域图像中，各个储藏空间的边缘对应的线段，i＝1,2,3，
……
n。第i条线段可以表示为：
[0126]
li＝[x
i1
,y
i1
,x
i2
,y
i2
,di]
[0127]
x
i1
,x
i2
,y
i1
,y
i2
依此为每条线段两端点的x坐标和y坐标,di表示线段的长度。
[0128]
第i条线段的长度可以根据第i条线段的端点坐标确定，可以表示为：
[0129][0130]
其中，d
li
表示第i条线段的长度。
[0131]
确定每条线段的长度后，保留线段的长度不小于设定长度阈值的线段的位置信息，确定多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息。
[0132]
智能冰箱的门体内壁上可能存在一些凹凸结构，在图像采集装置所采集的图像中也表现为线段，而这部分线段并不构成储藏空间的边缘，因此在建立智能冰箱的结构模型时会造成干扰。本实施例通过设定的长度阈值确定在构建结构模型的过程中所需要的目标线段，可以过滤掉对构建智能冰箱模型造成干扰的短小的边缘特征，得到准确度更高的智能冰箱的结构模型。
[0133]
在另一种实施例中，针对空间区域图像中的每条线段，分别确定每条线段的位置信息，线段的位置信息可以包括线段的端点坐标、线段的长度和线段的方向，其中，线段的长度和方向是根据线段的端点坐标确定的。
[0134]
在该实施例中，第i条线段可以表示为：
[0135]
li＝[x
i1
,y
i1
,x
i2
,y
i2
,di,θi]
[0136]
x
i1
,x
i2
,y
i1
,y
i2
依此为每条线段两端点的x坐标和y坐标，di为线段的长度，θi为线段的方向。
[0137]
第i条线段的长度可以根据第i条线段的端点坐标确定，可以表示为：
[0138][0139]
其中，d
li
表示第i条线段的长度。
[0140]
第i条线段的方向可以根据第i条线段的端点坐标确定，可以表示为：
[0141][0142]
其中，θ
li
表示第i条线段的方向。
[0143]
根据得到的线段的方向，判断每条线段对应的边缘的方向。
[0144]
在本实施例中，当θ
li
的绝对值在[0,45
°
]区间内时，线段对应的边缘为垂直边缘，当θ
li
的绝对值在[45
°
,90
°
]区间内时，线段对应的边缘为水平边缘。在另一种实施例中，可
以是当θ
li
的绝对值在[0,30
°
]区间内时，线段对应的边缘为垂直边缘，当θ
li
的绝对值在[30
°
,90
°
]区间内时，线段对应的边缘为水平边缘。具体的，θ
li
的区间绝对值会根据智能冰箱的尺寸，大小等参数发生变化，因此需要根据实际情况进行设定。
[0145]
针对方向为水平方向的边缘对应的线段，将长度不小于设定的第一长度阈值的线段作为目标线段。针对方向为竖直方向的边缘对应的线段，将长度不小于设定的第二长度阈值的线段作为目标线段。其中，第一长度阈值大于第二长度阈值。
[0146]
考虑到智能冰箱中储藏空间的水平边缘和竖直边缘在图像中对应的线段的长度可能会不同，例如，图6中示出了水平边缘601和垂直边缘602。从图6中可以看出，水平边缘601的长度一般大于垂直边缘602的长度。因此，水平边缘对应的第一长度阈值可以大于垂直边缘对应的第二长度阈值。本技术实施例针对水平边缘对应的线段和竖直边缘对应的线段分别设置不同的阈值，可以更加准确地过滤掉会造成干扰的非边缘线段。
[0147]
例如：智能冰箱中水平边缘对应的线段中，长度最短的线段是10厘米，垂直边缘对应的线段中，长度最短的线段是5厘米，设置第一长度阈值为10厘米，第二长度阈值为5厘米，用两种长度阈值分别对水平边缘对应的线段和垂直边缘对应的线段进行过滤，可以更加准确的过滤对构建智能冰箱模型会造成干扰的线段，有助于使构建的智能冰箱结构模型中的边缘界限更加清晰，使对于食材位置的识别更加准确。
[0148]
提取多个储藏室以及多个储藏室中的各个储藏空间的边缘位置信息，可以根据多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息，建立智能冰箱的结构模型。
[0149]
上述建立智能冰箱的结构模型的过程可以在冰箱出厂前进行，也可以在重新安装图像采集装置之后进行。
[0150]
在实际应用中，当用户打开智能冰箱时，会在智能冰箱中存放食材或者取出食材，处理器确定门体120处于打开状态时，根据图像采集装置130采集的图像，确定食材的种类、食材存取动作的类型和食材的存取位置。
[0151]
具体的，当处理器确定门体120处于打开状态时，控制图像采集装置130开始进行拍摄，采集门体活动区域的图像。处理器获取图像采集装置130采集的图像序列，基于获取的图像序列，从图像序列中检测运动目标并根据运动目标中包含的食材再图像序列中的位置，确定食材的运动方向；将包含运动目标的目标图像发往服务器200，服务器200根据目标图像中运动目标的位置与各个储藏空间的位置之间的关系，确定运动目标中包含的食材的存取位置。
[0152]
图9示出了一种食材存取动作识别方法的流程图。具体包括以下步骤：
[0153]
步骤s901，若监测到第一储藏室的门体打开，则获取图像采集装置采集的图像构成的图像序列。
[0154]
其中，第一储藏室可以是智能冰箱包括的多个储藏室中的任意一个储藏室。
[0155]
在本技术实施例中，智能冰箱在各个储藏室的门体处均安装有一个机械开关，不同的机械开关与处理器的不同引脚连接。当打开任意一个储藏室的门体时，会释放对应的机械开关，触发处理器的对应引脚的高低电平发生变化。处理器接收到任意一个引脚高低电平的变化。处理器根据高低电平发生变化的引脚，可以确定被释放的是哪一个机械开关，从而可以确定是哪一个储藏室的门体被打开。当关闭任意一个储藏室的门体时，会按压对
应的机械开关，触发处理器的对应引脚的高低电平发生变化，处理器根据接收到该高低电平的变化，确定是哪一个储藏室的门体被关闭。
[0156]
当处理器监测到任意一个储藏室的门体被打开时，启动图像采集装置，获取图像采集装置采集的图像构成的图像序列。
[0157]
步骤s902：从图像序列中检测运动目标。
[0158]
在一种实施例中，根据静态背景下的运动目标检测算法，将图像序列中的相邻的每两帧图像进行比对，确定出每两帧图像中像素点的像素值不同的区域，该区域即为运动目标所在的位置。从而可以将图像序列中的运动目标与背景分开,确定各帧图像中包含的运动目标以及运动目标在各帧图像中的位置。
[0159]
在本技术的实施例中，上述静态背景下的运动目标检测算法可以采用背景差分法，帧间差分法，光流法和混合高斯模型法中的任意一种运动目标检测算法。
[0160]
步骤s903：若第一储藏室内包括多个储藏空间，获取预先建立的智能冰箱的结构模型中第一储藏室的结构模型。
[0161]
步骤s904：根据图像序列中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置之间的关系，确定运动目标中包含的食材的存取位置。
[0162]
可以根据图像序列中运动目标在各帧图像中的位置，确定运动目标距离图像下边界最近的目标图像。将目标图像中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置进行匹配，确定目标图像中运动目标的位置所对应的目标储藏空间，将目标储藏空间作为运动目标中包含的食材的存取位置。
[0163]
例如，假设第一储藏室为冷藏区储藏室，冷藏区储藏室包括由多个隔板分隔开的四个储藏空间。其中，第一层隔板与智能冰箱的顶部内侧壁之间为第一储藏空间，第一层隔板与第二层隔板之间为第二储藏空间，第二层隔板与第三层隔板之间为第三储藏空间，第三层隔板与智能冰箱的底部内侧壁之间为第四储藏空间。在用户打开冷藏区储藏室的门体后，处理器获取图像采集装置采集到的图像序列，从图像序列中可以看到，用户的手部先伸入冰箱，再远离冰箱的整个过程。并且，在图像序列中，用户的手部为运动目标，智能冰箱的冷藏区储藏室的内部结构为静态背景。
[0164]
运动目标在图像序列的各帧图像中的位置不同。在图像序列中，运动目标先由图像的上部逐渐接近图像的下边界，然后再逐渐远离图像的下边界。根据图像序列中运动目标在各帧图像中的位置，可以确定运动目标距离图像下边界最近的目标图像，该目标图像即为用户的手部伸入冰箱内部的图像。如图10所示，假设在目标图像中，运动目标的位置位于第一层隔板的边缘与第二层隔板的边缘之间，将目标图像中运动目标的位置与预先设置的冷藏区储藏室的结构模型中各个储藏空间的位置进行匹配后，可以确定运动目标的位置位于第二储藏空间对应的投影区域内，从而可以确定运动目标中包含的食材的存取位置，即用户此次食材存取动作对应的食材存取位置。
[0165]
在另一种实施例中，根据图像序列中运动目标在各帧图像中的位置，可以确定运动目标的运动方向，根据运动目标的运动方向，可以将图像序列中的图像分为两部分，得到两个图像子序列。在第一图像子序列中，运动目标的运动方向指向智能冰箱，在第二图像子序列中，运动目标的运动方向远离智能冰箱。可以将运动目标的运动方向发生变化时的前一帧图像或后一帧图像作为目标图像，采用上述方法，根据目标图像中运动目标的位置，确
定运动目标中包含的食材的存取位置。
[0166]
在另一种实施例中，根据图像序列中运动目标在各帧图像中的位置，可以确定运动目标的运动方向，根据运动目标的运动方向，可以将图像序列中的图像分为两部分，得到两个图像子序列。如图10和图11所示，在第一图像子序列中，运动目标的运动方向指向智能冰箱，在第二图像子序列中，运动目标的运动方向远离智能冰箱。在任意一帧图像中，运动目标对应的位置区域朝向运动目标的运动方向的一侧，可以称为运动目标的顶部边缘，如图10所示，101为运动目标的顶部边缘。可选地，在第一图像子序列中，确定与运动目标的顶部边缘发出交叉的最后一个边缘的位置坐标，将该最后一个边缘的位置坐标与预先设置的冷藏区储藏室的结构模型中各个储藏空间的位置进行匹配，确定该最后一个边缘对应的目标储藏空间，将目标储藏空间作为运动目标中包含的食材的存取位置；或者，可选地，在第二图像子序列中，确定与运动目标的顶部边缘发出交叉的第一个边缘的位置坐标，将该第一个边缘的位置坐标与预先设置的冷藏区储藏室的结构模型中各个储藏空间的位置进行匹配，确定该第一个边缘对应的目标储藏空间，将目标储藏空间作为运动目标中包含的食材的存取位置。
[0167]
在一种实施例中，智能冰箱包含冷藏区储藏室、第一冷冻区储藏室和第二冷冻区储藏室，其中，冷藏区储藏室包含多个储藏空间，第一冷冻区储藏室和第二冷冻区储藏室仅包含一个储藏空间，若用户打开冷藏区储藏室的门体，释放相应的机械开关，根据释放的机械开关，可以确定打开的是冷藏区储藏室的门体，然后在智能冰箱机壳上的电子显示屏上显示预设的冷藏区储藏室的结构模型，再根据对用户的存取动作的识别进一步判断食材的存取位置；若用户打开第一冷冻区储藏室的门体，释放相应的机械开关，根据释放的机械开关，可以确定打开的是第一冷冻区储藏室的门体，然后在智能冰箱机壳上的电子显示屏上显示预设的第一冷冻区储藏室的结构模型，确定食材的存取位置为第一冷冻区。
[0168]
在本实施例中，将图像采集装置安装在智能冰箱机壳的外壁上，可以实现包括冰箱冷藏区和冷冻区的全空间存取动作和存取位置识别。通过获取图像采集装置采集的图像构成的图像序列，从图像序列中检测运动目标，再根据图像序列中运动目标的位置与各个储藏空间的位置之间的关系，可以识别用户的食材存取动作对应的存取位置，有助于准确地向用户反馈各个食材存放的储藏空间。
[0169]
与图9所示的方法基于同一发明构思，图12示出了另一种食材存取动作识别方法的流程图。该方法具体包括以下步骤：
[0170]
步骤s1201，若监测到智能冰箱的冷藏区储藏室门体被打开，相机弹出装置带动彩色相机弹出，采集门体的活动区域的图像，构成图像序列。
[0171]
步骤s1202，将图像序列中的相邻的每两帧图像进行比对，确定各帧图像中包含的运动目标以及运动目标在各帧图像中的位置。
[0172]
步骤s1203，通过食材识别模型对检测到的运动目标进行识别，确定运动目标中包含的食材以及食材的种类。
[0173]
在一种实施例中，用户打开智能冰箱多个储藏室中的任一个，相机弹出装置被唤醒，携带图像采集装置被弹出，图像采集装置采集包含食材的运动目标的图像，将图像序列发送到处理器，处理器根据深度学习算法训练获得的神经网络对图像序列中的任一帧图像进行识别，获得食材信息。
[0174]
步骤s1204，根据食材在各帧图像中的位置，确定食材的运动方向，并根据食材的运动方向，确定食材存取的类型。
[0175]
在本技术实施例中，处理器获取的图像序列是一系列连贯的存取动作的图像序列，通过对部分或者全部的图像序列中运动目标的位置进行比对，获取食材的运动方向，根据食材的运动方向，若食材的运动方向指向冰箱，则食材的存取类型为存入食材，若食材的运动方向远离冰箱，则食材的存取类型为取出食材。
[0176]
步骤s1205，根据图像序列中运动目标在各帧图像中的位置，确定运动目标距离图像下边界最近的目标图像。
[0177]
在本技术实施例中，处理器获取的图像序列是一系列连贯的存取动作的图像序列，从用户打开智能冰箱储藏室的门体开始拍摄到用户完成存取动作关闭智能冰箱储藏室的门体，因此获取的图像序列中的每张图片中运动目标的位置都是变化的，当用户将食材储存进目标位置或者刚从智能冰箱中取出食材时拍摄到的图像是最靠近图像下边界的目标图像，根据目标图像可以识别到食材的存储位置。
[0178]
步骤s1206，将目标图像中运动目标的位置与冷藏区储藏室的结构模型中各个储藏空间的位置进行匹配，确定目标图像中运动目标的位置所对应的目标储藏空间；将目标储藏空间作为运动目标中包含的食材的存取位置。
[0179]
步骤s1207，根据食材存取动作的类型、运动目标中包含的食材的种类和存取位置，更新智能冰箱的食材储存信息。
[0180]
在本技术实施例中，根据获取的食材存取动作的类型、运动目标中包含的食材的种类和食材的存取位置，相应的更新智能冰箱中储存的食材的信息，例如，从第一冷冻区储藏室中取出食材，将食材存入冷藏区储藏室第一储存空间的位置。
[0181]
在本实施例中，在用户打开智能冰箱的门体时，可以确定用户此次食材存取动作的类型，以及存取的食材的种类和存取位置，进而可以根据上述信息，更新智能冰箱的食材存储信息，即在每次用户存取食材后，均可以确定智能冰箱中当前存储的食材的信息，准确地向用户反馈各个食材对应的储藏空间，使用户不必再耗费大量的时间从冰箱中寻找所需要的食材，因此可以节省用户的时间。
[0182]
示例性地，在一种实施例中，假设智能冰箱的冷藏区储藏室包括由多个隔板分隔开的四个储藏空间。在用户打开冷藏区储藏室的门体，将西红柿存放在冷藏室第二储藏空间的操作过程中，当检测到智能冰箱冷藏区储藏室的门体被打开，处理器获取相机采集的用户存放食材的图像构成的图像序列，图像序列的每张图像中包含运动目标在某一时刻的位置，根据图像序列中运动目标的位置判断运动目标的运动方向为指向智能冰箱，得出运动目标中食材的存取类型为储存食材，通过深度学习算法训练获得的神经网络对检测到的运动目标进行识别，确定运动目标中食材的种类为西红柿，然后在图像序列中检测出运动目标位置最靠近图像下边界的目标图像，将目标图像中包含的运动目标的位置与预先设置的智能冰箱结构模型中冷藏区储藏室的位置进行匹配，运动目标中食材所处的位置在第一层隔板的下边界线和第二层隔板的下边界线之间，如图10所示，最后根据获取的食材存取动作的类型、运动目标中包含的食材的种类和存取位置，确定此次食材存取操作是将西红柿存入冷藏区储藏室的第二储藏空间。根据上述信息，更新智能冰箱的食材储存信息，在食材储存信息中增加冷藏区储藏室的第二储藏空间内存储有西红柿的信息。
[0183]
在另一种实施例中，在用户将西红柿从第一冷冻区储藏室取出的运动过程中，当检测到智能冰箱第一冷冻区储藏室的门体被打开，处理器获取相机采集用户取出食材的图像构成的图像序列，图像序列的每张图像中都包含运动目标在某一时刻的位置，根据图像序列中运动目标的位置判断出运动目标的运动方向为远离智能冰箱，进而得到运动目标中食材的存取类型为取出食材，通过食材识别模型对检测到的运动目标进行识别，确定运动目标中食材的种类为西红柿，然后在图像序列中检测出运动目标位置最靠近图像下边界的目标图像，将目标图像中包含的运动目标的位置与预先设置的智能冰箱结构模型中第一冷冻区储藏室的位置进行匹配，运动目标中食材所处的位置在第一冷冻区储藏室，最后根据获取的食材存取动作的类型、运动目标中包含的食材的种类和存取位置，确定此次食材存取操作是将西红柿从第一冷冻区储藏室中取出。根据上述信息，更新智能冰箱的食材储存信息。
[0184]
在另一种实施例中，运动目标中包含的食材可以是一种，也可以是多种；可以是智能冰箱的多种储藏室中的任意一个储藏空间，具体过程与上述实施例相同，此处不再赘述。
[0185]
基于同一发明构思，本技术提供的实施例中，提供一种智能冰箱，参阅图13所示，至少包括：第一获取单元1301、检测单元1302、第二获取单元1303、第三获取单元1304其中：
[0186]
第一获取单元1301，第一储藏室的门体打开，获取图像采集装置采集的图像构成的图像序列；第一储藏室为多个储藏室中的任意一个储藏室。
[0187]
检测单元1302，从图像序列中检测运动目标；
[0188]
第二获取单元1303，第一储藏室内包括多个储藏空间，获取预先建立的智能冰箱的结构模型中第一储藏室的结构模型；
[0189]
第三获取单元1304，根据图像序列中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置之间的关系，确定运动目标中包含的食材的存取位置。
[0190]
第一获取单元1301、检测单元1302、第二获取单元1303、第三获取单元1304相互配合，以实现智能冰箱在上述各个实施例中的功能。
[0191]
在一种可选的实施例中，所述第一获取单元1301，具体可以用于：
[0192]
若第一储藏室的门体打开，则控制伸缩杆带动图像采集装置从机壳顶部伸出，并开启图像采集装置以采集图像；若第一储藏室的门体关闭，则关闭图像采集装置，并控制伸缩杆带动图像采集装置缩回。
[0193]
在一种可选的实施例中，所述检测单元1302，具体可以用于：
[0194]
将图像序列中的相邻的每两帧图像进行比对，确定各帧图像中包含的运动目标以及运动目标在各帧图像中的位置。
[0195]
在一种可选的实施例中，所述第二获取单元1303，具体可以用于：
[0196]
通过图像采集装置采集智能冰箱在各个状态下的空间区域图像；各个状态包括智能冰箱的各个储藏室的门体处于打开状态或关闭状态；
[0197]
从空间区域图像中分别提取多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息；其中，每个边缘的位置信息包括边缘在空间区域图像中对应的线段的端点坐标；
[0198]
根据多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息，建立智能冰箱的结构模型。
[0199]
在一种可选的实施例中，所述第二获取单元1303，具体可以用于：
[0200]
针对空间区域图像中的每条线段，分别确定线段的位置信息；线段的位置信息包括线段的端点坐标和线段的长度；线段的长度是根据线段的端点坐标确定的；
[0201]
根据长度不小于设定长度阈值的线段的位置信息，确定多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息。
[0202]
在一种可选的实施例中，所述第二获取单元1303，具体可以用于：
[0203]
根据每条线段的方向，分别确定每条线段对应的边缘的方向；
[0204]
针对方向为水平方向的边缘对应的线段，将长度不小于设定的第一长度阈值的线段作为目标线段；
[0205]
针对方向为竖直方向的边缘对应的线段，将长度不小于设定的第二长度阈值的线段作为目标线段；第一长度阈值大于第二长度阈值；
[0206]
根据各个目标线段的位置信息，确定多个储藏室以及多个储藏室中的各个储藏空间的边缘的位置信息。
[0207]
在一种可选的实施例中，所述第二获取单元1303，具体可以用于：
[0208]
在确定运动目标中包含的食材的存取位置之后，根据检测到的运动目标分别确定运动目标中包含的食材的种类和食材存取动作的类型；
[0209]
根据食材存取动作的类型、运动目标中包含的食材的种类和存取位置，更新智能冰箱的食材储存信息。
[0210]
在一种可选的实施例中，所述第二获取单元1303，具体可以用于：
[0211]
根据图像序列中运动目标在各帧图像中的位置，确定运动目标距离图像下边界最近的目标图像；
[0212]
将目标图像中运动目标的位置与第一储藏室的结构模型中各个储藏空间的位置进行匹配，确定目标图像中运动目标的位置所对应的目标储藏空间；
[0213]
将目标储藏空间作为运动目标中包含的食材的存取位置。
[0214]
在一种可选的实施例中，所述第二获取单元1303，具体可以用于：
[0215]
通过食材识别模型对检测到的运动目标进行识别，确定运动目标中包含的食材以及食材的种类；
[0216]
分别确定运动目标中的食材在图像序列的各帧图像中的位置；
[0217]
根据食材在各帧图像中的位置，确定食材的运动方向；
[0218]
若食材的运动方向指向智能冰箱，确定食材存取动作的类型为存入食材；
[0219]
若食材的运动方向远离智能冰箱，确定食材存取动作的类型为取出食材。
[0220]
基于同一发明构思，本技术实施例提供一种计算机可读存储介质，当存储介质中的指令由处理器执行时，使得处理器能够执行上述实施例中智能冰箱实现的任一项食材存取动作识别方法。
[0221]
在一些可能的实施方式中，本技术提供的一种食材存取动作识别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的食材存取动作识别方法的步骤。
[0222]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0223]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序指令的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0224]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0225]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0226]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。