一种食物智能协作方法以及应用该方法的早餐制备系统与流程

本发明涉及智能早餐技术领域，具体涉及一种食物智能协作方法以及应用该方法的早餐制备系统。

背景技术

随着人们的生活节奏的加快，快餐行业的发展也越来越迅速，为了提高烹饪食物的效率，越来越多餐饮业已进行标准化作业。

而目前这些烹饪好的食物仍是通过人工的模式拿给顾客，当食物的需求较多时，餐饮服务人员需要频繁走动输送食物，劳动强度较大；

而且在用餐高峰期，人工速度慢，工作人员工作强度大，无法给顾客提供快速便捷的饮食，延长了顾客需要等待的时间，给顾客的体验较差，且提高了人工成本。

技术实现要素：

有鉴于此，本发明要解决的问题是提供一种与协作机器人配合实现出餐速度快、保证顾客收到无破损食物的食物智能协作方法以及应用该方法的早餐制备系统。

为解决上述技术问题，本发明采用的技术方案是：一种食物智能协作方法，包括以下步骤：

步骤S1：获取若干个早餐图像；

步骤S2：识别若干早餐图像中的食物品名，并标记该食物品名以及是否破损；

步骤S3：识别步骤S2中标记完成的早餐图像中的食物品名以及记录各类食物的数量信息，再记录各类食物的标记有破损的数量信息，将各类食物的数量信息中各类食物的标记有破损的数量剔除，得到各类食物的未标记有破损的数量信息并存于预设的食物信息数据表内；

步骤S4：获取顾客所点菜单名录，提取所需食物品名和所需数量；

步骤S5：依次调取早餐图像的食物信息数据表，逐一判断该早餐图像中是否含有所需食物品名：

如果含有，协作机器人移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，直至达到该顾客所需数量。

一种早餐制备系统，所述早餐制备系统应用上述食物智能协作方法，所述早餐制备系统还包括早餐制作装置、图像采集装置、协作机器人以及控制器，所述控制器内存储有若干个食物信息数据表。

所述控制器内配置有早餐图像、食物信息数据表与图像所在位置的一对一配对。

所述早餐制作装置包括蒸锅以及煮蛋器。

所述图像采集装置包括CCD相机以及LED补光灯。

优选的，所述步骤S1中，蒸锅以及煮蛋器将早餐制作完毕，所述LED补光灯对早餐进行补光，所述CCD相机对早餐图像进行采集，实现对早餐图像的获取。

所述步骤S2包括：

步骤S2-1：对早餐图像中的食物进行特征提取；

步骤S2-2：对早餐图像中的食物进行识别食物品名。

所述步骤S2还包括：

步骤S2-3：判断图像中的食物是否破损：

若食物无破损，对早餐图像中的食物标注：该食物品名；

若食物有破损，对早餐图像中的食物标注：该食物品名 破损。

所述步骤S5包括：

步骤S5-1：调取第一幅早餐图像的食物信息数据表；

步骤S5-2：判断该食物信息数据表中是否含有所需食物品名：

如果不含有，调取下一幅早餐图像的食物信息数据表，进行步骤S5-2。

所述步骤S5-2还包括：

如果含有，判断所需食物品名在该早餐图像的食物信息数据表中的数量与所需数量的关系：

如果该数量小于所需数量，协作机器人移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，重新获取该拾取后位置的早餐图像，调取下一幅早餐图像，进行步骤S5-2；

如果该数量等于所需数量，协作机器人移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减至零，重新获取该拾取后位置的早餐图像和进行步骤S2；

如果该数量大于所需数量，协作机器人移动至该图像所在位置，并将所需数量的该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，重新获取该拾取后位置的早餐图像和进行步骤S2。

优选的，直至该顾客所需食物数量全部为零，获取下一位顾客的菜单名录，进行步骤S2。

本发明具有的优点和积极效果是：

（1）本发明通过对早餐图像的识别、标记；提取完整食物的数量并填入数据表；对顾客菜单的提取，再一一调取数据表，判断是否含有所需食物，协助机器人对无破损食物的拾取，实现了快速配餐、出餐，提高了出餐效率，保证顾客收到无破损食物，提高顾客的用餐体验。

（2）本发明通过应用食物智能协作方法的早餐制备系统，实现了食物智能协作方法的具象化，使得该方法从早餐的制作、识别、配餐、出餐的流程更加完善，实现了从制作到取餐的快速出餐，提高了出餐效率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的一种食物智能协作方法的步骤S1至S5的流程图；

图2是本发明的一种食物智能协作方法的步骤S2的流程图；

图3是本发明的一种食物智能协作方法的步骤S5的流程图；

图4是本发明的一种早餐制备系统的整体结构连接图；

图中：

1，早餐制作装置、11，蒸锅、12，煮蛋器、2，图像采集装置、21，CCD相机、22，LED补光灯、3，协作机器人、4，控制器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，本发明提供一种食物智能协作方法，包括以下步骤：

步骤S1：获取若干个早餐图像；

步骤S2：识别若干早餐图像中的食物品名，并标记该食物品名以及是否破损；

步骤S3：识别步骤S2中标记完成的早餐图像中的食物品名以及记录各类食物的数量信息，再记录各类食物的标记有破损的数量信息，将各类食物的数量信息中各类食物的标记有破损的数量剔除，得到各类食物的未标记有破损的数量信息并存于预设的食物信息数据表内；

步骤S4：获取顾客所点菜单名录，提取所需食物品名和所需数量；

步骤S5：依次调取早餐图像的食物信息数据表，逐一判断该早餐图像中是否含有所需食物品名：

如果含有，协作机器人3移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，直至达到该顾客所需数量。

如图4所示，一种早餐制备系统，所述早餐制备系统应用上述食物智能协作方法，所述早餐制备系统还包括早餐制作装置1、图像采集装置2、协作机器人3以及控制器4，所述控制器4内存储有若干个食物信息数据表。

所述控制器4内配置有早餐图像、食物信息数据表与图像所在位置的一对一配对。

所述早餐制作装置1包括蒸锅11以及煮蛋器12。

所述图像采集装置2包括CCD相机21以及LED补光灯22。

在实施例中，所述步骤S1中，蒸锅11以及煮蛋器12将早餐制作完毕，所述LED补光灯22对早餐进行补光，所述CCD相机21对早餐图像进行采集，实现对早餐图像的获取。

如图2所示，所述步骤S2包括：

步骤S2-1：对早餐图像中的食物进行特征提取；

步骤S2-2：对早餐图像中的食物进行识别食物品名。

所述步骤S2还包括：

步骤S2-3：判断图像中的食物是否破损：

若食物无破损，对早餐图像中的食物标注：该食物品名；

若食物有破损，对早餐图像中的食物标注：该食物品名 破损。

在实施例中，在步骤S2中，通过算法对获取到的若干个早餐图像进行分别识别和标注：该批注标签为“食物品名”或“食物品名 破损”。

在实施例中，在步骤S2中，通过算法训练标记模型：获取400张早餐图像，所述早餐图像的分辨率为256×256；

随机选取95%数量的早餐图像作为训练图片，剩余5%数量的早餐图像作为测试图片；

通过SamplePairing数据增强方法将95%数量的早餐图像增强为早餐图像初始总数的10倍，并按照7:1的比例重新划分为训练集和验证集，即将训练图片进行镜像和随机裁剪为分辨率为224×224的图像，将训练图片随机混合经过SamplePairing处理生成4000张早餐图像，再按照7:1的比例将4000张早餐图像重新划分为训练集和验证集；

使用训练集对早餐图像内的标记模型进行迭代训练和标注，得到标记训练模型，再使用验证集对该标记训练模型进行验证；

使用训练图片对该标记训练模型进行测试标注：

当测试标注的标注选框与实际框的比值≥0.5时，得到最终的标记模型；

当测试标注的标注选框与实际框的比值＜0.5时，重新训练标记模型。

通过最终的标记模型对获取到的若干个早餐图像进行分别识别和标注：该批注标签为“食物品名”或“食物品名 破损”。

所述SamplePairing增强方法和迭代训练为现有图像训练方法，在此不再赘述。

如图3所示，所述步骤S5包括：

步骤S5-1：调取第一幅早餐图像的食物信息数据表；

步骤S5-2：判断该食物信息数据表中是否含有所需食物品名：

如果不含有，调取下一幅早餐图像的食物信息数据表，进行步骤S5-2。

所述步骤S5-2还包括：

如果含有，判断所需食物品名在该早餐图像的食物信息数据表中的数量与所需数量的关系：

如果该数量小于所需数量，协作机器人移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，重新获取该拾取后位置的早餐图像，调取下一幅早餐图像，进行步骤S5-2；

如果该数量等于所需数量，协作机器人移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减至零，重新获取该拾取后位置的早餐图像和进行步骤S2；

如果该数量大于所需数量，协作机器人移动至该图像所在位置，并将所需数量的该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，重新获取该拾取后位置的早餐图像和进行步骤S2。

在实施例中，直至该顾客所需食物数量全部为零，获取下一位顾客的菜单名录，进行步骤S2。

本发明的特点在于：本发明通过对早餐图像的识别、标记；提取完整食物的数量并填入数据表；对顾客菜单的提取，再一一调取数据表，判断是否含有所需食物，协助机器人3对无破损食物的拾取，实现了快速配餐、出餐，提高了出餐效率，保证顾客收到无破损食物，提高顾客的用餐体验；通过应用食物智能协作方法的早餐制备系统，实现了食物智能协作方法的具象化，使得该方法从早餐的制作、识别、配餐、出餐的流程更加完善，实现了从制作到取餐的快速出餐，提高了出餐效率。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。