信息处理装置、信息处理方法、烹饪机器人、烹饪方法及烹饪设备与流程

1.本技术特别涉及使得能够生成新的菜肴布置的信息处理装置、信息处理方法、烹饪机器人、烹饪方法和烹饪设备。


背景技术：

2.近年来，考虑到共享烹饪步骤的视频的服务和共享所布置的菜肴的照片的服务等的出现，对于菜肴布置的需求日益增加。
3.在菜肴中，布置可以被描述为表达味道、外观、故事等的方法。例如，餐馆的厨师需要一直创建新的菜肴布置。
4.引用列表
5.专利文献
6.[ptl 1]
[0007]
pct申请的日语翻译第2017-506169号
[0008]
[ptl 2]
[0009]
pct申请的日语翻译第2017-536247号


技术实现要素：

[0010]
技术问题
[0011]
由于烹饪世界中基于常识、文化等的固定想法或基于经验的固定想法的工作，不容易连续地创建新的菜肴布置。
[0012]
本技术是鉴于这样的情况而作出的，并且使得能够生成新的菜肴布置。
[0013]
问题解决方案
[0014]
根据本技术的第一方面的信息处理装置包括布置生成单元，该布置生成单元被配置成基于布置信息来生成新布置信息，该新布置信息是关于新布置的信息，该布置信息包括：食物原料信息，该食物原料信息是关于用于菜肴布置的食物原料的信息；布置动作信息，该布置动作信息是关于烹饪人员的布置动作的信息；以及烹饪工具信息，该烹饪工具信息是关于用于布置的烹饪工具的信息。
[0015]
根据本技术的第二方面的烹饪机器人和根据本技术的第三方面的烹饪设备包括控制单元，该控制单元基于新布置信息来执行新布置的动作，该新布置信息是关于新布置的信息，该新布置信息是基于布置信息生成的，该布置信息包括：食物原料信息，该食物原料信息是关于用于菜肴布置的食物原料的信息；布置动作信息，该布置动作信息是关于烹饪人员的布置动作的信息；以及烹饪工具信息，该烹饪工具信息是关于用于布置的烹饪工具的信息。
附图说明
[0016]
[图1]
[0017]
图1是示出通过根据本技术的实施方式的信息处理装置的摆盘(plating)呈现的示例的图。
[0018]
[图2]
[0019]
图2是示出用于指定摆盘主观评价的画面的示例的图。
[0020]
[图3]
[0021]
图3是示出用于指定摆盘图像图片的画面的示例的图。
[0022]
[图4]
[0023]
图4是示出样本图片的示例的图。
[0024]
[图5]
[0025]
图5是示出信息处理装置的输入和输出的示例的图。
[0026]
[图6]
[0027]
图6是示出收集学习数据的状态的图。
[0028]
[图7]
[0029]
图7是示出烹饪动作信息和摆盘动作信息的生成流程的示例的图。
[0030]
[图8]
[0031]
图8是示出构成摆盘动作信息的信息的示例的图。
[0032]
[图9]
[0033]
图9是示出摆盘动作的具体示例的图。
[0034]
[图10]
[0035]
图10是示出图9之后的摆盘动作的具体示例的图。
[0036]
[图11]
[0037]
图11是示出图10之后的摆盘动作的具体示例的图。
[0038]
[图12]
[0039]
图12是示出图11之后的摆盘动作的具体示例的图。
[0040]
[图13]
[0041]
图13是示出图12之后的摆盘动作的具体示例的图。
[0042]
[图14]
[0043]
图14是示出图13之后的摆盘动作的具体示例的图。
[0044]
[图15]
[0045]
图15是示出菜肴db的示例的图。
[0046]
[图16]
[0047]
图16是示出用于学习摆盘生成模型的信息的示例的图。
[0048]
[图17]
[0049]
图17是示出学习的示例的图。
[0050]
[图18]
[0051]
图18是示出推断期间摆盘生成模型的状态的图。
[0052]
[图19]
[0053]
图19是示出使用rnnpb的预测的示例的图。
[0054]
[图20]
[0055]
图20是示出摆盘生成模型输出的摆盘动作信息s(t)的示例的图。
[0056]
[图21]
[0057]
图21是示出信息处理装置的硬件的配置示例的框图。
[0058]
[图22]
[0059]
图22是示出信息处理装置的功能配置示例的框图。
[0060]
[图23]
[0061]
图23是示出信息处理装置的处理的流程图。
[0062]
[图24]
[0063]
图24是示出网络系统的配置示例的图。
[0064]
[图25]
[0065]
图25是示出控制系统的配置示例的图。
[0066]
[图26]
[0067]
图26是示出菜谱数据的说明内容的示例的图。
[0068]
[图27]
[0069]
图27是示出基于菜谱数据的菜肴再现流程的示例的图。
[0070]
[图28]
[0071]
图28是示出数据处理装置的布局的示例的图。
[0072]
[图29]
[0073]
图29是示出烹饪机器人的外观的立体图。
[0074]
[图30]
[0075]
图30是烹饪臂的状态的放大图。
[0076]
[图31]
[0077]
图31是示出烹饪臂的外观的图。
[0078]
[图32]
[0079]
图32是示出烹饪臂的每个部分的可移动区域的示例的图。
[0080]
[图33]
[0081]
图33是示出烹饪臂与控制器之间的连接的示例的图。
[0082]
[图34]
[0083]
图34是示出烹饪机器人的配置示例的框图。
[0084]
[图35]
[0085]
图35是示出数据处理装置的功能配置示例的框图。
[0086]
[图36]
[0087]
图36是示出数据处理装置的处理的流程图。
[0088]
[图37]
[0089]
图37是示出控制系统的另一配置示例的图。
具体实施方式
[0090]
《本技术的概述》
[0091]
本技术生成新的菜肴摆盘，并且将所生成的新摆盘呈现给被称为厨师、主厨、烹饪者等的烹饪人员。
[0092]
摆盘(食物摆盘)是一种菜肴布置。通过布置烹饪的食物原料等完成烹饪。这里，新摆盘是与在生成摆盘的侧上制备的摆盘不同的摆盘。对于在生成侧上制备的摆盘，包括具有在构成菜肴布置的元素之中的至少一种不同元素的摆盘(例如用于布置的具有不同食物原料的摆盘、具有不同布置位置的摆盘、具有不同颜色的摆盘、具有用于布置的不同餐具的摆盘和具有不同布置顺序的摆盘)作为新摆盘。
[0093]
用于布置的食物原料不仅包括通过烘烤或应用加热而烹饪的食物原料，例如肉和鱼，而且包括用厨房刀切割的蔬菜和诸如香草和番茄的食物原料。在用于布置的食物原料中还包括诸如盐和胡椒的调味品，以及诸如通过混合多种调味品而制成的沙司的液体。
[0094]
也就是说，用于布置的食物原料包括构成最终菜肴的所有元素。
[0095]
注意，菜肴是通过烹饪完成的结果。烹饪是制作菜肴的过程或制作菜肴的动作(工作)。
[0096]
另外，本技术生成新的菜肴摆盘并且在烹饪机器人中再现该摆盘。烹饪机器人通过根据为每个菜肴准备的所述菜谱数据执行烹饪并且供应通过烹饪产生的食物原料来完成菜肴。
[0097]
在下文中，将描述用于实现本技术的实施方式。将按以下顺序给出描述。
[0098]
1.摆盘的呈现
[0099]
2.摆盘生成模型的学习
[0100]
3.每个装置的配置和动作
[0101]
4.烹饪机器人的控制示例
[0102]
5.其他示例
[0103]
《摆盘的呈现》
[0104]
图1是示出根据本技术的实施方式的信息处理装置的摆盘呈现的示例的图。
[0105]
图1的上部所示的情况是正在烹饪的厨师考虑菜肴摆盘的情况。在图1的示例中，在正在烹饪的厨师的旁边放置有作为平板终端的信息处理装置1。信息处理装置1具有响应于厨师的要求而呈现新摆盘的功能。
[0106]
例如，如气球状图#1所示，假设厨师期望“具有明亮且柔和的图像的摆盘”。在该示例中，响应于摆盘主观评价的指定来呈现摆盘，该摆盘主观评价是对摆盘外观的主观评价，例如“明亮且柔和的图像”。
[0107]
图2是示出用于指定摆盘主观评价的画面的示例的图。
[0108]
在厨师执行了预定操作时，在信息处理装置1的显示器上显示图2所示的摆盘主观评价的指定画面。如图2所示，雷达图11显示在指定画面的基本中心处。雷达图11是用于指定摆盘主观评价的雷达图。
[0109]
雷达图11是具有作为轴的九种类型的元素(即亮度、柔和度、粗糙度、简单性、逼真度、尺寸感、温度感、天气和季节感)的雷达图。在该示例中，摆盘主观评估由诸如亮度、柔和度、粗糙度等的九种类型的元素表示。例如，厨师通过用他或她的手指直接触摸雷达图11上
每个元素的位置来指定元素的值。
[0110]
摆盘主观评价可以使用声音来指定而不是使用如图2所示的雷达图指定。在使用声音来指定摆盘主观评价的情况下，在信息处理装置1中执行声音识别、语言分析等，并且指定厨师说话的意思。
[0111]
摆盘主观评价可以通过操作键盘等直接输入每个元素的值来指定，而不是通过在雷达图上指定值来指定。
[0112]
执行这样的摆盘主观评价的指定、和作为由厨师成像的摆盘的图片的摆盘图像图片的指定。
[0113]
图3是示出用于指定摆盘图像图片的画面的示例的图。
[0114]
如图3所示，在摆盘图像图片的指定画面上显示作为摆盘样本的多个样本图片。在图3的示例中，显示了三个样本图片，即样本图片p1至p3。通过滚动操作等在指定画面上显示更多的样本图片。
[0115]
厨师通过选择他或她偏爱的样本图片来指定指示接近于他或她所想象的摆盘的摆盘图像图片。
[0116]
图4是示出样本图片的示例的图。
[0117]
如图4的气球状图所示，为每个样本图片设置属性信息。属性信息包括指示摆盘特征的键盘和摆盘的主观评价信息。属性信息中包括的主观评价是在厨师他自己或她自己或者多个第三者看到样本图片的摆盘时的主观评价。
[0118]
在以这种方式接收了摆盘的呈现的情况下，厨师选择摆盘主观评价和摆盘图像图片。
[0119]
返回参照图1的描述，在如上所述指定了厨师期望的摆盘的情况下，在信息处理装置1中生成与厨师的期望对应的摆盘，并且将其如气球状图#2和#3所示向厨师呈现。
[0120]
在图1的示例中，通过显示指示摆盘的图片来呈现摆盘。另外，实现摆盘的方式，例如“将草莓酱放入酱汁机
……”
呈现给厨师。以这种方式，使用声音或画面显示器向厨师呈现摆盘。
[0121]
图5是示出信息处理装置1的输入和输出的示例的图。
[0122]
如图5所示，在信息处理装置1中准备摆盘生成模型。该摆盘生成模型是将摆盘主观评价和摆盘图像图片用作输入来输出新摆盘的预测模型。摆盘生成模型通过诸如深度学习的机器学习生成，并且在信息处理装置1中准备。
[0123]
厨师可以接收使用这样的摆盘生成模型生成的摆盘的呈现，以执行所呈现的摆盘，或者可以从中得到建议以考虑新摆盘。信息处理装置1可以被称为摆盘发生器，其向厨师呈现新摆盘本身或呈现建议新摆盘的信息。
[0124]
注意，图5所示的摆盘生成模型可以在因特网上的服务器中准备而不在信息处理装置1中准备。在这种情况下，在因特网上的服务器中生成新摆盘，通过信息处理装置1将生成的摆盘的信息呈现给厨师。
[0125]
《摆盘生成模型的学习》
[0126]
·
学习数据的收集
[0127]
图6是示出收集学习数据的状态的图。
[0128]
如图6所示，在厨师烹饪的厨房周围提供了各种用于测量厨师的动作的仪器。在图
6的示例中，安装了摄像机41-1和41-2以将视角引导到正在烹饪的厨师。基于摄像机41-1和41-2拍摄的图片分析厨师的动作。摄像机41-1和41-2拍摄的图片可以是运动图像，或者也可以是静止图像。
[0129]
诸如加速度传感器、位置传感器、温度传感器和距离传感器的各种传感器附接至厨师的身体。基于由传感器测量的传感器数据分析厨师的动作。
[0130]
由通过因特网连接至厨师侧的装置的学习服务器51分析厨师的动作。学习服务器51接收从包括摄像机41-1和41-2的传感器发送的信息，并且分析厨师的动作。
[0131]
注意，要分析其动作的厨师不仅是接收摆盘的呈现的厨师，而且是许多其他厨师。基于各种厨师的动作执行摆盘生成模型的学习。
[0132]
继续诸如厨师的这样的动作的测量，直到例如完成菜肴。需要多个烹饪步骤来完成一个菜肴，并且分析每个步骤的动作。
[0133]
图7是示出烹饪动作信息和摆盘动作信息的生成流程的示例的图。
[0134]
在图7的示例中，执行烹饪步骤#1至#n的动作，并且通过这些动作制作的食物原料被布置在摆盘步骤中，从而完成某个菜肴。
[0135]
在这种情况下，测量(感测)在烹饪步骤#1至#n中执行的动作，并且基于测量结果生成作为关于各个烹饪步骤的动作的信息的烹饪动作信息#1至#n。
[0136]
另外，测量在摆盘步骤中执行的动作，并且基于测量结果生成作为关于摆盘步骤的动作的信息的摆盘动作信息。
[0137]
这里，烹饪动作信息包括例如食物原料信息和动作信息。食物原料信息是关于厨师在烹饪步骤期间使用的食物原料的信息。关于食物原料的信息包括指示食物原料的类型、食物原料的量、食物原料的尺寸等的信息。
[0138]
例如，在厨师在某个烹饪步骤中用胡萝卜烹饪的情况下，食物原料信息中包括指示胡萝卜已经被使用的信息。在食物原料信息中包括指示由厨师用作菜肴的材料(诸如水和调料等)的各种食品的信息。食品是人们可以食用的各种东西。
[0139]
例如，通过分析用摄像机41-1和41-2拍摄正在烹饪的厨师而获得的图片，来识别厨师使用的食物原料。基于食物原料识别结果来生成食物原料信息。
[0140]
动作信息是关于厨师在烹饪步骤中的移动的信息。关于厨师移动的信息包括诸如厨师使用的烹饪工具的类型、在各个时刻厨师的身体的移动(包括厨师的手的移动)、以及在各个时刻厨师的站立位置的信息。
[0141]
例如，在厨师用厨房刀切割了某种食物原料的情况下，指示厨房刀已经被用作烹饪工具的信息以及指示切割位置、切割次数、切割的力度、角度、速度等的信息被包括在动作信息中。
[0142]
另外，在厨师用勺子搅拌作为食物原料的容纳在锅中的液体的情况下，动作信息中包括指示厨师已经使用勺子作为烹饪工具的信息和指示搅拌力、角度、速度、时间等的调整的信息。
[0143]
摆盘动作信息
[0144]
图8是示出构成摆盘动作信息的信息的示例的图。
[0145]
如图8所示，摆盘动作信息包括指示用于摆盘的食物原料的信息、关于摆盘步骤中的厨师的移动的信息、关于用于摆盘的工具的信息、关于食物原料的布局信息和关于用于
摆盘的餐具的信息。
[0146]
摆盘动作信息由摆盘步骤中的各个时间的该信息构成。摆盘动作信息是指示食物原料、移动、工具、布局和餐具中的每个的时间序列数据。
[0147]
将参照图9至图14描述摆盘动作信息的具体示例。
[0148]
图9是示出摆盘步骤开始时的动作示例的图。
[0149]
假设在作为摆盘步骤开始的时间t0已经执行了如图9中左侧所示的动作。在该示例中，执行用右手握住填充有草莓酱的酱汁机t1、将该酱汁机的前端按压在盘上的预定位置、以及在该状态下将少量的酱推出的动作。该动作的状态由摄像机41-1和41-2等拍摄。
[0150]
在这种情况下，如白色箭头的前端所示，指定草莓酱已经被用作用于摆盘的食物原料。
[0151]
另外，作为厨师的动作，指定了诸如用右手握住酱汁机t1和将握住酱汁机t1的右手移动到盘的参考位置的动作。
[0152]
指定酱汁机t1已经被用作用于摆盘的工具。
[0153]
作为摆盘的布局，指定指示餐具的平面位置的坐标和指示三维位置的层。
[0154]
指定是圆形平盘的具有预定id的餐具已经被用作用于摆盘的餐具。
[0155]
图10是示出在时间t1处执行的动作的示例的图。
[0156]
假设在从时间t0起经过了预定时间段之后的时间t1处执行了如图10中左侧所示的动作。在该示例中，执行将呈点状挤出的草莓酱以环状布置以围绕盘的中心的动作。
[0157]
在布置有第四点的时间t1处，如白色箭头的前端所示，将诸如移动右手位置的动作指定为厨师的动作，而不发生食物原料、工具和餐具的变化。另外，第四点的位置被指定为摆盘的布局。
[0158]
图11是示出时间t2处的动作的示例的图。
[0159]
假设在从时间t1起经过了预定时间段之后的时间t2处执行了如图11中左侧所示的动作。在该示例中，完成以点状布置草莓酱的动作，并且接着，执行将工具切换到刷子t2并且将刷子按压在某个点上的动作。
[0160]
在这种情况下，如白色箭头的前端所示，将诸如握住刷子或将握住刷子的右手移动到位于盘的参考位置的某个点的位置的动作指定为厨师的动作，而不发生食物原料或餐具的变化。另外，指定刷子t2已经用作用于摆盘的工具。第一点的位置被指定为摆盘的布局。
[0161]
图12是示出时间t3处的动作的示例的图。
[0162]
假设在从时间t2起经过了预定时间段之后的时间t3处执行了如图12中左侧所示的动作。在本示例中，执行用刷子t2将草莓酱以每个点状的形式向盘的中心扩散的动作。
[0163]
在草莓酱的第一点扩散的时间t3处，如白色箭头的前端所示，将诸如右手位置向盘的中心滑动的动作指定为厨师的动作，而不发生食品原料、工具或餐具的变化。另外，滑动后的位置被指定为摆盘的布局。
[0164]
图13是示出时间t4处的动作的示例的图。
[0165]
假设在从时间t3起经过了预定时间段之后的时间t4处执行了如图13中左侧所示的动作。在该示例中，假设已经执行了扩散草莓酱的动作，并且随后，已经执行了将工具切换到翻转器t3并且将烤牛排放置在盘的中心的动作。
[0166]
在这种情况下，如白色箭头的前端所示，将已经使用的牛排指定为用于摆盘的食物原料。另外，将诸如握住上面放置有牛排的翻转器t3的右手移动到盘的中心或降低翻转器t3的动作指定为厨师的动作。
[0167]
另外，还将已经使用的翻转器t3指定为用于摆盘的工具。盘的中心位置被指定为摆盘的布局。牛排放置的位置被指定为层2，因为它是放置草莓酱的层1上方的层的位置。
[0168]
图14是示出时间t5处的动作的示例的图。
[0169]
假设在从时间t4起经过了预定时间段之后的时间t5处执行了如图14中左侧所示的动作。在该示例中，执行在牛排旁边添加香草的动作，并且从而终止摆盘步骤。
[0170]
在这种情况下，如白色箭头的前端所示，将已经使用的香草指定为用于摆盘的食物原料。另外，将在牛排旁边添加香草的动作指定为厨师的动作。
[0171]
另外，将没有使用的工具指定为用于摆盘的工具。放置在盘中心的牛排附近的位置被指定为摆盘的布局。
[0172]
基于在摆盘步骤期间拍摄的图片等，在学习服务器51中生成由表示与摆盘相关的上述食物原料、移动、工具、布局和餐具中的每个的时间序列数据构成的摆盘动作信息。
[0173]
另外，将摆盘动作信息和基于摆盘步骤之前的烹饪步骤生成的烹饪动作信息彼此关联，并且生成每种菜肴的烹饪数据。
[0174]
图15是示出菜肴db的示例的图。
[0175]
如图15所示，在学习服务器51管理的菜肴db中，将烹饪动作信息和摆盘动作信息彼此相关联的信息被存储为每个菜肴的烹饪数据。每个菜肴的烹饪数据中包括的摆盘动作信息用于摆盘生成模型的学习。
[0176]
基于通过使用这样的摆盘动作信息的学习而生成的摆盘生成模型来生成该信息，并且因此基于包括诸如食物原料、动作、工具、布局、餐具等的信息的摆盘动作信息来生成新摆盘。
[0177]
关于学习
[0178]
图16是示出用于摆盘生成模型的学习的信息的示例的图。
[0179]
如图16所示，摆盘动作信息s(t)、主观评价信息e(t)和摆盘结果信息v(t)被用于摆盘生成模型的学习。
[0180]
摆盘动作信息s(t)是上述摆盘动作信息的时间序列数据。
[0181]
主观评价信息e(t)是表示观察了通过完成摆盘步骤制作的菜肴的人的摆盘主观评价的信息。时间t表示摆盘步骤已经完成时的时间。
[0182]
摆盘结果信息v(t)是通过完成摆盘步骤制作的菜肴的图片。
[0183]
在学习服务器51中，将每个菜肴的摆盘动作信息s(t)、主观评价信息e(t)和摆盘结果信息v(t)彼此相关联地管理。如上所述，摆盘生成模型是使用摆盘主观评价和摆盘图像图片作为输入来输出新摆盘的预测模型。
[0184]
新摆盘是摆盘动作信息s(t)的结果，并且因此只需要学习主观评价信息e(t)、摆盘结果信息v(t)与摆盘动作信息s(t)之间的关系。
[0185]
图17是示出学习的示例的图。
[0186]
如图17所示，摆盘动作信息s(t)、主观评价信息e(t)和摆盘结果信息v(t)被输入到执行摆盘生成模型的学习的学习装置61。学习装置61被提供在学习服务器51中。
[0187]
通过由摆盘动作信息s(t)表示的摆盘动作获得由摆盘结果信息v(t)表示的摆盘，并且因此学习装置61执行构成神经网络的参数的学习，当已经输入摆盘结果信息v(t)时，该神经网络输出摆盘动作信息s(t)。
[0188]
另外，主观评价信息e(t)是由摆盘结果信息v(t)表示的摆盘的主观评价，并且因此执行主观评价信息e(t)与摆盘结果信息v(t)之间的关系的学习。
[0189]
当输入了某个菜肴的主观评价信息e(t)和摆盘结果信息v(t)时，学习输出该菜肴的摆盘动作信息s(t)的神经网络作为摆盘生成模型，如图18所示。
[0190]
这里，在改变主观评价信息e(t)、并且输入改变的主观评价信息e(t)和摆盘结果信息v(t)的情况下，从摆盘生成模型输出至少一部分发生变化的摆盘动作信息s(t)。
[0191]
通过至少一部分发生变化的摆盘动作信息s(t)实现的摆盘是与由摆盘结果信息v(t)表示的摆盘不同的摆盘，即新摆盘。
[0192]
由厨师使用参照图2所述的画面指定的摆盘主观评价对应于这里所提到的变化的主观评价信息e(t)。另外，由厨师使用图3所示的画面指定的摆盘图像图片对应于摆盘结果信息v(t)。
[0193]
在输入了由厨师指定的摆盘主观评价和摆盘图像图片的情况下，从摆盘生成模型输出用于实现与由摆盘图像图片表示的摆盘不同的摆盘的摆盘动作信息s(t)。
[0194]
例如，具有参数偏差的循环神经网络(recurrent neural network with parametric bias，rnnpb)被用作摆盘生成模型。rnnpb是神经网络，其通过具有递归耦合使得能够学习和预测非线性时间序列数据。此外，通过输入与某个图案对应的pb值，可以输出希望的图案。
[0195]
图19是示出使用rnnpb的预测的示例的图。
[0196]
如图19所示，构成摆盘生成模型的rnnpb由下层和上层构成，下层在输入时间t处的摆盘动作信息时，输出时间t 1处的摆盘动作信息，上层在输入与摆盘结果信息v(t)对应的主观评价和pb值(pb(t'))时，输出用作下层的pb值(pbt)的值。
[0197]
在图19所示的示例中，将亮度5、柔软度3、粗糙度1、简单性2、
……
输入到rnnpb作为由厨师指定的摆盘主观评价。此外，将与某个摆盘图像图片对应的pb值输入到rnnpb。
[0198]
这里，由厨师指定的摆盘主观评价(例如，亮度5、柔软度3、粗糙度1、简单性2、
……
)不同于在被选择作为摆盘图像图片的样本图片中设置的主观评价(图4)。由此，从rnnpb输出的摆盘动作信息s(t)是用于实现与由摆盘图像图片表示的摆盘不同的摆盘的摆盘动作信息s(t)。
[0199]
注意，构成摆盘生成模型的神经网络不限于rnnpb。摆盘生成模型可以由通过学习主观评价信息e(t)、摆盘结果信息v(t)与摆盘动作信息s(t)之间的关系而生成的各种神经网络构成。
[0200]
图20是示出由摆盘生成模型输出的摆盘动作信息s(t)的示例的图。
[0201]
如图20所示，摆盘动作信息s(t)对应于图8中的摆盘动作信息，其是学习数据，并且是关于布置食物原料的信息、关于布置执行了哪个移动的信息、关于布置使用了哪个工具的信息、关于布置位置的信息、以及关于布置使用了哪个餐具的信息的时间序列数据。
[0202]
由摆盘生成模型输出的这些信息的呈现是新摆盘的呈现。
[0203]
《每个装置的配置和动作》
[0204]
·
信息处理装置1的配置
[0205]
图21是示出信息处理装置1的硬件的配置示例的框图。
[0206]
如图21所示，信息处理装置1由诸如平板终端的计算机构成。中央处理单元(central processing unit，cpu)101、只读存储器(read only memory，rom)102和随机存取存储器(random access memory，ram)103经由总线104彼此连接。
[0207]
输入/输出接口105另外连接至总线104。包括键盘、鼠标等的输入单元106和包括显示器、扬声器等的输出单元107连接至输入/输出接口105。
[0208]
另外，由硬盘、非易失性存储器等构成的存储单元108、由网络接口等构成的通信单元109、以及驱动可移动介质111的驱动器110连接至输入/输出接口105。
[0209]
例如，cpu 101经由输入/输出接口105和总线104将存储在存储单元108中的程序加载到ram 103，从而执行诸如生成新摆盘的各种处理步骤。
[0210]
图22是示出信息处理装置1的功能配置示例的框图。
[0211]
通过使图21中的cpu 101执行预定程序来实现图22中所示的功能单元中的至少一些。
[0212]
如图22所示，在信息处理装置1中实现信息处理单元151。该信息处理单元151包括获取单元161、摆盘生成单元162和呈现单元163。
[0213]
获取单元161获取由厨师指定的摆盘主观评价和摆盘图像图片。由获取单元161获取的信息被提供给摆盘生成单元162。
[0214]
摆盘生成单元162具有摆盘生成模型。摆盘生成单元162将从获取单元161提供的摆盘主观评价和摆盘图像图片输入到摆盘生成模型，并输出摆盘动作信息s(t)。
[0215]
摆盘生成单元162将表示摆盘动作信息s(t)的内容的信息作为新摆盘的信息输出到呈现单元163。表示基于从摆盘生成模型输出的摆盘动作信息s(t)实现的摆盘的图像的图片可以在摆盘生成单元162中生成，并且可以被提供给呈现单元163。
[0216]
呈现单元163呈现从摆盘生成单元162提供的新摆盘的信息。摆盘的呈现可以使用从扬声器输出的声音来执行，或者可以通过在显示器上显示画面来执行。呈现单元163例如将用于实现新摆盘的每个动作的描述按顺序呈现给厨师。
[0217]
·
信息处理装置1的动作
[0218]
将参照图23的流程图描述生成新摆盘的信息处理装置1的处理。
[0219]
在步骤s1中，获取单元161获取由厨师成像的摆盘的主观评价。
[0220]
在步骤s2中，获取单元161获取表示在厨师头脑中的摆盘图像的摆盘图像图片。
[0221]
在步骤s3中，摆盘生成单元162将摆盘主观评价和由厨师指定的摆盘图像图片输入到摆盘生成模型，并且输出摆盘动作信息s(t)。
[0222]
在步骤s4中，呈现单元163向厨师呈现从摆盘生成单元162提供的新摆盘的信息。
[0223]
通过上述处理，信息处理装置1可以生成新摆盘，并将生成的新摆盘呈现给厨师。摆盘是通过根据厨师在每个时刻指定的条件生成，而由信息处理装置1呈现，而不是通过从预先准备的多个摆盘中选择摆盘匹配条件，而由信息处理装置1呈现。
[0224]
厨师可以接收与他或她的图像匹配的摆盘的呈现，并执行所呈现的摆盘，或者可以从其获得建议并创建新摆盘。
[0225]
在以上，虽然是由厨师指定了摆盘主观评价和摆盘图像图片，但是也能够指定与
摆盘相关的关键字，而不指定摆盘图像图片。
[0226]
在指定关键字的情况下，选择在属性信息中包括关键字的样本图片，并将其用作摆盘图像图片。如参照图4所述，为每个样本图片的属性信息设置关键字。
[0227]
另外，在设置了样本图片之间的相似度的情况下，与由厨师选择的样本图片相似的样本图片可以用作摆盘图像图片。
[0228]
因此，有可能将生成和呈现不是厨师想要的摆盘。
[0229]
另外，厨师可能能够校正样本图片。例如，通过执行点击期望校正的部分以改变画面上的形状或颜色的操作，来执行样本图片的校正。在已经执行了样本图片的校正的情况下，校正的样本图片被用作摆盘图像图片，并且生成摆盘。
[0230]
由此，即使在没有显示厨师他自己或她自己的图像的样本图片的情况下，厨师也可以指定与他或她自己的图像匹配的摆盘图像图片以生成摆盘。
[0231]
代替观察显示在画面上的样本图片并且指定设置为摆盘图像图片的样本图片，通过手工描绘图形等来执行摆盘图像图片的指定。在已经通过手工绘制了图形的情况下，搜索接近图形的样本图片，并且将样本图片用作摆盘图像图片。
[0232]
可以对曾经已经呈现的摆盘进行与厨师的发言对应的改变。在进行诸如“更亮”或“更像弹簧”的发言的情况下，根据厨师发言的内容改变摆盘主观评价，并且使用改变后的摆盘主观评价生成摆盘。
[0233]
此外，食物原料的变化可以被指定用于曾经已经呈现的摆盘。例如，在已经呈现了使用香草酱汁的摆盘的情况下，当给出了用于改变为使用草莓酱汁的摆盘的指令时，搜索使用草莓酱汁的摆盘的样本图片，该样本图片与预先指定的样本图片相似，并且该样本图片被用作摆盘图像图片。
[0234]
以这种方式，作为指定摆盘主观评价和摆盘图像图片的方法，可以使用各种方法。
[0235]
·
网络系统的配置
[0236]
图24是示出网络系统的配置示例的图。
[0237]
图24示出了在因特网上的摆盘生成服务器171中生成新摆盘的情况下的配置。摆盘生成服务器171设置有与图22所示的信息处理单元151的配置相同的配置。
[0238]
在厨师侧提供的摆盘生成服务器171和信息处理装置1通过因特网执行通信。从信息处理装置1向摆盘生成服务器171发送指示由厨师指定的摆盘主观评价和摆盘图像图片的信息。
[0239]
摆盘生成服务器171的获取单元161接收从信息处理装置1发送的摆盘主观评价和摆盘图像图片。
[0240]
摆盘生成单元162基于从信息处理装置1发送的摆盘主观评价和摆盘图像图片，生成如上所述的摆盘。
[0241]
呈现单元163将由摆盘生成单元162生成的关于摆盘的信息发送到信息处理装置1，并将该信息呈现给厨师。
[0242]
以这种方式，可以在因特网上的摆盘生成服务器171中生成新摆盘。
[0243]
《烹饪机器人的控制的示例》
[0244]
·
控制系统的配置
[0245]
尽管上面已经描述了为人类厨师生成摆盘，但是也可以为烹饪机器人生成摆盘。
在这种情况下，由烹饪机器人执行与新生成的摆盘对应的摆盘动作。
[0246]
图25是示出控制系统的配置示例的图。
[0247]
如图25所示，控制系统包括数据处理装置301和烹饪机器人302。烹饪机器人302是包括诸如烹饪臂的驱动系统的装置和各种传感器的机器人，并且配备有执行烹饪的功能。例如，烹饪机器人302安装在家中。
[0248]
数据处理装置301是控制烹饪机器人302的装置。数据处理装置301由计算机等构成。
[0249]
如图25的左端所示，基于按每个菜肴准备的菜谱数据，执行数据处理装置301对烹饪机器人302的控制。在菜谱数据中，描述了关于烹饪步骤和摆盘步骤中的每个的信息。例如，在摆盘生成单元162(图22)中，通过使关于从外部输入的关于烹饪步骤的信息与关于由自身生成的摆盘步骤的信息彼此相关联，生成向数据处理装置301提供的菜谱数据。摆盘生成单元162还用作生成用于控制烹饪机器人302的菜谱数据的菜谱数据生成单元。
[0250]
数据处理装置301基于菜谱数据控制烹饪机器人302以制备菜肴。由图22的信息处理单元151生成的包括关于摆盘的信息的菜谱的数据被提供给数据处理装置301，并且用于烹饪机器人302的控制。
[0251]
例如，在如箭头a1所示输入菜谱数据的情况下，如箭头a2所示，数据处理装置301基于菜谱数据的描述输出指令命令，以控制烹饪机器人302的烹饪动作。
[0252]
烹饪机器人302响应于从数据处理装置301提供的指令命令驱动诸如烹饪臂的每个部分，并且执行每个烹饪步骤的动作。另外，烹饪机器人302响应于从数据处理装置301提供的指令命令驱动诸如烹饪臂的每个部分，并且执行摆盘步骤的动作。指令命令包括用于控制烹饪臂中设置的电机的转矩、驱动方向和驱动量等的信息。
[0253]
数据处理装置301向烹饪机器人302依次输出指令命令，直到完成菜肴。当烹饪机器人302响应于指令命令而采取动作时，菜肴最终完成。
[0254]
图26是示出所描述的菜谱数据的内容的示例的图。
[0255]
如图26所示，一个菜谱数据由多个烹饪步骤数据集构成。在图26的示例中，包括与烹饪步骤#1相关的烹饪步骤数据集、与烹饪步骤#2相关的烹饪步骤数据集、
……
以及与烹饪步骤#n相关的烹饪步骤数据集。
[0256]
每个烹饪步骤数据集包括烹饪动作信息，该烹饪动作信息是关于用于实现烹饪步骤的烹饪动作的信息。例如，一个烹饪步骤数据集由用于实现一个烹饪步骤的烹饪动作信息的时间序列数据构成。
[0257]
烹饪动作信息包括食物原料信息和动作信息。
[0258]
食物原料信息是关于在烹饪步骤中使用的食物原料的信息。关于食物原料的信息包括指示食物原料的类型、食物原料的量、食物原料的尺寸等的信息。
[0259]
注意，食物原料不仅包括未烹饪的食物原料，而且包括通过执行一些烹饪获得的烹饪的(制备的)食物原料。包括在特定烹饪步骤的烹饪动作信息中的食物原料信息包括在特定烹饪步骤之前已经经历了烹饪步骤的食物原料的信息。
[0260]
动作信息是关于烹饪步骤中的烹饪臂等的移动的信息。关于移动的信息包括指示用于烹饪的烹饪工具的类型的信息等。
[0261]
例如，切割某个食物原料的烹饪步骤的动作信息包括指示使用厨房刀作为烹饪工
具的信息以及指示切割位置、切割频率、切割的力度、角度、速度等的信息。
[0262]
另外，对容纳有作为食物原料的液体的锅进行搅拌的烹饪步骤的动作信息包括指示使用了勺子作为烹饪工具的信息以及指示搅拌的力度、角度、速度、时间等的信息。
[0263]
使用烤箱烘烤某个食物原料的烹饪步骤的动作信息包括指示烤箱被用作烹饪工具的信息以及指示烤箱的加热功率、烘烤时间等的信息。
[0264]
另外，如图26所示，一个菜谱数据包括摆盘步骤数据集。摆盘步骤数据集包括用于实现摆盘步骤的摆盘动作信息。例如，摆盘步骤数据集由用于实现摆盘步骤的摆盘动作信息的时间序列数据构成。
[0265]
图27是示出基于菜谱数据的菜肴再现的流程的示例的图。
[0266]
如图27所示，烹饪机器人302的菜肴的再现是通过对每个烹饪步骤重复烹饪来执行的，该烹饪是基于在菜谱数据中描述的烹饪步骤数据集中包括的每个时间处的烹饪动作信息来执行的。用于摆盘的食物原料通过多个烹饪步骤(即烹饪步骤#1至#n)来准备。
[0267]
在烹饪步骤#n终止之后，基于在摆盘步骤数据集中包括的在各个时刻的摆盘动作信息执行摆盘动作，从而完成菜肴。
[0268]
在图27的示例中，假设在所有的烹饪步骤完成之后执行摆盘步骤，但是摆盘步骤可以在其他烹饪步骤之前的定时处适当地执行。
[0269]
图28是示出数据处理装置301的布局的示例的图。
[0270]
如图28的a所示，例如，数据处理装置301被设置为烹饪机器人302外部的装置。在图28的a的示例中，数据处理装置301和烹饪机器人302通过诸如因特网的网络彼此连接。
[0271]
从数据处理装置301发送的指令命令通过网络被烹饪机器人302接收。通过网络将由烹饪机器人302的摄像机拍摄的图像和由烹饪机器人302中设置的传感器测量的诸如传感器数据的各种数据从烹饪机器人302发送到数据处理装置301。
[0272]
如图28的b所示，数据处理装置301可以设置在烹饪机器人302的壳体内部。在这种情况下，根据由数据处理装置301生成的指令命令来控制烹饪机器人302的每个部分的动作。
[0273]
以下，假设数据处理装置301被设置为烹饪机器人302的外部的装置，将主要给出描述。
[0274]
·
烹饪机器人的外观
[0275]
图29是示出烹饪机器人302的外观的立体图。
[0276]
如图29所示，烹饪机器人302是具有水平矩形框架形壳体311的厨房型机器人。在作为烹饪机器人302的主体的壳体311内部设置有各种配置。
[0277]
烹饪辅助系统312设置在壳体311的背面。通过由薄板形构件执行划分而在烹饪辅助系统312中形成的空间具有使用烹饪臂321-1至321-4(例如，冰箱、微波炉和储藏柜)来辅助烹饪的功能。
[0278]
顶板311a在纵向上设置有轨道，并且在该轨道上设置有烹饪臂321-1至321-4。烹饪臂321-1至321-4可以作为移动机构沿着轨道重新定位。
[0279]
烹饪臂321-1至321-4是通过使用接合部连接圆柱形构件而构造的机器人臂。通过烹饪臂321-1至321-4执行与烹饪相关的各种操作。
[0280]
顶板311a上方的空间是烹饪臂321-1至321-4在其中执行烹饪的烹饪空间。
[0281]
虽然在图29中示出了四个烹饪臂，但是烹饪臂的数量不限于四个。以下，在不需要区分烹饪臂321-1至321-4的情况下，将烹饪臂321-1至321-4适当地统称为烹饪臂321。
[0282]
图30是烹饪臂321的状态的放大图。
[0283]
如图30所示，具有各种烹饪功能的附件附接至烹饪臂321的前端。作为烹饪臂321的附件，准备了各种附件，例如具有握住食物原料、餐具等的机械手功能(手功能)的附件，以及具有切割食物原料的刀功能的附件。
[0284]
在图30的示例中，作为具有刀功能的附件的刀附件331-1附接至烹饪臂321-1。使用刀附件331-1切割放置在顶板311a上的肉块。
[0285]
作为用于固定食物原料和旋转食物原料的附件的主轴附件331-2附接至烹饪臂321-2。
[0286]
作为具有剥离食品原料的剥离器功能的附件的剥离器附件331-3附接至烹饪臂321-3。
[0287]
通过使用主轴附件331-2的烹饪臂321-2提起的马铃薯皮由使用剥离器附件331-3的烹饪臂321-3剥离。以这种方式，多个烹饪臂321也可以执行一个彼此相关联的操作。
[0288]
作为具有机械手功能的附件的机械手附件331-4附接至烹饪臂321-4。通过使用机械手附件331-4将带有鸡肉的煎锅运送到具有烤箱功能的烹饪辅助系统312的空间。
[0289]
通过根据动作内容适当地更换附件，可以执行使用这样的烹饪臂321的烹饪动作和摆盘动作。同样的附件也可以以机械手附件331-4附接至四个烹饪臂321中的每一个的方式附接至多个烹饪臂321。
[0290]
使用烹饪机器人302的烹饪动作和摆盘动作，不仅使用作为烹饪臂的工具的上述准备的附件，而且适当地使用与人的烹饪所使用的工具相同的工具来执行。例如，执行其中机械手附件331-4握住人使用的刀并使用该刀切割食物原料的烹饪。
[0291]
·
烹饪臂的配置
[0292]
图31是示出烹饪臂321的外观的图。
[0293]
如图31所示，烹饪臂321是通过用作接合部的铰链部将薄壁的圆柱形构件作为整体连接而构成的。每个铰链部都设置有生成用于驱动每个构件的力的电机等。
[0294]
作为圆柱形构件，从前端起依次设置有可拆卸构件351、中继构件353和基部构件355。
[0295]
可拆卸构件351和中继构件353通过铰链部352彼此连接，并且中继构件353和基部构件355通过铰链部354彼此连接。
[0296]
在可拆卸构件351的末端设置有可拆卸部351a，附件连接至该可拆卸部或从该可拆卸部拆卸。可拆卸构件351包括可拆卸部351a，各种附件连接到该可拆卸部或从该可拆卸部拆卸，并且该可拆卸构件用作通过操作附件执行烹饪的烹饪功能臂部。
[0297]
在基部构件355的后端设置有附接至导轨上的可拆卸部356。基部构件355用作实现烹饪臂321的移动的移动功能臂部。
[0298]
图32是示出烹饪臂321的每个部分的可移动区域的示例的图。
[0299]
如椭圆#1围绕的部分所示，可拆卸构件351围绕具有圆形横截面的中心轴线可旋转。在椭圆#1的中心处示出的平坦小圆指示交替的点划线的旋转轴线的方向。
[0300]
如由圆#2围绕的部分所示，可拆卸构件351围绕穿过用于铰接部352的配合部351b
的轴线可旋转。另外，中继构件353围绕穿过用于铰链部352的配合部353a的轴线可旋转。
[0301]
在圆#2内示出的两个小圆中的每个指示旋转轴线的方向(纸的竖直方向)。可拆卸构件351以穿过配合部351b的轴线为中心的可移动范围和中继构件353以穿过配合部353a的轴线为中心的可移动范围例如是90度的范围。
[0302]
中继构件353被配置成由前端侧的构件353-1和后端侧的构件353-2划分。如椭圆#3围绕的部分所示，中继构件353在构件353-1与构件353-2之间的连接部353b中，围绕圆形截面的中心轴线可旋转。其他可移动部基本上具有类似的可移动区域。
[0303]
以这种方式，其前端具有可拆卸部351a的可拆卸构件351、将可拆卸构件351和基部构件355彼此连接的中继构件353、以及其后端连接有可拆卸部356的基部构件355通过铰链部彼此可旋转地连接。每个可移动部的移动由烹饪机器人302中的控制器响应于指令命令来控制。
[0304]
图33是示出烹饪臂与控制器之间的连接的示例的图。
[0305]
如图33所示，烹饪臂321和控制器361通过在形成于壳体311内部的空间311b中的布线彼此连接。在图33的示例中，烹饪臂321-1至321-4和控制器361通过布线362-1至362-4彼此连接。具有柔性的布线362-1至362-4根据烹饪臂321-1至321-4的位置适当弯曲。
[0306]
·
烹饪机器人302的配置
[0307]
图34是示出烹饪机器人302的配置示例的框图。
[0308]
烹饪机器人302被配置成使得每个部分连接至作为控制烹饪机器人302的动作的控制装置的控制器361(图33)。在图34所示的部件中，与上述部件相同的部件用相同的附图标记表示。将适当地省略重复的描述。
[0309]
除了烹饪臂321之外，摄像机401、传感器402和通信单元403也连接至控制器361。
[0310]
控制器361由包括cpu、rom、ram、闪存等的计算机构成。控制器361通过cpu执行预定程序，并控制烹饪机器人302的整体动作。数据处理装置301可以由控制器361配置。
[0311]
例如，控制器361控制通信单元403，并且将由摄像机401拍摄的图片和由传感器402测量的传感器数据发送至数据处理装置301。
[0312]
在控制器361中，执行预定的程序以实现指令命令获取单元411和臂控制单元412。
[0313]
指令命令获取单元411获取从数据处理装置301发送并在通信单元403中接收的指令命令。由指令命令获取单元411获取的指令命令被提供给臂控制单元412。
[0314]
臂控制单元412响应于由指令命令获取单元411获取的指令命令，控制烹饪臂321的动作。
[0315]
摄像机401对烹饪机器人302的周围的状态进行成像，并且将通过成像得到的图片输出到控制器361。摄像机401设置在诸如烹饪辅助系统312的前表面和烹饪臂321的前端的各种位置处。
[0316]
传感器402由各种传感器(例如，温度和湿度传感器、压力传感器、光传感器、距离传感器、人传感器、定位传感器和振动传感器)构成。由传感器402执行的测量以预定周期执行。指示由传感器402获得的测量结果的传感器数据被提供给控制器361。
[0317]
摄像机401和传感器402可以设置在与烹饪机器人302的壳体311分离的位置处。
[0318]
通信单元403是无线通信模块，例如对应于长期演进(long term evolution，lte)的无线lan模块或便携式通信模块。通信单元403与数据处理装置301和诸如因特网上的服
务器的外部装置执行通信。
[0319]
如图34所示，烹饪臂321设置有电机421和传感器422。
[0320]
电机421设置在烹饪臂321的每个接合部中。电机421在臂控制单元412的控制下围绕轴线旋转。在每个接合部处还设置有测量电机421的旋转量的编码器、基于由编码器获得的测量结果适应性地控制电机421的旋转的驱动器等。
[0321]
传感器422例如由陀螺仪传感器、加速度传感器、触摸传感器等构成。传感器422在烹饪臂321的动作期间，测量每个接合部的角速度、加速度等，并将指示测量结果的信息输出到控制器361。指示传感器422的测量结果的传感器数据也从烹饪机器人302适当地发送到数据处理装置301。
[0322]
·
数据处理装置301的配置
[0323]
图35是示出数据处理装置301的功能配置示例的框图。
[0324]
图35所示的功能单元中的至少一些通过由构成数据处理装置301的计算机的cpu执行预定程序来实现。
[0325]
如图35所示，在数据处理装置301中实现命令生成单元431。命令生成单元431包括菜谱数据获取单元451、机器人状态估计单元452、控制单元453以及命令输出单元454。
[0326]
菜谱数据获取单元451获取在信息处理装置1等中新生成的菜谱数据，并且将菜谱数据输出到控制单元453。具有生成包括摆盘的整个菜谱的功能的信息处理单元151(图22)可以设置在菜谱数据获取单元451中。
[0327]
机器人状态估计单元452接收从烹饪机器人302发送的图像和传感器数据。以预定周期从烹饪机器人302发送由烹饪机器人302的摄像机拍摄的图像和由设置在烹饪机器人302的预定位置处的传感器测量的传感器数据。在由烹饪机器人302的摄像机拍摄的图像中，示出了烹饪机器人302的周围的状态。
[0328]
机器人状态估计单元452通过分析从烹饪机器人302发送的图像和传感器数据，估计烹饪机器人302的周围的状态以及诸如烹饪臂321的状态和食物原料的状态的烹饪步骤的状态。将指示由机器人状态估计单元452估计的烹饪机器人302的周围的状态等的信息提供给控制单元453。
[0329]
控制单元453基于从菜谱数据获取单元451提供的菜谱数据中描述的烹饪步骤数据集和摆盘步骤数据集，生成用于控制烹饪机器人302的指令命令。例如，生成用于使烹饪臂321执行由烹饪步骤数据集中包括的烹饪动作信息表示的动作的指令命令。
[0330]
还参照由机器人状态估计单元452估计的烹饪机器人302的周围的状态等来生成指令命令。由控制单元453生成的指令命令被提供给命令输出单元454。
[0331]
命令输出单元454将由控制单元453生成的指令命令发送到烹饪机器人302。
[0332]
·
数据处理装置301的动作
[0333]
将参照图36的流程图描述控制烹饪机器人302的动作的数据处理装置301的处理。
[0334]
在步骤s101中，菜谱数据获取单元451获取指示由信息处理装置1等生成的菜谱的菜谱数据。
[0335]
在步骤s102中，控制单元453基于菜谱数据中描述的烹饪步骤数据集选择预定烹饪动作，并生成用于执行所选择的烹饪动作的指令命令。例如，当按照烹饪步骤的顺序选择烹饪步骤数据集时，按照执行顺序选择包括在所选择的烹饪步骤中的烹饪动作。
[0336]
在步骤s103中，命令输出单元454将指令命令发送到烹饪机器人302，并且使烹饪机器人302执行烹饪动作。
[0337]
在步骤s104中，机器人状态估计单元452估计烹饪机器人302的状态。
[0338]
在步骤s105中，控制单元453确定是否所有的烹饪动作都已经被终止。在步骤s105中确定所有的烹饪动作没有被终止的情况下，处理返回到步骤s102，以选择下一个烹饪动作，并且重复上述处理。
[0339]
在步骤s105中确定所有的烹饪动作都已经被终止的情况下，控制单元453基于在步骤s106中的菜谱数据中描述的摆盘步骤数据集来生成用于执行摆盘动作的指令命令。
[0340]
在步骤s107中，命令输出单元454将指令命令发送到烹饪机器人302，并且使烹饪机器人302执行摆盘动作。
[0341]
在步骤s108中，机器人状态估计单元452估计烹饪机器人302的状态。
[0342]
在步骤s109中，控制单元453确定摆盘动作是否已经被终止。在步骤s109中确定摆盘动作没有被终止的情况下，处理返回到步骤s106，并且重复上述处理。
[0343]
在步骤s109中确定摆盘动作已经被终止的情况下，处理被终止。在这种情况下，基于由信息处理装置1等生成的新的菜谱数据来完成菜肴。
[0344]
以这种方式，通过信息处理装置1可以生成用于控制使用烹饪臂执行烹饪的机器人的菜谱数据。
[0345]
图37是示出控制系统的另一配置示例的图。
[0346]
在图37所示的控制系统中，提供诸如微波炉的电子烹饪设备303来代替烹饪机器人302。电子烹饪设备303响应于从数据处理装置301提供的指令命令执行烹饪动作和摆盘动作，并且执行烹饪。在具有加热功能的电子烹饪设备303中，例如，执行诸如加热诸如巧克力的食物原料以将其融化在菜肴中的摆盘动作。
[0347]
以这种方式，菜谱数据可以用于控制自动执行烹饪动作和摆盘动作的各种设备。
[0348]
《其他示例》
[0349]
虽然已经在假设烹饪步骤和摆盘步骤都由烹饪机器人302执行的情况下给出了描述，但是烹饪步骤可以由厨师执行，并且只有摆盘步骤可以由烹饪机器人302执行。在这种情况下，可以在菜谱数据中仅描述关于摆盘步骤的信息。
[0350]
·
计算机的配置示例
[0351]
上述一系列处理步骤可以由硬件执行或由软件执行。在通过软件执行一系列处理步骤的情况下，构成软件的程序被安装在嵌入专用硬件的计算机、通用个人计算机等中。
[0352]
安装的程序通过记录在图21所示的可移动介质111中来提供，该可移动介质由光盘(压缩盘-只读存储器(compact disc-read only memory，cd-rom)、数字多功能盘(digital versatile disc，dvd)等)、半导体存储器等构成。另外，可以通过诸如局域网、因特网或数字广播的有线或无线传输介质来提供程序。该程序可以预先安装在rom 102或存储单元108中。
[0353]
由计算机执行的程序可以是以本说明书中描述的顺序按时间序列执行多个处理步骤的程序，或者可以是并行地或者在诸如进行调用时的必要定时处执行多个处理步骤的程序。
[0354]
注意，在本说明书中，系统是多个组成元件(装置、模块(部件)等)的集合，并且所
有组成元件可以位于或不位于同一壳体中。因此，容纳在单独的壳体中并经由网络连接的多个装置和其中多个模块容纳在一个壳体中的一个装置两者都是系统。
[0355]
本说明书中描述的效果仅仅是示例性的而不是限制性的，并且可以获得其他效果。
[0356]
本技术的实施方式不限于上述实施方式，并且在不脱离本技术的要旨的情况下可以进行各种修改。
[0357]
例如，本技术可以被配置为云计算，其中，一个功能经由网络由多个装置共享和共同处理。
[0358]
此外，上述流程图中描述的各个步骤可以由一个装置或由多个装置以共享的方式执行。
[0359]
此外，在一个步骤中包括多个处理步骤的情况下，一个步骤中包括的多个处理步骤可以由一个装置或者由多个装置以共享的方式执行。
[0360]
[参考符号列表]
[0361]
1 信息处理装置
[0362]
51 学习服务器
[0363]
61 学习装置
[0364]
151 信息处理单元
[0365]
161 获取单元
[0366]
162 摆盘生成单元
[0367]
163 呈现单元
[0368]
171 摆盘生成服务器
[0369]
301 数据处理装置
[0370]
302 烹饪机器人