结构化数据生成与作业方法、厨房机器人及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种结构化数据生成与作业方法、厨房机器人及存储介质。


背景技术：

2.随着人工智能的迅速发展，越来越多的智能机器应用到人们的生活当中，例如智能炒菜机，用户利用智能炒菜机，在很少的参与步骤下即可完成自动化烹饪过程，为烹饪美食带来极大的便利。
3.现有技术中，存在一些电子菜谱，智能炒菜机根据这些电子菜谱可自动烹饪各种美食。但是，智能炒菜机根据现有电子菜谱烹饪美食的过程缺少了灵活性，可能造成烹饪出的美食质量不理想，无法满足用户的烹饪需求。


技术实现要素：

4.本技术的多个方面提供一种结构化数据生成与作业方法、厨房机器人及存储介质，用以提高执行作业任务的灵活性。
5.本技术实施例提供一种结构化数据生成方法，包括：在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；针对多个作业步骤中的第一类作业步骤，生成与第一类作业步骤对应的提示信息，第一类作业步骤至少包括需要依赖数据对象的作业步骤；根据多个作业步骤、多个作业步骤之间的执行顺序以及第一类作业步骤对应的提示信息，生成参考结构化数据；其中，提示信息用于在任一厨房机器人根据参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
6.本技术实施例还提供一种结构化数据生成方法，包括：在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；针对多个作业步骤中的第三类作业步骤，响应用户的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息，第三类作业步骤是多个作业步骤中需要依赖数据对象但未给出数据对象标识信息的作业步骤；根据多个作业步骤、多个作业步骤之间的执行顺序以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
7.本技术实施例还提供一种作业任务执行方法，包括：获取参考结构化数据，参考结构化数据包括厨房机器人执行作业任务中的多个作业步骤、多个作业步骤之间的执行顺序以及多个作业步骤中第一类作业步骤对应的提示信息；根据多个作业步骤之间的执行顺序，依次执行多个作业步骤；以及在执行到第一类作业步骤时，输出提示信息，以提示用户执行与第一类作业步骤适配的辅助操作，以配合厨房机器人完成作业任务。
8.本技术实施例还提供一种结构化数据生成方法，适用于终端设备，方法包括：显示作业控制界面，基于作业控制界面上的控件，控制厨房机器人执行作业任务；在厨房机器人执行作业任务过程中，接收并显示厨房机器人当前执行到的作业步骤；在当前执行到的作
业步骤为指定作业步骤时，响应于用户将其标记为第一类作业步骤的标记操作，生成与第一类作业步骤对应的提示信息；根据厨房机器人依次执行到的作业步骤以及第一类作业步骤对应的提示信息，生成参考结构化数据；其中，提示信息用于在任一厨房机器人根据参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
9.本技术实施例还提供一种结构化数据生成方法，适用于终端设备，方法包括：显示作业控制界面，基于作业控制界面上的控件，控制厨房机器人执行作业任务；在厨房机器人执行作业任务过程中，接收并显示厨房机器人当前执行到的作业步骤；在当前执行到的作业步骤为指定作业步骤时，响应于用户将其标记为第三类作业步骤的标记操作，显示对象配置界面，第三类作业步骤是指需要依赖数据对象的作业步骤；响应用户在对象配置界面上的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息；根据厨房机器人依次执行到的作业步骤以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
10.本技术实施例还提供一种厨房机器人，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；针对多个作业步骤中的第一类作业步骤，生成与第一类作业步骤对应的提示信息，第一类作业步骤至少包括需要依赖数据对象的作业步骤；根据多个作业步骤、多个作业步骤之间的执行顺序以及第一类作业步骤对应的提示信息，生成参考结构化数据；其中，提示信息用于在任一厨房机器人根据参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
11.本技术实施例还提供一种厨房机器人，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；针对多个作业步骤中的第三类作业步骤，响应用户的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息，第三类作业步骤是多个作业步骤中需要依赖数据对象但未给出数据对象标识信息的作业步骤；根据多个作业步骤、多个作业步骤之间的执行顺序以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
12.本技术实施例还提供一种厨房机器人，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：获取参考结构化数据，参考结构化数据包括厨房机器人执行作业任务中的多个作业步骤、多个作业步骤之间的执行顺序以及多个作业步骤中第一类作业步骤对应的提示信息；根据多个作业步骤之间的执行顺序，依次执行多个作业步骤；以及在执行到第一类作业步骤时，输出提示信息，以提示用户执行与第一类作业步骤适配的辅助操作，以配合厨房机器人完成作业任务。
13.本技术实施例还提供一种终端设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：显示作业控制界面，基于作业控制界面上的控件，控制厨房机器人执行作业任务；在厨房机器人执行作业任务过程中，接收并显示厨房机器人当前执行到的作业步骤；在当前执行到的作业步骤为指定作业步骤时，响应于用户将其标记为第一类作业步骤的标记操作，生成与第一类作业步骤对应
的提示信息；根据厨房机器人依次执行到的作业步骤以及第一类作业步骤对应的提示信息，生成参考结构化数据；其中，提示信息用于在任一厨房机器人根据参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
14.本技术实施例还提供一种终端设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：显示作业控制界面，基于作业控制界面上的控件，控制厨房机器人执行作业任务；在厨房机器人执行作业任务过程中，接收并显示厨房机器人当前执行到的作业步骤；在当前执行到的作业步骤为指定作业步骤时，响应于用户将其标记为第三类作业步骤的标记操作，显示对象配置界面，第三类作业步骤是指需要依赖数据对象的作业步骤；响应用户在对象配置界面上的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息；根据厨房机器人依次执行到的作业步骤以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
15.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本技术实施例提供的结构化数据生成方法和作业任务执行方法中的步骤。
16.在本技术实施例中，在生成结构化数据过程中，至少针对需要依赖数据对象的一类作业步骤，留有用户干预的余地，通过设置相应的提示信息，对用户进行干预引导，最终生成一种半自动化的结构化数据，而非全自动化的结构化数据。这样，在任一厨房机器人根据该半自动化的结构化数据执行作业任务过程中，当执行到设置有提示信息的作业步骤时，可以输出提示信息以提示用户执行与该作业步骤适配的辅助操作，进而配合该厨房机器人完成作业任务。由于允许用户对厨房机器人执行作业任务的过程进行调整和干预，厨房机器人执行作业任务的灵活性更强，有利于满足用户的作业需求。
附图说明
17.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
18.图1a为本技术示例性实施例提供的一种结构化数据生成方法的流程示意图；
19.图1b为本技术示例性实施例提供的一种在厨房机器人执行作业任务之前，结构化数据生成方法包括的步骤的流程示意图；
20.图1c为本技术示例性实施例提供的另一种结构化数据生成方法的流程示意图；
21.图1d为本技术示例性实施例提供的再一种结构化数据生成方法的流程示意图；
22.图1e为本技术示例性实施例提供的又一种结构化数据生成方法的流程示意图；
23.图2a为本技术示例性实施例提供的一种作业任务执行方法的流程示意图；
24.图2b为本技术示例性实施例提供的一种语音模块的结构示意图；
25.图2c为本技术示例性实施例提供的一种语音系统的结构示意图；
26.图3为本技术示例性实施例提供的一种烹饪设备的结构示意图；
27.图4a为一种创作模式展示界面的示意图；
28.图4b为一种预编辑界面的示意图；
29.图4c为另一种预编辑界面的示意图；
30.图4d为一种料盒称重界面的示意图；
31.图4e为另一种料盒称重界面的示意图；
32.图4f为一种烹饪控制界面的示意图；
33.图4g为另一种烹饪控制界面的示意图；
34.图4h为一种创作预览界面的示意图；
35.图5为本技术示例性实施例提供的一种厨房机器人的结构示意图；
36.图6为本技术示例性实施例提供的一种终端设备的结构示意图。
具体实施方式
37.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.现有技术中，智能炒菜机根据现有电子菜谱烹饪美食的过程中，用户无法干预，智能炒菜机只能按照电子菜谱中的作业步骤烹饪美食，缺少了灵活性，可能造成烹饪出的美食质量不理想，无法满足用户的烹饪需求。针对上述问题，在本技术实施例中，在生成结构化数据过程中，至少针对需要依赖数据对象的一类作业步骤，留有用户干预的余地，通过设置相应的提示信息，对用户进行干预引导，最终生成一种半自动化的结构化数据，而非全自动化的结构化数据。这样，在任一厨房机器人根据该半自动化的结构化数据执行作业任务过程中，当执行到设置有提示信息的作业步骤时，可以输出提示信息以提示用户执行与该作业步骤适配的辅助操作，进而配合该厨房机器人完成作业任务。由于允许用户对厨房机器人执行作业任务的过程进行调整和干预，厨房机器人执行作业任务的灵活性更强，有利于满足用户的作业需求。
39.以下结合附图，详细说明本技术各实施例提供的技术方案。
40.图1为本技术示例性实施例提供的一种结构化数据生成方法的流程示意图，如图1所示，该方法包括：
41.101a、在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；
42.102a、针对多个作业步骤中的第一类作业步骤，生成与第一类作业步骤对应的提示信息，第一类作业步骤至少包括需要依赖数据对象的作业步骤；
43.103a、根据多个作业步骤、多个作业步骤之间的执行顺序以及第一类作业步骤对应的提示信息，生成参考结构化数据；其中，该提示信息用于在任一厨房机器人根据参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
44.在本实施例中，厨房机器人可以是任何能够自主根据结构化数据在厨房环境中执行作业任务的电子设备，例如可以是但不限于：智能炒菜机、智能电饭煲、智能电饼铛或者智能洗碗机等。根据厨房机器人的不同，厨房机器人执行的作业任务也有所不同，例如，若厨房机器人为智能炒菜机，则智能炒菜机可以执行炒菜任务，若厨房机器人为智能电饭煲，则智能电饭煲可以执行煮饭任务等。
45.在本实施例中，厨房机器人可以与终端设备建立绑定关系，终端设备可以是任何能够提供界面操作功能的终端设备，例如可以是手机、平板电脑、智能手表、笔记本电脑或者台式计算机等。
46.在本实施例中，厨房机器人可以采用但不限于以下几种实施方式执行作业任务。下面举例说明。
47.实施方式a1：厨房机器人可以接收到作业指令，该作业指令指示厨房机器人根据基础结构化数据执行作业任务，在该情况下，厨房机器人可以获取基础结构化数据，该基础结构化数据中包含厨房机器人执行作业任务所需的多个作业步骤以及多个作业步骤之间的执行顺序；进而按照该基础结构化数据中包括的多个作业步骤之间的执行顺序，依次执行多个作业步骤，以执行作业任务。
48.可选地，作业指令可以由用户通过厨房机器人的显示屏幕向厨房机器人发出；或者，也可以由用户采用语音方式向厨房机器人发出；或者，也可以由用户通过与厨房机器人绑定的终端设备上的app向厨房机器人发出；或者，也可以由服务端向厨房机器人下发。
49.可选地，基础结构化数据可以是厨房机器人预置的结构化数据，则可以从本地获取基础结构化数据。或者，基础结构化数据也可以从网络上或服务端下载，且基础结构化数据是由其它用户制作并发布到网络或服务端上的。
50.实施方式a2：用户可以不断向控制厨房机器人发送控制指令，依次控制厨房机器人按序执行多个作业步骤，从而完成作业任务。可选地，用户可以通过终端设备上的显示屏或者厨房机器人上的显示屏不断向厨房机器人发送控制指令，或者，用户也可以通过语音方式不断向厨房机器人发送控制指令，每个控制指令用以指示厨房机器人执行一个或多个作业步骤。对厨房机器人来说，可以不断接收用户发出的控制指令，按照接收到的控制指令的顺序依次执行多个作业步骤，进而完成作业任务。
51.在实施方式a2中，用户向控制厨房机器人发送控制信号的顺序，可以反映出厨房机器人所执行的多个作业步骤之间的执行顺序。
52.无论厨房机器人采用上述哪种方式执行作业任务，厨房机器人可一边执行作业任务，一边记录其所执行的作业步骤以及作业步骤之间的执行顺序，以便生成结构化数据。在本实施例中，厨房机器人主要用于生成一种半自动的结构化数据，全自动化的结构化数据在指导厨房机器人执行作业任务过程中，可引导厨房机器人在无用户参与的情况下自动完成作业任务，而半自动化的结构化数据在指导厨房机器人执行作业任务过程中，会引导用户参与，只有在用户的配合下厨房机器人才能完成作业任务。为了便于区分和描述，在本技术实施例中，将这种半自动化的结构化数据称为参考结构化数据；相应地，将全自动化的结构化数据称为跟做结构化数据。
53.在本实施例中，厨房机器人生成参考结构化数据的过程实际是在执行作业任务过程中一边记录其执行的作业步骤以及作业步骤之间的执行顺序，一边发现适合用户干预的作业步骤，并针对这些作业步骤添加用于对用户进行干预引导的提示信息的过程。在本实施例中，将厨房机器人所执行的作业步骤中适合用户干预的作业步骤称为第一类作业步骤，并针对第一类作业步骤，生成与第一类作业步骤对应的提示信息。
54.在本实施例中，厨房机器人执行作业任务会涉及一些数据对象，这里的数据对象是指厨房机器人外部的数据对象，例如在执行作业任务过程中，需要向厨房机器人提供、添
加、增加或减少数据对象等。由于这些数据对象是厨房机器人外部的对象，所以可以由用户手动或人工进行操作，而不是必须由厨房机器人自动进行操作。基于此，第一类作业步骤至少包括：需要依赖数据对象的作业步骤。例如，若厨房机器人为智能炒菜机，作业任务为烹饪菜品，则数据对象可以是烹饪菜品所需的食材、调料或其它辅助工具等。
55.在本实施例中，每个第一类作业步骤都会对应一个提示信息。在识别出所有第一类作业步骤，且为每个第一类作业步骤均生成对应的提示信息之后；可以根据所记录的厨房机器人执行的多个作业步骤、多个作业步骤之间的执行顺序以及第一类作业步骤对应的提示信息，生成参考结构化数据。该参考结构化数据至少包括厨房机器人执行作业任务所需的多个作业步骤、多个作业步骤之间的执行顺序以及多个作业步骤中第一类作业步骤对应的提示信息。本实施例生成的参考结构化数据，可用于指导任一厨房机器人执行作业任务。这里的任一厨房机器人既包括生成该参考结构化数据的厨房机器人，也包括其它厨房机器人。生成参考结构化数据的厨房机器人可以将该参考结构化数据发布到互联网或服务端，其它厨房机器人从互联网或服务端上下载该参考结构化数据。其中，第一类作业步骤对应的提示信息，具体用于在任一厨房机器人根据该参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
56.在本技术实施例中，在生成结构化数据过程中，至少针对需要依赖数据对象的一类作业步骤，留有用户干预的余地，通过设置相应的提示信息，对用户进行干预引导，最终生成一种半自动化的结构化数据，而非全自动化的结构化数据。这样，在任一厨房机器人根据该半自动化的结构化数据执行作业任务过程中，当执行到设置有提示信息的作业步骤时，可以输出提示信息以提示用户执行与该作业步骤适配的辅助操作，进而配合该厨房机器人完成作业任务。由于允许用户对厨房机器人执行作业任务的过程进行调整和干预，厨房机器人执行作业任务的灵活性更强，有利于满足用户的作业需求。
57.在一可选实施例中，在第一类作业步骤包括依赖数据对象的作业步骤的情况下，生成与第一类作业步骤对应的提示信息的实施方式，包括：根据第一类作业步骤对数据对象的依赖行为，生成用于提示用户对第一类作业步骤所依赖的数据对象进行操作的提示信息。在该情况下，该提示信息用于提示用户对第一类作业步骤所依赖的数据对象进行操作，相应地，用户执行的辅助操作也就是对第一类作业步骤所依赖的数据对象进行操作。以厨房机器人是炒菜机为例，参考结构化数据可实现为参考电子菜谱，参考电子菜谱包括的与数据对象对应的提示信息可以是“请添加xxx食材”、“添加xxx调料”、“将xxx调料从锅内捞出”等等。
58.进一步可选地，在第一类作业步骤包括依赖数据对象的作业步骤的情况下，在生成与第一类作业步骤对应的提示信息之前，可以先确定哪些作业步骤是需要依赖数据对象的第一类作业步骤。对于哪些明确需要依赖数据对象的作业步骤，可以预先配置与这类作业步骤对应的关键词，基于此，在厨房机器人执行作业任务过程中，可以将当前执行到的作业步骤与预先配置的关键词进行匹配；若匹配中预先配置的关键词，则确定当前执行到的作业步骤为第一类作业步骤。对于哪些明确不需要依赖数据对象的作业步骤，因为无法匹配中预先配置的关键词，不会被识别为第一类作业步骤。
59.但是，在实际应用中，有些作业步骤可能需要依赖数据对象，也可能不需要依赖数
据对象，对于这类作业步骤无法简单地通过匹配预设的关键词进行识别。在本实施例中，将这些既可能依赖数据对象也可能不依赖数据对象的作业步骤称为指定作业步骤，预先配置指定作业步骤，并针对指定作业步骤设置标记选项，以供用户在厨房机器人实际执行作业任务过程中按需标记该指定作业步骤是否需要依赖数据对象。如果用户标记该指定作业步骤需要依赖数据对象，则该指定作业步骤是需要依赖数据对象的第一类作业步骤；反之，该指定作业步骤不是需要依赖数据对象的第一类作业步骤。
60.基于上述，在厨房机器人执行作业过程中，除了记录厨房机器人执行的多个作业步骤之外，还可以按照多个作业步骤之间的执行顺序，通过厨房机器人的显示屏，或与厨房机器人绑定的终端设备的显示屏，向用户显示厨房机器人当前执行到的作业步骤。需要说明的是，显示屏上除了显示厨房机器人当前执行到的作业步骤之外，也可以显示厨房机器人已经执行的作业步骤，或者将要执行的作业步骤。在厨房机器人执行到指定作业步骤时，可以显示针对指定作业步骤的标记选项，以供用户标记指定作业步骤是否依赖数据对象；其中，通过针对指定作业步骤的标记选项，用户可以标记该指定作业步骤依赖数据对象，也可以标记该指定作业步骤不依赖数据对象。在用户通过该标记选项标记该指定作业步骤依赖数据对象的情况下，标记信息中还可以体现该作业步骤对数据对象的依赖行为。例如，以炒菜机为例，指定作业步骤为开盖步骤，标记选项可以是但不限于：开盖添加/取出食材、开盖添加/取出调料、开盖对食材翻面或开盖烹饪等，其中，“添加”、“取出”或“翻面”等动作即为对数据对象的依赖行为。若指定作业步骤被标记为依赖数据对象，用户还可以为该指定作业步骤配置其所依赖的数据对象的标识信息，则厨房机器人还可以获取用户为指定作业步骤配置的其所依赖的数据对象的标识信息。
61.在本实施例中，并不限定获取用户为指定作业步骤配置的其所依赖的数据对象的标识信息的实施方式，下面举例说明。
62.实施方式b1：在厨房机器人执行作业任务之前，用户预先对厨房机器人执行作业任务需要用到的数据对象进行预编辑，以获取厨房机器人执行作业任务所需的数据对象列表，数据对象列表包括至少一种数据对象的标识信息。基于此，在厨房机器人执行到指定作业步骤，且用户通过上文提到的标记选项标记该指定作业步骤依赖数据对象的情况下，可以进一步展示厨房机器人执行作业任务所需的数据对象列表；用户可以从数据对象列表中选择指定作业步骤依赖的数据对象的标识信息；厨房机器人可以响应于用户对数据对象列表的选择操作，获取用户选择的数据对象的标识信息作为指定作业步骤依赖的数据对象的标识信息。
63.进一步可选地，在厨房机器人执行作业任务之前，用户预先对厨房机器人执行作业任务需要用到的数据对象进行预编辑的过程包括：显示预编辑界面，预编辑界面包括候选数据对象和/或编辑控件，以供用户编辑厨房机器人执行作业任务所需的数据对象列表；响应于用户的预编辑操作，生成厨房机器人执行作业任务所需的数据对象列表。其中，用户可以从候选数据对象中选择厨房机器人执行作业任务所需的数据对象并添加到数据对象列表中；或者，在候选数据对象中不存在厨房机器人执行作业任务所需的数据对象列表的情况下，用户还可以通过编辑控件自动添加或编辑厨房机器人所需的数据对象的信息。或者，预编辑界面上直接显示编辑控件，用户直接通过编辑控件编辑厨房机器人执行作业任务所需的数据对象的信息，并添加到数据对象列表中。
64.实施方式b2：在厨房机器人执行到指定作业步骤，且用户通过上文提到的标记选项标记该指定作业步骤依赖数据对象的情况下，进一步向用户展示数据对象编辑界面，该数据对象编辑界面包括：编辑控件，用户可以通过该编辑界面编辑指定作业步骤依赖的数据对象的标识信息；厨房机器人可以响应于用户的编辑操作，获取指定作业步骤依赖的数据对象的标识信息。
65.实施方式b3：在厨房机器人执行到指定作业步骤，且用户通过上文提到的标记选项标记该指定作业步骤依赖数据对象的情况下，进一步展示厨房机器人执行作业任务所需的数据对象列表和增加控件。若数据对象列表中包含该指定作业步骤依赖的数据对象的标识信息，则用户可以直接从数据对象列表中选择数据对象的标识信息，厨房机器人可以响应于用户对数据对象列表的选择操作，获取用户选择的数据对象的标识信息作为指定作业步骤依赖的数据对象的标识信息。若数据对象列表中不包含该指定作业步骤依赖的数据对象的标识信息，则用户可以点击该增加控件，进入数据对象编辑界面，该数据对象编辑界面上有编辑控件，用户可以通过该编辑界面编辑指定作业步骤依赖的数据对象的标识信息；厨房机器人可以响应于用户的编辑操作，获取指定作业步骤依赖的数据对象的标识信息。
66.在此说明，本技术实施例中的第一类作业步骤不仅包括依赖数据对象的作业步骤，还可以包括其它用户能够参与的作业步骤，例如依赖用户可配型作业参数的作业步骤。其中，用户可配型作业参数是指允许用户在厨房机器人执行作业过程中实时进行调整或配置，且不会影响当前作业任务的执行过程的作业参数。可选地，这些用户可配型作业参数可以是用户易于配置的作业参数，例如可以是但不限于：厨房机器人和/或遥控器上提供有配置控件(可以是物理按钮或触控面板上的触控按钮)的作业参数。例如，用户可以通过厨房机器人的触控面板上的触控按钮，对用户可配型作业参数进行配置或调整；或者，用户通过厨房机器人的遥控器上的物理按钮，对用户可配型作业参数进行配置或调整。其中，在厨房机器人是智能炒菜机的情况下，智能炒菜机允许用户在其执行作业任务过程中实时配置的作业参数可以是但不限于：火力大小、搅拌铲的速度等，在炒菜机的触控面板上设有火力调节控件和搅拌速度调节控件。对于依赖用户可配型作业参数的作业步骤，作业参数的调整或配置可由用户参与，不一定非要由厨房机器人自动执行，故也可以作为本技术实施例中的第一类作业步骤。
67.在第一类作业步骤包括依赖用户可配型作业参数的作业步骤的情况下，生成第一类作业步骤对应的提示信息的方式，包括生成用于提示用户配置用户可配型作业参数的提示信息，即该提示信息用于提示用户设置或调整第一类作业步骤中的作业参数；相应地，在该提示信息的提示下，用户所执行的辅助操作为设置或调整用户可配型作业参数。以厨房机器人是炒菜机为例，参考结构化数据可实现为参考电子菜谱，参考电子菜谱包括的与用户可配型作业参数对应的提示信息可以是“请增大火力”、“调节搅拌速度”、“减小火力”等等。
68.在本技术一些可选实施例，厨房机器人所执行的多个作业步骤中除了包括第一类作业步骤之外，还可能包括第二类作业步骤，第二类作业步骤是第一类作业步骤之外的其它作业步骤。需要说明的是，对厨房机器人来说，第二类作业步骤为可选作业步骤，也就是说，厨房机器人执行的多个作业步骤可以全是第一类作业步骤。在厨房机器人执行的多个作业步骤中包括第二类作业步骤的情况下，第二类作业步骤可以是使用非用户可配型作业
参数的作业步骤，非用户可配型作业参数是已经预设在作业步骤中的作业参数，且不支持用户通过交互的方式进行调整或配置。基于此，在生成参考结构化数据的过程中，不需要针对第二类作业步骤生成对应的提示信息，但可以针对多个作业步骤中的第二类作业步骤，记录厨房机器人执行第二类作业步骤时使用的非用户可配型作业参数，也就是说，参考结构化数据中包括第二类作业步骤及其对应的非用户可配型作业参数。
69.在此说明，上文中提到的用户可配型作业参数和非用户可配型作业参数是指厨房机器人在执行相应作业步骤时需要使用的作业参数，这些作业参数可体现为厨房机器人的工作状态或状态参数。
70.在本技术另一些可选实施例中，厨房机器人支持两种创作模式，这两种创作模式包括：第一创作模式和第二创作模式，第一创作模式是指生成参考结构化数据的创作模式，第二创作模式是指生成跟做结构化数据的创作模式。其中，跟做结构化数据是一种引导厨房机器人自动执行作业任务的结构化数据。在实际应用中，用户可以根据创作结构化数据的需要选择使用其中一种创作模式，以指示厨房机器人根据用户选择使用的创作模式进行相应结构化数据的创作过程。基于此，如图1b所示，在厨房机器人执行作业任务之前，即在步骤101a之前，结构化数据生成方法还包括以下步骤：
71.101b、展示模式设置界面，该模式设置界面至少包括第一创作模式和第二创作模式；
72.102b、响应用户的选择操作，确定用户选择第一创作模式。
73.在本实施例中若用户选择第一创作模式，意味着需要厨房机器人生成参考结构化数据，于是厨房机器人执行步骤101a
‑
103a的操作生成参考结构化数据。
74.在一可选实施例中，用户还可以选择第二创作模式，则厨房机器人可以一边执行作业任务，一边生成跟做结构化数据。其中，图1c为本技术实施例提供的一种跟做结构化数据生成方法的流程示意图，如图1c所示，该方法包括：
75.101c、在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；
76.102c、针对多个作业步骤中的第三类作业步骤，响应用户的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息，第三类作业步骤是多个作业步骤中需要依赖数据对象但未给出数据对象标识信息的作业步骤；
77.103c、根据多个作业步骤、多个作业步骤之间的执行顺序以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
78.关于步骤101c的实施方式和详细描述可参见前述实施例中对步骤101a的描述，在此不再赘述。在本实施例中，厨房机器人执行的多个作业步骤中包括：第三类作业步骤，第三类作业步骤是多个作业步骤中需要依赖数据对象但未给出数据对象标识信息的作业步骤，即知道该作业步骤需要依赖作业步骤，但不知道该作业步骤具体需要哪个或哪些数据对象；针对第三类作业步骤，用户可以为其配置所依赖的数据对象的属性信息，厨房机器人可以响应用户的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息，例如，属性信息可以是数据对象的标识、类型或者用量等；接着，根据多个作业步骤、多个作业步骤之间的执行顺序以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
79.进一步可选地，在为第三类作业步骤配置其所依赖的数据对象的属性信息之前，可以先确定多个作业步骤中哪些作业步骤是第三类作业步骤。对于哪些明确需要依赖数据对象的作业步骤，可以预先配置与这类作业步骤对应的关键词，基于此，在厨房机器人执行作业任务过程中，可以将当前执行到的作业步骤与预先配置的关键词进行匹配；若匹配中预先配置的关键词，进一步判断当前执行到的作业步骤中是否包含数据对象的属性信息；若未包含，则确定当前执行到的作业步骤为第三类作业步骤；反之，确定当前执行到的作业步骤不是第三类作业步骤。对于哪些明确不需要依赖数据对象的作业步骤，因为无法匹配中预先配置的关键词，不会被识别为第三类作业步骤。
80.但是，在实际应用中，有些作业步骤可能需要依赖数据对象，也可能不需要依赖数据对象，对于这类作业步骤无法简单地通过匹配预设的关键词进行识别。在本实施例中，将这些既可能依赖数据对象也可能不依赖数据对象的作业步骤称为指定作业步骤，预先配置指定作业步骤，并针对指定作业步骤设置标记选项，以供用户在厨房机器人实际执行作业任务过程中按需标记该指定作业步骤是否需要依赖数据对象。因为不知道指定作业步骤是否需要依赖数据对象，自然也就不会知道指定作业步骤所需依赖的数据对象的属性信息，故如果用户标记该指定作业步骤需要依赖数据对象，该指定作业步骤即为第三类作业步骤；反之，该指定作业步骤不是第三类作业步骤。
81.基于上述，在厨房机器人执行作业过程中，除了记录厨房机器人执行的多个作业步骤之外，还可以按照多个作业步骤之间的执行顺序，通过厨房机器人的显示屏，或与厨房机器人绑定的终端设备的显示屏，向用户显示厨房机器人当前执行到的作业步骤。进一步，在厨房机器人执行到指定作业步骤时，可以显示针对指定作业步骤的标记选项，以供用户标记指定作业步骤是否为依赖数据对象；若指定作业步骤被标记为依赖数据对象，但因为预先无法获取到指定作业步骤所依赖的数据对象的属性信息，则将指定作业步骤作为第三类作业步骤，并由用户配置指定作业步骤所依赖的数据对象的属性信息。其中，指定作业步骤是一种可能需要依赖数据对象的作业步骤。关于用户为指定作业步骤配置其所依赖的数据对象的属性信息的方式与上文中实施方式b1
‑
b3相似，在此不再赘述。
82.进一步可选地，厨房机器人在执行每个作业步骤时，都会使用一定的作业参数，因此除了记录厨房机器人执行的多个作业步骤之外，还可以针对每个作业步骤，记录厨房机器人执行每个作业步骤时使用的作业参数，这些作业参数会被存储到跟做结构化数据中。也就是说，跟做结构化数据中不仅包括：多个作业步骤、多个作业步骤之间的执行顺序以及第三类作业步骤所依赖的数据对象的属性信息之外，还包括执行每个作业步骤时使用的作业参数。
83.在一可选实施例中，厨房机器人生成跟做数据包或参考数据包之后，还可以对生成的跟做数据包或参考数据包进行修正操作，其中，修正操作包括增加作业步骤、删除作业步骤、修改作业参数、添加与作业步骤对应的视频或图片、修改结构化数据的名称中的至少一种。基于此，若厨房机器人生成跟做数据包，则在第一预览界面上显示该跟做结构化数据，用户可针对该跟做结构化数据进行修正操作；厨房机器人可响应于用户在第一预览界面上发起的修正操作，对跟做结构化数据进行修正操作；若厨房机器人生成跟做数据包，则在第二预览界面上显示该参考结构化数据，用户可针对该参考结构化数据进行修正操作；响应于用户在第二预览界面上发起的修正操作，对参考结构化数据进行修正操作。修正操
作包括以下至少一种操作：添加或删除搅拌步骤；添加或删除投料步骤；增加或减少加热时间；增大或减小加热功率；增大或减小搅拌速度；添加或删除引导作业步骤的图视频或图片；添加或删除实时展示作业进程的图视频或图片；在所述跟做或参考结构化数据的任一步骤中，添加或删除开盖步骤；在所述跟做或参考结构化数据的任一步骤中，添加或删除关盖步骤。
84.进一步可选地，为了安全考虑，需要在关盖步骤之后，添加调节搅拌铲的步骤；为了跟做或参考结构化数据的稳定性，在跟做或参考结构化数据的最后位置，添加开盖步骤；或者在跟做或参考结构化数据的最后位置，添加关盖步骤。
85.在产品实现上，厨房机器人可以同时支持两种创作模式，用户可以对两种创作模式进行选择，从而根据用户选择的创作模式，生成相应的跟做结构化数据或参考结构化数据。或者，在产品实现上，厨房机器人也可以仅支持第一创造模式或者仅支持第二创作模式，若厨房机器人仅支持第一创作模式，则厨房机器人可按照图1a所示的流程生成参考结构化数据；若厨房机器人仅支持第二创作模式，则可按照图1c所示的流程生成跟做结构化数据。
86.另外，上述图1a
‑
图1c所示方法实施例的执行主体，可以是厨房机器人，即各种操作均在厨房机器人上执行；或者也可以是厨房机器人与终端设备配合实施。在厨房机器人与终端设备配合实施的情况下，生成结构化数据的过程主要分为三部分：
①
用户通过终端设备进行预编辑操作，确定执行作业任务所需的数据对象，终端设备将预编辑的数据对象发送给厨房机器人；
②
用户控制厨房机器人一边执行作业任务，一边生成参考或跟做结构化数据，并控制厨房机器人将生成的结构化数据提供给终端设备；
③
用户通过终端设备对参考或跟做结构化数据进行修正操作，得到最终的结构化数据。关于各部分的详细描述可参见上文，在此不再赘述。
87.在本实施例中，结构化数据的生成过程不仅可以由厨房机器人单独完成，或者由厨房机器人和终端设备配合完成，还可以由终端设备单独完成。图1d为本技术示例性实施例提供的再一种结构化数据生成方法，该方法适用于与厨房机器人绑定的终端设备，如图1d所示，该方法包括：
88.101d、显示作业控制界面，基于作业控制界面上的控件，控制厨房机器人执行作业任务；
89.102d、在厨房机器人执行作业任务过程中，接收并显示厨房机器人当前执行到的作业步骤；
90.103d、在当前执行到的作业步骤为指定作业步骤时，响应于用户将其标记为第一类作业步骤的标记操作，生成与第一类作业步骤对应的提示信息；
91.104d、根据厨房机器人依次执行到的作业步骤以及第一类作业步骤对应的提示信息，生成参考结构化数据；其中，提示信息用于在任一厨房机器人根据参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
92.在本实施例中，作业控制界面上的控件可以控制厨房机器人执行动作。若厨房机器人为烹饪设备，则作业控制界面上包括但不限于：火力控件、搅拌控件、开关盖控件以及暂停控件等。
93.在本实施例中，标记操作指的是用户为指定作业步骤配置其所依赖的数据对象的标识信息的过程。关于用户为指定作业步骤配置其所依赖的数据对象的标识信息的过程或本实施例的其它内容可参见前述实施例在此不再赘述。
94.图1e为本技术示例性实施例提供的又一种结构化数据生成方法，该方法适用于与厨房机器人绑定的终端设备，如图1e所示，该方法包括：
95.101e、显示作业控制界面，基于作业控制界面上的控件，控制厨房机器人执行作业任务；
96.102e、在厨房机器人执行作业任务过程中，接收并显示厨房机器人当前执行到的作业步骤；
97.103e、在当前执行到的作业步骤为指定作业步骤时，响应于用户将其标记为第三类作业步骤的标记操作，显示对象配置界面，第三类作业步骤是指需要依赖数据对象的作业步骤；
98.104e、响应用户在对象配置界面上的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息；
99.105e、根据厨房机器人依次执行到的作业步骤以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
100.在本实施例中，对象配置界面可供用户配置数据对象的属性信息。通过该对象配置界面，用户可以手动输入或语音输入数据对象的属性信息。或者，该对象配置界面上也可以显示预编辑操作中为厨房机器人选定的数据对象列表，以供用户从中为第三类作业步骤选定其所依赖的数据对象，进一步显示该数据对象的属性信息配置界面，包括数据对象类型、数量、名称等配置项，以供用户配置该数据对象的属性信息。其中，关于本实施例的其它内容可参见前述实施例在此不再赘述。
101.在本实施例中，无论采用上述哪种方式生成结构化数据，在生成结构化数据之后，该结构化数据都可用来指导任一厨房机器人执行作业任务。下面以用户根据参考结构化数据执行作业任务为例，对厨房机器人执行作业任务的过程进行说明。
102.图2a为本技术示例性实施例提供的一种作业任务执行方法的流程示意图，如图2a所示，该方法包括：
103.201a、获取参考结构化数据，参考结构化数据包括厨房机器人执行作业任务中的多个作业步骤、多个作业步骤之间的执行顺序以及多个作业步骤中第一类作业步骤对应的提示信息；
104.202a、根据多个作业步骤之间的执行顺序，依次执行多个作业步骤；
105.203a、在执行到第一类作业步骤时，输出提示信息，以提示用户执行与第一类作业步骤适配的辅助操作，以配合厨房机器人完成作业任务。
106.在本实施例中，并不限定参考结构化数据的生成方式。例如，参考结构化数据可以是用户基于厨房机器人的创作模式创作的，则可直接从厨房机器人本地存储中获取参考结构化数据；再例如，其他用户将创作的参考结构化数据发布到互联网或服务端，厨房机器人获取其他用户发布到互联网或服务端上的参考结构化数据；又例如，与厨房机器人绑定的终端设备获取其他用户发布到互联网或服务端上的参考结构化数据，并提供给厨房机器人。
107.在本实施例中，参考结构化数据带有提示信息，在该提示信息的提示下，用户可以对厨房机器人执行作业任务的过程进行调整和干预，实现了厨房机器人半自动化的执行作业任务，作业任务的执行具有一定的灵活性，有利于满足用户的需求。
108.在一可选实施例中，第一类作业步骤包括需要依赖数据对象的作业步骤，提示信息用于提示用户对第一类作业步骤所依赖的数据对象进行操作；或者第一类作业步骤包括依赖用户可配型作业参数的作业步骤，提示信息用于提示用户配置或调整用户可配型作业参数。其中，关于依赖数据对象的作业步骤和用户可配型作业参数的作业步骤的详细内容可参见前述实施例，在此不再赘述。
109.进一步可选地，厨房机器人执行作业步骤期间，若第一类作业步骤包括依赖用户可配型作业参数的作业步骤，则厨房机器人向用户发出提示信息，用户根据提示信息可配置或调整用户可配型作业参数。具体地，用户可向厨房机器人发送参数调整指令，参数调整指令包括厨房机器人执行需要使用的新的用户可配型作业参数；厨房机器人可响应于用户的参数调整指令，控制厨房机器人根据新的用户可配型作业参数执行后续作业步骤。
110.在一可选实施例中，用户执行完辅助操作之后，可以向厨房机器人发出确认信息。例如，可以通过厨房机器人的显示屏或与厨房机器人建立绑定关系的终端设备的显示屏，向厨房机器人发出确认信息。再例如，可以通过厨房机器人的遥控器，向厨房机器人发送确认信息。又例如，厨房机器人包括语音模块，用户可以以语音的方式向厨房机器人发送确认信息，厨房机器人的语音模块，识别用户的语音，获取用户发送的确认信息。厨房机器人获取到确认信息后，可响应于用户在执行辅助操作后发出的确认信息，判断第一类作业步骤是否存在一下作业步骤；若存在，说明参考结构化数据还未执行完毕，则继续执行下一作业步骤；若不存在，说明参考结构化数据已经执行完毕，则结束作业任务。
111.除此之外，厨房机器人发出提示信息之后，用户可以不用发送确认信息，厨房机器人可以设置倒计时，倒计时结束后默认用户执行完辅助操作，厨房机器人可执行下一作业步骤，或结束作业任务。
112.场景化实施例：
113.在本实施例中，以厨房机器人是烹饪设备，参考结构化数据为参考电子菜谱，跟做结构化数据是跟做电子菜谱为例，对结构化数据的生成过程，以及使用过程进行说明。其中，并不对烹饪设备的结构进行限定，图3给出了烹饪设备的一种示例性结构。如图3所示，烹饪设备300包括：锅体301、锅盖302和mcu 303、调料盒304(包括至少一个料盒，每个料盒添加至少一种调料)、位于锅体301内部的搅拌铲(在图3中并未示出)、加热底座305、用于承载加热底座305的基座306、支架307、显示屏308以及测量装置309。其中，mcu 303作为烹饪设备300的大脑，可以控制烹饪设备300执行烹饪动作，例如，mcu 303可以控制烹饪设备300的锅盖302开启或者关闭；mcu 303可以控制调料盒304旋转，以实现投放调料盒304中的调料；mcu 303还可以控制搅拌铲的旋转速度或者控制加热底座305的加热功率等。
114.进一步，烹饪设备还包括通信模块310，该通信模块310可实现为wifi、蓝牙、红外或者射频识别(radio frequency identification，rfid)等近距离通信技术，烹饪设备可基于通信模块与终端设备建立无线连接。
115.在本实施例中，终端设备上安装有烹饪设备对应的app，用户通过该app进入创作模式，创作模式包括：创作参考电子菜谱和创作跟做电子菜谱。图4a为创作模式展示界面，
界面上方是创作模式的帮助视屏，用来向用户解释上述两种模式的区别，便于理解；在界面的下方是创作模式的选择，用户可以选择创作参考电子菜谱或创作跟做电子菜谱。用户可以点击图4a中的第一控件，制作跟做电子菜谱，或者，点击图4a中的第二控件，制作参考电子菜谱。
116.在用户选择第一控件创作跟做电子菜谱的情况下，用户可以在终端设备上执行预编辑操作，记录烹饪设备执行作业任务所需的食材和调料的种类，如图4b和4c所示。如图4b所示，终端设备向用户展示预编辑界面，预编辑界面上显示有多种常见食材，常见食材可以是但不限于：五花肉、排骨、鱼、鸡肉、蘑菇等等。用户可以选择执行作业任务所需的食材种类，若常见食材中没有执行作业任务所需的食材种类，用户可以点击预编辑界面上的食材添加控件，终端设备响应于用户的点击操作，展示信息输入界面，供用户输入要添加食材的标识信息。如图4c所示，预编辑界面上还可以选择每个料盒中需要添加的调料的种类，每个料盒中可以添加一种调料，也可以添加多种调料，对此不做限定。对于每个料盒，预编辑界面显示有常见调料，常见调料可以是但不限于：花生油、细盐、生抽、老抽、陈醋、米醋等。用户可以为料盒选择执行作业任务所需的调料，若常见调料中没有该料盒需要添加的调料种类，用户可以点击预编辑界面上该料盒对应的调料添加控件，终端设备响应于用户的点击操作，展示信息输入界面，供用户输入要添加调料的标识信息。如图4c所示，用户为料盒1选择的调料包括：花生油、细盐、生抽以及陈醋，用户为料盒2选择的调料为细盐。除此之外，在图4b中，用户还可以为数据包添加名称。
117.接着，用户通过终端设备的app进行预编辑操作后，终端设备将用户预编辑的数据，发送给烹饪设备，烹饪设备可以基于预编辑的数据辅助用户进行料盒设置，即辅助用户将调料投放到对应的料盒中。如图4d所示，为料盒称重界面，料盒1中需要投放的调料为花生油、细盐、生抽以及陈醋，在图4d中，只显示添加花生油和细盐，生抽和陈醋并未显示。用户可以基于烹饪设备的测量装置，例如电子秤，对需要添加至料盒1中的调料进行称重，当前称重的调料处于高亮状态，测量装置获取调料的用量后，烹饪设备可记录该调料的用量。用户将称重好的调料添加至料盒1中，后续基于同样的方法，可依次对料盒1中的其它调料或其它料盒中的需要添加的调料进行称重、记录以及投放至料盒中，结束加料过程，开始烹饪。其中，对于用户预编辑数据中没有的调料，在进行料盒设置时，可在料盒称重界面添加需要投放至料盒中的调料，并对添加的调料进行称重、记录和投放。如图4d所示，料盒称重界面上有增加控件，用户可以触发该增加控件，添加需要投放至料盒的调料。烹饪设备可以响应于用户的点击操作，展示常见调料选择界面，供用户选择，或者，在常见调料无法满足用户需求的情况下，用户可以触发常见调料选择界面上的调料添加控件，输入需要添加调料的标识信息。
118.在本实施例中，除了料盒称重界面不仅支持增加料盒调料的实施方式，还支持用户删除料盒中将要添加的调料的标识信息，如图4e所示，用户可以选中需要删除的调料的标识信息，向左滑动，烹饪设备响应于用户的滑动操作，展示调料删除控件，用户可以点击该调料删除控件，将该调料的标识信息删除。
119.在本实施例中，用户可以在锅端(烹饪设备端)，基于烹饪设备的显示屏展示烹饪控制界面，用户一边基于烹饪控制界面执行作业任务，一边生成结构化数据。其中，如图4f为一种烹饪控制界面的示意图，在该烹饪控制界面的左侧，展示烹饪设备的指定作业步骤，
例如，指定作业步骤为当前执行的作业步骤，或者，烹饪设备已经执行完毕的作业步骤和当前执行的作业步骤。在该烹饪控制界面的右侧，展示烹饪设备的交互控件，交互控件包括：火力控件、搅拌控件、投料控件、打开锅盖控件、关闭锅盖控件、暂停控件以及结束控件。火力控件用于调整执行作业任务过程中的火力大小，火力大小分为：关闭、小火、中火以及高火，图4f中，以目标火力大小为高火进行图示。搅拌控件用于调节搅拌铲的转速，搅拌铲的转速分为：关闭、低速、中速或高速。投料控件用于指示调料盒旋转，以投放相应料盒的调料。打开锅盖控件和关闭锅盖控件是复合按钮，若用户点击打开锅盖控件，则烹饪设备的锅盖打开，此时，复合控件显示关闭锅盖；若用户点击关闭锅盖控件，则烹饪设备的锅盖关闭，此时，复合控件显示打开锅盖。暂停控件用于暂停执行作业任务，此时，烹饪设备的搅拌铲停止转动，火力关闭，投料也停止，锅盖处于当前状态。在暂停状态下，用户可以继续点击暂停控件，烹饪设备继续执行作业任务。作业任务执行完毕之后，用户可以点击结束控件，结束执行作业任务。
120.在本实施例中，对于指定作业步骤，例如开盖作业步骤，烹饪控制界面上可以展示针对开盖作业步骤的标记选项。如图4f所示，开盖动作的标记选项为：开盖加食材、开盖烹饪或开盖其它操作。进一步，在用户选择开盖加食材这一标记选型时，烹饪设备可以向用户展示食材选择界面，如图4g所示，食材选择界面上显示有用户预编辑食材的标识信息，用户可以从中选择本次开盖动作添加的食材的标识信息，若本次开盖动作还添加了预编辑食材之外的食材，则可以由用户输入需要添加的食材的标识信息。若用户选择开盖其它操作的标记选项，则烹饪设备可以向用户提供编辑控件，以供用户基于该编辑控件，输入需要开盖进行的具体操作。其中，在执行作业任务过程中，为用户提供开盖标记功能，若用户标记了开盖行为，生成跟做电子菜谱之后，结构化数据中可直接显示开盖行为，以及该开盖行为附带的其它动作，例如添加食材和调料，弥补了用户开盖添加食材时，烹饪设备无法感知，而导致的生成的跟做电子菜谱中，没有开盖行为对应的动作，标记选项的使用，可大大减少了用户的记忆负担。
121.在本实施例中，用户控制烹饪设备执行作业任务之后，厨房机器人可自动生成跟做电子菜谱。烹饪设备可以通过终端设备的显示屏展示该跟做电子菜谱，同时，用户还可以对该跟做电子菜谱执行修正操作。如图4h所示的创作预览界面展示了“常州麻辣牛肉粉”的跟做电子菜谱，创作预览界面上包括“去编辑”控件，用户可以点击该“去编辑”控件；终端设备响应于用户的点击操作，展示创作编辑界面，用户可以在创作编辑界面对跟做电子菜谱中的作业参数进行修正，例如，对某些作业步骤的火力大小、搅拌铲速度以及烹饪时间等进行调整。除此之外，还可以增加作业步骤或删除作业步骤。在增加作业步骤时，增加了容错控制，避免步骤调整导致的数据包异常。例如，在跟做电子菜谱的最后位置，添加开盖步骤；在跟做电子菜谱的最后位置，添加关盖步骤。进一步，出于安全考虑，在关盖步骤之后，添加搅拌步骤，避免开盖的时候，搅拌铲的转动危害用户的身体健康。除此之外，用户还可以添加与作业步骤对应的视频或图片、修改结构化数据的名称，或者调整食材或调料的种类或重量等。
122.在本实施例中，创作跟做数据包与创作参考数据包的过程相同或相似，区别在于：创作参考电子菜谱时，用户无需对调料进行精准的称量，也无需将调料投放至调料盒中，用户可以在开盖过程中，按照自己的喜好选择调料的种类和用量。相应地，用户在执行作业任
务过程中，需要对添加数据对象(例如，调料和食材)的作业步骤进行标记，并生成该作业步骤的提示信息。跟做电子菜谱中包括多个作业步骤、多个作业步骤之间的执行顺序以及一些作业步骤中数据对象的属性信息(例如，食材或调料的种类、标识或用量等)，而参考电子菜谱中，多个作业步骤、多个作业步骤之间的执行顺序以及一些作业步骤对应的提示信息。其它内容参考电子菜谱与跟做电子菜谱，相同或相似，具体可参见跟做电子菜谱的内容。
123.在本实施例中，用户可以根据跟做电子菜谱执行作业任务，也可以根据参考电子菜谱执行作业任务，两者区别在于：在使用跟做电子菜谱执行作业任务时，烹饪设备自动执行作业任务，用户不需要执行辅助操作，在这种模式下，用户无法对作业步骤进行调整和干预；而使用参考电子菜谱执行作业任务时，用户可以根据提示信息，对执行作业任务的过程进行调整和干预，使得用户可以按照自身的喜好执行作业任务，使得执行作业任务的灵活性更强，有利于满足用户的作业需求。同时，提示信息可以大大减少用户的记忆负担，提升用户的体验感。
124.下面介绍用户使用参考电子菜谱执行烹饪任务的过程。其中，烹饪设备支持跟做模式和参考模式。在跟做模式下，用户无需对烹饪过程进行干预和调整，厨房机器人可根据跟做电子菜谱执行作业任务。参考模式主要针对具有一定厨艺基础的用户，用户想要去干预或调整烹饪过程，则用户可以选择参考模式，基于参考模式下的参考电子菜谱执行烹饪任务。
125.用户可以在终端设备上对食材和调料的种类进行预编辑，食材为西红柿，调料为食用油、盐和鸡精。在确定好食材和调料的种类之后，终端设备将预编辑的内容提供给烹饪设备。烹饪设备执行烹饪过程，烹饪设备打开大火并自动打开锅盖，接着提醒用户添加食用油，用户按照提示向锅体中添加食用油，食用油的量由用户自己控制，倒计时5s后，烹饪设备默认用户已经将食用油添加至锅体中；接着烹饪设备提醒用户添加切好的西红柿，用户添加西红柿后，通过显示屏上的控件确认已经将西红柿投放至锅体中之后，烹饪设备收到用户的确认信息之后，关闭锅盖，以中速运行搅拌铲，一段时间后，关闭搅拌铲，打开锅盖，提醒用户添加食盐和鸡精，用户添加完毕后向烹饪设备发出确认添加的信息，烹饪设备在5s后关火，结束烹饪任务。
126.在本技术实施例中，厨房机器人具有语音功能，基于该语音功能，允许用户以语音方式与厨房机器人进行交互，用户可以以语音方式向厨房机器人发出控制指令，厨房机器人也可以以语音方式向用户输出各种信息。本实施例厨房机器人的语音功能包括：语音识别功能、拾音功能和语音播报功能。拾音功能主要用于拾取用户发出的语音信号，或者厨房机器人所处环境中的其它音频信号。语音识别功能主要用于对拾取到的语音信号或其它音频信号进行文本转换，进而从本文信息中识别用于对厨房机器人进行相应控制的控制指令。语音播报功能用于将厨房机器人需要输出的一些信息转换为语音信号，以语音方式播报给用户。
127.例如，用户可以发出“请开始作业”或“执行作业任务”等类似语音指令，以指示厨房机器人开始执行作业任务，进一步还可以发出“请增大功率”、“请开盖”等类似语音指令，在厨房机器人执行作业任务过程中对厨房机器人进行实时控制。或者，用户可以发出“当前工作状态”、“当前使用的功率”、“当前作业进度”等类似的语音指令，以实现对厨房机器人运行状态/工作状态的查询，厨房机器人可以根据用户发出的语音指令向用户返回其运行
状态/工作状态信息。又例如，厨房机器人还可以在作业环境中拾取到其它音频信号时，例如油烟感应器的报警声音，瓷器被打碎的声音，油爆声、食材干烧锅体产生的噪声或者油烟机产生的噪声等，可以对拾取到的其它音频信号进行识别，若这些声音是一些事件产生的特定声音信号，还可以向用户输出提醒或报警信息。
128.在本实施例中，厨房机器人可以包括语音模块，由该语音模块为厨房机器人提供语音功能，该语音模块可以是一硬件模块，例如可以是语音芯片，但不限于此。图2b给出了一种厨房机器人的语音模块的实现结构。如图2b所示，厨房机器人的语音模块200b包括：收音模块201b、语音识别模块202b、主控模块203b以及播音模块204b。
129.其中，收音模块201b用于拾取用户发出的语音信号(后续简称用户语音)，和/或厨房机器人所处环境中的其它声音信号，收音模块201b可以是但不限于：麦克风、麦克风阵列、蓝牙麦克风、录音笔、录音棒、录音机、拾音器等。播音模块204b用于对外输出声音信号，例如可以是喇叭、扩音器、扬声器等。
130.其中，语音识别模块202b用于对收音模块201b采集到的声音信号(例如，用户语音或厨房机器人所处环境中的噪声)进行分析处理。具体地，语音识别模块202b将收音模块201b拾取的用户语音输入深度神经网络模型中进行识别，将识别到的语音指令在预先存储的语音指令与功能码之间的对应关系中进行匹配，若成功匹配到对应的功能码，则将语音指令对应的功能码发送给主控模块203b，以供主控模块203b根据该功能码控制厨房机器人执行相应的动作。其中，功能码指的是主控模块203b可以识别的机器语言，主控模块203b可根据功能码，控制厨房机器人的其它模块(例如锅盖驱动模块或搅拌铲驱动模块等)执行相应的动作。
131.其中，一种语音指令可能存在多种不同的语音表达方式，例如，语音指令为开盖，则语音识别模块202b识别到的语音信号可以是但不限于：“开盖”、“请开盖”、“打开锅盖”等。在本实施例中，语音识别模块202b使用深度神经网络模型，可以准确识别不同表达方式下的语音信号。其中，深度神经网络模型可采用离线模型的方式，即预先离线训练好用于语音识别的深度神经网络模型并存储在厨房机器人本，不依赖网络，这种方式的实现成本低，能够提供给用户更便利更智能化的操作体验。
132.在本实施例中，主控模块203b可根据语音识别模块202b发送的功能码控制厨房机器人执行相应的动作。以厨房机器人为烹饪设备为例，烹饪设备的功能模块包括但不限于：锅盖控制模块、加热模块、料盒控制模块、搅拌铲控制模块以及语音模块等，主控模块203b可控制烹饪设备的功能模块实现的功能如下表1所示。
133.在本实施例中，厨房机器人除了存储有语音指令与功能码之间的对应关系之外，还存储有语音指令与查询码之间的对应关系，查询码是一种主控模块203b可以识别的用于查询厨房机器人各种功能模块运行状态/工作状态的机器语言。用户可以通过语音方式查询厨房机器人各种功能模块的运行状态/工作状态。其中，语音识别模块202b对带有查询目的的用户语音进行识别，并将识别到的语音指令在预先存储的语音指令与查询码之间的对应关系中进行匹配，若成功匹配到对应的查询码，将该查询码发送给主控模块203b；主控模块203b可根据该查询码查询相应功能模块或相应传感器的运行状态。主控模块203b查询到功能模块或传感器运行状态后，通过播音模块204b对查询到的内容进行播报。例如，用户语音为“当前火力大小是多少”，收音模块201b拾取到语音后，语音识别模块202b对该语音进
行识别，得到
134.表1
[0135][0136]
语音指令为：“查询火力”，语音识别模块202b该语音指令对应的查询码发送给主控模块203b，主控模块203b查询加热模块的运行状态，当前火力为“中火”，则主控模块203b将“当前火力为中火”的查询信息提供给播音模块204b，播音模块204b对“当前火力为中火”的查询信息进行播报。
[0137]
在本实施例中，语音识别模块202b除了可以对用户语音进行识别之外，还可以对收音模块201b拾取的厨房机器人所处环境中的噪声进行识别处理，并在识别出特定噪音的情况下，通过播音模块204b对外发出提醒信息或报警信息。其中，具体对噪音进行识别的过程包括：预先搜集特定噪声，将搜集到的特定噪声输入神经网络模型进行训练，形成可用于
特定噪声集合；将收音模块201b实时拾取到的厨房机器人所处环境中的噪声与特定噪声进行比对，若拾取到的噪声与特定噪声集中的特定噪声的相似度，超过设定的相似度阈值，则认为拾取到的噪声为特定噪声。
[0138]
进一步，在识别到特定噪声的情况下，语音识别模块202b将该特定噪声对应的功能码发送给主控模块203b，主控模块203b基于该功能码执行相应的操作。其中，特定噪声对应的功能码可以指示主控模块203b执行相应的动作。例如，特定噪声对应的功能码指示主控模块203b执行相应的动作，语音识别模块202b识别到“食材干烧”时，将“食材干烧”对应的功能码，即将火力调小或关闭的指令，发送给主控模块203b，主控模块203b执行将火力调小或关闭的动作。
[0139]
或者，在识别到特定噪声的情况下，语音识别模块202b向主控模块203b，发送通知信息，主控模块203b基于该通知信息，通过播音模块向用户发出提醒信息或报警信息。例如，语音识别模块202b识别到油爆声时，语音识别模块202b将该识别到该特定噪声的通知信息发送给主控模块203b，主控模块203b基于该通知信息，获取提醒信息，提醒信息为：“请将火力调小或关闭加热”，并将提醒信息提供给播音模块204b，播音模块204b对提醒信息进行播报，用户听到播报的提醒信息后，将火力调小或关闭加热。
[0140]
或者，厨房机器人还安装有烟雾探测器，烟雾探测器探测到当前厨房机器人所处环境中的烟雾量大于设定的烟雾量阈值时，就会向主控模块203b发送提醒信息，以提醒主控模块203b检查油烟机是否开启。主控模块203b接收到该提醒信息后，可通过语音识别模块202b识别收音模块201b实时拾取的厨房机器人所处环境中的噪声，语音识别模块202b根据拾取到的噪声，判断该拾取到的噪声是否为油烟机产生的噪声。若拾取到的噪声与油烟机产生的噪声的相似度阈值超过设定的相似度阈值，则认为该拾取到的噪声是油烟机产生的噪声，说明油烟机处于开启状态；若拾取到的噪声与油烟机产生的噪声的相似度阈值未超过设定的相似度阈值，则认为该拾取到的噪声不是油烟机产生的噪声，说明油烟机未处于开启状态。在语音识别模块202b识别到油烟机未处于开启状态情况下，语音识别模块202b向主控模块203b发送通知消息，以通知主控模块203b油烟机未处于开启状态，主控模块203b通过播音模块204b向用户发送提醒信息，以提醒用户开启油烟机。
[0141]
在本实施例中，并不对收音模块201b的安装位置进行限定。在一可选实施例中，收音模块201b采用可拆卸式设计，收音模块201b可嵌入到厨房机器人显示屏的底部并且面对用户，固定收音模块201b的位置与收音模块201b用软胶隔离，可减少震动，增强收音效果，且能有效减少油污。同时，收音模块201b与其它模块使用有线传输模式，可增加数据传输速度。在另一可选实施例中，收音模块201b采用可拆卸式设计，收音模块201b可佩戴于用户领口处，使用无线通信技术实现收音模块201b与其他模块的数据传输，保证收音质量。在又一可选实施例中，收音模块201b模块可以有两种，一种安装在厨房机器人上，用于采集厨房机器人所处环境中的噪声，另一种可佩戴于用户领口处，保证收音指令。其中，收音模块201b采用可拆卸式设计，易于收音模块201b的清理，避免因厨房环境长时间未清理，导致收音模块201b表面产生油污，从而影响收音效果。
[0142]
在一可选实施例中，厨房机器人还可以对其执行作业任务所需的结构化数据或固件文件进行语音转换得到对应的语音信号并输出。其中，固件文件中包括一些新手引导、故障提醒或操作提示等提示信息。为了便于区分和描述，在本实施例中，将图1a所示实施例中
参考结构化数据的提示信息称为第一提示信息，将图2c所示实施例中固件文件的提示信息称为第二提示信息。
[0143]
对于结构化数据，如图2c所示系统，终端设备23b或服务器22b可以向厨房机器人21b发送结构化数据，厨房机器人(主控模块203b)通过无线通信模块210b(如蓝牙模块)接收结构化数据，并将接收到的结构化数据送入语音模块200b，在语音模块内部对结构化数据进行解析，获取结构化数据的名称、执行流程信息、数据对象的属性信息、厨房机器人21b执行作业任务过程中的执行状态信息等，根据解析出的内容，生成语音文本，并将生成的语音文本给到语音识别模块202b中的tts模块。其中，tts模块，用于将接收到的语音文本，转换成语音信号。可选地，可以将图1a所示实施例中，生成的参考结构化数据中的第一提示信息生成语音文本，并通过tts模块转换成语音信号。
[0144]
对于固件文件，如图2c所示系统，终端设备23b通过空中下载技术(over the air technology，ota)将厨房机器人21b设备所需的固件文件提供给厨房机器人21b。在本实施例中，将固件文件称为固件ota文件，在该文件中包括：一些新手引导、故障提醒或操作提示等第二提示信息，固件ota文件不会根据执行作业任务的不同，而发生改变的文件。若要修改固件ota文件中的提示信息，则需要通过ota技术更新设备固件。进一步，主控模块203b可以对固件ota文件进行解析，根据解析出的内容，生成语音文本，并将生成的语音文本给到语音识别模块202b中的tts模块。
[0145]
如图2c所示，厨房机器人的语音模块200b除了包含：收音模块201b、语音识别模块202b、主控模块203b以及播音模块204b之外(收音模块201b并未在图2c中示出)，还包括：功率放大器模块205b、存储模块206b。其中，主控模块203b可以属于语音模块200b，或者主控模块203b可以是厨房机器人的主控制器；存储模块206b用于存储结构化数据或者固件ota文件；功率放大器模块205b用于对语音信号进行放大。
[0146]
在本实施例中，主控模块203b生成语音文本后，将语音文本通过通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口或串行外设接口(serial peripheral interface，spi)接口提供给语音识别模块202b中的tts模块，tts模块将语音文本合成语音信号，并输出给功率放大器模块205b，由功率放大器模块205b将语音信号放大后输出给播音模块204b；由播音模块204b对语音信号进行播放。
[0147]
在一可选实施例中，用户可以通过终端设备的app向厨房机器人发送控制指令。其中，控制指令的类型主要有两种。第一种控制指令是对厨房机器人的控制，例如，控制厨房机器人当前的状态，如唤醒状态或待机状态，又例如，控制厨房机器人的语音播报功能，如音量调节。在进行音量调节的情况下，主控模块203b可以接收并解析用户的控制指令，根据控制指令对播音模块204b的播放音量进行调节。第二种控制指令是对厨房机器人状态的查询，例如，控制指令指示获取厨房机器人当前的火力，在这种情况下，主控模块203b根据控制指令获取厨房机器人当前的火力大小，并将该火力大小以语音文本的形式提供给语音识别模块202b中的tts模块，由tts模块将火力大小的语音文本转换为语音信号，进而经过功率放大器模块205b，由播音模块204b进行播报。
[0148]
在本实施例中，并不限定主控模块203b控制语音播报的流程。在一可选实施例中，语音播报时间随播报内容的长度而变化，主控模块203b使用先进先出(first input first output，fifo)队列来缓冲待播报的语音。在另一可选实施例中，语音播报包括：顺序性播报
和插入性播报，例如，烹饪步骤等采用顺序性播报，故障类提醒(如过温或通讯异常等)采用插入性播报。对于顺序行播报可以调用fifo api进行播报，对于插入性播报可以调用后进先出(last in first out，lifo)api进行优先故障播报。在又一可选实施例中，厨房机器人上电后，进入新手引导语音播报，主控模块203b调用fifo api，若用户选择主动跳过新手引导语音播报，则调用重写/覆盖接口(over write api)，跳过新手引导语音播报。
[0149]
在一可选实施例中，可以根据语义调整多音字的发音，例如，采用同音的字替换容易出错的字。例如，播报系统可能将“干(gan，一声)辣椒”读成“干(gan，四声)辣椒”，则主控模块203b在生成语音文本时，可以将“干辣椒”换成“甘辣椒”，避免播报模块的播报错误。
[0150]
在本实施例中，无需制作语音包，可以个性化的将执行不同作业任务过程中的数据对象、执行步骤、温度预警、定时以及计时等提醒信息，均以语音播报的方式展现出来。另外，增、删、改语音也无需长时间的制作单语音文件ota；对于流程类语音、预警类语音的增、删、改可以通过ota设备固件实现；烹饪过程中的数据对、执行步骤的语音播报通过自动识别结构化数据进行播报，无需单独维护，修改结构化数据的内容即修改了播报内容。
[0151]
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101a至步骤103a的执行主体可以为设备a；又比如，步骤101a和102a的执行主体可以为设备a，步骤103a的执行主体可以为设备b；等等。
[0152]
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101a、102a等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
[0153]
图5为本技术示例性实施例提供的一种厨房机器人的结构示意图。如图5所示，该厨房机器人包括：存储器54和处理器55。
[0154]
存储器54，用于存储计算机程序，并可被配置为存储其它各种数据以支持在厨房机器人上的操作。这些数据的示例包括用于在厨房机器人上操作的任何应用程序或方法的指令。
[0155]
处理器55，与存储器54耦合，用于执行存储器54中的计算机程序，以用于：在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；针对多个作业步骤中的第一类作业步骤，生成与第一类作业步骤对应的提示信息，第一类作业步骤至少包括需要依赖数据对象的作业步骤；根据多个作业步骤、多个作业步骤之间的执行顺序以及第一类作业步骤对应的提示信息，生成参考结构化数据；其中，提示信息用于在任一厨房机器人根据参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
[0156]
在一可选实施例中，处理器55在针对多个作业步骤中的第一类作业步骤，生成与第一类作业步骤对应的提示信息时，具体用于：若第一类作业步骤是依赖数据对象的作业步骤，则根据第一类作业步骤对数据对象的依赖行为，生成用于提示用户对第一类作业步
骤所依赖的数据对象进行操作的提示信息，用户执行的辅助操作为对第一类作业步骤所依赖的数据对象进行操作。
[0157]
在一可选实施例中，在生成与第一类作业步骤对应的提示信息之前，处理器55还用于：在厨房机器人执行到指定作业步骤时，显示针对指定作业步骤的标记选项，以供用户标记指定作业步骤是否依赖数据对象；若指定作业步骤被标记为依赖数据对象，将指定作业步骤作为第一类作业步骤，并获取用户为指定作业步骤配置的其所依赖的数据对象的标识信息。
[0158]
在一可选实施例中，处理器55在获取用户为指定作业步骤配置的数据对象的标识信息时，具体用于：展示厨房机器人执行作业任务所需的数据对象列表，数据对象列表包括至少一种数据对象的标识信息；响应于用户对数据对象列表的选择操作，获取用户选择的数据对象的标识信息作为指定作业步骤依赖的数据对象的标识信息。
[0159]
在一可选实施例中，在厨房机器人执行作业任务之前，处理器55还用于：显示预编辑界面，预编辑界面包括候选数据对象和/或编辑控件，以供用户编辑厨房机器人执行作业任务所需的数据对象列表；响应于用户的预编辑操作，生成厨房机器人执行作业任务所需的数据对象列表。
[0160]
在一可选实施例中，第一类作业步骤还包括依赖用户可配型作业参数的作业步骤，则处理器55在针对多个作业步骤中的第一类作业步骤，生成与第一类作业步骤对应的提示信息时，具体用于：若第一类作业步骤是依赖用户可配型作业参数的作业步骤，则生成用于提示用户配置用户可配型作业参数的提示信息，用户执行的辅助操作为设置或调整用户可配型作业参数。
[0161]
在一可选实施例中，处理器55还用于：针对多个作业步骤中的第二类作业步骤，记录厨房机器人执行第二类作业步骤时使用的非用户可配型作业参数；参考结构化数据还包括第二类作业步骤对应的非用户可配型作业参数；第二类作业步骤是第一类作业步骤之外的作业步骤。
[0162]
在一可选实施例中，在厨房机器人执行作业任务之前，处理器55还用于：展示模式设置界面，模式设置界面至少包括第一创作模式和第二创作模式；以及响应用户的选择操作，确定用户选择第一创作模式；其中，第一创作模式用于指示生成参考结构化数据，第二创作模式用于指示生成跟做结构化数据。
[0163]
在一可选实施例中，若用户选择第二创作模式，处理器55还用于：在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；针对多个作业步骤中的第三类作业步骤，响应用户的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息，第三类作业步骤是多个作业步骤中需要依赖数据对象但未给出数据对象标识信息的作业步骤；根据多个作业步骤、多个作业步骤之间的执行顺序以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
[0164]
在一可选实施例中，处理器55还用于：针对每个作业步骤，记录厨房机器人执行每个作业步骤时使用的作业参数，跟做结构化数据还包括执行每个作业步骤时使用的作业参数。
[0165]
在一可选实施例中，处理器55还用于执行以下至少一种操作：在第一预览界面上显示跟做结构化数据，响应于用户在第一预览界面上发起的修正操作，对跟做结构化数据
进行修正操作；在第二预览界面上显示参考结构化数据，响应于用户在第二预览界面上发起的修正操作，对参考结构化数据进行修正操作；其中，修正操作包括增加作业步骤、删除作业步骤、修改作业参数、添加与作业步骤对应的视频或图片、修改结构化数据的名称中的至少一种。
[0166]
在一可选实施例中，处理器55在增加作业步骤具体用于执行以下至少一种操作：在关盖步骤之后，添加搅拌步骤；在跟做或参考结构化数据的最后位置，添加开盖步骤；在跟做或参考结构化数据的最后位置，添加关盖步骤。
[0167]
进一步，如图5所示，该厨房机器人还包括：通信组件56、显示屏57、电源组件58、音频组件59等其它组件。图5中仅示意性给出部分组件，并不意味着厨房机器人只包括图5所示组件。需要说明的是，图5中虚线框内的组件为可选组件，而非必选组件，具体可视厨房机器人的产品形态而定。
[0168]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现本技术实施例提供的图1a
‑
图1c所示方法中的各步骤。
[0169]
本技术实施例还提供一种厨房机器人，该厨房机器人的实现结构与图5所示厨房机器人的实现结构相同或类似，可参照图5所示厨房机器人的结构实现。本实施例提供的厨房机器人与图5所示实施例中厨房机器人的区别主要在于：处理器执行存储器中存储的计算机程序所实现的功能不同。对本实施例提供的厨房机器人来说，其处理器执行存储器中存储的计算机程序，可用于：在厨房机器人执行作业任务过程中，记录厨房机器人执行的多个作业步骤以及多个作业步骤之间的执行顺序；针对多个作业步骤中的第三类作业步骤，响应用户的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息，第三类作业步骤是多个作业步骤中需要依赖数据对象但未给出数据对象标识信息的作业步骤；根据多个作业步骤、多个作业步骤之间的执行顺序以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
[0170]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现本技术实施例提供的图1c所示方法中的各步骤。
[0171]
本技术实施例还提供一种厨房机器人，该厨房机器人的实现结构与图5所示厨房机器人的实现结构相同或类似，可参照图5所示厨房机器人的结构实现。本实施例提供的厨房机器人与图5所示实施例中厨房机器人的区别主要在于：处理器执行存储器中存储的计算机程序所实现的功能不同。对本实施例提供的厨房机器人来说，其处理器执行存储器中存储的计算机程序，可用于：获取参考结构化数据，参考结构化数据包括厨房机器人执行作业任务中的多个作业步骤、多个作业步骤之间的执行顺序以及多个作业步骤中第一类作业步骤对应的提示信息；根据多个作业步骤之间的执行顺序，依次执行多个作业步骤；以及在执行到第一类作业步骤时，输出提示信息，以提示用户执行与第一类作业步骤适配的辅助操作，以配合厨房机器人完成作业任务。
[0172]
在一可选实施例中，第一类作业步骤包括需要依赖数据对象的作业步骤，提示信息用于提示用户对第一类作业步骤所依赖的数据对象进行操作；或者第一类作业步骤包括依赖用户可配型作业参数的作业步骤，提示信息用于提示用户配置或调整用户可配型作业
参数。
[0173]
在一可选实施例中，在厨房机器人执行作业步骤期间，处理器还用于：接收用户发出的参数调整指令，参数调整指令包括厨房机器人执行需要使用的新的用户可配型作业参数；控制厨房机器人根据新的用户可配型作业参数执行后续作业步骤。
[0174]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现本技术实施例提供的图2a所示方法中的各步骤。
[0175]
图6为本技术示例性实施例提供的一种终端设备的结构示意图。如图6所示，该终端设备包括：存储器64和处理器65。进一步，还包括：显示屏67。
[0176]
存储器64，用于存储计算机程序，并可被配置为存储其它各种数据以支持在终端设备上的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令。
[0177]
处理器65，与存储器64耦合，用于执行存储器64中的计算机程序，以用于：通过显示屏67显示作业控制界面，基于作业控制界面上的控件，控制厨房机器人执行作业任务；在厨房机器人执行作业任务过程中，接收并显示厨房机器人当前执行到的作业步骤；在当前执行到的作业步骤为指定作业步骤时，响应于用户将其标记为第一类作业步骤的标记操作，生成与第一类作业步骤对应的提示信息；根据厨房机器人依次执行到的作业步骤以及第一类作业步骤对应的提示信息，生成参考结构化数据；其中，提示信息用于在任一厨房机器人根据参考结构化数据执行作业任务且执行到第一类作业步骤时，提示用户执行与第一类作业步骤适配的辅助操作，以配合任一厨房机器人完成作业任务。
[0178]
进一步，如图6所示，该终端设备还包括：通信组件66、电源组件68、音频组件69等其它组件。图6中仅示意性给出部分组件，并不意味着终端设备只包括图6所示组件。需要说明的是，图6中虚线框内的组件为可选组件，而非必选组件，具体可视终端设备的产品形态而定。
[0179]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现本技术实施例提供的图1d所示方法中的各步骤。
[0180]
本技术实施例还提供一种终端设备，该终端设备的实现结构与图6所示终端设备的实现结构相同或类似，可参照图6所示终端设备的结构实现。本实施例提供的终端设备与图6所示实施例中终端设备的区别主要在于：处理器执行存储器中存储的计算机程序所实现的功能不同。对本实施例提供的终端设备来说，其处理器执行存储器中存储的计算机程序，可用于：显示作业控制界面，基于作业控制界面上的控件，控制厨房机器人执行作业任务；在厨房机器人执行作业任务过程中，接收并显示厨房机器人当前执行到的作业步骤；在当前执行到的作业步骤为指定作业步骤时，响应于用户将其标记为第三类作业步骤的标记操作，显示对象配置界面，第三类作业步骤是指需要依赖数据对象的作业步骤；响应用户在对象配置界面上的配置操作，记录用户为第三类作业步骤配置的其所依赖的数据对象的属性信息；根据厨房机器人依次执行到的作业步骤以及第三类作业步骤所依赖的数据对象的属性信息，生成跟做结构化数据。
[0181]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当
计算机程序被处理器执行时，致使处理器能够实现本技术实施例提供的图1e所示方法中的各步骤。
[0182]
上述实施例中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0183]
上述实施例中的存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0184]
上述实施例中的显示屏包括屏幕，其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
[0185]
上述实施例中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
[0186]
上述实施例中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(mic)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
[0187]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0188]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0189]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0190]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0191]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0192]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0193]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0194]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0195]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。