终端设备及其对烹饪设备的AR指引方法与流程

本发明属于智能家居与ar技术融合的，具体提供了一种终端设备及其对烹饪设备的ar指引方法。

背景技术：

1、空气炸锅是一种利用高速循环的热风对食材进行烹饪的烹饪设备。其工作原理为：通过加热元件产生的热量加热空气，然后由风扇将热风吹入烹饪腔体内，使热风在食材周围高速循环，以利用热风的对流和辐射效应加热食材并使食材表面迅速脱水，从而达到类似油炸的酥脆口感。空气炸锅因其少油、健康、操作简便等优点，已广泛应用于家庭烹饪场景。

2、目前，随着智能家居技术的发展，部分空气炸锅已配备了手机应用程序（app），用户可通过手机app查询预设食谱，并对空气炸锅进行远程控制。

3、但是，即便是用户知晓了预设食谱，很多时候仍然存在操作不当或参数设置错误的情形，不仅影响烹饪效果，而且用户的使用体验也较差。此种情形不仅存在于空气炸锅，还存在于电磁炉、烤箱等烹饪设备。

技术实现思路

1、本发明的一个目的在于，解决现有的烹饪设备容易使用户出现操作不当的问题。

2、为实现上述目的，本发明在第一方面提供了一种终端设备对烹饪设备的ar指引方法，包括：

3、通过所述终端设备的摄像头采集目标食材的图像；

4、识别所述图像，以确定所述目标食材的食材信息；

5、根据所述食材信息生成烹饪方案，所述烹饪方案包括所述烹饪设备的工作参数；

6、根据所述烹饪方案生成第一ar指引信息，所述第一ar指引信息用于指引用户根据所述烹饪方案操作所述烹饪设备；

7、显示所述第一ar指引信息，以指引用户设置所述烹饪设备的工作参数。

8、可选地，所述ar指引方法还包括：

9、响应于所述烹饪设备启动工作，获取所述烹饪设备工作状态下产生的声学信号；所述声学信号包括气流流经所述目标食材表面时产生的空气动力学噪音；

10、根据所述声学信号确定所述目标食材的烹饪进度信息；

11、根据所述烹饪进度信息生成第二ar指引信息；所述第二ar指引信息用于指示所述目标食材的当前烹饪进度信息；

12、显示所述第二ar指引信息，以使用户了解所述目标食材的当前烹饪进度信息。

13、可选地，所述根据所述声学信号确定所述目标食材的烹饪进度信息，包括：

14、对所述声学信号进行频谱分析，提取所述声学信号的声学特征；所述声学特征包括所述声学信号在多个预设频带内的能量分布、频谱包络形态、谐波结构以及高频段能量占比中的至少一种；

15、根据所述声学特征随时间的变化，确定所述目标食材的烹饪进度信息。

16、可选地，所述对所述声学信号进行频谱分析，提取所述声学信号的声学特征，包括：

17、以所述烹饪设备的风扇转动频率为参考频率，对所述声学信号进行同步锁相滤波，以提取所述声学信号中与所述风扇转动频率及其谐波相关联的声学分量；

18、从所述声学分量中提取所述声学特征。

19、可选地，所述根据所述声学特征随时间的变化，确定所述目标食材的烹饪进度信息，包括：

20、获取所述目标食材在烹饪开始时的初始声学特征的向量，并记作初始声学特征向量xref；

21、在烹饪过程中，实时提取当前时刻t的当前声学特征的向量，并记作当前声学特征向量x(t)；

22、计算所述当前声学特征向量x(t)与所述初始声学特征向量xref之间的差异度d(t)：；其中，σ表示特征协方差矩阵，σ-1表示所述特征协方差矩阵的逆矩阵；(x(t)-xref)t表示差向量的转置，t是转置的数学符号；

23、根据所述差异度量d(t)随时间的变化轨迹，确定所述目标食材的当前烹饪进度信息值s(t)，所述烹饪进度信息值s(t)介于0和1之间。

24、可选地，所述第二ar指引信息包括以下至少之一：

25、所述当前烹饪进度值s(t)的可视化指示符；

26、根据所述当前烹饪进度值s(t)确定的所述目标食材的熟度参考信息；

27、根据所述当前烹饪进度值s(t)的变化率k预测的所述目标食材达到目标熟度的剩余时间tremain=(1-s(t))÷(k+ε)；其中，ε为预设的正则化参数。

28、可选地，所述ar指引方法还包括：

29、当所述当前烹饪进度值s(t)达到第一预设阈值时，所述第二ar指引信息切换至翻面指引状态，显示翻面操作提示；

30、当所述当前烹饪进度值s(t)达到第二预设阈值时，所述第二ar指引信息显示烹饪完成提示。

31、可选地，所述根据所述食材信息生成烹饪方案，包括：

32、根据所述食材信息在本地存储的烹饪指引库中匹配对应的烹饪方案；所述烹饪方案还包括烹饪步骤、目标温度、烹饪总时长以及翻面时间点中的至少一种。

33、可选地，所述ar指引方法还包括：

34、响应于所述烹饪设备的工作参数发生了变化，根据变化的所述工作参数调整显示的所述第一ar指引信息或所述第二ar指引信息。

35、可选地，所述ar指引方法还包括：

36、响应于采集到了所述目标食材或所述烹饪设备的图像，使所述第一ar指引信息或所述第二ar指引信息以与所述目标食材或所述烹饪设备的位置贴合的形式显示在采集的实景画面上；并且/或者，

37、响应于没有采集到所述目标食材或所述烹饪设备的图像，使所述第一ar指引信息或所述第二ar指引信息以悬浮形式显示。

38、可选地，所述烹饪设备是空气炸锅。

39、本发明在第二方面提供了一种终端设备，包括：

40、摄像头，用于采集目标食材的图像；

41、显示屏，用于显示所述摄像头采集的实景画面和ar指引信息；

42、通信模块，用于与烹饪设备通信连接；

43、处理器和存储器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时能够实现第一方面中任一项所述的ar指引方法。

44、可选地，所述终端设备是手机或平板电脑。

45、基于前文的描述，本领域技术人员能够理解的是，在本发明前述的技术方案中，通过终端设备的摄像头采集目标食材的图像并识别食材信息，然后根据食材信息生成包含烹饪设备工作参数的烹饪方案，再根据烹饪方案生成第一ar指引信息并显示，能够指引用户根据食材类型正确设置烹饪设备的工作参数。因此，本发明使得用户在烹饪开始前就能够获得针对当前食材的个性化操作指引，无需对照纸质说明书或反复查询手机app，简化了操作流程，降低了烹饪门槛，提升了用户的使用体验。

46、进一步地，在烹饪设备启动工作后，通过获取烹饪设备工作状态下产生的声学信号，然后根据该声学信号确定目标食材的烹饪进度信息，再根据烹饪进度信息生成并显示第二ar指引信息，使得用户在食材被放入烹饪设备后，即使食材被炸篮或锅门遮挡而不可见，仍然能够通过第二ar指引信息实时地了解食材的当前烹饪进度。因此，本发明还突破了ar烹饪辅助方案必须依赖视觉感知的局限，将烹饪设备的“工作噪音”从需要抑制的干扰信号转化为携带食材状态信息的有效信号源，实现了从烹饪开始到结束的全流程ar指引，有效地克服了食材被遮挡后ar指引中断的问题。

47、进一步地，通过以烹饪设备的风扇转动频率为参考频率，对声学信号进行同步锁相滤波，以提取声学信号中与风扇转动频率及其谐波相关联的声学分量，并从该声学分量中提取声学特征，能够在强背景噪声（风扇噪音）中有效提取与食材相关的微弱声学信号，提高了信噪比和特征提取的准确性。

48、本发明的其他有益效果将会在后文中结合附图进行详细描述，以便本领域技术人员能够更加清楚地了解本发明的改进目的、特征和优点。