一种基于录像识别与分析的智能厨房烹饪辅助方法及系统与流程
本技术涉及机器视觉与人工智能的交叉,特别是涉及一种基于录像识别与分析的智能厨房烹饪辅助方法及系统。
背景技术:
1、为降低烹饪难度,现有技术中用户可以使用一些带有智能辅助功能的厨房产品,如智能炒锅、智能烤箱等。这些厨房产品虽然能够在一定程度上辅助用户烹饪,但是每个厨房产品往往仅适用于有限的烹饪场景,例如,智能炒锅仅能够用于煎炒场景,而智能烤箱只能够用于烘焙场景。
2、而一些菜品的制作涉及多种烹饪场景,如一些菜品需要先发酵再烘焙,前述厨房产品无法全程辅助。
技术实现思路
1、本技术实施例的目的在于提供一种基于录像识别与分析的智能厨房烹饪辅助方法及系统,以实现在多种烹饪场景的智能辅助,提高智能辅助烹饪的场景适用性,进而实现全程辅助。具体技术方案如下:
2、在本技术的第一方面,提供了一种基于录像识别与分析的智能厨房烹饪辅助方法,所述方法包括:
3、获取目标烹饪步骤的目标烹饪场景和为所述目标烹饪场景预设的烹饪区域、物体类别、多个特征类别;
4、控制图像采集设备持续采集所述烹饪区域,得到目标视频流;
5、在所述目标视频流的画面中,确定所述物体类别的物体所处的区域,作为感兴趣区域;
6、持续提取所述感兴趣区域的所述多个特征类别的多维特征,并将所述多维特征按时间顺序组成特征序列;
7、将所述特征序列输入基于因果注意力机制的时序模型进行第一语义识别,所述因果注意力机制用于约束每个时间步仅关注该时间步及其之前时间步的特征;
8、在所述第一语义识别的结果为所述目标烹饪步骤出现异常的情况下,进行预警;
9、在所述第一语义识别的结果为所述目标烹饪步骤完成的情况下,提示进行下一个烹饪步骤。
10、在一种可能的实施例中,所述第一语义识别的结果包括用于表示所述时序模型的时序预测残差的异常分数,所述时序预测残差为所述时序模型预测得到的目标时间步的预测特征与所述目标时间步的实际特征之间的差异;
11、所述在所述第一语义识别的结果为所述目标烹饪步骤出现异常的情况下,进行预警,包括:
12、在所述异常分数所表示的时序预测残差大于预设统计阈值的情况下,进行预警。
13、在一种可能的实施例中,所述持续提取所述感兴趣区域的所述多个特征类别的多维特征,包括:
14、持续确定所述目标视频流的画面变化程度;
15、按照与所述画面变化程度正相关的采样频率,从所述目标视频流中采样得到关键视频帧;
16、持续提取各所述关键视频帧中所述感兴趣区域的所述多个特征类别的多维特征。
17、在一种可能的实施例中,所述方法还包括:
18、在所述进行预警或者所述提示进行下一个烹饪步骤之后,将所述特征序列输入视觉语言模型进行语义识别,得到并输出操作建议。
19、在一种可能的实施例中,所述方法还包括:
20、从本次烹饪所使用的菜谱的文本中提取所述目标烹饪步骤的色泽描述,作为目标色泽描述;
21、将所述目标色泽描述编码为语义嵌入向量,并将所述特征序列编码为视觉嵌入向量;
22、计算所述语义嵌入向量与所述视觉嵌入向量之间的相似度,作为所述目标烹饪步骤的完成度;
23、在所述完成度满足判定阈值的情况下,提示进行下一个烹饪步骤,其中,所述判定阈值由所述目标色泽描述映射到预标定色彩空间聚类中心动态生成。
24、在一种可能的实施例中,在所述控制图像采集设备持续采集所述烹饪区域,得到目标视频流之前,所述方法还包括:
25、控制图像采集设备采集得到所述烹饪区域的图像,并通过视觉语言模型对图像进行第二语义识别;
26、在第二语义识别的结果为满足为所述目标烹饪场景预设的就绪条件的情况下,执行所述控制图像采集设备持续采集所述烹饪区域,得到目标视频流的步骤;
27、在采集到的图像不满足所述就绪条件的情况下,进行预警。
28、在一种可能的实施例中,为蒸煮场景预设的就绪条件包括:图像的可见度高于第一可见度阈值,或者,图像的可见度低于所述第一可见度阈值且所述图像采集设备的软硬件不支持去雾功能;和/或,
29、为烘焙场景预设的就绪条件包括:图像中烤箱观察窗所处区域的可见度高于第二可见度阈值;和/或
30、为面点发酵场景预设的就绪条件包括:图像中面团遮盖物为透明材质;和/或,
31、所述就绪条件还包括:图像的亮度高于预设亮度阈值,和/或,图像中所述烹饪区域未被遮挡。
32、在一种可能的实施例中,在根据所述异常分数判定所述目标烹饪步骤出现异常的情况下,基于所述特征序列对所述目标烹饪场景对应的监测对象进行语义识别,以确定所述异常的类型:
33、在所述目标烹饪场景为蒸煮场景的情况下,基于所述特征序列持续对锅具边沿区域进行语义识别;在识别到液体或泡沫越过锅具边沿区域向外溢出的情况下,确定所述目标烹饪步骤出现异常;和/或,
34、在所述目标烹饪场景为蒸煮场景且识别到蒸煮方式为加盖的情况下,持续对锅盖进行语义识别;在识别到锅盖的振动满足预设振动条件情况下,确定所述目标烹饪步骤出现异常;和/或,
35、在所述目标烹饪场景为蒸煮场景且识别到蒸煮方式为敞口的情况下,持续对锅具内液面进行语义识别;在识别到液面下降至预设低液面条件的情况下,确定所述目标烹饪步骤出现异常;和/或,
36、在所述目标烹饪场景为煎炒场景下,基于所述特征序列持续对食物表面和/或锅底的颜色进行语义识别;在识别到颜色向焦黑方向不可逆变化且变化面积持续扩大的情况下,确定所述目标烹饪步骤出现异常。
37、在一种可能的实施例中,所述方法还包括:
38、在所述目标烹饪场景为蒸煮场景的情况下,在所述控制图像采集设备持续采集所述烹饪区域的过程中,持续检测所述画面中锅盖的遮挡状态;
39、在所述遮挡状态发生变化的情况下,通过视觉语言模型重新识别蒸煮方式,并按照重新识别的蒸煮方式,执行相应情况下的监测策略。
40、在一种可能的实施例中,所述获取为所述目标烹饪场景预设的多个特征类别,包括:
41、在所述目标烹饪场景为发酵场景的情况下,根据所述目标烹饪步骤后续的烹饪步骤的烹饪场景,确定发酵策略;
42、获取为所述发酵策略预设的多个特征类别。
43、在一种可能的实施例中,所述发酵策略包括以下至少一种:
44、蒸制发酵策略,以第一膨胀比区间为发酵完成的目标,为其预设的特征类别包括面团体积膨胀比和表面光滑度;
45、烘焙发酵策略,以第二膨胀比区间为发酵完成的目标,为其预设的特征类别包括面团与模具的相对高度;所述第二膨胀比区间大于所述第一膨胀比区间;
46、煎炸发酵策略,以第三膨胀比区间为目标,为其预设的特征类别包括面团形态稳定性和表面湿润状态;所述第三膨胀比区间小于所述第一膨胀比区间;
47、饼类发酵策略,为其预设的特征类别包括面团松弛状态和表面气泡分布。
48、在一种可能的实施例中,在完成所有烹饪步骤之后,所述方法还包括:
49、获取本次烹饪出的菜品的成品图像,并从所述目标视频流中提取关键帧序列;
50、将所述关键帧序列、所述特征序列和通过第一语义识别出的异常输入多模态大语言模型,以使所述多模态大语言模型基于所述菜品的菜谱标准参数生成初步诊断报告,其中,所述初步诊断报告包括各烹饪步骤的时长评估、失败原因定位和改良建议;
51、对所述成品图像和所述初步诊断报告进行交叉验证,得到目标诊断报告。
52、在一种可能的实施例中,所述在所述目标视频流的画面中,确定所述物体类别的物体所处的区域,作为感兴趣区域,包括:
53、在所述目标视频流的画面中,识别得到所述物体类别的物体所处的区域;
54、在识别到每种所述物体类别的物体所处的区域的情况下,将识别得到的区域作为感兴趣区域;
55、在未识别到至少一种所述物体类别的物体所处的区域的情况下,获取针对各种未识别到的所述物体类别输入的区域,将识别得到的区域和输入的区域作为感兴趣区域。
56、在一种可能的实施例中,所述获取针对各种未识别到的所述物体类别输入的区域,将识别得到的区域和输入的区域作为感兴趣区域,包括:
57、获取针对各种未识别到的所述物体类别输入的区域;
58、在检测到输入的区域不满足为所述目标烹饪场景预设的优化条件的情况下,进行预警并返回执行所述获取针对各种未识别到的所述物体类别输入的区域的步骤;
59、在检测到输入的区域满足为所述目标烹饪场景预设的优化条件的情况下,将识别得到的区域和输入的区域作为感兴趣区域;
60、其中,为发酵场景预设的优化条件包括:输入的区域包含模具的边缘; 和/或,为蒸煮场景预设的优化条件包括:输入的区域覆盖锅沿;和/或,为烘焙场景预设的优化条件包括:输入的区域不包含烤箱观察窗的反光区。
61、在一种可能的实施例中,所述获取目标烹饪步骤的目标烹饪场景和为所述目标烹饪场景预设的烹饪区域、物体类别、多个特征类别,包括:
62、获取食材列表;
63、确定能由所述食材列表中的食材组合出的菜谱,作为候选菜谱并展示;
64、在接收到针对候选菜谱的选择指令后,解析所选择的菜谱中的各个烹饪步骤;
65、将各所述烹饪步骤分别映射到对应的烹饪场景,得到烹饪场景序列,并将所述烹饪场景序列中第一个烹饪步骤的烹饪场景作为目标烹饪场景;
66、在所述烹饪场景序列中的每个烹饪步骤开始时,获取为该烹饪步骤的烹饪场景预设的烹饪区域、物体类别和特征类别。
67、在一种可能的实施例中,所述获取食材列表,包括:
68、获取食材储备区域的图像,并识别获取到的图像中存在的食材,得到食材列表;或者,
69、获取烹饪场所所处的地理位置和当前时间;
70、确定所述地理位置在所述当前时间下应季的食材,作为食材列表。
71、在本技术的第二方面,提供了一种基于录像识别与分析的智能厨房烹饪辅助系统,所述系统包括处理设备、图像采集设备、万向机械臂;
72、所述处理设备,用于执行前述任一所述的基于录像识别与分析的智能厨房烹饪辅助方法;
73、所述万向机械臂,用于在所述处理设备的控制下带动所述图像采集设备,以使得所述图像采集设备对准所述烹饪区域;所述万向机械臂包括基座和多关节可调臂体,所述基座支持夹持式固定或吸附式固定,所述多关节可调臂体包含至少两个可锁定旋转关节;
74、所述图像采集设备,用于采集得到所述目标视频流。
75、本技术实施例提供的基于录像识别与分析的智能厨房烹饪辅助方法及系统,可以根据烹饪场景的不同,自适应的驱动图像采集设备采集不同的区域,并针对不同烹饪场景,适应性的提取该烹饪场景需要关注的区域的特征,且提取需要关注的类别的特征,如此可以实现对不同烹饪场景的异常检测和完成检测,从而在多种不同烹饪场景下实现对用户的辅助,也即提高了智能辅助烹饪的场景适用性,进而实现全程辅助。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com