冰箱食材识别结果的幻觉抑制方法及冰箱与流程
本技术属于家电,尤其涉及一种冰箱食材识别结果的幻觉抑制方法及冰箱。
背景技术:
1、随着智能家电技术的发展,语言模型和多模态模型被广泛应用于食材识别及饮食健康管理领域。
2、相关技术中,食材识别通常采用提示词、监督或强化学习等方式来提升模型输出识别结果的准确性。然而,这种方式在实际应用中存在模型输出与事实不符、识别错误等问题,难以实现高准确率的食材识别,影响用户体验。
技术实现思路
1、本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种冰箱食材识别结果的幻觉抑制方法及冰箱,以提高冰箱中食材的识别准确率。
2、第一方面,本技术提供了一种冰箱食材识别结果的幻觉抑制方法,该方法包括:
3、获取待识别食材的多模态数据,多模态数据至少包括图像数据和语音数据;语音数据用于提取得到食材特征信息;
4、基于食材特征信息进行食材识别,得到食材初始识别结果;
5、基于图像数据进行食材识别,得到食材图像识别结果;
6、基于食材初始识别结果与食材图像识别结果之间的匹配关系,对食材初始识别结果进行幻觉校验;
7、在幻觉校验结果表征食材初始识别结果存在幻觉错误的情况下,基于食材图像识别结果对食材初始识别结果进行修正,得到目标食材识别结果。
8、根据本技术的一个实施例,基于食材特征信息进行食材识别,具体包括:提取食材特征信息中的核心特征信息和关联特征信息;将核心特征信息分别映射至隐式空间和显式空间,得到隐式特征信息和显式特征信息;融合隐式特征信息、显式特征信息以及关联特征信息,并基于融合后的特征信息进行食材识别。
9、根据本技术的一个实施例,基于食材特征信息进行食材识别,具体包括:为食材特征信息生成场景提示词,场景提示词包括基础场景提示词、细化场景提示词以及特定场景提示词中的至少一种;基于场景提示词对食材特征信息进行增强,得到增强后的食材特征信息;基于增强后的食材特征信息进行食材识别。
10、根据本技术的一个实施例,食材识别基于训练后的食材文本识别模型得到;食材文本识别模型训练的步骤包括:获取训练数据;训练数据包括食材特征样本;基于训练数据对教师模型进行训练,得到教师模型参数;将教师模型参数迁移至学生模型;对学生模型进行调整,以使学生模型的参数与教师模型参数之间的差异被约束于差异范围内;将调整后的学生模型作为食材文本识别模型。
11、根据本技术的一个实施例,基于食材初始识别结果与食材图像识别结果之间的匹配关系,对食材初始识别结果进行幻觉校验,具体包括:确定食材初始识别结果的食材初始识别向量;确定食材图像识别结果的食材图像识别向量;获取食材初始识别向量与食材图像识别向量之间的相似度;基于相似度对食材初始识别结果进行幻觉校验。
12、根据本技术的一个实施例,基于食材图像识别结果对食材初始识别结果进行修正,具体包括:将食材初始识别结果替换为食材图像识别结果;或者将食材图像识别结果与食材初始识别结果进行融合,得到融合识别结果,并将食材初始识别结果替换为融合识别结果。
13、根据本技术的一个实施例,该方法还包括:基于用户交互动作确定待执行任务;待执行任务包括食材管理任务、食谱生成任务以及食材健康管理任务中的至少一种;基于目标食材识别结果确定待执行任务的执行结果,并基于执行结果更新冰箱显示界面中的食材显示信息。
14、根据本技术的一个实施例,在待执行任务为食材管理任务的情况下,基于目标食材识别结果确定待执行任务的执行结果,具体包括:基于目标食材识别结果得到食材位置识别结果和食材数量识别结果;将食材位置识别结果与冰箱内部预设的食材存放区域进行匹配,得到食材存放信息;基于食材数量识别结果更新食材存放信息;根据更新后的食材存放信息确定食材管理任务的执行结果。
15、根据本技术的一个实施例,根据更新后的食材存放信息确定食材管理任务的执行结果,具体包括:在更新后的食材存放信息表征冰箱内食材库存不足的情况下,基于食材数量识别结果和目标食材识别结果生成补货清单,并将补货清单作为食材管理任务的执行结果;和/或在更新后的食材存放信息表征冰箱内食材满足到期提醒条件的情况下,生成期限食材清单,并将期限食材清单作为食材管理任务的执行结果。
16、根据本技术的一个实施例,在待执行任务为食谱生成任务的情况下,基于目标食材识别结果确定待执行任务的执行结果,具体包括:基于用户的健康数据和目标食材识别结果生成食谱信息;将食谱信息作为食谱生成任务的执行结果。
17、根据本技术的一个实施例,在待执行任务为食材健康管理任务的情况下,基于目标食材识别结果确定待执行任务的执行结果,具体包括:基于用户交互动作和目标识别结果确定用户取用的食材;基于用户的健康数据和用户取用的食材,生成健康提示信息;将健康提示信息作为食材健康管理任务的执行结果。
18、第二方面,本技术提供了一种冰箱,包括控制器,控制器配置为执行如上述第一方面所述的冰箱食材识别结果的幻觉抑制方法。
19、第三方面,本技术提供了一种冰箱食材识别结果的幻觉抑制装置,该装置包括:
20、获取模块,用于获取待识别食材的多模态数据,多模态数据至少包括图像数据和语音数据;语音数据用于提取得到食材特征信息;
21、第一识别模块,用于基于食材特征信息进行食材识别,得到食材初始识别结果;
22、第二识别模块,用于基于图像数据进行食材识别,得到食材图像识别结果;
23、校验模块,用于基于食材初始识别结果与食材图像识别结果之间的匹配关系,对食材初始识别结果进行幻觉校验;
24、修正模块,用于在幻觉校验结果表征食材初始识别结果存在幻觉错误的情况下,基于食材图像识别结果对食材初始识别结果进行修正,得到目标食材识别结果。
25、第四方面,本技术提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的冰箱食材识别结果的幻觉抑制方法。
26、第五方面,本技术提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的冰箱食材识别结果的幻觉抑制方法。
27、第六方面,本技术提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的冰箱食材识别结果的幻觉抑制方法。
28、第七方面,本技术提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的冰箱食材识别结果的幻觉抑制方法。
29、本技术实施例中的上述一个或多个技术方案,至少具有如下技术效果之一:
30、通过获取包括待识别食材的图像数据和语音数据的多模态数据,并从语音数据中提取得到食材特征信息,从语音文本和图像两个维度获取冰箱内的食材属性,为后续的食材识别提供更丰富的语义信息,避免单一模态数据信息不全导致的识别偏差;随后,分别基于食材特征信息进行食材识别得到食材初始识别结果,并基于图像数据进行食材识别得到食材图像识别结果,实现不同模态路径的食材并行识别,在语音路径与图像路径上对冰箱内的食材进行推理,为后续的校验提供相互独立的不同识别依据;在此之后,基于食材初始识别结果与食材图像识别结果之间的匹配关系,对食材初始识别结果进行幻觉校验,能够判断食材初始识别结果中因模型幻觉导致的错误输出,从而对模型输出结果进行事实性检验,有效抑制食材识别结果中的幻觉现象;最后,在幻觉校验结果表征食材初始识别结果存在幻觉错误的情况下,基于食材图像识别结果对食材初始识别结果进行修正,使出现幻觉的食材初始识别结果被食材图像识别结果所校正,将修正后的识别结果作为最终输出,可以有效消除因模型幻觉导致的识别错误,提高冰箱中食材的识别准确率。
31、本技术的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com