冰箱食材识别模型的训练方法、冰箱及存储介质与流程

本技术属于家电，尤其涉及一种冰箱食材识别模型的训练方法、冰箱及存储介质。

背景技术：

1、随着智能家电技术的发展，大语言模型和多模态模型被广泛应用于食材识别及饮食健康管理领域。

2、在冰箱食材识别模型的训练中，相关技术中通常依赖单次交互的短期数据或者单一模态的数据进行模型更新，以实现对冰箱内食材的快速识别和模型参数的迭代更新。

3、然而，这种处理方式难以应对用户存取食材过程中多种动态信息相互交织的复杂交互场景，且单一模态数据或单次交互的短期数据难以捕捉上述动态信息之间的内在关联，导致训练得到的冰箱食材识别模型的识别准确率不高，易出现误识别或漏识别，影响用户体验。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种冰箱食材识别模型的训练方法、冰箱及存储介质，以提高冰箱内食材的识别准确率。

2、第一方面，本技术提供了一种冰箱食材识别模型的训练方法，该方法包括：

3、获取待识别食材的多模态样本数据，多模态样本数据至少包括语音样本数据与视频样本数据；视频样本数据用于获取用户交互操作与待识别食材之间的食材关联特征；

4、从视频样本数据中提取食材视觉特征，并从语音样本数据中提取食材文本特征；

5、对食材关联特征、食材视觉特征和食材文本特征进行融合，得到目标食材识别特征；

6、将目标食材识别特征输入至预设食材识别模型，得到食材预测结果；

7、基于食材预测结果和食材标记信息之间的差异，得到识别损失值；食材标记信息基于对多模态样本数据标记得到；

8、基于识别损失值对预设食材识别模型的网络参数进行更新，直至满足训练终止条件，得到用于对冰箱内食材进行管理的食材识别模型。

9、根据本技术的一个实施例，对食材关联特征、食材视觉特征和食材文本特征进行融合，具体包括：获取用户的历史交互操作中的特征样本；从特征样本中分别提取与食材关联特征、食材视觉特征和食材文本特征相关联的判别数据；根据判别数据对食材关联特征、食材视觉特征和食材文本特征进行加权特征融合。

10、根据本技术的一个实施例，对食材关联特征、食材视觉特征和食材文本特征进行融合，具体包括：获取预设食材特征拓展规则；基于食材特征拓展规则，生成用于补充食材关联特征、食材视觉特征和食材文本特征的食材拓展特征；将食材拓展特征、食材关联特征、食材视觉特征和食材文本特征进行特征融合。

11、根据本技术的一个实施例，对食材关联特征、食材视觉特征和食材文本特征进行融合，具体包括：获取用户的历史交互操作，并确定历史交互操作所对应的交互场景；获取交互场景中的食材历史特征；将食材历史特征与食材关联特征、食材视觉特征和食材文本特征进行特征融合。

12、根据本技术的一个实施例，预设食材识别模型包括记忆模型，方法还包括：获取用户的历史交互操作；将用户的历史交互操作中表征交互场景的场景数据和食材预测结果进行匹配，得到交互事件，并获取由多个交互事件组成的交互事件序列；将目标食材识别特征与交互事件序列进行关联，得到目标交互事件序列；基于目标交互事件序列对记忆模型进行参数更新。

13、根据本技术的一个实施例，记忆模型包括短期记忆模型；基于目标交互事件序列对记忆模型进行更新，具体包括：确定短期记忆模型所能存储的最大序列长度；在目标交互事件序列的长度超过最大序列长度的情况下，将目标交互事件序列中的交互事件基于时间顺序和/或事件相似度进行筛选，以使目标交互事件序列的长度与最大序列长度相匹配；基于筛选后的目标交互事件序列更新短期记忆模型的价值函数，以对短期记忆模型进行更新。

14、根据本技术的一个实施例，记忆模型包括长期记忆模型；基于目标交互事件序列对记忆模型进行更新，具体包括：获取多个历史目标交互事件序列；按照预设序列规则从多个历史目标交互事件序列中确定至少一个基准交互事件序列；基于基准交互事件序列更新长期记忆模型的价值函数，以对长期记忆模型进行更新。

15、根据本技术的一个实施例，记忆模型包括拟经验回放模型；基于目标交互事件序列对记忆模型进行更新，具体包括：获取用户的历史交互操作中的正确执行样本，得到演示样本数据；基于目标交互事件序列得到反事实交互数据；根据演示数据和/或反事实交互数据构建奖励函数；对奖励函数进行迭代优化，并根据优化后的奖励函数对拟经验回放模型进行更新。

16、根据本技术的一个实施例，食材预测结果包括预测类别结果、预测位置结果和预测数量结果；食材标记信息包括标记类别结果、标记位置结果和标记数量结果；基于食材预测结果和食材标记信息之间的差异，得到识别损失值，具体包括：基于预测类别结果与标记类别结果之间的差异，确定类别损失值；基于位置结果与标记位置结果之间的差异，确定位置损失值；基于预测数量结果与标记数量结果之间的差异，确定数量损失值；基于类别损失值、位置损失值和数量损失值，得到识别损失值。

17、根据本技术的一个实施例，得到用于对冰箱内食材进行管理的食材识别模型之后，方法还包括：基于食材识别模型对冰箱内的食材进行识别，得到食材识别结果；根据食材识别结果生成食材管理信息，并基于食材管理信息更新冰箱显示界面中的食材显示信息。

18、第二方面，本技术提供了一种冰箱，该冰箱包括处理器，所述处理器配置为实现如上述第一方面所述的冰箱食材识别模型的训练方法。

19、第三方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的冰箱食材识别模型的训练方法。

20、第四方面，本技术提供了一种冰箱食材识别模型的训练装置，该装置包括：

21、获取模块，用于获取待识别食材的多模态样本数据，多模态样本数据至少包括语音样本数据与视频样本数据；视频样本数据用于获取用户交互操作与待识别食材之间的食材关联特征；

22、提取模块，用于从视频样本数据中提取食材视觉特征，并从语音样本数据中提取食材文本特征；

23、融合模块，用于对食材关联特征、食材视觉特征和食材文本特征进行融合，得到目标食材识别特征；

24、输入模块，用于将目标食材识别特征输入至预设食材识别模型，得到食材预测结果；

25、损失模块，用于基于食材预测结果和食材标记信息之间的差异，得到识别损失值；食材标记信息基于对多模态样本数据标记得到；

26、更新模块，用于基于识别损失值对预设食材识别模型的网络参数进行更新，直至满足训练终止条件，得到用于对冰箱内食材进行管理的食材识别模型。

27、第五方面，本技术提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的冰箱食材识别模型的训练方法。

28、第五方面，本技术提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的冰箱食材识别模型的训练方法。

29、第六方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的冰箱食材识别模型的训练方法。

30、本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

31、通过获取待识别食材的多模态样本数据以及用户交互操作与待识别食材之间的食材关联特征，可同时获得待识别食材的静态属性信息与动态交互信息，为后续特征提取与融合提供了包含操作行为语义的丰富数据基础，有效避免了单一模态数据在食材识别中信息不足的问题；进而，通过提取食材视觉特征和食材文本特征，将视频样本数据和语音样本数据分别转化特征表示，使食材识别模型能够从视觉维度和文字维度感知食材属性，有效提升了模型对食材多维度特征的感知能力；随后，对得到的食材关联特征、食材视觉特征和食材文本特征进行融合得到目标食材识别特征，使得输入特征具有更强的判别性和抗干扰能力，能够有效缓解因视觉遮挡、光照变化、外观相似或视角差异导致的单维度特征识别不稳定的问题，进而有效提升模型对易混淆食材的区分能力；然后，将目标食材识别特征输入至预设食材识别模型，使预设食材识别模型输出食材预测结果，并在此之后基于食材预测结果和食材标记信息之间的差异，得到识别损失值，可以通过计算预测结果与真实标注之间的差异，为模型参数的定向优化提供了明确的误差反馈，使得模型能够沿误差减小的方向进行迭代更新，有效保障了训练过程的收敛性和稳定性；最后，基于识别损失值对预设食材识别模型的网络参数进行更新，直至满足训练终止条件，得到用于对冰箱内食材进行管理的食材识别模型，通过识别损失值驱动模型参数的不断迭代优化，使得最终获得的食材识别模型能够有效适应冰箱场景中多样化的食材品类识别需求，实现了对冰箱内食材的高效识别与食材健康管理，有效提升了冰箱在食材管理场景下的识别准确率和用户体验。

32、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。