基于图像的菜肴识别装置和方法与流程

技术特征：
1.一种计算机实现方法，用于执行基于图像的菜肴识别，所述方法包括：获取(202)描绘待识别菜肴的第一图像；使用预测模型分析(204)所述第一图像以确定第一候选主题，其中，所述第一候选主题包括多个候选菜肴标识符，每个所述候选菜肴标识符与候选菜肴相关联，所述候选菜肴标识符中的一个候选菜肴标识符是与最能代表所述第一候选主题的候选菜肴相关联的形心菜肴标识符；获取(206)菜肴标识符的参考集合；针对所述参考集合中的每个所述菜肴标识符，计算(208)指示由相应菜肴标识符表示的菜肴与所述第一候选主题之间相似度的关联分数；选择(210)所述参考集合中具有最高关联分数的一个或多个菜肴标识符作为所述第一候选主题的一个或多个变体菜肴标识符；以及输出(212)所述第一候选主题的形心菜肴标识符和所述第一候选主题的一个或多个变体菜肴标识符。2.根据权利要求1所述的计算机实现方法，其中输出(212)所述第一候选主题(31)的形心菜肴标识符(310)和所述第一候选主题的一个或多个变体菜肴标识符(311、312、313、314)包括：显示第一候选主题；以及在接收到扩展所述第一候选主题的用户输入时，显示所述第一候选主题的形心菜肴标识符和所述第一候选主题的一个或多个变体菜肴标识符，其中，所述第一候选主题的形心菜肴标识符显示在所述第一候选主题的一个或多个变体菜肴标识符上方，并且所述第一候选主题的一个或多个变体菜肴标识符按照相应的关联分数降序显示。3.根据权利要求1或2所述的计算机实现方法，其中所述第一候选主题中的多个候选菜肴标识符表示彼此相似的菜肴。4.根据前述任意一项权利要求所述的计算机实现方法，还包括：使用预测模型分析所述第一图像，以确定一个或多个附加候选主题，其中，所述附加候选主题中的每个包括多个候选菜肴标识符，每个所述候选菜肴标识符与候选菜肴相关联，所述候选菜肴标识符中的一个候选菜肴标识符是最能代表相应候选主题的形心菜肴标识符；以及输出所述一个或多个附加候选主题。5.根据权利要求4所述的计算机实现方法，针对所述一个或多个附加候选主题中的每一个，还包括以下方法步骤：针对所述参考集合中的每个菜肴标识符，计算指示由相应菜肴标识符表示的菜肴与相应附加候选主题之间相似度的关联分数；选择所述参考集合中具有最高关联分数的一个或多个菜肴标识符作为相应附加候选主题的一个或多个变体菜肴标识符；以及输出相应附加候选主题的所述形心菜肴标识符和相应附加候选主题的所述一个或多个变体菜肴标识符。6.根据权利要求4或5所述的计算机实现方法，还包括：
使用所述预测模型确定所述第一候选主题和所述一个或多个附加候选主题的排序，其中，所述排序指示相应候选主题的所述形心菜肴与在获得的所述第一图像中所描绘的菜肴之间递减的相似度；以及基于所确定的排序，显示所述第一候选主题和所述一个或多个附加候选主题。7.根据前述任意一项权利要求所述的计算机实现方法，还包括：获取多个食谱，其中所述多个食谱中的每一个包括：菜肴标识符、多个食物成分以及一个或多个烹饪指令；从获得的多个食谱中选择食谱的核心子集；基于以下至少一个，计算所述核心子集中各食谱之间的相似度分数：两个食谱的所述菜肴标识符之间的相似度、两个食谱的所述食物成分之间的相似度，以及两个食谱的所述烹饪指令之间的相似度；基于所述多个食谱的相似度分数，将所述多个食谱聚类为多个参考主题；以及针对所述多个参考主题中的每个主题，选择与相应参考主题具有最高余弦相似度的食谱作为所述形心食谱，其中，所选择的所述食谱的所述菜肴标识符是相应参考主题的所述形心菜肴标识符，其中，确定第一候选主题包括从所述多个参考主题中选择所述第一候选主题。8.根据权利要求7所述的计算机实现方法，还包括：确定所述多个食谱中每个食谱的流行度分数，其中，所述流行度分数指示相应食谱的流行度或普遍度，其中，选择所述食谱的核心子集基于所述多个食谱的流行度分数执行。9.根据权利要求7或8所述的计算机实现方法，其中，计算所述核心子集中各食谱之间的所述相似度分数基于以下至少一个的一个或多个同义词执行：所述两个食谱的烹饪指令、菜肴标识符、以及多个食物成分。10.根据权利要求7
‑
9中任意一项所述的计算机实现方法，其中，将所述多个食谱聚类为多个参考主题基于k均值聚类或奇异值分解执行。11.根据权利要求7
‑
10中任意一项所述的计算机实现方法，还包括：针对所述多个参考主题中的每个主题，基于相应参考主题的所述食谱确定多个关键词，其中，所述多个关键词中的每一个与烹饪技术和食物成分中的至少一个相关联；12.根据权利要求7
‑
11中任意一项所述的计算机实现方法，还包括：选择所述多个参考主题中的一个；基于所选择的所述参考主题的所述形心菜肴标识符和所选择的所述参考主题的多个关键词中的至少一个，获取第二图像；以及基于所述第二图像和所选择的所述参考主题，训练所述预测模型。13.根据前述任意一项权利要求所述的计算机实现方法，其中，所述预测模型是以下至少一个：卷积神经网络、残差神经网络和密集神经网络。14.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质中实现有计算机可读代码，所述计算机可读代码被配置为当在合适的计算机或处理器上执行时，使得所述计算机或处理器执行前述的任意一项权利要求所述的方法。15.一种用于执行基于图像的菜肴识别的装置(100)，所述装置包括处理器(102)，所述
处理器被配置为：获取描绘待识别菜肴的第一图像；使用预测模型分析所述第一图像以确定第一候选主题，其中，所述第一候选主题包括多个候选菜肴标识符，每个所述候选菜肴标识符与候选菜肴相关联，所述候选菜肴标识符中的一个候选菜肴标识符是与最能代表所述第一候选主题的候选菜肴相关联的形心菜肴标识符；获取菜肴标识符的参考集合；针对所述参考集合中的每个所述菜肴标识符，计算指示由相应菜肴标识符表示的菜肴与所述第一候选主题之间相似度的关联分数；选择所述参考集合中具有最高关联分数的一个或多个菜肴标识符作为所述第一候选主题的一个或多个变体菜肴标识符；以及输出所述第一候选主题的所述形心菜肴标识符和所述第一候选主题的所述一个或多个变体菜肴标识符。

技术总结
提供了一种用于执行基于图像的菜肴识别的计算机实现方法。该方法包括：获取(202)描绘待识别菜肴的第一图像；使用预测模型分析(204)第一图像以确定第一候选主题；获取(206)菜肴标识符的参考集合；针对参考集合中的每个菜肴标识符，计算(208)指示由相应的菜肴标识符表示的菜肴与第一候选主题之间相似度的关联分数；选择(210)参考集合中具有最高关联分数的一个或多个菜肴标识符作为第一候选主题的一个或多个变体菜肴标识符；以及输出(212)第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符。题的一个或多个变体菜肴标识符。题的一个或多个变体菜肴标识符。


技术研发人员：罗忠池 肖卫民 李林峻 金雅芳
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2020.03.20
技术公布日：2022/1/4