用于执行基于图像的食物量估计的装置和方法与流程

技术特征：
1.一种用于执行基于图像的食物量估计的计算机实施方法，所述方法包括：获取(202)第一图像，其中所述第一图像描绘食品和第一用户的身体部位；基于所获取的所述第一图像，检测(204)所述第一用户的所述身体部位的第一物理属性；基于所获取的所述第一图像，识别(206)所描绘的所述食品；以及基于所识别的所述食品和检测到的所述用户的所述身体部位的所述第一物理属性，估计(208)所获取的所述第一图像中所描绘的所述食品的量。2.根据权利要求1所述的计算机实施方法，还包括：针对多个用户中的每个用户，获取相应用户的身体部位的一个或多个物理属性；针对所述多个用户中的每个用户，将所获取的所述身体部位的一个或多个物理属性与用户简档数据库中相应用户的用户简档相关联；通过将检测到的所述第一用户的身体部位的第一物理属性与存储在所述用户简档数据库中的所述多个用户的身体部位的对应类型的物理属性进行比较，来识别所述第一用户；以及从所述第一用户的用户简档中检索所述第一用户的身体部位的第二物理属性，其中进一步基于检索到的所述第一用户的身体部位的第二物理属性来估计(208)所述食品的量。3.根据权利要求2所述的计算机实施方法，其中所述获取相应用户的身体部位的一个或多个物理属性包括：在触摸屏显示设备处提供包括交互式可视工具的虚拟用户接口，所述交互式可视工具被配置为允许所述用户测量所述相应用户的身体部位的一个或多个物理属性；经由所述虚拟用户接口接收用户输入，其中所述用户输入对应于所述身体部位的至少一部分在所述触摸屏显示设备处的放置；以及基于接收到的所述用户输入，确定所述身体部位的一个或多个物理属性。4.根据权利要求2或3所述的计算机实施方法，其中所述获取相应用户的身体部位的一个或多个物理属性包括：获取描绘所述相应用户的身体部位的第二图像；从所获取的所述第二图像中检测与所述相应用户的身体部位相关联的第一图像描述符特征；以及基于检测到的所述第一图像描述符特征，确定所述一个或多个物理属性。5.根据权利要求4所述的计算机实施方法，还包括：获取所述相应用户的身体部位的一个或多个手动测量物理属性；将所述一个或多个所确定的物理属性中的每一个物理属性分别与对应的一个或多个手动测量物理属性进行比较；以及基于所述比较的结果，确认或更新所述身体部位的一个或多个物理属性的值。6.根据权利要求4或5所述的计算机实施方法，还包括针对所述多个用户中的至少一个用户执行以下步骤：获取描绘所述相应用户的身体部位的一个或多个第三图像；对所获取的描绘所述相应用户的身体部位的所述一个或多个第三图像执行图像处理，
以获得与所述相应用户的身体部位相关联的第二图像描述符特征，其中所述图像处理是基于所述一个或多个第三图像的图像像素之间的比较来执行的；基于所述一个或多个第三图像的第二图像描述符特征，确定所述相应用户的身体部位的一个或多个物理属性，所述一个或多个物理属性对应于所获取的所述相应用户的身体部位的一个或多个物理属性；基于所获取的所述一个或多个物理属性与基于所述第二图像描述符特征所确定的所述一个或多个物理属性之间的比较，校准所获取的所述相应用户的身体部位的一个或多个物理属性；以及基于所述校准的结果，更新与所述相应用户的用户简档相关联的所述身体部位的一个或多个物理属性。7.根据权利要求6所述的计算机实施方法，其中获取描述所述相应用户的身体部位的多个第三图像，并且针对所述多个第三图像中的每个第三图像，获取多种类型的图像描述符特征，并且其中所述获取相应用户的身体部位的一个或多个物理属性还包括：通过比较所述多个第三图像中的每个第三图像的图像描述符特征的类型，确定图像描述符特征的类型的确定度；以及选择具有最高确定度的图像描述符特征的类型，其中确定所述相应用户的身体部位的一个或多个物理属性是基于一个或多个图像描述符特征，所述一个或多个图像描述符特征对应于所选择的具有所述最高确定度的图像描述符特征的类型。8.根据权利要求2至7中任一项所述的计算机实施方法，其中获取所述相应用户的身体部位的一个或多个物理属性包括：获取所述相应用户的一个或多个物理特性，其中所述一个或多个物理特性包括以下至少一个：所述相应用户的性别、所述相应用户的年龄、所述相应用户的身高和所述相应用户的体重；以及基于所述相应用户的一个或多个物理特性，确定所述相应用户的身体部位的一个或多个物理属性。9.根据前述权利要求中任一项所述的计算机实施方法，还包括对所述第一图像执行图像处理，以提取与所描绘的所述食品相对应的图像像素，其中基于所提取的与所描绘的所述食品相对应的所述图像像素之间的比较来估计(208)所述食品的量。10.根据前述权利要求中任一项所述的计算机实施方法，还包括获取拍摄所述第一图像的相机角度，其中进一步基于所获取的所述相机角度估计(208)所描绘的所述食品的量。11.根据前述权利要求中任一项所述的计算机实施方法，还包括：获取描绘所述第一用户的身体部位的补充图像，其中所述补充图像以与所述第一图像的相机角度不同的相机角度拍摄；基于所述补充图像，执行对所述第一用户的身体部位的第一物理属性的检测；以及在基于所述第一图像的所述检测的结果与基于所述补充图像的所述检测的结果之间的比较的基础上，更新所述第一用户的身体部位的第一物理属性的值。12.根据前述权利要求中任一项所述的计算机实施方法，还包括基于所估计的所述食品的量，确定与所述第一图像中所描绘的所述食品的量相关联的特性。
13.根据权利要求12所述的计算机实施方法，其中与所述食品的量相关联的所述特性是以下特性中的一个：所述食品中的膳食能量量、所述食品中的蛋白质量、所述食品中的碳水化合物量、所述食品中的矿物质量、所述食品中的维生素量、所述食品中的膳食纤维量和所述食品中的糖量。14.一种包括计算机可读介质的计算机程序，所述计算机可读介质具有包含在其中的计算机可读代码，所述计算机可读代码被配置为：当在合适的计算机或处理器上执行时，使得所述计算机或处理器执行前述权利要求中任一项所述的方法。15.一种用于执行基于图像的食物量估计的装置(100)，所述装置包括处理器(102)，所述处理器被配置为：获取第一图像，其中所述第一图像描绘食品和第一用户的身体部位；基于所获取的所述第一图像，检测所述第一用户的身体部位的第一物理属性；基于所获取的所述第一图像，识别所描绘的所述食品；以及基于所识别的所述食品和检测到的所述用户的身体部位的第一物理属性，估计所获取的所述第一图像中所描绘的所述食品的量。

技术总结
提供了一种用于执行基于图像的食物量估计的计算机实施方法。该方法包括获取(202)第一图像，其中第一图像描绘食品和第一用户的身体部位；基于所获取的第一图像，检测(204)第一用户的身体部位的第一物理属性；基于所获取的第一图像，识别(206)所描绘的食品；以及基于所识别的食品和检测到的用户身体部位的第一物理属性，估计(208)所获取的第一图像中所描绘的食品的量。的食品的量。的食品的量。


技术研发人员：A
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2020.07.08
技术公布日：2022/2/23