用于执行基于图像的食物量估计的装置和方法与流程

1.本公开涉及一种用于执行基于图像的食物量估计的装置和方法。


背景技术：

2.研究表明，健康饮食可以显著降低疾病风险。然而，个人(尤其是儿童)通常不善于准确地评估其自身的饮食摄入量。当在餐馆吃饭时，热量和营养成分的评估尤其困难，因为大多数餐馆都不会提供列出与其菜肴相关的膳食能量值的菜单。因此，需要一种通过允许用户估计所消耗的食物量来监测和评估膳食摄入(例如膳食能量或其它类型的营养物)的系统化技术。


技术实现要素：

3.在基于图像的食物量估计领域，已经提出了许多技术。例如，所提出的一种技术涉及使用具有图案的三维(3d)标记来帮助估计食物图像的焦距，这需要使用特定的参考对象，导致儿童可能难以正确地使用该技术。所提出的另一种技术使用拇指作为参照物来估计容器中的食物体积。这种技术的前提是拇指的尺寸是已知的，并且拇指指甲的整个宽度在图像中是可见且可检测的。这种技术在用于计算拇指尺寸的拇指指甲周围的特征或特性方面缺乏个性化或灵活性。因此，尺寸计算的稳健性降低，特别是在照明和背景条件变化的情况下使用时。
4.所提出的另一种技术基于用户的身体部位(例如用户的手)来对图像中描绘的食品进行量化。这种技术估计(一个或多个)人体测量参数，诸如手的宽度、手的手掌面积、食指长度和手指(食指、中指或无名指)宽度，并且需要经由用户交互对所提取的特征进行后处理，以用于校准以及确定估计/测量距离绝对值的特定参考点(例如手支撑)的目的。食品量继而可以基于(一个或多个)人体测量参数的绝对值来估计。这种方法严重依赖于从图像中提取颜色特征，而且还要求特定参考点的颜色不同于任何可能的皮肤颜色。此外，该方法还需要相对于身体部位和/或特定参考点以特定角度和距离采集图像，并且身体部位在图像中完全可见。这些都对估计食物量的可用性和便利性造成影响。
5.如上所述，当前可用的用于执行基于图像的食物量估计的解决方案存在许多相关缺陷，例如需要特定参考对象、需要参考对象和/或身体部位完全可见、并且还缺乏个体灵活性，所有这些都会降低估计技术的稳健性或可用性。因此，提供一种能够克服上述缺点的用于执行基于图像的食物量估计的改进方法将是有利的。
6.为了更好地解决前面提到的一个或多个问题，在第一方面，提供了一种用于执行基于图像的食物量估计的计算机实施方法。该方法包括：获取第一图像，其中第一图像描绘食品和第一用户的身体部位；基于所获取的第一图像，检测第一用户的身体部位的第一物理属性；基于所获取的第一图像，识别所描绘的食品；以及基于所识别的食品和检测到的用户身体部位的第一物理属性，估计所获取的第一图像中所描绘的食品的量。
7.在一些实施例中，该方法还可以包括：针对多个用户中的每个用户，获取相应用户
的身体部位的一个或多个物理属性；针对多个用户中的每个用户，将所获取的身体部位的一个或多个物理属性与用户简档数据库中相应用户的用户简档相关联；通过将检测到的第一用户的身体部位的第一物理属性与存储在用户简档数据库中的多个用户的身体部位的对应类型的物理属性进行比较，来识别第一用户；以及从第一用户的用户简档中检索第一用户的身体部位的第二物理属性。在这些实施例中，可以进一步基于检索到的第一用户的身体部位的第二物理属性来估计食品的量。
8.在一些实施例中，获取相应用户的身体部位的一个或多个物理属性可以包括：在触摸屏显示设备处提供包括交互式可视工具的虚拟用户接口，交互式可视工具被配置为允许用户测量相应用户的身体部位的一个或多个物理属性；经由虚拟用户接口接收用户输入。在这些实施例中，用户输入对应于身体部位的至少一部分在触摸屏显示设备处的放置；以及基于接收到的用户输入，确定身体部位的一个或多个物理属性。
9.在一些实施例中，获取相应用户的身体部位的一个或多个物理属性包括：获取描绘相应用户的身体部位的第二图像；从所获取的第二图像中检测与相应用户的身体部位相关联的第一图像描述符特征；以及基于检测到的第一图像描述符特征，确定一个或多个物理属性。
10.在一些实施例中，该方法还可以包括：获取相应用户的身体部位的一个或多个手动测量物理属性；将一个或多个所确定的物理属性中的每一个物理属性分别与对应的一个或多个手动测量物理属性进行比较；以及基于比较的结果，确认或更新身体部位的一个或多个物理属性的值。
11.在一些实施例中，该方法还可以包括针对多个用户中的至少一个用户执行以下步骤：获取描绘相应用户的身体部位的一个或多个第三图像；对所获取的描绘相应用户的身体部位的一个或多个第三图像执行图像处理，以获得与相应用户的身体部位相关联的第二图像描述符特征，其中图像处理是基于一个或多个第三图像的图像像素之间的比较来执行的；基于一个或多个第三图像的第二图像描述符特征，确定相应用户的身体部位的一个或多个物理属性，该一个或多个物理属性对应于所获取的相应用户的身体部位的一个或多个物理属性；基于所获取的一个或多个物理属性与基于第二图像描述符特征所确定的一个或多个物理属性之间的比较，校准所获取的相应用户的身体部位的一个或多个物理属性；以及基于校准的结果，更新与相应用户的用户简档相关联的身体部位的一个或多个物理属性。
12.在一些实施例中，可以获取描述相应用户的身体部位的多个第三图像，并且可以针对多个第三图像中的每个第三图像获取多种类型的图像描述符特征。在这些实施例中，获取相应用户的身体部位的一个或多个物理属性还可以包括：通过比较多个第三图像中的每个第三图像的图像描述符特征的类型，确定图像描述符特征的类型的确定度；以及选择具有最高确定度的图像描述符特征的类型。此外，在这些实施例中，确定相应用户的身体部位的一个或多个物理属性可以基于一个或多个图像描述符特征，该一个或多个图像描述符特征对应于所选择的具有最高确定度的图像描述符特征的类型。
13.在一些实施例中，获取相应用户的身体部位的一个或多个物理属性可以包括：获取相应用户的一个或多个物理特性。在这些实施例中，一个或多个物理特性可以包括以下至少一个：相应用户的性别、相应用户的年龄、相应用户的身高和相应用户的体重；以及基
于相应用户的一个或多个物理特性，确定相应用户的身体部位的一个或多个物理属性。
14.在一些实施例中，该方法还可以包括对第一图像执行图像处理，以提取与所描绘的食品相对应的图像像素。在这些实施例中，可以基于所提取的与所描绘的食品相对应的图像像素之间的比较来估计食品的量。
15.在一些实施例中，该方法还可以包括获取拍摄第一图像的相机角度。在这些实施例中，进一步基于所获取的相机角度估计所描绘的食品的量。
16.在一些实施例中，该方法还可以包括：获取描绘第一用户的身体部位的补充图像，其中补充图像以与第一图像的相机角度不同的相机角度拍摄；基于补充图像，执行对第一用户的身体部位的第一物理属性的检测；以及在基于第一图像的检测结果与基于补充图像的检测结果之间的比较的基础上，更新第一用户的身体部位的第一物理属性的值。
17.在一些实施例中，该方法还可以包括基于所估计的食品的量，确定与第一图像中所描绘的食品的量相关联的特性。
18.在一些实施例中，与食品的量相关联的特性可以是以下特性中的一个：食品中的膳食能量量、食品中的蛋白质量、食品中的碳水化合物量、食品中的矿物质量、食品中的维生素量、食品中的膳食纤维量和食品中的糖量。
19.在第二方面，提供了一种包括计算机可读介质的计算机程序，计算机可读介质中具有包含在其中的计算机可读代码，计算机可读代码被配置为当在合适的计算机或处理器上执行时，使得计算机或处理器执行如本文所述的方法。
20.在第三方面，提供了一种用于执行基于图像的食物量估计的装置，该装置包括处理器，处理器被配置为：获取第一图像，其中第一图像描绘食品和第一用户的身体部位；基于所获取的第一图像，检测第一用户的身体部位的第一物理属性；基于所获取的第一图像，识别所描绘的食品；以及基于所识别的食品和检测到的用户的身体部位的第一物理属性，估计所获取的第一图像中描绘的食品的量。
21.根据上述方面和实施例，解决了现有技术的局限性。具体而言，上述方面和实施例实现了以用户友好且准确的方式执行基于图像的食物量估计。因此，提供了一种用于执行基于图像的食物量估计的改进方法和装置。参考下文描述的(一个或多个)实施例，本公开的这些和其它方面将变得明显并得以阐明。
附图说明
22.为了更好地理解实施例，并且为了更清楚地示出如何实现这些实施例，现在仅通过示例的方式参考附图，其中：
23.图1是根据一个实施例的用于执行基于图像的食物量估计的装置框图；
24.图2示出根据一个实施例的用于执行基于图像的食物量估计的计算机实施方法；
25.图3示出根据一个实施例的用户拇指的物理属性的多个示例；并且
26.图4a和图4b是在智能电话设备中实现的图2所示方法的示例图。
具体实施方式
27.如上所述，提供了一种解决了现有问题的改进装置及其操作方法。
28.图1示出根据一个实施例的装置100的框图，该装置可以用于执行基于图像的食物
量估计。尽管下文在单个用户的上下文中描述了装置100的一些操作，但应当理解的是，装置100能够基于描绘多个用户的身体部位的图像来执行基于图像的食物量估计。
29.如图1所示，该装置包括处理器102，处理器102控制装置100的操作并且可以实现本文所描述的方法。处理器102可以包括被配置为或编程为以本文所述的方式控制装置100的一个或多个处理器、处理单元、多核处理器或模块。在特定实施方式中，处理器102可以包括多个软件及/或硬件模块，每个模块被配置为执行或用于执行本文描述方法的各个或多个步骤。
30.简言之，处理器102被配置为获取描述食品和第一用户的身体部位的第一图像，并且基于所获取的第一图像，检测第一物理属性。处理器102还被配置为基于所获取的第一图像识别所描绘的食品，并且基于所识别的食品和检测到的用户身体部位的第一物理属性，估计食品的量。
31.在一些实施例中，装置100还可以包括至少一个用户接口104。替代地或附加地，至少一个用户接口104可以位于装置100外部(即，与装置100分离或远离装置100)。例如，至少一个用户接口104可以是另一设备的一部分。用户接口104可以用于向装置100的用户提供从本文描述的方法中得到的信息。替代地或附加地，用户接口104可以被配置为接收用户输入。例如，用户接口104可以允许装置100的用户手动输入指令、数据或信息。在这些实施例中，处理器102可以被配置为从一个或多个用户接口104获取用户输入。
32.用户接口104可以是能够向装置100的用户呈现(或输出或显示)信息的任何用户接口。替代地或附加地，用户接口104可以是使装置100的用户能够提供用户输入、与装置100交互和/或控制装置100的任何用户接口。例如，用户接口104可以包括(例如平板电脑或智能电话上的)一个或多个开关、一个或多个按钮、小键盘、键盘、触摸屏或应用、显示屏、图形用户接口(gui)或其它视觉渲染部件，一个或多个扬声器、一个或多个麦克风或任何其它音频部件、一个或多个灯、提供触觉反馈(例如振动功能)的部件或任何其它用户接口或用户接口的组合。
33.在一些实施例中，装置100可以包括存储器106。替代地或附加地，一个或多个存储器106可以位于装置100外部(即，与装置100分离或远离装置100)。例如，一个或多个存储器106可以是另一设备的一部分。存储器106可以被配置为存储可以由处理器102执行以执行本文所述方法的程序代码。存储器可以用于存储由装置100的处理器102获取或创建的信息、数据、信号和测量。例如，存储器106可以用于存储(例如在本地文件中)第一用户的第一物理属性。处理器102可以被配置为控制存储器106存储第一用户的第一物理属性。
34.在一些实施例中，装置100可以包括通信接口(或电路)108，用于使装置100能够与装置100内部或外部的任何接口、存储器和/或设备通信。通信接口108可以无线地或经由有线连接与任何接口、存储器和/或设备通信。例如，通信接口108可以无线地或经由有线连接与一个或多个用户接口104通信。类似地，通信接口108可以无线地或经由有线连接与一个或多个存储器106通信。
35.应当理解的是，图1仅示出说明装置100的一个方面所需的部件，并且在实际实施方式中，装置100可以包括所示部件的替代部件或附加部件。
36.图2示出根据一个实施例的用于执行基于图像的食物量估计的计算机实施方法。所示的方法总体上可以由装置100的处理器102执行或在处理器102的控制下执行。
37.参见图2，在框202处，获取第一图像。具体地，在一些实施例中，第一图像可以由处理器102例如从智能电话相机获取。第一图像描绘食品和第一用户的身体部位。在框204处检测第一用户的身体部位的第一物理属性，该检测是基于在框202处所获取的第一图像。
38.在一些实施例中，第一物理属性可以对应于第一用户的身体部位处两个单独点之间的距离，或者由第一用户的身体部位处的三个或更多个单独点限定的面积。例如，在一些实施例中，身体部位可以是第一用户的手指。在这种情况下，第一物理属性可以是第一用户的手指的长度(即，指尖与手指基部之间的距离)。作为另一示例，在一些实施例中，第一物理属性可以是手指远端指节位置处的手指宽度。下面将参照图3更详细地描述第一物理属性的其它示例。
39.回到图2，在框206处，基于在框202处所获取的第一图像，识别所描绘的食物，并且在框208处，基于在框206处所识别的食品和在框204处检测到的用户身体部位的第一物理属性，估计在框202处所获取的第一图像中的食品的量。在一些实施例中，在框206处识别所描绘的食品可以利用当前可用的食物视觉识别技术来执行，诸如在“learning to make better mistakes:semantics-aware visual food recognition”(w,hui,michele merler,roserio uceda-sosa,and john r.smith；in processing of the 2016acm on multimedia conference
–
mm’16,172-76；amsterdam,the netherlands:acm press)中提到的食物视觉识别技术。
40.本文描述的方法可以应用于多个用户。特别地，在一些实施例中，该方法还可以包括针对多个用户中的每个用户，获取相应用户的身体部位的一个或多个物理属性，以及针对多个用户中的每个用户，将所获取的身体部位的一个或多个物理属性与用户简档数据库中相应用户的用户简档相关联。在这些实施例中，多个用户可以包括如上文所述的第一用户。此外，在这些实施例中，一个或多个物理属性中的每个物理属性可以对应于相应用户的身体部位处的两个单独点之间的距离(例如相应用户的手指长度)。
41.在一些实施例中，获取相应用户的身体部位的一个或多个物理属性可以包括在触摸屏显示设备处提供虚拟用户接口，该虚拟用户接口包括交互式可视工具，交互式可视工具被配置为允许相应用户测量相应用户的身体部位的一个或多个物理属性；经由虚拟用户接口接收用户输入；并且基于接收到的用户输入，确定身体部位的一个或多个物理属性。在这些实施例中，用户输入可以对应于相应用户的身体部位的至少一部分在触摸屏显示设备处的放置。例如，交互式可视工具可以向相应用户提供将身体部位(例如拇指)按压在触摸屏显示设备上的指令，并且假定触摸屏显示设备的尺寸是已知的，在触摸屏显示设备处检测到的接触区域继而可以用于确定相应用户的一个或多个物理属性。此外，在这些实施例中，触摸屏显示设备可以被实现为装置100的用户接口104的一部分。
42.附加地或替代地，获取相应用户的身体部位的一个或多个物理属性可以包括获取描绘用户的身体部位的第二图像，检测与相应用户的身体部位相关联的第一图像描述符特征，以及基于检测到的第一图像描述符特征，确定一个或多个物理属性。第一图像描述符特征可以包括以下至少一个：从第二图像中提取的身体部位的尺度不变特征变换(sift)特征、从第二图像中提取的身体部位的颜色特征、从第二图像中提取的身体部位的纹理特征、第二图像的定向梯度直方图和第二图像的卷积核。卷积核可以是用不同的核卷积第二图像的结果。在这种情况下，卷积操作可以由装置100的处理器102执行。第一图像描述符特征还
可以代表相应用户的身体部位的物理特征，例如身体部位的边缘、身体部位上的特定点、身体部位上的疤痕、身体部位上的皱纹线、身体部位上的纹身或身体部位上的痣。在一些实施例中，第一图像描述符特征可以指示相应用户的身体部位的皮肤类型。
43.此外，该方法还可以包括获取相应用户的身体部位的一个或多个手动测量物理属性，将一个或多个所确定的物理属性中的每一个物理属性分别与对应的一个或多个手动测量物理属性进行比较，以及基于比较结果，确认或更新身体部位的一个或多个物理属性的值。
44.此外，在一些实施例中，该方法还可以包括识别第一用户(可以是多个用户中的一个)。该识别可以通过将在框204处检测到的第一物理属性与存储在用户简档数据库中的多个用户的身体部位的对应类型的物理属性进行比较来执行。身体部位的一种类型的物理属性可以对应于第一用户的身体部位处两个特定单独点之间的距离，或者可以对应于由第一用户的身体部位处的三个或更多个单独点限定的面积。例如，“拇指长度”可以是一种类型的物理属性，而“远端指节处的拇指宽度”可以是另一种不同类型的物理属性。在识别第一用户之后，该方法还可以包括从第一用户的用户简档中检索第一用户的身体部位的第二物理属性。第二物理属性可以是与第一物理属性不同类型的属性，但在一些实施例中，第一物理属性和第二物理属性可以是相同类型的属性，例如身体部位上的皱纹线。在这些实施例中，在框208处估计食品的量可以进一步基于检索到的第一用户的身体部位的第二物理属性。
45.在该方法包括针对多个用户中的每个用户获取相应用户的身体部位的一个或多个物理属性的实施例中，该方法还可以包括针对多个用户中的至少一个用户，获取描绘相应用户的身体部位的一个或多个第三图像；在这些实施例中，该方法可以包括对所获取的一个或多个第三图像执行图像处理，以获得与相应用户(即，多个用户中的至少一个用户)的身体部位相关联的第二图像描述符特征，基于一个或多个第三图像的第二图像描述符，确定相应用户的身体部位的一个或多个物理属性，该一个或多个物理属性对应于所获取的相应用户的身体部位的一个或多个物理属性，基于所获取的一个或多个物理属性与基于第二图像描述符特征所确定的一个或多个物理属性之间的比较，校准所获取的相应用户的身体部位的一个或多个物理属性，以及基于校准结果，更新与相应用户的用户简档相关联的身体部位的一个或多个物理属性。
46.在这些实施例中，对所获取的一个或多个第三图像的图像处理可以基于一个或多个第三图像的图像像素之间的比较来执行。第二图像描述符特征可以包括以下至少一个：从相应的第三图像中提取的身体部位的尺度不变特征变换(sift)特征、身体部位的颜色特征、身体部位的纹理特征、相应第三图像的定向梯度直方图和第三图像的卷积核。在这种情况下，卷积操作可以由装置100的处理器102执行。第二图像描述符特征还可以代表相应用户的身体部位的物理特征，例如身体部位的边缘、身体部位上的特定点、身体部位上的疤痕、身体部位上的皱纹线、身体部位上的纹身或身体部位上的痣。在一些实施例中，第二图像描述符特征可以指示相应用户的身体部位的皮肤类型。
47.此外，在获取描述相应用户的身体部位的多个第三图像、并且针对多个第三图像中的每个第三图像获得多种类型的图像描述符特征的实施例中，获取相应用户的身体部位的一个或多个物理属性还可以包括：确定多个第三图像中每个第三图像的图像描述符特征
类型的确定度，并且选择具有最高确定度的图像描述符特征的类型。确定度可以基于深度学习训练模型和支持向量机(svm)训练模型中的至少一个来确定。在这些实施例中，确定相应用户的身体部位的一个或多个物理属性可以基于一个或多个图像描述符特征，该一个或多个图像描述符特征对应于所选择的具有最高确定度的图像描述符特征的类型。
48.在一些实施例中，获取相应用户的身体部位的一个或多个属性可以包括：获取相应用户的一个或多个物理特性，并且基于相应用户的一个或多个物理特性，确定相应用户的身体部位的一个或多个物理属性。在这些实施例中，一个或多个物理特性可以包括以下至少一个：相应用户的性别、相应用户的年龄、相应用户的身高和相应用户的体重。一个或多个物理属性的确定可以基于将相应用户的一个或多个物理特性与包含在现有人口模块中的数据进行比较，现有人口模块将物理属性与物理特性(例如5岁女童的平均拇指长度)相关联。
49.在一些实施例中，该方法还可以包括对第一图像执行图像处理，以提取与所描绘的食品相对应的图像像素。在这些实施例中，在框208处估计食品的量可以基于所提取的与所描绘的食品相对应的图像像素之间的比较。
50.例如，该方法可以包括确定第一图像中的第一边缘点和第二边缘点，其中第一边缘点对应于食品或食品容器(例如盘)的第一边缘，第二边缘点对应于食品或食品容器的第二边缘；以及确定第一边缘点与第二边缘点之间的像素数量。在该示例中，在框208处估计食品的量可以基于所确定的第一边缘点与第二边缘点之间的像素数量与对应于所检测到的第一用户的第一物理属性的像素数量之间的比较。在一些实施例中，为了估计食品的量，可以使用描绘身体部位和食品的多于一个第一图像来获得多个第一边缘点和第二边缘点。可以通过使用以不同相机角度拍摄的多个第一图像来提高量估计的准确性。应当理解的是，也可以使用其它图像处理技术来提取与所描绘的食品相对应的图像像素，例如已经利用基本数据集开发的图像处理工艺和应用机器学习技术(例如深度学习架构)。
51.附加地或替代地，在一些实施例中，该方法还可以包括获取拍摄第一图像的相机角度。例如，可以经由智能电话或平板电脑中的加速度计(或定向传感器)获得图像拍摄的相机角度。在这些实施例中，在框208处估计所描绘的食品的量可以进一步基于所获取的拍摄第一图像的相机角度。此外，在一些实施例中，该方法可以包括接收指示在第一图像中所描绘的食品容器的尺寸和/或形状的用户输入(例如容器是否是矩形形状)，并且量估计可以进一步基于接收到的指示容器尺寸和/或形状的用户输入来执行。
52.在一些实施例中，该方法还可以包括获取描绘第一用户的身体部位的补充图像。补充可以以与第一图像的相机角度不同的相机角度拍摄。在这些实施例中，该方法还可以包括基于补充图像，执行对第一用户的身体部位的第一物理属性的检测，以及在基于第一图像的检测结果与基于补充图像的检测结果之间的比较的基础上，更新第一用户的身体部位的第一物理属性的值。
53.在一些实施例中，在框208之后，该方法还可以包括基于在框208处所估计的食品的量，确定与第一图像中所描绘的食品的量相关联的特性。与食品的量相关联的特性可以是以下特性中的一个：食品中的膳食能量量、食品中的蛋白质量、食品中的碳水化合物量、食品中的矿物质量、食品中的维生素量、食品中的膳食纤维量和食品中的糖量。
54.在一些实施例中，所确定的与食品的量相关联的特性可以用于跟踪和监测用户的
饮食进度。为了更详细地说明该方面，在图4a和图4b中示出在智能电话设备中实现的本文所述方法的示例性附图。更具体地，图4a和图4b示出在智能电话设备上显示的虚拟接口，该虚拟接口提供与用户相关联的信息(例如用户的姓名“jensje”)，用户的饮食进度(例如，“卡路里进度：1030/1300”)，以及所获取的第一图像，第一图像描绘用户的身体部位和食品。在图4a的示例中所获取的第一图像描绘了用户一只手的一部分，而在图4b的示例中所获取的第一图像描绘了用户的两只手。
55.在图4a和图4b的两个示例中，识别所获取的第一图像中用户持有的食品，并且根据如上文所述的方法估计食品的量。随后，基于食品的估计量，确定所描绘的食品中的膳食能量量，并且将确定的膳食能量量(以卡路里为单位)与用户允许剩余膳食能量量(即，预定的每日膳食能量允许量减去今天消耗的膳食能量量)进行比较。在该示例中，用户“jensje”的允许剩余膳食能量量是270kcal(通过计算1300kcal－1030kcal＝270kcal获得)。因此，如果所描绘的食品具有小于270kcal的确定膳食能量，则可以在虚拟接口处提供诸如覆盖在第一图像上的笑脸指示(例如参见图4a)。相反，如果所描绘的食品具有大于270kcal的确定膳食能量，则可以在虚拟接口处提供诸如覆盖在第一图像上的包围食品的红色轮廓指示。此外，还可以提供覆盖在第一图像上仅包围所描绘的食品量的一部分的绿色轮廓，以突出显示所描绘的食品可以由用户消耗而不超过预定的每日膳食能量允许量的部分。应当理解的是，也可以向用户提供其它类型的听觉/视觉/触觉指示，以表明所描绘的食品是否落入根据(一个或多个)预定个人饮食摄入要求的“可允许”范围内。
56.本文描述的方法可以实现为诸如智能电话或平板电脑的电子设备上的应用软件。应用软件可以由一个或多个用户使用以用于食物记录(例如每日食物记录)的目的。由于本文描述的方法允许基于描绘食品和用户身体部位的图像来估计食品的量，因而可以以方便且用户友好的方式来估计(一个或多个)用户所消耗的食品量。由于便利性增加，本文描述的方法对于包括以下情况的使用情况是特别有利的：容器(例如盘子)和/或静态参考对象不可用时的随身携带(on-the-go)的食物消耗、社交媒体共享和杂货购物。
57.图3示出根据一个实施例的用户拇指的物理属性的多个示例。更详细地，在图3中从左到右示出拇指的正面、拇指的侧面轮廓和拇指的背面。
58.如图3所示的尺寸31、32、33、34和35分别是拇指的长度(本文中称为“拇指长度”)、远端指节位置处拇指的宽度(本文中称为“拇指宽度”)、指甲底部的中心点与远端指节位置处拇指正面的中间皱纹线的中心点之间的距离、拇指指尖与远端指节位置处拇指正面的中间皱纹线之间的距离，以及拇指指尖与远端指节位置处管背面的中间皱纹线之间的距离。
59.如上文参考图2所描述的，在一些实施例中，该方法还可以包括针对多个用户中的每个用户，获取相应用户的身体部位的一个或多个物理属性。可以使用相应用户的拇指作为示例更详细地解释该过程。在一些实施例中，拇指长度31和拇指宽度32可以在初始化阶段中使用，在该阶段，这两个尺寸作为物理属性被获取，并且随后与用户简档数据库中的相应用户简档相关联。
60.此外，在校准阶段，可以采用多种基于图像的检测技术来获取与相应用户的拇指指甲和/或拇指相关联的其它物理属性。例如，在这一方面，基于图像的指甲检测技术可以用于基于描绘相应用户的拇指的(一个或多个)图像，确定指甲底部的中心点与拇指正面远端指节位置处的中间皱纹线的中心点之间的距离。更详细地，可以确定与相应用户的指甲
相关联的一个或多个图像描述符特征，然后将其用于确定指甲底部的中心点与拇指正面远端指节位置处的中间皱纹线的中心点之间的距离。在从多个图像确定多个图像描述符特征的情况下，可以选择多个图像中具有高确定度、高可靠性和/或高稳健性的多个图像描述符特征中的至少一个作为第一候选图像描述符特征，第一候选图像描述符特征是可以在随后所获取的包括相应用户拇指的图像中确定的图像描述符特征。附加地或替代地，多个图像描述符特征中的至少一个图像描述符特征可以由用户选择作为第一候选图像描述符特征。
61.还可以选择与用户手部的更多区别特征(例如手掌，手指侧面和/或手指指腹)相对应的第二候选图像描述符特征。第一候选图像描述符特征和/或第二候选图像描述符特征还可以用于校准先前所获取的物理属性(例如在初始化阶段所获取的物理属性，包括指甲底部的中心点与拇指正面远端指节位置处的中间皱纹线的中心点之间的距离)。
62.作为另一示例，在校准阶段期间，基于图像的边缘检测技术可以用于确定如上文所述和图3所示的物理属性31至35中的一个或多个。基于相应用户手部的(一个或多个)图像，可以检测(一个或多个)图像中与诸如手指侧面、指尖、指甲边界、手指远端指节位置处的皱纹等边缘特征相对应的图像像素。然后，与边缘特征相对应的图像像素可以用于确定以下至少一个或多个物理属性：拇指长度、拇指宽度、指甲底部的中心点与拇指正面远端指节位置处的中间皱纹线的中心点之间的距离、拇指指尖与拇指正面远端指节位置处的中间皱纹线之间的距离，以及拇指指尖与管背面远端指节位置处的中间皱纹线之间的距离。此外，基于边缘检测技术确定的物理属性可以用于校准和/或确认先前所获取的物理属性。
63.因此，提供了一种克服了现有的问题的用于执行基于图像的食物量估计的改进方法和装置。
64.还提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质具有包含在其中的计算机可读代码，计算机可读代码被配置为当在合适的计算机或处理器上执行时，使得计算机或处理器执行本文所述的一种或多种方法。因此，应当理解的是，本公开同样适用于计算机程序，特别是载体上或载体中的适于将本公开实施例投入实践的计算机程序。程序可以是源代码、目标代码、代码中间源和诸如部分编译形式的目标代码的形式，或者适合于在本文描述的根据实施例的方法的实施方式中使用的任何其它形式。
65.还应当理解的是，此类程序可以具有许多不同的架构设计。例如，实现所述方法或系统的功能的程序代码可以被细分为一个或多个子例程。功能在这些子例程之间的多种不同分布方式对于本领域技术人员来说将是明显的。子例程可以一起存储在一个可执行文件中以形成自包含程序。这种可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释器指令(例如java解释器指令)。替代地，子例程中的一个或多个或全部子例程可以存储在至少一个外部库文件中，并且例如在运行期间静态地或动态地与主程序链接。主程序包含对至少一个子例程的至少一个调用。子例程还可以包括对彼此的函数调用。
66.涉及计算机程序产品的一个实施例包括与本文阐述的方法中的至少一种方法的每个处理阶段相对应的计算机可执行指令。这些指令可以细分为子例程和/或存储在可静态或动态链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括与本文阐述的至少一种系统和/或产品的每个装置相对应的计算机可执行指令。这些指令可以细分为子例程和/或存储在可静态或动态链接的一个或多个文件中。
67.计算机程序的载体可以是能够携带该程序的任何实体或设备。例如，载体可以包
括数据存储器，诸如rom，例如cdrom或半导体rom，或者磁记录介质，例如硬盘。此外，载体可以是可传输载体，诸如电信号或光信号，其可以经由电缆或光缆或无线电或其它手段来传送。当程序包含在这种信号中时，载体可以由此类电缆或其它设备或装置构成。替代地，载体可以是嵌入程序的集成电路，该集成电路适于执行相关方法或在相关方法的执行中使用。
68.在实践所要求保护的发明的过程中，通过学习附图、公开内容及所附权利要求，本领域技术人员对于所公开实施例的变型是可以理解并实现的。在权利要求中，“包括”一词不排除其它元件或步骤，不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以满足权利要求中所述的多项功能。某些措施被记载在相互不同的从属权利要求中的事实不指示这些措施的组合不能被用于获得优势。计算机程序可以存储/分布在适当的介质上，例如与硬件一起提供或作为其它硬件一部分提供的光存储介质或固态介质，但是也可以以其它形式分布，例如经由因特网或其它有线或无线远程通信系统。权利要求中的任何附图标记不应理解为限制其范围。