一种多阶段的食品营养评估方法及系统

1.本发明涉及食品营养评估技术领域，特别是涉及一种多阶段的食品营养评估方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.目前，传统的食品营养评估方法，大多数是根据用户手动输入份量大小、食品类别，参考现有的食品营养数据库进行粗略估算。大量的移动应用程序如diawear、myfitnesspal等，利用智能手机与人工智能算法的可用性，定期记录用户的饮食。但是这些应用程序看似简单，实则繁琐，需要用户拍照，并且输入每餐每个食物类别的份量大小，然后粗略地计算每餐摄入的营养含量大小，过程复杂繁琐，容易出错，并且存在太多的外界因素影响营养含量估计的准确性。


技术实现要素：

4.为了解决上述问题，本发明提出了一种多阶段的食品营养评估方法及系统，对食品图像经过图像分割、识别获取食品种类信息；经过食品份量估计得到每种食品的质量；最后经营养含量的计算得到每种营养成分的总含量，以多阶段的方式进行预测，提高检测精度。
5.为了实现上述目的，本发明采用如下技术方案：
6.第一方面，本发明提供一种多阶段的食品营养评估方法，包括：
7.获取食品图像；
8.对食品图像进行分割，得到食品区域分割图；
9.对食品区域分割图内的食品进行种类识别，得到食品类别；
10.对每类食品估计食品体积，并根据食品类别确定食品密度，根据食品体积和食品密度得到每类食品的质量；
11.根据食品类别确定每类食品每克的营养成分含量，根据每类食品的质量得到每种营养成分的总含量。
12.作为可选择的实施方式，对食品图像进行分割的过程包括，将食品图像进行rgb特征和深度特征的提取；将提取到的四个层级的rgb特征和深度特征进行逐层级的特征融合，根据每层级的rgb特征、深度特征以及融合特征，得到融合特征图，对融合特征图经上采样得到食品区域分割图。
13.作为可选择的实施方式，对食品区域分割图内的食品进行种类识别的过程包括，将食品图像分割图经过卷积层、池化层进行特征提取后，经过全连接层进行种类分类，并将得的种类分类结果与真实值进行对比，采用损失函数得到损失值，通过不断迭代，得到最终的种类识别分类结果。
14.作为可选择的实施方式，对每类食品估计食品体积的过程包括，基于食品图像对食品表面进行建模，通过食品表面与盘子的距离估计食品体积。
15.作为可选择的实施方式，根据食品体积和食品密度得到每类食品的质量的过程包括，根据食品类别，在密度数据库中确定食品密度，将食品体积与食品密度相乘得到每类食品的质量。
16.作为可选择的实施方式，所述营养成分包括卡路里、脂肪、蛋白质以及碳水。
17.作为可选择的实施方式，在食品图像分割的过程中，使用iou指标进行评估；在食品种类识别的过程中，使用top-1准确度和top-5准确度进行评估；在营养成分含量预测的过程中，使用平均绝对误差和平均绝对误差的百分比进行评估。
18.第二方面，本发明提供一种多阶段的食品营养评估系统，包括：
19.获取模块，被配置为获取食品图像；
20.分割模块，被配置为对食品图像进行分割，得到食品区域分割图；
21.类别识别模块，被配置为对食品区域分割图内的食品进行种类识别，得到食品类别；
22.质量确定模块，被配置为对每类食品估计食品体积，并根据食品类别确定食品密度，根据食品体积和食品密度得到每类食品的质量；
23.营养含量确定模块，被配置为根据食品类别确定每类食品每克的营养成分含量，根据每类食品的质量得到每种营养成分的总含量。
24.第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
25.第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
26.与现有技术相比，本发明的有益效果为：
27.本发明提供一种多阶段的食品营养评估方法及系统，满足日常食品营养评估的需求，通过准确计算食品中的营养含量，可实现针对自身身体状况对饮食内容做出合理选择。同时解决了食品营养含量估计准确性欠佳、专业人员短缺等多方面的问题。
28.本发明提供一种多阶段的食品营养评估方法及系统，提出一种多阶段的食品营养评估结构，对食品图像经过图像分割、识别获取食品种类信息；经过食品份量估计得到每种食品的质量；最后经过营养含量的计算输出每种营养成分的总含量，如卡路里、质量、脂肪、蛋白质以及碳水等的含量。以多阶段的方式进行预测，在精度方面能够达到预测营养素含量的较高水平，满足用户对高效准确的营养评估方法的需求。且有效应对复杂环境下存在的各种干扰，增强对图像中食品营养含量检测的精度与鲁棒性，更好的适应现实生活中食品营养含量的检测。
29.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
30.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示
意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
31.图1为本发明实施例1提供的多阶段的食品营养评估方法流程图；
32.图2为本发明实施例1提供的食品分割示意图；
33.图3为本发明实施例1提供的训练过程中单次迭代的流程图。
具体实施方式
34.下面结合附图与实施例对本发明做进一步说明。
35.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
36.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
37.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
38.实施例1
39.本实施例提出一种多阶段、多任务的食品营养评估方法，通过食品分割、食品识别、食品份量估计以及营养成分含量计算的多阶段方法进行精准的营养评估。能够满足日常食品营养评估的需求，通过准确计算食品中的营养含量，让用户对饮食内容做出合理选择，同时也进一步解决了食品营养含量估计准确性欠佳、专业人员短缺等多方面的问题。如图1所示，具体包括以下步骤：
40.获取食品图像；
41.对食品图像进行分割，得到食品区域分割图；
42.对食品区域分割图内的食品进行种类识别，得到食品类别；
43.对每类食品估计食品体积，并根据食品类别确定食品密度，根据食品体积和食品密度得到每类食品的质量；
44.根据食品类别确定每类食品每克的营养成分含量，根据每类食品的质量得到每种营养成分的总含量。
45.在本实施例中，获取复杂环境中用餐者每餐的食品图像，并标注每餐食品图像中的食品类别、食品质量、营养成分、营养成分的含量，形成食品图像与营养成分含量、食品质量的一对一标注，方便后续模型进行训练和测试。
46.在本实施例中，基于resnet网络进行食品图像的分割，如图2所示，将食品图像经过resnet网络进行rgb特征和深度特征的提取；同时将提取到的四个层级的rgb特征和深度特征进行逐层级的特征融合；根据每层级的rgb特征、深度特征以及融合特征，得到融合特征图，将融合特征图经多次上采样得到食品区域分割图。
47.本实施例将食品图像以像素级的方式分割成多个食品区域，通过resnet网络输出食品区域的分割结果，为后续的体积估计、营养含量计算奠定基础。
48.在本实施例中，基于小样本分类器对食品区域分割图内的食品进行种类识别；
49.更进一步地，基于inception v3网络，将食品图像分割图经过卷积层、池化层进行特征提取得到特征图，经过全连接层进行种类分类，将预测的分类结果与真实值进行对比，使用损失函数计算得到损失值，然后通过梯度下降的方式将损失进行反向传播，更新分类模型参数，通过不断迭代，直到网络收敛，得到最终的种类分类结果。
50.在本实施例中，基于食品图像的深度图像进行体积估计，根据食品体积和食品密度得到食品质量。
51.更进一步地，基于食品图像对食品表面进行建模，结合深度图像获得深度信息，通过食品表面与盘子的距离高度估计食品体积；根据食品类别，在密度数据库中确定食品密度，将食品体积与食品密度相乘得到食品的质量。
52.在本实施例中，根据食品质量在食品营养数据库中确定每类食品每克所含有的营养成分含量，进而经过全连接层输出得到每餐食物所含有的每种营养成分的总含量；所述营养成分包括卡路里、脂肪、蛋白质以及碳水等的含量。
53.在本实施例中，还包括对食品图像分割、食品种类识别以及营养成分含量预测过程的评估；在食品图像分割的过程中，使用iou评估指标评价分割准确性；在食品种类识别的过程中，使用top-1准确度和top-5准确度评价识别准确性，该指标是指正确的食物类别出现的概率；在营养成分含量预测的过程中，使用平均绝对误差和平均绝对误差的百分比进行评估。
54.更进一步地，iou评估指标如公式(1)所示：
[0055][0056]
其中，a表示预测值，b表示真实值，iou的取值范围为(0，1)之间。
[0057]
更进一步地，平均绝对误差mae如公式(2)所示：
[0058][0059]
其中，是给定测试图像的i的预测值，yi是图像i的真实值。
[0060]
在本实施例中，采用平均绝对误差作为质量、卡路里以及常量营养素的回归损失，通过梯度反向传播算法进一步优化损失函数，加快网络的收敛速度。
[0061]
损失函数采用多损失函数，如公式(3)所示：
[0062]
l＝l
cls
l
se
＝l
cls
l
mask
ꢀꢀ
(3)
[0063]
其中，l为最终的总损失，l
cls
是分类的损失，l
mask
是交叉熵损失函数。
[0064]
通过计算损失函数，不断进行梯度反向传播更新模型参数，反复迭代并评估，得到最优模型，单次迭代网络的训练流程如图3所示，根据食品图像分割和食品类别识别的预测结果与真实值之间的损失，使用递归反向传播，更新参数，以得到最优结果。
[0065]
基于深度学习的营养含量预测方法分为多阶段食品营养评估，多阶段的食品营养评估包括食物识别、份量估计和营养预测三个阶段，多阶段的方法为基于视觉的食品营养含量的精准评估提供了可行性。因此，本实施例在保证效率的前提下提升准确度，结合用户的营养评估需求，提出准确度高、速度快、鲁棒性强、适应能力好的食品营养含量评估的新
方法。
[0066]
实施例2
[0067]
本实施例提供一种多阶段的食品营养评估系统，包括：
[0068]
获取模块，被配置为获取食品图像；
[0069]
分割模块，被配置为对食品图像进行分割，得到食品区域分割图；
[0070]
类别识别模块，被配置为对食品区域分割图内的食品进行种类识别，得到食品类别；
[0071]
质量确定模块，被配置为对每类食品估计食品体积，并根据食品类别确定食品密度，根据食品体积和食品密度得到每类食品的质量；
[0072]
营养含量确定模块，被配置为根据食品类别确定每类食品每克的营养成分含量，根据每类食品的质量得到每种营养成分的总含量。
[0073]
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0074]
在更多实施例中，还提供：
[0075]
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
[0076]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0077]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0078]
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
[0079]
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0080]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0081]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。