一种基于深度学习食物图像识别模型的营养管理方法及系统

1.本发明属于用餐食物图像数据处理领域，具体涉及一种基于深度学习食物图像识别模型的营养管理方法及系统。


背景技术：

2.随着生活水平的提高，人们越来越重视自己的身体健康，而身体的健康与人体每天摄入的食物息息相关，因此每天膳食的合理性对身体的健康有着重要的作用，而如何判断膳食合理性的关键在于摄入食物种类和量的准确估算。常用的膳食摄入信息获取工具包括称重法、膳食回顾和食物频率法(food frequency questionnaire，ffq)。称重法要求对每种食物用餐前后都进行称量，从而获得食物种类和份量的信息，该方法虽然准确，但费时、费力、可操作性不强，仅适用于小样本研究。膳食回顾是依靠受试者回忆过去较短时间内摄入的所有食物名称和份量，但是该方法的回顾时间不能太长(通常为24或72h)，否则容易遗忘，而且该方法反映的是短期，而不能长期的反映膳食摄入量；ffq可以在大样本中使用，能够反映较长时期内食物种类、摄入量和疾病之间的剂量依赖关系；但ffq的准确性同样依赖于受试者良好的记忆力和受教育程度，并且ffq评价膳食摄入量的误差可高达50％。因此，急需一种不仅能长时间反映用户摄入的营养信息，而且还能高效准确的评价膳食摄入量的营养管理方法。


技术实现要素：

3.为解决以上现有技术存在的问题，本发明提出了一种基于深度学习食物图像识别模型的营养管理方法，该方法包括：用户端获取用户待摄入食物的图像，将获取的食物图像输入到训练好的基于深度学习食物图像识别模型，得到不同种类的食物子图像；计算不同种类食物子图像中所含营养的量，将所有食物中的营养素进行累加，得到该用户各种营养素总摄入量；设置各种营养的摄入阈值，将计算出的各种营养素总摄入量与对应营养素摄入阈值进行对比，得到对比结果；根据对比结果调整摄入食物的种类和数量，完成营养管理。
4.优选的，对基于深度学习食物图像识别模型进行训练的过程包括：
5.步骤1：获取食物图像数据集，食物图像数据集中的图像包含不同食物的图像；
6.步骤2：对食物图像数据集中的数据进行预处理，并对预处理后的食物图像进行划分，得到训练集和测试集；
7.步骤3：采用目标区域检测算法将训练集中的图像分割成各个掩码；
8.步骤4：对各个掩码进行特征提取，得到各个掩码的全局特征和局部特征，并对每个特征进行个体特征通道分类；
9.步骤5：采用新的张量特征融合决策算法对通道分类后的全局特征和局部特征进行融合，得到目标框；
10.步骤6：根据目标框对图像进行分割，得到分割后的食物图像；将食物图像中不同
分属和不同食物的像素区域分开，完成食物图像普通分割；
11.步骤7：判断分割后的食物图像的种类是否相同，若相同，分类出每一块区域的语义，实现食物图像的语义分割，并标记出每种食物图像的类别；若不相同，则将分割后的食物图像作为输入，并返回步骤4；
12.步骤8：在语义分割的基础上，给每个食物图像编号，实现食物图像实例分割，输出分割后的图像集，完成食物识别。
13.进一步的，对食物图像数据集中的数据进行预处理包括对食物图像数据集中的图像进行消重、图像补全以及图像增强处理。
14.进一步的，采用目标区域检测算法检测算法将训练集中的图像分割成各个掩码的过程包括：
15.步骤1：对食物图像进行二值化处理，得到二值化图像；提取二值化图像中每个像素的3个通道值或1个通道值；
16.步骤2：提取食物图像轮廓类型，采用近似法存储提取的食物图像轮廓信息；轮廓信息中每个元素保存了一组由连续的食物图像点构成的点集向量，每一组食物图像点集表征一个轮廓，用作食物图像分类的特征；
17.步骤3：根据食物图像轮廓信息对食物图像进行分割，分割后的返回图像即为掩码。
18.进一步的，对各个掩码的全局特征和局部特征进行个体特征通道分类的过程包括：
19.步骤1：对每一张食物图像的全局信息进行仿射变换、特征提取，得到全局特征；
20.步骤2：对食物图像中的的各个区域进行特征提取，并将各个区域的局部特征进行融合，得到融合后的局部特征；特征提取的方式方式包括切片、食物分割信息以及网格。
21.步骤3：采用深度学习网络对融合全局特征和局部特征的个体特征通道进行分类。
22.进一步的，，采用新的张量特征融合决策算法对进行通道分类后的全局特征和局部特征进行融合包括：
23.步骤1：对输入的食物图像数据进行预处理，该预处理包括每个特征值减去特征均值，使得每个特征具有相同的零均值和方差；并用张量构建食物图像3个通道的数据结构；
24.步骤2：计算张量数据协方差矩阵，求出协方差矩阵的的特征值，并按从大到小排列，选取前k个特征值作为降维后的特征个数；
25.步骤3：根据张量数据的特征值提取前k个特征值对应的特征向量，从而把高维的特征张量转化为一个k维的特征矢量，该k维的特征矢量为降维融合后的特征向量。
26.一种基于深度学习食物图像识别模型的营养管理系统，该系统包括：用户端、云端以及服务器；
27.所述用户端用于获取用户的待摄入食物图像，并将获取的食物图片发送到云端；
28.所述云端用于对食物图片进行处理，得到该用户的各种营养素总摄入量；云端对食物图片进行处理包括将食物图片输入到基于深度学习食物图像识别模型中，得到不同种类的食物子图像；计算不同种类食物子图像中所含营养的量，将所有食物中的营养素进行累加，得到该用户各种营养素总摄入量；
29.所述服务器用于获取用户各种营养素总摄入量，并将用户各种营养素总摄入量与
各种营养的摄入阈值分别进行对比，根据对比结果生成食物调整方案，并将该方案发送到用户端。
30.为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述基于深度学习食物图像识别模型的营养管理方法。
31.为实现上述目的，本发明还提供一种基于深度学习食物图像识别模型的营养管理装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于深度学习食物图像识别模型的营养管理装置执行任一上述基于深度学习食物图像识别模型的营养管理方法。
32.本发明的有益效果：
33.该系统还可以将使用者上传的食物摄入信息通过服务器和其他数据集关联起来，得到能量、产能营养素比率是否处于适宜推荐量，最后将分析得到的数据反馈给使用者，从而促使使用者对膳食模式进行改进。应用该智能系统，能够在老年人群营养与慢性疾病的随访队列监测老年人群日常膳食摄入情况，并有助于进一步支持临床队列研究。
附图说明
34.图1为本发明的基于深度学习食物图像识别模型的营养管理方法示意图；
35.图2为本发明的图像分割流程图；
36.图3为本发明的食物图像分割识别结果图；
37.图4为本发明的食物图像分割系统编码示意图；
38.图5为本发明的食物图像分类流程图；
39.图6为本发明的图像识别系统流程。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.一种基于深度学习食物图像识别模型的营养管理方法，该方法包括：包括：用户端获取用户待摄入食物的图像，将获取的食物图像输入到训练好的基于深度学习食物图像识别模型，得到不同种类的食物子图像；计算不同种类食物子图像中所含营养的量，将所有食物中的营养素进行累加，得到该用户各种营养素总摄入量；设置各种营养的摄入阈值，将计算出的各种营养素总摄入量与对应营养素摄入阈值进行对比，得到对比结果；根据对比结果调整摄入食物的种类和数量，完成营养管理。
42.一种基于深度学习食物图像识别模型的营养管理方法的具体实施方式，该方法包括对食物图像分别进行分割、营养成分分析和基于医生建议指南比对和饮食推荐。营养成分识别过程中，得到图像得各个营养的比率p％，用户输入食物总重量m，根据营养的比率和食物总重量可计算各种成分的总量，即：mp％。饮食推荐根据医生建议指南与计算得出的理论摄入总成分做对比，得出建议应多摄入的食物。具体步骤包括：
43.步骤s11：根据用户提供的用餐图片，将食物归类、计算每类食物所含营养素的量。
44.步骤s12：将所有食物中的营养素累加，计算24小时各种营养素总摄入量。
45.步骤s13：将计算结果与“中国居民膳食中营养素参考摄入量”中同年龄、同性别、同劳动力强度人群的水平比较，评价营养素摄入水平，给出营养推荐。
46.计算各种营养素总摄入量的公式为：
[0047][0048]
其中x＝100g食品中某营养素的含量；rni食物营养素推荐摄入量或食物营养素适宜摄入量。nrv的含义为100g食品中营养素的含量占该营养素每日摄入量的比例。该对比存在理论容错范围，营养成分超出或者少于在一定范围内认为饮食合理。
[0049]
步骤s14：营养成分识别过程中，得到图像得各个营养的比率p％，用户输入食物总重量m，可计算各种成分的总量＝mp％。饮食推荐根据医生建议指南与计算得出的理论摄入总成分做对比，得出建议多摄入的食物max{(q-p),0}。
[0050]
步骤s15：饮食推荐依据图像识别系统计算所得总量与医生建议指南(q％)比对得出建议多摄入的食物max{(q-p),0}，并提供基于深度学习膳食评估报告。
[0051]
本发明的一个重要部分是提供食物图像分割流程，使用到图像识别技术：即模式识别技术在图像领域中的具体应用。本实施例对此进行进一步说明。
[0052]
步骤s21：食物图像分割与校准，模糊图像处理。
[0053]
步骤s22：作为一个多分类问题，对进行分割校准后的图像进行多类别图像分类，提取食物图片中的食物种类。这里采样基于阈值分割、基于区域分割、基于边缘分割与基于特定理论分割相结合的方法。
[0054]
步骤s23：特征提取和分类。对输入的图像信息建立图像识别模型，分析并提取图像特征，然后建立分类器，根据提取的特征，使用深度学习模型，根据图像特征进行分类识别。
[0055]
步骤s24：判别分类器的准确度是否有提升。如果结果为是，则返回多假设图像；进一步特征提取和分类；
[0056]
步骤s25：如果结果为否，则输出最终结果(图像分类的类别)。
[0057]
本发明的一个重要特征是图像分割模型训练和测试，如图3所示。本实施例对此进行进一步说明。
[0058]
步骤301：在所构建的分类系统中，lg是基于整张图像提取特征的通道，ll是基于局部图像块提取特征的通道。f'(.)相当于训练特征集，f(.)相当于图像的特征。
[0059]
步骤302：图像输入后进行分割，基于整张图像的特征抽取出lg，基于局部图象块的特征抽取出ll。
[0060]
步骤303：使用张量特征融合决策算法对通道分类后的全局特征和局部特征进行融合，得到目标框，再判断分割的准确度是否有提升，若有就重新分割，若无就输出。
[0061]
本发明的一个重要部分是食物图像分割系统示例，如图4所示。本实施例对此进行进一步说明。
[0062]
步骤401：使用图像分割模型，定位各种食品；
[0063]
步骤402：食物图像分割与校准，模糊图像处理、干扰处理等；校准过程将两两具有
公共部分的一组食物图像通过变换合成到同一个食物图像。
[0064]
步骤403：分辨图片中的食物的食材，识别出各种食品的类别；
[0065]
步骤404：通过图片确定不同食材的体积和重量等统计指标，验证模型的假设。这些统计指标的具体过程为：因图片具有可伸缩性，难以直接根据尺寸确定这些统计量，而采用图像确定食物分割后的占比(％)，并已主食的重量(常用的重量如100g或用餐人手动输入重量)，后续根据比例计算和推理体积，查找对应食物的密度数据，从而推理出对应的重量。
[0066]
实施例5本发明的一个重要部分是食物图像分割系统编码。本实施例对此进行进一步说明。
[0067]
步骤501：分割方法通过目标区域(regions of interest,roi)检测将图像分割成各个掩码；输入食物图像(矩阵)，二值化图像，提取每个像素的3个值(红、绿、蓝)或1个值(黑或白色)；
[0068]
步骤502：全局特征和局部特征提取，提取食物图像轮廓类型，检测轮廓但不建立层级关系；用处理近似方法保存轮廓信息；例如一个矩阵轮廓用4个点保存。
[0069]
步骤503：传到分类器并得到反馈；将输出掩码传递到分类器，让分类器来学习和反馈数据集中食物图像类别标签，得到最终掩码食物图像分割的返回的图像即为掩码，与原始食物图像大小相同，但每个像素用一个布尔值来指示对象是否存在。
[0070]
实施例6本实施例提出一种用餐图像分割建模，包括以下步骤：
[0071]
601、基于图像分割聚焦机制下的卷积神经网络。使网络对关键区域加强聚焦，提高图像的可区分性语义特征的提取能力。
[0072]
602、将加权机制引入到中图像识别领域中，提出一种基于食物图像像素级加权机制densenet。在这种densenet中，每个层从前面的所有层获得一个额外的输入，并将该层的特征映射传递到后续的所有层。食物图像densenet使用级联方式，每一层都在接受来自先前层级的先验信息，提高网络的可区分性语义特征的提取能力，从而提高识别精度。
[0073]
603、使用图像分割机制，完成深度学习，输出图片中的食物的食材，识别出各种食品的类别。用餐图像分割深度学习模型推理得到食物种类后，根据主食标准体积和重量(参照)或用餐人手工输入重量(新标记)，根据几何空间估算其他事物品类的体积，结合各类食物的本体知识(如密度)而估算对应重量。根据热量预测方法，可进一步对目标食物进行热量预测(卡路里)。该过程中，图像的角度(俯视和侧视等)影响体积计算的复杂度。同时，可搜集各类食物图像，利用人工对每张图像所包含相应的食物进行标记，包括类别标签、体积、质量记录以及特定的校准参考。在参照方面，还可以标准的碗、盘的尺寸为参考，提取食物轮廓和体积。
[0074]
实施例7本实施例提出一种图像识别系统流程，包括以下步骤：
[0075]
701、通过手机摄像等方式将食物转化为图片，再通过数据模型得到食物种类、体积、分量和加工方式等数据，将得到的数据放入学习模型进一步优化算法。
[0076]
702、通过服务器和其他数据集关联起来，得到能量、产能营养素比率等是否处于适宜范围，最后将分析得到的数据反馈给使用者并给出相应的膳食建议。
[0077]
703、图像分割，根据每种食物在图片中所占像素与所有食物所占像素的比值得出该食物在整个套餐中所占比重。通过与相关数据库关联(如中国食物成分表)，得到各食物
所含营养成分，再与在套餐中的占比的乘积之和得出该套餐每100g各成分的含量。根据与用户输入食物总重量m的乘积得出各个食物总摄取量，通过计算可以获得总的营养成分。
[0078]
704、通过真实食物数据并优化算法，做到食物分类和体积/量估算精确度均达到或超过75％。
[0079]
705、具体的热量-营养成分估算方法流程为：首先将同种类别食物的不同规格图像[顶视图(top view)或侧视图(side view)]作为输入(image acquisition)，每个图像包含用于估计图像比例因子的校准对象和定位；再通过深度学习网络的目标检测网络来对食物进行检测(object detection)和目标分割(image segmentation)；之后通过特定的食物分割算法和参照标准，推导每种食物的体积(volume estimation)；最后根据该类别食物的密度估算出该种食物的热量(calorie estimation)，以及摄入的各种成分的占比(％)和重量。
[0080]
在本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述基于深度学习食物图像识别模型的营养管理方法。
[0081]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0082]
一种基于深度学习食物图像识别模型的营养管理装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于深度学习食物图像识别模型的营养管理装置执行任一上述基于深度学习食物图像识别模型的营养管理方法。
[0083]
具体地，所述存储器包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0084]
优选地，所述处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0085]
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。