一种基于多模态大模型的食品营养成分评估方法及系统与流程

摘要: 本发明涉及食品营养成分评估,尤其涉及一种基于多模态大模型的食品营养成分评估方法及系统。背景技术:1、随着人们健康意识的提升,对食品营养成分的精准评估需求日益增长...
一种基于多模态大模型的食品营养成分评估方法及系统与流程

本发明涉及食品营养成分评估,尤其涉及一种基于多模态大模型的食品营养成分评估方法及系统。

背景技术:

1、随着人们健康意识的提升,对食品营养成分的精准评估需求日益增长。传统的营养成分评估方法主要依赖于食品包装上的营养标签或查询标准食物成分数据库,然而这些方式存在显著局限性。

2、经检索,中国专利申请号为202511114731.3的专利,公开了一种基于多模态大模型的食品营养成分含量智能评估方法、系统、终端及存储介质,所述方法包括:获取多模态数据并进行预处理,得到目标多模态数据;采用预训练的多模态大模型对目标多模态数据进行特征提取、特征对齐和特征融合,得到多模态融合特征;当出现新食品类型时,通过增量学习与记忆增强机制更新中间深度学习模型的参数,得到目标深度学习模型;将多模态融合特征输入至目标深度学习模型中,输出营养成分含量评估结果。

3、上述专利中的一种基于多模态大模型的食品营养成分含量智能评估方法、系统、终端及存储介质存在以下不足:其主要依赖增量学习、记忆增强对深度学习模型参数做梯度更新来适应新食品,缺少深度图体积、称重等物理传感数据对大模型估算做因果校验,无法克服复杂食品中视觉估算偏差大、评估不准的缺陷。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点,而提出一种基于多模态大模型的食品营养成分评估方法及系统。

2、为了实现上述目的,本发明采用了如下技术方案:

3、一种基于多模态大模型的食品营养成分评估方法,包括以下步骤:

4、s1:获取待评估食品的原始多模态数据,所述原始多模态数据包括食品图像数据、包装文本数据及语音描述数据;将所述原始多模态数据与预设的提示词进行组合,构建多模态输入序列;

5、s2:将所述多模态输入序列输入至预训练的生成式多模态大模型,利用所述生成式多模态大模型的对齐能力,同步生成自然语言评估报告与机器可读的结构化感知结果;

6、s3:结合采集的物理传感数据,对结构化感知结果执行基于营养知识图谱的因果校验,并根据校验结果对初始估算值进行修正,输出最终的营养成分报告;

7、s4:将所述最终的营养成分报告转化为结构化数据,并结合所述自然语言评估报告进行可视化展示。

8、作为本发明再进一步的方案:所述s1中的提示词构建引入思维链引导策略,强制模型在输出最终数值前执行多源物理数据采集步骤,包括:

9、s11:基于餐前与餐后rgb图像的差分对比,识别消费区域并生成对应食材的区域掩码;

10、s12:利用深度图像还原被消费区域的立体形态,结合称重传感器获取的总重量减少值,分配确定每种食材被消费的确切质量;

11、s13:利用近红外光谱数据反推食材的水分含量与脂肪占比,校正质量数据与热量计算系数;

12、s14:调用营养知识图谱,依据食材名称与校正后的消费质量检索营养成分数据,并进行逻辑校验。

13、作为本发明再进一步的方案:所述s2中的双通路并行解码头包括:

14、第一通路:输出涵盖热量、蛋白质、脂肪、碳水化合物及钠含量的自然语言评估报告,并生成基于视觉特征解释的链式推理过程;

15、第二通路:输出机器可读数据,包括菜品级实例掩码的多边形坐标序列、各食材成分的语义标签及对应置信度,作为标准api接口传递至物理校验模块。

16、作为本发明再进一步的方案:所述s2中的基于营养知识图谱的因果校验具体包括:

17、利用深度图计算实例掩码的三维体积,结合食材密度计算理论质量,并与称重分配值比对,偏差超限时触发告警并采信物理测量值;

18、对比光谱反演的脂肪/水分含量与语义标签,若存在冲突,动态调整视觉纹理估算权重与光谱反演权重,实现跨模态自纠错;

19、通过知识图谱验证各食材质量与总称重、单位热量与总热量的计算关系是否符合物理规律。

20、作为本发明再进一步的方案:所述s3中的在线学习机制无需梯度更新,通过检索增强生成(rag)策略,将历史修正示例作为上下文示例动态注入当前提示词前端,以适应模型评估偏差或新型食品。

21、作为本发明再进一步的方案:所述s4中的前端交互界面将结构化json营养数据、自然语言链式推理文本与原始食品图像进行多模态融合渲染,通过营养成分环形图直观展示营养素占比,并以对话流形式透明呈现模型推理路径,实现评估结果的可视化与可解释化展示。

22、一种基于多模态大模型的食品营养成分评估系统,包括:

23、多模态数据采集模块,包括多维图像获取单元、物理传感单元及文本与语音交互单元;

24、多模态大模型推理引擎,基于预训练的生成式多模态大模型构建,配置为执行特征融合、双通路解码及基于知识图谱的因果校验;

25、自适应在线学习模块,配置为收集用户反馈,构建演示示例存储库,并通过向量检索实现提示词的动态优化。

26、作为本发明再进一步的方案:所述多维图像获取单元包括rgb-d深度相机和高光谱或近红外光谱仪;所述物理传感单元包括智能称重托盘;所述文本与语音交互单元集成ocr技术与asr技术。

27、作为本发明再进一步的方案:所述多模态大模型推理引擎进一步配置为:

28、基于预训练的生成式多模态大模型(如llama3-v架构)构建;

29、利用视觉编码器将输入的rgb图像块与深度图投影特征转化为嵌入向量。

30、作为本发明再进一步的方案:所述自适应在线学习模块其中包括:

31、人机交互修正接口:提供界面供用户对模型的初步评估结果进行人工修正;

32、演示示例存储库:将“原始多模态输入”、“模型初始输出”与“人工修正后的数值”汇总为高质量演示示例,存储至向量数据库。

33、与现有技术相比,本发明提供了一种基于多模态大模型的食品营养成分评估方法及系统,具备以下有益效果:

34、1.通过结合深度图计算体积、称重传感器获取质量以及近红外光谱反演成分,系统能够利用物理传感数据对大模型的视觉估算结果进行逻辑验证,有效解决了复杂烹饪场景下食材密度变化大、外观与成分不符导致的估算偏差问题,提高了营养成分评估的准确性。

35、2.基于向量数据库检索的在线学习机制,解决了传统大模型针对特定场景微调成本高、周期长的问题;通过接收用户对评估结果的人工修正,在后续评估同类食品时,通过语义检索动态召回相似示例并注入提示词前端,使模型无需进行梯度更新即可快速适应新型食品或特定用户的饮食习惯。

36、4.在营养精算阶段引入了精细化的动态修正策略,不仅利用称重数据与掩码面积占比重新分配各食材的消费质量,还针对烹饪过程导致的水分变化,利用光谱数据动态修正可食用部分比例系数,剔除水分对干物质营养的稀释影响,综合考量模型置信度与物理测量误差,使得最终输出的营养报告更接近人体实际吸收情况。

37、该装置中未涉及部分均与现有技术相同或可采用现有技术加以实现,本发明结构简单,操作方便。