基于多模态及自调节技术的用户饮食采集推荐方法与流程

摘要: 本发明属于信息推荐领域,尤其是涉及基于多模态及自调节技术的用户饮食采集推荐方法。背景技术:1、现有饮食消费数据采集方式主要包括纸质或电子问卷、人工回忆填报、电话...
基于多模态及自调节技术的用户饮食采集推荐方法与流程

本发明属于信息推荐领域,尤其是涉及基于多模态及自调节技术的用户饮食采集推荐方法。

背景技术:

1、现有饮食消费数据采集方式主要包括纸质或电子问卷、人工回忆填报、电话访谈、线下登记以及饮食记录应用程序中的手动录入方式。

2、在手动录入方式中,用户通常需要逐项填写菜品名称、菜品分类、食材、调味料、餐厅名称、品牌名称、饮品类型、规格、数量等字段。对于外卖、堂食、自制餐食、预包装商品、现制饮品和自制饮品等不同类型的饮食内容,用户还需要自行判断所属类型,并进入对应的信息填写流程。

3、现有采集方式至少存在以下问题:

4、用户需要依赖主观记忆填写饮食内容,容易产生遗漏、误填或记忆偏差;用户需要在预设分类体系中逐级查找商品类别,而分类体系的分类路径通常与用户的日常认知方式不一致,用户难以快速定位对应分类;不同饮食内容对应不同字段和录入分支,用户需要理解各分支的填写规则,操作负担较大;当用户输入的信息无法与平台数据库匹配时,通常需要中断当前流程并补充品牌、条码、规格或制作方式等信息;现有系统难以统一处理菜品照片、小票照片、语音描述和文字描述等不同形式的输入信息;

5、现有饮食采集记录通常仅记录单次使用行为,未能与用户既有的商品购买记录建立关联,难以形成购买行为与使用行为之间的数据关联;现有系统对于用户持续修改的识别结果缺少可利用的学习机制,无法基于用户修正记录持续更新分类规则、提示词规则或模型参数;在自制餐食场景中,现有系统通常难以将菜品、食材、调味品及其对应的品牌商品进行关联,尤其难以记录基础调味品在具体菜品和烹饪方式中的使用情况。

技术实现思路

1、有鉴于此,本发明旨在提出基于多模态及自调节技术的用户饮食采集推荐方法,以期解决上述部分技术问题中的至少之一。

2、为达到上述目的,本发明的技术方案是这样实现的:

3、基于多模态及自调节技术的用户饮食采集推荐方法,包括:

4、获取用户针对一次饮食记录提交的图像、小票、语音或文字输入,并调取该用户预设周期内的历史购买数据及dicc产品字典库;

5、对所述输入进行预处理,得到带来源标识的统一描述信息;

6、根据统一描述信息生成包含场景标签、候选食品实体和分类规则的模型输入,识别饮食场景、商品类型及候选商品信息;

7、将候选商品信息与历史购买数据和dicc产品字典库匹配,生成待确认记录;

8、接收用户对待确认记录的确认或修改,将确认后的记录标准化入库,并根据入库数据进行饮食推荐。

9、进一步的,对所述输入进行预处理包括:

10、对图像输入进行尺寸压缩、方向校正和清晰度增强;

11、对小票输入进行文字识别并提取商品名称、数量、价格或品牌字段;

12、对语音输入进行语音转写并提取饮食实体;

13、对文字输入保留原始文本;

14、将各输入对应的预处理结果按照来源模态添加标识后拼接为所述统一描述信息。

15、进一步的,生成所述模型输入包括:

16、从统一描述信息中提取场景标签、候选食品实体、品牌词、规格词和来源模态标识;

17、依据场景标签在dicc产品字典库中检索分类分支和候选sku;

18、将分类分支、候选sku、同义词规则、禁配规则、字段定义和输出结构约束拼接为提示词;

19、将所述提示词与统一描述信息组合作为模型输入。

20、进一步的,识别饮食场景、商品类型及候选商品信息包括:

21、将所述模型输入发送至多模态识别模型或大语言模型;

22、接收模型输出的结构化结果;

23、对结构化结果进行格式校验、必填字段校验、分类编码校验和类型字段一致性校验;

24、根据校验结果为结构化结果中的字段添加自动填充、待确认或未识别标记,得到所述候选商品信息。

25、进一步的,将候选商品信息与历史购买数据和dicc产品字典库匹配包括:

26、根据候选商品信息中的商品名称、品牌、规格、条码、分类编码或场景标签,在历史购买数据中检索对应商品;

27、将检索结果按照购买时间排序形成历史候选项;

28、当历史候选项不存在或未被选择时,在dicc产品字典库中进行条码匹配、关键词检索或分类路径匹配;

29、根据匹配得到的历史候选项或字典候选项生成所述待确认记录。

30、进一步的,识别饮食场景后,根据饮食场景确定识别粒度和后续询问字段;

31、当饮食场景为在家场景时,将候选商品信息拆分为菜品、食材和调味品,并将食材和调味品与历史候选项或字典候选项关联;

32、当饮食场景为餐厅或外卖场景时,将候选商品信息关联至餐厅信息、菜品信息或订单信息;

33、当候选商品信息为包装商品时,将其关联至sku、品牌和规格字段。

34、进一步的,生成待确认记录后,在用户终端展示确认界面;

35、所述确认界面根据饮食场景和商品类型动态显示对应字段组并隐藏无关字段;

36、接收用户对全部待确认记录的一次性确认指令,或接收用户对单个字段的修改指令;

37、当接收到修改指令时,以修改后的字段值覆盖对应的模型输出字段值,并保留修改前后的字段差异。

38、进一步的,将确认后的记录标准化入库包括:

39、对确认后的商品名称、分类编码、计量单位、数量、场景标签、用户标识、记录时间、来源模态标识、历史购买关联标识和dicc关联标识进行标准化处理;

40、基于标准化后的字段生成饮食使用记录;

41、将饮食使用记录与对应的历史购买数据建立关联关系后存入饮食采集数据库。

42、进一步的,还包括模型优化流程:

43、采集用户修改前的模型输出、用户修改后的字段值、原始输入和字段差异,形成修正样本;

44、对修正样本进行清洗和聚合;

45、根据清洗后的修正样本更新别名词典、分类映射规则、场景判定规则或提示词样例;

46、在更新后的规则或模型参数上线前,基于标注样本进行识别结果验证,并在验证通过后启用更新后的规则或模型参数。

47、进一步的,还包括版本管理流程:

48、分别为问卷流程、提示词和标注规则建立版本号;

49、在每次更新别名词典、分类映射规则、场景判定规则、提示词样例或模型参数时,记录更新内容、测试样本、验证结果和发布时间;

50、按照内测、公测和正式发布的顺序发布对应版本;

51、当正式发布版本的运行结果不满足预设条件时,将问卷流程、提示词或标注规则回退至已记录的上一版本。

52、相对于现有技术,本发明具有以下有益效果:

53、1、将图像、小票、语音和文字等不同输入形式转换为统一描述信息,并基于统一描述信息进行饮食内容识别;

54、2、基于dicc产品字典库中的分类分支、候选sku、别名规则和分类规则构造模型输入,使模型输出可对应至平台分类编码和商品信息;

55、3、将用户历史购买数据用于候选商品匹配和排序,使用户能够在已购买商品范围内确认食材、调味品、包装商品或饮品;

56、4、根据饮食场景和商品类型动态确定识别粒度及确认字段,支持自制餐食、餐厅就餐、外卖、包装商品、现制饮品和自制饮品等饮食内容的记录;

57、5、通过模型预填、用户确认和局部修改的交互方式完成记录,用户修改字段时无需重新执行模型识别;

58、6、将用户修正记录转换为修正样本,用于更新别名词典、分类映射规则、提示词样例或模型参数,形成识别、确认、修正和优化的闭环;

59、7、将饮食使用记录与历史购买数据关联,使饮食记录中关于菜品、食材、调味品、包装商品及饮品的使用信息能够与购买信息共同存储。