一种基于多元感知的智能烹饪熟度检测方法

摘要: 本发明属于智能烹饪与食品检测,涉及一种基于多元感知的智能烹饪熟度检测方法。背景技术:1、随着智能家居与食品工业自动化的发展,智能烹饪设备在家庭厨房、连锁餐饮及中...
一种基于多元感知的智能烹饪熟度检测方法

本发明属于智能烹饪与食品检测,涉及一种基于多元感知的智能烹饪熟度检测方法。

背景技术:

1、随着智能家居与食品工业自动化的发展,智能烹饪设备在家庭厨房、连锁餐饮及中央厨房中得到广泛应用。这类设备通常依赖预设的电子食谱与固定时序程序进行菜肴制作,虽简化了操作流程,实现了基础的烹饪自动化,但在应对烹饪过程的动态复杂性方面仍存在显著不足。

2、当前,以智能微波炉为代表的现代烹饪设备已具备温控精准、程序可调、支持联网与远程控制等功能,部分高端烹饪设备还可通过内置摄像头或简单传感器实现有限的食物状态监测。然而,这些设备大多仍遵循时间和温度预设程序的控制逻辑,缺乏对食材在烹饪过程中实际物理状态与化学成分变化的实时、多维度感知能力,无法根据食物真实熟度进行动态调整,因此在应对不同食材初始状态、环境湿度、设备功率波动等实际变量时,仍难以保证烹饪结果的一致性、风味层次与质地口感的最优化。

3、烹饪过程本质上是食材受热后发生一系列物理变化(如水分蒸发、蛋白质变性)与化学变化(如美拉德反应、脂质氧化)的动态过程。食材的初始状态、环境条件以及设备本身的微小波动,都会导致实际烹饪轨迹偏离预设程序。现有的固定流程因缺乏对食材实时状态的感知与反馈调节能力,难以根据真实熟度进行动态调整,这不仅是许多智能设备无法复现传统烹饪中“锅气”与风味层次的关键原因,也直接影响了菜肴口感、质地与品质的一致性,成为制约智能烹饪技术向高端化、精准化发展的瓶颈。

4、目前,已有研究尝试采用单一传感技术进行烹饪监测。例如,专利cn113974420a公开了一种基于红外热成像的智能烹饪设备控制方法,通过采集并拼接多个热力图像以获取锅内温度分布,但其仅依赖红外视觉信息,未结合气味或色泽等多维特征,难以全面评估食材熟度;专利cn108742170a提出了一种基于计算机视觉的烤箱智能识别系统,通过图像分析识别肉类种类、厚度与肥瘦程度,并辅以温度传感器监测烹饪过程,但其视觉系统受限于封闭烤箱环境,且未整合气味等化学变化信息,难以适应开放式烹饪场景下的熟度判断;专利cn111820711a则公开了一种多锅联动的智能炒菜装置及方法,通过多个独立炒锅分阶段处理不同食材并最终混合,但其控制逻辑主要依赖预设的菜谱程序与温度传感器反馈,缺乏对食材实时色泽、纹理、内部成分及气味等多维度状态的综合感知,无法根据烹饪进程中食材的真实、多维熟度状态进行动态调整与精准控制。上述专利虽在特定维度上实现了有效监测,但均未实现视觉、温度与气味等多模态信息的深度融合,难以适应烹饪过程中食材状态的多维度、动态变化,无法满足对食物熟度进行全面、实时、精准评估的需求。

5、因此,现有技术中存在以下问题:智能烹饪设备缺乏对烹饪过程中食材多维熟度状态的实时、精准感知能力;基于单一传感信息的熟度判断方法存在局限性和不稳定性;现有的多传感器数据融合方法未能全面覆盖影响熟度的关键内外在因素(如表观色泽纹理、温度分布、内部成分结构、挥发性气味),且融合策略未能充分利用深度学习等先进技术以自适应地优化特征提取与融合过程,导致模型泛化能力不足、预测精度有待提高。

6、因此,开发一种能够综合利用视觉、温度、成分与气味等多源信息,并通过先进数据融合机制实现对烹饪熟度实时、精准、无损检测的方法,对于推动智能烹饪设备的感知与控制水平具有重要意义。本研究以煎制鸡蛋饼这一典型烹饪过程为具体研究对象,旨在建立一套通用的多元感知与智能识别方法框架,为智能烹饪的精准控制提供核心技术支撑。

技术实现思路

1、本发明的目的在于克服现有智能烹饪设备感知维度单一、无法根据食材实时状态进行动态调整的技术缺陷,设计一种基于多元感知的智能烹饪熟度检测方法。该方法以鸡蛋饼煎制过程为典型应用场景,通过构建多模态感知系统、设计阶段划分策略、设计针对性的深度特征提取网络以及设计动态自适应特征融合机制,实现对烹饪熟度的高精度识别,为智能烹饪的闭环反馈控制提供核心技术。

2、本发明的技术方案:

3、一种基于多元感知的智能烹饪熟度检测方法,步骤如下:

4、步骤1:设计并构建多模态协同感知系统,实现烹饪状态全维度数据采集;

5、多模态协同感知系统,包括可见视觉感知模块、温度感知模块、高光谱感知模块和电子鼻感知模块;

6、可见视觉感知模块采用工业相机,通过可调万向节与支架连接,使其垂直悬置于被测样品上方;

7、温度感知模块采用红外热成像仪,固定于烹饪区右侧上方,使红外热成像仪的光轴与竖直方向呈40°夹角倾斜朝向烹饪的中心区域,并保证食物所在区域完整处于其检测视场范围内;

8、高光谱感知模块集成高光谱相机与匀光光源,安装于支架上,通过支架上的导轨滑台调整高光谱相机的焦距;

9、电子鼻感知模块包括气室、进气孔、气泵、arduino控制单元、出气孔和面包板放置位;气室内部包括进气软管、气敏传感器、出气软管和挡板,其外部由四块围板包围形成的长方体装置;进气孔与出气孔分别贯穿开设于两侧相对的围板上;arduino控制单元用于采集并处理气敏传感器输出的电信号;面包板放置位用于布置传感器接口电路及导线连接结构;气室为气密性封闭的扁平腔体,且扁平腔体的内部中心沿气流轴向纵向固定有条形挡板,条形挡板将扁平腔体的内部空间横向分隔为双侧对称的导流分流通道,以构成仿生鼻腔式导流分流结构;多个气敏传感器对称交错分布于条形挡板的两侧壁面及导流分流通道的内壁上;扁平腔体的轴向两端分别通过进气软管和出气软管连通至进气孔和出气孔,其中进气软管与气泵连接,用以驱动待测气体经由进气孔引入后,在条形挡板的阻挡分流下,沿双侧对称的导流分流通道均匀扩散并充分流经各气敏传感器,最后经由出气孔排出;

10、可见视觉感知模块、温度感知模块、高光谱感知模块和电子鼻感知模块通过线缆与计算机相连;计算机通过发送统一的硬件触发脉冲,同步可见视觉感知模块、温度感知模块、高光谱感知模块和电子鼻感知模块的采集动作,构建在时间上完全对应的图像、温度矩阵、光谱反射率曲线与气味信号组成的多模态融合数据集;进一步地,该多模态协同感知系统具有模块化、可移植的结构特性,各感知模块可根据实际设备的内部空间与结构需求进行柔性部署,从而能够便捷地嵌入至微波炉、烤箱、超过等各类烹饪设备中,实现工程化应用。

11、步骤2:设计基于数据驱动的熟度阶段自适应划分;

12、设计基于数据驱动的熟度阶段自适应划分,以表征食材由初始状态向目标熟度状态演变的动态过程;步骤1采集得到的温度矩阵,采用一种面向烹饪熟度阶段识别而改进的pelt变点检测算法,对温度变化趋势中的变点进行识别,并将变点作为熟度阶段的分界位置;在变点识别过程中,通过建立候选分段方案评价过程对产生的各候选变点进行约束筛选,以计算并输出温度时序数据的初始最优分段方案及各候选变点位置;

13、改进的pelt变点检测算法如下:

14、设温度时序序列为:

15、

16、其中,表示第n个采样时刻对应的温度矩阵的温度值;首先,在其分段代价函数中联合引入阶段平均温度、温度变化斜率及温度波动强度,对于任意候选分段区间],其分段代价函数定义为:

17、

18、其中,表示第i阶段的平均温度,表示第i阶段温度变化斜率,表示第i阶段温度波动强度,和为权重系数;

19、其次,在最优分段目标函数中设置与局部温度变化特征相关的自适应惩罚项,整个温度时序的最优分段目标函数表示为:

20、

21、其中,,,m表示变点个数,表示惩罚项函数;

22、为避免由局部温度扰动造成伪变点,在变点搜索过程中引入最小阶段持续时间约束,使相邻两个变点之间满足最小阶段持续时间约束:

23、

24、其中,为预设的最小阶段持续长度,以限制相邻变点之间的最小时间间隔;进一步地,为保证相邻熟度阶段具有明确的熟度区分度,在候选分段方案评价过程中引入阶段可分辨性约束,使相邻熟度阶段满足阶段可分辨性约束:

25、

26、其中,δ为相邻熟度阶段平均温度差异阈值,使相邻熟度阶段在温度特征上达到预设差异条件;

27、基于改进的pelt变点检测算法,获得温度时序序列的初始最优分段方案及各变点位置后,进一步采用t检验对相邻熟度阶段的温度时序序列进行显著性差异分析,通过计算相邻熟度阶段的t统计量及其对应p值,并与预设显著性水平进行比较,以验证相邻熟度阶段是否具有统计学显著差异;当相邻熟度阶段之间的差异未达到显著性要求时,对对应分段边界进行合并或修正,剔除不具有显著区分度的无效分段;最终,将经改进的pelt变点检测算法与t检验共同确认的温度区间定义为对应熟度阶段,实现对整个烹饪过程熟度阶段的自适应划分;并以划分得到的各个熟度阶段作为熟度标签映射至步骤1中采集的多模态融合数据集中,用以为后续的模型训练提供带熟度标签的训练数据集;

28、步骤3:设计多元数据特征提取网络;

29、多元数据特征提取网络,采用四个并联的特征提取子模块,分别为可见视觉特征提取模块、温度特征提取模块、电子鼻特征提取模块和高光谱特征提取模块,分别针对步骤1采集的四种模态数据的结构特点进行特征提取,并通过各自末尾的全局平均池化层将提取的高维特征统一降维至128维的特征向量;

30、可见视觉特征提取模块为基于resnet18-2d-cnn的多尺度空间增强视觉特征提取结构,保留二维卷积和残差主干网络,串联多尺度卷积分支模块,多尺度卷积分支模块为多分支并联结构,包括3×3卷积分支、5×5卷积分支和7×7卷积分支,分别用于提取局部细节特征、中尺度区域特征和大尺度整体结构特征;多尺度卷积分支模块的输出经通道拼接的方式形成多尺度特征集合,并通过1×1卷积进行融合与通道压缩,得到统一的多尺度视觉特征表示后输入残差主干网络;最终输出统一维度的可见视觉特征向量;

31、温度特征提取模块为基于lstm的温度特征提取结构,将原单一路温度时序建模方式改进为三路并行的短时lstm分支、中时lstm分支和长时lstm分支;其中,短时lstm分支对应时间窗口占总窗口长度的1/6,用于表征局部快速波动特征和瞬时温升特征;中时lstm分支对应等时间窗口占总窗口长度的1/3,用于表征阶段性升温趋势特征、平台形成特征及阶段转折特征;长时lstm分支对应全程时间窗口,用于表征整体热演化轨迹特征和长期依赖特征;设每一份食物煎制过程在整个监测周期内的总时间步长为n,对短时lstm分支、中时lstm分支和长时lstm分支的时间窗口长度w采用基于全局时间步长的比例划分界定方法,其时间窗口长度计算公式如下:

32、

33、其中,表示第x个lstm分支的时间窗口长度,表示向上取整运算,为对应lstm分支的窗口比例系数,s对应短时lstm分支,m对应中时lstm分支,l对应长时lstm分支;

34、短时lstm分支、中时lstm分支和长时lstm分支的输出采用特征拼接方式进行融合,并经全连接映射实现维度统一,接着通过趋势增强模块采用全连接映射结合sigmoid门控的方式生成趋势权重,对融合特征进行逐元素加权增强,最终形成统一维度的温度特征向量;

35、电子鼻特征提取模块基于lstm的多传感器气味特征提取结构,针对由多个气敏传感器的输入,构建传感器差异感知型lstm结构;在每一时刻,将各气敏传感器的原始响应向量作为当前输入,通过线性映射与sigmoid激活生成传感器差异权重,对当前输入进行逐元素加权,以突出当前时刻对熟度判别更关键的传感器通道;同时计算当前时刻与前一时刻之间的响应变化率向量;再将加权后的传感器差异权重、响应变化率向量和上一时刻隐藏状态共同引入lstm门控计算过程,最终输出统一维度的电子鼻特征向量;其遗忘门、输入门、输出门和候选记忆单元具体公式如下:

36、

37、

38、

39、

40、其中,、和分别表示第t时刻的遗忘门、输入门和输出门;、、分别表示对应门的权重矩阵;、、分别表示对应门的偏置项;表示候选记忆单元状态,表示候选记忆单元的权重矩阵,表示偏置项,表示双曲正切激活函数;

41、高光谱特征提取模块为基于resnet18-1d-cnn的波段特征提取结构,对resnet18进行维度转化设计,将用于处理二维图像的串联残差块中的二维卷积核全部替换为一维卷积核;同时设置波段筛选模块对原始输入的光谱反射率曲线进行筛选,波段筛选模块采用基于互信息预筛选与mrmr筛选相结合的两阶段敏感波段筛选方法,最后将波段筛选权重向量与原始光谱反射率曲线向量逐元素相乘,得到优化后的高光谱输入;加权后的高光谱输入进入一维卷积残差主干网络,提取深层光谱特征,最终输出统一维度的高光谱特征向量;

42、步骤4:设计基于跨模态注意力机制的特征动态融合与决策模型;

43、对步骤3中提取得到的可见视觉特征向量、温度特征向量、电子鼻特征向量和高光谱特征向量进行动态融合与分类决策;四类模态特征分别对应煎制过程中表观颜色与纹理变化、热量分布与温度演化变化、挥发性气味变化以及内部成分与结构变化;设四类模态特征分别为、、和;构建基于跨模态注意力机制的特征动态融合与决策模型,对四类模态特征进行自适应融合;

44、首先,对四类模态特征进行统一映射,得到映射后的模态表示:

45、

46、其中,和分别为对应模态的映射参数,为统一映射后的模态特征;

47、随后,采用跨模态注意力权重生成单元计算各模态的重要性得分:

48、

49、其中,、和u为可学习参数,表示第y个模态在当前样本中的重要性评分;再通过softmax函数得到各模态对应的融合权重:

50、

51、其中,表示第y个模态的融合权重;

52、在获得各模态融合权重后,对四类模态特征进行动态加权融合,得到融合特征:

53、

54、进一步地,为保留各模态原始特征中的互补信息,采用串联方式构造联合特征:

55、

56、其中,[;]表示向量串联;

57、最后,将联合特征输入分类决策单元;分类决策单元包括全连接层和输出层,其中全连接层用于对联合特征进行进一步整合与深层判别特征提取:

58、

59、其中,为全连接层的权重矩阵,为偏置项,f为激活函数;

60、全连接层之后,进一步设置输出层对鸡蛋饼熟度阶段进行分类预测。设输出结果为各熟度阶段对应的预测概率向量p:

61、

62、其中,和分别为输出层参数,p为各熟度阶段的预测概率分布,取最大概率对应类别作为当前样本的熟度阶段预测结果,从而实现对煎制过程中当前熟度状态的智能识别;

63、步骤5:设计模型训练与优化流程,实现高性能熟度识别;

64、利用2制备的带有熟度标签的训练数据集,设计采用交叉熵损失函数和adam优化器对基于跨模态注意力机制的特征动态融合与决策模型进行端到端训练;通过设计的学习率策略与批次训练方法,稳定优化模型参数;最终,在独立测试集上,设计使用准确率、精确率、召回率、f1分数全面评估模型性能。

65、本发明的有益效果:

66、(1)本发明构建了由可见视觉、红外温度、高光谱和电子鼻组成的多模态协同感知系统,实现了对食材烹饪过程中表面特征、表面温度分布、光谱成分信息及挥发性气味演化的同步采集,突破了传统单一传感方式感知维度有限、状态表征不完整的问题,提高了熟度检测的信息完备性。

67、(2)本发明创新了数据驱动的熟度阶段划分策略,该策略在传统pelt变点检测算法基础上,引入最小阶段持续时间约束、联合温度水平—变化斜率—波动强度的分段代价函数、阶段可分辨性约束以及局部温度变化相关的自适应惩罚项,并结合t检验对相邻阶段进行显著性验证,能够有效抑制短时温度扰动引起的伪变点,提高真实熟度转折点识别精度,使熟度阶段划分更加客观、稳定和具有统计学依据。

68、(3)本发明构建了面向异构数据的并行特征提取网络架构,针对不同模态数据分别设计专用特征提取分支;其中,可见视觉分支采用多尺度并联卷积结构以增强对图像空间特征的表征能力,温度分支采用多时间尺度lstm与趋势增强机制以强化对热演化规律的建模能力,电子鼻分支采用传感器差异感知型lstm结构以提升对关键气味动态变化的识别能力,高光谱分支采用互信息与mrmr相结合的敏感波段筛选方法以增强关键波段响应,从而实现对多源异构数据的高效、针对性特征提取。

69、(4)本发明设计了基于跨模态注意力机制的特征动态融合与决策模型,能够根据当前样本状态自适应调整各模态特征在不同熟度阶段下的贡献权重,避免了传统固定权重融合或简单拼接方式下模态贡献失衡、关键特征被稀释的问题,提高了融合特征表达能力、模型鲁棒性及熟度预测精度。