基于多模态图像采集技术的珠芽魔芋糊化检测方法

摘要: 本发明涉及食品加工检测,具体为基于多模态图像采集技术的珠芽魔芋糊化检测方法。背景技术:1、珠芽魔芋在加工过程中,糊化程度的准确检测是决定最终制品品质的关键因素之...
基于多模态图像采集技术的珠芽魔芋糊化检测方法

本发明涉及食品加工检测,具体为基于多模态图像采集技术的珠芽魔芋糊化检测方法。

背景技术:

1、珠芽魔芋在加工过程中,糊化程度的准确检测是决定最终制品品质的关键因素之一。现有技术中,珠芽魔芋糊化状态的判别主要依赖操作人员的目视观察或接触式湿度、粘度测量手段。人工目视判别受主观经验影响较大,一致性差,难以实现对糊化进程的精细量化。接触式测量方法仅能获得单点或局部信息,无法反映整个魔芋切片表面的糊化状态分布,且测量过程本身可能干扰糊化环境。为克服上述局限,一些研究开始尝试利用单一模态的图像采集技术进行糊化检测,例如仅采用可见光相机拍摄魔芋切片表观颜色变化,或仅通过热成像获取表面温度分布。单一模态的信息源决定了此类方案仅能捕捉糊化过程中某一方面的特征。颜色和纹理变化反映的是表面水分迁出和淀粉凝胶化的综合外观效应,而温度分布则与糊化吸放热过程相关,两者在物理成因上具有互补性,但现有方案未能将多模态信息有效融合。同时,糊化是一个典型的时空动态过程,魔芋切片不同空间位置的糊化速率存在差异,单纯的逐帧图像分析无法构建出像素级特征在时间维度上的连续演变轨迹,丢失了不同区域糊化进程差异这一重要判据。本方法要解决的问题是如何从多模态图像序列中提取并融合频域相位一致性与空间域纹理能量两类互补表征,进而在像素级别追踪时序变化规律,形成能够刻画糊化时空演进的描述子,以实现对珠芽魔芋糊化完成度的精准判定。

技术实现思路

1、本发明提供基于多模态图像采集技术的珠芽魔芋糊化检测方法,目的在于通过多光谱与热成像的协同采集和联合变换,使得从珠芽魔芋切片图像中获得的频域相位一致性特征与空间域纹理能量特征得到交叉梯度融合,并基于融合特征张量构建反映像素级糊化进程的时空描述子,最终在预设的糊化状态判别空间中实现糊化完成度的自动化准确判定。

2、为了实现上述目的,本发明提供如下技术方案:本发明提供一种基于多模态图像采集技术的珠芽魔芋糊化检测方法,包括以下步骤:获取珠芽魔芋切片在多个预设采样时刻下的多光谱图像序列和热成像图像序列,构成多模态图像序列;对所述多模态图像序列执行空间域至频率域的联合变换,提取各采样时刻下珠芽魔芋切片的频域相位一致性特征图和空间域纹理能量分布图;将所述频域相位一致性特征图与所述空间域纹理能量分布图进行逐像素的交叉梯度融合,生成融合特征张量;基于所述融合特征张量中各像素点的时序变化轨迹,构建珠芽魔芋切片的糊化进程时空描述子;根据所述糊化进程时空描述子在预设的糊化状态判别空间中的投影位置,判定所述珠芽魔芋切片在当前采样时刻的糊化完成度。

3、作为本发明的一个优选技术方案,获取多模态图像序列的步骤具体包括:控制多光谱相机在所述多个预设采样时刻依次采集珠芽魔芋切片在可见光波段、近红外波段和短波红外波段的反射率图像,并按采样时刻先后顺序排列,生成多光谱图像序列;同步控制热成像相机在同一预设采样时刻采集珠芽魔芋切片的表面热辐射分布图像,并按采样时刻先后顺序排列,生成热成像图像序列;将同一采样时刻采集的多光谱图像与热成像图像建立时间戳对应关系,形成多模态图像对,并按照采样时刻的先后次序将所有多模态图像对依序排列,组合为多模态图像序列。该同步采集方式可全面捕捉糊化过程中切片在光谱特性和热特性上的关联变化,避免时序错位,保证数据融合精度。

4、优选的,对所述多模态图像序列执行空间域至频率域的联合变换的步骤包括:从所述多模态图像序列中依次取出各采样时刻的多模态图像对,对所述多模态图像对中的多光谱图像进行二维离散傅里叶变换,得到多光谱频域幅值谱和多光谱频域相位谱;对所述热成像图像进行二维离散余弦变换,得到热成像频域系数矩阵;对所述多光谱频域相位谱进行相位一致性度量计算,提取各像素点的相位一致性响应值,生成频域相位一致性特征图,此特征图对光照和对比度变化不敏感,能够稳定反映糊化引起的结构边缘强度变化;对所述热成像频域系数矩阵进行逆变换重构,得到热成像空间域重构图像,并计算该重构图像中每个像素点的局部邻域灰度共生矩阵的对比度统计量和能量统计量;将所述对比度统计量和能量统计量进行归一化叠加,生成空间域纹理能量分布图,该分布图可精细刻画热场纹理在糊化进程中的动态演变。通过频域相位特征与空间域纹理能量特征的联合提取,可多维度感知糊化状态,提升对早期微观变化的检出灵敏度。

5、作为进一步的优选方案,进行逐像素的交叉梯度融合时,计算所述频域相位一致性特征图中每个像素点的相位一致性梯度幅值和相位一致性梯度方向,生成相位一致性梯度场;计算所述空间域纹理能量分布图中每个像素点的纹理能量梯度幅值和纹理能量梯度方向,生成纹理能量梯度场;将同一像素点位置处的相位一致性梯度幅值与纹理能量梯度幅值进行加权求和,得到该像素点的融合梯度幅值;根据所述相位一致性梯度方向和纹理能量梯度方向之间的夹角余弦值,确定该像素点的融合梯度方向;将每个像素点的融合梯度幅值和融合梯度方向组合为融合特征向量,并将所有像素点的融合特征向量按照像素空间位置排列,生成融合特征张量。此交叉梯度融合方式可强化糊化进程中模态间一致性的梯度响应,有效抑制单一模态噪声,突出真实变化区域。

6、基于所述融合特征张量构建糊化进程时空描述子的步骤优选包括:从所述融合特征张量中提取每个像素点在全部预设采样时刻的融合梯度幅值序列和融合梯度方向序列,构成该像素点的时序变化轨迹;计算每个像素点的时序变化轨迹中相邻采样时刻之间的融合梯度幅值差分值和融合梯度方向差分值,生成该像素点的时序差分轨迹;对所有像素点的时序差分轨迹进行空间邻域聚类,将时序差分轨迹变化趋势一致的像素点归并为同一变化簇;统计每个变化簇内像素点的空间分布密度和时序差分轨迹的平均变化速率,生成每个变化簇的簇描述子;将所有变化簇的簇描述子按照空间位置关系和时序先后顺序进行组合编码,形成珠芽魔芋切片的糊化进程时空描述子。以像素聚合的变化簇为单元进行时空描述,既压缩了冗余信息,又能够通过空间密度和平均变化速率表达糊化前沿的扩展紧密程度和动态强度。

7、在进行空间邻域聚类时,优选的方案为:以每个像素点的时序差分轨迹的幅值变化序列和方向变化序列作为该像素点的轨迹特征向量;计算相邻像素点的轨迹特征向量之间的动态时间规整距离,作为相邻像素点之间的轨迹相似度;将轨迹相似度小于预设相似度阈值的相邻像素点连接为空间邻接边,并基于所有空间邻接边对像素点进行连通区域标记,将相互连通的像素点集合标记为初始变化簇;计算每个初始变化簇内所有像素点的轨迹特征向量的均值向量,并以该均值向量作为该初始变化簇的簇中心向量;对初始变化簇进行迭代合并,在每次迭代中将簇中心向量之间的欧氏距离小于预设合并阈值的两个初始变化簇合并为一个新的变化簇,直至任意两个变化簇的簇中心向量之间的欧氏距离均不小于预设合并阈值,获得最终的变化簇划分结果。采用动态时间规整距离可容忍糊化非匀速变化带来的时序伸缩,使聚类结果更贴合实际的糊化扩散模式。

8、在生成每个变化簇的簇描述子时,优选的方案具体包括:统计每个变化簇所包含的像素点总数,计算变化簇中每个像素点与其最近邻像素点的空间距离平均值,以所述空间距离平均值的倒数作为该变化簇的空间分布密度;提取每个变化簇内所有像素点的时序差分轨迹,计算每个像素点的时序差分轨迹在全部采样时刻内的幅值变化绝对值的累加和,再除以采样时刻的总间隔数,得到该像素点的时序变化平均速率;计算变化簇内所有像素点的时序变化平均速率的算术平均值,作为该变化簇的时序差分轨迹平均变化速率;将所述空间分布密度和时序差分轨迹平均变化速率组合为密度-速率二元组,并以该二元组作为该变化簇的簇描述子。该二元组紧凑表征了糊化变化中心的聚集状态与动态演化的强烈程度。

9、将变化簇的簇描述子组合编码为糊化进程时空描述子的步骤优选为:获取每个变化簇的空间分布密度,将所有变化簇按照空间分布密度从高到低进行排序,得到空间密度排序序列;获取每个变化簇的时序差分轨迹平均变化速率,将时序差分轨迹平均变化速率按照采样时刻的先后顺序排列,得到时间速率排序序列;将空间密度排序序列中每个变化簇的簇标识与时间速率排序序列中对应变化簇的簇标识进行交叉对齐,建立变化簇在空间维度和时间维度上的映射关系;按照所述映射关系将每个变化簇的簇描述子拼接为时空联合编码段;将所有变化簇的时空联合编码段按照空间密度排序序列的次序依次连接,生成糊化进程时空描述子。如此生成的描述子完整保留了糊化进程的空间结构特征和时间演化规律,辨识度高。

10、根据所述糊化进程时空描述子判定糊化完成度的步骤优选包括:将所述糊化进程时空描述子映射至预设的糊化状态判别空间中,得到投影坐标向量,所述糊化状态判别空间为基于历史珠芽魔芋糊化样本的糊化进程时空描述子及其相应的糊化完成度标签预先构建的度量空间;计算所述投影坐标向量与所述糊化状态判别空间中未糊化区域中心向量、部分糊化区域中心向量和完全糊化区域中心向量的欧氏距离;对所得的距离值进行区间约束归一化处理,以归一化后的距离值作为最终距离值;选取最终距离值中的最小值所对应的糊化状态区域作为当前采样时刻的糊化状态区域;获取该糊化状态区域对应的糊化完成度区间,并根据所述投影坐标向量在该糊化状态区域内的相对位置,确定所述珠芽魔芋切片在当前采样时刻的糊化完成度在所述糊化完成度区间内的具体取值。在构建的判别空间中通过投影与归一化距离比较,可将复杂时空描述子转化为精确的连续糊化完成度值,避免固定阈值判断带来的主观性,显著提升检测的准确性和鲁棒性。

11、本发明技术方案在珠芽魔芋糊化检测中,充分利用多光谱与热成像在频域和空间域上的互补优势,经由交叉梯度融合与时空动态建模,从多维度持续感知糊化变化,在此基础上借助度量空间投影匹配实现糊化完成度的定量判定,有效实现了对糊化进程的高时效、高精度自动化检测。

12、在上述技术方案中,本发明提供的技术效果和优点:

13、通过从多模态图像序列中同步提取频域相位一致性特征图和空间域纹理能量分布图,并对两者进行逐像素的交叉梯度融合,实现了对珠芽魔芋切片糊化状态的多维度表征。频域相位一致性特征图能够捕获糊化过程中魔芋组织微观结构变形引起的局部相位变化,对光照和对比度变化不敏感,可稳定反映凝胶网络形成阶段的边界保持程度;空间域纹理能量分布图则通过局部灰度共生矩阵的对比度与能量统计量,量化了糊化造成的表面粗糙度和均一性改变。将二者的梯度场进行加权融合并利用梯度方向夹角余弦确定合成方向,得到的融合特征张量同时融合了频域结构不变性信息和空间统计纹理信息,能够凸显糊化进程中肉眼难以分辨的细微过渡区域,使糊化状态的细微差异在特征层面得以有效放大,从而克服单一模态特征对糊化中期阶段分辨力不足的缺陷。在融合特征张量基础上,提取每个像素点在全采样时刻的融合梯度幅值与方向序列,构成时序变化轨迹,进而生成时序差分轨迹,并对所有像素点的时序差分轨迹进行空间邻域聚类形成变化簇。采用动态时间规整距离衡量相邻像素点轨迹相似度,将时序变化趋势一致的像素点归并为同一变化簇,以簇为单元统计空间分布密度和时序差分轨迹平均变化速率并编码为糊化进程时空描述子。这种处理方式将离散的像素级变化信息转化为具有空间连通性和时间演变一致性的区域变化规律,能够准确区分糊化进程中的边缘优先糊化区、中心滞后糊化区以及均匀糊化区,使得后续在判别空间中投影时,不同糊化完成度的样本具有更显著的分离度。同时,由于变化簇的密度-速率描述子直接表征了区域内糊化进程的同步程度和快慢,在糊化状态判别空间中即使面对不同批次魔芋个体差异,仍能依据投影位置与已知糊化状态区域中心向量的距离稳定确定糊化完成度,提升了检测方法的抗干扰能力和泛化性。