一种基于振动-图像多模态融合的水果品质无损检测装置及方法

本发明涉及农产品品质无损检测与智能分选，特别是一种基于振动-图像多模态融合的水果品质无损检测装置及方法。

背景技术：

1、我国是水果生产和消费大国，水果采后分选分级对于提升果品商品化处理水平、减少采后损失和提高市场价值具有重要意义。现有水果品质无损检测方法中，机器视觉检测和振动检测是较为常用的两类技术路线。其中，机器视觉检测能够获取水果颜色、形状、尺寸和表面缺陷等外观信息，但难以准确反映内部空洞、组织软化、水心和褐变等内部品质变化；振动检测能够通过水果受激后的频率、衰减和时频响应表征水果硬度、弹性及内部结构状态，但传统机械敲击或接触式传感器容易受到敲击位置、接触状态和环境振动的影响，检测重复性和稳定性不足，并可能造成水果表面损伤或接触污染。

2、此外，现有在线分选装置多侧重于水果输送、称重、图像采集或单一品质指标检测，缺少能够同时实现水果姿态调整、非接触激励、激光测振、多视角图像采集和多模态融合判别的一体化检测装置。对于近似球形水果，不同放置姿态会导致激励位置、测振位置和图像采集视角不一致，从而影响检测结果的稳定性。

3、因此，亟需一种适用于在线分选场景的水果品质无损检测装置及方法，以实现水果外观品质和内部品质的快速、稳定、综合检测。

技术实现思路

1、发明目的：为了解决背景技术中存在的问题，本发明提供一种基于振动-图像多模态融合的水果品质无损检测装置及方法，通过托杯与滚轮实现水果姿态调整，通过气体脉冲激励和激光多普勒测振实现非接触式振动信号采集，并结合多视角图像采集和多模态融合模型，实现水果外观品质、内部质地及综合品质等级的快速、稳定、无损检测。

2、本发明采用的技术方案如下：

3、本发明第一方面提供了一种基于振动-图像多模态融合的水果品质无损检测装置，包括水果承载与调向单元、气体脉冲激励单元、激光多普勒非接触振动测量单元、多视角图像采集单元以及控制与数据处理单元；所述水果承载与调向单元包括用于承载待检测水果的托杯以及用于驱动待检测水果转动的调向轮组，托杯能够相对于调向轮组在检测位置和调向位置之间移动；在检测位置，待检测水果与调向轮组脱离；在调向位置，待检测水果与调向轮组接触并由调向轮组带动转动；所述气体脉冲激励单元用于向待检测水果施加瞬时气体脉冲，使待检测水果产生自由衰减振动；所述激光多普勒非接触振动测量单元用于采集待检测水果受气体脉冲激励后的振动响应数据；所述多视角图像采集单元用于采集待检测水果在不同姿态下的表面图像；所述控制与数据处理单元用于协调水果姿态调整、气体脉冲激励、振动响应采集和图像采集的工作时序，并基于振动响应数据和多视角图像数据输出水果品质指标或综合品质等级。

4、进一步的，所述水果承载与调向单元包括托杯、升降机构和柔性包胶调向轮组。托杯用于承载待检测水果，托杯边缘高于水果重心以限制刚体运动，托杯与升降机构连接，升降机构用于带动托杯在竖直方向移动，使水果在检测位置和调向位置之间切换。托杯处于高位检测位置时，水果与柔性包胶调向轮组保持脱离状态，以减少调向轮组对水果自由衰减振动的干扰；托杯下降至低位调向位置时，水果进入柔性包胶调向轮组围成的调向区域，由柔性包胶调向轮组驱动水果在托杯内转动，从而实现水果检测姿态和图像采集视角的调整。

5、进一步的，所述柔性包胶调向轮组设置在托杯四周，包括正交布置的两组调向轮，每组调向轮分别由对应电机驱动。调向轮外周设置柔性橡胶层，用于增大调向轮与水果表面的摩擦力，并降低水果表面压伤风险；柔性橡胶层内侧设置压力传感层，用于检测调向轮与水果之间的接触压力。压力传感层将接触压力信号传输至控制与数据处理单元，控制与数据处理单元根据接触压力反馈调节托杯高度和/或调向轮转速，使水果与各调向轮之间的接触压力保持在预设范围内。

6、进一步的，所述气体脉冲激励单元包括空气压缩机、电磁阀、气路管路和收束喷嘴。收束喷嘴固定安装在托杯的通气孔内，收束喷嘴的进气端与气路管路连接，出气端朝向托杯内水果底部。检测时，控制与数据处理单元控制电磁阀开启预设时间，使压缩空气经气路管路进入收束喷嘴，并由收束喷嘴形成瞬时气体脉冲作用于水果底部，使水果产生自由衰减振动。所述电磁阀开启时间以及收束喷嘴出气口尺寸可根据水果种类、尺寸和表皮耐受程度预先设定或标定，以保证气体脉冲能够激发可测振动响应，同时不损伤水果表面。

7、所述激光多普勒非接触振动测量单元包括激光多普勒测振仪。激光多普勒测振仪设置在水果上方，其激光光点指向水果表面的预设测振区域，优选指向水果果梗区域或顶部稳定测振区域。水果受到气体脉冲激励后，激光多普勒测振仪采集水果表面的自由衰减振动速度信号或位移响应信号，并将采集到的振动响应数据传输至控制与数据处理单元。

8、进一步的，所述多视角图像采集单元包括相机和光源。相机设置在水果上方，用于在水果处于不同姿态时采集水果表面图像；光源设置在相机采集区域周围，并以预设角度斜向照射水果表面，优选以约45°角斜向下照射，以提高水果表面照明均匀性并减少阴影干扰。控制与数据处理单元控制柔性包胶调向轮组带动水果转动，并在水果稳定后触发相机采集图像，从而获得同一水果的多视角表面图像。

9、进一步的，所述控制与数据处理单元包括控制器和工控机。控制器用于协调升降机构、调向轮电机、电磁阀、激光多普勒测振仪、相机和光源的工作时序；工控机用于接收激光多普勒测振仪采集的振动响应数据、相机采集的多视角图像数据以及压力传感层反馈的接触压力数据，并运行多模态融合模型，输出水果品质指标或综合品质等级。通过上述结构，本发明能够在同一检测工位完成水果承载、振动响应采集、姿态调整、多视角图像采集和品质判别。

10、本发明第二方面提供了一种基于振动-图像多模态融合的水果品质无损检测方法，包括以下步骤：

11、s1：获取待测水果的振动响应数据和多视角图像数据；

12、s2：对振动响应数据进行预处理，并提取振动特征；

13、s3：对多视角图像数据进行预处理，并提取图像特征；

14、s4：根据振动响应数据和多视角图像数据提取物理先验信息；

15、s5：利用物理先验信息分别对振动特征和图像特征进行轻量调制；

16、s6：将调制后的振动特征和图像特征输入轻量跨模态注意力模块，进行双向信息交互，得到振动增强特征和图像增强特征；

17、s7：将所述振动增强特征和图像增强特征输入样本自适应门控融合模块，得到融合特征；

18、s8：根据融合特征输出水果品质指标或综合品质等级。

19、进一步的，所述s1包括以下步骤：

20、s11：通过激光多普勒非接触振动测量单元采集水果受气体脉冲激励后的自由衰减振动速度信号；

21、s12：通过多视角图像采集单元获取同一水果样本的四张表面图像；

22、s13：将同一水果样本的振动响应数据、多视角图像数据和对应品质标签建立一一对应关系，构建建模数据集。

23、进一步的，所述s2包括以下步骤：

24、s21：对一维振动速度信号进行截取、去直流分量、滤波降噪和归一化处理，得到预处理后的振动信号；

25、s22：将预处理后的振动信号经过短时傅里叶变换生成时频谱图；

26、s23：振动时频图输入轻量振动特征提取网络，得到振动特征fv；所述轻量振动特征提取网络采用浅层二维卷积神经网络。

27、进一步的，所述s3包括以下步骤：

28、s31：对第n个水果样本的多个视角图像进行尺寸归一化、亮度校正、背景分割和果体区域提取，得到去除背景后的多视角水果图像in,k，其中，k = 1, 2, ... , k，k为视角数量，优选k = 4；同时获得对应视角的果体掩膜；

29、s32：将各视角水果图像分别输入共享权重的图像编码器，获得各视角对应的图像特征图gn,k；

30、s33：在果体掩膜范围内分别计算颜色异常图、纹理异常图、边缘裂纹图和局部斑点图，并将上述响应图进行归一化加权融合，得到缺陷区域先验图；

31、所述颜色异常图为：

32、

33、式中，为第n个水果样本第k个视角图像中像素点(x, y)在lab颜色空间中的颜色向量，为该视角果体区域内的平均颜色向量，用于表征当前像素颜色相对于果体整体颜色分布的偏离程度。

34、所述纹理异常图为：

35、

36、式中，表示以像素点(x, y)为中心的局部邻域内第l个灰度级出现的概率，l表示灰度级数量，为防止对数运算异常的常数，局部纹理熵越大，表示该区域纹理变化越复杂。

37、所述边缘裂纹图为：

38、

39、式中，和分别表示图像在水平方向和垂直方向上的梯度响应，用于突出裂纹、破损边缘等具有明显灰度突变的细长结构区域。

40、所述局部斑点图为：

41、

42、式中，表示第n个水果样本第k个视角图像的灰度图像，br表示半径为r的形态学结构元素，表示形态学开运算，表示形态学闭运算；前一项为顶帽响应，用于突出局部亮斑，后一项为黑帽响应，用于突出局部暗斑。

43、所述缺陷区域先验图为：

44、

45、式中，分别表示归一化后的颜色异常图、纹理异常图、边缘裂纹图和局部斑点图，为对应权重系数。

46、将缺陷区域先验图调整至与图像特征图相同尺寸后，与图像特征图在通道维度上进行拼接，并输入卷积映射层和sigmoid激活函数，生成取值范围为的缺陷区域注意力图。

47、s34：利用缺陷区域注意力图对对应视角的图像特征图进行空间加权增强，得到缺陷增强图像特征图：

48、

49、式中，表示逐元素乘法，表示注意力增强系数。通过该方式，使模型在保留整体果面特征的同时，增强对疑似缺陷区域的响应。

50、s35：对各视角的缺陷增强图像特征图进行注意力池化，得到各视角图像特征向量。

51、s36：对四个视角图像特征向量在视角维度上进行最大池化融合，保留不同视角中响应最强的特征，得到多视角图像特征为fi。

52、进一步的，所述s4包括以下步骤：

53、s41：根据振动时频图提取振动先验信息，所述振动先验信息包括主响应峰频率、主响应峰宽和分段频带能量分布中的一种或多种；

54、s42：根据不同频带内的振动能量计算分段频带能量比例，其表达式：

55、

56、式中，ek为第k个频带的归一化能量比例，为振动信号经连续小波变换得到的时频系数，为频率f、时间t处的时频能量，bk为第k个频带范围，b为参与分析的总频带范围，t为参与分析的时间范围。

57、s43：根据多视角水果图像和果体区域提取图像形态先验信息，所述图像形态先验信息包括等效直径和圆度中的一种或两种；

58、s44：根据果体区域面积计算等效直径，根据果体区域面积和轮廓周长计算圆度，其表达式为：

59、

60、

61、式中，deq为等效直径，c为圆度，a为果体区域面积，p为果体区域轮廓周长；

62、s45：将振动先验信息和图像形态先验信息分别归一化，得到振动先验向量pv和图像形态先验向量pi，其表达式为：

63、

64、

65、式中，为归一化后的主响应峰频率，为归一化后的主响应峰宽，至为不同频带的归一化能量比例，为归一化后的等效直径，为归一化后的圆度。

66、进一步的，所述s5包括以下步骤：

67、s51：将振动先验向量输入两层全连接网络，生成振动调制权重av；

68、s52：利用振动调制权重对振动特征进行逐元素加权，得到先验调制后的振动特征；

69、s53：将图像形态先验向量输入两层全连接网络，生成图像调制权重ai；

70、s54：利用所述图像调制权重对图像特征进行逐元素加权，得到先验调制后的图像特征。

71、进一步的，所述s6包括以下步骤：

72、s61：将先验调制后的振动特征和图像特征分别通过线性映射转换至相同特征维度，得到振动表示zv和图像表示zi；

73、s62：以振动表示作为查询，以图像表示作为键和值，获得融合图像外观信息的振动增强特征hv；

74、

75、

76、式中，qv、ki、vi分别表示查询、键和值，表示矩阵ki的转置，d为特征维度，、和为可学习参数。通过该计算，振动分支能够利用图像外观信息对振动响应特征进行筛选和增强。

77、s63：以图像表示作为查询，以振动表示作为键和值，获得融合内部质地信息的图像增强特征hi；

78、

79、

80、式中，qi、kv、vv分别表示查询、键和值，表示矩阵kv的转置，d为特征维度，、和为可学习参数。通过该计算，图像分支能够利用振动内部质地信息增强对缺陷、成熟度或质地相关区域的表达；

81、进一步的，所述s7包括以下步骤：

82、s71：对振动增强特征hv进行全局池化和线性映射，得到振动增强特征向量hv；

83、s72：对图像增强特征hi进行全局池化和线性映射，得到图像增强特征向量hi；

84、s73：根据振动增强特征向量hv和图像增强特征向量hi生成门控系数g，计算公式为：

85、

86、式中，σ表sigmoi激活函数，wg和bg为可学习参数，[ ] 表示特征拼接。

87、s74：利用门控系数对振动增强特征向量和图像增强特征向量进行加权融合，得到融合特征ffusion，计算公式为：

88、

89、当当前水果样本振动信号信噪比较高、主响应峰明显时，门控模块提高振动模态贡献；当当前水果样本图像清晰、反光和遮挡较少时，门控模块提高图像模态贡献。

90、进一步的，所述s8包括以下步骤：

91、s81：将样本自适应门控融合模块输出的融合特征输入品质预测模块。

92、s82：所述品质预测模块包括分类预测头和回归预测头；分类预测头用于输出水果综合品质等级，回归预测头用于输出硬度、可溶性固形物含量、成熟度或表面缺陷面积占比中的一种或多种。

93、s83：在模型训练阶段，根据预测结果和真实品质标签构建品质预测损失：

94、

95、其中，lcls为交叉熵分类损失，lreg为均方误差回归损失，和为权重系数。当仅进行分类或回归任务时，对应地令另一项权重为0。

96、s84：将同一水果样本的振动特征hv和图像特征hi分别经投影头映射并归一化，得到振动投影特征rv和图像投影特征ri，并构建多模态对比学习损失：

97、

98、其中，n为训练批次中的样本数量，上标n表示批次中第n个水果样本，上标k为对批次内全部样本求和时的样本索引，；、分别表示第n个样本的振动投影特征和图像投影特征，、分别表示第k个样本的振动投影特征和图像投影特征；为相似度函数，优选为余弦相似度，为温度系数。该损失用于使同一样本的振动投影特征和图像投影特征相互接近，并使不同样本之间的跨模态投影特征相互远离。

99、s85：模型训练总损失表示为：

100、

101、其中，为模型参数正则化项，和为权重系数。

102、进一步的，在模型训练阶段，采集具有已知理化指标或人工定级结果的水果样本，获取同一水果样本的振动响应数据、多视角图像数据和品质标签，建立一一对应的多模态训练数据集。训练时，可先分别对振动编码器和图像编码器进行单模态预训练，再接入物理先验调制模块、轻量跨模态注意力模块、样本自适应门控融合模块和品质预测模块，对整体网络进行联合训练，获得水果品质检测模型。

103、进一步的，在模型推理阶段，将待测水果的一次或少数几次气体脉冲激励后的振动响应数据，以及同步采集的多视角图像数据输入训练完成的水果品质检测模型，输出水果品质指标或综合品质等级，作为水果在线分选和品质判别的依据。优选地，所述模型推理过程在预设时间内完成，以满足在线分选实时性要求。

104、有益效果

105、与现有技术相比，本技术具有以下优点：

106、（1）本发明采用气体脉冲激励和激光多普勒测振，不需要机械敲击头或接触式传感器直接接触水果，能够减少接触污染和表面损伤风险；

107、（2）本发明通过托杯和滚轮实现水果姿态调整，使每个水果的激励位置、测振位置和图像采集视角保持相对一致，提高数据采集重复性；

108、（3）本发明将振动响应所反映的内部质地信息与多视角图像所反映的外观品质信息进行融合，能够弥补单一模态检测的不足；

109、（4）本发明将图像区域先验和振动频谱先验编码进模型内部，并通过样本自适应门控机制根据数据可靠性动态调整模态贡献，提高复杂工业环境下的检测鲁棒性；

110、（5）本发明的检测流程可与现有水果分选线结合，实现水果姿态调整、数据采集、融合推理和分级执行的连续化运行。