一种基于多模态结构反演的水果零样本腐败检测方法

本发明涉及非破坏性检测，具体而言，涉及一种基于多模态结构反演的水果零样本腐败检测方法。

背景技术：

1、随着智能化农业供应链、现代冷链仓储与物流技术的快速演进，对高价值农产品进行高吞吐、全自动且非破坏性的内部质量评估与新鲜度分级，已成为保障食品安全、提升精细化品质控制的核心环节。然而，传统的计算机视觉自动化检测方法主要依赖工业相机捕捉水果外部图像，在物理本质上属于“表面层”感知。许多高价值水果（例如苹果、桃子、橙子等）在采后贮藏中常呈现显著的“内部优先”腐败模式——即内部核心组织已发生细胞膜崩溃、组织褐变与自由水异常积聚，但外部果皮依然保持完好的色泽。在此类场景下，纯视觉检测系统因受到表皮物理阻隔，无法有效捕捉次表面及深层病变，导致极高的漏检率，难以满足现代供应链对隐蔽性腐败精确拦截的需求。

2、为了应对上述纯视觉手段的局限性，学术界和工业界尝试引入近红外光谱和高光谱成像等化学计量学手段，利用特定波段光子与内部水分子或糖类的能量共振来估算内部品质。然而，这类光学传感方法在实际部署中仍面临诸多挑战：一方面，高光谱数据量庞大且硬件成本高昂，其对环境光照波动高度敏感，且极易受果皮不均匀蜡质层等非病理性杂讯干扰，导致跨环境和跨批次的大规模普及较为困难。另一方面，作为具有高穿透性、低成本优势的射频与毫米波传感技术，虽然能够非接触地感知微观介电特性的变化（如水分迁移），但现有水分反演架构普遍建立在简化的“平坦表面”电磁散射假设之上。现实中各类果蔬具备复杂的非平面宏观曲率，当毫米波击中弯曲表皮时会引发剧烈的非线性散射与严重的几何相位误差。这种强烈的电磁物理畸变将果蔬的外在几何形状与内在微观介电特性深度缠绕，使得普通反演算法极难提取出被几何噪声严重掩盖的、指示早期隐蔽性腐败的微弱介电常数漂移。

3、针对上述多模态协同与跨目标检测问题，现有研究多尝试在高度受限的闭集监督学习范式下训练射频评级系统。但这些方法通常只能在单一物种或特定维度取得改善，无法同时兼顾检测准确率与跨物种的泛化能力。获取高质量的监督数据往往需要借助穿透式探针等破坏性仪器耗费海量人工进行特征标定，导致模型极易对特定品类射频特征产生过拟合，当系统遇到训练分布之外的全新水果种类时，检测准确率往往发生灾难性下跌。尽管近年来预训练视觉语言模型在零样本推理上取得了显著进展，但其语义知识库由于根深蒂固的视觉形态偏见，对“无瑕表皮下的深层物理异常”缺乏概念化认知。若强行将不可见的射频物理特征与大模型的文本空间进行硬性对称对齐，极易诱发严重的语义错配与特征崩溃。目前，业内尤其缺乏一种通用的物理感知架构，既能有效补偿宏观几何带来的物理畸变，又能打破单一模态的感知局限，以满足非结构化农业场景下对异构、未知水果的零样本通用腐败分级需求。

技术实现思路

1、本发明要解决的技术问题是如何解决水果隐蔽性腐败漏检及检测模型向未知物种泛化困难的问题。

2、本发明提供一种基于多模态结构反演的水果零样本腐败检测方法，包括以下步骤：

3、s1，同步采集目标水果的视觉图像和射频反射信号；基于射频反射信号获取实测振幅；

4、s2，对视觉图像进行语义分割，提取目标水果区域的二维边界，将其投影至雷达坐标系并构建三维椭球模型，以提取表面几何参数，并在目标水果区域内计算局部表面粗糙度参数；

5、s3，基于表面几何参数和局部表面粗糙度参数构建曲率补偿因子和粗糙度衰减项以修正预获取的标准菲涅尔反射系数，得到广义反射系数；

6、s4，基于广义反射系数构建前向传播模型，以实测振幅为目标进行非线性优化，求解得到物理介电特征；

7、s5，将物理介电特征与视觉图像的高维特征进行跨模态融合，通过基于视觉锚定的交叉注意力及动态门控加权，生成融合特征及中间门控状态；

8、s6，将融合特征输入分类头得到分类置信度，若分类置信度不低于预设阈值，则判定目标水果为已知品种并输出腐败等级；否则目标水果为未知品种，自中间门控状态中提取深层物理异常描述符；

9、s7，基于深层物理异常描述符和视觉图像，利用预训练视觉语言模型获得视觉表观健康置信度并合成未知品种的专属健康阈值，并计算物理异常得分，结合视觉表观健康置信度进行非对称融合决策，输出腐败等级预测。

10、本技术与现有技术相比，具有以下优点：通过对视觉图像进行语义分割、三维椭球模型拟合以将视觉图像中的几何形态信息转换为表面几何参数和局部表面粗糙度参数，然后基于表面几何参数和局部表面粗糙度参数构建曲率补偿因子和粗糙度衰减项以修正标准菲涅尔反射系数，从而将由外在几何形态与表皮粗糙度引起的信号衰减被预先剥离，从非平面生物组织中提取出与形态无关的物理介电特征；继而通过视觉锚定的交叉注意力与动态门控加权实现跨模态自适应融合，并根据腐败阶段动态调整物理模态与视觉模态的诊断权重，同时覆盖内部优先型和表面优先型两种腐败模式；再通过分类置信度判别实现已知品种的精准分级与未知品种的自动分流，对于未知品种，利用合成的专属健康阈值，结合的非对称融合决策，显著提升了非接触式水果品质检测在真实非结构化农业场景中的精度与可靠性；并且，本技术实现了从闭集监督分类到开放集零样本物理感知的范式跨越，在无需对未知品种重新采集射频训练数据的条件下，显著提升了非接触式水果腐败检测在真实非结构化农业场景中的精度、鲁棒性与泛化能力。

11、在一种可能的实施方式中，s1具体包括：

12、s11，采用rgb相机和雷达共址部署于同一支架，保持相对位姿并预先标定相机内参矩阵和相机-雷达外参变换矩阵；

13、s12，将目标水果置于标准化测试平台，于固定工作距离下，由雷达以预设帧率连续发射毫米波并接收射频反射信号，经时域平均聚合生成高信噪比的距离-幅度剖面作为各距离门处的实测振幅；

14、同时，由rgb相机同步触发采集一帧静态高分辨率图像作为视觉图像，形成每组包含一帧视觉图像与一帧雷达距离-幅度剖面的同步数据对。

15、与现有技术相比，通过将rgb相机与毫米波雷达共址部署并预先标定内外参矩阵，保证了视觉图像与射频反射信号在空间基准上的严格一致性，消除了因传感器位姿偏差导致的跨模态空间错配；通过同步触发采集机制，保证了视觉图像与射频信号在时间维度上的严格对齐，避免了时间异步引起的特征错位。

16、在一种可能的实施方式中，s2具体包括：

17、s21，将视觉图像输入轻量级语义分割网络，提取视觉图像上目标水果区域，并获取目标水果区域在视觉图像上的二维边界，二维边界由若干边界像素点组成；

18、s22，采用相机内参矩阵及相机-雷达外参变换矩阵，将二维边界上的各边界像素点逐一转换至雷达坐标系下的三维坐标，生成用于表征水果表面空间分布的三维点集；

19、s23，以中心位于雷达坐标系原点的标准三轴椭球对三维点集进行最小二乘拟合，以最小化各三维坐标至三轴椭球表面的几何距离平方和为优化目标，求解得到三轴椭球在x，y，z轴方向上的最优半轴长度，进而得到三维椭球模型；

20、s24，设雷达波束中心轴线为一条从雷达发射中心沿波束指向方向延伸的空间射线，该空间射线的方向为雷达入射方向，将该空间射线的参数方程代入三维椭球模型，求解空间射线与三维椭球模型的所有交点，并选取位于雷达照射前方且距离最近的有效交点作为雷达波束在目标水果表面上的实际照射点，对实际照射点出的三维椭球模型求解空间梯度并归一化得到表面法向量；

21、计算表面法向量与雷达入射方向之间的夹角作为雷达入射角；

22、采用微分几何运算，基于x，y，z轴方向上的最优半轴长度和实际照射点计算实际照射点处的两个局部主曲率半径和；

23、所述表面法向量、雷达入射角和两个局部主曲率半径和构成表面几何参数；

24、s25，在目标水果区域内计算图像纹理梯度的方差作为局部表面粗糙度参数，以量化目标水果表皮微观纹理对电磁波反射的漫散射影响。

25、与现有技术相比，通过最小二乘拟合，将离散的三维点集参数为三维椭球模型，通过空间射线与椭球求交算法，准确计算了雷达波束在弯曲表面上的实际照射点，进而利用微分几何精确求解表面法向量、入射角、局部主曲率半径和用以以量化目标水果表皮微观纹理对电磁波反射漫散射影响的局部表面粗糙度参数。

26、在一种可能的实施方式中，s3具体包括：

27、s31，根据雷达波束的工作波长、实际照射点至雷达的距离、局部主曲率半径和构建曲率补偿因子；

28、根据雷达入射角、局部表面粗糙度参数以及工作波长，构建粗糙度衰减项；

29、s32，预获取标准菲涅尔反射系数；并以曲率补偿因子和粗糙度衰减项修正标准菲涅尔反射系数，得到广义反射系数：

30、；

31、式中，表示复介电常数；

32、与现有技术性相比，通过构建曲率补偿因子实现了对弯曲表面有效散射截面的归一化补偿，将因水果曲面曲率变化导致的回波能量发散进行了精确建模和数学补偿，使得广义反射系数中不再包含外在几何形态的影响分量；通过构建瑞利粗糙度衰减项量化了表皮微观粗糙度对毫米波相干反射的漫散射削弱效应；最终形成的广义反射系数，是去除了外在几何形态与表皮粗糙度双重干扰的纯物理量，解决了现有技术中几何噪声掩盖微弱介电漂移的深层次难题。

33、在一种可能的实施方式中，s4具体包括：

34、s41，基于广义反射系数构建前向传播模型：

35、；

36、式中，表示雷达达到实际照射点的单程传播距离，为雷达出厂校准标定的发射振幅基准值，表示球面波几何扩散衰减，表示电磁波在水果内部有损介质中的传播吸收衰减因子，表示取复数的虚部；

37、s42，以获取的实测振幅作为目标值，以复介电常数为待优化变量，建立最小化实测振幅与前向传播模型之间残差平方和的非线性优化目标函数，求解得到物理介电特征：

38、；

39、式中，表示物理介电特征，表示第个实测振幅。

40、与现有技术相比，通过构建前向传播模型，建立了从复介电常数到雷达接收振幅的完整物理映射关系；通过以实测振幅为目标进行非线性优化迭代，实现了对复介电常数的精确反演求解；所获得的物理介电特征的实部反映了水果组织的介电常数（与水分含量相关），虚部反映了介电损耗（与离子浓度和自由水含量相关），两者共同构成了表征内部生理状态的完整物理指纹。

41、在一种可能的实施方式中，s5具体包括：

42、s51，将视觉图像输入预训练的resnet骨干网络提取高维特征；

43、s52，将高维特征与物理介电特征映射至统一的嵌入维度，得到对齐后的视觉序列和物理序列，表示实数域，表示l行d列的实矩阵；

44、s53，以视觉序列通过可学习权重矩阵生成查询向量，以物理序列通过可学习权重矩阵和分别生成键向量和值向量；将查询向量、键向量和值向量代入缩放点积注意力公式：

45、；

46、获得以视觉为锚定条件从物理序列中检索相关信息的跨模态症状图；式中，表示查询向量键向量的维度；

47、s54，将视觉序列和跨模态症状图在通道维度上进行拼接后输入门控神经网络，经sigmoid激活函数得到动态门控向量：

48、；

49、式中，表示门控神经网络的偏置项；

50、s55，基于动态门控向量，通过交叉注意力对跨模态症状图和视觉序列进行自适应加权求和得到融合特征：

51、；

52、同时，将动态门控向量与跨模态症状图逐元素乘积状态作为中间门控状态。

53、与现有技术相比，通过resnet骨干网络提取的高维特征与雷达反演得到的物理介电特征经投影头映射至统一嵌入空间，解决了异构模态特征在数学空间上的不可通约性问题；通过视觉锚定的交叉注意力机制，使得物理序列中与视觉序列相关的信息被选择性检索和加权聚合，形成了表皮区域与内部介电状态的跨模态空间对应关系；通过动态门控向量g的自适应加权求和，使得融合特征能够根据不同腐败阶段（早期（视觉无异常）偏向物理模态、晚期（视觉症状明显）偏向视觉模态）进行动态调整，实现了诊断权重的自适应分配，显著提升了融合特征对不同腐败阶段和不同品种的适应能力。

54、在一种可能的实施方式中，s6具体包括：

55、s61，将融合特征输入经全局平均池化聚合后送入由全连接层与softmax构成的监督分类头，输出目标水果分别属于各已知腐败等级的概率分布，并取其最大概率值作为分类置信度；

56、s62，若该分类置信度大于或等于预设阈值时，判定当前的目标水果为已知品种，以最大概率对应的腐败等级为目标水果的腐败等级输出；否则，分类置信度小于预设阈值，判定当前的目标水果为未知品种，则基于中间门控状态中提取深层物理异常描述符：

57、；

58、式中，表示l2范数。

59、与现有技术相比，通过将融合特征输入监督分类头并获得分类置信度，利用预设阈值实现了已知品种与未知品种的自动分流，使得系统能够在开放世界中自适应切换处理路径——对已知品种直接输出精确的腐败等级，对未知品种触发零样本推理分支，避免了传统分类器在遇到未见品种时强制分类所导致的灾难性误判；同时，从未知品种的中间门控状态中提取的深层物理异常描述符。

60、在一种可能的实施方式中，s7中基于深层物理异常描述符和视觉图像，利用预训练视觉语言模型获得视觉表观健康置信度并合成未知品种的专属健康阈值，具体包括：

61、首先，将视觉图像送入冻结的clip图像编码器获得图像嵌入向量，同时，将k个已知品种的结构化提示词输入clip文本编码器获得各文本嵌入向量，计算图像嵌入向量与各文本嵌入向量的余弦相似度：

62、；

63、式中，表示图像嵌入向量，表示第个已知品种的文本嵌入向量；

64、经softmax归一化，得到语义相似度向量：

65、；

66、接着，调取预存的各已知品种的健康基准；

67、最后，基于语义相似度向量对各已知品种的健康基准进行加权插值，合成未知品种的专属健康阈值：

68、；

69、与现有技术相比，通过冻结的clip预训练视觉语言模型提取未知水果图像与各已知品种文本描述的语义相似度，利用大规模预训练模型中蕴含的丰富的视觉-语义关联知识，为未知品种建立了与已知品种之间的物种邻近关系；通过语义相似度向量对已知品种健康基准进行加权插值合成专属阈值，其物理合理性在于：视觉外观越相似的品种，其内在的基础生理参数（如基准含水量）越接近，因此按相似度混合已知品种的健康基准是对未知品种健康状态的合理估计。

70、在一种可能的实施方式中，s7中计算物理异常得分，结合视觉表观健康置信度进行非对称融合决策，输出腐败等级预测，具体包括：

71、首先，基于深层物理异常描述符和专属健康阈值计算物理异常得分：

72、；

73、式中，表示预设尺度参数；

74、其次，将视觉图像分别与正面提示词、负面提示词进行clip图像-文本匹配，经softmax归一化获得视觉表观健康置信度；

75、接着，将物理异常得分和视觉表观健康置信度进行非对称融合决策，计算腐败概率：

76、；

77、式中，为物理权重系数，为竞争触发增益系数，为修正线性单元激活函数；

78、最后，根据腐败概率在预设的各腐败等级区间判断并输出未知品种的腐败等级。

79、与现有技术相比，通过物理异常得分将异常幅度映射至(0,1)区间的概率空间，实现了物理异常强度的概率化度量；通过clip图像-文本匹配获得视觉表观健康置信度，实现了对无瑕外观的量化评估；通过非对称融合公式实现了物理异常得分与视觉置信度的竞争性融合，仅在物理异常显著超过视觉置信度时产生正激活，当水果外表看似完好但内部已严重腐败时，物理判定具有最高优先级，强制推翻基于视觉外观的乐观预测，有效拦截内部优先型腐败导致的视觉漏检。