一种农业微小目标识别定位方法、系统及网络训练方法与流程

本技术涉及智能图像处理，尤其涉及一种农业微小目标识别定位方法、系统及网络训练方法。

背景技术：

1、现代农业对农产品品质和产量的要求不断提高，劳动力成本持续上升，实现对果实、花卉等农业目标的自动化采摘，逐渐成为农业自动化发展的重要方向。对自动采摘机器人而言，微小目标的识别与定位能力是关键难点。枸杞、小型灌木花卉等目标体积小、分布分散，需要在田间动态环境下完成精确识别与三维定位，才能支撑机械臂精准抓取，减少漏采与损伤。

2、现有技术处理此类微小目标仍存在局限。受rgbd相机成像条件的限制，深度信息的有效获取距离一般在30~50cm以上，而采摘机械臂受避障、奇异点规避等运动规划约束，运行时难以贴近植株，微小目标在采集图像中占用的像素过少，传统目标检测方法不易将目标与背景噪声区分开。远距离拍摄下深度图点云稀疏，目标深度距离信息难以准确描述，机械臂缺乏可靠的抓取深度数据。现有图像超分辨与深度图超分辨多作为相互独立的环节处理，图像增强信息与深度增强信息没有交互利用；全图超分辨计算开销较大，难以满足农业机器人边缘设备的实时性要求。

3、因此，如何在有限计算资源下，同时提升微小目标的图像识别精度与深度估计精度，是本领域亟待解决的技术问题。

技术实现思路

1、为了解决上述技术问题，本技术提供了一种农业微小目标识别定位方法、系统及网络训练方法。

2、第一方面，本技术提供了一种农业微小目标识别定位网络训练方法，包括以下步骤：获取目标图像建立第一训练集，预训练目标检测网络，所述目标检测网络用于输出目标候选区域及其置信度；对所述第一训练集中的图像进行退化处理后与原图像配对，构建图像修复网络的训练数据；将所述目标候选区域映射至退化处理后的图像，生成目标区域掩码；以所述目标区域掩码为空间注意力约束，对所述目标区域执行超分辨修复训练，得到基于生成对抗网络的图像修复网络，所述图像修复网络包括生成器与判别器；将训练后的所述目标检测网络与所述图像修复网络合并为图像识别重建网络进行协同训练，将所述图像修复网络的生成器的输出作为所述目标检测网络的输入，以目标检测损失反向监督图像修复，并更新所述目标候选区域；获取目标图像-深度图对训练集，对所述深度图对训练集中的深度图执行降采样及缺陷模拟处理，得到低分辨率深度图；对所述低分辨率深度图逐像素估计置信度，得到深度置信度图；将目标图像、所述低分辨率深度图及所述深度置信度图输入深度图修复网络，以原深度图为训练目标进行超分辨修复训练，并根据所述深度置信度图调制目标图像特征的引导强度，其中低置信度区域增强引导、高置信度区域抑制引导；将所述图像修复网络与所述深度图修复网络通过跨模态注意力模块连接，使所述深度图修复网络的特征反馈至所述图像修复网络，在深度可靠区域约束图像边缘与纹理重建，并使图像特征继续引导深度修复，以进行双向互引导训练；将训练后的所述图像识别重建网络与所述深度图修复网络联合部署，用于实际场景推理。

3、本技术通过目标级局部超分辨、深度置信度感知加权修复与跨模态双向互引导三个方面的协同，在有限计算资源下同步提升微小目标的图像识别精度与深度估计精度。以目标区域掩码为空间注意力约束的局部超分辨，将高开销的重建计算集中于目标区域，既降低整体计算量，又使目标区域获得更精细的细节重建，边缘更清晰。深度置信度图调制rgb引导强度，低置信度深度像素的噪声在修复过程中不易被放大传播，深度图整体精度提升，也为下游定位提供可靠性信息。跨模态双向互引导中，深度信息为图像修复提供空间结构约束，图像信息为深度修复提供纹理引导，两者互为补充。三个改进点相互增强：目标区域先验使跨模态交互计算聚焦于目标区域，互引导增强后的目标区域特征反馈至检测网络，目标定位更准确，目标区域先验也随之更准确，形成正向循环；深度置信度调制跨模态引导强度，交互按需发生，低置信度区域更多借用图像纹理，高置信度区域保持深度真值，避免交互引入噪声。

4、在一种实施方式中，所述将目标候选区域映射至退化处理后的图像，生成目标区域掩码，包括：将所述目标候选区域进行外扩处理，外扩比例为目标候选区域边缘的10%~30%，将外扩后的区域映射至退化处理后的图像并二值化，得到所述目标区域掩码；所述以目标区域掩码为空间注意力约束，对所述目标区域执行超分辨修复训练，包括：在所述图像修复网络解码阶段以所述目标区域掩码为空间注意力权重，对掩码内区域执行完整超分辨重建，对掩码外区域执行轻量插值或浅层修复。通过设置外扩比例，保证目标边缘区域也被覆盖在超分辨重建范围内，避免目标轮廓细节丢失。

5、可选地，所述图像修复网络的生成器采用加入自注意力机制的残差密集连接模块，所述图像修复网络的判别器采用u型结构的深度学习分类器；所述超分辨修复训练的损失函数包括像素差值损失、感知损失与生成对抗损失的组合，所述感知损失通过预训练网络提取的特征图计算，所述损失函数还包括伪影约束项。自注意力机制能够从不同维度的特征图中提取目标纹理信息，u型判别器实现像素级的图像细节真伪判定，伪影约束项抑制超分辨重建中常见的高频伪影。

6、在一种实施方式中，所述对低分辨率深度图逐像素估计置信度，包括：依据点云密度、局部平滑度、传感器距离衰减模型与帧间一致性中的至少一种信息计算置信度；其中，所述点云密度为邻域内有效深度像素的占比，所述局部平滑度为当前像素深度值与邻域中值差异的映射，所述传感器距离衰减模型为深度值超出设定距离后置信度随距离增大而下降的模型，所述帧间一致性为多帧深度图对齐后残差越小置信度越高的规则。通过多维信息融合计算置信度，能够反映深度像素的可靠性。

7、可选地，所述深度图修复网络包括特征提取模块、融合模块与渐进深度重建模块；所述特征提取模块并行提取目标图像与低分辨率深度图的特征，所述融合模块包括自适应特征重组模块与多尺度特征融合模块，所述渐进深度重建模块中第一层上采样层替换为卷积特征提取层，激活函数采用gelu函数；所述根据深度置信度图调制目标图像特征的引导强度，包括：对低置信度区域设置较高的引导权重，对高置信度区域设置较低的引导权重，所述引导权重的范围为0.3~0.8。

8、在一种实施方式中，所述跨模态注意力模块将所述深度图修复网络的深度特征经卷积与注意力加权后注入所述图像修复网络的对应特征层；在深度置信度高于设定阈值的区域，增强深度特征对图像修复的边缘约束权重；所述图像修复网络与所述深度图修复网络共享部分编码层参数，并通过所述跨模态注意力模块进行端到端联合训练。

9、可选地，所述退化处理包括：将图像降采样并缩小尺度，叠加高斯噪声、泊松噪声以及各向同性或各向异性模糊核、运动模糊核中的至少一种；所述缺陷模拟处理包括：在低分辨率深度图中添加高斯噪声、孔洞缺失与边缘拖影中的至少一种。通过覆盖多种真实工况的退化与缺陷模拟，增强网络对田间复杂环境的鲁棒性。

10、在一种实施方式中，还包括漏检回退步骤：当所述目标检测网络未输出目标候选区域，或所述目标候选区域的置信度低于设定阈值时，所述图像修复网络对整幅图像执行浅层修复，并将浅层修复结果作为超分辨修复结果输出。该回退机制保证在检测漏检的极端情况下方案仍可运行，提高整体鲁棒性。

11、第二方面，本技术提供了一种农业微小目标识别定位方法，所述方法使用根据第一方面任一所述训练方法训练得到的图像识别重建网络与深度图修复网络，包括以下步骤：采集现场目标图像及对应深度图；将所述目标图像输入所述图像识别重建网络，获取目标候选区域、目标识别结果及目标区域超分辨率图像；对所述对应深度图逐像素估计置信度，得到深度置信度图；将所述目标区域超分辨率图像、所述对应深度图及所述深度置信度图输入所述深度图修复网络，获取超分辨率深度图；基于所述目标候选区域、所述目标区域超分辨率图像与所述超分辨率深度图，解算微小目标的三维位置，输出带置信度的抓取定位信息。

12、第三方面，本技术提供了一种农业微小目标识别定位系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述网络训练方法的步骤以及上述识别定位方法的步骤。

13、第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现上述网络训练方法的步骤，或实现上述识别定位方法的步骤。

14、本技术具有如下有益效果：

15、1. 通过目标级局部超分辨，将超分辨计算集中于目标区域，在降低计算开销的同时提升微小目标区域的重建精度，兼顾边缘设备的实时性要求与微小目标识别精度；

16、2. 通过深度置信度感知加权修复，避免低置信度深度噪声的放大传播，提升稀疏深度图的修复精度，并为下游定位提供可靠性信息；

17、3. 通过跨模态双向互引导，利用图像与深度的互补信息，在深度可靠区域约束图像边缘重建、以图像纹理引导深度修复，形成信息闭环，进一步提升识别与定位精度；

18、4. 三个改进点相互协同，形成定位-修复-再定位的正反馈闭环与置信度调制引导强度的按需交互机制，整体效果优于各改进点的简单叠加，提升农业微小目标的识别精度与三维定位可靠性。