一种用于愈伤组织夹取的目标检测与定位方法及其装置

本发明涉及图像识别，具体涉及一种用于愈伤组织夹取的目标检测与定位方法及其装置。

背景技术：

1、单倍体育种技术是现代农业育种中的高效手段，其中花药/小孢子培养是最常用的单倍体诱导途径；同时，转基因育种等体系中同样能够获得愈伤组织，这种育种途径获得的愈伤组织均需要从诱导培养基无菌转移至分化培养基。然而，愈伤组织体积微小（通常仅1-3mm）、结构疏松、含水量高、机械强度极低，且常紧密附着于花药壁残片或培养基表面，粘附性强；

2、目前，利用视觉系统引导夹取爪完成愈伤组织转接，已成为自动化培养作业中的常见环节，现有的图像识别控制方式通常通过安装在固定支撑轴上的图像传感器采集目标物料图像，再根据像素矩阵中的边缘梯度变化确定目标几何中心点，并控制传动模组将夹取爪移动到对应的空间位置，在这一过程中，图像的灰度特征容易受到愈伤组织表面反射特性和光线传播情况的影响，因此，目标边缘处的灰度变化是否清晰，直接关系到中心位置的识别和定位精度，当上述技术用于识别培养皿内附着在高含水量琼脂培养基表面的非刚性组织时，图像特征容易出现明显退化，湿润的琼脂表面以及组织表层的液膜在外部光源照射下容易产生镜面反射，并在图像中形成灰度过饱和的高光斑，从而遮挡目标的真实特征，与此同时，愈伤组织体积较小且呈半透明状态，入射光会在组织内部发生散射，使愈伤组织与琼脂背景交界处的灰度变化过于平缓，边缘梯度幅值甚至接近于零。

3、对于高光干扰与低对比度边缘同时存在的情况，现有技术通常采用较大尺度的滤波方法去除高光噪声，然而，该方法在平滑高光区域的同时，也容易削弱或抹除半透明组织边缘处原本较弱的灰度梯度，使目标边界更加难以识别，若通过调整光源入射角度或提高照明强度改善图像质量，液膜表面曲率的变化又可能使局部灰度饱和区域进一步扩大，因此难以同时兼顾高光噪声抑制和微弱边缘保留，例如，公开号为cn110992368a的中国发明专利申请公开了一种培养皿成像定位方法及装置，虽然通过粗定位与精定位结合的方式实现了培养皿整体轮廓的截取，但其本质上仅针对整体容器边缘进行霍夫圆拟合，其底层算法高度依赖清晰的圆形几何边界和理想光照条件。在实际的愈伤组织夹取作业中，培养皿内部往往伴随复杂的培养基质反射、气泡干扰以及多变的表层组织形态，导致单纯依赖容器边缘几何特征的控制方法无法穿透表层噪声，难以建立表层靶点与整体坐标之间的精准映射关系，这种底层技术逻辑上的局限性，使得现有方案无法满足愈伤组织自动化精准夹取对表层定位精度的严苛要求，需要一种能够突破容器边界限制、实现内部目标精确定位与深度控制的新型方法。

4、因此，如何在单次定位仅依赖当前帧像素灰度图像、且允许曝光参数由上一采集周期自适应更新的情况下，补偿高光饱和区域造成的特征缺失，实现半透明愈伤组织微弱边界的亚像素级恢复，输出能够准确反映目标轮廓的边缘图像，并获得供多轴伺服机构对准使用的三维空间坐标，仍是该类图像识别定位技术需要解决的问题。

技术实现思路

1、本发明提出了一种用于愈伤组织夹取的目标检测与定位方法，包括以下步骤：

2、步骤s1，获取包含培养皿被测区域的当前帧初始图像，当前帧初始图像用于本次定位计算；

3、步骤s2，分离初始图像中的漫反射分量并填补高光遮蔽区域，输出漫反射基准图像；

4、步骤s3，对漫反射基准图像进行非线性各向异性扩散演化，在当前迭代图像及其局部邻域分别求取像素级二维空间灰度差分（帧差法），提取结构梯度向量与纹理梯度向量计算同名像素点位置处的中间结构空间梯度向量与中间纹理空间梯度向量的方向共线夹角余弦绝对值，依据方向共线夹角余弦绝对值对同名像素点位置处的局部对比度门限参数进行动态更新，在方向共线夹角余弦绝对值趋近于0时放大局部对比度门限参数以平滑高光伪边缘，在方向共线夹角余弦绝对值趋近于1时抑制局部对比度门限参数以保留弱对比度边界，解耦分离出表征愈伤组织边界轮廓的图像结构通道特征图以及表征细胞散射纹理的图像纹理通道特征图；

5、步骤s4，计算漫反射基准图像的局部对比度特征矩阵并解算融合系数，将图像结构通道特征图和图像纹理通道特征图交叉融合，输出融合边缘强度图像；

6、步骤s5，在融合边缘强度图像上运行主动轮廓模型，确定愈伤组织的亚像素中心像素坐标；

7、步骤s6，将亚像素中心像素坐标导入预设的齐次空间坐标变换矩阵，计算输出夹取爪物理坐标系下的三维物理中心坐标。

8、优选的，步骤s1中获取包含培养皿被测区域的当前帧初始图像，当前帧用于本次定位计算，具体包括以下步骤：步骤s11，在第帧采集周期内，基于第帧采集的像素矩阵计算愈伤组织局部兴趣区域的结构熵；步骤s12，读取当前相机的曝光参数以及预设的目标最优结构熵，将目标最优结构熵与结构熵的比值乘以曝光参数，计算当前周期的曝光补偿系数；步骤s13，在第帧图像采集前，将曝光补偿系数写入相机的控制总线，更新相机的动态曝光参数。

9、优选的，步骤s2中分离初始图像中的漫反射分量并填补高光遮蔽区域，输出漫反射基准图像，具体包括以下步骤：步骤s21，计算初始图像的像素灰度均值与像素灰度标准差；步骤s22，将像素灰度均值与3倍像素灰度标准差相加，构建灰度临界阈值，将灰度值超过灰度临界阈值的像素区域标记为高光斑噪声区域；步骤s23，读取高光斑噪声区域外围非高光像素的局部灰度梯度方向，沿局部灰度梯度方向采用方向性局部插值算子向内填充高光斑噪声区域的灰度值，完成局部灰度场重建，输出漫反射基准图像。

10、优选的，步骤s3中对漫反射基准图像进行非线性各向异性扩散演化，具体包括以下步骤：步骤s31，将漫反射基准图像载入图像暂存矩阵，在内存空间中初始化演化迭代总次数为正整数，并令当前迭代轮次计数器；步骤s32，在第轮扩散迭代周期内，对当前的中间结构通道特征图与中间纹理通道特征图分别求取像素级二维空间灰度差分，提取对应的中间结构空间梯度向量与中间纹理空间梯度向量；步骤s33，读取同名像素点位置处的中间结构空间梯度向量与中间纹理空间梯度向量，计算两者在二维特征空间中的方向共线夹角余弦值；步骤s34，利用方向共线夹角余弦值更新局部对比度门限参数，更新公式为：，其中，为局部对比度门限参数，为根据背景培养基区域局部噪声直方图离散度标定的基准门限常数，为预设的阻尼调节权重，为方向共线夹角余弦值的绝对值；步骤s35，将更新后的局部对比度门限参数带入各向异性扩散系数方程，求解当前轮次下针对漫反射基准图像的演化差分方程；步骤s36，利用求解得到的演化扩散系数更新下一轮次的特征矩阵，将当前迭代轮次计数器更新为，循环返回步骤s32至步骤s35，直至当前迭代轮次计数器触达演化迭代总次数时终止演化，将收敛后的扩散图像输出为图像结构通道特征图，将演化残差图像输出为图像纹理通道特征图。

11、优选的，步骤s4中计算漫反射基准图像的局部对比度特征矩阵并解算融合系数，将图像结构通道特征图和图像纹理通道特征图交叉融合，输出融合边缘强度图像，具体包括以下步骤：步骤s41，获取漫反射基准图像中愈伤组织中心区域的平均灰度值以及局部背景培养基区域的平均灰度值，将平均灰度值之差与平均灰度值之和的比值确定为局部对比度特征矩阵；步骤s42，将局部对比度特征矩阵带入s型映射函数，解算出介于0至1之间的融合系数；步骤s43，利用融合系数作为图像结构通道特征图的加权权重，同时利用无量纲数1与融合系数之差作为图像纹理通道特征图的加权权重，将两通道特征图逐像素加权求和，输出融合边缘强度图像。

12、优选的，步骤s5中在融合边缘强度图像上运行主动轮廓模型，确定愈伤组织的亚像素中心像素坐标，具体包括以下步骤：步骤s51，在融合边缘强度图像上构建闭合初始轮廓曲线，设定表征曲线连续性的张力权重系数、表征曲线刚性的弯曲系数以及外力吸附系数；步骤s52，计算由张力权重系数与弯曲系数控制的内部约束力学能量，同时计算由融合边缘强度图像梯度的负模长控制的外部特征吸附能量；步骤s53，通过变分法迭代驱动初始轮廓曲线演化，对收敛后的闭合轮廓边界进行亚像素插值拟合，并将拟合轮廓围域的几何质心确定为亚像素中心像素坐标。

13、优选的，步骤s6中将亚像素中心像素坐标导入预设的齐次空间坐标变换矩阵，计算输出夹取爪物理坐标系下的三维物理中心坐标，具体包括以下步骤：步骤s61，通过预先测定的眼在手上视觉标定参量，建立包含相机内参矩阵、旋转矩阵以及平移向量的齐次空间坐标变换矩阵；步骤s62，将亚像素中心像素坐标与识别定位模块的镜头焦距及安装高度参数联立，基于单目成像模型构建像素反投影射线，并与预设工作平面（由九点标定法获得）求交，再通过齐次空间坐标变换矩阵解算出愈伤组织质心；

14、步骤s6输出三维物理中心坐标之后，还包括运动驱动步骤：步骤s63，根据三维物理中心坐标生成多轴伺服机构的运动脉冲控制指令；步骤s64，将运动脉冲控制指令发送至伺服控制器，驱动夹取爪位移至三维物理中心坐标对应的空间位置，对愈伤组织进行夹取。

15、优选的，在步骤s34前，还包括基准门限常数的自适应更新步骤：步骤s341，提取漫反射基准图像中属于背景培养基区域的像素集合，计算像素集合的灰度直方图；步骤s342，分析灰度直方图的离散度，将离散度与预设的标准方差基准进行比例映射，重构并更新基准门限常数。

16、优选的，步骤s2输出漫反射基准图像之后，还包括环境噪声过载时的降维定位分支：步骤s24，计算漫反射基准图像的高光残余面积占比；步骤s25，判断高光残余面积占比是否超过预设的安全面积阈值；步骤s26，若高光残余面积占比超过预设的安全面积阈值，则跳过步骤s3至步骤s5，切换至背景减除流程，直接根据漫反射基准图像中物料连通域的外接矩形几何中心生成像素坐标。

17、一种用于培养皿愈伤组织夹取装置，包括支撑座、夹取爪以及识别定位模块，所述识别定位模块包括采集单元以及处理单元，所述采集单元设置在支撑座上方，所述支撑座的上端设置有前后方向移动的移动台，且支撑座上通过支架安装有第一直线模组；

18、所述第一直线模组上设置有第二直线模组，第二直线模组上安装有驱动夹取爪上下方向进行移动的驱动机构；

19、所述驱动机构由所述第一直线模组驱动沿左右方向移动，且所述驱动机构由所述第二直线模组驱动沿上下方向移动。

20、本发明的有益效果是：

21、1、在培养皿愈伤组织夹取的目标检测中，根据初始图像的亮度均值和标准差确定高光区域，并沿高光区域外围像素的灰度梯度方向进行局部插值，能够补全镜面反射造成的灰度信息缺失，与采用大范围滤波去除高光的方式相比，该处理能够减少高光噪声对图像的干扰，同时避免愈伤组织边缘被过度平滑，使修复后的高光区域与周围正常区域保持较为自然的灰度过渡，由此可为后续边缘识别提供较为完整的漫反射基准图像，减少高光斑造成的中心位置偏移，有利于提高亚像素中心定位的准确性。

22、2、在非线性各向异性扩散过程中，根据图像结构通道特征与图像纹理通道特征的梯度方向关系，动态调整局部对比度门限参数，能够对不同性质的图像边缘采用不同的处理强度，对于液膜波动产生的高光伪边缘，可以加强平滑处理；对于愈伤组织与培养基之间较弱的真实边界，则可以限制扩散，避免边缘被进一步削弱，这样能够兼顾噪声抑制和弱边界保留，使半透明愈伤组织的真实轮廓在复杂背景下更加清晰，改善传统平滑处理容易同时抹除有效边缘的问题。

23、3、根据目标区域与背景区域的灰度差异，对图像结构通道特征图和图像纹理通道特征图进行自适应融合，能够增强愈伤组织与琼脂培养基交界处的边缘强度，为主动轮廓模型提供更清晰、可靠的边缘依据，在此基础上，主动轮廓模型能够在曲线连续性和弯曲程度的约束下逐步贴合目标的真实外轮廓，减少高光伪边缘引起的轮廓偏移、分叉或断裂，使最终得到的亚像素中心像素坐标更加稳定、准确。