一种医药柜机器人的抓取药品图像增强识别方法、电子设备及存储介质与流程
本技术涉及图像处理及模式识别,尤其落入g06v10分类号范围,特指一种医药柜机器人的抓取药品图像增强识别方法、电子设备及存储介质。
背景技术:
1、在现代医院或大型药房的自动化医药柜中,医药柜机器人系统被广泛应用于药品的自动存取、盘点与分发流程。这种自动化作业高度依赖于视觉系统,其通过工业彩色相机采集柜内药盒的图像,利用图像处理算法引导机械臂及其末端执行器进行精准的药品抓取。然而,药品的外包装形式多样,通常采用表面覆膜纸盒、聚氯乙烯塑料或铝箔泡罩等具有高反射率的高光材质。
2、当医药机器人伸入医药柜层板之间狭窄的间隙进行作业时,由于外部环境光源的散射或机器人末端补光灯的直接照射,光线在上述高反射率药品包装表面会发生镜面反射光线在上述高反射率药品包装表面会发生镜面反射;特别是,医药柜层板间隙狭窄导致末端补光灯与药盒表面形成特定入射角,在弧形泡罩包装表面产生非对称性镜面反射高光带。这种现象会在包装表面形成高亮度的局部高光区域,导致该区域的图像传感器像素值迅速达到饱和状态。像素过曝使得高光覆盖位置的药品条码、药品名称文字印刷特征以及包装物理边缘轮廓等关键视觉特征丢失,造成图像呈现大面积泛白死区。现有的常规图像分类和识别算法在处理此类受损图像时,由于缺乏对高频缺失信息的补偿机制,容易将高光区域误判为背景干扰,导致图像提取失败、目标对象分类错误或执行器抓取锚点计算发生偏差。在实际的医药作业场景中,这种偏差会引发漏抓、抓错药类甚至因施力点错误而夹碎药盒的物理故障,制约了医药机器人的规模化部署和精准取药的可靠性。亟需一种能够在前端算法层层面对高光区域进行反光校正并融合多维特征以恢复缺失信息的有效图像增强方案。
技术实现思路
1、本技术所要解决的技术问题是:针对医药柜内复杂光照及药盒高光材质导致的反光现象,提出一种图像增强识别方法及电子设备、存储介质,以实现对光斑干扰的有效消除,恢复图像特征,进而提升药品目标识别率与机器人抓取的成功率。
2、为了解决上述技术问题,本技术提供了一种医药柜机器人的抓取药品图像增强识别方法,包括以下步骤,获取药品的原始rgb图像,提取亮度通道并基于自适应阈值生成二值化高光掩码矩阵以定位高光区域;对所述高光区域采用快速行进法利用所述二值化高光掩码矩阵边界外围的像素进行加权插值填补,生成反光校正图像;对所述原始rgb图像的灰度图计算梯度并归一化,生成高频边缘图像;将所述反光校正图像输入主干网络提取语义特征,将所述高频边缘图像输入并行浅层网络提取边缘细节特征;根据所述二值化高光掩码矩阵计算高光像素的面积占比并生成权重,基于所述权重在通道维度上拼接所述语义特征与所述边缘细节特征,得到融合特征;将所述融合特征输入对象识别网络,输出药品类别标签及包围框坐标;将所述包围框坐标结合深度相机的深度数据转换为抓取位姿指令,驱动末端执行器进行药品抓取。
3、具体而言,所述提取亮度通道并基于自适应阈值生成二值化高光掩码矩阵以定位高光区域的过程包括,将所述原始rgb图像由rgb颜色空间转换至hsv颜色空间,提取v通道分量作为所述亮度通道;计算所述亮度通道中所有像素的灰度均值与标准差,将所述灰度均值与所述标准差之和乘以预设环境光系数,得到所述自适应阈值;将所述亮度通道中灰度值大于所述自适应阈值的像素标记为高光像素并赋值为第一预设值以构成所述高光区域,将剩余像素赋值为第二预设值,生成所述二值化高光掩码矩阵。
4、具体而言,所述对所述高光区域采用快速行进法利用所述二值化高光掩码矩阵边界外围的像素进行加权插值填补,生成反光校正图像的过程包括,初始化窄带区域,所述窄带区域包含紧邻所述高光像素边界的所有非高光像素;针对所述二值化高光掩码矩阵中的每一个待修复的高光像素,在预设邻域窗口内寻址已知灰度值的参考像素;计算所述参考像素到所述待修复的高光像素的方向梯度和距离权重;基于方向梯度函数及反向距离加权函数,对所述预设邻域窗口内所有参考像素的灰度值进行加权求和,得到插值灰度值;将所述插值灰度值赋予所述待修复的高光像素,并更新所述窄带区域直至所述二值化高光掩码矩阵中的所有高光像素均被所述插值灰度值替换,输出所述反光校正图像。
5、具体而言,所述对所述原始rgb图像的灰度图计算梯度并归一化,生成高频边缘图像的过程包括,采用sobel算子分别计算所述灰度图在水平方向的第一梯度分量和在垂直方向的第二梯度分量;基于所述第一梯度分量和所述第二梯度分量的平方和的平方根,计算得到每个像素的综合梯度幅值;提取所述综合梯度幅值大于预设边缘阈值的像素点。
6、具体而言,在计算得到所述每个像素的综合梯度幅值后,所述归一化并生成高频边缘图像的过程包括,统计所述原始rgb图像的灰度图中所有像素的所述综合梯度幅值,寻找幅值最大值和幅值最小值;对每个像素的所述综合梯度幅值减去所述幅值最小值得到第一差值,将所述幅值最大值减去所述幅值最小值得到第二差值;将所述第一差值与所述第二差值相除进行线性映射,得到映射值;将所述映射值乘以常数以进行量化,生成8位无符号整型的所述高频边缘图像;将所述高频边缘图像输入所述并行浅层网络的首层卷积层中,所述并行浅层网络被配置为独立于所述主干网络运行的特征提取分支。
7、具体而言,所述根据所述二值化高光掩码矩阵计算高光像素的面积占比并生成权重的过程包括,统计所述二值化高光掩码矩阵中值为第一预设值的高光像素的总数;将所述高光像素的总数除以所述二值化高光掩码矩阵的总像素数量,得到所述面积占比;将预设的经验调节系数与所述面积占比相乘,得到所述权重。
8、具体而言,所述基于所述权重在通道维度上拼接所述语义特征与所述边缘细节特征,得到融合特征的过程包括,将分配给所述语义特征的主干权重配置为预设常量减去所述权重;将所述语义特征中的每个通道的特征图矩阵分别乘以所述主干权重,得到加权语义特征;将所述边缘细节特征中的每个通道的特征图矩阵分别乘以所述权重,得到加权边缘特征;利用按位连接操作,将所述加权边缘特征沿着通道维度直接拼接至所述加权语义特征的末尾,生成拼接特征张量;对所述拼接特征张量执行1×1卷积降维处理,通过线性组合跨通道信息以恢复至预设的标准通道数,输出所述融合特征。
9、具体而言,所述将所述包围框坐标结合深度相机的深度数据转换为抓取位姿指令的过程包括,提取所述包围框坐标的几何中心像素点作为二维抓取目标点;查询与所述原始rgb图像对齐的所述深度数据,获取所述二维抓取目标点对应的深度值;结合所述深度相机的内参矩阵,将所述二维抓取目标点和所述深度值转换为三维相机坐标系下的空间坐标;利用手眼标定矩阵将所述空间坐标变换至机械臂基坐标系下,生成所述抓取位姿指令。
10、本技术还提供了一种电子设备,所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的医药柜机器人的抓取药品图像增强识别方法。
11、本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的医药柜机器人的抓取药品图像增强识别方法。
12、综上所述,本技术提供的方法通过引入反光校正掩码、建立双流网络分别并行提取基础纹理语义特征与高频边缘细节特征,并采用动态权重进行通道维度的特征融合,实现对大面积反光药盒的高鲁棒性对象识别。无需增加多角度相机阵列或复杂的机械避光硬件结构,纯通过软件算法层面的像素级修复与边缘梯度物理信息互补,有效消除了光斑干扰,提高了复杂光照及反光材质条件下的特征提取完整度与机器人精准取药成功率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com