一种塑胶注塑成型缺陷的视觉识别方法与流程
本技术涉及缺陷识别,尤其涉及一种塑胶注塑成型缺陷的视觉识别方法。
背景技术:
1、在注塑成型生产过程中,产品表面及结构可能出现飞边、缩痕、熔接痕、烧焦、翘曲变形等多种缺陷。随着制造业对产品质量一致性要求的不断提高,传统的人工目视检测已无法满足高速产线对检测效率和准确率的需求。基于机器视觉的自动缺陷检测方法逐渐成为行业主流。
2、现有注塑缺陷视觉检测方案主要采用高速工业相机采集二维图像,通过深度学习模型识别缺陷并触发机械手以固定轨迹剔除不良品,但该方案存在以下局限:其一,仅依赖二维纹理图像,难以可靠检测缩痕、微小凹陷等以几何形变为主要特征的缺陷,且对高光、透明等材质成像不稳定;其二,工业现场光照波动和材质反射差异导致图像质量波动,传统全局增强方法难以针对性补偿,模型鲁棒性差;其三,剔除动作基于固定“检测-触发”逻辑,无法自适应规划最优路径,存在误剔除、碰撞及超时风险。
3、因此,亟需一种缺陷识别新方法,以对多类缺陷实现稳定准确识别,并自适应地完成高效、安全的剔除作业。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够对多类缺陷实现稳定准确识别,并自适应地完成高效、安全的剔除作业的塑胶注塑成型缺陷的视觉识别方法。
2、第一方面,本技术提供一种塑胶注塑成型缺陷的视觉识别方法,所述方法包括:
3、同步采集注塑件的多模态数据,所述多模态数据至少包括hdr可见光图像和三维点云数据;
4、基于视觉恰可察觉差模型估计照度图,并从所述三维点云提取表面法向信息,根据所述照度图和所述表面法向信息动态调整光源,对所述hdr可见光图像进行自适应光照补偿,生成纹理增强图像;
5、基于所述纹理增强图像,提取纹理特征及几何特征进行加权融合,得到多模态融合特征图,并基于所述多模态融合特征图输出缺陷类别及缺陷位置信息;
6、构建智能体,其中所述智能体的状态空间至少包括所述缺陷类别、三维位置、尺寸和朝向以及当前生产节拍状态、机械手位姿和输送带速度,所述智能体的动作空间为机械手从等待位姿到剔除点再到废料箱的完整运动轨迹规划;
7、根据所述缺陷类别及所述缺陷位置信息,结合实时生产状态信息,通过所述智能体推理生成最优剔除动作轨迹,驱动机械手完成自适应剔除作业。
8、在其中一个实施例中,所述基于视觉恰可察觉差模型估计照度图,并从所述三维点云提取表面法向信息,根据所述照度图和所述表面法向信息动态调整光源,对所述hdr可见光图像进行自适应光照补偿,生成纹理增强图像包括:
9、根据所述hdr可见光图像,基于视觉恰可察觉差模型估计照度图,并从所述三维点云提取表面法向信息,根据所述表面法向信息对所述照度图进行修正,得到最终目标照度图;
10、将所述最终目标照度图映射为多角度光源各分区的强度及出射角度控制指令,同时生成hdr相机的曝光参数调整指令,使实际物理光照分布逼近所述最终目标照度图;
11、在调整后的光源与曝光参数下,控制hdr相机重新采集或直接在已获取的多曝光图像信号上进行曝光融合,输出明暗细节均匀、高光与暗部纹理均保持完整的纹理增强图像,从而完成对所述hdr可见光图像的自适应光照补偿。
12、在其中一个实施例中,所述根据所述hdr可见光图像,基于视觉恰可察觉差模型估计照度图包括:
13、将所述hdr可见光图像从rgb空间转换至亮度-色度分离空间提取亮度通道,并对所述亮度通道进行保边滤波,得到描述光照缓变分布的初始照度图;
14、基于所述初始照度图的局部背景亮度,通过视觉恰可察觉差模型计算反映人眼亮度自适应效应的第一jnd阈值分量,同时计算所述亮度通道的局部梯度幅值,并基于所述局部梯度幅值生成反映对比度掩蔽效应的第二jnd阈值分量;
15、将所述第一jnd阈值分量与所述第二jnd阈值分量进行融合,得到逐像素的jnd阈值图;
16、计算所述亮度通道的局部对比度,并将所述局部对比度与所述jnd阈值图逐像素比较,当所述局部对比度低于jnd阈值时,将差值作为对应像素所需的照度补偿量,生成增强需求图;
17、将所述增强需求图叠加至所述初始照度图,得到目标照度图。
18、在其中一个实施例中,所述从所述三维点云提取表面法向信息,根据所述表面法向信息对所述照度图进行修正,得到最终目标照度图包括:
19、从所述三维点云计算每个像素对应的表面单位法向向量,并求取所述表面单位法向向量与相机光轴之间的夹角;
20、根据所述夹角确定表面反射特性修正因子,并根据所述表面反射特性修正因子对目标照度图进行加权修正,获得经几何修正的最终目标照度图。
21、在其中一个实施例中,所述基于所述纹理增强图像,提取纹理特征及几何特征进行加权融合,得到多模态融合特征图,并基于所述多模态融合特征图输出缺陷类别及缺陷位置信息包括:
22、基于所述纹理增强图像,提取纹理特征及几何特征;
23、将所述几何特征通过空间映射网络映射至与所述纹理特征图空间对齐的几何特征图,使异构模态特征在同一坐标系下具备像素级对应关系;
24、根据所述纹理特征图与所述几何特征图进行加权融合,得到多模态融合特征图,并基于所述多模态融合特征图输出缺陷类别及缺陷位置信息。
25、在其中一个实施例中,所述根据所述纹理特征图与所述几何特征图进行加权融合,得到多模态融合特征图,并基于所述多模态融合特征图输出缺陷类别及缺陷位置信息包括:
26、将所述纹理特征图与所述几何特征图在通道维度进行拼接,得到拼接特征图;
27、将所述拼接特征图输入可学习注意力机制,所述学习注意力机制由通道注意力模块和空间注意力模块串联构成,所述通道注意力模块用于学习各特征通道在不同缺陷类型下的响应权重,所述空间注意力模块用于聚焦缺陷所在的空间位置区域,经所述可学习注意力机制加权后输出多模态融合特征图;
28、基于所述多模态融合特征图输出缺陷类别及缺陷位置信息。
29、在其中一个实施例中,所述基于所述多模态融合特征图输出缺陷类别及缺陷位置信息包括:
30、对所述多模态融合特征图进行多尺度特征增强,获取包含不同空间分辨率的多尺度融合特征;
31、在所述多尺度融合特征上并行执行分类任务与定位任务,其中所述分类任务输出缺陷类别及对应置信度,所述定位任务输出缺陷的二维边界框;
32、将所述多模态融合特征图中对应缺陷区域的特征映射至三维点云的空间索引,从所述三维点云中解析出缺陷的三维位置坐标和三维尺寸,与所述缺陷类别及所述二维边界框共同作为输出。
33、在其中一个实施例中,所述构建智能体包括:
34、构建状态空间和动作空间;
35、构建奖励函数,所述奖励函数设置为成功剔除缺陷品且未发生碰撞时给予第一正向奖励值,在规定生产节拍时间内完成剔除任务时给予第二正向奖励值,运动轨迹平滑度高于预设阈值时给予第三正向奖励值,误剔除良品或漏剔除缺陷品时给予第一负向惩罚值,发生与模具、输送带或良品的碰撞时给予第二负向惩罚值,剔除动作超出剩余可执行时间时给予第三负向惩罚值;
36、在与真实产线保持同步的数字孪生环境中,利用所述状态空间、所述动作空间及所述奖励函数对智能体进行离线训练,得到训练完成的智能体。
37、综上所述,本技术包括以下有益技术效果:
38、同步采集hdr可见光图像和三维点云数据,能突破单一纹理感知局限,同时捕获表面的颜色、纹理等二维信息与凹陷、曲率等三维几何形变信息;通过视觉恰可察觉差模型估计照度图,并引入表面法向信息进行自适应光照补偿,能从成像根源消除高光过曝、暗部欠曝以及材质反射差异造成的干扰,显著提升后续识别在复杂光照环境下的鲁棒性与准确率;提取纹理特征及几何特征进行加权融合,使网络能够针对不同缺陷类型自动强化关键模态响应,同时输出缺陷类别、缺陷位置信息,既提高了纹理类缺陷与几何类缺陷的综合识别准确率,又为剔除执行机构提供了可直接使用的缺陷三维坐标与尺寸,实现感知信息到决策输入的精准传递;将缺陷多维属性与当前生产节拍、机械手位姿、输送带速度等动态状态统一纳入状态空间,并设计从等待位姿到剔除点再到废料箱的完整运动轨迹作为动作空间,使智能体能够在空间、时间和物理约束下进行多目标权衡决策,改变传统固定轨迹剔除的僵化模式;根据缺陷类别及缺陷位置信息,结合实时生产状态信息,通过智能体推理生成最优剔除动作轨迹,能确保机械手在限定节拍内完成剔除并避免碰撞与误操作,实现高速产线下的感知-决策-执行闭环优化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com