基于图像识别的风电叶片表面缺陷在线检测系统及方法与流程
本发明涉及风电叶片质量检测,具体涉及基于图像识别的风电叶片表面缺陷在线检测系统及方法。
背景技术:
1、风电叶片制造涵盖蒙皮铺层、灌注固化、粘接及后固化、修型打磨等工序。目前叶片成型后的缺陷检测主要依赖人工目视,即工人手持强光手电逐段检查叶片表面,识别褶皱、台阶、夹杂、分层、胶衣气泡、裂纹等缺陷;对于胶层及内部缺陷,则需在叶片脱模立放后另行采用无损检测手段。
2、现有技术存在以下不足:其一,人工目视受光线条件及人员经验影响较大,对细微褶皱、微小分层及胶层局部厚薄差异的识别能力有限,微小内部脱粘及纤维夹杂无法通过目视发现,漏检、误检问题突出;其二,缺陷判定缺乏统一标准,不同人员的判定结果不一致,质量追溯困难;其三,表面目视检测与内部无损检测相互独立,数据无法融合,表面缺陷与内部缺陷的位置难以一一对应。
3、此外,已有基于无人机与深度学习的风机叶片表面缺陷检测方案,但其仅适用于场外风机巡检,不具备车间生产线在线扫查、内部缺陷同步检测及缺陷数据库迭代学习的能力。因此,有必要提供基于图像识别的风电叶片表面缺陷在线检测系统及方法,以解决上述背景技术中提到的问题。
技术实现思路
1、为实现上述目的,本发明提供如下技术方案基于图像识别的风电叶片表面缺陷在线检测系统,包括:
2、多模态扫查装置,用于沿风电叶片移动并同步采集其光学表面图像、三维型面数据及内部超声成像数据;
3、缺陷数据库,其存储有按缺陷类型构建的标准化缺陷特征向量及判定阈值;
4、边缘计算单元,其搭载于所述多模态扫查装置上,所述边缘计算单元与所述多模态扫查装置连接,用于接收所述光学表面图像、三维型面数据和内部超声成像数据,并生成多通道融合图像,将所述多通道融合图像输入缺陷识别模型,输出缺陷检测结果以及对应的缺陷特征向量;
5、特征比对单元,其分别与所述边缘计算单元和所述缺陷数据库连接,用于接收所述缺陷特征向量与所述标准化缺陷特征向量,进行相似度计算,当二者相似度超过预设阈值时确认缺陷类型;当二者相似度未超过预设阈值时将所述缺陷检测结果及对应的多通道融合图像标记为未匹配样本,将所述未匹配样本存入所述缺陷数据库;
6、模型迭代单元,其分别与所述缺陷数据库和所述边缘计算单元连接,以更新后的缺陷数据库中的样本为训练集对所述缺陷识别模型执行重训练,并将重训练后的缺陷识别模型下发至所述边缘计算单元。
7、优选地,所述多模态扫查装置包括行走机构和搭载于所述行走机构上的表面图像采集探头、激光线扫描探头和超声相控阵探头,以及设置于所述行走机构上的同步触发控制器,所述同步触发控制器分别与所述表面图像采集探头、激光线扫描探头和超声相控阵探头电连,用于使三者同步触发采集同一位置的叶片检测数据。
8、优选地,所述缺陷数据库包括通用样本库、机型专属样本库以及在线新增待训练样本库;所述通用样本库存储有适用于所有型号风电叶片的通用标准化缺陷特征向量及通用判定阈值;所述机型专属样本库按叶片型号分类存储有对应型号的专用标准化缺陷特征向量及专用判定阈值;所述在线新增待训练样本库用于存放产线识别得到的未匹配样本以及待复核样本;所述特征比对单元在比对时,优先从所述机型专属样本库中调用标准化缺陷特征向量进行相似度计算,当所述机型专属样本库中无对应特征向量时,从所述通用样本库中调用;所述特征比对单元配置为根据当前输入的叶片型号,自动切换匹配的判定阈值。
9、优选地,所述多模态扫查装置中还设有控制单元,所述控制单元与所述行走机构的驱动电机及所述同步触发控制器电连接,所述控制单元配置为执行自适应扫描控制逻辑:根据当前扫描区域在叶片上的位置,自动调节所述行走机构的行走速度与所述同步触发控制器的触发脉冲频率;当所述多模态扫查装置行进至叶片的关键检测区域时,所述控制单元将所述行走速度降低至预设低速,并增大所述触发脉冲频率以加密该区域的扫描密度。
10、优选地,所述特征比对单元设有第一相似度阈值和第二置信度阈值,所述缺陷识别模型输出所述缺陷检测结果时同步输出置信度;当所述缺陷检测结果对应的缺陷特征向量与标准化缺陷特征向量的相似度大于所述第一阈值时,直接确认缺陷类型;当所述相似度小于所述第一阈值且所述置信度大于所述第二阈值时,判定该缺陷检测结果对应的样本为待复核样本并存放入所述在线新增待训练样本库;当所述相似度小于所述第一阈值且所述置信度小于所述第二阈值时,判定该样本为无效样本并丢弃。
11、优选地,所述模型迭代单元被配置为实时统计存放在所述在线新增待训练样本库内的所述待复核样本的累积数量,当所述累积数量达到预设批次阈值时,触发所述重训练;且每次重训练后,将所述在线新增待训练样本库内的待复核样本清除。
12、优选地,所述模型迭代单元执行重训练时,采用迁移学习方式,冻结所述缺陷识别模型中用于提取基础特征的前若干网络层参数,仅更新用于特征融合及预测输出的网络层参数,并将重训练后的缺陷识别模型权重文件下发至所述边缘计算单元。
13、本发明还提供一种基于图像识别的风电叶片表面缺陷在线检测方法,采用如上所述的基于图像识别的风电叶片表面缺陷在线检测系统,所述方法包括以下步骤:
14、s1、控制多模态扫查装置沿风电叶片移动,同步采集风电叶片的光学表面图像、三维型面数据及内部超声成像数据;
15、s2、通过边缘计算单元将所述三维型面数据映射为激光高度图像、将所述内部超声成像数据映射为超声幅值图像,再与所述光学表面图像依据空间坐标对齐后组合为多通道融合图像,将所述多通道融合图像输入缺陷识别模型,输出缺陷检测结果及对应的缺陷特征向量;
16、s3、将所述缺陷特征向量与缺陷数据库中存储的标准化缺陷特征向量进行相似度计算,当相似度超过预设阈值时确认缺陷类型并输出缺陷等级,当相似度未超过预设阈值时将所述缺陷检测结果及对应的多通道融合图像标记为未匹配样本;
17、s4、将所述未匹配样本存入所述缺陷数据库的在线新增待训练样本库,以更新后的缺陷数据库中的样本为训练集对所述缺陷识别模型执行重训练,并将重训练后的缺陷识别模型用于后续检测。
18、优选地,所述同步采集步骤中,通过同步触发控制器使表面图像采集探头、激光线扫描探头和超声相控阵探头同步触发采集同一位置的叶片检测数据,并根据当前扫描区域在叶片上的位置自动调节采集速度与密度,当行进至叶片的关键检测区域时,降低行走速度并增大触发频率以加密扫描密度;所述相似度计算步骤中,根据当前输入的叶片型号,优先从机型专属样本库中调用对应的标准化缺陷特征向量进行比对,当所述机型专属样本库中无对应特征向量时,从通用样本库中调用,并同步切换对应的判定阈值。
19、优选地,所述标记为未匹配样本的步骤中,设置第一相似度阈值和第二置信度阈值,当相似度小于所述第一阈值且所述缺陷识别模型输出的置信度大于所述第二阈值时,将该样本标记为待复核样本并存入在线新增待训练样本库;统计存入所述在线新增待训练样本库内待复核样本的累积数量,当所述累积数量达到预设批次阈值时触发所述重训练,且每次重训练后,将所述在线新增待训练样本库中的待复核样本从所述缺陷数据库中清除;所述重训练采用迁移学习方式,冻结所述缺陷识别模型中用于提取基础特征的前若干网络层参数,仅更新用于特征融合及预测输出的网络层参数,生成重训练后的缺陷识别模型并用于后续检测。
20、与现有技术相比,本发明提供了基于图像识别的风电叶片表面缺陷在线检测系统及方法,具有以下有益效果:
21、1、本发明中缺陷数据库依据工艺文件和客户标准划分检测区域与缺陷子类,绑定机型专属工艺阈值与缺陷等级,建立通用与机型专属分层存储及多维检索索引。在线检测时,优先匹配机型专属特征向量,结合余弦相似度与置信度双重阈值验证模型输出,避免通用模型误判,确保判定结果可靠,同时筛选高价值待复核样本;
22、2、通过同步触发控制器确保三类探头微秒级同时采集同一位置数据,坐标实时绑定;关键检测区域自动降速加密扫描,提升缺陷检出率。将三维型面与超声数据分别映射为高度图像和幅值图像,与光学图像融合为多通道输入,使表面纹理、型面高度和内部结构特征在单一模型中联合分析,既增强微小和复合型缺陷的识别能力,又降低多模型推理延迟。
23、3、本发明中将相似度低但置信度高的待复核样本存入在线新增样本库,经人工复核后合并至数据库;当累积数量达阈值时自动触发重训练,采用冻结骨干网络、仅更新后层的迁移学习方式,保留通用特征提取能力的同时快速适应新型缺陷,并下发更新权重,实现数据库与模型的自主持续优化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com