一种应用人工智能系统的凉席成品质量视觉检测方法与流程
本技术属于计算机视觉与人工智能,具体涉及一种应用人工智能系统的凉席成品质量视觉检测方法。
背景技术:
1、凉席成品质量评价涉及外观缺陷、几何尺寸、材料特性等多个维度,现有检测技术主要依赖单一可见光视觉系统采集表面图像数据进行缺陷识别判别,然而可见光图像仅能反映凉席表面可见信息,无法获取材质内部热分布特征和三维几何形貌数据,导致外观缺陷与尺寸偏差、材料均匀性等质量指标被割裂为相互独立的信息孤岛。
2、常见的凉席质量检测方法一般通过优化图像采集光源配置和改进缺陷分类网络结构来提升外观缺陷的识别精度,但这些方案均建立在单一模态数据的基础之上。由于可见光、红外热成像、3d结构光等异构数据的格式表征差异巨大,难以实现跨模态特征的有效关联与统一融合,导致现有技术仅能提供凉席单一维度的质量判定结果,无法综合外观缺陷、几何尺寸偏差和材料均匀性等多维质量信息形成整体评价,如何实现多源异构数据的有效融合与多维度质量信息的综合判定成为凉席成品质量检测领域亟待解决的关键难题。
技术实现思路
1、对现有技术中存在的不足,本发明提供一种应用人工智能系统的凉席成品质量视觉检测方法,可以有效解决上述背景技术中的问题。
2、为实现上述目的,本发明采取的技术方案为:
3、本发明提供一种应用人工智能系统的凉席成品质量视觉检测方法,该方法包括如下步骤:
4、通过多模态感知设备集成方案同步采集凉席成品的可见光图像数据、红外热成像数据和三维结构光扫描数据,其中通过多传感器时空同步触发机制和多视角协同标定算法使数据采集的时间同步偏差在±1毫秒以内、空间对应偏差不超过0.1毫米;
5、分别对所述可见光图像数据、所述红外热成像数据和所述三维结构光扫描数据进行特征提取,得到外观缺陷特征表示、材料均匀性特征表示和几何尺寸特征表示,并对所述外观缺陷特征表示、所述材料均匀性特征表示和所述几何尺寸特征表示进行特征级融合得到融合特征向量;
6、将所述融合特征向量输入多源数据决策级融合算法框架,基于d-s证据理论和贝叶斯推理进行加权融合,量化各模态数据的不确定性并计算融合置信度,输出综合质量评价结果;
7、将所述综合质量评价结果输入多任务学习神经网络,同步输出缺陷分类结果、尺寸测量结果和材料评估结果,并加权计算得到综合质量得分;
8、将所述综合质量得分映射为预设的质量等级,得到凉席成品的质量等级判定结果。
9、进一步地,所述多传感器时空同步触发机制包括:
10、统一的时间控制器作为系统时钟源,通过硬件触发信号线分别与可见光相机阵列、红外热成像模块和三维结构光扫描系统连接;
11、当所述时间控制器发出采集触发信号时,所述采集触发信号同时传输至所述可见光相机阵列、所述红外热成像模块和所述三维结构光扫描系统,使所述可见光相机阵列、所述红外热成像模块和所述三维结构光扫描系统在±1毫秒的时间窗口内完成数据采集。
12、进一步地,对所述可见光图像数据进行特征提取包括:
13、采用融合空间注意力模块和通道注意力模块的特征提取网络;
14、所述空间注意力模块对输入特征图在通道维度上进行全局平均池化和全局最大池化,将池化结果在通道维度上级联形成通道数为2的二维特征图,经卷积层和激活函数生成单通道的二维空间注意力权重图,将所述单通道的二维空间注意力权重图与所述输入特征图逐元素相乘,使计算资源聚焦于图像中面积较小且分布稀疏的缺陷区域,抑制大面积正常编织纹理的背景区域特征响应;
15、所述通道注意力模块对所述输入特征图在空间维度上进行全局平均池化和全局最大池化,得到两个一维通道级特征描述子,分别输入全连接层提取通道间的依赖关系,将两个分支的输出逐元素相加后经激活函数得到通道注意力权重,将所述通道注意力权重与所述输入特征图逐通道相乘,自适应增强对断丝的边缘信息或污渍的颜色信息敏感的特征通道响应,抑制无关特征通道的响应。
16、进一步地,对所述红外热成像数据进行特征提取包括:
17、将红外热图像依次进行非均匀性校正、基于黑体参考源的温度定标以及基于材料辐射率查表的辐射率校正预处理后,输入热分布特征提取网络;
18、所述热分布特征提取网络采用卷积神经网络架构,采用较小的卷积核尺寸捕获细粒度的温度变化,通过温度梯度分析识别材料内部的密度差异和编织不均匀区域,增加卷积层的数量提取更深层次的温度分布特征;
19、所述热分布特征提取网络采用多任务学习策略训练,在共享卷积层和池化层后分为多个分支,分别预测温度标准差、温度均匀性指数和局部热点数量,训练损失函数为各分支均方误差损失的加权和,得到材料均匀性特征表示。
20、进一步地,对所述三维结构光扫描数据进行特征提取包括:
21、对原始点云数据进行统计离群点移除算法和体素网格下采样方法预处理后,输入三维形貌特征提取网络;
22、所述三维形貌特征提取网络包含点云卷积层、特征聚合层和全连接层,以及厚度特征提取模块和平面度评估模块;
23、所述厚度特征提取模块取每个点云位置的深度坐标与参考平面深度坐标的差值作为局部厚度值;
24、所述平面度评估模块通过主成分分析对全部表面点进行平面拟合,计算各表面点到拟合平面的距离作为平面度指标,输出几何尺寸特征表示。
25、进一步地,所述特征级融合采用注意力融合策略:
26、将所述外观缺陷特征表示、所述材料均匀性特征表示和所述几何尺寸特征表示分别通过全连接层映射到相同的语义空间,得到第一特征向量、第二特征向量和第三特征向量;
27、对所述第一特征向量、所述第二特征向量和所述第三特征向量两两之间采用点积运算计算相似度,构成相似度矩阵;
28、对所述相似度矩阵的每一行计算平均相似度,通过归一化指数函数将三个平均相似度映射为三个注意力权重;
29、利用所述三个注意力权重对所述第一特征向量、所述第二特征向量和所述第三特征向量进行加权聚合操作,得到所述融合特征向量。
30、进一步地,所述多源数据决策级融合算法框架包括基于d-s证据理论的融合策略和基于贝叶斯推理的融合策略;
31、所述基于d-s证据理论的融合策略将独立评价器的输出转换为基本概率分配函数,通过dempster组合规则进行组合,计算各质量等级的融合置信度;
32、所述基于贝叶斯推理的融合策略利用历史统计数据确定的先验概率分布和独立评价器输出的似然函数,通过贝叶斯公式计算各质量等级的后验概率分布,选取最大后验估计准则对应的等级;
33、所述多源数据决策级融合算法框架还通过计算各独立评价器输出概率分布的熵以及多次dropout采样预测值的标准差,量化认知不确定性和偶然不确定性,并根据不确定性调整各模态的融合权重。
34、进一步地,所述多任务学习神经网络采用硬参数共享策略,包括共享特征提取模块和三个任务特定输出层;
35、所述共享特征提取模块包含多个全连接层和激活函数层,接收所述综合质量评价结果并提取共享特征;
36、三个任务特定输出层分别为:
37、采用softmax激活函数的缺陷分类输出层,输出断丝、跳线、污渍、色差、破洞及正常类别的概率分布;
38、采用线性激活函数的尺寸测量输出层,输出长度偏差、宽度偏差、厚度分布均匀度和平面度;
39、采用线性激活函数的材料评估输出层,输出温度均匀性指数、材料密度一致性指数和编织密度均匀度;
40、训练时的总损失函数为缺陷分类交叉熵损失、尺寸测量均方误差损失和材料评估均方误差损失的加权和。
41、进一步地,还包括:
42、为每件凉席成品赋予唯一追溯码,所述唯一追溯码以条码、二维码或射频识别标签形式附加在产品或包装上,并与批次信息、生产日期、生产线编号关联;
43、将所述质量等级判定结果与所述批次信息、原材料信息以及生产工艺参数关联存储至关联数据库的各数据表中,所述关联数据库包括产品基础信息表、批次信息表、原材料信息表、生产工艺参数表、检测结果表和售后反馈表;
44、通过所述唯一追溯码执行向上追溯和向下追溯,所述向上追溯从凉席成品追溯到原材料和工艺过程以定位质量问题的根源,所述向下追溯从原材料和工艺过程追溯到凉席成品以评估变更对质量的影响。
45、进一步地,所述综合质量得分按照公式计算,其中为综合质量得分,为外观缺陷评分,为尺寸偏差指标,为材料均匀性指标,、、为预设权重系数且满足,所述外观缺陷评分对应的权重系数大于所述尺寸偏差指标对应的权重系数和所述材料均匀性指标对应的权重系数。
46、综上所述,本技术包括以下至少一种有益技术效果:
47、1、本发明通过可见光相机、红外热成像与三维结构光扫描的多模态感知设备集成与时空同步触发,实现外观缺陷、材料均匀性和几何尺寸三类异构数据的同步采集与空间对齐,为凉席成品的多维度综合质量判定提供全面数据基础。
48、2、本发明先通过注意力融合策略将各模态特征向量整合为融合特征向量,再基于d-s证据理论和贝叶斯推理对独立评价结果进行加权融合,并量化各模态不确定性以动态调整权重,显著提升质量评价的准确性与稳定性。
49、3、本发明将多任务学习神经网络输出的缺陷分类、尺寸测量和材料评估结果加权计算为综合质量得分并映射为质量等级,同时将判定结果与批次信息、原材料信息及生产工艺参数关联构建质量追溯数据链,支持向上追溯质量问题根源与向下评估变更影响范围,实现从检测到追溯的完整质量闭环管理。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com