基于纵向注意力与双分支融合的三视图线缆标识识别方法
本发明涉及机器视觉与图像识别,尤其涉及基于纵向注意力与双分支融合的三视图线缆标识识别方法。
背景技术:
1、线缆表面通常印制有型号、规格、生产批次及长度标记等标识信息,这些信息在线缆生产管理、质量检测、设备装配及维护检修等环节具有重要作用。目前,线缆标识信息主要通过人工读取或机器视觉识别两种方式获取,但人工读取方式效率较低,且识别结果易受操作人员经验水平及工作强度的影响。随着工业自动化技术的发展,基于图像采集与字符识别模型的线缆标识自动识别方法已在工业场景中得到初步应用。
2、现有字符识别方法通常是对采集到的图像进行预处理,再用卷积神经网络提取图像特征,最后用序列识别网络获得对应的字符序列,对于单幅图像中字符信息较为完整、字符排列较为规则的情况,上述方法能够实现字符识别。但真实的情境下,线缆表面通常呈弧形或近似圆柱形,标识字符分布在线缆曲面上,受拍摄角度、线缆弯曲形状、表面反光等因素影响,单一视角下的图像可能出现字符局部不可见、透视形变、模糊等退化情况,导致单幅图像包含的标识信息不完整,进而影响识别的准确性。
3、为了获取更完整的标识信息,现有技术已尝试从不同角度采集多幅线缆图像,并采用图像拼接、特征拼接或加权融合等方式对多视图信息进行整合。然而,不同视角下同一字符的可见程度与成像质量可能存在明显差异。若采用直接拼接或者对整幅视图设置统一权重,会使各视图中清晰字符特征与模糊、缺失或背景干扰特征难以区分,融合效果受到制约,难以充分发挥多视角信息的互补优势。
4、此外,现有序列识别方法在将二维图像特征转换为一维序列特征时,通常采用平均池化或最大池化对高度方向进行固定压缩。但字符在图像高度方向的实际位置并非固定不变,固定池化策略难以自适应地聚焦于有效字符区域,容易导致字符特征响应被削弱。同时,线缆标识中的字符按特定顺序排列,一旦部分字符因遮挡或反光而模糊缺失,仅依赖局部图像特征进行识别,容易出现漏识别或误识别。
5、综上,现有线缆标识识别方法在单视图信息不完整、多视图局部成像质量不一致及字符空间位置变化等复杂条件下,仍面临特征提取不充分、多视图信息融合不充分、识别准确率与鲁棒性有待提升等问题。
技术实现思路
1、针对现有线缆标识识别技术在单视图信息不完整、多视图局部成像质量不一致、字符高度位置变化及缺乏序列上下文建模等方面存在的不足,本发明提供一种基于纵向注意力与双分支融合的三视图线缆标识识别方法,该方法通过三视图采集、参数共享非对称下采样残差卷积骨干网络、纵向注意力池化、逐位置双分支局部视图融合及序列上下文建模,实现了线缆标识的高精度、高鲁棒性识别。
2、为实现上述目的,本发明第一方面提供了一种基于纵向注意力与双分支融合的三视图线缆标识识别方法,所述方法步骤包括:
3、步骤s1:获取属于同一线缆标识样本的第一视图单通道图像、第二视图单通道图像和第三视图单通道图像,并分别将三路单通道图像转换为模型输入张量;
4、步骤s2:将步骤s1得到的第一视图输入张量、第二视图输入张量和第三视图输入张量分别输入同一参数共享的非对称下采样残差卷积骨干网络,获得三路二维卷积特征;
5、步骤s3:将所述三路二维卷积特征分别输入同一参数共享的视图投影模块,并映射至预设融合特征维度,得到三路投影视图特征;再分别在每一个宽度位置上计算所述投影视图特征沿高度方向的注意力权重,将所述注意力权重沿高度方向对所述投影视图特征进行加权求和,获得保持宽度位置顺序的三路视图特征序列;
6、步骤s4:将所述三路视图特征序列沿视图维度堆叠,并在每一个宽度位置上执行双分支局部视图融合;其中,第一分支在视图维度计算三路视图权重并对三路视图特征进行加权求和,第二分支将三路视图特征沿特征维度拼接后进行特征映射;将第一分支的输出与第二分支的输出逐元素相加并进行层归一化,获得融合特征序列;
7、步骤s5:将固定正弦余弦位置编码加入所述融合特征序列,并将加入位置编码后的融合特征序列输入多层编码器进行序列上下文建模;
8、步骤s6:对编码器的输出进行层归一化和线性映射,得到各时间位置对应的字符类别未归一化预测得分;
9、步骤s7:在每一个时间位置的类别维度上确定最大值对应的类别索引,按照时间位置顺序对所得类别索引序列执行连接时序分类贪心折叠处理,合并连续重复的类别索引并删除空白类别对应的类别索引,将保留的类别索引转换为对应字符并依次拼接,获得线缆标识字符串。
10、进一步地,步骤s1中三视图图像读取和张量转换具体过程包括:
11、根据线缆标识样本的样本组名,读取属于同一样本的第一视图图像、第二视图图像和第三视图图像;
12、分别以灰度方式解码三路视图图像,并检测图像尺寸,其中,每一路图像的宽度为640像素、高度为128像素;
13、分别将各路灰度图像转换为单通道浮点张量,并进行归一化,得到预设图像尺寸的第一视图输入张量、第二视图输入张量和第三视图输入张量。
14、进一步地,步骤s2中通过非对称下采样残差卷积骨干网络提取三路二维卷积特征,具体过程包括:
15、将所述第一视图输入张量、所述第二视图输入张量和所述第三视图输入张量分别输入同一非对称下采样残差卷积骨干网络,使三路视图的特征提取过程共用同一组网络参数;所述非对称下采样残差卷积骨干网络包含输入卷积单元、第一残差阶段、第二残差阶段、第三残差阶段和第四残差阶段;
16、针对每一路视图输入张量,通过所述输入卷积单元依次进行二维卷积、组归一化和激活,并在高度方向进行下采样且保持宽度方向尺寸不变,分别得到三路初始卷积特征;
17、将所述三路初始卷积特征分别依次输入所述第一残差阶段、第二残差阶段、第三残差阶段和第四残差阶段,所述第一残差阶段在高度方向进行下采样且保持宽度方向尺寸不变,所述第二残差阶段和第三残差阶段均在高度方向和宽度方向同时进行下采样,所述第四残差阶段保持高度方向尺寸不变并在宽度方向进行下采样;
18、分别获得第一路二维卷积特征、第二路二维卷积特征和第三路二维卷积特征;其中,三路二维卷积特征具有相同的通道数和空间尺寸,并沿宽度方向保留用于形成字符特征序列的位置顺序。
19、进一步地,所述非对称下采样残差卷积骨干网络中每一残差阶段均包括两个依次连接的残差块;其中,第一个残差块用于进行空间下采样,并在输入通道数与输出通道数不同时进行通道变换,第二个残差块用于在保持通道数和空间尺寸不变的情况下进行特征提取;每一残差块均包括主分支和捷径分支;
20、所述主分支包括依次连接的第一二维卷积层、第一组归一化层、激活层、第二二维卷积层和第二组归一化层;其中,所述第一二维卷积层和所述第二二维卷积层的卷积核大小均为;
21、所述捷径分支为:当所述残差块的输入通道数与输出通道数不同,或者所述残差块执行空间下采样时,所述捷径分支由依次连接的卷积核大小为的二维卷积层和组归一化层构成,用于使所述捷径分支的输出与所述主分支的输出具有相同的通道数和空间尺寸;当所述残差块的输入通道数与输出通道数相同且不执行空间下采样时,所述捷径分支采用恒等映射;
22、将所述主分支的输出与所述捷径分支的输出逐元素相加,并对相加结果执行gelu激活,得到所述残差块的输出。
23、进一步地,步骤s3中视图投影和纵向注意力池化的具体过程包括:
24、将第一路二维卷积特征、第二路二维卷积特征和第三路二维卷积特征分别输入同一视图投影模块,得到第一路投影视图特征、第二路投影视图特征和第三路投影视图特征;其中,所述视图投影模块由依次连接的卷积核大小为的二维卷积层、组归一化层和gelu激活层构成,用于将二维卷积特征的通道数映射至预设融合特征维度;
25、将三路投影视图特征分别输入同一注意力评分网络,得到三路注意力评分;所述注意力评分网络由依次连接的卷积核大小为的二维卷积层、组归一化层、gelu激活层和卷积核大小为的二维卷积层构成,用于为每一路投影视图特征中的各高度位置和各宽度位置生成对应的注意力评分;
26、针对每一路投影视图特征,在每一个宽度位置上沿高度方向对所述注意力评分进行归一化,得到高度注意力权重;设第路投影视图特征在第h个高度位置和第t个宽度位置的注意力评分为,则对应的高度注意力权重为;式中,表示视图序号,表示高度位置索引且,表示高度位置的求和索引且,表示投影视图特征的高度位置数量,t表示宽度位置序号;对于任一视图和任一宽度位置有;
27、按照高度注意力权重,对同一宽度位置上不同高度位置的投影视图特征进行加权求和;设第路投影视图特征在第个高度位置和第t个宽度位置的特征向量为,则第路视图在第t个宽度位置的视图特征为,表达式为:,其中,,,t表示宽度位置数量,,d表示视图特征维度;按照宽度位置的先后顺序排列各视图特征,得到第路视图特征序列,式中,t表示投影视图特征的宽度位置数量;
28、对三路投影视图特征分别执行上述处理,得到保持宽度位置顺序的三路视图特征序列。
29、进一步地,步骤s4中通过双分支局部视图融合具体过程包括:
30、将步骤s3得到的第一路视图特征、第二路视图特征和第三路视图特征沿视图维度进行堆叠,得到多视图序列张量;将所述多视图序列张量输入视图门控加权分支,在每一宽度位置上对各路视图特征执行层归一化、第一线性映射、gelu激活和第二线性映射,得到各路视图的视图评分;其中,第路视图在第t个宽度位置的视图评分为;式中,表示层归一化,和分别表示第一线性映射的权重和偏置,和分别表示第二线性映射的权重和偏置;
31、在同一宽度位置上沿视图维度对所述视图评分进行softmax归一化,得到视图权重;其中,第路视图在第t个宽度位置的视图权重为;式中,,k表示视图权重计算公式分母中的视图序号求和索引,且;
32、根据所述视图权重对同一宽度位置的三路视图特征进行加权求和,得到视图加权特征;
33、将同一宽度位置的三路视图特征沿特征维度进行拼接,得到拼接特征;将所述拼接特征依次输入第三线性映射、gelu激活和第四线性映射,得到拼接投影特征,表达式为:;式中,和分别表示第三线性映射的权重和偏置,和分别表示第四线性映射的权重和偏置;
34、将所述视图加权特征与所述拼接投影特征逐元素相加,并对相加结果执行层归一化,得到第t个宽度位置的融合特征,表达式为:;按照宽度位置的先后顺序排列各宽度位置的融合特征,得到融合特征序列。
35、进一步地,步骤s5中位置编码的具体过程包括:
36、根据融合特征序列中的序列位置和特征维度生成固定正弦余弦位置编码,并将与所述融合特征序列的当前序列长度相对应的位置编码加入所述融合特征序列,得到具有位置信息的融合特征序列;设融合特征序列的当前序列长度为t,序列位置为且,融合特征维度为d,位置编码的特征维度索引为且,d为偶数,则所述固定正弦余弦位置编码满足:当为偶数时:;当为奇数时:;将位置编码与融合特征相加并执行随机失活处理,得到位置增强特征序列,表达式为:;式中,z表示融合特征序列,pe表示与所述融合特征序列具有相同序列长度的位置编码。
37、进一步地,步骤s5中序列上下文建模的具体过程包括:
38、将位置增强特征序列依次输入多个串联的预归一化transformer编码块,每一所述预归一化transformer编码块均包括第一层归一化层、多头自注意力子层、第一残差连接、第二层归一化层、前馈网络子层和第二残差连接;
39、对于第个预归一化transformer编码块,先对其输入特征序列执行第一层归一化,再将归一化后的特征序列同时作为查询矩阵、键矩阵和值矩阵输入多头自注意力子层,得到多头自注意力输出,表达式为:,式中,表示多头自注意力运算,表示第一层归一化运算;将所述多头自注意力输出经随机失活处理后与所述输入特征序列逐元素相加,得到第一残差特征序列,表达式为:;
40、对第一残差特征序列执行第二层归一化,并将归一化结果依次输入第一线性映射层、gelu激活层、随机失活层和第二线性映射层,得到前馈特征,表达式为:,式中,表示第二层归一化运算,和分别表示第个预归一化transformer编码块中第一线性映射层的权重和偏置,和分别表示第个预归一化transformer编码块中第二线性映射层的权重和偏置;
41、将前馈特征经随机失活处理后与所述第一残差特征序列逐元素相加,得到第个预归一化transformer编码块的输出,表达式为();将前一预归一化transformer编码块的输出作为后一预归一化transformer编码块的输入,获得包含序列上下文信息的编码特征序列。
42、进一步地,步骤s6中字符分类具体过程包括:
43、对步骤s5得到的编码特征序列执行层归一化,并通过线性映射将每一个时间位置的编码特征映射至预设字符类别空间,得到各时间位置对应的字符类别未归一化预测得分;设第t个时间位置的编码特征为,则对应的字符类别未归一化预测得分为:,式中,和分别表示字符分类线性映射的权重和偏置,表示层归一化运算,各分量分别为空白类别和多个可见字符类别对应的未归一化预测得分;
44、在每一个时间位置的类别维度上,从所述字符类别未归一化预测得分中确定最大值对应的类别索引;设字符类别数量为,c表示字符类别索引,则第t个时间位置对应的预测类别索引为;按照时间位置的先后顺序排列所述预测类别索引,得到预测类别索引序列,其中,t表示字符分类模块输出的时间位置数量。
45、进一步地,步骤s7中连接时序分类贪心解码的具体过程包括:
46、对所述预测类别索引序列执行连接时序分类贪心折叠处理,对连续重复出现的相同类别索引仅保留一个,并删除空白类别对应的类别索引;当两个相同的非空白类别索引之间存在至少一个空白类别索引时,分别保留所述两个相同的非空白类别索引;所述连接时序分类贪心折叠处理表示为:,式中,表示合并连续重复类别并删除空白类别的连接时序分类折叠运算;
47、将折叠处理后保留的各类别索引按照预设字符映射表转换为对应字符,并按照时间位置顺序依次拼接,得到线缆标识字符串。
48、与现有技术相比,本发明包括以下有益效果:
49、(1)本发明从三个周向角度采集同一线缆标识的图像,有效扩大了线缆圆柱面标识区域的覆盖范围,使弧面背面或侧面的字符得以进入多视图观测,克服了单视角下标识信息不完整的技术缺陷,为后续识别提供了更全面的输入信息。
50、(2)本发明采用三路视图共用同一组网络参数的残差卷积骨干网络,在减少模型参数量、降低过拟合风险的同时,使三路卷积特征处于同一特征空间,为后续逐位置融合提供了对齐基础。同时,网络采用非对称下采样策略:早期仅压缩高度方向以保留宽度方向的细节信息,中期同时压缩高度和宽度以扩大感受野,后期仅压缩宽度以准备序列化;该策略充分适配了线缆“细长”的几何特性,在保留字符空间位置顺序的前提下实现了高效的特征提取。
51、(3)本发明在每一个宽度位置上沿高度方向计算自适应注意力权重,并通过加权求和将二维特征图压缩为一维特征序列。与传统平均池化或最大池化相比,纵向注意力机制能够根据特征内容自适应地聚焦于字符所在的垂直区域,有效抑制背景噪声的干扰,削弱背景特征对字符特征的稀释效应,从而获得更具判别力的序列特征表达。
52、(4)本发明在每一个宽度位置上独立执行双分支融合:第一分支通过视图门控加权机制自适应地为三路视图分配权重,实现对不同视图中清晰区域的选择性聚焦;第二分支通过拼接投影实现跨视图特征的非线性重组。两个分支的输出逐元素相加,兼具清晰视图择优与多视图特征创新双重优势,有效解决了传统统一加权融合策略无法区分视图内部局部质量差异的问题。
53、(5)本发明利用多层transformer编码器对融合后的特征序列进行全局上下文建模,使序列中每个位置的编码特征都能感知整个序列的上下文语义信息。当部分字符因遮挡或反光而模糊缺失时,模型可借助前后字符的上下文关系进行有效推断和补全,减少了漏识别和错识别,显著提升了识别的鲁棒性。
54、(6)本发明采用连接时序分类贪心折叠处理,沿时间顺序合并连续重复类别并删除空白类别,以线性时间复杂度完成序列解码。与束搜索等解码方式相比,贪心解码避免了候选路径的指数级搜索,显著降低了计算开销和内存占用,有利于在工业产线等资源受限或对实时性要求较高的场景中部署应用。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com