一种基于天车状态感知的多通道废钢槽号识别方法与流程

本发明属于废钢槽号识别，特别是涉及一种基于天车状态感知的多通道废钢槽号识别方法。

背景技术：

1、在废钢料场的物料转运作业中，废钢槽是装载废钢的容器，每个废钢槽的侧壁均喷涂有由多位数字组成的槽号，用于记录废钢的来源、批次和重量等信息。天车即桥式起重机，是吊运废钢槽的主要设备，其沿厂房轨道移动并通过吊具抓取废钢槽完成转运。槽号识别是指在天车吊运过程中对废钢槽上的数字编号进行自动获取与录入，以替代人工抄录，提升数据时效性和准确性。

2、针对槽号识别需求，现有技术中已采用射频识别（rfid）方案和机器视觉方案。rfid方案在废钢槽表面安装电子标签，利用布置于工位或天车上的读写器读取编号，但在废钢料场的高温、强磁场及金属遮挡环境下，电子标签易受电磁干扰或物理损坏，导致读取失败。机器视觉方案则通过架设于料场上方的网络摄像机拍摄废钢槽图像，结合目标检测与字符识别算法自动读取槽号。部分视觉识别系统还引入天车位置数据触发拍照，以在天车到达工位时抓取图像，减少无负载时的无效拍摄。

3、然而，废钢料场地表常存积油污、积水，在冬季或低温条件下，废钢槽底部与地面之间会因冻结或油污凝固产生较强的粘接。当现场利用天车起吊废钢槽时，吊具需将槽体从地面拔起，若存在底部粘连，起吊瞬间槽体会在粘连挣脱的刹那产生剧烈的跳动和摆动。这种突发性晃动使得摄像机抓拍的废钢槽图像出现严重的运动模糊，字符边缘混叠不清，导致后续的槽号识别算法难以准确提取数字，频繁出现误识或识别失败。现有机器视觉方案一般依赖单帧拍摄图像进行识别，缺乏对起吊晃动造成模糊的有效辨识与应对手段，在该工况下识别可用性明显下降，成为制约废钢转运数据自动采集连续性最为突出的问题。针对以上问题，提出下列方案。

技术实现思路

1、本发明的目的在于提供一种基于天车状态感知的多通道废钢槽号识别方法，通过实时监测天车起吊过程的负载瞬态变化来辨识废钢槽底部粘连状态，并在辨识到粘连时自适应切换为多帧图像采集与基于梯度幅值的融合识别，能够保留槽号字符边缘、抑制晃动引起的运动模糊，解决了现有视觉识别方案在废钢槽底部粘连导致起吊晃动时，因单帧图像模糊而难以准确识别槽号的问题。

2、为解决上述技术问题，本发明是通过以下技术方案实现的：

3、本发明为一种基于天车状态感知的多通道废钢槽号识别方法，包括以下步骤：

4、在多个废钢槽工位上方分别部署网络摄像机，建立边缘计算终端与天车plc的数据接口，并预设工位坐标区间与摄像机通道的映射关系；

5、实时获取各摄像机的视频流，以及天车的负载值和位置坐标；

6、持续监测所述负载值的变化，当检测到负载从零变为大于零并持续保持时，判定发生起吊动作，并根据起吊时刻的位置坐标匹配对应的摄像机通道；

7、在起吊动作发生后的预设时间窗口内，获取所述天车的负载值序列，基于所述负载值序列的瞬态变化特征，辨识是否发生废钢槽底部粘连挣脱现象；

8、当未发生粘连时，从匹配通道的视频流中截取单帧图像；当发生粘连时，从匹配通道的视频流中截取多帧图像；

9、对截取的图像进行roi裁剪，利用目标检测模型检测废钢槽，当检测到废钢槽时，则提取目标边界框内的图像区域；

10、当未发生粘连时，对所述目标边界框内的图像区域进行数字识别，得到废钢槽编号字符串；当发生粘连时，对多帧所述目标边界框内的图像区域进行配准和融合处理，对融合后的图像进行数字识别，得到废钢槽编号字符串；

11、将识别结果上报至工业互联网平台。

12、进一步地，所述基于所述负载值序列的瞬态变化特征，辨识是否发生废钢槽底部粘连挣脱现象，具体包括：

13、计算所述负载值序列的一阶差分；

14、当存在所述一阶差分大于预设上升阈值，且在该大于上升阈值的差分之后的预设数量采样点内存在一阶差分小于预设下降阈值时，则判定发生粘连；

15、其中，所述预设上升阈值和所述预设下降阈值根据天车的额定起吊负载确定。

16、进一步地，所述预设上升阈值为所述额定起吊负载与第一比例系数的乘积，所述预设下降阈值为所述额定起吊负载与第二比例系数的乘积，且所述第一比例系数大于所述第二比例系数。

17、进一步地，所述截取多帧图像为截取连续k帧图像，k为大于1的预设整数，所述k帧图像覆盖天车晃动的至少一个主振周期。

18、进一步地，所述对多帧所述目标边界框内的图像区域进行配准和融合处理，具体包括：

19、以所述多帧中的中间帧为参考帧，对其余每一帧进行刚体配准，估计帧间的平移量和旋转角，并利用估计出的参数将其余帧与所述参考帧对齐；

20、计算每一对齐帧的梯度幅值；

21、对于每个像素位置，以该像素在各帧的梯度幅值占所有帧在该像素处梯度幅值之和的比例作为融合权重，将各帧对应像素的像素值进行加权求和，得到融合图像。

22、进一步地，所述刚体配准采用基于傅里叶-梅林变换的配准算法。

23、进一步地，所述目标检测模型为yolo模型，所述数字识别的模型为crnn模型。

24、进一步地，所述对所述目标边界框内的图像区域进行数字识别，得到废钢槽编号字符串，或对融合后的图像进行数字识别，得到废钢槽编号字符串，包括：

25、识别出多个字符及每个字符的置信度；

26、按照字符在所述目标边界框内的x轴坐标从小到大进行排序；

27、滤除置信度低于预设置信度阈值的字符，将剩余字符按排序拼接，形成所述废钢槽编号字符串。

28、进一步地，所述roi裁剪为根据所匹配通道的预设像素裁剪参数，去除图像中的周边背景区域，保留包含废钢槽的有效图像区域。

29、进一步地，所述识别结果包括天车编号、工位号、时间戳、粘连状态标识以及所述废钢槽编号字符串。

30、本发明具有以下有益效果：

31、本发明通过分析天车起吊过程的负载瞬态变化辨识废钢槽底部粘连状态，针对粘连挣脱引发的晃动问题，自适应切换多帧采集与融合识别策略。利用梯度幅值权重融合处理多帧图像，能够保留字符边缘、抑制运动模糊，从而改善晃动条件下的槽号图像质量，提高模糊字符的可辨识性。同时，结合天车位置与负载的联动触发，仅在确认起吊工位后激活对应通道的识别任务，减少了无负载时的无效图像处理，有助于降低计算资源消耗。该方法在废钢料场油污、雨雪冻结等常见工况下可维持槽号识别流程的连续运行，减少因识别失败导致的人工补录，提升数据采集的及时性和完整性。

32、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

1.一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述识别方法包括以下步骤：

2.根据权利要求1所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述基于所述负载值序列的瞬态变化特征，辨识是否发生废钢槽底部粘连挣脱现象，具体包括：

3.根据权利要求2所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述预设上升阈值为所述额定起吊负载与第一比例系数的乘积，所述预设下降阈值为所述额定起吊负载与第二比例系数的乘积，且所述第一比例系数大于所述第二比例系数。

4.根据权利要求1所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述截取多帧图像为截取连续k帧图像，k为大于1的预设整数，所述k帧图像覆盖天车晃动的至少一个主振周期。

5.根据权利要求1所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述对多帧所述目标边界框内的图像区域进行配准和融合处理，具体包括：

6.根据权利要求5所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述刚体配准采用基于傅里叶-梅林变换的配准算法。

7.根据权利要求1所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述目标检测模型为yolo模型，所述数字识别的模型为crnn模型。

8.根据权利要求1所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述对所述目标边界框内的图像区域进行数字识别，得到废钢槽编号字符串，或对融合后的图像进行数字识别，得到废钢槽编号字符串，包括：

9.根据权利要求1所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述roi裁剪为根据所匹配通道的预设像素裁剪参数，去除图像中的周边背景区域，保留包含废钢槽的有效图像区域。

10.根据权利要求1所述的一种基于天车状态感知的多通道废钢槽号识别方法，其特征在于，所述识别结果包括天车编号、工位号、时间戳、粘连状态标识以及所述废钢槽编号字符串。