一种集装箱箱门朝向的识别与校验系统的制作方法

摘要: 本发明涉及视觉识别,特别涉及一种集装箱箱门朝向的识别与校验系统。背景技术:1、随着港口集装箱码头自动化建设的推进,起重机吊装作业的智能化水平直接关系到全流程作业...
一种集装箱箱门朝向的识别与校验系统的制作方法

本发明涉及视觉识别,特别涉及一种集装箱箱门朝向的识别与校验系统。

背景技术:

1、随着港口集装箱码头自动化建设的推进,起重机吊装作业的智能化水平直接关系到全流程作业的效率。在实际的桥吊或龙门吊作业中,集装箱被集卡运送或从船上起吊时,其箱门的初始空间朝向具有极大的不确定性。现有的自动化视觉系统往往依赖于安装在固定位置的工业相机,在集装箱经过特定截面时进行盲目抓拍。然而,集装箱表面环境错综复杂,不同箱型的表面喷涂、污渍与磨损情况差异巨大,且港口全天候作业面临剧烈的光照变化。仅凭这种缺乏针对性的抓拍图像,视觉算法很难在吊运早期稳定、准确地提取出箱门的特有宏观构件,导致系统无法可靠地判定箱门的实际空间朝向,极易引发后续自动化动作的误判与流程混乱。

2、而且,在起重机小车运行、制动或起升机构动作的整个动态过程中,由于钢丝绳悬挂的物理特性,被吊起的集装箱在惯性和外力作用下会产生持续且不规则的单摆晃动。这种晃动使得集装箱在相机的视野中存在相对位移。当常规视觉方案对运动中的箱体进行抓拍时,容易产生严重的运动模糊和拖影现象。这导致抓拍到的特征图像纹理细节严重丢失,视觉算法无法对集装箱表面的细小物体进行有效的定位与解析,最终往往仍需依赖人工肉眼进行二次核对,严重制约了码头无人化作业的推进。

3、综上所述,如何在集装箱复杂的动态吊运过程中,自动且准确地识别出箱门的实际朝向,并有效克服箱体物理晃动对图像质量的干扰,实现对表面细节的清晰抓拍与高精度识别,是当前集装箱智能理货领域亟待解决的技术难题。

技术实现思路

1、本发明提供了一种集装箱箱门朝向的识别与校验系统,能够解决集装箱吊运过程中因箱体晃动导致箱门侧抓拍图像模糊而无法进行细节校验的问题。

2、为了解决上述技术问题,本技术提供如下技术方案:

3、一种集装箱箱门朝向的识别与校验系统,包括:

4、qc主程序模块,用于在判定集装箱被吊装进入预设的识别区域时,发出使能指令;

5、数据采集模块,用于采集吊具的物理动作信号,并在判定集装箱起吊离地且进入识别区域时,提取当前的实时起升钢丝绳悬挂长度;

6、视觉分析模块,用于在接收到使能指令后,通过作业球机采集的图像识别集装箱端面的宏观构件特征确定集装箱的箱门朝向,并锁定对应箱门端的作业球机;在锁定后,控制作业球机采集包含集装箱箱门端的视觉帧序列;

7、状态测算模块,用于根据单摆运动方程与视觉帧序列进行联合测算,预测出集装箱单摆运动至两侧最高点对应的驻点时间戳;

8、其中,视觉分析模块还用于根据驻点时间戳对作业球机进行倒计时硬件触发,在触发时临时改写曝光参数,对集装箱箱门进行抓拍获取特征图像;并对特征图像进行解析校验铅封状态,将包含铅封状态的箱门朝向结果反馈至qc主程序模块。

9、进一步,所述物理动作信号包括指示吊具是否接触到集装箱顶部的着箱信号、指示当前闭锁位置信号、以及起升机构的实时起升钢丝绳悬挂长度;

10、当数据采集模块检测到吊具在特定的闭锁位置信号下,其着箱信号由使能转换为释放,判定集装箱已被拉起离地;在qc主程序模块判定集装箱吊运进入识别区域时,数据采集模块提取当前的实时起升钢丝绳悬挂长度,将其作为单摆运动方程的初始摆长参数,传输至状态测算模块。

11、进一步,所述视觉分析模块集成有摄像头配置单元,摄像头配置单元中预先定义并存储有面向作业球机的默认底层硬件控制指令,包括摄像头模式、摄像头属性以及摄像头曝光参数;

12、当集装箱进入识别区域时,视觉分析模块用于调用默认底层硬件控制指令,控制作业球机抓拍集装箱端面图像,进行轮廓解析,还通过定位集装箱端面包括锁杆线结构或铰链的宏观构件特征,确定出当前集装箱箱门的实际空间朝向;

13、视觉分析模块还用于在确定出箱门朝向并锁定属于箱门端的对应作业球机后,进入高帧率采集模式,采集包含集装箱箱门端的视觉帧序列,并将带有时间戳的视觉帧序列实时发送至状态测算模块。

14、进一步,所述状态测算模块用于对接收到的帧序列图像进行边缘检测,提取集装箱纵向外轮廓边缘在图像坐标系中的动态位移曲线,计算出集装箱当前晃动的实际周期和实时振幅;

15、状态测算模块还结合由数据采集模块输入的起升钢丝绳悬挂长度 l,根据单摆运动方程计算出当前摆长下的理论谐振周期;

16、状态测算模块还利用当前晃动的实际周期对理论谐振周期进行校正,预测出集装箱单摆运动至两侧最高点,得到驻点时间戳,并将该驻点时间戳作为触发控制指令下发至触发模块。

17、进一步,所述驻点时间戳的具体计算过程包括:

18、状态测算模块对接收到的视觉帧序列进行逐帧亚像素边缘检测,提取出集装箱纵向外轮廓边缘在图像坐标系中的一维像素水平位移,结合各帧图像自带的时间戳,构建离散的动态位移曲线,记为:

19、;

20、其中, 为第 帧图像的绝对时间戳, 为第 帧图像中集装箱边缘对应的像素位移值, 为当前识别区域内累计捕获的帧数,且;

21、状态测算模块接收由数据采集模块输入的初始摆长参数 l,利用重力加速度 计算出当前摆长下的理论谐振周期,转化为理论角频率:

22、;

23、状态测算模块引入约束区间作为拟合的边界条件进行频率校正,其中 为预设的机电扰动补偿系数;利用动态位移曲线中的前两帧数据  和 的斜率正负初步判定初始运动方向,计算出初始相位角先验值,完成相位的初步校正;

24、在集装箱进入识别区域的短时间窗口内,其横向单摆运动可抽象为简谐振动波动方程,状态测算模块建立如下待拟合的连续运动模型:

25、;

26、式中, 为待求解的实际晃动振幅, 为待求解的校正后实际角频率, 为待求解的校正后实际初始相位, 为集装箱静止时的中心基准线像素坐标;

27、状态测算模块构建最小二乘法残差平方和目标函数:

28、

29、以满足 且 为约束条件,将初始迭代点设为:

30、、、、;

31、调用预设的非线性最小二乘优化算法进行迭代求解,当目标函数 达到收敛阈值时,输出最优参数解集:

32、;

33、根据物理规律,当集装箱单摆运动至两侧最高点时,其瞬时横向线速度降为零,状态测算模块对拟合出的波动方程求关于时间 的一阶导数,得到实际运动速度方程:

34、;

35、因为,为使,必须满足,解该三角方程得到速度为零的所有离散时间点序列:

36、;

37、;

38、状态测算模块提取满足  的最小正整数 对应的时间值,作为距离当前时间最近的未来单摆速度驻点时间戳:

39、。

40、进一步,所述当到达预测的驻点时间戳时,视觉分析模块改写底层硬件控制指令中的摄像头曝光参数,向箱门端对应作业球机发送调整后拍摄的底层硬件控制指令。

41、进一步,所述状态测算模块还用于提取相邻的两个速度为零的第一驻点时间戳,第二驻点时间戳;状态测算模块将两个驻点时间戳一并作为触发控制指令下发至视觉分析模块;

42、视觉分析模块还用于根据接收到的第一驻点时间戳与第二驻点时间戳,在触发时改写曝光参数,对集装箱箱门进行两次抓拍获取第一特征图像和第二特征图像;

43、视觉分析模块还用于在获取到第一特征图像和第二特征图像后,分别提取出仅包含集装箱箱门端面的第一有效特征图像和第二有效特征图像;将两者在像素坐标系下实现空间位置一一对应;执行图像堆栈处理,生成一张合成特征图像;

44、视觉分析模块还用于对合成特征图像进行解析,对铅封的完整性以及施封锁闭状态进行读出与校验,将校验完整的箱门朝向结果以及铅封状态反馈至qc主程序模块。

45、本发明通过数据采集模块提取实时起升钢丝绳悬挂长度,结合视觉分析模块采集的箱门端视觉帧序列,由状态测算模块基于单摆运动方程联合测算出集装箱摆动至两侧最高点的驻点时间戳;视觉分析模块在该驻点时刻对作业球机进行倒计时硬件触发并临时改写曝光参数,从而在集装箱横向瞬时速度为零的瞬间完成抓拍,从根本上消除了因箱体晃动导致的运动模糊,获取到边缘清晰、纹理可辨的特征图像,可靠地解析校验铅封状态。同时,视觉分析模块在抓拍前已利用宏观构件特征完成箱门朝向的识别并锁定对应端面球机,保证了抓拍对象与朝向结果的一致性。本方案在无需依赖高速快门或自动曝光算法的前提下,有效克服了动态吊运环境中的图像质量干扰,实现了箱门朝向与铅封状态的高可靠、全自动校验。