一种检测框扩边策略与ISO6346规则引导纠错的集装箱箱号智能识别方法

本发明属于计算机视觉、智能港口和光学字符识别，具体涉及一种融合目标检测、检测框扩边、视觉语言模型识别以及iso 6346规则引导纠错的集装箱箱号智能识别方法。

背景技术：

1、集装箱箱号是集装箱在国际物流运输、港口装卸、堆场管理、海关监管以及多式联运过程中的唯一身份标识。按照iso 6346国际标准，标准集装箱箱号通常由四位字母和七位数字组成，其中最后一位为根据前十位字符计算得到的校验位。集装箱箱号能否被准确识别，直接影响港口自动化作业、智能闸口管理、堆场调度以及物流信息化管理的可靠性。现有集装箱箱号识别方法通常采用“目标检测+光学字符识别”的两阶段流程。具体而言，先利用目标检测模型定位图像中的箱号区域，再将检测框裁剪后的图像输入ocr模型进行字符识别。该类方法在常规水平文本场景中能够取得一定效果，但在实际港口、码头及堆场环境中仍存在以下不足。首先，目标检测模型通常以检测框与标注框之间的重叠度作为优化目标，其输出结果更关注检测意义上的边界紧致性。然而，在集装箱箱号识别任务中，检测意义上的最优边界并不一定是识别意义上的最优输入区域。若检测框过于紧凑，可能导致箱号首尾字符、字符边缘笔画或校验位区域被裁切，从而造成后续识别失败。其次，集装箱箱号在实际场景中存在横式、竖式和两行式等多种排列形式。传统ocr方法通常更适用于水平单行文本，对于竖向排列、多行排列以及多列读取顺序复杂的箱号，容易出现字符读序错误、字符缺失或字符重组失败等问题。再次，视觉语言模型虽然具备较强的图像理解和文本生成能力，能够在一定程度上处理复杂空间布局下的字符识别问题，但其输出结果可能存在无关文本、字符重复、字符缺失、字母与数字混淆、长度异常以及校验位错误等问题。对于集装箱箱号这类具有严格编码规则的工业识别任务，仅依靠视觉模型输出并不能保证结果符合标准编码格式。此外，现有方法中iso 6346规则通常仅被用于最终结果校验，即判断识别结果是否符合标准，而未能充分利用iso 6346中关于字符位置、编码格式和校验位计算的先验知识对错误识别结果进行主动修正。因此，现有技术在复杂工业场景下仍存在识别准确率不高、抗干扰能力不足以及错误结果难以恢复的问题。

技术实现思路

1、本发明的目的在于针对现有集装箱箱号识别技术中存在的检测框边界误差易造成字符截断、传统ocr难以适应复杂布局、视觉语言模型输出稳定性不足以及iso 6346规则未能主动参与纠错的问题，提供一种检测框扩边策略与iso 6346规则引导纠错的集装箱箱号智能识别方法。

2、为实现上述目的，本发明提供如下技术方案。

3、本发明提供一种检测框扩边策略与iso 6346规则引导纠错的集装箱箱号智能识别方法，包括如下步骤：

4、第一，获取包含集装箱箱号的集装箱图像，并将所述集装箱图像输入箱号识别系统。

5、第二，利用目标检测模型对所述集装箱图像中的箱号区域进行检测，获得箱号区域对应的检测框位置信息。当同一集装箱箱号被检测为多个局部检测框时，对多个检测框进行合并，形成包含完整箱号区域的最小外接检测框。

6、第三，基于所述检测框的宽度和高度构建识别导向的roi扩边机制，根据预设横向扩边比例和纵向扩边比例对检测框进行边界扩展，生成包含完整字符结构及必要上下文信息的扩展roi区域。该扩边机制用于补偿目标检测框边界偏差，降低因检测框过紧而造成字符截断的风险。

7、第四，根据扩展后的边界坐标从原始图像中裁剪得到扩展roi图像，并将所述扩展roi图像输入视觉语言模型；通过包含iso 6346格式约束和字符读取顺序约束的提示词，引导视觉语言模型对扩展roi图像中的集装箱箱号进行识别，输出原始箱号识别结果。

8、第五，基于iso 6346国际标准编码规则构建规则引导纠错机制，对视觉语言模型输出的原始箱号识别结果进行输出归一化、重复字符幻觉修复、位置感知字符映射以及校验位重建，最终输出符合iso 6346编码规则的集装箱箱号识别结果。

9、与现有技术相比，本发明具有以下有益效果：

10、一、本发明提出识别导向的roi扩边机制，不直接将目标检测模型输出的紧致检测框作为识别输入，而是在检测框基础上进行适度扩边，使箱号边缘附近可能被裁切的字符重新纳入识别区域，从而提高箱号字符结构的完整性。

11、二、本发明采用视觉语言模型对扩展roi图像进行识别，利用其视觉理解和语言推理能力处理横式、竖式和两行式等复杂箱号布局，提高对非常规读取顺序场景的适应能力。

12、三、本发明在视觉语言模型识别阶段引入箱号格式约束和字符读取顺序提示，使模型在生成结果时能够结合iso 6346格式要求以及竖排、多列排布等空间结构信息，减少字符读序错误。

13、四、本发明将iso 6346规则由传统的结果校验工具转化为主动纠错机制，通过输出归一化、重复字符修复、位置感知字符映射和校验位重建，对视觉语言模型输出中的格式错误、重复字符、字母数字混淆和校验位错误进行修正。

14、五、本发明形成了“目标检测—检测框扩边—视觉语言模型识别—iso 6346规则引导纠错”的完整技术流程，能够提高复杂港口场景下集装箱箱号识别的准确性、鲁棒性和工程适用性。

1.一种检测框扩边策略与iso 6346规则引导纠错的集装箱箱号智能识别方法，其特征在于，集装箱箱号智能识别方法包含如下步骤：

2.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，所述步骤（2）中，当目标检测模型在同一集装箱图像中输出一个或多个箱号区域检测框时，若存在多个箱号区域检测框，则对所述多个箱号区域检测框进行合并，得到包含完整箱号区域的最小外接检测区域，并将所述最小外接检测区域作为后续roi扩边的初始箱号区域。

3.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，所述步骤（3）中，设箱号检测框为：

4.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，步骤（4）中，将扩边后的roi输入视觉语言模型进行识别。

5.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，所述步骤（5）中的输出归一化包括：

6.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，所述步骤（5）中的重复字符幻觉修复包括：

7.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，所述步骤（5）中的位置感知字符映射包括：

8.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，所述步骤（5）中的校验位重建包括：

9.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，所述roi扩边机制用于补偿目标检测框边界偏差，使检测框边缘附近被截断或可能被截断的字符结构重新纳入扩展roi图像中，以提高视觉语言模型对集装箱箱号首尾字符、竖式箱号和两行式箱号的识别完整性。

10.根据权利要求1所述的集装箱箱号智能识别方法，其特征在于，所述视觉语言模型为能够接收图像输入并生成文本输出的多模态视觉语言模型，所述视觉语言模型基于扩展roi图像中的字符外观信息、空间排列信息和识别提示中的读取顺序约束生成原始箱号识别结果。