基于OCR的工程图纸识别处理方法及系统与流程

本发明属于工程图纸识别，具体涉及基于ocr的工程图纸识别处理方法及系统。

背景技术：

1、在现代智能制造领域，工程图纸（涵盖cad电子图档、pdf扫描件及纸质蓝图扫描件等）是质量标准传达与工艺规范落地的载体。传统的工程图纸识别与质量把控主要依赖人工识读与手工录入，这种方式不仅效率低下，且极易因人为因素导致解读标准不一致，质量数据难以实现数字化管理与复用。随着人工智能与光学字符识别（ocr）技术的演进，行业已从早期的基于规则引擎的辅助录入，逐步发展为基于深度学习与多模态融合的智能化识别阶段。当前的主流技术方案通常包括图像预处理、多模态文本检测识别、数据结构化输出等模块，能够初步实现图纸中尺寸、公差、工艺要求等关键信息的自动提取，并尝试对接质量管理系统（qms）和制造执行系统（mes），以推动质量数据的复用与流转。

2、然而，现有技术方案在实际工业应用中仍存在明显不足，大量质量控制系统仍过度依赖人工手工输入和目视核验，不仅浪费人力资源，且无法保证核心质量指标提取的精度与一致性。现有方案主要针对标准格式、常规排版的图纸，无法满足多样化、多类型工程图纸的快速识别需求。质量管控大多停留在单向识别阶段，缺乏误差的有效追溯机制，当识别错误或质量偏差发生时，修正与反馈过程极为漫长且效率低下。识别产生的质量数据多为孤岛状态，与上游设计系统、下游执行系统之间缺乏高效、标准的接口交互，导致质量信息流断链。针对非标准尺寸、不规则排版的大幅面或小型高精度工程图纸，以及含有特殊字符、多语言的复杂场景，现有ocr技术普遍存在易失真、识别率低下、质量管控完全缺失等问题，无法满足精益制造的全场景需求。

技术实现思路

1、为此，本发明提供一种基于ocr的工程图纸识别处理方法及系统，解决现有工程图纸ocr识别中，对异形图纸适配性差，识别校验欠缺，识别结果无法生成检验项，准确性低的问题。

2、为了实现上述目的，本发明提供如下技术方案：基于ocr的工程图纸识别处理方法，包括：

3、步骤s1：通过系统前端接收工程图纸，将非图片格式工程图纸转化为统一格式的彩色图像，并对所述彩色图像执行灰度化转换、滤波去噪、自适应阈值二值化、倾斜校正以及形态学优化处理，输出优化后的二值图；

4、步骤s2：将所述优化后的二值图输入文本检测网络以定位文本区域，裁剪所述文本区域图像并送入文本识别网络，输出字符串序列及每个字符的置信度，并将置信度不满足要求的字符予以标记；

5、步骤s3：对所述工程图纸的识别结果进行结构化汇总，从汇总结果中筛选出包括尺寸数值、公差符号、单位符号的疑似尺寸/公差条目，并对所述汇总结果及所述疑似尺寸/公差条目执行无效内容过滤和格式校验；

6、步骤s4：计算所述疑似尺寸/公差条目的字符错误率，根据所述字符错误率的高低，将识别结果划分为第一可信状态、第二可信状态和第三可信状态，并分别触发对应动作；

7、步骤s5：对处于第一可信状态的识别结果，按照预设规则生成尺寸检验项、公差检验项和符号检验项，并将每个检验项与对应文本区域的原始坐标进行绑定；

8、步骤s6：提取尺寸数值及对应坐标位置，计算图纸的比例尺并生成矢量图形，通过网格划分判定图纸类型，将所述矢量图形中标注的尺寸数值与ocr识别的数值进行一致性比对校验；

9、步骤s7：将所述识别结果、检验项清单及一致性校验结果通过看板进行实时展示，并封装为数据包，通过预设接口推送至外部管理系统。

10、作为基于ocr的工程图纸识别处理方法优选方案，在步骤s1中，将非图片格式工程图纸按300dpi分辨率逐页转为png图像并统一为rgb彩色图像格式；

11、所述灰度化转换采用公式将彩色图像逐像素转换为灰度图；

12、所述滤波去噪采用大小为3×3的高斯滤波窗口对灰度图进行加权平均处理；

13、所述自适应阈值二值化采用otsu方法，遍历0至255灰度级计算前景与背景的类间方差，选取类间方差最大对应的灰度级作为分割阈值；

14、所述倾斜校正采用hough变换统计极坐标系下的角度参数，以出现频率最高的角度作为倾斜角并进行旋转校正；

15、所述形态学优化采用3×3矩形结构元素，依次执行开运算和闭运算。

16、作为基于ocr的工程图纸识别处理方法优选方案，在步骤s2中，所述文本检测网络输出每个像素点属于文本区域的概率值，将所述概率值大于0.3的像素点连成连通区域，并对所述连通区域做最小外接矩形，输出矩形区域的四个顶点坐标；

17、所述文本识别网络输出字符的置信度，若字符置信度低于60%，则将该字符标记为“低置信度字符”。

18、作为基于ocr的工程图纸识别处理方法优选方案，在步骤s3中，筛选出疑似尺寸/公差条目后，剩余识别结果归为文字说明/标注条目；

19、所述无效内容过滤包括：删除单字符且非数字、非字母、非常见符号的条目；删除内容中包括连续5个以上相同字符的条目；

20、所述格式校验包括：检查数值后是否紧跟单位，若数值后存在非法字符则删除该字符；检查公差格式是否符合“数值±数值”或“数值上偏差下偏差”的规范，若不符合规范则标记为待人工复核。

21、作为基于ocr的工程图纸识别处理方法优选方案，在步骤s4中，所述字符错误率cer的计算方式为：将识别文本与预先录入的标准参考文本进行逐字符比对，字符错误率cer的计算公式为：

22、

23、式中，为错误字符数，为标准参考文本总字符数；

24、若当前图纸为首次识别且无标准参考文本，则标记对应条目不计算字符错误率cer，并标记为“新图纸需人工确认”；

25、根据所述字符错误率的高低，将识别结果划分为第一可信状态、第二可信状态和第三可信状态，具体为：

26、当时，识别结果为第一可信状态，直接写入待生成检验项列表；

27、当时，识别结果为第二可信状态，推送至人工复核队列并高亮标注；

28、当时，识别结果为第三可信状态，自动丢弃并提示重新识别，同时记录识别失败原因。

29、作为基于ocr的工程图纸识别处理方法优选方案，在步骤s5中，所述预设规则为：

30、对于尺寸数值生成“尺寸检验项”，对于公差数值生成“公差检验项”，对于标注符号生成“符号检验项”；

31、所述绑定的原始坐标用于实现联动定位，在点击任一检验项时，跳转至图纸对应的文本区域，并同步放大显示对应位置的图像。

32、作为基于ocr的工程图纸识别处理方法优选方案，在步骤s6中，图纸的比例尺计算公式为：

33、

34、式中，为图纸全局比例尺，为标注尺寸数值，为对应区域内两个端点之间的像素距离。

35、作为基于ocr的工程图纸识别处理方法优选方案，通过网格划分判定图纸类型的方式为：

36、将图纸均匀划分为3×3的子区域，分别计算各子区域内的局部比例尺，若9个子区域的比例尺差异超过±5%，则判定为异形图纸，坐标换算采用各子区域的局部比例尺分别进行换算；

37、所述一致性比对校验为：

38、将矢量图形中标注的尺寸数值与ocr识别数值逐一比对，设定ocr识别数值为，矢量图形标注数值为，预设公差为，若满足，则判定为通过，否则判定为不通过并触发质量预警。

39、作为基于ocr的工程图纸识别处理方法优选方案，在步骤s7中，所述看板进行实时展示以设定周期刷新数据，展示内容包括当前图纸识别进度条、识别准确率仪表盘、逐条显示状态的检验项清单及异常预警列表；

40、所述预设接口为restfulapi接口，所述数据包为json格式，包括尺寸列表、公差列表、检验项列表及判定结果，推送失败时重试设定次数，仍失败则记录日志并发送管理员告警。

41、本发明还提供一种基于ocr的工程图纸识别处理系统，用于执行上述的基于ocr的工程图纸识别处理方法，包括：

42、图纸预处理模块，用于通过系统前端接收工程图纸，将非图片格式工程图纸转化为统一格式的彩色图像，并对所述彩色图像执行灰度化转换、滤波去噪、自适应阈值二值化、倾斜校正以及形态学优化处理，输出优化后的二值图；

43、文本检测与识别模块，用于将所述优化后的二值图输入文本检测网络以定位文本区域，裁剪所述文本区域图像并送入文本识别网络，输出字符串序列及每个字符的置信度，并将置信度不满足要求的字符予以标记；

44、识别结果结构化与过滤模块，用于对所述工程图纸的识别结果进行结构化汇总，从汇总结果中筛选出包括尺寸数值、公差符号、单位符号的疑似尺寸/公差条目，并对所述汇总结果及所述疑似尺寸/公差条目执行无效内容过滤和格式校验；

45、质量评价与分级模块，用于计算所述疑似尺寸/公差条目的字符错误率，根据所述字符错误率的高低，将识别结果划分为第一可信状态、第二可信状态和第三可信状态，并分别触发对应动作；

46、检验项自动生成模块，用于对处于第一可信状态的识别结果，按照预设规则生成尺寸检验项、公差检验项和符号检验项，并将每个检验项与对应文本区域的原始坐标进行绑定；

47、图形还原与一致性校验模块，用于提取尺寸数值及对应坐标位置，计算图纸的比例尺并生成矢量图形，通过网格划分判定图纸类型，将所述矢量图形中标注的尺寸数值与ocr识别的数值进行一致性比对校验；

48、展示与数据交互模块，用于将所述识别结果、检验项清单及一致性校验结果通过看板进行实时展示，并封装为数据包，通过预设接口推送至外部管理系统。

49、本发明具有如下优点：

50、本发明通过将图纸划分为网格并计算子区域局部比例尺，能够准确识别并自适应大幅面工程图纸、小型零部件精细图纸等非标准异形图纸，有效规避全局比例尺换算造成的局部坐标和尺寸失真，显著提升了特殊边缘场景下的识别可靠性与质量管控能力。

51、本发明通过内置的多语言库与特殊字符特征库，结合校验算法，弥补现有ocr识别在多语言和特殊符号场景下的质量管控不足。同时，引入基于字符错误率（cer）的绿、黄、红三色分级机制，实现了识别结果的智能化甄别、分流与预警，降低了人工复核的无效负荷。

52、本发明根据识别结果和预设规则，生成尺寸、公差、符号等结构化检验项，并与图纸坐标深度绑定。质检人员在看板点击检验项时，可同步联动定位至矢量图形并放大显示对应原始图像，大幅减少了图纸比对、查阅及质量排查的时间成本，显著提高了质检验收效率。

53、本发明创新性地将矢量图形还原与ocr识别数值进行自动交叉比对，当矢量标注数值与识别数值超出预设公差时自动触发质量预警。这一机制有效避免了图纸视觉标注与数据库录入数据之间的误差，从源头上保障了制造执行系统（mes）获取加工参数的准确性。

54、本发明通过restful api接口将识别结果、检验项及判定结果封装为标准json数据包，高效对接qms/mes等上下游系统，不仅解决了数据协同弱、衔接不畅的问题，还能通过难例库的聚类回传，实现模型的持续迭代优化。