一种PCB识别结果的可视化评价方法及系统与流程

摘要: 本发明涉及印刷电路板领域,提供了一种pcb识别结果的可视化评价方法及系统。背景技术:1、印刷电路板(pcb)是电子产品的核心载体。当前,基于机器视觉、深度学习及...
一种PCB识别结果的可视化评价方法及系统与流程

本发明涉及印刷电路板领域,提供了一种pcb识别结果的可视化评价方法及系统。

背景技术:

1、印刷电路板(pcb)是电子产品的核心载体。当前,基于机器视觉、深度学习及光学字符识别(ocr)的pcb识别系统已经能够输出包含元件、引脚、导线及文本信息的json结构化数据,但这些识别结果是否准确、完整、可用,仍需要一套专门的评价与验证手段。

2、在pcb识别的工作流程中,上游识别系统首先对pcb图像进行识别,输出识别结果(recognition)json数据。为了评价该识别结果的质量,通常需要将其与一份经过人工校验或从可靠来源(如pcb设计文件、gerber数据、历史准确标注)获得的标准答案(golden)进行对比。在实际工程中,pcb识别结果数据存在多种格式,例如cvjson格式(由计算机视觉识别流程输出,典型字段包括texts、edges、associatedtexts等,侧重于文本、导线及其关联关系的表达)与parsedjson格式(由解析/后处理流程输出,典型字段包括components、edges、body_bbox、place_pos等,侧重于元件、引脚及几何位置的表达)。上述两种格式在字段命名、坐标系方向、文本关联方式等方面均存在差异。此外,golden数据与recognition数据中的元件编号、引脚编号、导线编号通常由不同系统生成,无法直接通过编号进行一一对应。

3、目前,与pcb识别结果评价相关的现有技术主要可分为以下几类:

4、(一)pcb前端识别类技术

5、该类技术侧重于从pcb图像中直接识别元件、缺陷或生成结构化数据,属于前端识别而非后端评价。

6、中国专利申请cn122115432a公开了一种pcb背钻孔缺陷检测方法、检测装置及评价方法。该方法先通过整板二维图像识别并初筛待复核孔,再对待复核孔进行三维形貌扫描,并对残桩超差、铜丝残留、孔壁粗糙度等进行识别与分类。该方法中的“评价”是针对背钻孔这一特定缺陷类型的多模态图像评价,并非对pcb识别系统输出的结构化json(元件、引脚、导线)与标准答案之间的一致性评价。

7、中国专利申请cn119291035a公开了一种pcb元件检测方法、系统、存储介质及计算机设备。该方法获取单个pcb元件引脚与焊点的外观及内部特征信息,形成外表连接特征指数和内部连接特征指数,进而计算每个引脚的焊点连接质量指数。该方法虽然涉及引脚与焊点连接质量评价,但评价依据是单张pcb图像的特征指数,未将识别结果与golden数据进行结构化对比,也未涉及编号不一致情况下的匹配问题。

8、中国专利申请cn122115411a公开了一种基于深度学习的pcb-aoi检测方法和检测系统。该方法通过引入gerber设计数据与光学图像的双流融合机制识别位置偏移、尺寸不符等缺陷。该方法的重点在于检测阶段的设计信息融合,未涉及检测结果的后处理评价及与golden数据的匹配。

9、(二)识别结果结构化评价类技术

10、该类技术涉及将识别预测结果与参考结果进行结构化对比评价。

11、中国专利申请cn121505398a公开了一种基于树匹配的公式图片识别性能评价方法及系统。该方法将公式图片的识别预测结果序列和参考正确结果序列规范化到统一格式,转换为有序树结构,比较两颗有序树的结构与节点标签,计算有序树转换的最少树编辑次数和有序树相似度。该方法虽然涉及识别结果与参考结果的结构化对比评价,但应用领域为公式图片识别,评价对象是树状符号结构;pcb识别结果包含元件空间位置、引脚几何、导线网络拓扑等特征,无法直接套用树匹配方法。

12、中国专利申请cn115204078a公开了一种集成电路木马检测方法及系统。该方法提取待测芯片的集成电路版图,逆向工程生成门级网表,再利用等价性验证工具将逆向工程生成的门级网表与待测芯片原始设计的门级网表进行等价性验证。该方法面向集成电路反向工程中的门级网表等价性验证,验证对象是经过综合后的门级网表;而pcb图像识别系统输出的是包含元件、引脚、导线及文本的json结构化数据,两者在数据模型、抽象层级及可视化需求上均不相同,且该方法未涉及可视化歧义消解与人机交互。

13、(三)pcb设计验证类技术

14、该类技术侧重于pcb设计阶段或改版阶段的逻辑一致性验证。

15、现有网表对比工具(如allegro compare netlists、netlistdiff等)可对原理图与pcb网表进行结构化差异分析,覆盖器件级、网络级、引脚级及约束级对比。然而,这些工具面向设计阶段的已知、规范网表,网表格式统一、编号一致;而识别结果评价面对的是识别系统输出的异构json,编号体系不一致、坐标系可能不同、字段命名不统一,现有网表对比工具无法直接适用。

16、中国专利申请cn116583020a公开了一种pcb板自动布线方法及系统,在布线完成后进行设计规则检查。该方法面向设计阶段布线验证,不处理识别结果与golden之间的结构化对比评价。

17、(四)可视化验证与人机交互类技术

18、该类技术侧重于将验证信息以可视化方式呈现。

19、中国专利申请cn119992028a公开了一种基于人工智能物体识别布局及步骤的可视化验证装置。该方法通过多角度图像采集、物体识别及四合一可视化验证机制,实现沙盘演练过程中各种实体的数据获取与验证。其应用场景为沙盘演练实体识别,未涉及pcb结构化识别结果的可视化评价。

20、中国专利cn118642970b公开了一种可视化验证方法、电子设备和计算机可读存储介质。该方法将验证信息以直观方式呈现,提升用户交互体验与操作效率。该方法属于通用可视化验证方法,未针对pcb识别结果评价中的多层语义匹配与歧义消解。

21、(五)通用异构数据归一化类技术

22、该类技术涉及多源异构数据的归一化处理。

23、中国专利申请cn120492419a公开了一种针对多源、多模态、多格式的异构数据归一化方法及系统。该方法将日志数据标准化成统一模型。该方法虽然涉及异构数据归一化,但应用领域为日志安全事件处理,未针对pcb识别数据的双坐标系、双格式及元件、引脚、导线的语义关联进行归一化。

24、中国专利申请cn122431826a公开了一种面向多源异构系统的可信分布式数据融合调度平台及方法。该方法通过语义相似度匹配完成异构数据归一化映射。该方法侧重数据安全与分布式融合调度,未涉及pcb识别数据的结构化语义匹配与评价。

25、综上,现有技术存在以下不足:

26、第一、缺乏面向pcb图像识别结构化结果的评价方法。现有专利多为前端识别(缺陷检测、元件识别)或设计阶段验证(网表对比、drc),几乎没有针对pcb图像识别系统输出的json结构化数据(元件、引脚、导线、文本)与golden之间的一致性质量评价。

27、第二、缺乏编号不一致情况下的自动匹配方法。当golden与recognition来自不同系统或不同版本时,元件编号、引脚编号、导线编号往往不一致,现有技术未公开如何在编号不一致情况下建立元件、引脚及连接关系的对应关系。

28、第三、缺乏异构识别数据格式的自适应归一化。pcb识别领域存在cvjson、parsedjson等多种数据格式,坐标系、字段命名、文本关联方式均不同,现有通用异构数据归一化方法未针对pcb识别数据的特殊性进行设计,需要大量人工预处理。

29、第四、缺乏细粒度的连接关系评价指标。现有评价方法多为元件级iou或像素级accuracy,无法对连接关系(网络)的匹配程度进行细分,尤其无法区分2元件连接与3+元件连接的不同判定规则。

30、第五、缺乏可视化的人工核验能力。当自动匹配出现歧义或低置信度情况时,现有技术无法提供将识别结果与原始pcb图像叠加展示的可视化工具,导致工程师难以快速定位问题。

31、第六、大尺度数据可视化性能不足。现有通用可视化方法在处理大规模pcb数据时,全量渲染导致缩放、平移卡顿,影响人工核验效率。

32、第七、缺乏从评价到修正的闭环。现有技术多为一次性评价输出,未将评价结果与交互式编辑、规则校验及修正后数据导出相结合,无法形成持续改进的数据闭环。

33、第八、难以应对工业场景下高质量标注数据稀缺的问题。pcb板种类繁多、结构复杂,完全依赖人工从头标注不仅成本高昂、费时费力,而且标注一致性难以把控、管理困难。现有技术未充分考虑在标注资源受限的情况下,如何以低成本获取高质量训练数据。

技术实现思路

1、本发明的目的在于实现在golden与recognition之间同时存在“数据格式异构”和“编号体系不一致”的双重约束下,如何不依赖人工预处理和编号映射,自动完成pcb识别结果从元件、引脚到连接关系的全层级结构化质量评价,并以可视化方式支持人工核验与数据修正。

2、为了实现上述目的本发明采用以下技术手段:

3、本发明提供了一种pcb识别结果的可视化评价方法,包括以下步骤:

4、步骤1:获取标准答案数据和待评价的识别结果数据,根据所述标准答案数据和所述识别结果数据的字段特征确定数据格式类型,并按照确定的数据格式类型对所述标准答案数据和所述识别结果数据进行归一化处理,将所述标准答案数据和所述识别结果数据统一转换为内部标准格式数据;

5、步骤2:基于所述内部标准格式数据,在元件编号、引脚编号及导线编号不一致的条件下,通过元件外接矩形的位置和尺寸建立所述标准答案数据与所述识别结果数据之间的元件级匹配,通过引脚端点的位置建立引脚级匹配,通过导线所连接元件的集合关系建立连接关系级匹配;

6、步骤3:基于所述元件级匹配、所述引脚级匹配和所述连接关系级匹配的匹配结果,计算元件层级、引脚层级和连接关系层级的评价指标;

7、步骤4:将所述元件级匹配、所述引脚级匹配和所述连接关系级匹配的匹配结果以及所述评价指标以可视化方式叠加展示于原始pcb图像上,对存在多个候选匹配对象或匹配置信度低于预设阈值的匹配结果进行可视化标注和人工确认;

8、步骤5:响应于人工编辑操作,修正所述识别结果数据,并导出修正后的数据。

9、上述方案中,所述步骤1包括:

10、步骤1.1:若所述识别结果数据同时包含文本字段和导线字段,且导线字段中的元素包含关联文本字段,则判定所述识别结果数据为计算机视觉识别输出格式;若所述识别结果数据同时包含导线字段和元件字段,且元件字段中的元素包含本体包围盒字段或放置位置字段,则判定所述识别结果数据为解析后处理输出格式;

11、步骤1.2:根据画布高度参数,将采用底部-左侧原点的坐标系中的纵坐标转换为采用顶部-左侧原点的坐标系中的纵坐标,转换关系为:

12、

13、其中,为转换后的内部纵坐标,为画布高度,为原始纵坐标;对于包围盒,转换后的内部坐标为:

14、

15、其中,、、、为转换后的包围盒坐标;

16、步骤1.3:将所述识别结果数据中的光学字符识别字段别名、视觉语言模型字段别名和库搜索字段别名统一映射为标准字段名称;

17、步骤1.4:解析文本的归属字段,所述归属字段的格式为元件编号、引脚编号和角色名称的组合,根据所述归属字段建立文本与元件、引脚及角色之间的三级关联。

18、上述方案中,所述步骤2中通过元件外接矩形的位置和尺寸建立元件级匹配包括:

19、对于所述标准答案数据中的每个元件和所述识别结果数据中的每个元件,计算两个元件外接矩形之间的交并比和两个元件外接矩形中心之间的中心距,所述交并比的计算公式为:

20、

21、其中,表示所述标准答案数据中的元件外接矩形,表示所述识别结果数据中的元件外接矩形,为两个外接矩形交集区域的面积,为两个外接矩形并集区域的面积;所述中心距的计算公式为:

22、

23、其中,为所述标准答案数据中元件外接矩形的中心坐标,为所述识别结果数据中元件外接矩形的中心坐标;

24、当所述交并比大于或等于元件交并比阈值,且所述中心距小于元件中心距阈值时,判定两个元件匹配成功;

25、对于所述标准答案数据中的元件按预设稳定顺序依次处理,仅从尚未使用且满足匹配条件的识别结果元件中选取交并比最大的元件作为匹配对象;匹配对象一经选定即标记为已使用;

26、当交并比相同时,选取中心距最小的元件作为匹配对象;

27、建立所述标准答案数据中的元件与所述识别结果数据中的元件之间的一对一双向映射表。

28、上述方案中,所述步骤2中通过引脚端点的位置建立引脚级匹配包括:

29、第一步:对于所述标准答案数据中已完成元件级匹配的元件内部的每个引脚,仅在所述识别结果数据中对应已匹配元件内部的引脚中寻找最佳匹配;基于引脚端点构成的矩形框的交并比和端点距离判定匹配,当所述交并比大于或等于引脚交并比阈值,且所述端点距离小于引脚端点距离阈值时,判定两个引脚匹配成功;

30、第二步:对于未在所述第一步中完成匹配的所述标准答案数据中的引脚,在所述识别结果数据中所有未使用的引脚中进行全局匹配,匹配判定条件与所述第一步相同。

31、上述方案中,所述步骤2中通过导线所连接元件的集合关系建立连接关系级匹配包括:

32、将所述标准答案数据中的每条导线抽象为所连接元件的编号集合,得到标准答案元件集合;

33、通过所述元件级匹配建立的双向映射表,将所述识别结果数据中的每条导线所连接的识别结果元件编号反向映射为标准答案元件编号,得到映射后元件集合;

34、计算所述标准答案元件集合与所述映射后元件集合的交集大小,得到匹配计数;计算匹配比例,所述匹配比例等于所述匹配计数除以所述标准答案元件集合的元素个数;

35、根据所述标准答案数据中导线所连接元件的数量,采用差异化判定规则:

36、当所述数量为2时,所述匹配计数等于2、映射后元件集合与标准答案元件集合相等且识别导线不存在未映射的额外元件时,判定为完全匹配;匹配计数等于1时判定为连接丢失;存在额外连接的候选不计入完全匹配;

37、当所述数量大于或等于3时,映射后元件集合与标准答案元件集合相等且不存在未映射的额外元件时判定为完全匹配;不属于完全匹配且匹配计数大于或等于2时判定为有效部分匹配,并标注额外连接异常;匹配计数等于1时判定为连接丢失;匹配计数为0或不存在候选时判定为未匹配。

38、上述方案中,所述步骤3中的评价指标包括:

39、元件匹配率,等于已匹配元件数量除以所述标准答案数据中的元件总数量;

40、引脚匹配率,等于已匹配引脚数量除以所述标准答案数据中的引脚总数量;

41、连接关系严格准确率,等于完全匹配的连接关系数量除以所述标准答案数据中的连接关系总数量;

42、连接关系宽松准确率,等于完全匹配的连接关系数量与有效部分匹配的连接关系数量之和除以所述标准答案数据中的连接关系总数量;

43、连接保留率,等于至少匹配到一个元件的连接关系数量除以所述标准答案数据中的连接关系总数量;

44、综合得分,等于所述元件匹配率乘以元件权重、所述引脚匹配率乘以引脚权重、所述连接关系严格准确率乘以连接权重三者之和,所述元件权重、所述引脚权重和所述连接权重之和为1。

45、上述方案中,所述步骤4包括:

46、将归一化后的元件外接矩形、元件本体框、引脚端点、导线关键点路径及文本框以差异化颜色和线型叠加渲染在所述原始pcb图像上;

47、当选中某一元件、引脚或导线时,自动高亮与所选元件、引脚或导线相关联的所有元件、引脚、导线及文本;

48、从导线连接关系构建元件级网络拓扑图,使用并查集合并具有明确电气连接关系的引脚得到电气网络簇;对含多个元件的网络,以元件为一类节点、网络为另一类节点,并在网络节点与其连接的元件节点之间建立边,构建元件—网络二部图,采用节点间斥力和连边引力的迭代布局算法进行布局并渲染。仅含单个元件的网络可在显示时过滤,但保留于原始数据及评价记录中。

49、对空间上端点距离小于预设重叠阈值的引脚进行预计算聚类,当点击存在重叠引脚的位置时,弹出选择菜单,按连接状态排序展示候选引脚及每个候选引脚关联的导线与文本信息;

50、对特定元件类型的引脚命名规则进行自动校验,根据元件旋转角度建立引脚极性所在边的期望映射,计算每个引脚相对元件中心所在边,比较实际引脚编号或名称与期望编号或名称是否一致,输出校验报告与可视化提示。

51、上述方案中,所述步骤5包括:

52、响应于新增引脚操作,根据鼠标位置自动投影到元件边框,生成引脚端点位于元件外框上、引脚基部位于元件本体框上、引脚连线沿水平或垂直方向延伸的引脚,并同步更新内部数据与原始json数据;

53、响应于新增连接关系操作,校验待连接引脚的存在性及是否已连接,更新导线的连接信息、关键点及路径数据;

54、将修正后的数据导出为带时间戳的标准化json文件。

55、上述方案中,所述步骤4中的可视化展示还包括大尺度渲染优化,所述大尺度渲染优化包括:

56、计算当前视口在世界坐标系中的边界,对元件使用外接矩形与视口边界进行轴对齐包围盒相交测试,对引脚使用端点坐标判断是否位于视口内,对导线使用关键点路径判断是否有线段与视口相交,对文本使用文本框边界与视口边界进行轴对齐包围盒相交测试,仅渲染位于视口内及预设缓冲距离内的元素;

57、创建离屏画布作为静态层缓存,保存背景元素及其视图适用状态;视图不变时复用静态层并重新渲染动态交互层,缩放或平移时按相同坐标变换复用仍有效的缓存,在覆盖范围不足、分辨率不适用或静态内容改变时重建缓存;

58、通过逐帧渲染请求队列对短时间内的多次视图变化请求进行合并,每帧至多执行一次渲染。

59、本发明提供了一种pcb识别结果的可视化评价系统,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述的pcb识别结果的可视化评价方法。

60、因为本发明采用上述技术手段,因此具备以下有益效果:

61、1.异构格式归一化与空间匹配协同,消除非识别误差引起的错误评价

62、本发明基于不同识别流程的字段名称、坐标原点及文本归属表达不同会同时影响几何比较与语义关联的考虑,为解决同一pcb对象因数据表达差异而被错误判定为漏识别或错识别的问题,采用步骤1的格式判定、坐标转换、字段映射及三级文本归属解析,将标准答案与识别结果转换至同一内部数据模型,并将归一化后的几何量直接输入步骤2的匹配过程。坐标转换消除纵轴方向差异,字段映射和归属解析保留元件、引脚与文本之间的引用关系,使空间匹配能够在相同坐标和语义条件下执行。由此,归一化结果既用于匹配计算,又用于步骤4的同图叠加,减少计算对象与显示对象不一致引起的误判及重复定位;该效果来源于统一数据模型对匹配和可视化两条处理路径的共同约束。

63、2.元件几何匹配与连接集合映射协同,实现跨编号体系的连接评价

64、本发明基于元件编号和导线编号由不同系统独立生成、但元件位置和实际连接对象具有对应关系的考虑,为解决直接比较编号导致真实连接无法对应的问题,采用步骤2.1的交并比与中心距联合约束建立一对一元件双向映射,再由步骤2.3利用该映射将识别导线连接的元件转换至标准答案编号空间。几何匹配产生的映射成为后续拓扑比较的共同索引,使导线路径存在弯折、采样点数量或编号差异时,仍可按连接对象而非路径外观进行评价。一对一约束同时限制同一识别元件被重复计入不同标准元件,减少上游重复对应在连接集合中的传播;严格匹配进一步检查额外连接对象,避免仅覆盖标准集合的错误合并网络获得完全匹配评价。

65、3.元件内优先匹配与全局候选复核协同,兼顾引脚定位精度和错误诊断

66、本发明基于密集区域不同元件的引脚端点可能相邻,而元件匹配失败又可能使其所属引脚失去局部搜索入口的考虑,为解决仅全局最近邻搜索易发生跨元件错配、仅局部搜索又无法发现剩余几何对应的问题,采用步骤2.2先在已匹配元件内建立引脚对应,再对剩余引脚执行全局兜底,并保留引脚所属元件信息及局部或全局匹配来源。局部阶段通过元件对应关系缩小候选范围,全局阶段通过相同的端点距离约束补充候选;全局候选与已有元件映射冲突时进入步骤4复核而不直接覆盖既有对应。由此,可分别定位引脚几何误差与引脚归属冲突,减少将元件级漏匹配简单等同为全部引脚漏识别的情况。

67、4.网络规模分级与差异化指标协同,区分连接断裂程度

68、本发明基于二元件连接保留一个对象时已不能维持该连接,而多元件网络保留至少两个对象时仍可能保留局部连接的考虑,为解决单一匹配率不能区分完全正确、局部保留与连接丢失的问题,采用步骤2.3按标准网络规模和集合交集计数进行互斥分类,再由步骤3分别计算严格准确率、宽松准确率及连接保留率,并保留额外连接和未映射对象的异常标记。网络规模决定部分匹配的技术含义,分类结果同时驱动统计与可视化定位,使工程师能够区别处理局部支路遗漏、整体连接缺失及错误合并网络。宽松指标用于表征保留程度,严格指标用于表征元件级连接集合一致性,两者配合避免以单一高分掩盖连接错误。

69、5.匹配差异定位、关联高亮与重叠候选选择协同,降低人工修正歧义

70、本发明基于重叠引脚在图像上难以直接区分且连接错误涉及元件、引脚、导线及文本多个对象的考虑,为解决仅显示差异列表或仅按鼠标最近点选取时无法可靠定位编辑对象的问题,采用步骤4将未匹配对象和低置信度候选叠加于原始图像,并通过内部关联索引同步高亮相关元件、引脚、导线和文本;对于重叠位置,显示包含连接状态和归属信息的候选菜单。自动评价缩小人工查看范围,关联信息为几何上重合的对象提供语义区分依据,人工选择结果再约束步骤5的编辑目标。由此,评价结果不仅作为独立报告输出,还直接参与编辑对象的确定,减少选错相邻或重叠引脚所造成的二次数据错误。

71、6.统一坐标、视口筛选与分层缓存协同,减少局部核验的重复绘制

72、本发明基于大尺度图像的人工核验通常集中于局部区域、背景与交互标记更新频率不同的考虑,为解决缩放、平移和连续选择时反复全量绘制影响操作反馈的问题,采用步骤4在统一世界坐标下计算视口及缓冲区域,对不同对象执行相应可见性判断,并结合静态层缓存、动态交互层和逐帧请求合并。视口判断限定进入绘制阶段的对象集合,分层缓存减少未变化背景的重复生成,请求合并避免同一显示帧处理多次过时状态;视图变换时同步更新坐标变换和命中检测,并在缓存覆盖不足或内容变化时失效重建。由此,在保持评价标记与原始图像空间对应的同时降低局部交互的重复绘制开销,具体帧率增益取决于数据规模及运行环境。

73、7.几何约束编辑、引用同步与重新评价协同,形成可追溯修正闭环

74、本发明基于人工补录若仅改变显示图形而未同步数据引用,会导致导出结果与可见结果不一致的考虑,为解决修正后的数据仍存在悬空引脚引用、连接信息不同步或评价结果过时的问题,采用步骤5在新增引脚时施加外框、本体框及方向约束,在新增连接时验证引脚存在性并同步更新连接及路径字段,再基于更新后的内部数据重新执行相关匹配、评价和显示。几何约束限定新增对象的位置,引用校验限定对象间连接,重新评价检验修正对既有差异的影响,使编辑结果、导出结果与评价报告对应同一版本。修正数据经人工复核后可作为后续训练候选标注,减少重复录入;对于缺少标准答案的样本,仅执行规则检查和人工核验,不将其误作已完成真值一致性评价。