一种基于计算机视觉的工程图纸比对装置和方法与流程

1.本发明涉及智能识别技术领域和计算机视觉领域，尤其涉及一种基于计算机视觉的工程图纸比对装置和方法。


背景技术：

2.在工程图纸审查过程中，审图人员经常需要对同一项目工程图纸文件的当前版本和上一版本进行人工审核，以检查该当前版本图纸内容是否遵循相应的设计规范，或是文件内是否有违规修改内容。
3.现有工程图纸文件比对工作一般由专业的审图人员完成，或使用通用图文差异识别软件辅助检测，但该类软件往往不能在工程图纸检测上达到很好的效果。
4.由于工程图纸文件内容页多，不同版本工程图纸文件的文件页数可能发生改变，此时页面对应关系就会发生错乱；以及工程图纸具有分辨率高、图文结合、内容排版紧密等特点。传统图像方法对噪声敏感容易误检，深度学习则对高分辨率图像检测像素级的变化对硬件设备要求高；工程图纸内容变动形式多样，有文字内容变化、图形局部变化、图形局部位移、图形整体位移等，更包含这些变化的重叠、累加等，现有的方法检测效果较差。
5.工程图纸内容多样且精细，其特征变动往往无法预知和掌握，但其作为标准的图纸文件具有某些固定的特点：工程图纸正常情况下都具备图框线和标题栏。图框线用于界定绘图区域，标题栏用于说明这张图纸的基本信息。
6.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

7.针对现有技术中存在的以上缺陷，本发明提出一种基于计算机视觉的工程图纸比对装置，所述装置包括：
8.用户交互组件，用于接受用户输入的待比对的新版本工程图纸电子文件，获取所述工程图纸电子文件的目标版本信息；
9.数据关系管理组件，用于根据所述目标版本信息从数据库中获取与所述工程图纸电子文件之间具有版本关系的历史版本工程图纸文件；
10.数据处理组件，用于分别对所述新版本工程图纸电子文件和所述工程图纸电子文件进行解析处理，具体处理方式为：分别将所述新版本工程图纸电子文件和所述工程图纸电子文件的原始图纸的文件格式转化为具有索引标识的点阵图像文件，其中，所述索引标识表征记录所述原始图纸文件与所述点阵图像文件的内容页之间的对应关系；
11.图纸页面匹配组件，用于将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配，输出匹配成功的图像索引标识，以确定索引标识匹配成功的点阵图像文件对应的图纸；
12.图纸差异检测组件，用于对具有索引标识匹配关系的点阵图像文件进行比对，获
取相同内容页的两图纸之间的差异变化的区域坐标点信息，以确定所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果；
13.所述数据关系管理组件，还用于对所述差异检测结果进行存储；
14.所述用户交互组件，还用于对所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果进行展示。
15.优选的，所述图纸页面匹配组件，还用于将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配之后，将具有对应关系的图纸页点阵图的图像索引标识进行存储，将不具有对应关系的图纸页点阵图的图像索引进行存储。
16.优选的，所述图纸页面匹配组件，还用于分别对所述新版本工程图纸电子文件和所述工程图纸电子文件的点阵图像的图号信息进行识别，若检测出图号信息，确定图号所在点阵图中的坐标信息；若没有检测出图号信息，将此图记录为需进行全图匹配的待匹配图；
17.所述图纸页面匹配组件，还用于对有图号信息的切片图使用文本检测算法提取所述图号信息位置处的文字信息；
18.所述图纸页面匹配组件，还用于对图号文字信息一致的点阵图索引值建立待比对关系；
19.所述图纸页面匹配组件，还用于进行全图特征向量相似度匹配，得到匹配索引值，并确定未获取到匹配信息的点阵图索引值；
20.所述图纸页面匹配组件，还用于将所述匹配索引值记录到待比对图像列表，并将所述未获取到匹配信息的点阵图索引值记录到无比对关系图像列表。
21.优选的，所述具有索引标识匹配关系的点阵图像文件为已知的第一图像和待匹配的第二图像；
22.所述图纸差异检测组件还用于，判断所述第一图像和所述第二图像的图像之间的朝向：按照预设旋转角度对第二图像进行旋转，得到多个候选第二图像，所述多个候选第二图像包括多个经过旋转后的第二图像、以及未经过旋转后的所述第二图像；将所述第一图像分别与多个候选第二图像进行图像特征相似度比较；
23.所述图纸差异检测组件还用于，若所述第一图像与上述一个候选第二图像之间的图像特征相似度满足预设条件，将上述满足预设条件的候选第二图像作为目标第二图像；并对所述第一图像和所述目标第二图像进行粗检操作；
24.所述图纸差异检测组件还用于，确定所述第一图像中的第一区域图像，并从所述目标第二图像中确定与所述第一区域图像在所述第一图像中的坐标位置对应的第二区域图像；将所述第一区域图像和坐标位置对应的第二区域图像作为区域图像的匹配对；
25.所述图纸差异检测组件还用于，对匹配对中的第一区域图像和第二区域图像执行图像对齐操作；
26.所述图纸差异检测组件还用于，将匹配对中的区域图像使用图像差异检测算法进行逐像素差异检测，输出有差异对比关系的图像粗检差异的区域边界框坐标信息，将检测后的匹配对作为粗检区域图像对；从所述粗检区域图像对中提取该区域内字符内容信息；对比粗检区域图像对中的字符信息一致性；
27.若对比结果存在有信息差异，则所述图纸差异检测组件将粗检差异的区域边界框坐标信息录入差异检测结果列表；
28.或
29.若对比结果不存在信息差异，则所述图纸差异检测组件对无文字信息差异的切片对使用卷积神经网络提取图像深度特征向量，并进行切片区域匹配，匹配成功的切片对被视为局部位移差异，如果未匹配成功的切片认为发生局部变化差异；
30.所述图纸差异检测组件还用于，转换所有检测结果的坐标为基于原图的绝对坐标，输出图像差异区域的边界框坐标、变动坐标以及文字内容变化信息。
31.本发明提供一种基于计算机视觉的工程图纸比对方法，所述方法包括：
32.接受用户输入的待比对的新版本工程图纸电子文件，获取所述工程图纸电子文件的目标版本信息；
33.根据所述目标版本信息从数据库中获取与所述工程图纸电子文件之间具有版本关系的历史版本工程图纸文件；
34.分别对所述新版本工程图纸电子文件和所述工程图纸电子文件进行解析处理，具体处理方式为：分别将所述新版本工程图纸电子文件和所述工程图纸电子文件的原始图纸的文件格式转化为具有索引标识的点阵图像文件，其中，所述索引标识表征记录所述原始图纸文件与所述点阵图像文件的内容页之间的对应关系；
35.将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配，输出匹配成功的图像索引标识，以确定索引标识匹配成功的点阵图像文件对应的图纸；
36.对具有索引标识匹配关系的点阵图像文件进行比对，获取相同内容页的两图纸之间的差异变化的区域坐标点信息，以确定所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果；
37.对所述差异检测结果进行存储；
38.对所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果进行展示。
39.优选的，所述将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配之后，还包括：
40.将具有对应关系的图纸页点阵图的图像索引标识进行存储；
41.将不具有对应关系的图纸页点阵图的图像索引进行存储。
42.优选的，所述将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配，输出匹配成功的图像索引标识，以确定索引标识匹配成功的点阵图像文件对应的图纸的步骤，具体包括：
43.分别对所述新版本工程图纸电子文件和所述工程图纸电子文件的点阵图像的图号信息进行识别，若检测出图号信息，确定图号所在点阵图中的坐标信息；若没有检测出图号信息，将此图记录为需进行全图匹配的待匹配图；
44.对有图号信息的切片图使用文本检测算法提取所述图号信息位置处的文字信息；
45.对图号文字信息一致的点阵图索引值建立待比对关系；
46.进行全图特征向量相似度匹配，得到匹配索引值，并确定未获取到匹配信息的点
阵图索引值；
47.将所述匹配索引值记录到待比对图像列表，并将所述未获取到匹配信息的点阵图索引值记录到无比对关系图像列表。
48.优选地，所述具有索引标识匹配关系的点阵图像文件为已知的第一图像和待匹配的第二图像；
49.相应地，所述对具有索引标识匹配关系的点阵图像文件进行比对的步骤之前，还包括：
50.判断所述第一图像和所述第二图像的图像朝向是否一致，其中，所述判断所述第一图像和所述第二图像的图像朝向是否一致的步骤，具体包括：
51.按照预设旋转角度对第一图像进行旋转；
52.将所述第二图像分别与经过旋转后的第一图像、以及未经过旋转后的所述第一图像进行图像特征相似度比较；
53.若所述第二图像与所述经过旋转后的第一图像的图像特征相似度一致，则对所述第二图像进行对齐操作；
54.或
55.若所述第二图像与所述未经过旋转后的所述第一图像的图像特征相似度一致，则判定所述第一图像和所述第二图像的朝向一致。
56.优选的，所述具有索引标识匹配关系的点阵图像文件为已知的第一图像和待匹配的第二图像；
57.相应地，所述对具有索引标识匹配关系的点阵图像文件进行比对，获取相同内容页的两图纸之间的差异变化的区域坐标点信息，以确定所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果的步骤，具体包括：
58.判断所述第一图像和所述第二图像的图像之间的朝向：按照预设旋转角度对第二图像进行旋转，得到多个候选第二图像，所述多个候选第二图像包括多个经过旋转后的第二图像、以及未经过旋转后的所述第二图像；
59.将所述第一图像分别与多个候选第二图像进行图像特征相似度比较；
60.若所述第一图像与上述一个候选第二图像之间的图像特征相似度满足预设条件，将上述满足预设条件的候选第二图像作为目标第二图像；并对所述第一图像和所述目标第二图像进行粗检操作
61.确定所述第一图像中的第一区域图像，并从所述目标第二图像中确定与所述第一区域图像在所述第一图像中的坐标位置对应的第二区域图像；将所述第一区域图像和坐标位置对应的第二区域图像作为区域图像的匹配对；
62.对匹配对中的第一区域图像和第二区域图像执行图像对齐操作；
63.将匹配对中的区域图像使用图像差异检测算法进行逐像素差异检测，输出有差异对比关系的图像粗检差异的区域边界框坐标信息，将检测后的匹配对作为粗检区域图像对；
64.从所述粗检区域图像对中提取该区域内字符内容信息；
65.对比粗检区域图像对中的字符信息一致性；
66.若对比结果存在有信息差异，则将粗检差异的区域边界框坐标信息录入差异检测
结果列表；
67.或
68.若对比结果不存在信息差异，则对无文字信息差异的切片对使用卷积神经网络提取图像深度特征向量，并进行切片区域匹配，匹配成功的切片对被视为局部变化位移，如果未匹配成功的切片认为局部变化差异；
69.转换所有检测结果的坐标为基于原图的绝对坐标，输出图像差异区域的边界框坐标、变动坐标以及文字内容变化信息。
70.本技术的有益效果在于：本发明基于有前后版本关系的工程图纸文件，在内容页错位的情况下进行关系比对查找，在确定比对关系后使用基于计算机视觉的图像比对方法检测图像中的差异内容，实现了无需人为确定比对关系内容页，仅需接收工程图纸原文件即可输出差异坐标信息比对结果，将比对结果显示给用户，高效的进行工程图纸文件校对，不仅节省时间和人力成本，同时提高比对结果的正确率。解决现有方法大多只能检测两张图像而不适用完整工程图纸文件比对的问题，且完善了图纸间的差异检测方法，不仅能够检测视觉差异区域，还能够检测文字内容差异并提议导致差异的可能原因，辅助审查人员判断与决策。
附图说明
71.图1为本发明实施例中的基于计算机视觉的工程图纸比对装置的流程示意图；
72.图2为本发明实施例中的基于计算机视觉的工程图纸比对方法的主要实施例的流程示意图；
73.图3为本发明一实施例中的“区域图像的匹配对”的示意图；
74.图4为本发明实施例中的基于计算机视觉的工程图纸比对方法的又一实施例的流程示意图。
具体实施方式
75.以下结合附图及实施例对本发明作进一步详细说明。请参见图1，图1是本发明中提供的一种基于计算机视觉的工程图纸比对装置第一实施例结构框图，所述装置包括：
76.用户交互组件100，用于接受用户输入的待比对的新版本工程图纸电子文件，获取所述工程图纸电子文件的目标版本信息；
77.需要说明的是，所述用户交互组件100提供可视化用户界面，用以上传新版本工程图纸文件，包含可视化的用户交互界面并提供用户交互逻辑，例如上传图纸文件、查看图纸文件、申请图纸差异检测、查看各页面检测结果等。
78.可理解的是，用户交互组件主要作用在于接收工程图纸文件，接收比对用户请求，呈现图纸差异比对结果；
79.需要说明的是，所述新版本工程图纸电子文件和所述工程图纸电子文件可经过一定的格式转化处理后成为电子文档内容页数据信息，所述电子文档内容页数据信息的格式为图像格式；经过图像转化处理后会预先建立与图纸电子文件对应的关系索引列表；
80.数据关系管理组件200，用于根据所述目标版本信息从数据库中获取与所述工程图纸电子文件之间具有版本关系的历史版本工程图纸文件；
81.可理解的是，数据关系管理组件200用以查询数据库的数据，将历史版本图纸信息展示至可视化用户界面；
82.在具体实现中，用户在可视化界面中选择好待比对文件后，两份文件信息传输至数据关系管理组件200；
83.所述新版本工程图纸与历史版本工程图纸应具有工程图纸比对系统“同文件不同版本”标识符，该标识符可用“文件名称”表示。
84.数据处理组件300，用于分别对所述新版本工程图纸电子文件和所述工程图纸电子文件进行解析处理，具体处理方式为：分别将所述新版本工程图纸电子文件和所述工程图纸电子文件的原始图纸的文件格式转化为具有索引标识的点阵图像文件，其中，所述索引标识表征记录所述原始图纸文件与所述点阵图像文件的内容页之间的对应关系；
85.具体地，数据处理组件300接收用户上传的图纸文件进行基本的解析处理，使其成为能用于图纸页面匹配组件400和图纸差异检测组件500输入的格式。例如，组件300所接收的用户上传的工程图纸文件可能是cad的dwg格式文件或已经过转换的pdf等格式文件，数据处理组件300需要将其转换为点阵图像文件以供后续算法需要。另外，对于图纸页面匹配组件400和图纸差异检测组件500返回的结果，数据处理组件300将其结合图纸文件信息处理后生成最终的检测结果，数据关系管理组件200缓存此次检测结果，并输出信息由用户交互组件100进行可视化展示；
86.可选地，数据处理组件300进行归一化处理，输出符合程序所需信息格式；
87.图纸页面匹配组件400，用于将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配，输出匹配成功的图像索引标识，以确定索引标识匹配成功的点阵图像文件对应的图纸；
88.具体地，图纸页面匹配组件400用于找到两份图纸文件页面之间的匹配关系，它以数据处理组件300处理后的两组待比对点阵图像的序列作为输入，以有匹配关系的图像的索引关系值和未匹配上的图像索引值作为输出。
89.图纸差异检测组件500，用于对具有索引标识匹配关系的点阵图像文件进行比对，获取相同内容页的两图纸之间的差异变化的区域坐标点信息，以确定所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果；
90.可理解的是，图纸差异检测组件500以任意两个点阵图像作为输入，第一步获取差异区域坐标信息；第二步在差异区域基于原图的切片图像中使用文本检测算法提取该图像区域内文字信息，检测文字内容是否发生变化；第三步使用图像深度特征进行差异区域切片匹配，以详细差异变动区域图像信息作为输出。
91.所述数据关系管理组件200，还用于对所述差异检测结果进行存储；
92.可选地，组件100所接收的文件之间具有历史比对结果，数据关系管理组件200直接将历史比对缓存结果展示至可视化用户界面；
93.用户交互组件100，还用于对所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果进行展示。
94.具体地，在一种实施方式中，首次进行比对数据关系管理组件200将数据元信息传输至数据处理组件300；数据处理组件300将满足比对条件的点阵图像文件格式输入图纸页面匹配组件400；图纸页面匹配组件400将有匹配关系的图纸信息传输给图纸差异检测组件
500；图纸差异检测组件500进行图纸比对并输出比对结果。最后由可视化用户界面提示比对成功，并显示比对结果。
95.基于上述第一实施例，提出本技术基于计算机视觉的工程图纸比对的第二实施例；
96.所述图纸页面匹配组件400，还用于将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配之后，将具有对应关系的图纸页点阵图的图像索引标识进行存储，将不具有对应关系的图纸页点阵图的图像索引进行存储。
97.本实施例在具体实现中，数据关系管理组件200在接收到用户上传的工程图纸后，查询数据库获取文件历史版本信息；针对初次进行比对的文件，数据关系管理组件200为当前两份图纸建立比对关系；
98.针对查询到历史比对信息的文件，查询该文件是否已有比对结果缓存信息；其中，有比对结果缓存信息，将该信息放回给用户交互管理组件100中，展示于可视化系统展示界面。没有比对结果缓存信息的文件信息传输给数据处理组件300。数据处理组件300转换工程图纸文件格式为点阵图像文件。具体地，数据处理组件300接收工程图纸文件后，将每份图纸的工程图纸内容转化为具有索引标识的点阵图像文件。
99.其中，所述索引标识设置为“图片名称”，索引标识特征在于与工程图纸文件页号具有对应关系。
100.图纸页面匹配组件400执行点阵图像文件匹配。图纸页面匹配组件400接收所述点阵图文件，获取匹配结果后，将具有对应关系的图纸页点阵图索引标识存储记录，将不具有对应关系的图纸页点阵图索引存储记录。
101.最后由图纸差异检测组件500进行图纸比对，再由可视化用户界面展示图纸比对的检测结果。
102.在具体实现中，根据步骤以上所述的比对关系，将没有比对关系的图页显示于界面中；
103.例如，基于新版本图纸，历史版本中无该图页，即显示为“新增页”；
104.又例如，基于历史版本图纸，新版本中无该图页，即显示为“删除页”。
105.基于上述第一实施例，提出本技术基于计算机视觉的工程图纸比对的第三实施例；
106.图纸页面匹配组件400，还用于分别对所述新版本工程图纸电子文件和所述工程图纸电子文件的点阵图像的图号信息进行识别，若检测出图号信息，确定图号所在点阵图中的坐标信息；若没有检测出图号信息，将此图记录为需进行全图匹配的待匹配图；
107.在具体实现中，本实施例可使用基于深度学习的目标检测模型，如基于目标检测框架结构的文本检测模型；
108.具体地，上述文本检测模型为一种检测图像信息中文本信息坐标位置，及其对应的字符信息的文本检测算法推理模型；如ctpn算法模型可检测横向排列文字所在图像中的坐标信息，其实现原理为：1)、使用如vgg等基础卷积网络提取图像深度特征，获取其深度特征图；2)、在该特征图上使用3x3滑动窗口获取特征向量；3)、使用双向lstm学习获取其特征向量序列特征；4)、最后经过rpn网络获取文本提案坐标信息。
109.图纸页面匹配组件400，还用于对有图号信息的切片图使用文本检测算法提取所
述图号信息位置处的文字信息；
110.图纸页面匹配组件400，还用于对图号文字信息一致的点阵图索引值建立待比对关系；
111.图纸页面匹配组件400，还用于进行全图特征向量相似度匹配，得到匹配索引值，并确定未获取到匹配信息的点阵图索引值；
112.具体地，对于下未建立比对关系的待匹配点阵图，使用基于深度学习的神经网络，如resnet50提取其图像特征；
113.具体地，使用旋转匹配的方法，在图片每旋转90度的情况下获取其特征向量；两份待匹配文件的所有待匹配点阵图组织为图像列表，计算这两个图像列表所述图像特征向量相似度笛卡尔积；
114.具体地，根据设定阈值，判别特征向量相似度是否达到该阈值界限，从达到阈值界限中的所有图像中选择相似度最高的一组比对结果，使用该结果对应点阵图索引值建立待比对关系；
115.图纸页面匹配组件400，还用于将所述匹配索引值记录到待比对图像列表，并将所述未获取到匹配信息的点阵图索引值记录到无比对关系图像列表。
116.基于上述第一实施例，提出本技术基于计算机视觉的工程图纸比对的第四实施例，本实施例中，所述具有索引标识匹配关系的点阵图像文件为已知的第一图像和待匹配的第二图像；
117.可理解的是，所述第一图像为所述工程图纸电子文件的目标版本信息中的一张图纸；所述第二图像为所述用户输入的待比对的新版本工程图纸电子文件中的一张图纸；所述第一图像和所述第二图像之间的内容页相同；
118.相应地，所述图纸差异检测组件500还用于，判断所述第一图像和所述第二图像的图像之间的朝向：按照预设旋转角度对第二图像进行旋转，得到多个候选第二图像，所述多个候选第二图像包括多个经过旋转后的第二图像、以及未经过旋转后的所述第二图像；将所述第一图像分别与多个候选第二图像进行图像特征相似度比较；
119.可理解的是，现有技术中常规的基于图像的比对软件及算法都只默认两两对比的图像是否相同，没有考虑图像发生旋转的情形，以第一图像a和第二图像b为例，如果a和b实际上是同一张图像的话，a不变，但是b由于人为操作等外界因素被旋转了90度，那么采用常规的图像匹配算法会认为a和b这两张图像不是同一张图像；而本实施例在针对图像b由于人为操作等外界因素被旋转了90度的情形时，会通过旋转第二图像b的角度将来第二图像b与第一图像a进行多次相似度计算，最后系统会判定并记录下第二图像b要顺时针要再旋转270度才能和a呈现的画面方向一致；
120.在具体实现中，将所述对第二图像b进行旋转，得到多个候选第二图像，具体可以为按照顺时针旋转90度的候选第二图像b1，按照顺时针旋转180度的候选第二图像b2，按照顺时针旋转270度的候选第二图像b3，以及未经过旋转后的所述第二图像b；将这四张b的图像副本使用卷积神经网络提取图像深度特征向量；
121.分别计算所述第一图像a与多个候选第二图像b图像特征向量之间的相似度的笛卡尔积。
122.所述图纸差异检测组件500还用于，若所述第一图像与上述一个候选第二图像之
间的图像特征相似度满足预设条件，将上述满足预设条件的候选第二图像作为目标第二图像；并对所述第一图像和所述目标第二图像进行粗检操作；
123.需要说明的是，在具体实现中，本实施例可以使用ssim结构相似性算法对图像进行粗检操作；这个算法的检测粒度是像素级语义检测，一点点像素的信息变化就导致容易判别为差异信息，因此我们把这个算法检测的结果作为非常粗粒度的检测第一步；
124.所述图纸差异检测组件500还用于，确定所述第一图像中的第一区域图像，并从所述目标第二图像中确定与所述第一区域图像在所述第一图像中的坐标位置对应的第二区域图像；将所述第一区域图像和坐标位置对应的第二区域图像作为区域图像的匹配对；
125.在具体实现中，参考图3，图3中的左边的图像是第一图像a，右边的图像是第二图像b，左边第一图像a中被画圆圈的是第一区域图像(位置1切片图)，右边第二图像b中被画圆圈的是第二区域图像(位置2切片图)；
126.可理解的是，两张图像粗检过后的切片图有“匹配对”关系，这时就开始更细粒度的检测；
127.所述图纸差异检测组件500还用于，对匹配对中的第一区域图像和第二区域图像执行图像对齐操作；
128.具体地，若坐标位置相应的第一区域图像和第二区域图像不是完整的对齐，则进行区域图像切片操作，否则，保留区域图像的原始图像信息；
129.所述图纸差异检测组件500还用于，将匹配对中的区域图像使用图像差异检测算法进行逐像素差异检测，输出有差异对比关系的图像粗检差异的区域边界框坐标信息，将检测后的匹配对作为粗检区域图像对；从所述粗检区域图像对中提取该区域内字符内容信息；对比粗检区域图像对中的字符信息一致性；
130.若对比结果存在有信息差异，则所述图纸差异检测组件500将粗检差异的区域边界框坐标信息录入差异检测结果列表；
131.或
132.若对比结果不存在信息差异，则所述图纸差异检测组件500对无文字信息差异的切片对使用卷积神经网络提取图像深度特征向量，并进行切片区域匹配，匹配成功的切片对被视为局部位移，如果未匹配成功的切片认为局部变化；
133.所述图纸差异检测组件500还用于，转换所有检测结果的坐标为基于原图的绝对坐标，输出图像差异区域的边界框坐标、变动坐标以及文字内容变化信息。
134.可理解的是，参考图3，在本实施例中，图a的位置1和图b的位置2存在有差异匹配对关系中细化的使用深度特征向量距离判断局部特征完全不同；且图a的位置1与图b中其他所有差异切片图特征都无相似性，因此判断位置1和位置2发生局部变化差异。
135.由此推理：
136.图a的位置3和图b的位置5为匹配对；图a的位置4和图b的位位置6为匹配对；但在进一步的特征比对时发现图a的位置4和图b的位置5特征一致，图a的位置3和图b的位位置6特征一致，因此图a的位3及图b的位位6判断为局部位移差异变化，前提条件是图a的位4及图b的位位5为背景特征或相同特征。
137.本实施例的公开的基于计算机视觉的工程图纸比对方法，可以对图纸的朝向是否发生变化进行准确地检测，使得比对的整体过程更自动化；同时，在对两张图像进行粗略检
测之后，会进行更细粒度的检测，使得检测的结果更加精准。
138.以下结合附图及实施例对本发明作进一步详细说明。请参见图2，图2是本发明中提供的一种基于计算机视觉的工程图纸比对方法第一实施例流程示意图，所述方法包括：
139.步骤s10：接受用户输入的待比对的新版本工程图纸电子文件，获取所述工程图纸电子文件的目标版本信息；
140.可理解的是，本步骤用于提供可视化用户界面，用以上传新版本工程图纸文件，包含可视化的用户交互界面并提供用户交互逻辑，例如上传图纸文件、查看图纸文件、申请图纸差异检测、查看各页面检测结果等。
141.需要说明的是，所述新版本工程图纸电子文件和所述工程图纸电子文件可经过一定的格式转化处理后成为电子文档内容页数据信息，所述电子文档内容页数据信息的格式为图像格式；经过图像转化处理后会预先建立与图纸电子文件对应的关系索引列表；
142.步骤s20:根据所述目标版本信息从数据库中获取与所述工程图纸电子文件之间具有版本关系的历史版本工程图纸文件；
143.可理解的是，本步骤用以查询数据库的数据，将历史版本图纸信息展示至可视化用户界面；
144.在具体实现中，用户在可视化界面中选择好待比对文件后，两份文件信息传输至数据关系管理组件；其中，所述新版本工程图纸与历史版本工程图纸应具有工程图纸比对系统“同文件不同版本”标识符，该标识符可用“文件名称”表示。
145.步骤s30:分别对所述新版本工程图纸电子文件和所述工程图纸电子文件进行解析处理，具体处理方式为：分别将所述新版本工程图纸电子文件和所述工程图纸电子文件的原始图纸的文件格式转化为具有索引标识的点阵图像文件，其中，所述索引标识表征记录所述原始图纸文件与所述点阵图像文件的内容页之间的对应关系；
146.具体地，接收用户上传的图纸文件进行基本的解析处理，使其成为能用于图纸页面匹配组件400和图纸差异检测组件500输入的格式。例如，组件300所接收的用户上传的工程图纸文件可能是cad的dwg格式文件或已经过转换的pdf等格式文件，数据处理组件300需要将其转换为点阵图像文件以供后续算法需要。另外，对于图纸页面匹配组件400和图纸差异检测组件500返回的结果，数据处理组件300将其结合图纸文件信息处理后生成最终的检测结果，数据关系管理组件200缓存此次检测结果，并输出信息由用户交互组件100进行可视化展示。
147.步骤s40:将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配，输出匹配成功的图像索引标识，以确定索引标识匹配成功的点阵图像文件对应的图纸；
148.具体地，图纸页面匹配组件400用于找到两份图纸文件页面之间的匹配关系，它以数据处理组件300处理后的两组待比对点阵图像的序列作为输入，以有匹配关系的图像的索引关系值和未匹配上的图像索引值作为输出。
149.步骤s50:对具有索引标识匹配关系的点阵图像文件进行比对，获取相同内容页的两图纸之间的差异变化的区域坐标点信息，以确定所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果；
150.可理解的是，图纸差异检测组件500以任意两个点阵图像作为输入，第一步获取差
异区域坐标信息；第二步在差异区域基于原图的切片图像中使用文本检测算法提取该图像区域内文字信息，检测文字内容是否发生变化；第三步使用图像深度特征进行差异区域切片匹配，以详细差异变动区域图像信息作为输出。
151.步骤s60:对所述差异检测结果进行存储；
152.可选地，组件100所接收的文件之间具有历史比对结果，数据关系管理组件200直接将历史比对缓存结果展示至可视化用户界面；
153.步骤s70:对所述新版本工程图纸电子文件和所述工程图纸电子文件相同内容页的两图纸之间的差异检测结果进行展示。
154.具体地，在一种实施方式中，首次进行比对数据关系管理组件200将数据元信息传输至数据处理组件300；数据处理组件300将满足比对条件的点阵图像文件格式输入图纸页面匹配组件400；图纸页面匹配组件400将有匹配关系的图纸信息传输给图纸差异检测组件500；图纸差异检测组件500进行图纸比对并输出比对结果。最后由可视化用户界面提示比对成功，并显示比对结果。
155.基于上述第一实施例，提出本技术基于计算机视觉的工程图纸比对方法的第二实施例；
156.本实施例中，所述步骤s40之后，还包括：
157.步骤s401：将所述新版本工程图纸电子文件和所述工程图纸电子文件之间的点阵图像文件的内容页进行匹配之后，将具有对应关系的图纸页点阵图的图像索引标识进行存储，将不具有对应关系的图纸页点阵图的图像索引进行存储。
158.本实施例在具体实现中，数据关系管理组件200在接收到用户上传的工程图纸后，查询数据库获取文件历史版本信息；针对初次进行比对的文件，数据关系管理组件200为当前两份图纸建立比对关系；
159.针对查询到历史比对信息的文件，查询该文件是否已有比对结果缓存信息；其中，有比对结果缓存信息，将该信息放回给用户交互管理组件100中，展示于可视化系统展示界面。没有比对结果缓存信息的文件信息传输给数据处理组件300。数据处理组件300转换工程图纸文件格式为点阵图像文件。具体地，数据处理组件300接收工程图纸文件后，将每份图纸的工程图纸内容转化为具有索引标识的点阵图像文件。
160.其中，所述索引标识设置为“图片名称”，索引标识特征在于与工程图纸文件页号具有对应关系。
161.步骤s402：由图纸页面匹配组件400执行点阵图像文件匹配。图纸页面匹配组件400接收所述点阵图文件，获取匹配结果后，将具有对应关系的图纸页点阵图索引标识存储记录，将不具有对应关系的图纸页点阵图索引存储记录。
162.最后由图纸差异检测组件500进行图纸比对，再由可视化用户界面展示图纸比对的检测结果。
163.在具体实现中，根据步骤以上所述的比对关系，将没有比对关系的图页显示于界面中；
164.例如，基于新版本图纸，历史版本中无该图页，即显示为“新增页”；
165.又例如，基于历史版本图纸，新版本中无该图页，即显示为“删除页”。
166.基于上述方法第一实施例，提出本技术基于计算机视觉的工程图纸比对方法的第
三实施例；
167.本实施例中，所述步骤s40具体包括：
168.步骤s41:由图纸页面匹配组件400分别对所述新版本工程图纸电子文件和所述工程图纸电子文件的点阵图像的图号信息进行识别，若检测出图号信息，确定图号所在点阵图中的坐标信息；若没有检测出图号信息，将此图记录为需进行全图匹配的待匹配图；
169.在具体实现中，本实施例可使用基于深度学习的目标检测模型，如基于目标检测框架结构的文本检测模型；
170.具体地，上述文本检测模型为一种检测图像信息中文本信息坐标位置，及其对应的字符信息的文本检测算法推理模型；如ctpn算法模型可检测横向排列文字所在图像中的坐标信息，其实现原理为：1)、使用如vgg等基础卷积网络提取图像深度特征，获取其深度特征图；2)、在该特征图上使用3x3滑动窗口获取特征向量；3)、使用双向lstm学习获取其特征向量序列特征；4)、最后经过rpn网络获取文本提案坐标信息。
171.步骤s42:由图纸页面匹配组件400对有图号信息的切片图使用文本检测算法提取所述图号信息位置处的文字信息；
172.步骤s43:由图纸页面匹配组件400对图号文字信息一致的点阵图索引值建立待比对关系；
173.步骤s44:由图纸页面匹配组件400对进行全图特征向量相似度匹配，得到匹配索引值，并确定未获取到匹配信息的点阵图索引值；
174.具体地，对于下未建立比对关系的待匹配点阵图，使用基于深度学习的神经网络，如resnet50提取其图像特征；
175.具体地，使用旋转匹配的方法，在图片每旋转90度的情况下获取其特征向量；两份待匹配文件的所有待匹配点阵图组织为图像列表，计算着两个图像列表所述图像特征向量相似度笛卡尔积；
176.具体地，根据设定阈值，判别特征向量相似度是否达到该阈值界限，从达到阈值界限中的所有图像中选择相似度最高的一组比对结果，使用该结果对应点阵图索引值建立待比对关系；
177.步骤s45:由图纸页面匹配组件400将所述匹配索引值记录到待比对图像列表，并将所述未获取到匹配信息的点阵图索引值记录到无比对关系图像列表。
178.基于上述方法第一实施例，提出本技术基于计算机视觉的工程图纸比对方法的第四实施例，本实施例中，所述具有索引标识匹配关系的点阵图像文件为已知的第一图像和待匹配的第二图像；
179.可理解的是，所述第一图像为所述工程图纸电子文件的目标版本信息中的一张图纸；所述第二图像为所述用户输入的待比对的新版本工程图纸电子文件中的一张图纸；所述第一图像和所述第二图像之间的内容页相同；
180.相应地，所述步骤s50具体包括：
181.步骤s51：判断所述第一图像和所述第二图像的图像之间的朝向：按照预设旋转角度对第二图像进行旋转，得到多个候选第二图像，所述多个候选第二图像包括多个经过旋转后的第二图像、以及未经过旋转后的所述第二图像；
182.步骤s52：将所述第一图像分别与多个候选第二图像进行图像特征相似度比较；
183.可理解的是，现有技术中常规的基于图像的比对软件及算法都只默认两两对比的图像是否相同，没有考虑图像发生旋转的情形，以第一图像a和第二图像b为例，如果a和b实际上是同一张图像的话，a不变，但是b由于人为操作等外界因素被旋转了90度，那么采用常规的图像匹配算法会认为a和b这两张图像是同一张图像；而本实施例在针对图像b由于人为操作等外界因素被旋转了90度的情形时，会通过旋转第二图像b的角度将来第二图像b与第一图像a进行多次相似度计算，最后系统会判定并记录下第二图像b要顺时针要再旋转270度才能和a呈现的画面方向一致；
184.在具体实现中，将所述对第二图像b进行旋转，得到多个候选第二图像，具体可以为按照顺时针旋转90度的候选第二图像b1，按照顺时针旋转180度的候选第二图像b2，按照顺时针旋转270度的候选第二图像b3，以及未经过旋转后的所述第二图像b；将这四张b的图像副本使用卷积神经网络提取图像深度特征向量；
185.分别计算所述第一图像a与多个候选第二图像b图像特征向量之间的相似度的笛卡尔积。
186.步骤s53：若所述第一图像与上述一个候选第二图像之间的图像特征相似度满足预设条件，将上述满足预设条件的候选第二图像作为目标第二图像；并对所述第一图像和所述目标第二图像进行粗检操作；
187.需要说明的是，在具体实现中，本实施例可以使用ssim结构相似性算法对图像进行粗检操作；这个算法的检测粒度是像素级语义检测，一点点像素的信息变化就导致容易判别为差异信息，因此我们把这个算法检测的结果作为非常粗粒度的检测第一步；
188.步骤s54：确定所述第一图像中的第一区域图像，并从所述目标第二图像中确定与所述第一区域图像在所述第一图像中的坐标位置对应的第二区域图像；将所述第一区域图像和坐标位置对应的第二区域图像作为区域图像的匹配对；
189.在具体实现中，参考图3，图3中的左边的图像是第一图像a，右边的图像是第二图像b，左边第一图像a中被画圆圈的是第一区域图像，右边第二图像b中被画圆圈的是第二区域图像；
190.可理解的是，两张图像粗检过后的切片图有“匹配对”关系，这时就开始更细粒度的检测；
191.步骤s55：对匹配对中的第一区域图像和第二区域图像执行图像对齐操作；
192.具体地，若坐标位置相应的第一区域图像和第二区域图像不是完整的对齐，则进行区域图像切片操作，否则，保留区域图像的原始图像信息；
193.步骤s56：将匹配对中的区域图像使用图像差异检测算法进行逐像素差异检测，输出有差异对比关系的图像粗检差异的区域边界框坐标信息，将检测后的匹配对作为粗检区域图像对；
194.步骤s57：从所述粗检区域图像对中提取该区域内字符内容信息；
195.步骤s58：对比粗检区域图像对中的字符信息一致性；
196.步骤s581：若对比结果存在有信息差异，则将粗检差异的区域边界框坐标信息录入差异检测结果列表；
197.或
198.步骤s582：若对比结果不存在信息差异，则对无文字信息差异的切片对使用卷积
神经网络提取图像深度特征向量，并进行切片区域匹配，匹配成功的切片对被视为局部位移，如果未匹配成功的切片认为局部变化；
199.步骤s59：转换所有检测结果的坐标为基于原图的绝对坐标，输出图像差异区域的边界框坐标、变动坐标以及文字内容变化信息。
200.可理解的是，参考图3，在本实施例中，图a的位置1和图b的位置2存在有差异匹配对关系中细化的使用深度特征向量距离判断局部特征完全不同；且图a的位置1与图b中其他所有差异切片图特征都无相似性，因此判断位置1和位置2发生局部变化差异。
201.由此推理：
202.图a的位置3和图b的位置5为匹配对；图a的位置4和图b的位位置6为匹配对；但在进一步的特征比对时发现图a的位置4和图b的位位置5特征一致，图a的位置3和图b的位位置6特征一致，因此图a的位3及图b的位位6判断为局部位移差异变化，前提条件是图a的位4及图b的位位5为背景特征或相同特征。
203.本实施例的公开的基于计算机视觉的工程图纸比对方法，可以对图纸的朝向是否发生变化进行准确地检测，使得比对的整体过程更自动化；同时，在对两张图像进行粗略检测之后，会进行更细粒度的检测，使得检测的结果更加精准。
204.进一步，本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。