一种电力文档重复页检测方法及系统与流程

本发明涉及文档检测，具体涉及一种电力文档重复页检测方法及系统。

背景技术：

1、在电力工程档案管理及运维资料归档过程中，通常涉及大量施工图纸、勘测记录、设备台账、签字确认页以及各类扫描文档的统一存储与管理。在实际业务执行过程中，上述文档多以pdf或ofd等电子形式进行多轮扫描、批量导入或跨系统归档处理，由于不同操作人员的处理习惯、扫描设备分辨率差异以及文档在流转过程中的重复提交等因素，使得同一页面或结构高度相似的页面在不同版本文档中频繁出现，从而形成大量潜在重复页数据。

2、现有技术中，通常采用基于ocr文字识别结合文本相似度比对的方法对文档重复性进行检测，或通过提取页面文本特征进行语义匹配以实现重复页识别。然而，在电力工程类文档场景下，特别是施工图纸、拓扑结构图及表格类扫描页面中，页面内容往往以图形结构为主、文本信息占比低且排版复杂，同时还普遍存在扫描倾斜、噪声干扰、水印遮挡及印章覆盖等情况，导致ocr识别结果稳定性较差、文本序列易发生错乱，进而使基于文本的重复检测方法在准确性、鲁棒性及计算效率方面均存在明显不足，难以满足大规模电力工程档案中对高效、稳定重复页自动识别的实际需求。

技术实现思路

1、本发明的目的在于解决上述背景技术中提到的ocr识别结果稳定性较差、文本序列易发生错乱的问题，进而使基于文本的重复检测方法在准确性、鲁棒性及计算效率方面均存在明显不足的问题，而提出一种电力文档重复页检测方法及系统。

2、本发明实施的第一方面，提供了一种电力文档重复页检测方法，所述方法包括：

3、获取待检测电力文档，对电力文档进行文档格式识别，并根据识别结果确定文档解析方式；

4、将电力文档中的各页面转换为对应的页面图像，对各页面图像进行视觉特征提取，生成与各页面一一对应的视觉特征指纹；

5、基于不同页面视觉特征指纹之间的汉明距离，对全部页面进行初步筛选，得到候选重复页面对；

6、对候选重复页面进行结构相似性计算，得到页面之间的精细相似度结果，并基于精细相似度结果确定页面重复关系，并对页面重复关系进行聚类处理，得到重复页面分组结果并输出。

7、可选地，将电力文档中的各页面转换为对应的页面图像，对各页面图像进行视觉特征提取，生成与各页面一一对应的视觉特征指纹的步骤为：

8、页面图像的生成过程包括对pdf文档进行分辨率控制的图像化处理，图像分辨率范围为150至200 dpi；

9、对输入的页面图像进行尺寸缩放处理，将原始图像统一调整至预设尺度范围；

10、在完成尺寸归一化处理后，将缩放后的页面图像转换为灰度图像；

11、对灰度图像执行离散余弦变换，将图像从空间域映射至频率域表示，并从中提取低频系数部分；

12、在获取低频系数后，对其进行统计特征编码处理，通过对低频信息与其均值或分布特征的对比关系进行离散化表达，将连续数值映射为二进制判定结果；

13、将上述离散化结果组合生成对应页面的64位二进制感知哈希值，作为页面图像的视觉特征指纹。

14、可选地，得到候选重复页面的步骤为：

15、对各页面对应的64位视觉特征指纹进行统一存储，并建立与页面编号一一对应的索引关系；

16、基于索引关系，对任意两个不同页面的视觉特征指纹进行逐对匹配，并通过对两个64位二进制指纹在相同位置上的异或运算生成差异位序列；

17、对差异位序列中取值为1的位数进行统计，得到对应页面之间的汉明距离值；

18、若页面对对应的汉明距离值不大于5值时，将对应页面标记为候选重复页面并保留。

19、可选地，根据候选重复页面对中两个页面对应的灰度图像，并将两个页面图像按照相同的尺寸基准进行位置对齐，以使两个页面图像在同一坐标位置上形成一一对应的比较区域；

20、对完成位置对齐后的两个页面图像按照固定尺寸的局部窗口进行同步划分，使两个页面图像在相同位置上分别形成对应的第一局部区域和第二局部区域；

21、针对每一对对应的第一局部区域和第二局部区域，分别计算平均灰度值、灰度标准差以及两者之间的协方差；

22、将各对应局部区域的亮度信息、对比度信息和结构相关信息代入结构相似性指数计算公式，得到对应局部窗口的局部结构相似值；

23、对全部局部窗口对应的局部结构相似值进行汇总处理，得到候选重复页面对应的整体结构相似性指数，并将所述整体结构相似性指数作为页面之间的精细相似度结果。

24、可选地，所述结构相似性指数计算公式为：

25、

26、其中，表示第i个局部窗口的结构相似值，表示第i个局部窗口中第一页面局部区域的平均灰度值，表示第i个局部窗口中第二页面局部区域的平均灰度值，表示第i个局部窗口中第一页面局部区域的灰度标准差，表示第i个局部窗口中第二页面局部区域的灰度标准差，

27、表示第i个局部窗口中两局部区域灰度值之间的协方差，和表示用于避免分母为零的常数。

28、可选地，基于精细相似度结果确定页面重复关系，并对页面重复关系进行聚类处理，得到重复页面分组结果并输出的步骤为：

29、各候选重复页面对对应的精细相似度结果，并将各候选重复页面的精细相似度结果与预设重复判定阈值进行比较；

30、当某一候选重复页面对对应的精细相似度结果不小于预设重复判定阈值时，确定该候选重复页面对中的两个页面之间存在页面重复关系，并记录对应的页面编号对；

31、根据全部存在页面重复关系的页面编号对构建页面重复关系集合，其中，将每一个页面编号作为一个独立节点，并在存在页面重复关系的两个页面编号之间建立关联关系；

32、对页面重复关系集合进行聚类处理，使具有直接重复关系或间接重复关系的页面编号归并至同一页面集合中，以得到重复页面分组结果；

33、对重复页面分组结果进行输出，输出内容包括各重复页面分组对应的页面编号集合。

34、可选地，对页面重复关系集合进行聚类处理的步骤包括：

35、将存在页面重复关系的页面编号初始化为并查集中的独立节点，并以页面编号自身作为初始代表节点；

36、按照页面编号对的页码顺序形成有序重复关系序列，并依次读取各页面编号对对应的当前代表节点；

37、当两个当前代表节点不相同时，计算对应两个页面集合之间的最小页码差值，当所述最小页码差值不大于预设页码邻近阈值时，将代表节点页码值较小的页面集合作为主集合，将代表节点页码值较大的页面集合作为从集合，并将从集合的代表节点重定向至主集合的代表节点，以完成集合合并；

38、在合并后以合并结果中的最小页面编号作为更新后的代表节点；

39、在完成全部页面编号对遍历后，按照各页面编号对应的最终代表节点进行归类，将最终代表节点相同的页面编号归并为同一重复页面分组。

40、本发明实施的第二方面，提供了一种电力文档重复页检测系统，所述系统包括：

41、解析方式模块：获取待检测电力文档，对电力文档进行文档格式识别，并根据识别结果确定文档解析方式；

42、视觉特征模块：将电力文档中的各页面转换为对应的页面图像，对各页面图像进行视觉特征提取，生成与各页面一一对应的视觉特征指纹；

43、候选重复模块：基于不同页面视觉特征指纹之间的汉明距离，对全部页面进行初步筛选，得到候选重复页面对；

44、检测模块：对候选重复页面进行结构相似性计算，得到页面之间的精细相似度结果，并基于精细相似度结果确定页面重复关系，并对页面重复关系进行聚类处理，得到重复页面分组结果并输出。

45、本发明的有益效果：

46、本发明提出了一种电力文档重复页检测方法及系统，通过将电力文档从传统基于ocr文本解析与语义比对的处理方式，转化为基于页面视觉结构的特征指纹建模与相似性分级判断机制，使系统能够直接从页面整体布局结构中提取稳定的视觉表达，并利用视觉特征指纹实现对页面间结构相似性的低成本快速筛选，再结合汉明距离进行候选重复页的高效过滤，并进一步通过结构相似性指数对候选页面进行精细化验证，从而有效规避电力工程文档中因图纸占比高、文本信息稀疏、扫描倾斜、噪声干扰、水印及印章遮挡等因素导致的ocr识别不稳定、文本序列错乱及语义匹配失真问题，在保证重复页识别准确性的同时显著降低计算复杂度与识别成本，提高大规模电力工程档案场景下重复页检测的鲁棒性与处理效率。