翻页异常检测方法与流程

1.本发明涉及翻页扫描技术领域，特别涉及一种翻页异常检测方法。


背景技术：

2.对海量书籍文档进行电子化是意义重大而又任务繁重的工程。为了节省人力、提高效率，自动翻页扫描仪得以研发并应用，自动翻页扫描仪是一种可以自动翻阅装订完好的书籍文档并将其逐页拍摄为电子图片的自动化设备；自动翻页扫描仪通过自动翻页和拍摄装置可以在无需人工干预或者极少人工干预的情况下高效地完成纸质文档的电子化。
3.现有技术中，自动翻页扫描仪在工作过程中经常会出现漏页、重页等异常情况，导致扫描结果不完整，增加了后续人工核验的工作量。为了解决该问题，现有技术中的自动翻页扫描仪增加了翻页异常检测装置，通常所采用的方案是安装超声波发射器和接收器，通过检测超声波穿透所翻起的纸张后的信号变化来判断是否发生漏页或重页等异常情况，从而确定是否翻页失败，并尝试重新翻页。然而，发明人经研究发现，该方案不仅增加了硬件成本，并且由于纸张状况不同，检测装置的参数也不易设置，因此仍然难以完全避免漏页或重页等异常情况，无法保证扫描结果的完整性，仍然需要人工来进行逐页核验。
4.

技术实现要素：

5.基于此，为解决现有技术中的技术问题，使得自动翻页扫描仪能够快速、即时地发现文档翻页过程中出现的异常情况，减少后续人工核验工作量，本发明特提出了一种翻页异常检测方法，包括：步骤1，根据设定的页码区域类型将页面图像划分为多个页面区域，通过选取页码区域类型来限定用于页码识别的页面区域；步骤2，根据选取的所述页码区域类型在所述页面图像中截取对应的页码区域图像；步骤3，对截取的所述页码区域图像进行光学字符识别并输出页码区域图像中的文本信息；步骤4，在光学字符识别得到的所述文本信息中查找并提取出现的所有数字信息并将其作为候选页码，所述候选页码构成候选页码集合；步骤5，查询所述候选页码集合中候选页码的上下文，过滤其中前置量词或后跟量词为非页码量词的候选页码；步骤6，对过滤后的候选页码集中的候选页码按照其坐标位置进行排序，选取最靠近页面边缘的候选页码作为初步识别结果；步骤7，根据文档页码连续递增的特性，利用相邻页面的页码识别结果对当前页面的初步识别结果进行平滑及确认处理，生成页码识别结果；步骤8，根据页码识别结果对页面的翻页异常类型进行判定和标记，得到翻页异常检测结果。
6.在一种实施例中，根据设定的页码区域类型将页面图像划分为多个页面区域，具体包括：将页面图像均等地划分为9个区域，由于除中心页面区域之外的其他页面区域皆是页码可能出现的页面区域，将除中心页面区域之外的其他页面区域的页码区域类型分别设定为左上、中上、右上、左中、右中、左下、中下、右下。
7.在一种实施例中，选取最靠近页面边缘的候选页码作为初步识别结果，具体包括：对于页码区域类型为左上、中上和右上的页码区域图像，选取最靠近页码区域图像上边缘的候选页码作为初步识别结果；对于页码区域类型为左中的页码区域图像，选取最靠近页码区域图像左边缘的候选页码作为初步识别结果；对于页码区域类型为右中的页码区域图像，选取最靠近页码区域图像右边缘的候选页码作为初步识别结果；对于页码区域类型为左下、中下和右下的页码区域图像，选取最靠近页码区域图像下边缘的候选页码作为初步识别结果。
8.在一种实施例中，所述文本信息包括所述页码区域图像中的文本行位置、文本行中的字符位置以及每个字符的文本内容。
9.在一种实施例中，步骤5中，当候选页码集合中没有符合要求的候选页码时则标记为识别失败；候选页码集合中没有符合要求的候选页码是指经过过滤后，候选页码集合中不存在任何前置量词或后跟量词为页码量词的候选页码，且不存在任何不具有前置量词或后跟量词的候选页码。
10.在一种实施例中，所述平滑及确认处理包括纠正、补全、确认；根据处理对象的尺度采用多层次的平滑及确认处理。
11.在一种实施例中，根据处理对象的尺度采用多层次的平滑及确认处理，具体包括：相邻页面之间的平滑及确认，即通过当前页面相邻两侧页面的页码识别结果推断当前页面的页码，并将推断结果与当前页面的初步识别结果一起进行投票处理，将投票最多的页码作为当前页面的页码识别结果；相邻页面段之间的平滑及确认，即在页面中查找已确认页码且页码连续的页面段以及待确认页码的页面段，当待确认页码的页面段相邻两侧为已确认页码且页码连续的页面段时，比较待确认页码的页面段的长度值与其相邻两侧已确认页码且页码连续的页面段的页码间隔值，当长度值与页码间隔值相等时则直接获得待确认页码的页面段中各个页面的页码，生成页码识别结果；其中，所述页面段为多个相邻页面构成的页面序列；页面段的长度值为该页面段所包含的页面数量；页面段内部的平滑及确认，即对于依次经过相邻页面之间的平滑及确认处理、相邻页面段之间的平滑及确认处理后仍然无法确认页码的页面段，对该页面段进行内部投票处理，结合该页面段相邻两侧已确认页码且页码连续的页面段所限定的页码范围获得页码，生成页码识别结果。
12.在一种实施例中，页面段内部的平滑及确认，具体包括：当页面段内部页面的页码为连续时，首先确定该页面段起始页面的页码，即确定起始
页面的页码识别结果；根据该起始页面的页码推算该页面段内其他页面的页码，生成页码识别结果；当该页面段起始页面的页码无法确定而该页面段内一个或多个页面页码具有对应的初步识别结果时，则根据页码的初步识别结果反向推算该页面段起始页面的页码，并进行页面段内部投票处理确定起始页面的页码；根据该起始页面的页码推算该页面段内其他页面的页码，生成页码识别结果。
13.在一种实施例中，页面段中第i个页面页码的初步识别结果为fi；根据初步识别结果fi推算第i个页面对应的该页面段起始页面的页码投票结果v
i1
=f
i-(i-1)；当该页面段包含n个具有初步识别结果的页面时则对应获得起始页面的n个页码投票结果；统计起始页面的n个页码投票结果，进行页面段内部投票，将累计票数最多且票数超过设定的内部投票阈值的页码投票结果作为起始页面的页码识别结果s1；页面段中第i个页面的页码识别结果为pi；根据起始页面的页码识别结果s1获得页面段内其他页面的页码识别结果pi=s1 (i-1)。
14.在一种实施例中，所述根据页码识别结果对页面的翻页异常类型进行判定，具体包括：比较相邻页面的页码识别结果；当前后页码间隔小于1时则判定为发生了重页，将其翻页异常类型标记为重页；当前后页码间隔大于1时则判定为发生了漏页，将其翻页异常类型标记为漏页；无法确认页码的页面则将其翻页异常类型标记为识别失败；将翻页异常类型标记为重页、漏页、识别失败的页面交由人工进行核验。
15.实施本发明实施例，将具有如下有益效果：本发明提出的翻页异常检测方法考虑了实际应用中的复杂性，制定了多种处理策略来应对诸如页码在文档中的位置变化、页码与正文数字间的混淆以及光学字符识别算法失败或错误等情况；本发明提出的技术方案能够更好地识别文档页码，自动查找和标记出文档扫描中页码异常的位置，为后期的人工核验和补充扫描提供便利，切实提高了自动翻页扫描仪在实际应用中的性能，并且在减少人力、提高效率的同时保证扫描结果的质量和完整性。
16.附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.其中：图1为本发明中自动翻页扫描仪的示意图；图2为本发明中翻页异常检测方法的流程示意图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本发明公开了一种翻页异常检测方法，所述翻页异常检测方法应用于自动翻页扫描仪中，所述自动翻页扫描仪是一种自动翻阅装订完好的书籍文档并将其逐页拍摄为电子图片的自动化设备，如图1所示，所述自动翻页扫描仪包括自动翻页装置、拍摄装置、信息处理装置和存储装置；其中，所述自动翻页装置用于固定待扫描的书籍文档，并自动完成连续翻页操作；拍摄装置为高清摄像头，在自动翻页装置完成翻页后由拍摄装置对当前页面进行拍摄并生成电子图像，并将电子图像传输至信息处理装置；信息处理装置对其接收到的电子图片进行预处理和识别处理，并汇总导出为电子文档；存储装置用于存储扫描得到的电子图像以及导出的电子文档，同时存储处理程序和算法模型。
21.如图2所示，本发明公开了一种基于页码识别的翻页异常检测方法，具体包括以下步骤：步骤1，设定并选取页码区域类型：根据设定的页码区域类型将页面图像划分为多个页面区域，通过选取页码区域类型来限定用于页码识别的页面区域；特别地，根据设定的页码区域类型将页面图像划分为多个页面区域，具体包括：将页面图像均等地划分为9个页面区域，由于除中心页面区域之外的其他页面区域皆是页码可能出现的页面区域，将除中心页面区域之外的其他页面区域的页码区域类型分别设定为左上、中上、右上、左中、右中、左下、中下、右下；在实际应用中，可以根据应用需求进行页面区域的划分及对应页码区域类型的设定，包括划分页面区域的数量和方式；例如，划分页面区域的数量可以是4个、9个、16个等，划分页面区域的方式包括均等或非均等的；在开始执行书籍文档的扫描任务时，只需要通过选取页码区域类型就能够限定页码识别的页面图像范围，从而排除了大量干扰，大大减少了后续识别算法的计算量；步骤2，截取页码区域图像：根据选取的页码区域类型在页面图像中截取对应的页码区域图像；特别地，根据设定的页码区域类型，包括左上、中上、右上、左中、右中、左下、中下、右下，对应截取左上页码区域图像、中上页码区域图像、右上页码区域图像、左中页码区域图像、右中页码区域图像、左下页码区域图像、中下页码区域图像、右下页码区域图像；步骤3，光学字符识别处理：对截取的所述页码区域图像进行光学字符识别并输出页码区域图像中的文本信息；特别地，所述文本信息包括所述页码区域图像中的文本行位置、文本行中的字符位置以及每个字符的文本内容；其中，光学字符识别（ocr，简称optical character recognition）技术识别文档图像中的文字并将其转换输出为文本格式；步骤4，提取候选页码：在光学字符识别得到的文本信息中查找并提取出现的所有数字信息并将其作为候选页码，所述候选页码构成候选页码集合；其中，所述数字信息包括但不仅限于阿拉伯数字、罗马数字、希腊数字、中文数字等；
步骤5，过滤候选页码：查询所述候选页码集合中候选页码的上下文，过滤其中前置量词或后跟量词为非页码量词的候选页码；具体地，当候选页码的前置量词或后跟量词为非页码量词时则过滤该候选页码，而保留前置量词或后跟量词为页码量词以及不具有前置量词或后跟量词的候选页码；当候选页码集合中没有符合要求的候选页码时则标记为识别失败；具体地，候选页码集合中没有符合要求的候选页码是指经过过滤后，候选页码集合中不存在任何前置量词或后跟量词为页码量词的候选页码，且不存在任何不具有前置量词或后跟量词的候选页码；其中，页码量词包括页，以及page、p等；其中，非页码量词包括篇、章、节、部，以及chapter、section等；一般来说，书籍或出版物中的页码前后不具有量词，或者表示为“第1页”、“p1”的形式；步骤6，生成初步识别结果：对过滤后的候选页码集按照坐标位置进行排序，选取最靠近页面边缘的候选页码作为初步识别结果；特别地，选取最靠近页面边缘的候选页码作为初步识别结果，具体包括：对于页码区域类型为左上、中上和右上的页码区域图像，选取最靠近页码区域图像上边缘的候选页码作为初步识别结果；对于页码区域类型为左中的页码区域图像，选取最靠近页码区域图像左边缘的候选页码作为初步识别结果；对于页码区域类型为右中的页码区域图像，选取最靠近页码区域图像右边缘的候选页码作为初步识别结果；对于页码区域类型为左下、中下和右下的页码区域图像，选取最靠近页码区域图像下边缘的候选页码作为初步识别结果；步骤7，平滑及确认处理：根据文档页码连续递增的特性，利用相邻页面的页码识别结果对当前页面的初步识别结果进行平滑及确认处理；由于初步识别结果可能会存在错误和缺失，因此对初步识别结果进行平滑确认处理是必不可少的步骤；特别地，所述平滑及确认处理包括纠正、补全、确认；根据处理对象的尺度采用多层次的平滑及确认处理；特别地，根据处理对象的尺度采用多层次的平滑及确认处理，具体包括：第一层次，相邻页面之间的平滑及确认，即通过当前页面相邻两侧页面的页码识别结果推断当前页面的页码，并将推断结果与当前页面的初步识别结果一起进行投票处理，将投票最多的页码作为当前页面的页码识别结果；第二层次，相邻页面段之间的平滑及确认，即在页面中查找已确认页码且页码连续的页面段以及待确认页码的页面段，当待确认页码的页面段相邻两侧为已确认页码且页码连续的页面段时，比较待确认页码的页面段的长度值与其相邻两侧已确认页码且页码连续的页面段的页码间隔值，当长度值与页码间隔值相等时则直接获得待确认页码的页面段中各个页面的页码，生成页码识别结果；其中，所述页面段为多个相邻页面构成的页面序列；页面段的长度值为该页面段所包含的页面数量；第三层次，页面段内部的平滑及确认，即对于依次经过相邻页面之间的平滑及确认处
理、相邻页面段之间的平滑及确认处理后仍然无法确认页码的页面段，对该页面段进行内部投票处理，结合该页面段相邻两侧已确认页码且页码连续的页面段所限定的页码范围获得页码，生成页码识别结果；特别地，页面段内部的平滑及确认，具体包括：当页面段内部页面的页码为连续时，首先确定该页面段起始页面的页码，即确定起始页面的页码识别结果；根据该起始页面的页码推算该页面段内其他页面的页码，生成页码识别结果；具体地，页面段中第i个页面的页码识别结果为pi；根据起始页面的页码识别结果s1获得页面段内其他页面的页码识别结果pi=s1 (i-1)；当该页面段起始页面的页码无法确定而该页面段内一个或多个页面页码具有对应的初步识别结果时，则根据页码的初步识别结果反向推算该页面段起始页面的页码，并进行页面段内部投票处理确定起始页面的页码；根据该起始页面的页码推算该页面段内其他页面的页码，生成页码识别结果；具体地，页面段中第i个页面页码的初步识别结果为fi；根据初步识别结果fi推算第i个页面对应的该页面段起始页面即该页面段第1个页面的页码投票结果v
i1
=f
i-(i-1)；当该页面段包含n个具有初步识别结果的页面时则对应获得起始页面的n个页码投票结果；统计起始页面的n个页码投票结果，进行页面段内部投票，将累计票数最多且票数超过设定的内部投票阈值的页码投票结果作为起始页面的页码识别结果s1；页面段中第i个页面的页码识别结果为pi；根据起始页面的页码识别结果s1获得页面段内其他页面的页码识别结果pi=s1 (i-1)；其中，设定的内部投票阈值可以是n/2，或(n 1)/2，或其他根据实际应用设定的阈值；步骤8，判定并标记翻页异常类型：根据页码识别结果对页面的翻页异常类型进行判定和标记，得到翻页异常检测结果；特别地，根据页码识别结果对页面的翻页异常类型进行判定和标记，具体包括：其中，翻页异常类型包括重页、漏页、识别失败；比较相邻页面的页码识别结果；当前后页码间隔小于1时则判定为发生了重页，将其翻页异常类型标记为重页；当前后页码间隔大于1时则判定为发生了漏页，将其翻页异常类型标记为漏页；对于无法确认页码的页面则将其翻页异常类型标记为识别失败；将翻页异常类型标记为重页、漏页、识别失败的页面交由人工进行核验。
22.实施本发明实施例，将具有如下有益效果：在本发明公开的翻页异常检测方法中，详细制定了多种应对策略来处理实际翻页扫描中出现的复杂情况，包括页码在文档中的位置变化、页码与正文数字间的混淆以及识别算法失败或错误等；本发明所提出翻页异常检测方法将页码可能出现的区域位置分类为页码区域类型，通过设定页码区域类型可以简单有效地排除页面中其他内容的干扰，大大减少了后续实施光学字符识别（ocr）处理的计算量；通过考察页码区域内所有候选页码的上下文来排除页面中其他数字的干扰，并通过比较候选页码之间的坐标位置来确定页码的初步识别结果；本发明所提出的翻页异常检测方法利用文档页码的连续递增特性，依次采取相邻页面之间的平滑、相邻页面段之间的平滑、页面段内部的平滑，对页码的初步识别结果做出进一
步地平滑确认处理，包括确认、纠正、补全，得到最终的页码识别结果。
23.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。