一种基于LSD线段检测的文档图像三角图检测方法与流程

本发明涉及图像检测技术领域，特别是一种基于LSD线段检测的文档图像三角图检测方法。

背景技术

文档图表定位是对文档内容筛选检索整理过程中的一个关键步骤。基于电子格式文档的图表定位工作主要根据其文档数据结构对其中的图表进行判断和定位。但在现实情况中，有大量的电子文献数据是由纸质文档经过扫描后以图像形式存储的，基于电子格式的图表定位工作难以应用在这种情况中。同时，传统的图表定位工作主要依靠人工来完成，这种定位方式效率低下。近年来，人们采用基于计算机视觉的检测方法来弥补传统人工定位的不足，这类方法的核心是设计快速并且有效的算法对图表进行定位。

目前图像检测方法主要分为两大类：传统的图像检测方法，以及基于深度学习的图像检测方法。

图像检测方法的特征提取能力很大程度上决定了该方法的检测性能，传统的图像检测方法手工设计的特征对于多样性的变化没有很好的鲁棒性，近年来随着基于深度学习的目标检测方法发展，传统的基于手工设计特征的目标检测方法逐渐被淘汰，取而代之是的利用卷积神经网络自动提取特征的能力，使用大量的样本对神经网络进行训练，使得模型自动学习到检测目标的特征。

但是对于检测图像特征稀疏，且对定位精度要求较高的情况，基于深度学习的图像检测方法难以提取到合适的特征以进行精确的定位，且对检测目标数据集的数量有一定要求，需要花费大量人工进行数据标注工作。

文档图表定位工作的检测目标多为特征稀疏的图像，如三角图、二维坐标系、表格等。具体到本发明，三角图是一种特征较为稀疏的图像，使用基于深度学习的目标检测方法，需要构建大量的检测目标数据集，且定位精度较差，难以取得满意的结果。

基于此，本发明根据检测图像特性，使用线段检测方法构建了一种文档图像三角图检测方法。

目前线段检测存在的缺陷主要有：(1)由于图片采集等各种原因，图像中的噪声线段引入不可避免，导致一般检测方法的误检率过高，如同一个线段会被识别为多段线段；(2)部分图像检测方法在获得较高准确率同时，由于算法复杂性，检测效率较低，且对计算机性能有一定要求。

目前图像检测方法对文档图像中三角图定位精度较低，以及部分图像检测方法在获得较高定位精度的同时，由于算法复杂性，检测效率较低，且对计算机性能有一定要求的问题。

技术实现要素：

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于LSD线段检测的文档图像三角图检测方法，该方法将LSD线段检测、线段合并和Harris角点检测相结合，可以有效检测三角图，提升文档图像中三角图定位效率，可以应用于文献检索，数据统计，文献数据库构建等工作当中。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种基于LSD线段检测的文档图像三角图检测方法，包括以下步骤：

步骤1、对采集得到的文档图像进行高斯滤波降噪，得到低噪图像；

步骤2、对低噪图像进行LSD线段检测，得到原始线段集合；

步骤3、对原始线段集合进行处理，合并重叠和错误分段的线段，得到合并线段集合；

步骤4、搜寻合并线段集合中符合预设条件的三角图线段组，对各三角图线段组中三条线段所在直线的交点处进行Harris角点检测，得到各三角图线段组对应的三角图角点组；

步骤5、根据三角图线段组与三角图角点组中各线段与角点之间的相对位置，判断该三角图线段组所在处是否为三角图。

作为本发明所述的一种基于LSD线段检测的文档图像三角图检测方法进一步优化方案，步骤1具体如下：

步骤1-1、对采集得到的文档图像，使用灰度计算公式，根据文档图像的红色通道R、绿色通道G和蓝色通道B数值，将文档图像转换为灰度图像I，灰度计算公式如下：

I＝R×0.299 G×0.587 B×0.114

步骤1-2、当文档图像的所有像素通过灰度运算转换为灰度图后，使用高斯模糊公式，对灰度图像I和高斯核进行卷积操作，高斯模糊计算公式如下：

Iσ＝I*Gaussianσ

其中，Iσ为低噪图像，*表示卷积操作，Gaussianσ是标准差为σ的二维高斯核，其定义为：

其中x，y分别表示文档图像中像素点横坐标和纵坐标，e为自然底数。

作为本发明所述的一种基于LSD线段检测的文档图像三角图检测方法进一步优化方案，步骤2具体如下：

步骤2-1、计算低噪图像每个像素点的梯度角θ(x，y)，其公式为：

其中gx(x，y)和gy(x，y)分别表示低噪图像中像素点的横向和纵向梯度值，其公式为：

其中，i(x，y)表示是低噪图像中坐标(x，y)处像素点的灰度值；

步骤2-2、将像素点的梯度角θ(x，y)的方向组合成直线区域的方向，通过判断像素点的方向和直线区域的方向对像素点进行筛选；具体过程如下：

在低噪图像中随机选择一个未被使用的像素点作为种子点，对种子点邻近的像素点进行判断，将像素点的梯度角和直线区域的区域角度之间的差小于直线支持域阈值的像素点称为对齐点，将对齐点加入到该直线支持域中，每当在直线区域中加入一个新像素，则更新整个直线区域的区域角度，区域角度公式为：

其中，j表示直线区域中某一像素点的序号，θj表示直线区域中第j个像素点的梯度角；

步骤2-3、对直线区域进行矩形拟合，构造一个包含直线区域内所有像素点的外接矩形，计算外接矩形的主轴角的角度，将主轴角的角度设为线段角度；

步骤2-4、进行线段验证，检测外接矩形r，根据NFA公式，计算并判断该外接矩形r的矩形r误报数NFA(r)是否小于1，如果不小于，则忽视，如果小于1，将该外接矩形r表示为一条检测到的直线，该直线加入到原始线段集合中；

步骤2-5、返回步骤2-2，寻找下一个种子点，对低噪图像中除去步骤2-4中NFA(r)大于1的外接矩形r的剩余部分进行扩散，直至遍历低噪图像的全图，得到原始线段集合。

作为本发明所述的一种基于LSD线段检测的文档图像三角图检测方法进一步优化方案，步骤3、合并后线段集合的具体过程如下：

步骤3-1、设定线段端点合并阈值、点线合并阈值和斜率合并阈值；

步骤3-2、合并重叠的线段：首先，判断步骤2-5获得的原始线段集合中的任意两个线段是否存在两对满足要求的端点，若每对端点之间的距离小于端点合并阈值，则这两个线段为一组线段，对这一组线段进行重叠线段合并操作，取一组线段中的每对端点的中心点，作为合并线段的端点，生成一个合并线段，并删除原始线段集合中两个原线段；

判断步骤2-5获得的原始线段集合中的任意两个线段的斜率差是否小于斜率合并阈值，且最短线段两个端点与最长线段之间的距离的最大值是否小于点线合并阈值，若是则进行线段合并，删除这两个线段中最短线段，保留最长线段；

步骤3-3、合并错误分段线段，对于错误分段的线段的判定方法为，判断原始线段集合中两个线段是否存在一对满足要求的端点，其要求为：端点之间距离小于线段端点合并阈值，且两个线段的斜率差小于斜率合并阈值，若满足该要求则进行分段线段合并，取两个线段的距离最远的两个端点为合并线段的两个端点，生成一个合并线段，并删除两个原来的线段；

步骤3-4、重复步骤3-2与步骤3-3，直到原始线段集合中没有新的线段合并，表示线段合并完成；没有新的线段合并是指原始线段集合中不存在步骤3-2和步骤3-3的线段。

作为本发明所述的一种基于LSD线段检测的文档图像三角图检测方法进一步优化方案，步骤4具体如下：

步骤4-1、从合并后线段集合中搜寻三角图线段组，具体操作为，搜寻一个线段组作为三角图线段组，该线段组包含三个线段，三个线段的斜率范围分别在和[-0.1，0.1]中，三个线段的长度差小于边长差异阈值，且三个线段中任意两个线段的四个端点之间的距离的长度要求如下：其中，一个距离的长度小于线段端点合并阈值，其他五个距离的长度在三个线段的最大长度和最小长度之间；

步骤4-2、取步骤4-1搜寻到的三角图线段组中每个线段所在直线与其他两个线段之间的交点坐标，得到三个交点坐标；

步骤4-3、将以交点坐标为中心点的矩形区域设为角点区域，对角点区域中像素点计算自相关矩阵m，其公式为：

其中gx，gy为步骤2-1中的像素点的横向梯度值gx(x，y)和纵向梯度值gy(x，y)；

步骤4-4、根据m的特征值λ1，λ2，计算响应函数R，其公式为：

R＝λ1λ2-0.05(λ1 λ2)²；

遍历角点区域中像素点，对于响应函数R大于设定角点判定阈值的像素点判定为角点，记录到该角点区域的角点集合中；

步骤4-5、取各角点区域检测出的角点集合中距离角点区域中心点最近的角点，作为该三角图线段组的三角图角点组。

作为本发明所述的一种基于LSD线段检测的文档图像三角图检测方法进一步优化方案，

步骤5具体如下：

根据三角图线段组的长度设定顶点判定阈值，对于角点区域检测出的角点、且角点距离角点区域中心点距离小于顶点判定阈值的，设为该三角图线段组所在区域的三角图的顶点，检测出此处存在三角图，三角图位置由三角图线段组所在区域的三角图的三个顶点确定，否则，视为该区域不存在三角图，完成三角图检测。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明将LSD线段检测、线段合并和Harris角点检测相结合，建立一种新的文档图像三角图检测方法；充分利用LSD线段检测效果，得到初始检测结果后，再对线段进行合并处理，从而避免因为线段检测结果中线段不连续和线段重叠等问题导致的三角图误检、漏检、重检问题，最后使用Harris角点检测对符合条件的三角图线段组的延长线交点区域进行判定，确定此处存在角点，避免错误的三角图线段组导致的错误检测，从而进一步降低误检率，准确检测处文档图像中的三角图。

附图说明

图1是基于LSD线段检测的文档图像三角图检测。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

图1是基于LSD线段检测的文档图像三角图检测，具体步骤如下：

步骤1：对采集得到的文档图像进行高斯滤波降噪，得到低噪图像；具体如下：

步骤1-1、对采集得到的文档图像，使用灰度计算公式，根据文档图像的红色通道R、绿色通道G和蓝色通道B数值，将文档图像转换为灰度图像I，灰度计算公式如下：

I＝R×0.299 G×0.587 B×0.114

步骤1-2、当文档图像的所有像素通过灰度运算转换为灰度图后，使用高斯模糊公式，对灰度图像I和高斯核进行卷积操作，高斯模糊计算公式如下：

Iσ＝I*Gaussianσ

其中，Iσ为低噪图像，*表示卷积操作，Gaussianσ是标准差为σ的二维高斯核，其定义为：

其中x，y分别表示文档图像中像素点横坐标和纵坐标，e为自然底数。

步骤2：对低噪图像进行LSD线段检测，得到原始线段集合；具体如下：

步骤2-1，计算低噪图像每个像素点的梯度角θ(x，y)和梯度G(x，y)，其公式为：

其中gx(x，y)和gy(x，y)分别表示低噪图像中像素点的横向和纵向梯度值，其公式为：

其中，i(x，y)表示低噪图像中坐标(x，y)处像素点的灰度值；

步骤2-2，将像素点的梯度角θ(x，y)的方向组合成直线区域的方向，通过判断像素点的方向和直线区域的方向对像素点进行筛选；具体过程如下：

在低噪图像中随机选择一个未被使用的像素点作为种子点，对种子点邻近的像素点进行判断，将像素点的梯度角θ和直线区域的区域角度之间的差小于直线支持域阈值的像素点称为对齐点，将对齐点加入到该直线支持域中，每当在直线区域中加入一个新像素，则更新整个直线区域的区域角度，区域角度公式为：

其中，j表示直线区域中某一像素点的序号，θj表示直线区域中第j个像素点的梯度角；

步骤2-3，对直线区域进行矩形拟合，构造一个包含直线区域内所有像素点的外接矩形，计算外接矩形的主轴角的角度，将主轴角的角度设为线段角度；

步骤2-4，进行线段验证，检测外接矩形r，根据NFA公式，计算并判断该外接矩形r的矩形r误报数NFA(r)是否小于1，如果不小于，则忽视，如果小于1，将该外接矩形r表示为一条检测到的直线，该直线加入到原始线段集合中；NFA公式如下：

其中，N和M表示图像的列宽和行宽，B(n，k，p)公式为：

其中n表示矩形r中的像素总数，p表示精度，k表示矩形r中对齐点的个数；

步骤2-5、返回步骤2-2，寻找下一个种子点，对低噪图像中除去步骤2-4中NFA(r)大于1的外接矩形r的剩余部分进行扩散，直至遍历低噪图像的全图，得到原始线段集合。

步骤3：设定阈值，对原始线段集合进行处理，合并重叠和错误分段的线段，得到合并后线段集合；具体如下：

步骤3-1、设定线段端点合并阈值、点线合并阈值和斜率合并阈值；

步骤3-2、合并重叠的线段：首先，判断步骤2-5获得的原始线段集合中的任意两个线段是否存在两对满足要求的端点，若每对端点之间的距离小于端点合并阈值，则这两个线段为一组线段，对这一组线段进行重叠线段合并操作，取一组线段中的每对端点的中心点，作为合并线段的端点，生成一个合并线段，并删除原始线段集合中两个原线段；

判断步骤2-5获得的原始线段集合中的任意两个线段的斜率差是否小于斜率合并阈值，且最短线段两个端点与最长线段之间的距离的最大值是否小于点线合并阈值，若是则进行线段合并，删除这两个线段中最短线段，保留最长线段；

合并线段的端点坐标(X，Y)公式为：

其中(x0，y0)和(x1，y1)为一对待合并端点；

步骤3-3、合并错误分段线段，对于错误分段的线段的判定方法为，判断原始线段集合中两个线段是否存在一对满足要求的端点，其要求为：端点之间距离小于线段端点合并阈值，且两个线段的斜率差小于斜率合并阈值，若满足该要求则进行分段线段合并，取两个线段的距离最远的两个端点为合并线段的两个端点，生成一个合并线段，并删除两个原来的线段；

步骤3-4、重复步骤3-2与步骤3-3，直到原始线段集合中没有新的线段合并，表示线段合并完成；没有新的线段合并是指原始线段集合中不存在步骤3-2和步骤3-3的线段。

步骤4：搜寻合并线段集合中符合条件的三角图线段组，对各线段组中三条线段所在直线的交点处进行Harris角点检测，得到各三角图线段组对应的三角图角点组；具体如下：

步骤4-1、从合并后线段集合中搜寻三角图线段组，具体操作为，搜寻一个线段组作为三角图线段组，该线段组包含三个线段，三个线段的斜率范围分别在和[-0.1，0.1]中，三个线段的长度差小于边长差异阈值，且三个线段中任意两个线段的四个端点之间的距离的长度要求如下：其中，一个距离的长度小于线段端点合并阈值，其他五个距离的长度在三个线段的最大长度和最小长度之间；

步骤4-2、取步骤4-1搜寻到的三角图线段组中每个线段所在直线与其他两个线段之间的交点坐标，得到三个交点坐标；

步骤4-3、将以交点坐标为中心点的矩形区域设为角点区域，对角点区域中像素点计算自相关矩阵m，其公式为：

其中gx，gy为步骤2-1中的像素点的横向梯度值gx(x，y)和纵向梯度值gy(x，y)；

步骤4-4、根据m的特征值λ1，λ2，计算响应函数R，其公式为：

R＝λ1λ2-0.05(λ1 λ2)²；

遍历角点区域中像素点，对于响应函数R大于设定角点判定阈值的像素点判定为角点，记录到该角点区域的角点集合中；

步骤4-5、取各角点区域检测出的角点集合中距离角点区域中心点最近的角点，作为该三角图线段组的三角图角点组。

步骤5：根据三角图线段组与三角图角点组中各线段与角点之间的相对位置，判断该三角图线段组所在处是否为三角图；具体如下：

根据三角图线段组的长度设定顶点判定阈值，对于角点区域检测出的角点、且角点距离角点区域中心点距离小于顶点判定阈值的，设为该三角图线段组所在区域的三角图的顶点，检测出此处存在三角图，三角图位置由三角图线段组所在区域的三角图的三个顶点确定，否则，视为该区域不存在三角图，完成三角图检测。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。