畸变图像校正方法及装置与流程

1.本发明涉及人工智能技术领域，尤其涉及一种畸变图像校正方法及装置。


背景技术：

2.目前畸变图像校正算法的主要处理流程是图像的边缘检测与轮廓提取、畸变线提取、畸变参数估计和畸变图像的逆向校正。其中，畸变线提取的算法层出不穷，畸变线提取算法的质量直接决定了畸变图像校正的效果。
3.畸变图像校正系统目前最亟待优化和提升的是去畸变能力，尤其是针对于畸变程度较严重的图像的校正能力，因此畸变线条的提取和畸变参数估计算法优化直接决定了畸变图像校正系统的鲁棒性。经典霍夫变换直线被分成不同的线段，一些小分段的畸变线可能无法被正确识别为畸变线条，直接导致直线信息丢失，校正效果不好；且现有畸变校正方法鲁棒性不强。


技术实现要素：

4.本发明实施例提出一种畸变图像校正方法，用以实现畸变图像校正，校正效果好，该方法包括：
5.对目标畸变图像进行线条轮廓提取，获得所有线条的畸变点信息；
6.在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合；
7.根据多个畸变线集合，计算最优的畸变系数；
8.根据最优的畸变系数逆向进行目标畸变图像的自动校正。
9.本发明实施例提出一种畸变图像校正装置，用以实现畸变图像校正，校正效果好，该装置包括：
10.线条轮廓提取模块，用于对目标畸变图像进行线条轮廓提取，获得所有线条的畸变点信息；
11.畸变线集合获得模块，用于在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合；
12.最优畸变参数计算模块，用于根据多个畸变线集合，计算最优的畸变系数；
13.自动校正模块，用于根据最优的畸变系数逆向进行目标畸变图像的自动校正。
14.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述畸变图像校正方法。
15.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述畸变图像校正方法。
16.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述畸变图像校正方法。
17.在本发明实施例中，对目标畸变图像进行线条轮廓提取，获得所有线条的畸变点
信息；在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合；根据多个畸变线集合，计算最优的畸变系数；根据最优的畸变系数逆向进行目标畸变图像的自动校正。在上述过程中，在三维霍夫空间中，提取畸变线集合，计算最优的畸变系数，可以提取准确度更高的畸变参数，从而可以实现自动畸变校正，且校正效果更好。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
19.图1为本发明实施例中畸变图像校正方法的流程图一；
20.图2为本发明实施例中获得所有线条的畸变点信息的流程图；
21.图3为本发明实施例中获得畸变线集合的流程图；
22.图4为本发明实施例中计算多个畸变系数的流程图；
23.图5为本发明实施例中畸变图像校正方法的流程图二；
24.图6为本发明实施例中畸变图像校正装置的示意图；
25.图7为本发明实施例中计算机设备的示意图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
27.在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
28.首先，对本发明实施例涉及的术语进行解释。
29.图1为本发明实施例中畸变图像校正方法的流程图一，如图1所示，该方法包括：
30.步骤101，对目标畸变图像进行线条轮廓提取，获得所有线条的畸变点信息；
31.步骤102，在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合；
32.步骤103，根据多个畸变线集合，计算最优的畸变系数；
33.步骤104，根据最优的畸变系数逆向进行目标畸变图像的自动校正。
34.在本发明实施例中，在三维霍夫空间中，提取畸变线集合，计算最优的畸变系数，可以提取准确度更高的畸变参数，从而可以实现自动畸变校正，且校正效果更好。
35.在步骤101中，对目标畸变图像进行线条轮廓提取，获得所有线条的畸变点信息。
36.图2为本发明实施例中获得所有线条的畸变点信息的流程图，在一实施例中，对目
标畸变图像进行线条轮廓提取，获得所有线条的畸变点信息，包括：
37.步骤201，对目标畸变图像进行平滑滤波处理；
38.步骤202，对平滑滤波处理后的目标畸变图像进行图像增强处理；
39.步骤203，从图像增强处理后的目标畸变图像中去除劣质边缘点，获得去除劣质边缘点后的所有线条，并获得所有线条的畸变点信息和畸变中心信息。
40.在上述实施例中，平滑滤波处理的引入主要是为了降低噪声，而图像增强处理则是通过获取梯度幅值来突出邻域中的灰度变化显著的像，在去除劣质边缘点时，通过设定梯度变化阈值来去除一些梯度变化大但不是边缘像素点的劣质边缘点，从而能精确定位出所有线条，并获得所有线条的畸变点信息和畸变中心信息。
41.在一实施例中，从图像增强处理后的目标畸变图像中去除劣质边缘点，包括：
42.采用最优canny算子从图像增强处理后的目标畸变图像中去除劣质边缘点。
43.在步骤102中，在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合。
44.上述三维霍夫空间实在现在的二维霍夫空间中引入了畸变系数这一新的维度从而形成的。
45.图3为本发明实施例中获得畸变线集合的流程图，在一实施例中，在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合，包括：
46.步骤301，基于所有线条的畸变点信息，获得最远畸变点集合；
47.其中，最远畸变点集合是从所有畸变点信息中找到多个尽量远的畸变点形成的集合。
48.步骤302，根据最远畸变点集合，计算多个畸变系数；
49.步骤303，对每个畸变系数，计算对应的畸变参数，基于所述畸变参数，对所有线条的畸变点进行畸变校正；
50.步骤304，基于畸变校正后的畸变点和投票函数，在三维霍夫空间中进行投票计算，基于投票阈值和投票计算结果，获得每个畸变系数对应的畸变线集合。
51.图4为本发明实施例中计算多个畸变系数的流程图，在一实施例中，根据最远畸变点集合，计算多个畸变系数，包括：
52.步骤401，对最远畸变集合中的每个畸变点，计算每个畸变点的第一距离，所述第一距离为该畸变点到畸变中心的距离；
53.步骤402，根据每个畸变点的第一距离和单参数除法模型，计算每个畸变点的第二距离，所述第二距离为应用单参数除法模型之后的该畸变点到应用单参数除法模型之后的目标畸变图像的中心的距离；
54.步骤403，根据每个畸变点的第一距离和第二距离，计算每个畸变点对应的畸变系数。
55.在一实施例中，根据每个畸变点的第一距离和单参数除法模型，计算每个畸变点的第二距离，包括：
56.根据每个畸变点的第一距离和多个级联的单参数除法模型，计算每个畸变点的第二距离。
57.在上述实施例中，提供了一种对于畸变程度较严重的目标畸变图像进行更准确地
校正的方法，即采用多个级联的单参数除法模型，使得校正图像的精度更高。级联的数量越多，校正精度越高，并且对于畸变程度较严重的图像来说，级联次数决定了畸变校正的效果。
58.在一实施例中，采用如下公式，根据每个畸变点的第一距离和第二距离，计算每个畸变点对应的畸变系数，包括：
[0059][0060]
其中，pi为畸变点i对应的畸变系数，为畸变点i的第一距离，为畸变点i的第二距离。
[0061]
在一实施例中，所述单参数除法模型的公式如下：
[0062][0063]
其中，λi为畸变点i对应的畸变参数。
[0064]
可以看到，每个畸变系数都有一个对应的畸变参数。应用单除法模型后，目标畸变图像被校正为了校正图像。通过在三维霍夫空间中使用畸变系数降低了畸变图像分辨率的影响。
[0065]
在一实施例中，采用如下公式，对每个畸变系数，计算对应的畸变参数：
[0066][0067]
其中，λi为畸变点i对应的畸变参数，pi为畸变点i对应的畸变系数，为畸变点i的第一距离。
[0068]
一旦在三维霍夫空间内获得最好的畸变系数，就对其进行细化以获得更准确的近似值。为此，通过使用标准的优化技术，在一实施例中，所述投票函数的公式如下：
[0069][0070]
其中，nl为畸变线的数量；np(j)为第j条畸变线上的畸变点的数量；x
ji
是与畸变线j相关的点。
[0071]
需要说明的是，在投票时，一条线的投票取决于点到线的距离，并且由v＝1/(1 d)给出，其中d是从该点到线的距离。上述投票函数值越小越好。
[0072]
在步骤103中，根据多个畸变线集合，计算最优的畸变系数。
[0073]
在一实施例中，根据多个畸变线集合，计算最优的畸变系数，包括：
[0074]
在多个畸变线集合中，确定具有最大数量畸变线的畸变线集合对应的畸变系数为最优的畸变系数。
[0075]
综合上述实施例，下面给出在三维霍夫空间中，基于所有线条的畸变点信息，输出最优的畸变系数的算法流程，对应步骤102和步骤103；
[0076]
输入：所有线条的畸变点位置信息{(x,y)}，所有线条的畸变点方向信息{α(x,y)}，所有线条的个数n；
[0077]
输出：畸变线集合sum和最优的畸变系数p0；
[0078]
开始：
[0079][0080][0081]
上述算法的优点在于能较精准的提取出目标畸变图像的畸变线集合，为畸变系数的优化奠定基础。
[0082]
图5为本发明实施例中畸变图像校正方法的流程图二，在一实施例中，所述方法还包括：
[0083]
步骤501，在自动校正后的目标畸变图像的畸变误差大于阈值时，重复执行权利要求1的方法的步骤，直至自动校正后的目标畸变图像的畸变误差不大于阈值。
[0084]
上述实施例提出了另一种对于畸变程度较严重的目标畸变图像进行更准确地校正的方法，即对于得到的畸变线集合，重复执行前述所有的步骤，一直迭代，迭代的终止条件是目标畸变图像的畸变误差不大于阈值。迭代的数量越多，校正精度越高，并且对于畸变程度较严重的图像来说，迭代次数决定了畸变校正的效果。
[0085]
在步骤104中，根据最优的畸变系数逆向进行目标畸变图像的自动校正。
[0086]
自动校正主要是通过比对校正图像中的像素点对应于目标畸变图像中的像素点坐标信息，像素点对应的灰度仍保持不变，逆向法仍然存在在单参数除法模型的逆向映射下像素点位置非整数的情况，但是不存在像素疏密不均的问题，以校正图像为基准，校正图像中的像素点稠密适中，对于非整数情况，可以采用插值方法避免这一问题，常见的灰度插值算法有三类：最近邻、双线性和三次卷积灰度插值算法，经验表明，双线性灰度插值算法在计算效果和运行效率上是评分较好的。
[0087]
综上所述，本发明实施例提出的方法中，对目标畸变图像进行线条轮廓提取，获得所有线条的畸变点信息；在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合；根据多个畸变线集合，计算最优的畸变系数；根据最优的畸变系数逆向进行目标畸变图像的自动校正。在上述过程中，在三维霍夫空间中，提取畸变线集合，计算最优的畸变系数，可以提取准确度更高的畸变参数，从而可以实现自动畸变校正，且校正效果更好。另外，对于畸变严重的畸变图像而言，可以采用级联的单参数触发模型，或者重复执行自动校正的步骤，更能体现算法的鲁棒性。
[0088]
本发明实施例中还提供了一种畸变图像校正装置，如下面的实施例所述。由于该装置解决问题的原理与畸变图像校正方法相似，因此该装置的实施可以参见畸变图像校正方法的实施，重复之处不再赘述。
[0089]
图6为本发明实施例中畸变图像校正装置的示意图，包括：
[0090]
线条轮廓提取模块601，用于对目标畸变图像进行线条轮廓提取，获得所有线条的畸变点信息；
[0091]
畸变线集合获得模块602，用于在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合；
[0092]
最优畸变参数计算模块603，用于根据多个畸变线集合，计算最优的畸变系数；
[0093]
自动校正模块604，用于根据最优的畸变系数逆向进行目标畸变图像的自动校正。
[0094]
在一实施例中，线条轮廓提取模块601具体用于：
[0095]
对目标畸变图像进行平滑滤波处理；
[0096]
对平滑滤波处理后的目标畸变图像进行图像增强处理；
[0097]
从图像增强处理后的目标畸变图像中去除劣质边缘点，获得去除劣质边缘点后的所有线条，并获得所有线条的畸变点信息和畸变中心信息。
[0098]
在一实施例中，线条轮廓提取模块601具体用于：
[0099]
采用最优canny算子从图像增强处理后的目标畸变图像中去除劣质边缘点。
[0100]
在一实施例中，畸变线集合获得模块具体用于：
[0101]
基于所有线条的畸变点信息，获得最远畸变点集合；
[0102]
根据最远畸变点集合，计算多个畸变系数；
[0103]
对每个畸变系数，计算对应的畸变参数，基于所述畸变参数，对所有线条的畸变点
进行畸变校正；
[0104]
基于畸变校正后的畸变点和投票函数，在三维霍夫空间中进行投票计算，基于投票阈值和投票计算结果，获得每个畸变系数对应的畸变线集合。
[0105]
在一实施例中，畸变线集合获得模块具体用于：
[0106]
对最远畸变集合中的每个畸变点，计算每个畸变点的第一距离，所述第一距离为该畸变点到畸变中心的距离；
[0107]
根据每个畸变点的第一距离和单参数除法模型，计算每个畸变点的第二距离，所述第二距离为应用单参数除法模型之后的该畸变点到应用单参数除法模型之后的目标畸变图像的中心的距离；
[0108]
根据每个畸变点的第一距离和第二距离，计算每个畸变点对应的畸变系数。
[0109]
在一实施例中，畸变线集合获得模块具体用于：
[0110]
根据每个畸变点的第一距离和多个级联的单参数除法模型，计算每个畸变点的第二距离。
[0111]
在一实施例中，畸变线集合获得模块具体用于：
[0112]
采用如下公式，根据每个畸变点的第一距离和第二距离，计算每个畸变点对应的畸变系数，包括：
[0113][0114]
其中，pi为畸变点i对应的畸变系数，为畸变点i的第一距离，为畸变点i的第二距离。
[0115]
在一实施例中，所述单参数除法模型的公式如下：
[0116][0117]
其中，λi为畸变点i对应的畸变参数。
[0118]
在一实施例中，畸变线集合获得模块具体用于：
[0119]
采用如下公式，对每个畸变系数，计算对应的畸变参数：
[0120][0121]
其中，λi为畸变点i对应的畸变参数，pi为畸变点i对应的畸变系数，为畸变点i的第一距离。
[0122]
在一实施例中，所述投票函数的公式如下：
[0123][0124]
其中，nl为畸变线的数量；np(j)为第j条畸变线上的畸变点的数量；x
ji
是与畸变线j相关的点。
[0125]
在一实施例中，最优畸变参数计算模块具体用于：
[0126]
在多个畸变线集合中，确定具有最大数量畸变线的畸变线集合对应的畸变系数为最优的畸变系数。
[0127]
综上所述，本发明实施例提出的装置中，对目标畸变图像进行线条轮廓提取，获得所有线条的畸变点信息；在三维霍夫空间中，基于所有线条的畸变点信息，获得多个畸变线集合；根据多个畸变线集合，计算最优的畸变系数；根据最优的畸变系数逆向进行目标畸变图像的自动校正。在上述过程中，在三维霍夫空间中，提取畸变线集合，计算最优的畸变系数，可以提取准确度更高的畸变参数，从而可以实现自动畸变校正，且校正效果更好。另外，对于畸变严重的畸变图像而言，可以采用级联的单参数触发模型，或者重复执行自动校正的步骤，更能体现算法的鲁棒性。
[0128]
本发明实施例还提供一种计算机设备，图7为本发明实施例中计算机设备的示意图，所述计算机设备700包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序730，所述处理器720执行所述计算机程序730时实现上述畸变图像校正方法。
[0129]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述畸变图像校正方法。
[0130]
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述畸变图像校正方法。
[0131]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序业务系统。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序业务系统的形式。
[0132]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序业务系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0133]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0134]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0135]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。