一种可任意加点的双线性几何校正方法及系统与流程

1.本发明涉及图像处理领域，特别涉及一种可任意加点的双线性几何校正方法及系统。


背景技术：

2.采用多个投影仪，在对图片进行投影融合显示时，首先需要将图片切割成子图片，将子图片发送到各个投影机；然后投影出来的画面进行几何校正，对画面进行变形，使得相邻投影仪投出的画面能够无缝拼接；最后再对投影重叠部分进行色彩和亮度的校正。
3.然而现有几何校正的方法有下面一些限制：
4.一些几何校正方法是对每个投影仪通道的图像进行整体校正，不能对图像局部进行变形校正。由于投影环境的复杂，简单的整体变形常常不能达到很好的效果，因此需要添加更多的控制点。
5.并且目前常见的添加控制点进行网格细分的方法，或者是行列翻倍添加，或者整行、整列添加。这些方法都会对整幅图像造成影响，或者添加了不必要的控制点。


技术实现要素：

6.基于此，本技术实施例提供了一种可任意加点的双线性几何校正方法及系统，能够解决现有几何校正的方法所存在的问题。
7.第一方面，提供了一种可任意加点的双线性几何校正方法，该方法包括：
8.将待编辑的投影图像进行划分得到网格图，其中，所述网格图包括有预设数量的矩形网格，所述网格图中的各个矩形网格交点处设置有网格点；
9.基于所述网格图中的网格点设置控制点，并获取各个控制点所对应的行序号r0..r
s-1
和列序号c0..c
t-1
；
10.计算由行序号r0..r
s-1
和列序号c0..c
t-1
组成的各个第一网格点位置，其中对于任意第一网格点r
icj
通过该与第一网格点同一行、列的最外侧4条边上的点构成的连线的交点确定位置；
11.基于得到的各个第一网格点位置计算所述网格图内所有第二网格点的位置，其中，所述网格图内包括第一网格点和第二网格点；
12.基于所有第一网格点位置与所有第二网格点位置对所述网格图进行几何校正。
13.可选地，所述基于得到的各个第一网格点位置计算所述网格图内所有第二网格点的位置，包括：
14.对于任意第二网格点r
ucv
首先获得该第二网格点r
ucv
相对于第一网格点的位置区间，从而得到4个区间角点；
15.基于所述4个区间角点通过双线性插值确定任意第二网格点r
ucv
的位置。
16.可选地，所述基于所述4个区间角点通过双线性插值确定任意第二网格点r
ucv
的位置，具体包括根据公式：
[0017][0018][0019][0020][0021][0022][0023][0024][0025]
确定双线性插值公式参数a0,a1,a2,a3,b0,b1,b2,b3，其中，x1,y1，x2,y2，x3,y3，x4,y4分别4个区间角点的坐标，分别为4个区间角点的列序号与行序号；
[0026]
根据确定参数后的双线性插值公式从而确定任意第二网格点r
ucv
的位置。
[0027]
可选地，所述方法还包括基于所述网格图的初始控制点通过线性插值计算所述网格图边上的网格点的位置，其中，所述初始控制点为所述网格图中的4个角点。
[0028]
可选地，所述基于所述网格图中的网格点设置控制点，包括：
[0029]
在所述网格图中添加、删除或移动控制点。
[0030]
可选地，所述将待编辑的投影图像进行划分得到网格图，包括：
[0031]
根据待编辑的投影图像的分辨率设置划分矩形网格的数量。
[0032]
第二方面，提供了一种可任意加点的双线性几何校正系统，该系统包括：
[0033]
划分模块，用于将待编辑的投影图像进行划分得到网格图，其中，所述网格图包括有预设数量的矩形网格，所述网格图中的各个矩形网格交点处设置有网格点；
[0034]
设置模块，用于基于所述网格图中的网格点设置控制点，并获取各个控制点所对应的行序号r0..r
s-1
和列序号c0..c
t-1
；
[0035]
第一计算模块，用于计算由行序号r0..r
s-1
和列序号c0..c
t-1
组成的各个第一网格点位置，其中对于任意第一网格点r
icj
通过该与第一网格点同一行、列的最外侧4条边上的点构成的连线的交点确定位置；
[0036]
第二计算模块，用于基于得到的各个第一网格点位置计算所述网格图内所有第二网格点的位置，其中，所述网格图内包括第一网格点和第二网格点；
[0037]
校正模块，用于基于所有第一网格点位置与所有第二网格点位置对所述网格图进行几何校正。
[0038]
可选地，所述第二计算模块包括：
[0039]
对于任意第二网格点r
ucv
首先获得该第二网格点r
ucv
相对于第一网格点的位置区间，从而得到4个区间角点；
[0040]
基于所述4个区间角点通过双线性插值确定任意第二网格点r
ucv
的位置。
[0041]
可选地，所述系统还包括初始计算模块，用于基于所述网格图的初始控制点通过线性插值计算所述网格图边上的网格点的位置，其中，所述初始控制点为所述网格图中的4个角点。
[0042]
本技术实施例提供的技术方案带来的有益效果至少包括：
[0043]
(1)网格点上可以任意添加控制点，不需要按行、按列添加点。
[0044]
通过控制点来对所有网格点的位置进行控制。当所有网格点的位置确定后，采用双线性插值算法，图像的变形方式也就确定了。默认的4个角点是控制点，最外侧的4条边其余的网格点可以通过线性插值来决定，而其余网格点的位置可以根据已有的控制点和最外侧4条边上的网格点来确定。如果网格点所在的行列有其他控制点，那么该网格点的位置可以根据控制点和最外侧4条边上相应点连线的交点确定；如果网格点所在的行列没有其他控制点，那么该网格点的位置可以由包含这个网格点的区域的4个控制点(或者其他以及计算出来的网格点)，通过双线性插值算法确定。
[0045]
(2)用户可以编辑过程中根究需要添加、删除控制点，不需要在一开始就固定控制点数。
[0046]
当用户每次添加控制点，或者对控制点进行了移动操作后，都会对所有网格点的位置重新计算，计算过程只跟当前的控制点以及当前控制点的位置有关，所以可以在编辑过程中，任意增加、删除控制点。
[0047]
(3)本发明中的所涉及的算法计算时间稳定，不随投影分辨率或者图像分辨率变化。
[0048]
由于本发明所涉及的算法，主要是对先对网格进行变形。而针对网格的变形的计算不取决于图像分辨率，只依赖网格点数目。当投影的图像是超大分辨率时，针对网格点计算能有效减少计算变形时间。如果固定网格点数目，则计算量固定，可以保证在任何情况下操作控制点的交互流畅。
附图说明
[0049]
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0050]
图1为本技术实施例提供的一种可任意加点的双线性几何校正流程图；
[0051]
图2为本技术实施例提供的一种未变形的网格图；
[0052]
图3为本技术实施例提供的一种添加2个控制点并移动后的变形图；
[0053]
图4为本技术实施例提供的通过四条边上的连线，构成交点的示意图；
[0054]
图5为本技术实施例提供的一种可任意加点的双线性几何校正流程图。
具体实施方式
[0055]
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
本发明是在投影融合技术中，对投影的画面形状做几何校正的方法。可以方便投影融合用户对投影的图像形状进行编辑，同时也满足有其他类似需求、需要对图像形状进
行编辑的用户。
[0057]
具体地，请参考图1，其示出了本技术实施例提供的一种可任意加点的双线性几何校正方法的流程图，该方法可以包括以下步骤：
[0058]
步骤101，将待编辑的投影图像进行划分得到网格图。
[0059]
其中，网格图包括有预设数量的矩形网格，网格图中的各个矩形网格交点处设置有网格点。
[0060]
在本技术实施例中，首先将需要编辑的图像划分成(m-1)x(n-1)的网格，如图2所示，m,n可以根据需要设定，网格数目越多，控制可以越精细，同时计算量增大。通过对网格的编辑，间接编辑图像。
[0061]
在本技术实施例中通过对附着在某些网格点上的控制点进行移动，从而控制相连的网格点位置，并且也会影响临近区域的其他网格点位置，达到编辑网格的目的。
[0062]
在本技术实施例中能根据需要，在任意网格点上放置控制点，在编辑网格时，可以先编辑整体轮廓，然后对局部区域加点进行编辑细化，局部区域的编辑不会对整体产生影响，从而可以简化用户操作。
[0063]
步骤102，基于网格图中的网格点设置控制点，并获取各个控制点所对应的行序号r0..r
s-1
和列序号c0..c
t-1
。
[0064]
在本技术实施例中可以在网格任意位置插入控制点，通过操纵控制点，对图片的形状进行控制。图3是在中间位置添加两个控制点，并移动该控制点的效果图。
[0065]
将图片划分成横向m-1、纵向n-1个网格，也即m*n个网格点。变形的精细度取决于网格点的数量，网格点的数量越多，可以更精细控制变形。
[0066]
控制点只能添加在网格点上，控制点影响所有网格点的位置。图片的变形由对应网格区域的网格点来决定。
[0067]
假设图中已经有p0..p
n-1
这n个控制点(包含默认的4个控制点)，获取这n个控制点对应的行列、序号并分别排序，去掉重复序号。行序号有s个：r0..r
s-1
。列序号有t个c0..c
t-1
。
[0068]
因为网格的4个角点肯定是控制点，通过线性插值，计算最外侧4条边上的其余网格点的位置。
[0069]
步骤103，计算由行序号r0..r
s-1
和列序号c0..c
t-1
组成的各个第一网格点位置。
[0070]
其中对于任意第一网格点r
icj
通过该与第一网格点同一行、列的最外侧4条边上的点构成的连线的交点确定位置。如图4，通过四条边上的连线，构成的交点即为r
icj
。四条边上的点的位置可以通过端点位置进行插值。
[0071]
在本技术实施例中，计算由行列序号r0..r
s-1
和c0..c
t-1
组成的网格点(第一网格点)的位置，也即如下矩阵中的位置
[0072][0073]
对其中任意r
icj
网格点位置，由于r0cj、r
s-1cj
、ric0、r
ict-1
网格点位置是在网格的最外侧的4条边上，在步骤102中已经计算出来了。因此r
icj
的位置可以由线段r0cj、r
s-1cj
和线段ric0、r
ict-1
的交点决定。
[0074]
步骤104，基于得到的各个第一网格点位置计算网格图内所有第二网格点的位置。
[0075]
其中，网格图内包括第一网格点和第二网格点。
[0076]
具体地，对于任意第二网格点r
ucv
首先获得该第二网格点r
ucv
相对于第一网格点的位置区间，从而得到4个区间角点；基于所述4个区间角点通过双线性插值确定任意第二网格点r
ucv
的位置。
[0077]
在本技术实施例中，计算所有其他的网格点r
ucv
(第二网格点)。找出ru、cv在r0..r
s-1
、c0..c
t-1
所在的区间rk..r
k 1
、cw...c
w 1
，其中rk∈[r0..r
s-1
]，cw∈[c0..c
t-1
]，rk≤ru≤r
k 1
，cw≤cv≤c
w 1
。
[0078]
网格点r
ucv
在4个网格点r
kcw
、r
kcw 1
、r
k 1cw
、r
k 1cw 1
包围的区域，由于网格点r
kcw
、r
kcw 1
、r
k 1cw
、r
k 1cw 1
已经由上述步骤中计算出位置，r
ucv
可以由这4个点通过双线性插值决定，具体公式包括：
[0079][0080][0081][0082][0083][0084][0085][0086][0087]
其中，x1,y1，x2,y2，x3,y3，x4,y4分别4个区间角点的坐标，分别4个区间角点的坐标，分别为4个区间角点的列序号与行序号；a0..a3和b0..b3为未知量。由于有4个已知点，共8个方程，而未知量也为8个，因此可以唯一确定这个方程。将r
ucv
的行列号带入上述方程，即可以确定该点位置。
[0088]
步骤105，基于所有第一网格点位置与所有第二网格点位置对网格图进行几何校正。
[0089]
综上可以看出，在本技术实施例中：
[0090]
1、网格点上可以任意添加控制点，不需要按行、按列添加点；
[0091]
2、控制点之外的网格点的位置根据已有的网格点计算；
[0092]
3、可以编辑过程中按需要添加、删除控制点，不需要在一开始就固定控制点数；
[0093]
4、图像的变形由网格点的变形来决定，网格点的位置由控制点的位置来决定；
[0094]
5、网格点位置的计算只取决于网格点数目，不取决于图像分辨率。当投影的图像是超大分辨率时，针对网格点计算能有效减少计算变形时间。如果固定网格点数目，则计算量固定，可以保证在任何情况下操作控制点的交互流畅。
[0095]
如图4，本技术实施例还提供的一种可任意加点的双线性几何校正系统。系统包括：
[0096]
划分模块201，用于将待编辑的投影图像进行划分得到网格图，其中，网格图包括
有预设数量的矩形网格，网格图中的各个矩形网格交点处设置有网格点；
[0097]
设置模块202，用于基于网格图中的网格点设置控制点，并获取各个控制点所对应的行序号r0..r
s-1
和列序号c0..c
t-1
；
[0098]
第一计算模块203，用于计算由行序号r0..r
s-1
和列序号c0..c
t-1
组成的各个第一网格点位置，其中对于任意第一网格点r
icj
通过该与第一网格点同一行、列的最外侧4条边上的点构成的连线的交点确定位置。
[0099]
第二计算模块204，用于基于得到的各个第一网格点位置计算网格图内所有第二网格点的位置，其中，网格图内包括第一网格点和第二网格点；
[0100]
校正模块205，用于基于所有第一网格点位置与所有第二网格点位置对网格图进行几何校正。
[0101]
在本技术一个可选的实施例中，第二计算模块204包括：
[0102]
对于任意第二网格点r
ucv
首先获得该第二网格点r
ucv
相对于第一网格点的位置区间，从而得到4个区间角点；
[0103]
基于4个区间角点通过双线性插值确定任意第二网格点r
ucv
的位置。
[0104]
在本技术一个可选的实施例中，系统还包括初始计算模块，用于基于网格图的初始控制点通过线性插值计算网格图边上的网格点的位置，其中，初始控制点为网格图中的4个角点。
[0105]
本技术实施例提供的可任意加点的双线性几何校正系统用于实现上述可任意加点的双线性几何校正方法，关于可任意加点的双线性几何校正系统的具体限定可以参见上文中对于可任意加点的双线性几何校正方法的限定，在此不再赘述。上述可任意加点的双线性几何校正系统中的各个部分可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0106]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0107]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。