一种基于重叠区域的融合蒙板计算方法、系统及存储介质与流程

1.本发明涉及投影融合领域，尤其涉及一种基于重叠区域的融合蒙板计算方法、系统及存储介质。


背景技术：

2.为追求视觉体验，人们对超大屏显示需求越来越强烈，超大屏显示的方案主要有两种，一种是通过多个屏幕(led屏)组合形成一个超大显示屏，然而该显示方案存在无法消除的物理拼缝，极大影响视觉效果，第二种显示方案为基于边缘融合技术的多投影融合显示方案，该方案通过多台投影仪画面之间的相互重叠组合，组成一个完整的超大显示幕，可以消除多屏拼接种存在的物理拼缝，实现真正的无缝融合，保证显示的图像完全一致，不存在物理或光学拼缝存在，实现真正的一体化，其显示大小可以根据需要而进行改动，更为灵活。多投影融合效果的好坏受到边缘融合技术的极大影响，现有的融合方案中最为常见的方案主要有以下几种：三维建模(成本高3d扫描仪，高精深度相机，精度不稳定，计算耗时)；通过特征点匹配方式，将投影图像进行坐标变换，将相邻图像进行转换到同一个坐标系下进行计算；通过计算投影图像的亮度融合曲线，完成对投影仪图像的融合处理。
3.在上述现有的实施方案中，三维建模耗费时间长且成本较高，坐标变换的特征检测方法无法保证融合效果，投影图像容易产生较大的误差，进而导致多投影之间的边缘融合效果较差的问题。因此，现有技术还有待于改进和发展。


技术实现要素：

4.鉴于上述现有技术的不足，本发明的目的在于提供一种基于重叠区域的融合蒙板计算方法、系统及存储介质，旨在解决现有的融合方法成本较高且操作繁琐导致多投影融合之间的边缘融合效果较差的问题。
5.本发明的技术方案如下：
6.一种基于重叠区域的融合蒙板计算方法，其中，包括：
7.获取图像数据；
8.对所述图像数据进行处理，得到补充后的图像数据；
9.对所述补充后的图像数据进行蒙板计算，得到所需融合蒙板信息。
10.所述基于重叠区域的融合蒙板计算方法，其中，所述对所述图像数据进行处理，得到补充后的图像数据的步骤包括：
11.对所述图像数据进行读取，得到转化的内存数据；
12.对所述转化的内存数据中的特征点数据进行提取，得到特征提取数据；
13.对所述特征提取数据进行数据补充，得到补充后的图像数据。
14.所述基于重叠区域的融合蒙板计算方法，其中，所述对所述补充后的图像数据进行蒙板计算，得到所需融合蒙板信息的步骤包括：
15.对所述补充后的图像数据进行定位，得到整个重叠区域；
16.对所述整个重叠区域进行权重计算，得到所需融合蒙板信息。
17.所述基于重叠区域的融合蒙板计算方法，其中，所述对所述图像数据进行读取，得到转化的内存数据之前还包括步骤：
18.确定输入参数。
19.所述基于重叠区域的融合蒙板计算方法，其中，当所述补充后的图像数据需要修改时，重新调整所述输入参数。
20.所述基于重叠区域的融合蒙板计算方法，其中，所述对所述补充后的图像数据进行定位，得到整个重叠区域的步骤包括：判断点集数据之间的相互交叠，以像素级精度定位出整个重叠区域范围。
21.所述基于重叠区域的融合蒙板计算方法，其中，所述对所述整个重叠区域进行权重计算，得到所需融合蒙板信息的步骤包括：
22.完成权重计算后，将计算完成的图像蒙板进行效果检验；
23.将效果检验合格的图像蒙板进行蒙板生成，得到所需融合蒙板信息。
24.所述基于重叠区域的融合蒙板计算方法，其中，所述输入参数包括设置特征检测阈值，选择数据补充模型，权重计算方式。
25.一种基于重叠区域的融合蒙板计算系统，其中，包括：
26.数据获取模块，用于对所述图像数据进行处理，得到补充后的图像数据；
27.蒙板计算模块，用于对所述补充后的图像数据进行蒙板计算，得到所需融合蒙板信息。
28.一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述所述基于重叠区域的融合蒙板计算方法的步骤。
29.有益效果：本发明提供了一种基于重叠区域的融合蒙板计算方法、系统及存储介质，其中，所述方法包括：获取图像数据；对所述图像数据进行处理，得到补充后的图像数据；对所述补充后的图像数据进行蒙板计算，得到所需融合蒙板信息。本发明通过采集小范围内的样本数据，直接利用二维图像之间的关系，计算相邻投影的融合蒙板，减少转换次数，去除非必要的数据误差，大幅降低计算的复杂程度，且脱离几何校正，实现像素级融合，达到快速生成高质量的多投影融合蒙板的效果。
附图说明
30.图1为本发明的基于重叠区域的融合蒙板计算方法的功能方法流程图。
31.图2为本发明的基于重叠区域的融合蒙板计算方法的操作方法流程图。
32.图3为本发明的基于重叠区域的融合蒙板计算系统的结构框图。
具体实施方式
33.本发明提供一种基于重叠区域的融合蒙板计算方法、系统及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
34.需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以
是直接连接到另一个部件或者间接连接至该另一个部件上。
35.还需说明的是，本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此，附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
36.多投影融合效果的好坏受到边缘融合技术的极大影响，现有的融合方案中最为常见的方案主要有以下几种：三维建模(成本高3d扫描仪，高精深度相机，精度不稳定，计算耗时)；通过特征点匹配方式，将投影图像进行坐标变换，将相邻图像进行转换到同一个坐标系下进行计算；通过计算投影图像的亮度融合曲线，完成对投影仪图像的融合处理。
37.上述方案一的第一种实施办法：需要使用3d相机或采用结构光技术，通过投影仪向屏幕投影特定图像，相机采集投影仪投放图像，通过检测图像的特征信息，获取对应特征点，计算特征点的三维信息，在根据特征点的三维信息，实现实际幕的三维重建，然而，在进行数据采集、三维信息计算以及模型重建过程中均有误差产生，导致最终的三维重建精度不高，由此导致边缘融合效果不理想；第二种实施办法：通过三维扫描仪来扫描投影幕的三维信息，然后根据三维信息进行三维重建，该方案精度较高，但是实际使用中硬件成本较高，且三维模型重建相对较为耗时。
38.上述方案二中，通过特征检测的方法，提取图像种的特征点，然后进行特征匹配，查找相邻投影图像之间的关系，通过坐标变换的方法，将投影图像变换到同一个坐标系下进行投影的拼接融合，但是特征点检测效果好坏与特征匹配的效果会直接影响到投影图像是否能够完成融合，当特征点比较多时，特征匹配非常耗时，而特征点较少时，又无法形成较好的匹配效果；从而导致坐标变换时误差较大，无法形成一个较好的融合效果。
39.上述方案三通过投影投放不同亮度阶的图像，使用特定仪器检测投影仪投影图像的像素亮度，然后再计算亮度融合曲线，在此过程中，对环境要求非常高，外围环境会对亮度信息的获取产生极大影响，而获取亮度信息的特定仪器成本较高，融合曲线的计算需要应用到图像的亮度信息，由此容易产生较大误差。
40.在上述现有的三种实施方案中，三维建模耗费时间长且成本较高，坐标变换的特征检测方法无法保证融合效果，投影图像容易产生较大的误差，进而导致多投影之间的边缘融合效果较差的问题。
41.为了解决上述问题，本发明提供了一种基于重叠区域的融合蒙板计算方法，如图1或图2所示，所述方法包括步骤：
42.s100、获取图像数据。
43.较佳的，用户需要根据现有数据及目标要求，选择需要参与计算的图像数据。
44.s200、对所述图像数据进行处理，得到补充后的图像数据。
45.具体地，如图1所示，所述对所述图像数据进行处理，得到补充后的图像数据的步骤包括：对所述图像数据进行读取，得到转化的内存数据；对所述转化的内存数据中的特征点数据进行提取，得到特征提取数据；对所述特征提取数据进行数据补充，得到补充后的图像数据。
46.进一步，电脑硬盘的指定位置读取对应图像到内存中，将图片数据转化为可以用于计算的内存数据(即转化的内存数据)；通过特征点检测算法，计算需要使用的指定的图像，提取每个投影仪投放的指定图像中的特征点数据(即特征提取数据)；对所述特征提取数据的缺失数据进行一定的补充，得到补充后的图像数据。
47.需要说明的是，图像数据为通过相机采集的各个投影仪投放的对应图像；特征提取数据用于后期计算使用；在进行特征点检测时，由于采集图像可能存在问题，容易导致部分特征点无法检测出来，并且由于数据采集时只采集了重叠区数据，图像数据是缺失的，从而需要进行数据补充。
48.s300、对所述补充后的图像数据进行蒙板计算，得到所需融合蒙板信息。
49.具体地，如图1所示，所述对所述补充后的图像数据进行蒙板计算，得到所需融合蒙板信息的步骤包括：对所述补充后的图像数据进行定位，得到整个重叠区域；对所述整个重叠区域进行权重计算，得到所需融合蒙板信息。
50.较佳的，所述对所述补充后的图像数据进行定位，得到整个重叠区域的步骤包括：判断点集数据之间的相互交叠，以像素级精度定位出整个重叠区域范围。
51.进一步，通过判断点集数据之间的相互交叠，以像素级精度定位出整个重叠区域范围。
52.需要说明的是，根据检测到的图像特征点集数据，经过数据补充后，可以保证所有点集数据将重叠区域覆盖。
53.较佳的，所述对所述整个重叠区域进行权重计算，得到所需融合蒙板信息的步骤包括：完成权重计算后，将计算完成的图像蒙板进行效果检验；将效果检验合格的图像蒙板进行蒙板生成，得到所需融合蒙板信息。
54.进一步，在相机空间中定位出所述整个重叠区域后，根据重叠区边界所属类别(属于哪个图像)，采用计算整个重叠区域中的点到对应类别的边的最短距离，将所有类别的最短距离相加求和，每个图像对应的权重为该图的距离与和之比的余弦值；完成权重计算后，将计算完成的处于相机空间中的图像蒙板进行叠加并将叠加效果与目标效果进行对比，当叠加效果与目标效果一致时转入蒙板生成；蒙板生成计算数据通过单应性矩阵，将数据转换成投影仪所需的蒙板数据，得到所需融合蒙板信息。
55.需要说明的是，完成权重计算后，计算的权重分配情况以图像弹窗的形式展现。
56.较佳的，当叠加效果与目标效果不一致时，进行蒙板效果补充。在本发明的较佳实施例中，正因为采用了上述的技术方案，通过采集小范围内的样本数据，直接利用二维图像之间的关系，计算相邻投影的融合蒙板，减少转换次数，去除非必要的数据误差，大幅降低计算的复杂程度，且脱离几何校正，实现像素级融合，达到快速生成高质量的多投影融合蒙板的效果。
57.较佳的，所述对所述图像数据进行读取，得到转化的内存数据之前还包括步骤：确定输入参数。
58.较佳的，当所述补充后的图像数据需要修改时，重新调整所述输入参数。
59.进一步，在进行特征提取与数据补充时，如果特征提取效果较差或者数据补充效果较差，可以根据检测结果，重新调整输入参数，直至特征提取与数据补充达到较为理想的效果，进行下一步操作。
60.较佳的，所述输入参数包括设置特征检测阈值，选择数据补充模型，权重计算方式。
61.因此，通过上述设计方案，无需进行三维重建，简化模型复制程度，降低计算难度，并且硬件成本低，仅需要相机辅助，精度较高，另外适用场景广泛，可针对重叠区进行数据采集计算，而无需考虑投影仪数据是否完全。
62.下面结合图2所示，对本发明所公开的上述方法做进一步更为详细的说明。
63.k100、用户打开投影融合软件，将进入启动界面。
64.k200、选择需要参与计算的图像数据，设置特征检测阈值、选择数据补充模型、权重计算方式参数。
65.k300、确定相关输入参数后，点击确定按键，启动融合蒙板生成程序，此时会启动图像读取功能与数据补充功能。
66.k310、在进行特征提取与数据补充时，若特征提取效果太差或数据补充不理想，可以根据检测结果，重新调整输入参数，直至特征提取与数据补充达到较为理想的效果。
67.k400、完成特征提取与数据补充后，启动蒙板计算模块，开启重叠区定位功能与重叠区权重计算功能，完成权重计算后，会将计算的权重分配情况以图像弹窗的形式展现。
68.k500、通过蒙板生成功能，将最终蒙板(即所需融合蒙板信息)输出。
69.k600、蒙板计算完成后，程序自动退出。
70.基于上述实施例，本发明提供了一种基于重叠区域的融合蒙板计算系统，其特征在于，包括：
71.数据获取模块，用于对所述图像数据进行处理，得到补充后的图像数据；
72.蒙板计算模块，用于对所述补充后的图像数据进行蒙板计算，得到所需融合蒙板信息。
73.在本实施例中，如图3所示，所述数据获取模块包括图像读取功能，特征点提取功能、数据补充功能；蒙板计算模块包括重叠区定位功能、重叠区权重计算功能、效果检验功能、蒙板生成功能。
74.具体地，所述图像读取功能是指电脑硬盘的指定位置读取对应图像到内存中，将图片数据转化为可以用于计算的内存数据，图像数据为通过相机采集的各个投影仪投放的对应图像；所述特征提取功能是指通过特征点检测算法，计算需要使用的指定的图像，提取每个投影仪投放的指定图像中的特征点数据；所述数据补充功能是指在进行特征点检测时，由于采集图像可能存在问题，容易导致部分特征点无法检测出来，且由于数据采集时只采集了重叠区数据，图像数据是缺失的，因此需要采用数据补充功能对缺失数据进行一定的补充，得到补充后的图像数据。
75.所述重叠区域定位功能是指根据检测到的图像特征点集数据，经过数据补充后，可以保证所有点集数据将重叠区域覆盖，通过判断点集数据之间的相互交叠，可以以像素级精度定位出整个重叠区域范围；所述重叠区权重计算功能是指相机空间中定位出重叠区域后，可以根据重叠区边界所属类别(属于哪个图像)，采用计算重叠区域中的点到对应类别的边的最短距离，将所有类别的最短距离相加求和，每个图像对应的权重为该图的距离与和之比的余弦值；所述效果检验功能是指完成权重计算后，将计算完成的处于相机空间中的图像蒙板进行叠加并将叠加效果与目标效果进行对比，如果与目标效果一致，则转入
蒙板生成，否则进行蒙板效果补充；所述蒙板生成功能是指在完成重叠区域的权重计算后，计算数据通过单应性矩阵，将数据转换成投影仪所需的蒙板数据。
76.本发明还提供了一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述所述基于重叠区域的融合蒙板计算方法的步骤。
77.综上所述，本发明提供了一种基于重叠区域的融合蒙板计算方法、系统及存储介质，其中，所述方法包括：获取图像数据；对所述图像数据进行处理，得到补充后的图像数据；对所述补充后的图像数据进行蒙板计算，得到所需融合蒙板信息。本发明通过采集小范围内的样本数据，直接利用二维图像之间的关系，计算相邻投影的融合蒙板，减少转换次数，去除非必要的数据误差，大幅降低计算的复杂程度，且脱离几何校正，实现像素级融合，达到快速生成高质量的多投影融合蒙板的效果。
78.应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。