基于矩阵二值化的遥感影像去除彩线和残缺影像拼接方法与流程

1.本发明涉及遥感图像处理技术领域，具体为基于矩阵二值化的遥感影像去除彩线和残缺影像拼接方法。


背景技术：

2.目前，对于影像中的出现的影像彩边情况，通常使用影像处理软件如photoshop人工对彩边区域进行裁剪，对于残缺影像的拼接，主要以影像处理软件手动拼接为主。
3.现有的遥感图像去除彩线和残缺影像的处理方法主要通过影像处理软件来手动裁剪彩边，使得裁剪的准确度较低，人工对彩边进行裁剪经常会出现多裁剪或少裁剪的情况，这将会导致遥感图像的数据发生丢失或彩边未裁剪干净的情况，且耗时比较严重，以及在对遥感图像进行影像拼接时，通过手动进行拼接需耗费大量时间，且人工拼接存在误差，使得影像拼接无法正常使用。


技术实现要素：

4.本发明的目的在于提供基于矩阵二值化的遥感影像去除彩线和残缺影像拼接方法，以解决上述背景技术中提出的问题。
5.为了解决上述技术问题，本发明提供如下技术方案：包括波段转换模块、影像像素处理模块、彩边去除模块、残缺影像拼接模块和波段恢复模块；
6.所述波段转换模块通过映射处理将红蓝绿以外的波段转换为肉眼可见的红蓝绿波段，并将转换后的影像传输至影像像素处理模块，波段转换模块用于将影像中的不可见波段转换为可见波段，使得在对影像去除彩边或拼接时，便于通过肉眼进行观察；
7.所述影像像素处理模块用于将像素不同的影像转换为像素大小相同的影像，并将处理后的影像像素以多维数组的形式传输至彩边去除模块和残缺影像拼接模块，影像像素处理模块用于对读取的影像的像素和几何位置进行调整，便于对残缺的影像进行精准拼接；
8.所述彩边去除模块用于分别对影像像素处理模块处理后的影像中各波段通道进行二值化处理，对二值化处理后的各波段通道进行相关操作找出彩边像素点，并得到中间掩膜矩阵，通过得到的中间掩膜矩阵与对应波段通道进行相关操作得到去除彩边后的影像，彩边去除模块用于对影像中存在的彩边位置进行识别，并将对应位置的彩边去除；
9.所述残缺影像拼接模块用于对影像像素处理模块处理后的影像通道进行二值化处理，得到多维中间掩膜矩阵，并对多维中间掩膜矩阵进行相关操作得到拼接矩阵，进而得到拼接后的结果影像，残缺影像拼接模块用于将残缺的影像拼接成完整影像；
10.所述波段恢复模块将彩边去除后或完成拼接后的影像按照映射关系将波段转换模块中转换的红蓝绿波段恢复至对应的红蓝绿以外的波段，波段恢复模块用于将转换为可见波段的不可见波段恢复至不可见波段，得到完整且符合实际的影像图像。
11.进一步的，所述波段转换模块用于将红蓝绿以外波段上的每个波段值根据映射关
系直接映射到红蓝绿波段上，且映射满足一一对应关系，映射关系满足一一对应有利于避免在映射过程中出现不同波段的映射值相同，导致转换后的影像无法恢复正常，造成处理后的影像仍不满足需求。
12.进一步的，所述影像像素处理模块包括影像原始数据读取单元、影像像素判断单元、影像处理单元和影像数据传输单元；
13.所述影像原始数据读取单元对波段转换模块处理后的残缺的光学卫星影像数据进行读取，并通过编程语言将读取的图像数据存储至数据库中，存储格式为多维数组，并将存储的多维数组传输至影像像素判断单元，影像原始数据读取单元用于将图像信息转换为数字信息，便于对影像进行相关处理；
14.所述影像像素判断单元对影像原始数据读取单元传输的多维数组进行接收，并根据多维数组中表示影像像素的值对读取的影像像素是否相同进行判断，若像素大小相同，则将对应影像的多维数组传输至影像数据传输单元，若像素大小不一致，则将影像传输至影像处理单元进行调整，影像像素判断单元用于对读取的影像的像素进行判断，便于后期对残缺影像进行拼接；
15.所述影像处理单元对影像像素判断单元传输的影像进行接收，并对接收的影像进行辐射校正、几何校正和重采样，将两张影像处理为像素大小一致、几何坐标信息一致的影像，并将处理后的影像传输至影像原始数据读取单元，影像处理单元用于将读取的影像调整为像素大小和几何位置一致的影像，便于后期对残缺影像进行精准拼接；
16.所述影像数据传输单元接收影像像素判断单元传输的对应影像表示的多维数组，并将接收的多维数组传输至彩边去除模块和残缺影像拼接模块，影像数据传输单元用于将以多维数组形式表示的影像传输至彩边去除模块和残缺影像拼接模块。
17.进一步的，所述影像处理单元对影像进行辐射校正、几何校正和重采样的具体方法为：
18.<1>观察读取的残缺的光学卫星影像中相应位置的亮度值和几何形状是否相同，根据观察结果对读取的影像进行相关调整；
19.<2>若读取的影像中相应位置的亮度值不同，则以清晰度较高的影像中的红外波段作为无散射影响的标准图像，在读取的其它影像的可见光波段图像上找出最黑的影像，然后在对应的无散射影响的标准图像上将同一地物目标找出，再将可见光与红外图像的灰度值数据取出进行比较分析，根据比较分析结果对读取的影像的亮度值进行调整，通过对可见波段图像的灰度值进行对比分析对影像的亮度值进行调整，使得在对影像进行去彩边和残缺拼接时避免像素问题对处理结果造成误差；
20.<3>若读取的影像中相应位置的几何形状不同，则在亮度处理后的影像上找出合适的控制点，基于控制点建立坐标，并在地图上找到相应的控制点建立坐标，建立两图像像元点之间的对应关系，根据对应关系对影像进行几何校正，将读取影像的几何形状参考地图进行调整，保证调整后的影像几何位置相同，减少了调整误差；
21.<4>在校正后的影像上选取多个点与地图上的对应点进行比较，若存在差值则再次进行校正，对校正后影像的校正结果进行检验，保证可以对校正处理后的影像直接进行操作；
22.<5>若无差值存在，则可直接通过双线性插值法对校正后的影像进行重采样。
23.进一步的，所述彩边去除模块包括多维数组拆分单元、处理单元和彩线去除单元；
24.所述多维数组拆分单元对影像数据传输单元传输的对应影像表示的多维数组按照波段进行拆分，并将拆分的二维矩阵传输至处理单元，多维数组拆分单元用于将多维数组按照红蓝绿三个波段通道进行拆分，单独对各通道进行处理有利于找出出现彩边的具体位置；
25.所述处理单元对多维数组拆分单元传输的二维矩阵进行接收，并对每个二维矩阵进行二值化处理及相关操作，并将处理后的各通道矩阵传输至彩线去除单元，处理单元用于通过二值化处理和相关操作找出彩边位置；
26.所述彩线去除单元对处理单元传输的处理后的各通道矩阵进行接收，并将各通道处理后的矩阵组合成与原始多维数组形式相同的数组，进而去除彩边，并将去除彩边后需要进行拼接的影像传输至残缺影像拼接模块，彩线去除单元用于将处理后的二维矩阵重新组合，合成彩色图像。
27.进一步的，所述处理单元对二维矩阵的具体处理方法为：
28.①
对每个二维矩阵中的像素值进行遍历，保证二维矩阵中的像素值都参与处理，避免出现遗漏的情况；
29.②
根据遍历结果结合数学公式将各通道的二维矩阵更改为像素值只为0和1的二维矩阵，可见光的影像是由红绿蓝3个通道叠加出来的，而产生彩边的原因是在3个通道对应的位置至少有一个通道的值为0造成的，将各通道的二维矩阵更改为像素值只为0和1的二维矩阵，便于对出现彩边的具体位置进行确定；
30.③
将
②
中各通道矩阵中对应位置的值相乘，若每个位置的值中有一个值为0，则乘积为0，相乘后的矩阵最后形成一个二维中间掩膜矩阵，中间掩膜矩阵用于将彩边位置进行屏蔽；
31.④
将
③
中的二维中间掩膜矩阵分别和刚拆分后未进行处理的各通道二维矩阵相乘，得到多个新的二维矩阵，新的二维矩阵用于合成彩色图像。
32.进一步的，所述残缺影像拼接模块包括残缺影像处理单元和残缺影像拼接单元；
33.所述残缺影像处理单元用于对影像像素处理模块或彩边去除模块处理后的一张影像进行二值化处理，得到多维中间掩膜矩阵，并将多维中间掩膜矩阵与另一张影像像素处理模块处理后的影像相乘得到拼接矩阵，将得到的拼接矩阵传输至残缺影像拼接单元，残缺影像处理单元用于对残缺的影像进行处理获得待拼接的影像；
34.所述残缺影像拼接单元对残缺影像处理单元传输的拼接矩阵进行接收，并将拼接矩阵与第一张影像相加得到拼接后的结果影像，残缺影像拼接单元用于将残缺的影像进行拼接。
35.所述残缺影像处理单元中对残缺影像处理的具体方法步骤为：
36.步骤一：选取影像像素处理模块处理后的两张影像，一张记为img_main,一张为img_sec，选取img_main作为主影像，同时也可以选取img_sec作为主影像；
37.步骤二：对img_main表示的多维数组进行二值化处理，得到多维中间掩膜矩阵，记为img_mask，在对img_main表示的多维数组进行二值化处理前无需拆分通道，不拆分通道是因为无需对出现残缺影像的具体通道进行确定，多维中间掩膜矩阵用于得到拼接矩阵；
38.步骤三：将img_mask与img_sec对应位置的像素值相乘得到拼接矩阵，记为img_tmp，拼接矩阵用于配合二值化处理后的多维数组完成拼接。
39.进一步的，所述步骤二中对img_main进行二值化处理的具体步骤为：
40.step1：对影像多维数组中每个位置的像素直接进行遍历；
41.step2：将像素值小于等于0的位置用1进行表示，其它像素位置用0进行表示，得到多维中间掩膜矩阵img_mask，其形状为(n,m,m),值为0或1，其中n表示通道数，m表示影像为m像素乘以m像素的影像。
42.进一步的，所述波段恢复模块将彩边去除后或完成拼接后的影像按照一一映射关系将波段转换模块中转换的红蓝绿波段再次转换为对应的红蓝绿以外的波段，保证处理后的影像符合实际情况。
43.与现有技术相比，本发明所达到的有益效果是：
44.1.本发明通过映射处理将不可见波段转换为可见光波段，基于矩阵二值化对影像的多个通道进行相关处理，有利于向他人展示影像去彩边或拼接的具体过程。
45.2.本发明在拆分的多个通道的相互作用下找出彩边像素点(波段值缺失点)的位置后才生成多维中间掩膜，避免出现彩边裁剪不完全的现象，以及对去除彩边后的影像对应位置的像素点进行检验。
46.3.本发明通过多个矩阵之间的相互作用，从其它影像中获取缺失部分的像素值，通过影像之间的像素值相加来实现拼接，避免人工进行拼接，节约时间。
附图说明
47.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
48.图1是本发明基于矩阵二值化的遥感影像去除彩线和残缺影像拼接方法的工作流程示意图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.请参阅图1，本发明提供技术方案：包括波段转换模块s1、影像像素处理模块s2、彩边去除模块s3、残缺影像拼接模块s4和波段恢复模块s5；
51.波段转换模块s1通过映射处理将红蓝绿以外波段上的每个波段值直接映射到红蓝绿波段上，且映射满足一一对应关系，并将转换后的影像传输至影像像素处理模块s2，直接映射有利于提高转换精度，波段转换模块s1用于将影像中的不可见波段转换为可见波段，使得在对影像去除彩边或拼接时，便于通过肉眼进行观察，其它波段与红蓝绿波段之间的转换关系是可变的，例如，可以将其它波段中20000的波段值映射为红蓝绿波段中100的波段值，或其它波段值，只需保证映射关系满足一一对应和函数单调性即可，同时映射后的波段可以通过颜色强度区分转换波段和原红蓝绿波段。
52.影像像素处理模块s2用于将像素不同的影像转换为像素大小相同的影像，并将处理后的影像像素以多维数组的形式传输至彩边去除模块s3和残缺影像拼接模块s4；影像像素处理模块s2包括影像原始数据读取单元s21、影像像素判断单元s22、影像处理单元s23和影像数据传输单元s24；影像原始数据读取单元s21对波段转换模块s1处理后的残缺的光学卫星影像数据进行读取，初始数据为残缺的tif格式影像，并通过python编程语言将读取的图像数据存储至io库中，光学卫星影像残缺数据产生的原因是由于卫星的运行机理本身产生的，这些残缺的影像一般位于该卫星成像范围的边角处，而彩边同样是因为卫星本身的处理逻辑产生的，其中光学卫星产生的是彩边，其他卫星产生的可能是黑边，存储格式为多维数组，多维数组的形式为(n，m，m)，其中n表示通道数，m表示影像为m像素乘以m像素的影像，并将存储的多维数组传输至影像像素判断单元s22；
53.影像像素判断单元s22对影像原始数据读取单元s21传输的多维数组进行接收，并根据多维数组中表示影像像素的值对读取的影像像素是否相同进行判断，若像素大小相同，则将对应影像的多维数组传输至影像数据传输单元s24，若像素大小不一致，则将影像传输至影像处理单元s23进行调整，并将调整后对应的影像多维数组传输至影像数据传输单元s24，影像像素判断单元s22用于对读取的影像的像素进行判断，便于后期对残缺影像进行拼接,影像处理单元s23对影像像素判断单元s22传输的影像进行接收，并对接收的影像进行辐射校正、几何校正和重采样，将两张影像处理为像素大小一致、几何坐标信息一致的影像，并将处理后的影像传输至影像原始数据读取单元s21,影像处理单元s23对影像进行辐射校正、几何校正和重采样的具体方法为：
54.<1>观察读取的残缺的光学卫星影像中相应位置的亮度值和几何形状是否相同，根据观察结果对读取的影像进行相关调整；
55.<2>若读取的影像中相应位置的亮度值不同，则以清晰度较高的影像中的红外波段作为无散射影响的标准图像，在读取的其它影像的可见光波段图像上找出最黑的影像，然后在对应的无散射影响的标准图像上将同一地物目标找出，再将可见光与红外图像的灰度值数据取出进行比较分析，根据比较分析结果对读取的影像的亮度值进行调整,通过对可见波段图像的灰度值进行对比分析对影像的亮度值进行调整，使得在对影像进行去彩边和残缺拼接时避免像素问题对处理结果造成误差；
56.<3>若读取的影像中相应位置的几何形状不同，则在亮度处理后的影像上找出合适的控制点，基于控制点建立坐标，并在地图上找到相应的控制点建立坐标，建立两图像像元点之间的对应关系，根据对应关系对影像进行几何校正,将读取影像的几何形状参考地图进行调整，保证调整后的影像几何位置相同，减少了调整误差；
57.<4>在校正后的影像上选取多个点与地图上的对应点进行比较，若存在差值则再次进行校正,对校正后影像的校正结果进行检验，保证可以对校正处理后的影像直接进行操作；
58.<5>若无差值存在，则可直接通过双线性插值法对校正后的影像进行重采样。
59.影像数据传输单元s24接收影像像素判断单元s22传输的对应影像表示的多维数组，并将接收的多维数组传输至彩边去除模块s3和残缺影像拼接模块s4。
60.彩边去除模块s3用于分别对影像像素处理模块s2处理后的影像中各波段通道进行二值化处理，对二值化处理后的各波段通道进行相关操作找出彩边像素点，并得到中间
掩膜矩阵，通过得到的中间掩膜矩阵与对应波段通道进行相关操作得到去除彩边后的影像，彩边去除模块s3用于对影像中存在的彩边位置进行识别，并将对应位置的彩边去除；彩边去除模块s3包括多维数组拆分单元s31、处理单元s32和彩线去除单元s33；多维数组拆分单元s31对影像数据传输单元s24传输的对应影像表示的多维数组按照波段进行拆分，并将拆分的二维矩阵传输至处理单元s32，例如对多维数组(3，7500，7500)按照红蓝绿3个通道进行拆分，拆分后的二维矩阵为7500*7500，每个通道的矩阵维数相同，二维矩阵中的值即为每个通道的像素值；处理单元s32对多维数组拆分单元s31传输的二维矩阵进行接收，并对每个二维矩阵进行二值化处理及相关操作，并将处理后的各通道矩阵传输至彩线去除单元s33；处理单元s32对二维矩阵的具体处理方法为：
61.①
对每个二维矩阵中的像素值进行遍历，保证二维矩阵中的像素值都参与处理，避免出现遗漏的情况；
62.②
根据遍历结果结合数学公式将各通道的二维矩阵更改为像素值只为0和1的二维矩阵，在遍历过程中若二维矩阵中每个像素值小于等于0，则将相应位置的像素值置0，否则将像素值置为1，得到3个值只为0和1的二维矩阵且都为7500*7500；
63.③
将
②
中各通道矩阵中对应位置的值相乘，若每个位置的值中有一个值为0，则乘积为0，相乘后的矩阵最后形成一个二维中间掩膜矩阵，可见光的影像是由红绿蓝3个通道叠加出来的，而产生彩边的原因是在3个通道对应的位置有至少一个通道的值为0造成的，例如矩阵(0,0)位置只有红通道有值，其他两个通道为0，导致(0,0)位置出现彩边，而(0，0)位置就是我们需要要找的出问题的位置，二维中间掩膜矩阵的大小为(7500,7500)，二维中间掩膜矩阵中为0的位置表示彩边位置；
64.④
将
③
中的二维中间掩膜矩阵分别和刚拆分后未进行处理的各通道二维矩阵相乘，得到多个新的二维矩阵，将二维中间掩膜矩阵分别和刚拆分后未进行处理的各通道二维矩阵相乘，用于提取各通道中无彩边的图像；
65.彩线去除单元s33对处理单元s32传输的处理后的各通道矩阵进行接收，并将各通道处理后的矩阵组合成与原始多维数组形式相同的数组，即成为(3,7500,7500)的形式，进而去除彩边，将各通道处理后的矩阵重新组合，是因为可见光(彩色)影像是红绿蓝3个通道合起来才呈现彩色影像，而去彩边的操作是将3个通道拆分后在各自通道上进行的操作，等到每个通道都处理完成后需要合并成彩色图像才能使用，而重新组合的目的只是为了合成彩色图像。
66.残缺影像拼接模块s4用于对影像像素处理模块s2处理后的影像通道进行二值化处理，得到多维中间掩膜矩阵，并对多维中间掩膜矩阵进行相关操作得到拼接矩阵，进而得到拼接后的结果影像；残缺影像拼接模块s4包括残缺影像处理单元s41和残缺影像拼接单元s42，残缺影像拼接模块s4用于将残缺的影像拼接成完整影像；残缺影像处理单元s41用于对影像像素处理模块s2处理后的一张影像进行二值化处理，得到多维中间掩膜矩阵，并将多维中间掩膜矩阵与另一张影像像素处理模块s2处理后的影像相乘得到拼接矩阵，将得到的拼接矩阵传输至残缺影像拼接单元s42，残缺影像处理单元s41中对残缺影像处理的具体方法步骤为：
67.步骤一：选取影像像素处理模块s2处理后的两张影像，一张记为img_main,一张为
img_sec，选取img_main作为主影像，同时也可以选取img_sec作为主影像，例如选取形式均为(3,7500,7500)的img_main和img_sec；
68.步骤二：对img_main表示的多维数组进行二值化处理，得到多维中间掩膜矩阵，记为img_mask，其形状为(3,7500,7500)，值为0或1，在对img_main表示的多维数组进行二值化处理前无需拆分通道，不拆分通道是因为无需对出现残缺影像的具体通道进行确定，直接遍历多维数组中的每个位置像素值，将像素值小于等于0的位置置1，其它像素位置置0；
69.步骤三：将img_mask与img_sec对应位置的像素值相乘得到拼接矩阵，记为img_tmp，步骤三用于从img_sec中取得img_main缺失的部分像素值，将img_mask与img_sec对应位置的像素值相乘是目的是将img_main缺失的位置用img_sec的像素来填补。
70.残缺影像拼接单元s42对残缺影像处理单元s41传输的拼接矩阵进行接收，并将拼接矩阵与第一张影像相加得到拼接后的结果影像。
71.波段恢复模块s5将彩边去除后和完成拼接后的影像按照映射关系将波段转换模块s1中转换的红蓝绿波段再次转换为对应的红蓝绿以外的波段，保证处理后的影像符合实际情况。
72.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
73.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。