一种基于卷积神经网络的影像除云补空及色彩校正的系统的制作方法

1.本发明属于地理信息遥感影像数据生产加工技术领域，尤其涉及一种基于卷积神经网络的影像除云补空及色彩校正的系统。


背景技术：

2.随着遥感技术的发展，遥感影像空间分辨率、时间分辨率、光谱分辨率和辐射分辨率越来越高，影像数据类型越来越丰富,数据量也越来越大，其大容量、多类型、高价值等特征，已使遥感影像数据成为重要的战略资源之一。而在大数据、云计算等新一代信息技术的推动下，遥感影像数据的应用更加广泛和深入，特别是在大范围地表状态全天候、全天时的动态监测，以及在国土、规划、农业、林业、环境、应急减灾等方面应用也能发挥重要作用。中国地域辽阔，地形、地貌、气候差异巨大，尤其是贵州、云南、四川、新疆、西藏等地地形复杂、气候多变，造成遥感影像数据容易出现云雾遮盖的情况。目前使用的遥感影像去除云雾遮盖的方法主要是通过arcgis导出tif格式影像数据，再导入photoshop进行去云补空处理。该种方式缺陷明显，详情如下：
3.1、需photoshop安装第三方插件，这种方式导致软件运行不稳定，容易出现软件崩溃，丢失业务文件。同时，该软件功能复杂，对生产人员的软件操作熟练度及色彩认知程度要求较高。
4.2、遥感影像数据体量较大，一张常规影像可高达200gb以上，在进行去云补空的过程中，对硬件本身要求极高。
5.3、整个生产过程均是人工操作，成本较高。
6.综上所述，遥感影像去云补空生产亟需寻找技术突破点，提升生产力与节约相应成本。


技术实现要素：

7.本发明解决的技术问题是：克服现有技术的不足，提供了一种基于卷积神经网络的影像除云补空及色彩校正的系统，该系统利用机器学习和图像融合等先进技术，对遥感影像数据云雾遮盖部分进行一键式快速去除和补空，还提供人性化的色彩校正模块，对色彩不敏感的生产者亦可快速开展颜色校正业务。同时，该系统与方法还具备轻量化这一特点，对硬件设备的要求远低于常规生产方式对硬件设备的要求。
8.本发明目的通过以下技术方案予以实现：一种基于卷积神经网络的影像除云补空及色彩校正的系统，包括：多时相替补影像库模块、遥感影像云层提取裁剪模块、多时相替补影像空间信息坐标匹配模块、影像叠加融合模块和色彩校正模块；其中，所述多时相替补影像库模块用于向多时相替补影像空间信息坐标匹配模块、影像叠加融合模块提供带有空间坐标信息的不同时相替补影像；所述遥感影像云层提取裁剪模块基于卷积神经网络与云层色彩边界，对导入的原始影像数据云层自动分析识别、空间坐标信息提取、云层遮盖范围提取和云层裁剪去除后得到裁剪后影像成果，并将裁剪后影像成果输出给所述多时相替补
影像空间信息坐标匹配模块；所述多时相替补影像空间信息坐标匹配模块将裁剪后影像成果与带有空间坐标信息的不同时相替补影像进行匹配，得到坐标匹配的影像成果，将坐标匹配的影像成果输出给影像叠加融合模块；所述影像叠加融合模块将坐标匹配的影像成果与带有空间坐标信息的不同时相替补影像进行叠加融合，得到去除云层并补全影像信息的影像成果。
9.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，还包括：色彩校正模块；其中，如果去除云层并补全影像信息的影像成果与带有空间坐标信息的不同时相替补影像进行色差大于预设色差值，所述影像叠加融合模块将去除云层并补全影像信息的影像成果输出给所述色彩校正模块，所述色彩校正模块对去除云层并补全影像信息的影像成果进行色彩校正后将色彩校正后的影像成果输出给所述影像叠加融合模块。
10.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，所述多时相替补影像库模块包括替补影像导入单元、替补影像目录单元、替补影像标注单元、坐标系转换单元和替补影像选择单元；其中，所述替补影像导入单元用于向所述替补影像目录单元提供不同时相不同坐标系的替补影像；所述替补影像目录单元对不同时相不同坐标系的替补影像按照行政区划、时相的目录结构进行选择得到带有空间坐标信息的不同时相替补影像，将带有空间坐标信息的不同时相替补影像传输给所述替补影像标注单元；所述替补影像标注单元将带有空间坐标信息的不同时相替补影像添加批注后发送给替补影像选择单元；所述替补影像选择单元将添加批注后的带有空间坐标信息的不同时相替补影像发送给多时相替补影像空间信息坐标匹配模块、影像叠加融合模块；所述坐标系转换单元为遥感影像云层提取裁剪模块提供多坐标模式转换，将原始影像空间坐标转换成通用坐标。
11.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，所述遥感影像云层提取裁剪模块包括云层分析识别单元、云层遮盖范围提取单元、空间坐标信息提取单元和云层遮盖范围裁剪祛除单元；其中，所述云层分析识别单元基于卷积神经网络算法对原始影像云层遮盖区进行云层范围分析得到特征点后输出至所述云层遮盖范围提取单元；所述云层遮盖范围提取单元基于特征点，对原始影像数据云层进行提取得到云层遮盖范围信息，将云层遮盖范围信息输出至云层遮盖范围裁剪祛除单元；所述空间坐标信息提取单元对原始影像数据云层的坐标提取，提取的空间坐标信息输出至所述云层遮盖范围裁剪祛除单元；所述云层遮盖范围裁剪祛除单元根据空间坐标信息和云层遮盖范围信息，对原始影像数据云层进行裁剪得到裁剪后影像成果，将裁剪后影像成果输出给所述多时相替补影像空间信息坐标匹配模块。
12.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，所述多时相替补影像空间信息坐标匹配模块包括初步定位单元和坐标匹配单元；其中，所述初步定位单元对裁剪后影像成果与带有空间坐标信息的不同时相替补影像的相同特征点进行位置初步定位并输出至坐标匹配单元；所述坐标匹配单元根据位置初步定位的相同特征点对裁剪后影像成果与带有空间坐标信息的不同时相替补影像进行匹配，得到坐标匹配的影像成果，将坐标匹配的影像成果输出给影像叠加融合模块。
13.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，所述多时相替补影像空间信息坐标匹配模块还包括坐标修正单元；其中，所述坐标修正单元用于裁剪后影像成果与带有空间坐标信息的不同时相替补影像坐标出现偏差时，提供坐标修正功能，修正
后的坐标信息输出至影像叠加融合模块。
14.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，所述影像叠加融合模块包括替补影像裁剪单元、影像叠加单元和成果输出单元；其中，所述替补影像裁剪单元根据需要截取的影像对带有空间坐标信息的不同时相替补影像进行裁剪得到裁剪后的替补影像，将裁剪后的替补影像输出至所述影像叠加单元；所述影像叠加单元将坐标匹配的影像成果与裁剪后的替补影像叠加融合，得到去除云层并补全影像信息的影像成果，并将去除云层并补全影像信息的影像成果输出至所述成果输出单元。
15.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，所述成果输出单元对去除云层并补全影像信息的影像成果与带有空间坐标信息的不同时相替补影像进行色差，如果色差大于预设色差值，所述成果输出单元将去除云层并补全影像信息的影像成果输出给所述色彩校正模块。
16.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，所述色彩校正模块包括校正范围颜色拾取单元和手动校正单元；其中，所述校正范围颜色拾取单元选取出去除云层并补全影像信息的影像成果中出现色差的部分，将拾取后的颜色信息输出至所述手动校正单元；所述手动校正单元根据拾取后的颜色信息对出现色差的部分进行校正，将色彩校正后的影像成果输出给所述影像叠加融合模块。
17.上述基于卷积神经网络的影像除云补空及色彩校正的系统中，所述色彩校正模块包括自动校正单元；其中，所述自动校正单元选取出去除云层并补全影像信息的影像成果中出现色差的部分，根据拾取后的颜色信息对出现色差的部分进行校正，将色彩校正后的影像成果输出给所述影像叠加融合模块。
18.本发明与现有技术相比具有如下有益效果：
19.(1)本发明通过把遥感影像云层提取裁剪模块放入云资源节点，对云层分析识别、云层遮盖范围提取、坐标信息提取、云层遮盖范围裁剪在云资源上进行分布式计算分析的特征，该特征具备分析计算速率快、资源利用率高、分析计算稳定性强等特点，有效了节约了时间成本。
20.(2)本发明通过遥感影像云层提取裁剪模块、多时相替补影像空间信息坐标匹配模块、影像叠加融合模块、色彩校正模块的结合，利用机器学习及图像融合技术与svm颜色校正等技术使遥感影像去云补空业务脱离对各种大型软件的依赖(例如arcgis、photoshop等)，极大的降低了生产人员对软件掌握程度高的要求，在人员投入方面无需大量中高级工程师参与节省项目成本，与此同时，本发明具有较高的稳定性，能有效提升业务生产效率。
21.(3)本发明多时相替补影像空间信息坐标匹配模块、色彩校正模块中空间坐标匹配(参考arcgis)、色彩校正(参考photoshop)功能均符合行业习惯，相对聚焦，且执行效果和其他各种大型专业软件相同，剔除非必要功能，使得本发明具有轻量化、快速化等特点，有效的节约时间成本以及硬件成本。
22.(4)本发明色彩校正模块通过svm颜色校正技术，对不同时相的遥感(不同季节、天气的遥感影像存在明显颜色差异)进行颜色校正，具备颜色快速适配范围的特征，自动匹配的成果仍存在色差，操作人员只需在较小范围内进行微调，无需具备高度色彩感知能力，有效的保证了成果数据的一致性。
附图说明
23.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
24.图1是本发明实施例提供的基于卷积神经网络的影像除云补空及色彩校正的系统的结构框图。
具体实施方式
25.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
26.图1是本发明实施例提供的基于卷积神经网络的影像除云补空及色彩校正的系统的结构框图。如图1所示，该系统包括：多时相替补影像库模块、遥感影像云层提取裁剪模块、多时相替补影像空间信息坐标匹配模块、影像叠加融合模块、色彩校正模块。
27.其中，多时相替补影像库模块主要是向多时相替补影像空间信息坐标匹配模块与影像叠加融合模块与色彩校正模块提供带有空间坐标信息的不同时相替补影像数据，可根据需求选取替补影像进行裁剪、匹配、叠加融合等操作；遥感影像云层提取裁剪模块主要是基于卷积神经网络与云层色彩边界，对导入的原始影像数据云层自动分析识别、空间坐标信息提取、云层遮盖范围提取、云层裁剪去除等操作；多时相替补影像空间信息坐标匹配模块主要是对遥感影像云层提取裁剪模块生成的成果影像进行空间坐标信息匹配；影像叠加融合模块与色彩校正模块主要针对多时相替补影像空间信息坐标匹配输出的带空间坐标信息的成果与多时相替补影库替补影像进行叠加融合、颜色校正等操作，输出最终成果。
28.进一步的，多时相替补影像库模块包括替补影像导入单元、替补影像目录单元、替补影像标注单元、坐标系转换单元、替补影像选择单元，主要向多时相替补影像空间信息坐标匹配模块与影像叠加融合模块与色彩校正模块提供带有空间坐标信息的不同时相替补影像数据进行匹配与融合。
29.其中，替补影像导入单元主要是提供不同时相不同坐标系的替补影像导入，可导入不同坐标系替补影像；
30.替补影像目录单元主要为影像叠加融合模块与色彩校正模块提供按照行政区划、时相等目录结构对替补影像进行选择。
31.替补影像标注单元，为方便替补影像使用，每一幅替补影像添加唯一标注；
32.坐标系转换单元，主要为遥感影像云层提取裁剪模块提供多坐标模式转换，将原始影像空间坐标转换成通用坐标的功能；
33.替补影像选择单元，主要为影像叠加融合模块提供用于叠加融合的替补影像选择，支持影像浏览、模糊查询、一键智能匹配等功能。
34.进一步的，遥感影像云层提取裁剪模块包括云层分析识别单元、云层遮盖范围提取单元、空间坐标信息提取单元、云层遮盖范围裁剪祛除单元。其中，
35.云层分析识别单元，基于卷积神经网络算法对原始影像云层遮盖区进行计算分析(该分析主要在云资源分布式节点进行)，分析云层范围得到特征点后输出至云层遮盖范围提取单元；
36.云层遮盖范围提取单元，主要基于云层分析识别单元获取到的云层遮盖范围特征点信息，对原始影像云层进行提取，形成可修改范围的矢量框后输出至云层遮盖范围裁剪祛除单元进行云层祛除；
37.坐标信息提取单元主要用于原始影像的坐标提取，提取的坐标信息输出至云层遮盖范围裁剪单元；
38.云层遮盖范围裁剪单元，主要用于原始影像被遮盖范围的裁剪，基于云层遮盖范围提取单元云层范围信息，对云层进行裁剪，并输出裁剪后影像成果输出至多时相替补影像空间信息坐标匹配模块。
39.进一步的，多时相替补影像空间信息坐标匹配模块包括初步定位单元、坐标匹配单元、坐标修正单元；其中，
40.初步定位单元，主要基于遥感影像云层提取裁剪模块中获取的原始影像特征点信息，对相同特征点进行位置初步定位并输出至坐标匹配单元；
41.坐标匹配单元，主要基于gdal(geospatial data abstraction library)开源库中gdalwarp工具，把遥感影像云层提取裁剪模块中获取的原始影像坐标与替补影像坐标进行匹配，精准定位替补影像空间位置并输出至影像叠加融合模块；
42.坐标修正单元，主要用于原始影像与替补影像坐标出现偏差时，提供坐标修正功能，修正后的坐标信息输出至影像叠加融合模块。
43.进一步的，影像叠加融合模块包括替补影像裁剪单元、影像叠加单元、成果输出单元。其中，
44.替补影像裁剪单元，主要作用是替补影像裁剪，因业务所用的遥感影像数据文件均为tif格式，所需内存空间较大，提供自由画线工具，截取替补所需重要部分影像，有效的降低成果文件大小，更加利于成果输出，裁剪后的输出至影像叠加单元；
45.影像叠加单元，基于多时相替补影像空间信息坐标匹配模块输出的坐标匹配信息，将祛云后的原始影像与替补影像的叠加融合，得到去除云层并补全影像信息的成果文件输出至成果输出单元；
46.成果输出单元，主要提供叠加融合后的成果导出，如原始影像与替补影像色差较大，可输出至色彩校正模块进行色彩校正后再返回本单元进行成果输出。
47.进一步的，色彩校正模块包括校正范围颜色拾取单元、自动校正单元、手动校正单元；
48.其中，校正范围颜色拾取单元，主要作用是提供颜色范围选择工具，可使用该工具在原始影像上圈出颜色校正基准色彩范围，单元依据该范围进行计算，校正出现色差的部分，拾取后的颜色信息输出至手动校正单元；
49.自动校正单元，主要是基于opencv开源库中svm色彩技术，提供一键化自动拾取原始影像色彩特征，根据拾取特征对色差部分进行校正，无需人工干预，完成后输出至影像叠加融合模块中成果输出单元输出成果；
50.手动校正单元，主要作用是在影像颜色校正部分较为复杂，颜色跨度较大时使用，
提供色相、饱和度、亮度或rgb等阈值选择，完成后输出至影像叠加融合模块中成果输出单元输出成果。
51.一、多时相替补影像库模块
52.时相替补影像库包括替补影像导入、替补影像标注、坐标系转换、替补影像选择等单元。
53.(1)替补影像导入单元
54.主要是提供不同时相不同坐标系的替补影像导入，可导入不同坐标系替补影像；
55.(2)替补影像标注单元
56.为方便替补影像使用，每一幅替补影像添加唯一标注；
57.(3)坐标系转换单元
58.主要提供80与2000坐标系的转换，根据原始影像坐标系而定；
59.(4)替补影像选择单元
60.主要提供用于叠加融合的替补影像选择，支持影像浏览、模糊查询、一键智能匹配等功能。
61.二、遥感影像云层提取裁剪模块
62.遥感影像云层提取模块包括云层分析识别、空间坐标信息提取、云层遮盖范围提取(支持提取范围修改)、云层遮盖范围裁剪(支持裁剪范围修改)去除等单元。
63.(1)云层分析识别单元
64.该单元基于卷积神经网络算法与色彩边界对原始影像被云遮盖区分析(云资源分布式节点)，完成分析之后进行标注。
65.(2)空间坐标信息提取单元
66.主要用于原始影像的坐标提取，方便业务执行至影像叠加融合步骤时与替补影像相匹配以保证空间精度。
67.(3)云层遮盖范围提取单元
68.主要用于原始影像被遮盖范围提取，形成可修改范围的矢量框，可根据需求进行调整范围大小。
69.(4)云层遮盖范围裁剪去除单元
70.主要用于原始影像被遮盖范围的裁剪，根据遮盖范围的大小进行裁剪并输出裁剪后影像成果发送至影像叠加融合模块。
71.三、多时相替补影像空间信息坐标匹配模块
72.多时相替补影像空间信息坐标匹配模块包括初步定位、坐标匹配、坐标修正等单元。
73.(1)初步定位单元
74.主要基于卷积神经网络算法对原始影像及替补影像特征点选取，对相同特征点进行位置初步定位。
75.(2)坐标匹配单元
76.主要基于arcgis10.2版本开源api，把原始影像坐标与替补影像坐标进行匹配，精准定位替补影像空间位置。
77.(3)标修正等单元
78.主要用于原始影像与替补影像坐标出现偏差时，提供坐标修正功能。
79.四、影像叠加融合模块
80.影像叠加融合模块包括替补影像裁剪、影像叠加、成果输出等单元。
81.(1)替补影像裁剪单元
82.要作用是替补影像裁剪，因业务所用的遥感影像数据文件均为tif格式，所需内存空间较大，提供自由画线工具，截取替补所需重要部分影像，有效的降低成果文件大小，更加利于成果输出。
83.(2)影像叠加单元
84.主要提供原始影像与替补影像的叠加融合，得到去除云层并补全影像信息的成果文件。
85.(3)成果输出单元
86.主要提供叠加融合后的成果导出，如原始影像与替补影像色差较大，可发送至色彩校正模块进行色彩校正。
87.五、色彩校正模块
88.色彩校正模块包括校正范围颜色拾取、自动校正、手动校正等。
89.(1)校正范围颜色拾取单元
90.主要作用是提供颜色范围选择工具，可使用该工具在原始影像上圈出颜色校正基准色彩范围，模块依据该范围进行计算，校正出现色差的部分。
91.(2)自动校正单元
92.主要作用是提供一键化自动拾取原始影像色彩特征，根据拾取特征对色差部分进行校正，无需人工干预。
93.(3)手动校正单元
94.主要作用是在影像颜色校正部分较为复杂，颜色跨度较大时使用，提供色相、饱和度、亮度或rgb等阈值选择。
95.本实施例还提供一种基于卷积神经网络的影像除云补空及色彩校正的方法，包括以下步骤：
96.1、建立多时相替补影像库，将包含空间信息的多时相替补影像进行入库，并对不同影像数据进行标注，影像数据均为tif格式。
97.2、业务人员获取原始影像后，根据影像信息，在多时相替补影像库进行替补影像筛选，选取最终替补影像。
98.3、导入需要进行除云的原始影像，在遥感影像云层提取模块进行原始影像云层分析、提取、裁剪。
99.4、进行替补影像初步定位、坐标匹配、坐标修正，把替补影像与原始影像两者之间的空间坐标进行匹配。同时，业务人员按照原始影像云层大小，对在系统对替补影像进行按需裁剪。
100.5、判读原始影像与替补影像之间的颜色差异，如颜色差异较大，勾选颜色校正选项，对替补影像进行人工或者自动化校正，如无颜色差异，可开始启动原始影像与替补影像业务，业务完成之后可进行成果导出。
101.本发明通过把遥感影像云层提取裁剪模块放入云资源节点，对云层分析识别、云
层遮盖范围提取、坐标信息提取、云层遮盖范围裁剪在云资源上进行分布式计算分析的特征，该特征具备分析计算速率快、资源利用率高、分析计算稳定性强等特点，有效了节约了时间成本；本发明通过遥感影像云层提取裁剪模块、多时相替补影像空间信息坐标匹配模块、影像叠加融合模块、色彩校正模块的结合，利用机器学习及图像融合技术与svm颜色校正等技术使遥感影像去云补空业务脱离对各种大型软件的依赖(例如arcgis、photoshop等)，极大的降低了生产人员对软件掌握程度高的要求，在人员投入方面无需大量中高级工程师参与节省项目成本，与此同时，本发明具有较高的稳定性，能有效提升业务生产效率；本发明多时相替补影像空间信息坐标匹配模块、色彩校正模块中空间坐标匹配(参考arcgis)、色彩校正(参考photoshop)功能均符合行业习惯，相对聚焦，且执行效果和其他各种大型专业软件相同，剔除非必要功能，使得本发明具有轻量化、快速化等特点，有效的节约时间成本以及硬件成本；本发明色彩校正模块通过svm颜色校正技术，对不同时相的遥感(不同季节、天气的遥感影像存在明显颜色差异)进行颜色校正，具备颜色快速适配范围的特征，自动匹配的成果仍存在色差，操作人员只需在较小范围内进行微调，无需具备高度色彩感知能力，有效的保证了成果数据的一致性。
102.本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。