正射影像生成方法、装置、电子设备及可读存储介质与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种正射影像生成方法、装置、电子设备及可读存储介质。


背景技术：

2.在航拍建图领域，会使用基于航拍影像的正射影像生成算法，根据特定区域的航拍图像及数字表面模型(digital surface model，dsm)等，生成该特定区域的正射图像。然而，当前的正射影像算法一般都需要大量的硬件资源，在可用的硬件资源相对有限的情况下，正射图像的生成将受到影响，比如，运行该算法的速度比较慢。因此，如何减少算法所需的硬件资源已成为本领域技术人员亟需解决的技术问题。


技术实现要素：

3.本技术实施例提供了一种正射影像生成方法、装置、电子设备及可读存储介质，其能够在硬件资源有限的情况，利用目标场景的原始影像快速生成目标场景的目标正射影像。
4.本技术实施例可以这样实现：
5.第一方面，本技术实施例提供一种正射影像生成方法，所述方法包括：
6.获得目标场景的原始影像集合及数字表面模型dsm；
7.通过对所述原始影像集合中的每张原始影像进行投影，获得每张原始影像在所述dsm上所对应的目标投影多边形；
8.针对各原始影像，根据该原始影像、该原始影像对应的目标投影多边形及dsm，生成该原始影像的第一影像集合，其中，所述第一影像集合中包括该原始影像所对应的第一初始正射图像，所述第一初始正射图像中的颜色值由所述dsm的位于所述目标投影多边形内的栅格点的空间位置及原始影像计算得到；
9.根据各第一影像集合中的第一初始正射图像，生成所述目标场景的目标正射影像。
10.第二方面，本技术实施例提供一种正射影像生成装置，所述装置包括：
11.获取模块，用于获得目标场景的原始影像集合及数字表面模型dsm；
12.投影模块，用于通过对所述原始影像集合中的每张原始影像进行投影，获得每张原始影像在所述dsm上所对应的目标投影多边形；
13.处理模块，用于针对各原始影像，根据该原始影像、该原始影像对应的目标投影多边形及dsm，生成该原始影像的第一影像集合，其中，所述第一影像集合中包括该原始影像所对应的第一初始正射图像，所述第一初始正射图像中的颜色值由所述dsm的位于所述目标投影多边形内的栅格点的空间位置及原始影像计算得到；
14.所述处理模块，还用于根据各第一影像集合中的第一初始正射图像，生成所述目标场景的目标正射影像。
15.第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式所述的正射影像生成方法。
16.第四方面，本发明提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式所述的正射影像生成方法。
17.本技术实施例提供的正射影像生成方法、装置、电子设备及可读存储介质，在获得目标场景的原始影像集合及dsm的情况下，通过对该原始影像集合中的每张原始影像进行投影，得到每张原始影像在dsm上所对应的目标投影多边形；进而针对各原始影像，根据该根据该原始影像、该原始影像对应的目标投影多边形及dsm，生成该原始影像的第一影像集合，其中，第一影像集合中包括该原始影像所对应的第一初始正射图像，该第一初始正射图像中的颜色值由dsm的位于所述目标投影多边形内的栅格点的空间位置及原始影像计算得到；最后可根据各第一影像集合中的第一初始正射图像，生成目标场景的目标正射影像。如此，通过对原始影像进行预投影，可确定出dsm上与该原始影像对应的目标投影多边形，然后在以目标投影多边形为约束的情况下生成第一初始正射图像，而不是基于整个dsm生成第一初始正射图像，该方式可减少生成第一初始正射图像时所需的硬件资源，并减少基于第一初始正射图像生成目标正射影像时所需的硬件资源。由此，在可用硬件资源(比如，内存资源及算力)有限的情况下，可利用目标场景的原始影像快速生成目标场景的目标正射影像。
附图说明
18.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
19.图1为本技术实施例提供的电子设备的方框示意图；
20.图2为本技术实施例提供的正射影像生成方法的流程示意图；
21.图3为生成一张原始影像的dom所需访问的栅格点示意图；
22.图4为本技术实施例提供的目标正射影像的示意图；
23.图5为图2中步骤s120包括的子步骤的流程示意图；
24.图6为本技术实施例提供的高程平面示意图；
25.图7为本技术实施例提供的投影多边形示意图；
26.图8为图5中子步骤s122包括的子步骤的流程示意图；
27.图9为图2中步骤s130包括的子步骤的流程示意图；
28.图10为图2中步骤s140包括的子步骤的流程示意图；
29.图11为本技术实施例提供的正射影像生成装置的方框示意图。
30.图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-正射影像生成装置；210-获取模块；220-投影模块；230-处理模块。
具体实施方式
31.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
32.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
34.当前的正射影像算法大都应用于具有较多硬件资源的设备，比如，pc(personal computer，个人计算机)上。当将该算法应用到可用的硬件资源相对有限的设备(比如，嵌入式设备)上时，算法则不能正常生成正射影像，使得特定区域的正射影像的生成受到影响，比如，算法不能运行，或者算法的运行速度非常慢导致需要很长时间才能得到正射图像。
35.为了缓解以上情况，本技术实施例提供了一种正射影像生成方法、装置、电子设备及可读存储介质，使得在可用硬件资源(比如，内存资源及算力)有限的情况下，可利用目标场景的原始影像快速生成目标场景的目标正射影像。
36.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
37.请参照图1，图1为本技术实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，可用硬件资源较多的电脑、服务器等，或者可用硬件资源相对有限的嵌入式设备等。所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
38.其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
39.处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有正射影像生成装置200，所述正射影像生成装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本技术实施例中的正射影像生成装置200，从而执行各种功能应用以及数据处理，即实现本技术实施例中的正射影像生成方法。
40.通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
41.应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
42.请参照图2，图2为本技术实施例提供的正射影像生成方法的流程示意图。所述方法可应用于上述电子设备100。下面对正射影像生成方法的具体流程进行详细阐述。该方法可以包括步骤s110～步骤s140。
43.步骤s110，获得目标场景的原始影像集合及dsm。
44.在本实施例中，所述原始影像集合中可以包括至少一张原始影像，该原始影像可以是拍摄设备在空中对地面进行拍摄得到的影像，比如，通过对目标场景进行无人机航拍得到的影像。所述原始影像集合中的原始影像数量具体可以根据实际需求确定，在此不进行具体限定。所述电子设备100可通过拍摄或接收其他设备发送的文件等方式获得所述目标场景的原始影像集合。
45.所述电子设备100还可以获得所述目标场景的dsm(数字表面模型(digital surface model，数字表面模型)。dsm是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。所述dsm中栅格点的像素值为该栅格点的高程值。可选地，所述电子设备100可以根据所述原始影像集合，生成所述目标场景的dsm。所述电子设备100也可以从其他设备处获得所述dsm，还可以通过其他方式获得所述dsm，在此不进行具体限定。
46.步骤s120，通过对所述原始影像集合中的每张原始影像进行投影，获得每张原始影像在所述dsm上所对应的目标投影多边形。
47.在本实施例中，可针对所述原始影像集合中的每张原始影像，对该原始影像进行投影，以得到该原始影像在所述dsm上所对应的目标投影多边形。也即，通过对一张原始影像进行投影处理，从而得到该原始影像所对应的目标投影多边形、且该目标投影多边形位于所述dsm上。
48.步骤s130，针对各原始影像，根据该原始影像、该原始影像对应的目标投影多边形及dsm，生成该原始影像的第一影像集合。
49.在获得一张原始影像的目标投影多边形的情况下，可根据该目标投影多边形及所述dsm，得到该目标投影多边形中各栅格点在所述dsm中的二维坐标及高程值，也即，获得该目标投影多边形中各栅格点的空间位置。接着，可根据该目标投影多边形中各栅格点的空间位置及该原始影像，生成该原始影像的第一影像集合。
50.其中，所述第一影像集合中包括该原始影像的第一初始正射图像。该第一初始正射图像中的颜色值由所述dsm的位于所述目标投影多边形内的栅格点的空间位置及原始影像计算得到，也即由该目标投影多边形中各栅格点的空间位置及该原始影像计算得到。
51.一张原始影像的第一初始正射图像，是在以所述目标投影多边形为约束条件的情况下生成的；也即是根据所述dsm中位于所述目标投影多边形中的栅格点的空间位置生成的。在根据多张原始影像生成正射影像的情况下，一张原始影像对应的目标投影多边形只是dsm的一部分，并不与dsm的尺寸相同。也就是说，在本实施例中，一张原始影像的第一初始正射图像，并不是根据所述dsm中的所有栅格点的空间位置生成，而是根据所述dsm中的
一部分栅格点的空间位置生成，由此，可减少生成第一初始正射图像时所需要的硬件资源。
52.由此可知，在本实施例中，第一初始正射图像占用的内存大小和计算时间取决于目标投影多边形的尺寸大小，而不是取决于dsm的尺寸大小，因而可减少内存占用，并缩短计算时间。
53.例如，如图3所示，假设所述dsm的尺寸为m*n，一个目标投影多边形的尺寸为m
′
*n
′
。假设访问一个栅格点并进行运算的时间为δt，在根据所述dsm的所有栅格点生成一第一初始正射图像时，算法的运行速度为：m*n*δt；而在采用本技术实施例提供的上述方式时，运行速度为：m
′
*n
′
*δt。由此可知，本技术实施例可以提高生成第一初始正射图像的速度，进而提高生成目标正射影像的速度。
54.并且，假设一个栅格点的数据的内存占用为δb，根据所述dsm的所有栅格点生成一第一初始正射图像时，算法占用的内存为：m*n*δb；而在采用本技术实施例提供的上述方式时，占用的内存为：m
′
*n
′
*δb。由此可知，本技术实施例可以减少生成第一初始正射图像时占用的内用，进而减少生成目标正射影像时所需的内存资源。
55.其中，值得说明的是，可以先获得所有原始影像各自对应的目标投影多边形，然后基于各目标投影多边形生成所对应的第一初始正射图像；也可以每获得一张原始影像对应的目标投影多边形之后，就基于该目标投影多边形生成所对应的第一初始正射图像。当然也可以按照其他顺序执行，在此不进行具体限定，只要得到基于目标投影多边形得到各原始影像的第一初始正射图像即可。
56.步骤s140，根据各第一影像集合中的第一初始正射图像，生成所述目标场景的目标正射影像。
57.在获得各原始影像的第一初始正射图像的情况下，可采用任意方法，比如，图像融合，根据得到的所述原始影像集合所对应的第一初始正射图像，生成所述目标场景的目标正射影像。其中，所述目标正射影像可如图4所示。
58.本技术实施例通过对原始影像进行预投影，确定出dsm上与该原始影像对应的目标投影多边形，然后在以目标投影多边形为约束的情况下生成第一初始正射图像，而不是基于整个dsm生成第一初始正射图像。该方式可减少生成第一初始正射图像时所需的硬件资源，并减少基于第一初始正射图像生成目标正射影像时所需的硬件资源。由此，在可用硬件资源(比如，内存资源及算力)有限的情况下，可利用目标场景的原始影像快速生成目标场景的目标正射影像。
59.可选地，作为一种可选的实施方式，可通过图5所示方式获得所述目标投影多边形。请参照图5，图5为图2中步骤s120包括的子步骤的流程示意图。步骤s120可以包括子步骤s121及步骤s122。
60.子步骤s121，根据所述dsm中的高程值，确定目标高程平面。
61.在本实施例中，可对所述dsm中所包括的高程值进行分析，从而确定出目标高程值。在确定出所述目标高程值的情况下，可建立目标高程平面，该目标高程平面的高程值为所述目标高程值。
62.通过比较，可确定出所述dsm中的最大高程值和最小高程值。如图6所示，最大高程值所对应的平面为最大高程平面p，最小高程值所对应的平面为最小高程平面q。相机模型在最大高程平面p的投影面积小于该相机模型在最小高程平面q上的投影面积。由此可知，
随着高程值的增大，在所述dsm上能取到的栅格点会减少，取到的栅格点较少时会导致最终生成的目标正射影像出现边缘模糊的情况。可选地，所述目标高程值小于所述dsm中的最大高程值、且不小于所述dsm中的最小高程值，由此以避免出现在所述dsm上取到的栅格点非常少的情况，并且取到是与原始影像有关联的栅格点。
63.可选地，还可以将所述dsm的最小高程值确定为所述目标高程值。也即，图6中的最小高程平面p即为目标高程平面。由此，可保证尽可能取到和原始影像集合中的原始影像有关联的所有dsm栅格点。
64.子步骤s122，根据每张原始影像对应的位姿信息，将每张原始影像投影到所述目标高程平面上，得到每张原始影像对应的投影多边形，并根据每张原始影像对应的投影多边形，得到该原始影像对应的目标投影多边形。
65.在确定所述高程平面的情况下，可针对每张原始影像，根据该原始影像对应的位姿信息，将该原始影像投影到所述目标高程平面上，从而得到该原始影像在所述目标高程平面上所对应的投影多边形。其中，原始影像对应的位姿信息，可以是通过拍摄获得该原始影像时拍摄设备的位置姿态信息。比如，在通过无人机航拍获得原始影像的情况下，可将无人机当时的位姿信息作为该原始影像所对应的位姿信息。
66.可选地，可根据所述原始影像对应的位姿信息，计算该原始影像的四个角点在目标高程平面上的反投影位置，四个反投影位置所形成的多边形即为所述投影多边形。由此，可快速得到所述投影多边形。
67.其中，可通过如下方式确定四个角点各自的反投影位置：如图7所示，根据一原始影像的位姿信息得到相机光心的位置c以及一个角点的位置n(角点的位置n未在图7中示出)，计算射线cn和目标高程平面的交点，该交点即为该角点在目标高程平面上的反投影位置。四个反投影位置连接后，则可以得到该原始影像的投影多边形。
68.在得到一张原始影像的投影多边形的情况下，作为一种可选的实施方式，可将所述dsm中与该投影多边形对应的目标多边形，作为该原始影像所对应的目标投影多边形。其中，所述目标多边形与投影多边形的二维坐标相同，也即，所述目标多边形与投影多边形对应的实际区域相同。如此，可获得各原始影像的目标投影多边形。
69.在得到投影多边形的情况下，作为另一种可选的实施方式，可通过图8所示方式获得所述目标投影多边形。请参照图8，图8为图5中子步骤s122包括的子步骤的流程示意图。子步骤s122可以包括子步骤s1221及子步骤s1222。
70.子步骤s1221，根据所述dsm的尺寸在所述目标高程平面上建立dsm多边形。
71.也即，根据所述dsm对应的实际场景的范围，在所述目标高程平面上建立所述dsm多边形。值得说明的是，在计算所述原始影像集合所对应的目标投影多边形时，由于使用的dsm多边形相同，因此可只执行一次建立dsm多边形的动作。
72.子步骤s1222，计算得到每张原始影像对应的投影多边形与所述dsm多边形的重合部分，并根据每张原始影像对应的重合部分在所述dsm多边形中的位置，确定所述dsm中与该重合部分对应的目标多边形，以得到该原始影像对应的目标投影多边形。
73.在确定出所述dsm多边形及一原始影像的投影多边形的情况下，可确定出所述dsm多边形与该投影多边形的相交多边形qi’(即图7所示的预投影区域qi’)；也即针对该dsm多边形及投影多边形这两个2d多边形，计算两者之间的交集，从而获得相交多边形qi’。由此，
可获得所述dsm多边形及一原始影像的投影多边形两者之间的重合部分。
74.接着，可根据该重合部分在所述dsm多边形中的位置，确定出所述dsm中与该重合部分对应的目标多边形，并将该目标多边形作为该原始影像所对应的目标投影多边形。其中，所述目标多边形的二维坐标可与所述重合部分在所述dsm多边形中的二维坐标相同。
75.如此，可获得每张原始影像的目标投影多边形，并且该目标投影多边形没有超出所述dsm的范围，从而避免由于目标投影多边形超出了所述dsm的范围，对后续的目标正射影像造成不良影响，比如，报错，导致不能生成目标正射影像，也可以避免由于计算出一些不必要的数据导致的资源浪费。
76.在本实施例中，可通过图9所示方式生成所述第一初始正射图像。请参照图9，图9为图2中步骤s130包括的子步骤的流程示意图。步骤s130可以包括子步骤s131及子步骤s132。
77.子步骤s131，根据该原始影像对应的位姿信息，获得该原始影像对应的投影矩阵。
78.可根据所述位姿信息及拍摄设备的相机相关参数等，生成该原始影像所对应的投影矩阵，也即拍摄该原始影像时相机的投影矩阵。
79.子步骤s132，根据该投影矩阵、该原始影像对应的目标投影多边形内的栅格点的空间位置及原始影像，计算得到所述第一初始正射图像中各像素点的颜色值。
80.可选地，为避免目标投影多边形内无效高程值的影响，可以先确定出该目标投影多边形内具有有效高程值的栅格点，进而根据该部分栅格点在所述dsm中的二维坐标及高程值(即空间位置)，并结合投影矩阵及所对应的原始影像，计算得到第一初始正射图像中各像素点的颜色值。其中，栅格点具有无效高程值，可以表示所述dsm中没有该栅格点的高度信息。
81.可根据以下公式计算得到所述第一初始正射图像：c＝i(px)，c表示颜色值，i表示所述原始影像，p表示所述投影矩阵，x表示所述目标投影多边形内一栅格点的空间位置。
82.其中，所述第一初始正射图像的尺寸与所述目标投影多边的尺寸相同。可选地，在所述第一初始正射图像使用的坐标系与所述dsm的坐标系不同的情况下，为便于后续基于多张第一初始正射图像进行融合，还可以计算所述第一初始正射图像对应的某一点(即参照点)在所述dsm上的位置，该点可以是所述第一初始正射图像上的一点(比如，中心点)，也可以是所述第一初始正射图像外的一点。比如，计算所述第一初始正射图像所在矩形左上角顶点pi在所述dsm上的位置，也即，计算图7中预投影区域qi’所在矩形左上角顶点pi在所述dsm上的二维坐标。
83.可选地，在本实施例中，所述第一影像集合中还可以包括第一初始权重图像。还可以针对各原始影像，根据该原始影像、该原始影像对应的目标投影多边形及dsm生成该原始影像所对应的第一初始权重图像。所述第一初始权重图像中各像素点的像素值表示权重值，该第一初始权重图像用于实现多张第一初始正射图像的颜色融合，以消除拼接线影响。
84.在本实施例中，在针对各原始影像生成第一初始权重图像时，可根据该原始影像对应的目标投影多边形内的各栅格点在该原始影像中对应的像素点到该原始影像的中心像素点的距离，计算得到该原始影像对应的所述第一初始权重图像中各像素点的像素值。
85.也即，权重值是根据原始图像中像素点到该原始图像的中心像素点的距离计算得到的。目标投影多边形内的任一栅格点所对应的在该原始影像中对应的像素点，可以根据
原始图像所对应的在计算所述第一初始正射图像时所使用的投影矩阵及该栅格点的空间位置确定。其中，所述第一初始权重图像的尺寸与所述目标投影多边的尺寸相同。
86.可选地，作为一种可选的实施方式，所述第一初始权重图像中的像素值越大，表示所对应的像素点到原始影像的中心像素点的距离越近。
87.作为一种可能的实现方式，可通过如下公式计算得到所述第一初始权重图像中的权重值：w＝255(1-d/γ)，γ为原始影像的图像边界角点到中心的最远距离，d表示原始影像中一像素点到中心的距离。
88.在获得各原始影像对应的第一影像集合的情况下，可根据各第一影像集合中的第一初始权重图像及第一初始正射图像，通过融合，生成所述目标正射影像。
89.作为一种可能的实施方式，可通过图10所示方式生成所述目标正射影像。请参照图10，图10为图2中步骤s140包括的子步骤的流程示意图。步骤s140可以包括子步骤s141～子步骤s144。
90.子步骤s141，针对各第一初始正射图像，建立该第一初始正射图像对应的第一拉普拉斯金字塔。
91.可针对各第一初始正射图像，将该第一初始正射图像作为最底层图像，建立第一拉普拉斯金字塔i表示该第一初始正射图像对应的原始图像的标识，k表示图像的层级。其中，图像的层级越高，该图像就越小、分辨率越低。所述第一拉普拉斯金字塔中图像层的数量可以结合实际需求设置，比如，设置为6层。
92.为便于后续融合，各第一初始正射图像对应的第一拉普拉斯金字塔的图像层数量可以相同。
93.子步骤s142，针对各第一初始权重图像，建立该第一初始权重图像对应的第一高斯金字塔。
94.可针对各第一初始权重图像，将该第一初始权重图像作为最底层图像，建立第一高斯金字塔i表示该第一初始正射图像对应的原始图像的标识，k表示图像的层级。所述第一高斯金字塔中图像层数量可与所述第一拉普拉斯金字塔的图像层数量相同。
95.子步骤s143，根据所述第一高斯金字塔中的各层图像，对建立的第一拉普拉斯金字塔中的各层图像进行分层融合，得到分层融合结果。
96.在已建立各原始图像所对应的第一拉普拉斯金字塔及第一高斯金字塔的情况下，可针对各层，通过进行分层融合，得到分层融合结果。其中，所述分层融合结果的数量与所述第一拉普拉斯金字塔中图像层的数量相同。
97.其中，分层融合方式如下：从各第一拉普拉斯金字塔中分别获得某一层级的图像，并从各第一高斯金字塔中分别获得该层级的图像，由此可获得第一拉普拉斯金字塔该层的图像的颜色值及对应的权重值。之后，在像素点距离中心像素点越近、权重值越大的情况下，可通过比较同一位置的颜色值的权重，确定出具有较大权重值(或者最大权重值)的颜色值，作为该层级的分层融合结果中各对应像素点的颜色值。
98.子步骤s144，对得到的分层融合结果进行合并，得到所述目标正射影像。
99.作为一种可能的实现方式，可以通过如下方式完成子步骤s133及子步骤s134。
100.在进行具体的融合之前，可先生成第二影像集合，该第二影像集合中可以包括与所述dsm的尺寸等大的第二初始正射图像及第二初始权重图像。其中，第二初始正射图像及第二初始权重图像中的像素值可以均为预设值，比如，均为0。
101.可选地，可以根据所述dsm的尺寸，开辟等尺寸的dom内存，然后建立与所述dsm的尺寸对应的第二初始正射图像及第二初始权重图像。
102.可以将上述第二初始正射图像作为最底层图像，建立第二拉普拉斯金字塔并将第二初始权重图像作为最底层图像，建立第二高斯金字塔其中，所述第二拉普拉斯金字塔中的图像层数量与所述第一拉普拉斯金字塔中的图像层数量相同。
103.可将各原始影像的第一拉普拉斯金字塔和第一高斯金字塔融合到所述第二拉普拉斯金字塔和第二高斯金字塔中，以便得到分层融合结果。
104.在融合时，可依次针对各层进行融合。
105.比如，在进行第a层融合时，可从各第一拉普拉斯金字塔获得第a层图像并从各第一高斯金字塔中获得第a层图像并从第二拉普拉斯金字塔获得第a层图像以及从第二高斯金字塔中获得第a层图像
106.接着，将图像融合到中，以得到更新后的同时可将融合到中，以得到更新后的由于是第一次进行融合，目前最新的中都是初始值0，那么中的各权重值都不会小于中的各权重值的权重值，因此可以直接将图像中各栅格的颜色值填入图像中对应栅格处，并将图像中各栅格的权重值填入中对应栅格处，以完成对和的更新。其中，值得说明的是，在不包括中的所有栅格所对应的栅格的情况下，在融合和时，不会对和的所有栅格进行更新。
107.接着，将图像融合到当前中，以得到更新后的同时可将融合到当前中，以得到更新后的此时，当前中不是均为初始值的情况，在此情况下，针对需要根据中需要根据图像进行颜色值更新的栅格，如果某栅格当前具有的权重值不是初始值，则将该权重值和图像中与所述某栅格对应的栅格的权重值比较，若图像中与所述某栅格对应的栅格的权重值较大，则将中所述某栅格的颜色值更新为图像中与所述某栅格对应的栅格的颜色值，并同时将图像中与所述某栅格对应的栅格的权重值更新到对应栅格处。若图像中与所述某栅格对应的栅格的权重值
较小，则不基于图像和对所述某栅格进行更新。
108.如果某栅格当前具有的权重值是初始值，则可直接基于图像和对所述某栅格进行更新。
109.之后可再针对还未进行融合的所述原始影像集合对应第a层的其他图像，对当前和进行更新。其中，最后一次得到的当前即为第a层的分层融合结合。
110.上述分层融合过程可通过如下公式表示：
[0111][0112][0113]
其中，(x,y)用于表示行为x、列为y的栅格。
[0114]
在完成分层融合后，可根据以下公式合并得到的分层融合结果，从而得到所述目标正射影像：
[0115]
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种正射影像生成装置200的实现方式，可选地，该正射影像生成装置200可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图11，图11为本技术实施例提供的正射影像生成装置200的方框示意图。需要说明的是，本实施例所提供的正射影像生成装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述正射影像生成装置200可以包括：获取模块210、投影模块220及处理模块230。
[0116]
所述获取模块210，用于获得目标场景的原始影像集合及dsm。
[0117]
所述投影模块220，用于通过对所述原始影像集合中的每张原始影像进行投影，获得每张原始影像在所述dsm上所对应的目标投影多边形。
[0118]
所述处理模块230，用于针对各原始影像，根据该原始影像、该原始影像对应的目标投影多边形及dsm，生成该原始影像的第一影像集合。其中，所述第一影像集合中包括该原始影像所对应的第一初始正射图像，所述第一初始正射图像中的颜色值由所述dsm的位于所述目标投影多边形内的栅格点的空间位置及原始影像计算得到；
[0119]
所述处理模块230，还用于根据各第一影像集合中的第一初始正射图像，生成所述目标场景的目标正射影像。
[0120]
可选地，在本实施例中，所述投影模块220具体用于：根据所述dsm中的高程值，确定目标高程平面，其中，所述目标高程平面的目标高程值小于所述dsm中的最大高程值、且不小于所述dsm中的最小高程值；根据每张原始影像对应的位姿信息，将每张原始影像投影到所述目标高程平面上，得到每张原始影像对应的投影多边形，并根据每张原始影像对应的投影多边形，得到该原始影像对应的目标投影多边形。
[0121]
可选地，在本实施例中，所述投影模块220具体用于：根据所述dsm的尺寸在所述目标高程平面上建立dsm多边形；计算得到每张原始影像对应的投影多边形与所述dsm多边形
的重合部分，并根据每张原始影像对应的重合部分在所述dsm多边形中的位置，确定所述dsm中与该重合部分对应的目标多边形，以得到该原始影像对应的目标投影多边形，其中，所述目标投影多边形为所述目标多边形。
[0122]
可选地，在本实施例中，所述目标高程值为所述最小高程值。
[0123]
可选地，在本实施例中，所述处理模块230具体用于：根据该原始影像对应的位姿信息，获得该原始影像对应的投影矩阵；根据该投影矩阵、该原始影像对应的目标投影多边形内的栅格点的空间位置及原始影像，计算得到所述第一初始正射图像中各像素点的颜色值。
[0124]
可选地，在本实施例中，所述第一影像集合还包括第一初始权重图像，所述处理模块230还用于：根据该原始影像对应的目标投影多边形内的各栅格点在该原始影像中对应的像素点到该原始影像的中心像素点的距离，计算得到该原始影像对应的所述第一初始权重图像中各像素点的像素值。所述处理模块230具体用于：根据各第一影像集合中的第一初始正射图像及第一初始权重图像，生成所述目标正射影像。
[0125]
可选地，在本实施例中，所述处理模块230具体用于：针对各第一初始正射图像，建立该第一初始正射图像对应的第一拉普拉斯金字塔；针对各第一初始权重图像，建立该第一初始权重图像对应的第一高斯金字塔；根据所述第一高斯金字塔中的各层图像，对建立的第一拉普拉斯金字塔中的各层图像进行分层融合，得到分层融合结果，其中，所述分层融合结果的数量与所述第一拉普拉斯金字塔中图像层的数量相同；对得到的分层融合结果进行合并，得到所述目标正射影像。
[0126]
可选地，上述模块可以软件或固件(firmware)的形式存储于图1所示的存储器110中或固化于电子设备100的操作系统(operating system，os)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
[0127]
本技术实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的正射影像生成方法。
[0128]
综上所述，本技术实施例提供一种正射影像生成方法、装置、电子设备及可读存储介质，在获得目标场景的原始影像集合及dsm的情况下，通过对该原始影像集合中的每张原始影像进行投影，得到每张原始影像在dsm上所对应的目标投影多边形；进而针对各原始影像，根据该根据该原始影像、该原始影像对应的目标投影多边形及dsm，生成该原始影像的第一影像集合，其中，第一影像集合中包括该原始影像所对应的第一初始正射图像，该第一初始正射图像中的颜色值由dsm的位于所述目标投影多边形内的栅格点的空间位置及原始影像计算得到；最后可根据各第一影像集合中的第一初始正射图像，生成目标场景的目标正射影像。如此，通过对原始影像进行预投影，可确定出dsm上与该原始影像对应的目标投影多边形，然后在以目标投影多边形为约束的情况下生成第一初始正射图像，而不是基于整个dsm生成第一初始正射图像，该方式可减少生成第一初始正射图像时所需的硬件资源，并减少基于第一初始正射图像生成目标正射影像时所需的硬件资源。由此，在可用硬件资源(比如，内存资源及算力)有限的情况下，可利用目标场景的原始影像快速生成目标场景的目标正射影像。
[0129]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图
显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0130]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0131]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0132]
以上所述仅为本技术的可选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。