图像处理方法、图像处理装置以及图像处理程序与流程

1.本发明涉及图像处理方法、图像处理装置以及图像处理程序。


背景技术：

2.近年来，提出了如下技术：在以无人机为代表的移动体上搭载照相机，获取构造物的摄像图像，并根据该获取的摄像图像生成三维模型。
3.例如，在专利文献1中，提出了如下技术：通过搭载有照相机的移动体获取对象物的二维图像数据，使用sfm(structure from motion)生成三维点群，生成三维模型。
4.以往技术文献
5.专利文献
6.专利文献1：日本特开2015-114954号公报


技术实现要素：

7.发明要解决的技术课题
8.在sfm中，使摄像范围相互重叠，获取大量的二维图像数据，并推定自身位置与对象物的坐标，从而生成对象物的三维点群。因此，需要处理大量的二维图像数据，有时处理时间增加。
9.本发明是鉴于这种情况而完成的，其目的在于提供一种能够削减图像数据的图像处理方法、图像处理装置以及图像处理程序。
10.用于解决技术课题的手段
11.第一方式所涉及的图像处理方法包括：从校正后的图像数据获取装置和三维数据获取装置，按照图像数据获取装置的每个视场角，针对对象物获取将多个图像数据和多个三维数据相关联的多个单位图像数据的步骤；基于多个单位图像数据所包含的多个三维数据来推定平面的步骤；获取将属于所推定的平面的多个单位图像数据所包含的多个图像数据进行分组而得到的图像组数据的步骤；以及选择图像组数据所包含的多个图像数据中的、构成平面所需的图像数据的步骤。根据第一方式，能够削减图像数据。
12.在第二方式所涉及的图像处理方法中，同时获取图像数据和三维数据。根据第二方式，使图像数据和三维数据的获取变得容易。
13.在第三方式所涉及的图像处理方法中，三维数据获取装置包括立体照相机、激光扫描仪以及飞行时间式照相机中的任意一个。第三方式特定优选的三维数据获取装置。
14.在第四方式所涉及的图像处理方法中，多个图像数据是二维彩色图像数据。第四方式特定优选的图像数据的种类。
15.在第五方式所涉及的图像处理方法中，推定平面的步骤包括在对多个三维数据进行分割之后推定平面。第五方面特定优选的平面的推定方法。
16.在第六方式所涉及的图像处理方法中，选择图像数据的步骤包括以用于构成平面的图像数据的重复率为基准进行选择。第六方式使图像数据的选择变得容易。
17.第七方式所涉及的图像处理装置包括：单位图像数据获取部，其从校正后的图像数据获取装置和三维数据获取装置，按照图像数据获取装置的每个视场角，针对对象物获取与多个图像数据和多个三维数据相关联的多个单位图像数据；平面推定部，其基于多个单位图像数据所包含的多个三维数据来推定平面；图像组数据获取部，其获取将属于所推定的平面的多个单位图像数据所包含的多个图像数据进行分组而得到的图像组数据；以及图像数据选择部，其选择图像组数据所包含的多个图像数据中的、构成平面所需的图像数据。根据第七方式，能够削减图像数据。
18.第八方式所涉及的图像处理程序使计算机执行上述图像处理方法。根据第八方式，能够通过计算机执行图像处理方法。
19.发明效果
20.根据本发明，能够削减图像数据，能够避免处理时间增加。
附图说明
21.图1是概念性地表示图像处理系统的图。
22.图2是表示移动体微机所实现的功能的框图。
23.图3是表示由图像数据获取装置和三维数据获取装置进行的对象物的摄像的概念图。
24.图4是说明图像数据与三维数据之间的对应关系的概念图。
25.图5是表示处理装置微机所实现的功能的框图。
26.图6是说明使用了图像处理装置的图像处理方法的流程图。
27.图7是概念性地表示通过搭载于移动体的摄像装置对对象物进行摄像的情况的图。
28.图8是概念性地表示所获取的多个单位图像数据的图。
29.图9是将三维数据绘制在xyz坐标上的概念图。
30.图10是表示根据多个三维数据的平面推定的图。
31.图11是概念性地表示图像组数据的获取的图。
32.图12是将图像数据进行分组并获取图像组数据的说明图。
33.图13是说明三维点群的制作的图。
34.图14是说明三维点群的制作的图。
35.图15是表示使图像处理装置显示三维点群的状态的图。
36.图16是说明其他三维点群的制作的图。
37.图17是说明其他三维点群的制作的图。
具体实施方式
38.以下，根据附图对本发明所涉及的图像处理方法、图像处理装置以及图像处理程序的优选实施方式进行说明。
39.《第一实施方式》
40.图1是概念性地表示由图像处理装置100和移动体300构成的图像处理系统1的图。移动体300例如是无人航空器(uav：unmanned aerial vehicle)。另外，移动体300也可以是
自行式机器人。移动体300搭载摄像装置200。摄像装置200如后所述，具备图像数据获取装置202和三维数据获取装置204(参照图2)。移动体300基于控制器250的操作而在大气中飞行。移动体300通过所搭载的摄像装置200获取对象物的多个单位图像数据。单位图像数据是将图像数据和三维数据相关联的数据。对象物例如包括桥梁、水坝、隧道、建筑物等构造物。
41.图像处理装置100具备cpu(central processing unit)、rom(read-only memory)及ram(random access memory)等并由计算机构成。图像处理装置100例如具备操作部110和显示部120。构成图像处理装置100的计算机通过由cpu执行存储在rom中的图像处理程序而作为图像处理装置100发挥功能。
42.图2是表示移动体300的结构的框图。移动体300具备螺旋桨驱动马达310、马达驱动器312、传感器部316、机体侧无线通信部318以及移动体微机(微机：微型计算机)330。
43.移动体微机330具备控制部332、移动控制部334、照相机控制部338以及机体侧无线通信控制部336。控制部332管理移动控制部334、机体侧无线通信控制部336以及照相机控制部338的各功能整体。移动体微机330通过执行程序，可作为控制部332、移动控制部334、照相机控制部338、机体侧无线通信控制部336发挥功能。
44.移动控制部334经由马达驱动器312控制螺旋桨驱动马达310的驱动，从而控制移动体300的飞行(移动)。移动控制部334基于从控制器250发送的控制信号以及从传感器部316输出的移动体300的飞行状态的信息，控制各螺旋桨驱动马达310的驱动，控制移动体300的飞行。
45.传感器部316检测移动体300的飞行状态。传感器部316具备imu(inertial measurement unit)、gnss(global navigation satellite system)等各种传感器类而构成。imu例如由多个轴组合陀螺传感器、地磁传感器、加速度传感器、速度传感器等而构成。传感器部316将由各种传感器检测出的移动体300的飞行状态的信息输出到移动体微机330。
46.机体侧无线通信部318在移动体微机330的控制下与控制器250进行无线通信，相互发送接收各种信号。例如，在操作了控制器250的情况下，从控制器250向移动体300发送基于该操作的控制信号。机体侧无线通信部318接收从控制器250发送来的控制信号，并输出到移动体300。
47.移动体微机330具备未图示的cpu(central processing unit/中央处理装置)、rom(read only memory)、ram(random access memory)，通过执行规定的程序来实现各种功能。程序被存储在rom中。
48.照相机控制部338基于从控制器250发送的控制信号，控制摄像装置200。例如，根据来自控制器250的摄像开始指示，摄像装置200可开始摄像。根据来自控制器250的摄像结束指示，摄像装置200结束摄像。
49.机体侧无线通信控制部336经由机体侧无线通信部318控制与控制器250之间的通信。
50.移动体300的飞行计划、摄像装置200的摄像条件可通过控制软件等事先决定。飞行计划例如包括移动体300的飞行路径、速度以及高度。摄像条件包括使摄像装置200以等时间间隔进行摄像、以及以等距离间隔进行摄像等。等时间间隔、等距离间隔等条件可适当
选择。控制部332基于飞行计划控制移动控制部334。移动控制部334根据来自控制部332的信号，经由马达驱动器312控制螺旋桨驱动马达310的驱动。控制部332基于摄像条件控制照相机控制部338。照相机控制部338控制摄像装置200。通过组合飞行计划和摄像条件，决定飞行路径上的摄像范围的重叠率、以及飞行路径间的摄像范围的旁向重叠率等。
51.图3是具备图像数据获取装置和三维数据获取装置的摄像装置对对象物进行摄像时的概念图。摄像装置200具备图像数据获取装置202和三维数据获取装置204。对象物包括具有平面形状的构造物a和b、以及不具有平面的构造物c。图像数据获取装置202获取对象物的二维图像数据。图像数据获取装置202包括未图示的cmos(complementary metal oxide semiconductor)等摄像元件。摄像元件具有由在x方向(水平方向)和y方向(垂直方向)上二维排列的光电交换元件构成的多个像素，在多个像素的上表面配置有例如r(红)、g(绿)及b(蓝)的滤波器二维地拜耳排列而成的滤色器(未图示)。在实施方式中，图像数据获取装置202可获取二维彩色图像数据。图像数据获取装置202在每次摄像时获取每个视场角的图像数据。摄像范围由图像数据获取装置202的视场角决定。图像数据获取装置202针对对象物获取多个图像数据。视场角表示由图像数据获取装置202摄像时的摄像范围。
52.三维数据获取装置204获取对象物的三维数据。三维数据获取装置204例如是立体照相机。立体照相机是从配置在不同位置的多个照相机同时拍摄图像数据，并使用图像数据中的视差来获取直到对象物为止的三维数据的照相机。在三维数据获取装置204是立体照相机的情况下，可将多个照相机中的一台用作图像数据获取装置202。可与三维数据获取装置204分开设置图像数据获取装置202。
53.此外，对三维数据获取装置204是立体照相机的情况进行了说明。三维数据可使用激光扫描仪或飞行时间(time-of-flight：tof)式照相机来获取。
54.激光扫描仪向对象物射出激光脉冲，根据直到由对象物的表面反射的激光脉冲返回为止的时间来计测距离。然后，根据计测的距离和激光脉冲的射出方向的角度信息，获取激光脉冲的反射点的三维数据。即，三维数据包含三维坐标。激光扫描仪不限于飞行时间方式，也可通过相位差方式、三角法方式获取三维数据。
55.飞行时间式照相机是通过测量光的飞行时间来获取三维数据的照相机。
56.图4是说明图像数据与三维数据之间的对应关系的概念图。图像数据id包括二维排列的多个像素p的数据。图像数据id是视场角范围的数据。像素p对于r、g、b分别具有值。在图4中，示出了图像数据id中的坐标(px，py)的像素p和具有与像素p对应的对象物的位置关系的点q。点q具有作为位置信息的三维数据(x，y，z)。由于图像数据获取装置202和三维数据获取装置204被校正，因此像素p和点q相关联。获取图像数据id的像素和三维数据相关联的单位图像数据uid。单位图像数据uid的各数据pq具有点q的三维数据(x，y，z)和像素p的(r，g，b)的值的信息。根据飞行计划和摄像条件，搭载于移动体300的摄像装置200针对对象物获取多个单位图像数据uid。优选同时获取单位图像数据uid所包含的图像数据和三维数据。图像数据与三维数据的关联变得容易。
57.图5是表示图像处理装置100的结构的框图。图像处理装置100具备操作部110、显示部120以及处理装置微机130。处理装置微机130具备单位图像数据获取部132、平面推定部134、图像组数据获取部136、图像数据选择部138以及控制部140。控制部140管理单位图像数据获取部132、平面推定部134、图像组数据获取部136以及图像数据选择部138的各功
能整体。处理装置微机130通过执行图像处理程序，可作为单位图像数据获取部132、平面推定部134、图像组数据获取部136、图像数据选择部138以及控制部140发挥功能。
58.单位图像数据获取部132经由装置输入输出部(未图示)获取由摄像装置200获取的多个(大量)单位图像数据uid。多个单位图像数据uid是基于飞行计划和摄像条件，使对象物重叠以及旁向重叠而拍摄的。
59.平面推定部134基于多个单位图像数据uid所包含的多个三维数据来推定平面。平面的推定包括对多个三维数据进行分割之后推定平面。
60.在分割中，对于多个独立的三维数据，作为三维数据的块进行提取，推定平面。例如，从多个三维数据中选择任意的三维数据，从任意的三维数据中检测位于附近的三维数据。通过一个接一个地检测三维数据来形成段，推定一个平面。平面被划分为段。形成与对象物所包含的平面的数量相应的段。
61.此外，三维数据与单位图像数据uid相关联。即，可相互提取三维数据所属的单位图像数据uid、以及单位图像数据uid所包含的三维数据。
62.图像组数据获取部136获取将属于所推定的平面的多个单位图像数据uid所包含的多个图像数据id进行分组而得到的图像组数据。
63.从被推定为属于一个平面的三维数据中提取三维数据所属的单位图像数据uid。提取的单位图像数据uid所包含的多个图像数据id被分组。图像组数据获取部136获取分组后的图像数据id作为构成一个平面的图像组数据。
64.图像数据选择部138选择图像组数据所包含的多个图像数据id中的、构成平面所需的数量的图像数据id。搭载于移动体300的摄像装置200以利用sfm等制作三维点群为前提，获取大量的图像数据id。但是，大量的图像数据id导致处理时间增加。
65.另一方面，当推定为对象物的表面形状是平面时，不使用属于图像组数据的大量的图像数据id，而选择构成平面所需的数量的图像数据id。其结果，削减了图像数据id。因此，通过削减图像数据id，例如能够减少制作三维点群时的处理时间。
66.图6是说明使用了图像处理装置的图像处理方法的流程图。图像处理方法包括单位图像数据获取步骤(步骤s1)、平面推定步骤(步骤s2)、图像组数据获取步骤(步骤s3)以及图像数据选择步骤(步骤s4)。
67.(单位图像数据获取步骤)
68.在单位图像数据获取步骤中，从校正后的图像数据获取装置和三维数据获取装置，按照图像数据获取装置的每个视场角，针对对象物获取将图像数据和三维数据相关联的多个单位图像数据(步骤s1)。
69.如图7所示，搭载有摄像装置200的移动体300基于飞行计划在对象物的周围飞行。摄像装置200所具备的图像数据获取装置202(未图示)和三维数据获取装置204(未图示)基于摄像条件对对象物进行摄像，获取多个单位图像数据uid。图8示出了表示由图像数据获取装置202和三维数据获取装置204获取的大量的单位图像数据uid的一部分的一例。如图8所示，摄像装置200对对象物的构造物a的表面和构造物b的表面进行摄像。在多个单位图像数据uid中，包含对对象物的构造物a的表面和构造物b的表面进行摄像时的单位图像数据uid。按照图像数据获取装置202的每个视场角获取单位图像数据uid。
70.(平面推定步骤)
71.在平面推定步骤中，基于多个单位图像数据uid所包含的多个三维数据来推定平面(步骤s2)。三维数据具有(x，y，z)的信息。若将多个单位图像数据uid所包含的三维数据绘制在xyz坐标系中，则例如如图9所示那样表示。如图9的点群pc所示，如果三维数据处于同一平面，则z坐标的值收敛在某个范围内，可将三维数据识别为块。例如，通过以点群pc所包含的任意的三维数据为中心，对多个三维数据进行分割，能够推定平面。平面的推定不限于分割。接着，如图10所示，根据多个三维数据、即点群pc将构造物a的表面推定为平面pl。
72.(图像组数据获取步骤)
73.在图像组数据获取步骤中，对属于所推定的平面pl的多个单位图像数据uid所包含的多个图像数据id进行分组，获取图像组数据(步骤s3)。分组是通过对多个图像数据id赋予表示属于平面pl的属性数据(例如pl)，将图像数据id和平面pl相关联来实现的。如图11所示，对属于平面pl的多个图像数据id进行分组，并作为图像组数据进行获取。
74.此外，由于图像数据id和图像数据id所包含的三维数据相关联，因此图像组数据也包括单位图像数据uid。
75.(图像数据选择步骤)
76.在图像数据选择步骤中，选择图像组数据所包含的多个图像数据id中的、构成平面pl所需的图像数据id(步骤s4)。如图11所示，在平面pl中包含大量的图像数据id。另一方面，由于推定为对象物的构造物a的表面形状是平面pl，因此如图12所示，能够从多个图像数据id中选择构成平面pl所需的数量的图像数据id。通过比较图11和图12，可从概念上理解能够削减图像数据id。通过削减所使用的图像数据id，能够削减使用图像数据id进行处理时的处理时间。
77.此外，选择图像数据的步骤包括以用于构成平面pl的图像数据id的重复率为基准进行选择。例如，重复率是重叠率和/或旁向重叠率。
78.以重复率为基准进行选择是指，例如使选择图像数据id时的图像数据id的重叠率低于获取图像数据id时的重叠率。具体地说，是获取多个图像数据id时的重叠率为90％，在图像选择步骤中例如以多个图像数据id的重叠率成为30％的方式进行选择那样的情况。这些数值是一例，并不限定于该数值。不仅能够降低重叠率，还能够降低旁向重叠率。
79.(三维点群的制作)
80.接着，对利用削减后的图像数据id生成三维点群的顺序进行说明。在以下实施方式中，如图13所示，以对构造物a的一部分推定平面pl为前提。选择构成平面pl所需的图像数据id。另外，除构造物a的平面以外，通过移动体300的摄像装置200，获取包含sfm所需的多个图像数据id的图像组ig。
81.接着，如图14所示，通过对构成平面pl所需的图像数据id进行合成，能够制作与构造物a的平面对应的合成图像数据cid。合成图像数据cid可使用模式匹配中的块匹配来制作。在块匹配中，在一个图像数据id中设定规定大小的块，在其他图像数据id中扫描该块来计算相关值。然后，设为相关值最高的部位是与该块重叠的地方，连接合成相邻的图像数据id。由于推定了平面pl，因此能够高精度地连接合成图像数据id，获得合成图像数据cid。
82.最后，根据图像组ig通过sfm推定摄影位置、姿势以及对象物的坐标。进而，通过mvs(multi-view stereo)处理进行高密度化，制作三维点群。图像组ig不包括相当于平面pl的部分。因此，使用通过sfm得到的点群信息、即与平面pl相邻的点群信息，并配置合成图
像数据cid，从而如图15所示，能够制作针对对象物的三维点群。在实施方式中，通过sfm将图像组ig和合成图像数据cid制成三维点群。
83.此外，在sfm时，提取图像组ig的图像数据id重叠的区域中所包含的特征点，特定图像数据id间的特征点的对应关系。
84.作为对于图像数据id间的放大缩小(摄像距离的差异)、旋转等具有强鲁棒性的局部特征量，已知有sift(scale-invariant feature transform)特征量、surf(speed-upped robust feature)特征量、以及akaze(accelerated kaze)特征量。特征量一致的对应点的数量(组数)优选有数十组以上，因此优选图像组ig中的图像数据id间的重叠率和/或旁向重叠率大。
85.《第二实施方式》
86.接着，对第二实施方式进行说明。在第二实施方式中，也由图像处理装置100执行包括图6所示的单位图像数据获取步骤(步骤s1)、平面推定步骤(步骤s2)、图像组数据获取步骤(步骤s3)以及图像数据选择步骤(步骤s4)的图像处理方法。对与第一实施方式不同的三维点群的制作进行说明。
87.(三维点群的制作)
88.图16将从图像组数据中任意选择的两个单位图像数据uid-1和单位图像数据uid-2示出在各照相机坐标系中。照相机坐标系是摄像装置200的坐标系，镜头的中心成为原点。
89.单位图像数据uid-1和单位图像数据uid-2由于摄像位置不同，因此各照相机坐标系的原点不同。在单位图像数据uid-1和单位图像数据uid-2中，各个坐标点(x，y，z)具有(r，g，b)的值。从单位图像数据uid-1和单位图像数据uid-2的每一个中如箭头所示提取特征点。求出单位图像数据uid-1的特征点与单位图像数据uid-2的特征点之间的关系性。
90.当在图像数据uid-1、图像数据uid-2和特征点之间确认到关系时，如图17所示，可将图像数据uid-2投影到图像数据uid-1的照相机坐标系的空间中。
91.通过对推定了平面pl的属于图像组数据的单位图像数据uid进行上述处理，能够收集点群作为一个照相机坐标系的空间的模型。
92.使用最终通过sfm得到的点群信息、即与平面pl相邻的点群信息和通过上述处理收集到的点群，从而能够与第一实施方式同样地制作图15所示的针对对象物的三维点群。
93.在图像组数据中，由于单位图像数据uid被削减，因此使用图像数据id的处理的负担小。由于在图像组数据中推定了平面pl，因此能够容易地求出单位图像数据uid间的特征点的关系。
94.在本实施方式中，在将处理以90％的重叠率拍摄的图像的时间设为“1”时，若利用平面推定，则能够以30％的重叠率合成全景图像。在对相同的区域进行摄影时，在横向上，90％的重叠率对30％的重叠率所需的图像张数比约为7∶1。这是因为若摄像区域每次增加10％，则摄影区域每次增加70％。若考虑纵
×
横，则为49∶1。如果假设处理时间相对于张数线性增加，则本实施方式中的处理时间为1/49＝0.02，与以往相比能够大幅削减。
95.实现本发明所涉及的图像处理装置的硬件可由各种处理器(processor)构成。各种处理器包括执行程序并作为各种处理部发挥功能的通用处理器即cpu(central processing unit)、制造fpga(field programmable gate array)等后可改变电路结构的处理器即可编程逻辑器件(programmable logic device；pld)、以及具有为了执行asic
(application specific iintegrated circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。构成图像显示装置的一个处理部可以由上述各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器构成。例如，一个处理部可以由多个fpga、或cpu与fpga的组合构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的cpu与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(system on chip；soc)等为代表，使用以一个ic(integrated circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。
96.以上，对本发明进行了说明，但本发明不限定于以上的例子，在不脱离本发明的主旨的范围内，可以进行各种改进、变形。
97.根据上述记载，能够掌握以下的附记项1所记载的图像处理装置。
98.[附记项1]
[0099]
一种图像处理装置，其具备处理器，其中，
[0100]
所述处理器
[0101]
从图像数据获取装置和三维数据获取装置，按照所述图像数据获取装置的每个视场角，针对对象物获取包含相关联的多个图像数据和三维数据的多个单位图像数据，
[0102]
基于所述多个单位图像数据所包含的多个所述三维数据来推定平面，
[0103]
获取将属于所推定的所述平面的多个所述单位图像数据所包含的多个所述图像数据进行分组而得到的图像组数据，
[0104]
选择所述图像组数据所包含的多个图像数据中的、构成所述平面所需的图像数据。
[0105]
符号说明
[0106]
1：图像处理系统
[0107]
100：图像处理装置
[0108]
110：操作部
[0109]
120：显示部
[0110]
130：处理装置微机
[0111]
132：单位图像数据获取部
[0112]
134：平面推定部
[0113]
136：图像组数据获取部
[0114]
138：图像数据选择部
[0115]
140：控制部
[0116]
200：摄像装置
[0117]
202：图像数据获取装置
[0118]
204：三维数据获取装置
[0119]
250：控制器
[0120]
300：移动体
[0121]
310：螺旋桨驱动马达
[0122]
312：马达驱动器
[0123]
316：传感器部
[0124]
318：机体侧无线通信部
[0125]
330：移动体微机
[0126]
332：控制部
[0127]
334：移动控制部
[0128]
336：机体侧无线通信控制部
[0129]
338：照相机控制部
[0130]
a、b、c：构造物
[0131]
cid：合成图像数据
[0132]
id、id-1、id-2：图像数据
[0133]
ig：图像组
[0134]
pc：点群
[0135]
pl：平面
[0136]
pq：数据
[0137]
uid、uid-1、uid-2：单位图像数据