一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像管理方法和元数据的数据结构与流程

2022-02-20 04:52:37 来源:中国专利 TAG:


1.本技术涉及图像管理方法和元数据的数据结构,并且更具体地,涉及允许管理由人工卫星捕获的图像的图像管理方法和元数据的数据结构。


背景技术:

2.存在一种称为卫星遥感的技术,用于观察目标区域或目标物体的情况或者从由人工卫星捕获的地球上的预定区域的图像检测情况的改变(参见,例如,专利文献1和2)。
3.引文列表
4.专利文献
5.专利文献1:wo 2010/097921a
6.专利文献2:日本专利申请公开no.2004-15451


技术实现要素:

7.本发明要解决的问题
8.近年来,私营部门的低成本小型卫星的研究和开发已经取得了进展。预期将来将由许多人工卫星捕获图像,并且期望一种用于管理由人工卫星捕获的图像的系统。
9.鉴于这种情况,已经提出了本技术,并且本技术允许管理由人工卫星捕获的图像。
10.问题的解决方案
11.根据本技术的第一方面的图像管理方法包括由管理由卫星捕获的捕获图像的管理装置将至少包括关于与捕获图像相关的人员的信息添加到捕获图像。
12.在本技术的第一方面中,至少包括关于与由卫星捕获的捕获图像相关的人员的信息的元数据被添加到捕获图像。
13.根据本技术的第二方面的元数据的数据结构是由卫星捕获的捕获图像的元数据的数据结构,其中元数据至少包括关于与捕获图像相关的人员的信息,并且管理捕获图像的管理装置用于核对与捕获图像相关的人员的处理。
14.在本技术的第二方面中,至少包括关于与由卫星捕获的捕获图像相关的人员的信息的元数据用于核对与捕获图像相关的人员的处理。
附图说明
15.图1是示出要应用本技术的卫星图像处理系统的第一实施例的配置示例的框图。
16.图2是示出编队飞行的图。
17.图3是示出编队飞行的图。
18.图4是示出卫星的配置示例的框图。
19.图5是示出卫星集群管理装置、通信装置和图像分析服务器的配置示例的框图。
20.图6是示出聚焦在一个卫星上的成像顺序的流程图。
21.图7是图6中的步骤s33中的成像准备处理的详细流程图。
22.图8是示出剩余电池电量的确定的图。
23.图9是其中进行编队飞行的卫星图像处理系统的流程图。
24.图10是示出作为元数据附加的信息的图。
25.图11是示出要应用本技术的卫星图像处理系统的第二实施例的配置示例的图。
26.图12是示出根据第二实施例的发送装置的配置示例的框图。
27.图13是示出由第二实施例的卫星图像处理系统进行的第一事件成像顺序的流程图。
28.图14是示出由第二实施例的卫星图像处理系统进行的第二事件成像顺序的流程图。
29.图15是示出由第二实施例的卫星图像处理系统进行的第三事件成像顺序的流程图。
30.图16是示出根据第二实施例的发送装置的另一个配置示例的框图。
31.图17是示出要应用本技术的计算机的一个实施例的配置示例的框图。
具体实施方式
32.下面将描述用于本技术的具体实施方式(在下文中称为“实施例”)。注意,将按下面的次序进行描述。
33.1.卫星图像处理系统的配置示例
34.2.由单个装置进行的成像顺序
35.3.成像准备处理
36.4.编队飞行的流程图
37.5.图像处理的示例
38.6.元数据的细节
39.7.流通管理处理的细节
40.8.编队飞行的应用示例
41.9.卫星图像处理系统的第二实施例
42.10.第二实施例的第一事件成像顺序
43.11.第二实施例的第二事件成像顺序
44.12.第二实施例的第三事件成像顺序
45.13.发送装置的另一个配置示例
46.14.使用事件检测传感器的卫星图像处理系统的应用示例
47.15.计算机的配置示例
48.《1.卫星图像处理系统的配置示例》
49.图1是示出要应用本技术的卫星图像处理系统的第一实施例的配置示例的框图。
50.图1中的卫星图像处理系统1是以下系统,该系统使用由多个人工卫星(在下文中简称为卫星)捕获的捕获图像来进行卫星遥感,其中观察地球上的目标区域或目标物体的情况以及检测情况的改变。在本实施例中,卫星安装有成像装置,并且至少具有对地面成像的功能。
51.卫星运营公司具有卫星集群管理装置11,该卫星集群管理装置11管理多个卫星21
和与卫星21通信的多个通信装置13。注意,卫星集群管理装置11和多个通信装置13中的一些通信装置可以是由卫星运营公司以外的公司所有的装置。卫星集群管理装置11和多个通信装置13经由预定网络12连接。通信装置13设置在地面站(地面上的基站)15处。注意图1示出了其中通信装置13的数量是三个的示例,其中通信装置13是通信装置13a至13c,但是通信装置13的数量是可选的。
52.卫星集群管理装置11管理由卫星运营公司所有的多个卫星21。具体地,卫星集群管理装置11根据需要从外部机构的一个或多个信息提供服务器41获取相关信息,并确定用于由卫星集群管理装置11自身所有的多个卫星21的运营计划。然后,卫星集群管理装置11响应于来自客户的请求经由通信装置13指示预定卫星21捕获图像,从而使预定卫星21捕获图像。此外,卫星集群管理装置11经由通信装置13获取并存储从卫星21发送的捕获图像。所获取的捕获图像根据需要经受预定图像处理,并被提供(发送)给客户。可替代地,所获取的捕获图像被提供(发送)给图像分析公司的图像分析服务器42,经受预定图像处理,然后被提供给客户。
53.在外部机构中安装的信息提供服务器41响应于来自卫星集群管理装置11的请求或周期性地经由预定网络向卫星集群管理装置11供应预定相关信息。从信息提供服务器41提供的相关信息包括例如以下内容。例如,可以从作为外部机构的北美防空联合司令部(norad)获取双行轨道根数(tle)格式中描述的卫星的轨道信息作为相关信息。此外,例如,可以从作为外部机构的天气信息提供公司获取诸如地球上的预定点处的天气和云量之类的天气信息。
54.图像分析服务器42对经由预定网络从卫星集群管理装置11供应的由卫星21捕获的图像进行预定图像处理。经处理的图像被提供给图像分析公司的客户,或者被供应给卫星运营公司的卫星集群管理装置11。例如,图像分析服务器42进行用于将预定元数据添加到由卫星21捕获的图像的元数据生成处理、诸如捕获图像的失真校正之类的校正处理、诸如颜色合成处理之类的图像合成处理等。捕获图像的图像处理可以由卫星运营公司进行,并且在这种情况下,卫星运营公司和图像分析公司是相同的。此外,卫星集群管理装置11和图像分析服务器42可以由一个装置构成。
55.根据卫星集群管理装置11的控制,通信装置13经由天线14与由卫星集群管理装置11指定的预定卫星21通信。例如,通信装置13将用于在预定时刻和位置对地面上的预定区域成像的成像指令发送给预定卫星21。此外,通信装置13接收从卫星21发送的捕获图像,并且经由网络12将捕获图像供应给卫星集群管理装置11。从地面站15的通信装置13到卫星21的发送也被称为上行链路,并且从卫星21到通信装置13的发送也被称为下行链路。通信装置13可以与卫星21直接进行通信,并且也可以经由中继卫星22进行通信。作为中继卫星22,例如,使用地球同步卫星。
56.网络12或信息提供服务器41或图像分析服务器42与卫星集群管理装置11之间的网络是可选通信网络,并且可以是有线通信网络,可以是无线通信网络,或者可以由这两者构成。此外,网络12和信息提供服务器41或图像分析服务器42与卫星集群管理装置11之间的网络可以由一个通信网络构成,或者可以由多个通信网络构成。这些网络可以是与可选通信标准兼容的通信网络或通信路径,例如,因特网、公用电话线路网络、诸如所谓的4g线路或5g线路之类的用于无线移动物体的广域通信网络、广域网(wan)、局域网(lan)、用于满
足蓝牙(注册商标)标准的通信的无线通信网络、诸如近场通信(nfc)之类的用于短程无线通信的通信路径、用于红外通信的通信路径或者用于满足诸如高清多媒体接口(hdmi(注册商标))或通用串行总线(usb)之类的标准的有线通信的通信网络。
57.多个卫星21构成卫星集群31。在图1中,卫星21a和卫星21b构成第一卫星集群31a,并且卫星21c和卫星21d构成第二卫星集群31b。注意,为了简单起见,图1中的示例示出了其中一个卫星集群31由两个卫星21构成的示例,但构成一个卫星集群31的卫星21的数量不限于两个。
58.在通信装置13与构成卫星集群31的卫星21通信的情况下,存在以下两种方法,在第一种方法中,如图1中的第一卫星集群31a中那样,与卫星21单独地进行通信,在第二种方法中,如第二卫星集群31b中那样,代表性卫星集群31的仅一个卫星21c(在下文中也称为代表性卫星21c)与通信装置13通信,并且另一个卫星21d通过与代表性卫星21c的卫星间通信而与通信装置13间接地通信。通过该方法要进行的与地面站15(其通信装置13)的通信可以由卫星集群31预先确定,或者可以根据通信的内容来适当地选择。
59.在如上所述配置的卫星图像处理系统1中,构成一个卫星集群31的多个卫星21可以通过称为编队飞行的操作方法来操作。
60.编队飞行是如图2中所示的操作方法,其中构成一个卫星集群31的多个卫星21飞行同时在大约数百米至数千米的窄范围内保持相对位置关系,并且多个卫星21以协同的方式操作,从而可以提供不能由单个卫星提供的服务。在图2中,三个卫星21x至21z构成一个卫星集群31,并且卫星21x至21z中的每一个与地面站15通信。在上行链路中,指定了作为用于识别卫星集群31的标识符的集群id(卫星集群id)和作为用于识别构成卫星集群31的每个卫星21的标识符的个体id(卫星id),使得命令或数据被发送到期望的卫星21。
61.编队飞行允许将功能分配给多个卫星21而不是单个卫星,因此具有可以减小卫星21的尺寸的优点。例如,对于成像功能,即使在每个卫星21上安装的成像装置的性能(例如,分辨率)降低的情况下,也可以通过由多个卫星21捕获的捕获图像的图像合成等来实现高分辨率。
62.例如,如图3的a中所示,两个卫星21e和21f可以从不同的成像点(卫星位置)对一个区域52同时成像(同时成像)。从不同成像点对相同地面成像的结果可以用于生成指示三维测量所需的高度的数字高程模型(dem)。此外,从来自两个卫星21e和21f的捕获图像获得视差图像,并且可以进行三维测量。
63.此外,如图3的b中所示,多个卫星21e和21f可以在相同的成像点和成像角度处以时间差对一个区域52成像(差分成像)。例如,在卫星21以每秒7km的速度移动并且以卫星21之间100m的距离编队飞行的情况下,可以每1.4
×
10-2
秒进行成像。如上所述,编队飞行允许在短时间间隔内成像,因此,例如,可以提取诸如道路上的客车或大海上的浮标之类的地球上的物体的改变(位移),并测量移动物体的速度。
64.存在作为用于操作多个卫星21的系统的星座,但星座是“通过将大量卫星放置在一个或多个轨道平面中来主要部署全球统一服务的系统”,这是与编队飞行的概念不同的概念。
65.图4是示出卫星21的配置示例的框图。
66.卫星21包括管理单元101、总线102、成像控制单元103、热控制单元104、姿势控制
系统控制单元105、轨道控制系统控制单元106、推进系统控制单元107、传感器控制单元108、电源控制单元109和通信控制单元110。此外,卫星21还包括成像装置111、冷却装置112、姿势控制装置113、推进装置114、传感器组115、电池116、太阳能电池板117和通信装置118。管理单元101和装置的控制单元经由总线102连接,控制单元包括成像控制单元103、热控制单元104、姿势控制系统控制单元105、轨道控制系统控制单元106、推进系统控制单元107、传感器控制单元108、电源控制单元109和通信控制单元110。
67.管理单元101经由总线102从装置的对应控制单元获取装置的状态,并将操作命令输出到装置的控制单元,从而控制整个卫星21的操作。
68.成像控制单元103根据来自管理单元101的操作命令控制成像装置111的操作。成像装置111由例如包括图像传感器的相机模块构成,并且对目标物体成像。在卫星21是合成孔径雷达(sar)卫星的情况下,成像装置111由雷达装置构成。
69.热控制单元104获取包括在传感器组115中的温度传感器的传感器值,监测卫星21中的温度改变,并进行控制以使整个卫星21在规定的温度范围内。基本上,温度改变由材料的结构或特性控制,但是使用冷却装置112的动态冷却可以根据需要进行。例如,冷却装置112通过使用诸如液氦之类的冷冻剂进行冷却。
70.姿势控制系统控制单元105根据来自管理单元101的操作命令控制姿势控制装置113进行控制以在预期的方向上转动卫星21。例如,姿势控制系统控制单元105进行控制以使天线14转向地面站15,使太阳能电池板117转向太阳,或在观察目标的方向上转动成像装置111的观察传感器等。姿势控制装置113例如由诸如三轴陀螺仪或控制力矩陀螺仪、磁力矩器等的轮构成。姿势控制系统控制单元105不仅可以使用姿势控制装置113还可以使用用于姿势控制的推进装置114。当进行姿势控制时,姿势控制系统控制单元105根据需要获取传感器组115的各种传感器的传感器值。用于姿势控制的传感器的示例包括太阳传感器、地球传感器、星传感器、磁传感器和陀螺仪。
71.轨道控制系统控制单元106进行与保持轨道海拔和改变轨道相关的控制。轨道控制系统控制单元106与推进系统控制单元107和推进装置114协同进行控制。
72.推进系统控制单元107根据来自管理单元101的操作命令来控制推进装置114。推进装置114由例如固体马达、离子引擎或远地点引擎构成。推进系统控制单元107获取传感器组115的各种传感器的传感器值,并根据需要与姿势控制装置113协同操作推进装置114,从而进行姿势控制和对卫星21的姿势控制。在卫星21是小卫星的情况下,可以不安装用于姿势控制的目的的化学推进器等。
73.传感器控制单元108控制传感器组115中包括的各种传感器,并向管理单元101或另一个控制单元供应传感器值。各种传感器是用于监视卫星21中的状态的传感器,并且包括例如gps接收器、星跟踪器(姿势传感器)、加速度传感器、陀螺仪传感器、磁传感器、温度传感器、太阳传感器、地球传感器和星传感器。
74.电源控制单元109控制电池116和太阳能电池板117。在电源控制单元109的控制下,由太阳能电池板117发的电存储在电池116中。电池116中的电力可以直接流通到卫星21中的装置,或者可以经由总线102流通。
75.通信控制单元110根据来自管理单元101的操作命令来控制通信装置118。通信装置118具有天线,并根据通信控制单元110的控制与地面站15的通信装置13通信。此外,通信
装置118还可以与构成同一卫星集群31的另一卫星21以及中继卫星22进行通信。此外,通信控制单元110和通信装置118可以具有分开的系统,一个用于数据量小的命令和遥测的发送和接收,并且一个用于数据量大的任务相关数据(成像数据等)。
76.从成像控制单元103至通信控制单元110的控制单元可以进一步划分为两个或更多个,可以集成任何两个或更多个控制单元,或者控制单元可以与管理单元101集成。诸如中央处理单元(cpu)和存储器之类的计算资源基本上安装在管理单元101上,但也可以安装在控制单元上。控制单元可以在公共硬件模块中实现。
77.构成一个卫星集群31的多个卫星21的成像装置111可以具有相同的性能,或者可以具有不同的性能。
78.例如,在采用相同型号的成像装置111作为安装在卫星21上的成像装置111以使得卫星21具有相同的性能的情况下,存在以下优点。例如,可以用的时间差获取相同性能的图像,并且可以容易地检测到差异。此外,可以通过例如合成根据分配捕获的图像来生成高度精确(高分辨率)的图像。此外,这允许冗余,这使一个装置中的故障是可容忍的。
79.另一方面,在安装在卫星21上的成像装置111具有不同的性能的情况下,可以在成像中分配不同的角色,例如,一个用于高灵敏度单色成像,并且一个用于低灵敏度彩色成像。注意,不同的性能不仅包括安装的硬件配置不同的情况,而且还包括安装的硬件配置相同但性能由于控制的差异而不同的情况。例如,假设以下示例,其中在图像传感器是相同型号的情况下,一个卫星21用较快的快门速度获取高灵敏度低分辨率图像,并且另一个卫星21以相反的方式获取低灵敏度高分辨率图像。
80.作为在多个卫星21的成像装置111具有不同性能的情况下的分配示例,可以例如控制以使灵敏度/快门速度、分辨率、单色/彩色/偏振或频带(波长区域)中的任何一个或其组合不同。此外,多个卫星21可以在电池性能或通信性能方面不同。
81.图5是示出卫星集群管理装置11、通信装置13和图像分析服务器42的配置示例的框图。
82.卫星集群管理装置11包括控制单元211、通信单元212、操作单元213和显示单元214。
83.控制单元211通过执行存储在存储单元(未示出)中的卫星管理应用程序来管理由卫星运营公司所有的多个卫星21。例如,控制单元211通过根据需要使用从信息提供服务器41获取的相关信息来确定多个卫星21的运营计划,并经由通信装置13指示卫星21控制姿势或捕获图像。此外,控制单元211例如进行生成经由通信装置13从卫星21发送的捕获图像的元数据以及将元数据添加到捕获图像的处理。
84.根据来自控制单元211的指令,通信单元212经由网络12进行与通信装置13的预定通信,并且还进行与图像分析服务器42的预定通信。
85.操作单元213由例如键盘、鼠标和触摸面板构成,接收基于用户(运营商)操作的命令或数据的输入,并将命令或数据供应给控制单元211。
86.显示单元214由例如液晶显示器(lcd)或有机电致发光(el)显示器构成,并且显示卫星管理应用程序的屏幕,或者显示由卫星21捕获的捕获图像、通过对捕获图像进行预定图像处理而获得的经处理的图像等。
87.通信装置13包括卫星通信单元221、控制单元222和通信单元223。
88.卫星通信单元221基于控制单元222的控制经由天线14与目标卫星集群31的卫星21通信。
89.根据来自卫星集群管理装置11的控制,控制单元222使卫星通信单元221与卫星21通信。此外,控制单元222将诸如从卫星21获取的捕获图像之类的数据经由通信单元223发送给卫星集群管理装置11。
90.通信单元223基于控制单元222的控制进行与卫星集群管理装置11的预定通信。
91.图像分析服务器42包括控制单元231、通信单元232、操作单元233和显示单元234。
92.通过执行存储在存储单元(未示出)中的图像分析应用程序,控制单元231对从卫星集群管理装置11供应的捕获图像进行预定图像处理,诸如用于将预定元数据添加到捕获图像的元数据生成处理、用于捕获图像的失真校正等的校正处理或者诸如颜色合成处理之类的图像合成处理。
93.通信单元232根据来自控制单元231的控制进行与卫星集群管理装置11或另一装置的预定通信。例如,通信单元232从卫星集群管理装置11接收由卫星21捕获的捕获图像,并将捕获图像供应给控制单元231,或者在图像处理之后将经处理的图像发送给卫星集群管理装置11。
94.操作单元233由例如键盘、鼠标和触摸面板构成,接收基于用户(运营商)操作的命令或数据的输入,并将命令或数据供应给控制单元231。
95.显示单元214由例如lcd或有机el显示器构成,并显示图像分析应用程序的屏幕或显示图像处理之前或之后的图像。
96.构成卫星图像处理系统1的卫星21和其它装置如上所述配置。
97.注意,卫星集群管理装置11根据要进行通信的卫星21的轨道从多个通信装置13当中选择最佳通信装置13,并使所选择的通信装置13经由通信装置13发送诸如成像指令之类的预定命令或接收诸如捕获图像之类的数据。由于卫星集群管理装置11与根据目标卫星21可选地选择的通信装置13一起进行预定通信,在以下描述中,卫星集群管理装置11和通信装置13将被统称为管理系统。
98.《2.由单个装置进行的成像顺序》
99.接下来,将参考图6中的流程图描述聚焦在进行编队飞行的卫星集群31的一个预定卫星21上的成像顺序。
100.首先,在步骤s11中,管理系统基于来自客户的请求确定由卫星21进行成像的要求。
101.具体地,管理系统确定成像日期和时间、成像点、用于成像的环境条件、相机设定值等作为成像要求。用于成像的环境条件包括例如在成像日期和时间处的诸如云量之类的天气条件,并且相机设定值包括例如分辨率(分辨力)、变焦、快门速度、灵敏度和光圈。
102.在步骤s12中,管理系统确定满足成像要求的卫星21和地面站15(其通信装置13)。
103.具体地,管理系统选择满足确定的成像要求的卫星21。例如,基于确定卫星21是否在确定的成像日期和时间通过成像目标位置、成像目标位置是否在卫星21的观察宽度范围内、安装在卫星21上的成像装置111是否满足诸如分辨力和确定的相机设定值等的要求,来确定卫星21。然后,确定适合于与所选择的卫星21通信的地面站15。
104.此外,管理系统可以考虑到在成像日期和时间的卫星21的预期剩余电池电量、用
于成像的功耗等来选择卫星21。例如,在所选择的卫星21在紧接在成像日期和时间之前计划进行另一成像的情况下,通过成像、与成像相关联的姿势控制、数据通信、热控制等消耗功率,并且假设可能无法进行下一个成像。因此,卫星21的优先程度根据预期的剩余电池电量和成像的功耗来设定,并且选择卫星21。
105.在步骤s13中,管理系统将所选择的地面站15的天线14引导朝向假设的轨道。卫星集群管理装置11将所选择的卫星21的轨道信息发送给通信装置13,并且通信装置13将天线14引导朝向假设的轨道。
106.在步骤s14中,管理系统将成像指令发送(上行链路)到所选择的卫星21。也就是说,卫星集群管理装置11将用于发送成像指令的命令发送给所选择的地面站15的通信装置13,并且已经接收到该命令的通信装置13经由天线14将成像指令发送给所选择的卫星21。成像指令包括成像日期和时间、成像点、相机设定值等。
107.在步骤s31中,卫星21接收来自地面站15的成像指令,并且在步骤s32中,将接收完成发送给地面站15。
108.在步骤s15中,管理系统接收来自卫星21的接收完成,并停止发送成像指令。重复来自地面站15的成像指令的发送,直到卫星21返回接收完成。
109.在步骤s33中,卫星21基于所接收的成像指令进行成像准备处理。例如,卫星21控制卫星21的姿势或成像装置111的定向(指向),使得成像装置111根据需要转向成像目标位置。此外,例如,成像控制单元103设定图像传感器的变焦、快门速度、灵敏度、光圈等。此外,电源控制单元109进行预先充电,从而在成像日期和时间处获得足够的功率。
110.在由成像指令指定的成像日期和时间,卫星21在步骤s34中对成像目标位置进行成像。
111.在步骤s35中,卫星21生成元数据,并将元数据添加到捕获图像,该元数据是与作为成像结果获得的捕获图像相关联的信息。尽管稍后将描述元数据的细节,但是,例如,诸如用于识别卫星集群31的集群id、用于识别每个卫星21的个体id、成像目标位置(被摄体位置)和成像时刻之类的信息可以被生成为元数据。
112.在步骤s36中,卫星21将已经添加了元数据的捕获图像发送(下行链路)给地面站15。可以紧接在生成捕获图像和元数据之后进行下行链路,或者可以在预定地面站15中的预定范围内的到达时间进行下行链路。此外,捕获图像可以经由中继卫星22发送。
113.在步骤s16中,管理系统从卫星21接收捕获图像。具体地,通信装置13经由天线14接收捕获图像,并将捕获图像供应给卫星集群管理装置11。
114.在步骤s17中,卫星集群管理装置11分析捕获图像的元数据。此时,卫星集群管理装置11可以基于分析结果新生成元数据,并添加此元数据。例如,卫星集群管理装置11基于捕获图像的集群id和个体id以及卫星21的轨道信息计算成像时的卫星位置,并将卫星位置添加为元数据。
115.在步骤s18中,卫星集群管理装置11对由卫星21捕获的捕获图像进行预定图像处理。卫星集群管理装置11例如进行诸如失真校正之类的校正处理和诸如颜色合成处理之类的图像合成处理。稍后将描述图像处理的细节。
116.在步骤s19中,卫星集群管理装置11对捕获图像和经处理的图像执行流通管理处理,并将捕获图像和经处理的图像存储在预定存储单元中。稍后还将描述流通管理处理的
细节。
117.因此,由一个卫星21进行的一系列成像的顺序结束。注意,由图像分析服务器42进行的图像处理可以根据需要适当地进行,以及可以以与由卫星集群管理装置11进行的图像处理共享的方式进行,或者替代地由卫星集群管理装置11进行。以类似的方式,可以由图像分析服务器42进行流通管理处理。
118.注意,在上述示例中,元数据被添加到捕获图像并被发送,但是元数据可以作为与捕获图像不同的流被发送。此时,可以在捕获图像之前只发送元数据。
119.《3.成像准备处理》
120.顺便提及,在小卫星21中资源特别受到限制,因此,需要关注剩余电池电量,并且重要的是据此控制成像。
121.图7是图6中的步骤s33中的成像准备处理的详细流程图。这里,假设在步骤s33之前在步骤s31中接收的成像指令是在成像时刻t1处捕获图像的指令。
122.在成像准备处理中,首先,在步骤s51中,卫星21的管理单元101估计成像时刻t1处的剩余电池电量。具体地,管理单元101根据在成像时刻t1之前通过太阳能发电累积的充电量(的估计值)相对于当前剩余电池电量来估计成像时刻t1处的剩余电池电量。
123.在步骤s52中,管理单元101基于估计的剩余电池电量确定剩余电池电量是否足够。
124.具体地,管理单元101根据与成像相关的功耗的因素和不用于成像的功耗的因素来确定估计的剩余电池电量是否足够。与成像相关的功耗的因素包括由成像装置111进行的成像处理、卫星21的姿势控制(指向)和与其相关联的热控制。由成像装置111进行的成像处理考虑了在成像时刻t1处要以何种精确度(分辨力、快门速度、变焦的必要性等)捕获多少图像。卫星21的姿势控制包括卫星自身的姿势的改变和天线的姿势的改变。此外,在作为成像装置111的相机模块自身可以在成像方向上改变姿势的情况下,相机模块的姿势的改变也包括在卫星21的姿势控制中。不用于成像的功耗的因素包括成像时刻t1之前进行的通信(上行链路和下行链路)。
125.例如,如图8的a中所示,在始终保持电池116的满充电量的70%的充电量的前提下,假设当前剩余电池电量为90%,时刻t1之前的充电量为5%,时刻t1处的成像处理的功耗为3%,姿势控制的功耗为10%,并且成像时刻t1之前进行的通信的功耗为2%,获得90% 5%-3%-10%-2%=80%。即使在时刻t1处的成像之后,也确保了70%的电量,并且确定卫星21具有足够的剩余电池电量。
126.注意,还考虑在成像时刻t1之后的定时进行的成像,管理单元101可以基于要在成像时刻t1之后保持的剩余电池电量来确定剩余电池电量是否足够。
127.例如,如图8的b中所示,假设在成像时刻t1之后的时刻t2处安排成像,从时刻t1到时刻t2的充电量为2%,在时刻t2处成像处理的功耗为3%,姿势控制的功耗为10%,并且在成像时刻t2之前进行的通信的功耗为2%,在时刻t1处成像之后要求83%的剩余电池电量。因此,确定成像时刻t1处的估计的剩余电池电量80%不是足够的剩余电池电量。
128.注意,上述示例主要描述了与成像相关的功耗,但是还考虑了诸如与姿势控制相关联的热控制、周期性通信等的功耗之类的其它的功耗。
129.如上所述,确定剩余电池电量是否足够。如果在图7中的步骤s52中确定剩余电池
电量不足,则处理进入步骤s53,并且卫星21确定是否可以改变成像时刻t1之前的假设的下行链路定时。通过改变下行链路定时,可以节省下行链路所要求的功率量。
130.如果在步骤s53中确定不能改变下行链路定时,则跳过步骤s53中的处理,并且处理进入步骤s55。
131.另一方面,如果在步骤s53中确定可以改变下行链路定时,则处理进入步骤s54。管理单元101改变下行链路定时,并确定改变之后剩余电池电量是否足够。如果在步骤s54中还确定剩余电池电量不足,则处理进入步骤s55。另一方面,如果在步骤s54中确定剩余电池电量足够,则处理进入步骤s57。
132.在步骤s55中,管理单元101改变姿势控制的精度。在姿势控制中,例如,两种种类,即轮和离子引擎,用于重复朝向目标姿势施加力矩,然后在姿势通过目标姿势时施加相反的力矩。当摆速变得等于或小于某个值时,确定姿势已被改变为目标姿势。为了改变姿势控制的精度,管理单元101改变例如用于确定已经获得的目标姿势的摆速的范围。可以通过在增大的方向改变摆速的范围并减小姿势控制的控制量来节省电力消耗。
133.在步骤s56中,管理单元101根据姿势控制的精度来改变成像条件。当摆速的范围增大时,卫星21的姿势不稳定并且发生摇晃,这可能导致被摄体模糊。此外,指向不足,可以想到不能实现足够的变焦。因此,管理单元101改变成像条件以补偿由姿势控制的控制量的降低引起的不利影响。
134.例如,管理单元101如下改变成像条件。
135.管理单元101增加图像传感器的快门速度以应对被摄体模糊。此外,另外,由于捕获图像在快门速度增加时变暗,因此管理单元101可以进行控制以增加灵敏度(增益)。
136.此外,例如,管理单元101可以减小捕获图像的分辨力(分辨率)以改善每个单位像素的灵敏度。利用这种布置,可以改善快门速度,减小姿势控制的精度降低的影响,并且可以减少下行链路时的数据量。此外,管理单元101选择不使用光学变焦的设定值。利用这种布置,可以增加对图像模糊(摇晃)的容差。
137.此外,在相机模块具有机械模糊校正机制(空间模糊校正)的情况下,可以进行机械模糊校正机制,而不是降低姿势控制的精度。
138.此外,代替降低捕获图像的分辨力(分辨率),管理单元101可以配置用于连续捕获多个图像的成像设定。生成从连续捕获图像合成和生成的高分辨率捕获图像并将其发送(下行链路)给地面站15,从而可以补偿捕获图像的分辨力(分辨率)的降低。注意,在下行链路之后,可以由卫星集群管理装置11或图像分析服务器42进行图像合成进行的高分辨率图像的生成。卫星集群管理装置11或图像分析服务器42还可以通过使用诸如基本图像之类的过去捕获图像或由另一卫星21捕获的捕获图像来进行合成。
139.在步骤s56之后,或者如果在步骤s52或步骤s54中确定剩余电池电量足够,处理进入步骤s57。
140.在步骤s57中,管理单元101根据在步骤s55中的处理中确定的姿势控制的设定来控制卫星21或成像装置111的姿势(进行指向)。
141.在步骤s58中,管理单元101设定在步骤s56中的处理中确定的成像条件。
142.因此,图6中的步骤s33中的成像准备处理结束。在由成像指令指定的成像日期和时间,进行图6中的步骤s34中的处理,即成像目标位置的成像。
143.根据成像准备处理,在剩余电池电量低的情况下,降低对电力消耗影响较大的姿势控制的稳定化的精度,并且改变后续阶段中的成像条件或图像处理。这使得可以在抑制电池消耗的同时确保捕获图像的质量。
144.《4.编队飞行的流程图》
145.接下来,将描述由构成一个卫星集群31的多个卫星21执行的编队飞行。
146.图9是其中一个卫星集群31进行编队飞行的卫星图像处理系统1的流程图。
147.首先,在管理系统与进行编队飞行的卫星集群31的卫星21之间进行步骤s101、s121、s122和s102中的相对位置检查处理。也就是说,在步骤s101中,管理系统询问进行编队飞行的卫星集群31的卫星21的相对位置。在步骤s121中,构成卫星集群31的卫星21响应于来自管理系统的询问进行检查相对位置的处理。然后,在步骤s122中,卫星21发送相对位置。在步骤s102中,管理系统从每个卫星21接收相对位置。这里,相对位置指示构成卫星集群31的卫星21的排列顺序和卫星之间的距离。卫星21的排列顺序例如是首位(no.1)处于卫星21的行进方向的次序。可以每次捕获图像时进行相对位置检查处理,或者可以例如每天一次或每周一次周期性地进行相对位置检查处理。
148.管理系统具有从作为外部机构的norad获取的卫星集群31的轨道信息,但可能无法确定构成卫星集群31的每个卫星21的轨道信息。可替代地,即使在个体轨道信息可以通过地面观察来确定的情况下,可能无法确定机身的次序。在编队飞行中,存在卫星21设置在无法单独分配轨道信息的范围内的情况,并且无法从卫星集群31的首位确定某个卫星放置的位置。因此需要测量相对位置关系。
149.控制相对位置的方法大致分为两类:开环方法和闭环方法。
150.开环方法是其中在构成卫星集群31的卫星之间没有通信并且通过来自地面侧的指令控制相对位置的方法。在卫星之间的距离中可能发生错误。
151.另一方面,闭环方法是通过在构成卫星集群31的卫星之间进行通信来控制相对位置的方法。闭环方法比开环方法具有相对位置的更高的精度。闭环方法包括集中型和分散型。在集中型中,存在卫星21充当领导者并且其它卫星21跟随领导者卫星的模式以及领导者卫星给另一卫星21给出指令的模式。分散型是构成卫星集群31的每个卫星21自主地与其它周围的卫星21通信并控制其自己的位置的模式。
152.在步骤s121中检查相对位置的处理中,在开环方法的情况下,例如,存在以下方法,其中卫星21对地面上的预定点同时成像,并且地面侧的卫星集群管理装置11基于捕获图像和关于每个卫星21的姿势(指向角度)的信息检查卫星21的排列顺序。此外,例如,存在以下方法,其中卫星21与地面上的预定点同时进行通信,并且地面侧的通信装置13在此时从无线电波检查排列顺序。用于检查排列顺序的通信可以是预定捕获图像、用于校准的信号等的下行链路。另一方面,在闭环方法的情况下,卫星21执行测量相对位置的处理,并且测量结果被下行链路。卫星21通过诸如通过卫星之间的通信测量位置(方向)的方法或者通过从卫星21辐照激光并基于其反射光测量距离的方法之类的方法来测量相对位置。
153.在闭环方法和开环方法中,可以仅检测卫星21的排列顺序,并且可以通过从地面的观察来计算卫星之间的距离。
154.在步骤s103中,管理系统基于每个卫星21的相对位置计算每个卫星21的成像条件。除了图像传感器的设定值之外,成像条件在此包括成像时卫星21的姿势控制、成像定时
等。例如,在进行地面的三维测量的情况下,用作为基线长度的卫星间距离计算用于使卫星21处于成像目标位置相同的姿势的成像条件。在由构成卫星集群31的多个卫星21以时间差捕获图像(差分成像)的情况下,计算前面卫星21和后续卫星21捕获图像时的定时(成像位置)和成像时的姿势。基于卫星间距离计算卫星21捕获图像时的定时。
155.在步骤s104中,管理系统基于计算的成像条件将成像指令发送给每个卫星21。成像指令被发送给卫星集群31的所有卫星21(多播),并且每个卫星21可以通过作为包括在成像指令中的目的地信息的个体id选择所寻址的指令。
156.在步骤s123中,卫星21从地面站15接收成像指令,在步骤s124中进行成像准备处理,并在步骤s125中捕获图像。此外,卫星21在步骤s126中生成元数据并将元数据添加到捕获图像,并在步骤s127中将已经添加了元数据的捕获图像发送(下行链路)给地面站15。
157.步骤s123至s127中的处理基本上类似于由参考图6描述的每个卫星21进行的步骤s31至s36中的处理。注意,当在步骤s127中发送捕获图像时,每个卫星21可以单独发送由卫星21捕获的图像,或者捕获图像可以通过卫星间通信收集在领导者卫星中,然后由领导者卫星统一发送。
158.在步骤s105中,管理系统从每个卫星21接收捕获图像,并在步骤s106中分析捕获图像的元数据。此外,在步骤s107中,管理系统对捕获图像进行预定图像处理。在步骤s108中,管理系统对捕获图像和经处理的图像执行流通管理处理,并将捕获图像和经处理的图像存储在预定存储单元中。
159.步骤s105至s108中的处理基本上类似于由参考图6描述的管理系统进行的步骤s16至s19中的处理。然而,在步骤s107中的图像处理中,不仅可以进行对由一个卫星21获得的捕获图像的图像处理,而且可以进行使用由卫星集群31的多个卫星21协同捕获的多个捕获图像的图像处理。
160.《5.图像处理的示例》
161.将描述在图6中的步骤s18中或在图9中的步骤s107中由卫星集群管理装置11或图像分析服务器42执行的图像处理的处理示例。
162.卫星集群管理装置11或图像分析服务器42可以对由每个卫星21捕获的捕获图像进行以下图像处理。
163.(1)元数据的生成
164.可以基于从卫星21发送的信息或关于已经捕获图像的卫星21的信息来生成元数据。例如,关于成像目标位置的纬度和经度的信息以及关于卫星21成像时的姿势控制和加速度的信息可以被生成为元数据。
165.(2)捕获图像的校正处理
166.可以进行如下校正处理,诸如与灵敏度特性相关的辐射校正,卫星21的轨道位置、姿势误差等的几何校正,用于校正由地形的高度差引起的几何失真的正畸校正,以及用于在地图投影表面上投影图像的地图投影。
167.(3)颜色合成处理
168.可以进行如下颜色合成处理,诸如全色锐化处理、真彩色合成处理、假彩色合成处理、自然色合成处理、sar图像合成处理以及每个频带向捕获图像添加颜色的处理。
169.(4)其它图像合成
170.还可以使用在过去由卫星21自身捕获的捕获图像、由另一卫星21捕获的捕获图像或某种种类的基础图像来进行合成,使用在不同频带中捕获的捕获图像进行合成,使用地图信息进行合成等。
171.(5)信息的提取
172.可以通过诸如红色(r)和红外(ir)之类的不同频带计算诸如归一化差异植被指数(ndvi)之类的植被检测信息以及诸如归一化差异水指数(ndwi)之类的水检测信息。可以进行诸如车辆、移动物体或鱼群之类的特定被摄体的突出显示处理,关于特定频带的信息或来自先前成像的改变的提取等。
173.特别地,在使用由进行编队飞行的多个卫星21捕获的多个捕获图像的情况下,卫星集群管理装置11或图像分析服务器42可以更有效地进行以下图像处理。
174.(1)较高分辨率或高质量处理
175.通过叠加多个捕获图像,可以用改善的分辨力生成捕获图像。此外,可以生成通过合成单色图像和彩色图像而获得的全色锐化图像,或者可以生成通过合成具有不同的成像条件的捕获图像而获得的分辨率已经增加的捕获图像,例如,不同的成像条件诸如是不同的动态范围或快门速度、不同的频带(波长带)或不同的分辨率。
176.(2)功能分配
177.诸如归一化差异植被指数(ndvi)之类的指数可以由诸如红色(r)和红外(ir)之类的不同的频带来计算。
178.(3)三维测量
179.可以从视差图像获得三维信息。此外,可以通过三维信息来增强识别地面上的物体的精度。例如,可以确定物体是否是车辆(即使在分辨力方面无法立即从图像识别物体为车辆的情况下,如果确定道路上的物体不是图案而是三维物体,则可以估计该物体是车辆)。
180.(4)差分测量
181.通过使用以时间差从相同位置捕获的多个捕获图像,可以提取第一时刻和第二时刻之间的改变。此外,可以进行成像,使得仅提取和着色已经改变的目标。此外,例如,可以从多个捕获图像计算船舶或车辆的移动速度,或者可以从云等的移动来计算风速。
182.(5)其它图像合成
183.还可以使用过去捕获的图像或由另一卫星21捕获的捕获图像来进行合成,使用在不同频带中捕获的捕获图像进行合成,使用地图信息进行合成等。
184.作为图像处理设备的卫星集群管理装置11和图像分析服务器42基于作为元数据与由卫星21捕获的捕获图像相关联的用于指定卫星的卫星规范信息进行上述图像处理。换句话说,由于卫星规范信息作为元数据与捕获图像相关联,因此可以通过使用编队飞行的多个卫星21当中的相对位置关系来处理多个图像。卫星规范信息至少包括用于识别卫星集群31的集群id、用于识别构成卫星集群31的每个卫星21的个体id以及关于与进行编队飞行的每个卫星21的相对位置的信息。
185.注意,尽管已经描述了使用由编队飞行捕获的多个捕获图像的图像处理,但是可以对由星座而不是编队飞行捕获的多个捕获图像进行上述图像处理。例如,可以对由星座捕获的多个捕获图像进行诸如(1)较高分辨率或高质量处理、(3)三维测量或(5)其它图像
合成之类的图像处理。
186.(图像格式)
187.图像处理之后的经处理的图像和捕获图像存储在存储单元中并且通过使用例如以下图像格式被提供给客户等。
188.(1)ceos
189.ceos是由地球观察卫星委员会标准化的格式。ceos包括其中文件被针对每个频带划分的“ceos-bsq”和其中多个频带被复用的“ceos-bil”。
190.(2)hdf
191.这是位于伊利诺斯州大学的美国国家超级计算应用中心(ncsa)开发的格式。多个频带被分组成一个文件,使得数据可以在各种计算机环境中容易地交换。
192.(3)geo tiff
193.这是其中遥感的信息被添加到标记的图像文件格式(tiff)的格式。这是tiff格式,并且可以用一般图像查看器等打开。
194.(4)jpeg2000
195.这是由联合图像专家组标准化的图像格式。jpeg2000不仅仅增加了压缩率,而且还采用了用于改善感兴趣区域中的图像的技术以及诸如电子水印之类的版权保护技术。
196.用于呈现经处理的图像和捕获图像的方法包括(1)以可以查看图像的方式提供图像的方法以及(2)仅呈现基于图像分析的信息的方法。
197.此外,(1)以可以查看图像的方式提供图像的方法包括(1a)提供(发送)图像自身的方法、(1b)允许访问诸如数据服务器之类的平台并且允许用户在平台上查看图像数据的方法、以及(1c)向用户提供查看图像的专用软件并允许用户仅用专用软件查看图像的方法。
198.(2)仅呈现基于图像分析的信息的方法是例如呈现每个时区中的车辆或移动物体的数量或者呈现由上述信息提取的处理获得的鱼群的区域的方法。
199.《6.元数据的细节》
200.图10示出了作为元数据附加到捕获图像或经处理的图像的信息的示例。
201.取决于信息的种类,作为元数据附加的信息包括可以由卫星21添加的信息、可以由卫星集群管理装置11添加的信息以及可以由分析公司的图像分析服务器42添加的信息。在图10中,信息种类以表格格式设置,并且圆(o)附加到可以添加对应种类的信息的装置。注意,在卫星集群管理装置11还具有图像处理功能的情况下,不言而喻,可以由图像分析服务器42添加的信息也可以由卫星集群管理装置11自身来添加。
202.例如,作为元数据,可以添加用于指定卫星的信息(卫星规范信息)。用于指定卫星的信息可以包括例如用于识别卫星集群31的集群id、用于识别每个卫星21的个体id、关于与构成进行编队飞行的卫星集群31的每个卫星21的相对位置的信息、在成像时自身(卫星21)的角度信息以及卫星种类。关于相对位置的信息例如包括诸如构成卫星集群31的多个卫星21的次序以及卫星之间的距离之类的信息。关于相对位置的信息可以是可以用于估计相对位置的信息。成像时自身的角度信息指示例如在成像时自身相对于地面的角度。卫星种类例如包括卫星是光学卫星还是sar卫星或者通过基于卫星的用途和尺寸进行的分类。
203.此外,用于指定卫星的信息可以包括例如卫星21的tle格式的轨道信息(tle信
息)、由gps信号进行的位置信息(gps信息)、从tle信息或gps信息中的至少一个计算出的轨道位置/轨道海拔信息、卫星21的速度信息,以及卫星21的地球传感器、太阳传感器、星跟踪器等的传感器信息。
204.此外,可以将关于成像内容的信息添加到元数据中。关于成像内容的信息可以包括例如指示在地球上作为成像目标的地方的成像目标位置信息,诸如分辨率(分辨力)、变焦、快门速度、灵敏度和光圈(f-数)之类的成像条件,诸如图像传感器的型号之类的传感器种类,成像时刻,成像时的卫星位置以及诸如云量和日照量之类的天气信息。
205.作为成像目标位置信息,例如,给出了关于在地球上作为成像目标的地方的纬度和经度的信息。基于卫星21的轨道信息,在地面侧添加成像时的卫星位置。成像时的卫星位置可以是卫星21自身的轨道信息。此外,在上述成像准备处理中,由于存在根据剩余电池电量改变姿势控制的精度的情况,因此成像时的卫星位置还可以包括关于成像时卫星21的姿势控制的精度的信息、指示在成像时卫星自身的移动的三维加速度信息等。关于姿势控制的信息可以用作例如对地面侧进行的捕获图像的高分辨率处理的处理参考。
206.此外,可以将关于图像种类的信息添加到元数据。关于图像种类的信息可以包括频带信息和图像处理信息。
207.频带信息包括与波长带相关的波长信息,指示rgb(真彩色)、ir(红外光)或单色的颜色信息,指示诸如植物之类的特定目标已经被着色的着色信息(假彩色)以及分析信息,该分析信息指示图像指示归一化差异植被指数(ndvi)或归一化差异水指数(ndwi)。
208.图像处理信息包括图像处理的处理时间、处理级别、处理方法等。处理时间指示已经进行了图像处理的时间。处理级别被划分为从l0至l5的六个级别。l0是指示没有进行校正处理的未校正状态的级别,l1是已经进行了与灵敏度特性相关的辐射校正的级别,并且l2是已经进行了卫星21的轨道位置、姿势误差等的几何校正的级别。另外,存在已经在地图投影表面上投射图像的级别、已经进行了用于校正几何失真等的正畸校正的级别等。通过诸如全色锐化处理、真彩色合成处理和sar图像合成处理之类的处理名称来描述处理方法。三维测量的经处理的图像可以包括l图像(用于左眼的图像)和r图像(用于右眼的图像)之间的区别的描述。
209.此外,可以将作为关于与捕获图像或经处理的图像相关的人员的信息的相关人员信息添加到元数据。关于相关人员的信息包括例如关于卫星21的所有者、运营卫星遥感服务的服务运营商或者具有捕获图像或经处理的图像的权限的人员的信息。通过将相关人员信息作为元数据添加到捕获图像或经处理的图像,可以通过参考或核对与捕获图像或经处理的图像相关的人员来管理与捕获图像或经处理的图像相关的人员,并且可以确保图像的真实性。
210.《7.流通管理处理的细节》
211.接下来,将描述在图6中的步骤s19中和图9中的步骤s108中由卫星集群管理装置11或图像分析服务器42对捕获图像或经处理的图像执行的流通管理处理。
212.可以使捕获图像和经处理的图像经受以下用于管理数据的流通的处理。
213.(1)使用限制处理
214.可以进行处理使得在不许可的情况下无法下载或显示捕获图像和经处理的图像,或者进行处理使得在满足诸如到期时间、复制次数或显示次数之类的预定条件的情况下无
法下载或显示捕获图像和经处理的图像。此外,可以进行处理使得无法对捕获图像和经处理的图像进行诸如图像合成之类的二次处理。
215.(2)水印
216.可以对捕获图像和经处理的图像进行放置指示版权的水印(电子水印)的处理。此外,可以进行放置使得能够确定泄漏途径的信息作为水印的处理。
217.通过进行如上所述的流通管理处理,可以确保图像的真实性,并防止泄漏和不适当地使用捕获图像和经处理的图像。此时,可以采用使用区块链来管理每条数据的方法和数据使用模式。
218.(图像保护的处理示例)
219.在用户已经请求对捕获图像和经处理的图像的隐私保护情况下,或者在图像包括每个国家/地区(诸如军事设施或公共设施)的法律限制公开的区域(公开限制区域)或禁止公开的区域(禁止区域)的情况下,卫星集群管理装置11或图像分析服务器42可以通过预定保护方法进行保护图像的处理。可以利用元数据的成像目标位置信息来确定该区域是否是受保护区域。
220.保护图像的方法的示例包括对受保护区域的图像进行处理,使得除最终用户和允许用户以外的人员无法进行在所需以外增加分辨率的处理。可替代地,可以降低受保护区域的图像的分辨率或模糊受保护区域的图像。此外,可以停止更新受保护区域的图像,并且可以用过去的图像替换图像并且显示该图像,或者可以叠加指示保护的图像。
221.对于图像保护,除了在首先向用户提供图像之前预先执行图像保护的情况之外,还可以在进行隐私保护请求的情况下、在已检测到非法图像的流通的情况下等稍后进行处理。在已经检测到非法图像的流通的情况下,可以采取措施以删除已被非法泄露的捕获图像和已处理的图像。
222.允许卫星集群管理装置11和图像分析服务器42进行如上所述的图像保护处理使得可以对用户的隐私保护和公开限制的请求进行响应。
223.《8.编队飞行的应用示例》
224.在下文中,将描述使用由构成进行编队飞行的卫星集群31的多个卫星21捕获的捕获图像的图像分析处理的示例。
225.(1)通过较高的分辨率检查作物的萌发(农业遥感)
226.检查作物的萌发的观察要求数厘米的分辨率。将由进行编队飞行的多个卫星捕获的图像合成允许实现超出单个装置实现的分辨力的分辨力,并且这允许检测萌发。
227.卫星集群31以农田中的同一点为成像目标位置来捕获图像。卫星21可以从不同位置同时捕获图像,或者可以以时间差从相同位置捕获图像。为了使每个卫星21的成像目标位置转向同一点,需要预先掌握卫星位置。
228.在图像合成处理中,对于每个捕获图像,不要求掌握哪个卫星21已经捕获图像。然而,掌握哪个卫星21已经捕获图像使得可以确定成像时的角度和时间,并且可以更有效地进行图像合成。
229.例如,geo tiff格式可以用作合成后的经处理的图像的格式,并且可以将经处理的图像是编队飞行的合成图像的信息以及用于合成的每个捕获图像的成像位置、成像时刻、成像条件等附加为元数据。作为关于成像位置的信息,可以使用关于用于合成的任何捕
获图像(代表性捕获图像)的成像位置的信息。
230.(2)通过三维测量检查作物的生长情况(农业遥感)
231.基于诸如ndvi之类的指数检查作物的生长情况,或者也可以通过三维测量精确地获取高度信息来检查作物的生长情况。
232.卫星集群31的卫星21以农田的同一点为成像目标位置同时捕获图像,并获得视差图像。为了获得卫星之间的距离,即基线长度,要求关于卫星21的相对位置的信息。关于相对位置的该信息可能不会预先获得,而是可以与捕获图像的下行链路同时获得。
233.在图像合成处理中,对于每个捕获图像,不要求掌握哪个卫星21已经捕获了图像。然而,掌握哪个卫星21已经捕获了图像使得可以确定成像时的角度和时间,并且可以更有效地进行图像合成。
234.对于合成后的经处理的图像,例如,可以使用由一组l图像和r图像构成的三维图像的格式,并且可以将经处理的图像是编队飞行的合成图像的信息以及用于合成的每个捕获图像的成像位置、成像时刻、成像条件等附加为元数据。作为关于成像位置的信息,可以使用关于用于合成的任何捕获图像(代表性捕获图像)的成像位置的信息。除了关于三维测量的信息之外,还可以进一步添加诸如ndvi之类的植被指数或其它信息。
235.(3)其它种类的农业遥感
236.例如,可以通过三维测量精确地获取耕地后的平整度检查的高度信息。
237.(4)检测鱼群的移动(海洋观察遥感)
238.可以检测鱼群,并且可以获得关于鱼群的移动方向和移动速度的信息。
239.卫星集群31以海洋中的同一点为成像目标位置捕获图像。卫星21以时间差从相同位置捕获图像。为了使每个卫星21的成像目标位置转向该相同点,需要预先掌握卫星位置。特别是在其中没有充当参考的目标的海洋被设定为成像目标位置的成像的情况下,需要准确地对准由卫星21捕获的图像,因此,预先掌握关于卫星21的相对位置和移动速度的信息很重要。
240.在分析捕获图像的处理中,基于成像位置(包括角度信息)和成像时刻来进行由卫星21捕获的图像的对准和鱼群比较处理。通过进行比较处理,可以从两个或更多个卫星21的成像时刻之间的时间差以及鱼群的移动距离来计算鱼群的移动速度。
241.作为要作为经分析的图像呈现的图像,例如,可以采用其中在充当基础的鱼群的捕获图像(由预定卫星21捕获的图像)上叠加并显示指示鱼群的移动方向和移动速度的信息的图像。充当基础的捕获图像的各种种类的信息被添加到元数据。
242.作为分析处理的结果,可以呈现描述用于计算鱼群的移动方向和移动速度的计算方法的信息。该信息的示例包括示出鱼群的多个捕获图像以及诸如捕获图像的成像时刻和鱼群的位置之类的信息。
243.(5)其它种类的海洋观察遥感
244.例如,还可以获得关于船舶的移动方向和移动速度的信息以及洋流观察信息。
245.(6)对车辆数量技术(经济指数的估计)
246.通过调查停车场中的车辆数量以及在道路上行驶的车辆数量来计算经济指数(特定商店的业务趋势或销售预测)。可以通过合成由编队飞行的多个卫星捕获的图像来生成高分辨率的捕获图像,并且更精确地检测车辆数量或行驶车辆的数量。
247.卫星集群31以同一点为成像目标位置同时捕获图像。为了使每个卫星21的成像目标位置转向该同一点,需要预先掌握卫星位置。通过使用同时捕获的多个捕获图像,可以增加图像的分辨率并基于视差图像获取三维信息。
248.在图像合成处理中,对于每个捕获图像,不要求掌握哪个卫星21已经捕获了图像。然而,掌握哪个卫星21已经捕获了图像使得可以确定成像时的角度和时间,并且可以更有效地进行图像合成。在来自两个或更多个捕获图像的合成的情况下,可以从图像中的道路或建筑物提取充当参考的目标物体,并且可以基于提取的目标物体对准两个或更多个图像。可以基于高度信息选择充当参考的目标物体。
249.在图像分析处理中,基于已经增加了分辨率的捕获图像来计算车辆数量或行驶车辆的数量。可以通过仅增加捕获图像中的特定区域中的分辨率来有效地计算车辆数量或行驶车辆的数量。在无法从二维图像确定目标物体是否是车辆的情况下,可以基于包括高度的三维信息来确定目标物体是否是车辆。
250.作为要作为经分析的图像呈现的图像,例如,可以采用以下图像,其中针对每个检测目标区域或每个计数目标(车辆或人员)以不同颜色为充当基础的捕获图像(由预定卫星21捕获的图像)着色,并且叠加并显示计数。充当基础的图像的各种种类的信息被给予元数据。
251.作为分析处理的结果,可以向用户呈现诸如图像的成像条件或待检测的物体的计算方法之类的信息。
252.注意,上述示例是通过同时成像增加分辨率的示例,并且还可以基于以时间差捕获的捕获图像来测量车辆的移动速度,并估计和呈现成像时刻之前和之后的交通量信息。
253.(7)其它
254.通过合成由编队飞行的多个卫星捕获的图像,可以基于视差图像获取三维信息,并创建工地或房屋的三维地图。
255.(8)修改示例
256.可以使用编队飞行的星座。也就是说,通过将进行编队飞行的卫星集群31放入单个或多个轨道平面中,可以进行主要部署全球统一服务的操作。
257.可以进行由编队飞行捕获的图像和由另一卫星捕获的图像的图像合成。例如,可以进行其中由编队飞行获得的移动物体信息被叠加并被显示在由地球同步卫星捕获的高分辨率图像上的图像处理。
258.《9.卫星图像处理系统的第二实施例》
259.图11示出了要应用本技术的卫星图像处理系统的第二实施例的配置示例。
260.在上述第一实施例中,进行编队飞行的卫星集群31被配置为进行同时成像或者在成像点处以时间差或以基于卫星21的轨道信息等预先指示的成像时刻进行成像。因此,例如,无法检测在地面上发生的预定事件并在发生事件时进行实时成像。
261.在下面描述的第二实施例中,将描述一个或多个卫星21根据在地面上发生的事件进行实时成像的配置。在包括多个卫星21的卫星集群31根据地面上发生的事件进行实时成像的情况下,卫星集群31可以通过星座或编队飞行来操作。
262.在第二实施例的卫星图像处理系统1的配置中,如图11中所示,新添加了包括检测地面上的预定事件的传感器的多个发送装置251。在图11中的示例中,四个发送装置251a至
251d安装在事件检测区域250中,但是发送装置251的数量是可选的。注意,图11中所示的第二实施例的三个卫星21x至21z可以通过星座或编队飞行操作。此外,三个卫星21x至21z可以是独立操作的卫星21。
263.为了事件检测,将事件检测区域250划分并分配给四个发送装置251a至251d中的每一个。由图11中的虚线指示的扇形区域指示一个发送装置251的事件检测范围。事件检测区域250是例如农田,并且包括在发送装置251中的传感器监测农田的温度等,或监测作物的生长情况。
264.发送装置251检测事件检测区域250中的预定事件,并将成像指令发送给一个或多个卫星21。卫星21x至21z根据从发送装置251发送的成像指令对事件的发生区域成像。
265.图12是示出发送装置251的配置示例的框图。
266.发送装置251包括发送单元271、控制单元272、传感器单元273和电源单元274。
267.根据控制单元272的控制,发送单元271将成像指令发送给穿过发送装置251附近的卫星21。
268.发送单元271例如是全向的,并且可以将成像指令发送给通过发送装置251的一定范围的所有卫星21。发送单元271由例如可以与以100km/h的高速移动100km或更长的长距离的物体进行通信并消耗更少的功率的通信装置构成。
269.发送单元271可以是方向性的。在这种情况下,发送单元271基于卫星21的轨道信息将天线(未示出)引导朝向通过发送装置251附近的卫星21,并将成像指令发送给目标卫星21。卫星21的轨道信息被预先存储。
270.控制单元272控制发送装置251的整个操作。在传感器单元273检测到预定事件的情况下,控制单元272进行控制以使发送单元271将成像指令发送给卫星21。
271.传感器单元273根据事件检测的目的由一种或多种种类的预定传感器构成。例如,传感器单元273由气味传感器、大气压传感器、温度传感器等构成。此外,例如,传感器单元273可以由对事件检测区域250成像的图像传感器(rgb传感器、ir传感器等)构成。例如,当检测值等于或大于预定阈值时,传感器单元273检测到事件的发生,并通知控制单元272事件的发生。
272.注意,传感器单元273可以靠近发送单元271设置,或者可以以如下的方式远离发送单元271设置,例如,发送单元271设置在最靠近卫星21的高地并且传感器单元273设置在靠近地面的低地。
273.可以在一个发送装置251上安装不同种类的多个传感器,或者可以安装相同种类的多个传感器。在将多个传感器安装在发送装置251上的情况下,存在需要发送添加了诸如传感器检测范围之类的传感器信息作为成像目标位置或传感器检测种类作为发送信息的传感器检测结果的情况。
274.电源单元274由例如由太阳能发电等充电的电池构成,并且向发送装置251的每个单元供电。
275.发送装置251是具有如上所述的配置的通信装置,并且允许从发送装置251到卫星21的仅单向通信,但是也可以是允许包括从卫星21到发送装置251的方向的双向通信的通信装置。
276.在单向通信和双向通信两者中,在通信是全向的情况下,发送侧不需要将天线引
导朝向作为接收侧的卫星21或地面站15,并且因此特别是在从地面到空中的卫星21发送的情况下这种通信是优选的。在本实施例中,假设发送装置251的发送单元271是全向的,并且发送装置251是进行单向通信的装置。然而,当然,发送装置251可以是进行双向通信的方向性装置。
277.《10.第二实施例的第一事件成像顺序》
278.接下来,将参考图13中的流程图描述第二实施例的卫星图像处理系统1进行的第一事件成像顺序。
279.首先,在步骤s141中,发送装置251的控制单元272确定传感器单元273是否已经检测到事件。当传感器单元273检测到预定事件并通知控制单元272事件的发生时,控制单元272确定已检测到事件。因此,在步骤s141中,控制单元272等待直到从传感器单元273接收到事件的发生通知。如果确定已经检测到事件,则处理从步骤s141进入步骤s142。
280.响应于事件的发生,在步骤s142中,控制单元272控制发送单元271将成像指令发送给通过发送装置251附近的卫星21。发送单元271响应于来自控制单元272的命令发送成像指令。
281.由于发送装置251和卫星21之间的通信是仅从地面侧到卫星21的单向通信,因此发送装置251无法检查卫星21是否已经接收到成像指令。因此,发送装置251继续在诸如三十分钟或一小时之类的一定时间段内发送成像指令,或者在特定时间间隔中重复地发送成像指令。在发送装置251和卫星21可以进行双向通信的情况下,如在参考图6所描述的成像顺序中那样,可以从卫星21接收接收完成,然后可以停止成像指令的发送。从卫星21到发送装置251的接收完成可以包括卫星21将捕获图像的信息。
282.此外,在本成像顺序中,当已经检测到事件的发生时,发送装置251在不选择卫星21的情况下发送成像指令。可替代地,在空中通过的卫星21的轨道信息和成像能力已知的情况下,发送装置251可以发送由集群id或个体id指定的满足所要求的成像条件的卫星集群31或卫星21的成像指令。
283.从发送装置251向卫星21发送成像指令,添加诸如所请求的成像条件、所请求的成像目标位置、传感器id、事件发生时间和检测的事件种类之类的成像相关信息作为参数。所请求的成像条件包括例如分辨率和波长频带(rgb、ir等)。所请求的成像目标位置表示要成像的地面上的区域,并且对应于传感器单元273的事件的发生区域。发送装置251或传感器单元273的安装位置可以被存储为所请求的成像目标位置。传感器id是用于识别检测到事件的传感器单元273的传感器识别信息。事件发生时间是传感器单元273检测到事件的时间,并且对应于请求已作为成像指令的时间。检测到的事件种类指示例如由传感器单元273检测到的事件种类,诸如检测到异常温度。检测到的事件种类可以存储传感器种类而不是检测到的事件的特定种类。
284.在步骤s161中,卫星21从发送装置251接收成像指令,并且在步骤s162中,确定是否可以由自身进行成像。卫星21检查是否满足添加到成像指令的所请求的成像条件,并确定是否可以由自身进行成像。如果在步骤s162中确定不可以由自身进行成像,则卫星21结束处理。
285.另一方面,如果在步骤s162中确定可以由自身进行成像,则处理进入步骤s163,并且卫星21基于所接收的成像指令进行成像准备处理。随后,卫星21在步骤s164中捕获图像,
并在步骤s165中生成元数据并将元数据添加到捕获图像。由于步骤s163至s165中的每条处理基本上类似于上述图6中的步骤s33至s35中的每条处理,因此将省略其细节。元数据可以包括从发送装置251接收的信息的部分或全部。例如,可以包括诸如指示传感器单元273的传感器id或事件发生时间之类的信息作为元数据。
286.在步骤s166中,卫星21确定卫星21是否已经到达下行链路点,换句话说,卫星21是否已经到达可以与地面站15的通信装置13通信的范围内。卫星21重复步骤s166中的处理,直到确定卫星21已经到达下行链路点。如果确定卫星21已经到达下行链路点,则处理进入步骤s167。
287.在步骤s167中,卫星21将已经添加了元数据的捕获图像发送(下行链路)给地面站15。可以经由中继卫星22进行下行链路。
288.在步骤s181中,管理系统从卫星21接收捕获图像。也就是说,通信装置13经由天线14接收捕获图像,并将捕获图像供应给卫星集群管理装置11。在接收到捕获图像之后,管理系统进行类似于图6中的步骤s17至s19中的处理的处理,并且将不再重复其描述。
289.《11.第二实施例的第二事件成像顺序》
290.接下来,将参考图14中的流程图描述第二实施例的卫星图像处理系统1进行的第二事件成像顺序。
291.在上述第一事件成像顺序中,每个卫星21单独地确定是否可以进行成像,并在进行成像的情况下将捕获图像发送给地面上的通信装置13。
292.在图14中的第二事件成像顺序中,添加了以下处理,其中在已经接收到成像指令的卫星21确定不可以由自身进行成像的情况下,后续卫星21接管了成像指令。后续卫星21例如是属于在星座或编队飞行中操作的同一卫星集群31的卫星21。在下面描述的第二事件成像顺序中,接收成像指令的卫星21被称为第一卫星21,并且接管成像指令的后续卫星21被称为第二卫星21以用于区分。
293.步骤s141和s142中的事件的发生的检测以及由发送装置251进行的成像指令的发送与上述第一事件成像顺序中的相同。
294.在步骤s201中,第一卫星21从发送装置251接收成像指令,并且在步骤s202中,确定是否可以由自身进行成像。如果在步骤s202中确定可以由自身进行成像,则处理进入步骤s203,并且第一卫星21进行基于成像指令的成像和发送,并且处理结束。在确定可以由自身进行成像的情况下的成像顺序与上述第一事件成像顺序中的相同,因此,将省略其描述。
295.另一方面,如果在步骤s202中确定不可以由自身进行成像的情况下,则处理进入步骤s204,并且第一卫星21确定是否可以由属于第一卫星21的卫星集群31的后续第二卫星21进行成像。如果在步骤s204中确定不可以由第二卫星21进行成像,则处理结束。
296.如果在步骤s204中确定可以由第二卫星21进行成像,则处理进入步骤s205,并且第一卫星21通过卫星间通信将成像指令发送给后续第二卫星21。
297.然后,在步骤s206中,第一卫星21确定第一卫星21是否已经到达下行链路点,并且重复步骤s206中处理,直到确定第一卫星21已经到达下行链路点。
298.然后,如果在步骤s206中确定第一卫星21已经到达下行链路点,则处理进入步骤s207,并且第一卫星21将包括在从发送装置251接收的成像指令中的事件检测数据发送(下行链路)给地面站15。事件检测数据包括在成像指令中包括的成像相关信息的部分或全部、
成像指令已被传送给后续卫星的信息以及指示成像指令所传送的后续第二卫星21的信息。可以以与上述另一种处理类似的方式经由中继卫星22来进行下行链路。因此,由第一卫星21进行的处理结束。
299.通过卫星间通信从第一卫星21被发送成像指令的后续第二卫星21在步骤s221中接收成像指令,并在步骤s222中基于接收到的成像指令进行成像准备处理。
300.步骤s223至s226中的处理类似于图13中的步骤s164至s167中的处理。通过步骤s223至s226中的处理,进行成像,生成捕获图像和元数据,并且在到达下行链路点时将已经添加了元数据的捕获图像发送给地面站15。
301.另一方面,响应于由第一卫星21进行的事件检测数据的发送,管理系统在步骤s241中接收事件检测数据。此外,响应于由第二卫星21进行的捕获图像的发送,在步骤s242中接收捕获图像。在接收到捕获图像之后,管理系统进行类似于图6中的步骤s17至s19中的处理的处理,并且将不再重复其描述。
302.《12.第二实施例的第三事件成像顺序》
303.接下来,将参考图15中的流程图描述第二实施例的卫星图像处理系统1进行的第三事件成像顺序。
304.在上述第二事件成像顺序中,卫星间通信用于将成像指令从第一卫星21传送给第二卫星21。第三事件成像顺序是经由地面站15的通信用于将成像指令从第一卫星21传送给第二卫星21的示例。
305.步骤s141和s142中的事件的发生的检测以及由发送装置251进行的成像指令的发送与上述第一事件成像顺序中的相同。
306.在步骤s301中,第一卫星21从发送装置251接收成像指令,并且在步骤s302中确定是否可以由自身进行成像。如果在步骤s302中确定可以由自身进行成像,处理进入步骤s303,并且第一卫星21进行基于成像指令的成像和发送,并且处理结束。在确定可以由自身进行成像的情况下的成像顺序与上述第一事件成像顺序中的相同,因此,将省略其描述。
307.另一方面,如果在步骤s302中确定不可以由自身进行成像,则处理进入步骤s304,并且第一卫星21确定是否可以由属于第一卫星21的卫星集群31的后续卫星21进行成像。如果在步骤s304中确定可以由后续卫星21进行成像,则处理进入步骤s305,进行后续卫星21的成像和发送,并且处理结束。在确定可以由后续卫星21进行成像的情况下的成像顺序与上述第二事件成像顺序中的相同,因此,将省略其描述。
308.如果在步骤s304中确定不可以由后续卫星21进行成像,则处理进入步骤s306,并且第一卫星21确定第一卫星21是否已经到达下行链路点,并重复步骤s306中的处理,直到确定第一卫星21已经到达下行链路点。
309.然后,如果在步骤s306中确定第一卫星21已经到达下行链路点,则处理进入步骤s307,并且第一卫星21将从发送装置251接收的成像指令发送(下行链路)给地面站15。可以以与上述另一种处理类似的方式经由中继卫星22进行下行链路。因此,由第一卫星21进行的处理结束。
310.响应于第一卫星21进行的成像指令的发送,管理系统在步骤s321中接收成像指令。然后,在步骤s322中,管理系统基于成像指令的成像相关信息中包括的所请求的成像条件、所请求的成像目标位置等指定满足成像的要求的另一卫星21。这里,第二卫星21被指定
为另一卫星21。
311.在步骤s323中,管理系统将成像指令发送给所指定的第二卫星21。注意,从第一卫星21接收成像指令的地面站15(其通信装置13)和向第二卫星21发送成像指令的地面站15(其通信装置13)可以是相同的或者可以是不同的。
312.在步骤s341中,第二卫星21从地面站15接收成像指令。以下步骤s342至s346中的处理类似于图14中的步骤s222至s226中的处理,并且因此将省略其描述。在步骤s346中,捕获图像被从第二卫星21发送给管理系统。
313.在步骤s324中,管理系统接收捕获图像,并且第三事件成像顺序结束。
314.在上述第三事件成像顺序中,如果确定不可以由后续卫星21进行成像,则第一卫星21将成像指令发送给地面站15。可替代地,如果确定不可以由自身进行成像而没有确定是否可以由后续卫星21进行成像,则第一卫星21可以将成像指令发送给地面站15。
315.根据第三事件成像顺序,即使在所请求的成像目标位置是到网络的连接不可用的地方的情况下,诸如在大海上,也可以经由第一卫星21将成像指令发送给管理系统,并且成像可以由第二卫星21进行。
316.《13.发送装置的另一个配置示例》
317.图12中所示的发送装置251具有检测事件的发生的内置传感器,并且与发送成像指令的发送单元一体地配置。然而,检测事件的发生的传感器和发送成像指令的发送装置可以由分开的装置构成。
318.图16是示出根据第二实施例的发送装置的另一个配置示例的框图。
319.在事件检测区域250(图11)中,安装了发送装置291、控制装置292以及一个或多个传感器293。图16示出了传感器293的数量是三个、由传感器293a至293c构成的示例,但传感器293的数量是可选的。此外,可以在事件检测区域250中安装多组发送装置291、控制装置292以及一个或多个传感器293。
320.根据控制装置292的控制,发送装置291将成像指令发送给通过发送装置291附近的卫星21。
321.在由多个传感器293(293a至293c)中的任何一个检测到预定事件的情况下,控制装置292从传感器293获取事件检测结果,生成成像指令,并进行控制以使发送装置291发送成像指令。以与上述示例类似的方式,将成像相关信息作为参数添加到成像指令。
322.多个传感器293(293a至293c)中的每一个对应于上述传感器单元273,检测事件的发生,并通知控制装置292事件的发生。多个传感器293可以由不同种类的传感器构成,或者可以是相同种类的传感器。多个传感器293可以靠近或远离彼此设置。此外,多个传感器293可以靠近或远离发送装置291和控制装置292设置。上述传感器信息根据需要被添加到从传感器293到控制装置292的事件的发生的通知。
323.在第二实施例的卫星图像处理系统1中,即使在发送装置291和传感器293被配置为如上所述的分开的装置的情况下,也可以以类似的方式执行上述第一至第三事件成像顺序。
324.《14.使用事件检测传感器的卫星图像处理系统的应用示例》
325.在下文中,将描述使用第二实施例的事件检测传感器的卫星图像处理系统的应用示例。
326.(1)农田中的事件检测
327.多个传感器(包括传感器单元273的发送装置251或传感器293)在农田中的预定观察区域中以特定间隔安装,并且多个传感器中的每个传感器检测诸如害虫孳生或发生疾病之类的异常。发送装置251或291根据作为事件的农田中的异常的检测结果向卫星21发送成像指令。卫星21例如进行rgb的成像、用于诸如ndvi之类的植被指数的红色(r)和红外(ir)的成像等。检测到异常的传感器的传感器检测范围被分配给添加到成像指令的所请求的成像目标位置。已经接收到成像指令的卫星21可以仅对设置了多个传感器的观察区域中的已经发生异常的传感器的传感器检测范围进行成像,或者可以进行整个观察区域的广域成像。此外,可以改变诸如变焦之类的成像条件,使得可以进行已经检测到异常的传感器的传感器检测范围的成像和整个观察区域的广域成像两者。
328.还可以通过使用用于检查生长情况的预定情况的发生而不是检测到异常作为触发来向卫星21给予成像指令,预定情况诸如是地面已经进入预定环境状态(例如,地面温度已经达到预定温度)、植物的光合作用量或生长情况已经进入预定状态或者检测到萌芽。
329.(2)海洋中的事件检测
330.例如,结合包括传感器单元273的发送装置251的浮标被释放到海洋中的要研究的海域中。传感器单元273检测鱼群,或者检测诸如海水温度、洋流速度或风速之类的预定条件。基于事件检测的结果,发送装置251将成像指令发送给卫星21。成像指令的成像相关信息包括所请求的成像条件、所请求的成像目标位置、事件发生时间等。由于可以在夜间状态成像的卫星21受到限制,因此基于所请求的成像条件选择卫星21,并且基于捕获图像分析成像目标海域的情况。
331.(3)无人居住区的观察
332.传感器(包括传感器单元273的发送装置251或传感器293)安装在诸如森林、山地或沙漠之类的无人居住区中,并且检测诸如气候条件的改变的异常、要观察的生物或森林火灾的检测。卫星21基于来自发送装置251或291的成像指令捕获图像。基于捕获图像,分析无人居住区的情况。
333.(4)事故观察
334.例如,发送装置251安装在飞机或船舶的黑匣子上,并且发送装置251在诸如飞机碰撞、船舶搁浅或油轮泄漏之类的紧急情况的事件下发送成像指令。卫星21及时捕获发生紧急情况的地方的图像,并将图像发送给地面站15。
335.(5)滞留的登山者
336.当携带发送装置251的登山者等滞留时,发送装置251向卫星21发送成像指令,该成像指令添加了包括作为检测到的事件种类的遇险信号并且包括作为所请求的成像目标位置的发生滞留的地方的成像相关信息。卫星21基于成像指令捕获发生滞留的地方的图像,并将图像发送给地面站15。
337.(6)管道排放控制
338.传感器以预定间隔附接到管道,并监测泄漏的发生。在检测到泄漏的情况下,将成像指令发送给卫星21。发送成像指令,其中作为所请求的成像条件添加指定能够检测泄漏的卫星21、诸如能够通过ir频带检测热的卫星21的成像相关信息,并且满足要求的卫星21捕获图像。基于捕获图像,可以迅速观察泄漏区域中的泄漏情况。特别地,在管道泄漏是人
为引起的情况下,发生事件之后的迅速观察是有效的。
339.(7)其它
340.由设置在地面上的传感器293触发的捕获图像可以仅用为主要信息,并且捕获图像可以与另一图像组合以用于图像分析等。例如,由传感器293触发的捕获图像被给予成像定时的优先级的低性能卫星21迅速捕获。此后,卫星集群管理装置11设定具有更高的成像能力的卫星21的安排,以用于高分辨率和高精度成像。卫星集群管理装置11通过使用由低性能卫星21捕获的第一捕获图像和由具有更高的成像能力的卫星21捕获的第二捕获图像来进行分析。例如,卫星集群管理装置11可以基于差分信息增加第一捕获图像的分辨率,或者可以进行合成第一捕获图像和第二捕获图像的处理。
341.如上所述,根据使用传感器的卫星遥感,可以通过传感器检测地面上发生的事件,并且可以直接给予空中的卫星21成像指令。特别地,即使从安装在未连接到因特网的诸如海洋之类的区域中的传感器,也可以直接给予卫星成像指令,或者可以经由卫星给予另一卫星成像指令。例如,由于可以立即检测到在大面积区域中的特定地方发生的事件并使得进行成像,因此可以大大降低劳动力。
342.《15.计算机的配置示例》
343.上述一系列处理不仅可以由硬件而且可以由软件来执行。在通过软件执行一系列处理的情况下,在计算机上安装了构成软件的程序。这里,例如,计算机包括结合在专用硬件中的微型计算机或者能够以安装在其中的各种程序执行各种功能的通用个人计算机。
344.图17是示出根据程序执行上述一系列处理的计算机的硬件的配置示例的框图。
345.在计算机中,中央处理单元(cpu)301、只读存储器(rom)302和随机存取存储器(ram)303通过总线304彼此连接。
346.总线304还与输入/输出接口305连接。输入/输出接口305与输入单元306、输出单元307、存储单元308、通信单元309和驱动器310连接。
347.输入单元306包括键盘、鼠标、麦克风、触摸板、输入端子等。输出单元307包括显示器、扬声器、输出端子等。存储单元308包括硬盘、ram盘、非易失性存储器等。通信单元309包括网络接口等。驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质311。
348.为了进行上述一系列处理,如上所述配置的计算机使得cpu 301例如经由输入/输出接口305和总线304将存储在存储单元308中的程序加载到ram 303中,然后执行程序。ram 303还根据需要存储cpu301执行各种种类的处理所需的数据等。
349.由计算机(cpu 301)执行的程序可以通过例如记录在作为封装介质等的可移除记录介质311上来提供。此外,程序可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供。
350.将可移除记录介质311插入驱动器310中允许计算机经由输入/输出接口305将程序安装到存储单元308中。此外,该程序可以经由有线或无线传输介质由通信单元309接收并且安装到存储单元308中。另外,可以在rom 302或存储单元308中预先安装程序。
351.在本说明书中,流程图中描述的步骤当然可以根据所描述的次序按时间次序来进行,或者可能不一定按时间次序处理。步骤可以并行地执行,或者在必要的定时执行,诸如在调用的情况下。
352.此外,在本说明书中,系统意味着一组多个组件(装置、模块(部件)等),并且所有组件是否处于同一壳体中并不重要。因此,在分开的壳体中容纳并经由网络连接的多个装置以及具有容纳在一个壳体中的多个模块的一个装置均是系统。
353.本技术的实施例不限于上述实施例,而是可以在本技术的范围内以各种方式进行修改。
354.例如,可以采用组合上述多个实施例的全部或一些的模式。
355.例如,本技术可以具有云计算配置,其中多个装置共享一个功能并经由网络协同处理。
356.此外,上述流程图中描述的每个步骤可以由一个装置执行,或者可以由多个装置共享。
357.此外,在一个步骤中包括多条处理的情况下,该步骤中包括的多条处理可以由一个装置执行,或者可以由多个装置共享。
358.注意,本说明书中描述的效果仅仅是示例并且不是限制性的,并且可以获得本说明书中描述的那些以外的效果。
359.注意,本技术可以如下所述配置。
360.(1)一种图像管理方法,包括:
361.由管理由卫星捕获的捕获图像的管理装置将至少包括关于与捕获图像相关的人员的信息的元数据添加到捕获图像。
362.(2)根据(1)所述的图像管理方法,其中
363.相关人员信息包括关于卫星所有者、使用卫星的服务运营商或者具有捕获图像的权限的人员中的任何一个的信息。
364.(3)根据(1)或(2)所述的图像管理方法,其中
365.所述管理装置对所述捕获图像进行使用限制处理。
366.(4)根据(1)或(2)所述的图像管理方法,其中
367.所述管理装置对所述捕获图像进行水印处理。
368.(5)根据(1)至(4)中的任一项所述的图像管理方法,其中
369.所述管理装置从所述卫星接收添加了所述元数据的捕获图像。
370.(6)根据(1)至(4)中的任一项所述的图像管理方法,其中
371.所述管理装置从所述卫星接收所述元数据作为与所述捕获图像不同的流。
372.(7)根据(1)至(6)中的任一项所述的图像管理方法,其中
373.所述元数据包括用于识别所述卫星的卫星标识符和用于识别包括所述卫星的卫星集群的卫星集群标识符。
374.(8)根据(1)至(7)中的任一项所述的图像管理方法,其中
375.所述元数据包括关于与构成卫星集群的每个卫星的相对位置的信息。
376.(9)根据(8)所述的图像管理方法,其中
377.关于相对位置的信息包括构成所述卫星集群的每个卫星的排列顺序和卫星之间的距离。
378.(10)根据(1)至(9)中的任一项所述的图像管理方法,其中
379.所述元数据包括关于由所述卫星成像的成像内容的信息。
380.(11)根据(10)所述的图像管理方法,其中
381.关于成像内容的信息包括成像目标位置信息、成像条件、图像传感器种类、成像时刻或成像时的卫星位置中的至少任何一个。
382.(12)根据(1)至(11)中的任一项所述的图像管理方法,其中
383.所述元数据包括关于所述捕获图像的图像种类的信息。
384.(13)根据(12)所述的图像管理方法,其中
385.关于捕获图像的图像种类的信息包括图像处理信息。
386.(14)一种由卫星捕获的捕获图像的元数据的数据结构,
387.其中,所述元数据至少包括关于与捕获图像相关的人员的信息,以及
388.管理所述捕获图像的管理装置用于核对与捕获图像相关的人员的处理。
389.(15)根据(14)所述的元数据的数据结构,其中
390.所述元数据附加到所述捕获图像。
391.附图标记列表
392.1 卫星图像处理系统
393.11 卫星集群管理装置
394.13 通信装置
395.14 天线
396.15 地面站(基站)
397.21 卫星
398.31 卫星集群
399.41 信息提供服务器
400.42 图像分析服务器
401.101 管理单元
402.111 成像装置
403.211 控制单元
404.222 控制单元
405.231 控制单元
406.250 事件检测区域
407.251 发送装置
408.271 发送单元
409.272 控制单元
410.273 传感器单元
411.291 发送装置
412.292 控制装置
413.293 传感器
414.301 cpu
415.302 rom
416.303 ram
417.306 输入单元
418.307 输出单元
419.308 存储单元
420.309 通信单元
421.310 驱动器
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献