图像处理设备和方法、图像处理系统、控制方法和介质与流程

1.本技术涉及raw(原始)图像的显像处理。


背景技术：

2.诸如数字照相机等的摄像装置中所使用的摄像元件(图像传感器)安装有滤色器，并且该配置使得特定波长的光进入各个像素。用于将通过利用诸如此类的摄像装置进行摄像而获得的图像(raw图像)转换为人们可以作为照片进行鉴赏的彩色图像的处理被称为“显像处理”。一般而言，显像处理的结果所需的质量越高，其计算成本就变得越高。因此，已知一种通过准备具有大量计算资源的服务器并且在该服务器上应用显像处理来实现处理的速度和质量这两者的提高的方法。在诸如此类的处理系统中，用户将raw图像数据传输到服务器并从该服务器接收显像处理的结果，并且在已经进行了摄像的数字照相机或pc(以下称为“客户终端”)上显示彩色图像。在如上所述在服务器和客户终端之间传输和接收显像结果的图像数据的情况下，不发生短的等待时间，直到用户能够在客户终端的画面上浏览显像结果为止。作为用于应对等待时间的方法，已经提出了用于在客户终端的画面上显示缩小的预览图像、直到从服务器接收到显像结果的方法(日本专利特开2012-95351)。
3.然而，利用上述日本专利特开2012-95351的技术，显像结果的数据量越大，传输和接收所需的时间就变得越长，并且因此，特别是在服务器上对多个raw图像进行批处理的情况下，原本期望显示的显像结果暂时不显示。此外，需要将显像结果存储在服务器中，直到完成用于将显像结果从服务器传输到客户终端的处理为止，但是数据量越大，对服务器的存储容量施加的负荷越多。


技术实现要素：

4.根据本发明的一种图像处理设备，包括：显像单元，其被配置为对输入原始图像应用显像处理；获取单元，其被配置为获取差分图像，所述差分图像指示通过对原始图像应用与所述显像处理相同的第一显像处理而获得的第一结果图像与通过对原始图像应用与所述第一显像处理不同的第二显像处理而获得的第二结果图像之间的差分；以及生成单元，其被配置为基于所述第一结果图像和所述差分图像，通过对原始图像应用显像处理来生成第三结果图像，其中，所述第二显像处理的处理负荷比所述第一显像处理的处理负荷高。
5.一种图像处理设备，包括：显像单元，其被配置为对输入原始图像应用显像处理；存储单元，其被配置为存储指示所述显像处理的结果的结果图像；获取单元，其被配置为获取差分图像，所述差分图像指示通过对原始图像应用与所述显像处理相同的第一显像处理而获得的第一结果图像与通过对原始图像应用与所述显像处理不同的第二显像处理而获得的第二结果图像之间的差分；以及更新单元，其被配置为将所存储的结果图像与所获取到的差分图像相关联地存储，或者通过所获取到的差分图像来更新所存储的结果图像。
6.一种图像处理设备，包括：显像单元，其被配置为对输入原始图像应用第一显像处理和与所述第一显像处理不同的第二显像处理；以及生成单元，其被配置为生成差分图像，
所述差分图像指示通过应用所述第一显像处理而获得的第一结果图像与通过应用所述第二显像处理而获得的第二结果图像之间的差分。
7.一种图像处理系统，用于对原始图像进行显像，所述图像处理系统包括：第一设备和第二设备，其中，所述第一设备包括：显像单元，其被配置为对输入原始图像应用显像处理；存储单元，其被配置为存储指示所述显像处理的结果的结果图像；获取单元，其被配置为获取差分图像，所述差分图像指示通过对原始图像应用与所述显像处理相同的第一显像处理而获得的第一结果图像与通过对原始图像应用与所述显像处理不同的第二显像处理而获得的第二结果图像之间的差分；以及更新单元，其被配置为基于所述差分图像来更新存储在所述存储单元中的结果图像，以及所述第二设备包括：获取单元，其被配置为从所述第一设备获取原始图像；显像单元，其被配置为对所获取到的原始图像应用所述第一显像处理和所述第二显像处理；生成单元，其被配置为生成差分图像，所述差分图像指示通过应用所述第一显像处理而获得的第一结果图像与通过应用所述第二显像处理而获得的第二结果图像之间的差分；以及传输单元，其被配置为将所生成的差分图像传输到所述第一设备。
8.一种图像处理方法，包括以下步骤：对输入原始图像应用显像处理；获取差分图像，所述差分图像指示通过对原始图像应用与所述显像处理相同的第一显像处理而获得的第一结果图像与通过对原始图像应用与所述第一显像处理不同的第二显像处理而获得的第二结果图像之间的差分；以及基于所述第一结果图像和所述差分图像，通过对输入原始图像应用显像处理来生成第三结果图像，其中，所述第二显像处理的处理负荷比所述第一显像处理的处理负荷高。
9.一种图像处理方法，包括以下步骤：对输入原始图像应用显像处理；存储指示所述显像处理的结果的结果图像；获取差分图像，所述差分图像指示通过对原始图像应用与所述显像处理相同的第一显像处理而获得的第一结果图像与通过对原始图像应用与所述显像处理不同的第二显像处理而获得的第二结果图像之间的差分；以及将所存储的结果图像与所获取到的差分图像相关联地存储，或者通过所获取到的差分图像来更新所存储的结果图像。
10.一种图像处理方法，包括以下步骤：对输入原始图像应用第一显像处理和与所述第一显像处理不同的第二显像处理；以及生成差分图像，所述差分图像指示第一结果图像与第二结果图像之间的差分，所述第一结果图像指示通过应用所述第一显像处理而获得的结果，所述第二结果图像指示通过应用所述第二显像处理而获得的结果。
11.一种图像处理系统的控制方法，所述图像处理系统用于对原始图像进行显像并且包括第一设备和第二设备，其中，控制所述第一设备以进行以下步骤：对输入原始图像应用显像处理；存储指示所述显像处理的结果的结果图像；获取差分图像，所述差分图像指示通过对原始图像应用与所述显像处理相同的第一显像处理而获得的第一结果图像与通过对原始图像应用与所述显像处理不同的第二显像处理而获得的第二结果图像之间的差分；以及基于所述差分图像来更新存储步骤中所存储的结果图像，控制所述第二设备以进行以下步骤：从所述第一设备获取原始图像；对所获取到的原始图像应用所述第一显像处理和所述第二显像处理；生成差分图像，所述差分图像指示通过应用所述第一显像处理而获得的第一结果图像与通过应用所述第二显像处理而获得的第二结果图像之间的差分；以及将所
生成的差分图像传输到所述第一设备，以及所述第二显像处理的处理负荷比所述第一显像处理的处理负荷高。
12.一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使计算机进行图像处理方法，所述图像处理方法包括以下步骤：对输入原始图像应用显像处理；存储指示所述显像处理的结果的结果图像；获取差分图像，所述差分图像指示通过对原始图像应用与所述显像处理相同的第一显像处理而获得的第一结果图像与通过对原始图像应用与所述显像处理不同的第二显像处理而获得的第二结果图像之间的差分；以及通过相加所获取到的差分图像来更新存储步骤中所存储的结果图像，其中，所述第二显像处理的处理负荷比所述第一显像处理的处理负荷高。
13.通过下面参照附图对示例性实施例的描述，本发明的进一步特征将变得显而易见。
附图说明
14.图1是示出图像处理系统的配置的示例的图；
15.图2是整个图像处理系统的框图；
16.图3是示出图像处理系统中的处理流程的序列图；
17.图4是示出低负荷显像处理的流程的流程图；
18.图5是示出raw图像中的一部分图像区域的图；
19.图6是示出在云服务器中所应用的显像处理的流程的流程图；
20.图7a是第一结果图像的一部分的放大图，并且图7b是第二结果图像中的对应部分的放大图；
21.图8是说明将图像划分为多个栅格形状区域的方式的图；以及
22.图9a至图9c是说明矩形区域的尺寸调整处理的图。
具体实施方式
23.下面参照附图，根据优选实施例详细说明本发明。以下实施例所示的配置仅仅是示例性的，并且本发明不限于示意性所示的配置。
24.[第一实施例]
[0025]
在本实施例中，客户终端不仅将raw图像数据连同显像请求一起传输到服务器，还在其自身的终端中应用尽管质量相对低但负荷低的显像处理。然后，服务器对从客户终端接收到的raw图像应用两种显像处理(即，上述低负荷显像处理和尽管负荷高但质量高的显像处理)，并且生成指示这两者结果之间的差的图像(以下描述为“差分图像”)，并且将差分图像提供给客户终端。然后，客户终端基于从服务器接收到的差分图像和由其自身终端获得的低负荷显像处理的结果来再现上述高负荷显像处理的结果。以下说明实现本实施例的系统配置。
[0026]
图1是示出根据本实施例的图像处理系统的配置的示例的图。在图1所示的图像处理系统中，经由因特网连接作为客户终端的pc(以下称为“客户pc”)100和云服务器200。假设通过以数字照相机10作为摄像装置进行摄像来获得原始raw图像。
[0027]
《客户pc的硬件配置》
[0028]
本实施例的客户pc 100是安装有用于显像、浏览和编辑raw图像的专用应用的信息处理设备。用户将raw图像(马赛克图像)传输到云服务器200并接收其显像结果(去马赛克图像)，并且通过利用专用应用来浏览和编辑去马赛克图像。客户端pc 100具有cpu 101a、ram 102a、rom 103a、大容量存储装置104a、网络i/f 105a和通用接口(i/f)106，并且各个组件通过系统总线107a彼此连接。此外，客户pc 100还经由通用i/f 106连接到数字照相机10、输入装置20、外部存储装置30和显示装置40。
[0029]
cpu 101a通过使用ram 102a作为工作存储器执行存储在rom 103a中的程序，经由系统总线107a集中控制客户pc 100的各个组件。此外，大容量存储装置104a是例如hdd或ssd，并且存储客户pc 100中处理的各种数据。cpu 101a将数据写入大容量存储装置104a，并经由系统总线107a读取存储在大容量存储装置104a中的数据。通用i/f 106是诸如usb、ieee 1394和hdmi(注册商标)等的串行总线接口。客户pc 100经由通用i/f 106从外部存储装置30(诸如存储卡、cf卡、sd卡和usb存储器等的各种存储介质)获取数据。此外，客户pc 100经由通用i/f 106从诸如鼠标和键盘等的输入装置20接收用户指令。此外，客户pc 100经由通用i/f 106将cpu 101a所处理的图像数据等输出到显示装置40(诸如液晶显示器等的各种图像显示装置)。此外，客户pc100经由通用i/f 106从作为摄像装置的数字照相机获取作为显像处理的对象的拍摄图像(raw图像)的数据。网络i/f 105a是用于连接到因特网的接口。客户pc 100通过安装的网络浏览器访问云服务器200并进行图像数据的传输和接收。
[0030]
《云服务器的硬件配置》
[0031]
本实施例的云服务器200是在因特网上提供云服务的服务器设备。更具体地，云服务器200对从客户pc 100接收到的raw图像应用两种显像处理(即，低负荷显像处理和高负荷显像处理)，并向客户pc 100提供与这两种显像处理结果之间的差相对应的图像数据。云服务器200具有cpu 101b、rom 102b、ram 103b、大容量存储装置104b和网络i/f 105b，并且各个组件通过系统总线107b彼此连接。cpu 101b通过读取存储在rom 102b中的控制程序并进行各种处理来控制整个操作。ram 103b用作临时存储区域，诸如cpu 101b的主存储器和工作存储器等。大容量存储装置104b是存储图像数据和各种程序的诸如hdd和ssd等的大容量二次存储装置。网络i/f 105b是用于连接到因特网的接口，并且从客户pc 100的网络浏览器接收请求并进行图像数据的传输和接收。
[0032]
客户pc 100和云服务器200的组件存在除了上述之外的组件，但它们不是本发明的主要目的，因此省略其说明。此外，在本实施例中，假设安装有专用应用的客户pc 100向云服务器200做出对raw图像显像处理的请求，并从云服务器200接收其显像结果(差分图像)，并在客户pc 100中浏览并编辑显像结果。然而，上述系统配置是示例，并且系统配置不限于此。例如，配置可以如下：包括客户pc 100的功能的数字照相机100直接访问云服务器200，并且传输raw图像并接收显像结果以及在数字照相机10中浏览显像结果。
[0033]
《整个系统的处理流程》
[0034]
接着，说明了本实施例的图像处理系统中所进行的各种处理。图2是整个图像处理系统的功能框图，图3是示出图像处理系统中的处理流程的序列图。图2所示的各个功能单元由cpu 101a/101b执行与各个功能单元相对应的计算机程序来实现。然而，还可以通过硬件来实现图2所示的全部或部分功能单元。下面，按照图3的序列图进行说明。在以下说明
中，符号“s”是指步骤。
[0035]
在s301中，客户pc 100的输入数据获取单元201从数字照相机10获取作为显像处理对象的raw图像的数据。此时，将与拍摄时的各种条件设置相关的信息(摄像信息)附加至raw图像。作为被包括在摄像信息中的项目，涉及iso感光度、快门速度、白平衡、摄像时间、摄像装置的型号类型等。以下，将附加了摄像信息的raw图像数据称为“raw数据”。获取到的raw数据被输出到摄像信息提取单元202、显像单元203和传输单元206。获取到raw数据的源可以不是数字照相机10，并且还可以从外部存储装置30读取通过预先进行摄像而获得并存储的raw数据。在随后的s302中，传输单元206将从输入数据获取单元201接收到的raw数据连同其显像请求一起传输到云服务器200。
[0036]
在随后的s303至s305的各个处理由客户pc 100进行，并且在s306至s308的各个处理由云服务器200随之并行进行。
[0037]
在s303中，客户pc 100的显像单元203对从输入数据获取单元201接收到的raw数据应用显像处理。显像单元203中的显像处理是计算量相对小并且处理负荷低的显像处理(以下称为“低负荷显像处理”)。用于低负荷显像处理的预定参数(曝光、白平衡等)可以基于从raw数据提取的摄像信息来自动确定，或者可以由用户单独设置。图4是示出该步骤中所应用的低负荷显像处理的流程的流程图。以下，沿着图4的流程给出说明。
[0038]
首先，在s401中，摄像信息提取单元202从raw数据提取摄像信息。所提取的摄像信息被输出到结果数据生成单元204。在下一个s402中，显像单元203应用低负荷显像处理。本实施例的低负荷显像处理包括五个处理：白平衡调整、噪声移除(减少)、去马赛克、颜色转换和伽玛分配。然后，在各个处理中，进行与稍后将描述的云服务器200中所执行的计算成本高的显像处理中的各个处理相比负荷更小或相等的处理。配置显像处理的处理不限于上述五个处理。这里说明去马赛克。去马赛克处理是在包括在raw数据中的拍摄图像的数据格式是与传感器输出相符的数据格式的情况下、将该数据格式转换为各个像素具有rgb分量的数据格式的处理。与传感器输出相符的数据格式是例如根据bayer阵列各个像素具有rgb分量之一的数据格式。在低负荷显像处理的去马赛克中，对于关注像素，通过例如双线性插值来估计与像素中不存在的两个其余颜色分量有关的信息。双线性插值是将某一缺陷像素的值求解为该缺陷像素附近的八个周围的非缺陷像素的平均值的方法。图5是示出raw图像中的图像区域的一部分的图。例如，在图5所示的3
×
3像素的图像区域中，仅存储r分量的中央像素中的g分量的值可以被求解为四个周围的像素(x2、x4、x5、x7)的g分量的平均值，如下面的公式所示。
[0039]
[数学公式1]
[0040]
(中央的r像素的g的值)＝(x2 x4 x5 x7)/4
ꢀꢀꢀ
公式(1)
[0041]
同样地，b分量也可以被求解为中央像素的四个周围的像素(x1、x3、x6、x8)的b分量的平均值，如下式所示。
[0042]
[数学公式2]
[0043]
(中央的r像素的b的值)＝(x1 x3 x6 x8)/4
ꢀꢀꢀ
公式(2)
[0044]
对于低负荷显像处理中的马赛克，也可以使用另一插值方法，诸如双三次插值和最近邻等。此外，可以接受如下的这种处理：通过图像分析提取边缘分量，并且根据区域是否是平坦区域或根据边缘方向在双线性插值和双三次插值之间切换插值。作为低负荷显像
处理的结果的各个像素具有rgb分量的图像(结果图像)的数据被输出到结果数据生成单元204。
[0045]
在s403中，结果数据生成单元204通过将由摄像信息提取单元202所提取的摄像信息附加至从显像单元203输出的结果图像来生成显像结果数据。此时，也可以在以jpeg格式压缩上述结果图像之后附加摄像信息。压缩方法不限于jpeg格式，并且可以通过例如yuv格式来进行压缩。此外，还可以对以jpeg格式压缩的图像进一步进行以yuv格式的压缩。将由此所生成的显像结果数据输出到结果数据存储单元205。以上是s303的显像处理的内容。说明返回到图3的流程。
[0046]
在s304中，结果数据存储单元205将从结果数据生成单元204接收到的显像结果数据存储在ram 102a或大容量存储装置104a中。然后，在s305中，作为显示装置40的显示控制单元的图像显示单元210访问结果数据存储单元205，并读取所存储的显像结果数据，并将该显像结果数据内的结果图像作为预览图像显示在显示装置40上。
[0047]
在此之后，说明s306和后续步骤中的云服务器200侧的处理。首先，在s306中，云服务器200的接收单元211接收从客户pc 100传输的raw数据。在下一s307中，在云服务器200内的两个显像单元(第一显像单元213和第二显像单元214)中，对raw数据分别应用内容不同的显像处理。图6是示出在本步骤中应用的显像处理的流程的流程图。以下，沿着图6的流程给出说明。
[0048]
首先，在s601中，如先前所述的s401那样，云服务器200的摄像信息提取单元212从所接收到的raw数据提取摄像信息。所提取的摄像信息被输出到第一显像单元213和第二显像单元214。
[0049]
接着，在s602中，第一显像单元213应用低负荷显像处理，并且在s603中，第二显像单元214分别对在s306中接收到的raw数据应用高负荷显像处理。
[0050]
首先，说明由第一显像单元213所应用的低负荷显像处理(s602)。由第一显像单元213所应用的低负荷显像处理与上述s303中所说明的低负荷显像处理相同。也就是说，第一显像单元213应用由客户pc 100的显像单元203所应用的相同显像处理。这里，在“相同显像处理”中，至少处理内容需要相同，但其处理结果不需要相同。例如，在客户pc 100的显像单元203通过双线性插值进行去马赛克处理的情况下，需要通过双线性插值在第一显像单元213中进行去马赛克处理。然而，其结果不需要完全相同，并且例如，允许针对一部分像素在插值结果的舍入误差范围中发生差异。假设云服务器200预先准备了与安装在客户pc 100中的低负荷显像处理程序相同的程序。第一显像单元213中的低负荷显像处理的结果图像(以下称为“第一结果图像”)被输出到差分图像生成单元215。
[0051]
接着，说明由第二显像单元214所应用的高负荷显像处理(s603)。由第二显像单元214所应用的高负荷显像处理是与由第一显像单元213所应用的显像处理相比处理负荷更高并且能够获得更高质量的显像结果的显像处理。如先前所述的低负荷显像处理的情况一样，本实施例的高负荷显像处理包括五个处理：白平衡调整、噪声移除(减少)、去马赛克、颜色转换和伽玛分配。然后，在各个处理中，应用与配置前述低负荷显像处理的各个处理相比处理负荷相等或更高的处理。配置显像处理的处理不限于上述五个处理。这里，对高负荷显像处理中计算成本高的去马赛克进行说明。在本实施例中，作为高负荷显像处理中的高负荷去马赛克处理，进行使用预先训练的神经网络的去马赛克处理。作为使用神经网络的去
马赛克，例如，存在一种基于卷积神经网络学习去马赛克网络的方法(参见syu、nai-sheng、yu-sheng chen和yung-yu chuang的“learning deep convolutional networks for demosaicing”arxiv preprint arxiv:1802.03769(2018))。除此之外，作为高计算成本的去马赛克处理，还可以进行例如参考与图像内颜色相似的区域有关的信息的方法或者在将运动图像作为处理对象的情况下参考与过去帧中的相应位置的像素或区域有关的信息的方法。此外，还可以基于在s601所提取的摄像信息来确定用于显像处理的参数。通过包括诸如此类的高计算成本的去马赛克的高负荷显像处理而获得的rgb格式的图像具有与上述第一结果图像相同的图像格式(即，图像尺寸等相同)。在本实施例中，假设内容与低负荷显像处理(s402)的内容相同的处理被应用于除马赛克以外的其余四个处理(白平衡调整、噪声移除(减少)、颜色转换、伽玛分配)。以这种方式，第二显像单元214中的高负荷显像处理的结果图像(以下称为“第二结果图像”)被输出到差分图像生成单元215。以上是s307的显像处理的内容。说明返回到图3的流程。
[0052]
在第一显像单元213和第二显像单元214中分别完成显像处理的情况下，在s308中差分图像生成单元215通过提取所接收到的第一结果图像和第二结果图像之间的差分来生成指示该差分的图像(差分图像)。图7a是第一结果图像的一部分的放大图，并且图7b是第二结果图像中的相应部分的放大图。已知第二结果图像是更高质量的图像。如上所述，在第一结果图像和第二结果图像之间的精细部分中存在差异，并且通过以像素为单位提取该差异来生成差分图像。所获得的差分图像的数据由图像存储单元216存储在ram 103b等中。在存储之前，如在客户pc 100中的显像处理(s303)中所说明的那样，还可以对所生成的差分图像进一步进行压缩。作为此时的压缩方法，应用与在前述s403中所应用的压缩格式相同的方法。第一结果图像和第二结果图像通常具有基本相同的结构并且仅在精细部分不同，因此，通过对差分图像进行压缩，与在这两种结果图像都作为单独图像进行压缩的情况下的数据量减少效果相比，可以期望数据量的进一步减少。临时存储差分图像的数据的原因是使得能够在优选的定时将差分图像的数据传输到客户pc 100。这里，优选的定时例如是客户pc 100和云服务器200之间的通信状况良好的定时和用户要求差分图像的定时(接收到稍后描述的获取请求的定时)。也可以设计配置，使得在不进行存储处理的情况下将所生成的差分图像的数据立即传输到客户pc 100。在这种情况下，不再需要数据存储单元216。
[0053]
在s309中，客户pc 100的用户操作获取单元207接收用于下载差分图像的指令。用户指定用户希望下载的差分图像，并且通过使用输入装置20给出指令。用户操作获取单元207经由传输单元206将根据用户指令的对差分图像的获取请求传输到云服务器200。还可以自动传输获取请求。例如，监视与云服务器200的通信状态，并且在该状态变得良好的情况下，传输对尚未接收到显像结果的图像的获取请求，或者在用户进行在操作画面上放大上述预览图像的操作的情况下，传输对该图像的获取请求，等等。
[0054]
在s310中，云服务器200的接收单元211接收对差分图像的获取请求。然后，在s311中，云服务器200的传输单元217读取该获取请求所指定的差分图像的数据，并将该数据传输到客户pc 100。
[0055]
在s312中，客户pc 100的接收单元208接收从云服务器200发送的差分图像的数据。差分图像的接收数据被输出到图像更新单元209。然后，在s313中，图像更新单元209基于所接收到的差分图像来更新存储在结果数据存储单元205中的结果图像。更详细地，首
先，经由结果数据存储单元205从大容量存储装置104a等读取所存储的显像结果数据。然后，将从云服务器200接收到的差分图像与所读取的显像结果数据内的结果图像相加。此时，在存储结果图像和接收到的差分图像被压缩的情况下，在对这两个图像进行解压缩之后进行相加。因此，通过第二显像单元214中的高负荷显像处理的第二结果图像在客户pc 100中再现(恢复)。然后，将相加差分图像之后的结果图像作为新的结果图像存储在显像结果数据内。即，通过低负荷显像处理的结果图像被通过高负荷显像处理的结果图像覆盖。此外，图像更新单元209还可以将所接收到的差分图像与存储在结果数据存储单元205中的结果图像相关联地存储。
[0056]
在s314中，图像显示单元210访问结果数据存储单元205并读取所存储的显像结果数据，并在显示装置40上显示更新的结果图像来代替当前正在显示的预览图像。即，在此阶段，显示从质量相对低的显像结果切换到质量更高的显像结果。
[0057]
以上是根据本实施例的图像处理系统中的处理的流程。在本实施例中，示出在低负荷显像处理和高负荷显像处理之间仅去马赛克处理的内容不同的示例，但是也可以在配置诸如噪声减少处理和颜色转换处理等的显像处理的多个处理中使得处理内容不同。
[0058]
《变形例1》
[0059]
接着，作为变形例1说明在显像处理对象raw图像是运动图像的情况下的处理。系统的基本配置和处理的流程是相同的，因此主要沿着先前所描述的图3中的序列图来说明不同点。
[0060]
首先，获取以时间序列布置多个帧的运动图像格式的raw图像(以下称为“raw运动图像”)，以及包括其摄像信息的raw数据(s301)。在此之后，所获取的raw数据连同其显像请求一起被传输到云服务器200(s302)。然后，分别在客户pc 100和云服务器200中应用先前描述的显像处理。
[0061]
在客户pc 100中，对raw数据应用低负荷显像处理(s303)。此时，对配置raw运动图像的各帧应用低负荷显像处理。然后，将摄像信息附加至以显像后的帧为单位的结果图像，并将该结果图像存储为显像结果数据(s304)，并将该结果图像作为预览运动图像显示在显示装置40上(s305)。
[0062]
另一方面，在云服务器200中，与从客户pc 100接收到的rwa数据并行应用低负荷显像处理和高负荷显像处理(s306、s307)。此时，这两个显像处理都以配置raw运动图像的帧为单位应用。然后，基于这两个显像处理的结果，差分图像生成单元215以帧为单位生成差分图像(s308)。此时，在本变形例中，从第二显像单元214输入的第二结果图像所包含的各帧以时间序列被压缩为例如mov格式的运动图像数据。对于时间序列的压缩，也可以使用诸如mpeg格式和avi格式等的其它格式。然后，在压缩时，仅对关键帧进行利用差分图像的替换。由此，可以减少关键帧的数据量，并且还可以减少时间序列的压缩的整个结果的数据量。
[0063]
在此之后，在从客户pc 100接收到对差分图像的获取请求(s309、s310)的情况下，云服务器200将包括差分图像并且以时间序列压缩的运动图像数据传输到客户pc 100(s311)。在已经从云服务器200接收到上述运动图像数据的客户pc 100中，在图像更新单元209中进行结果图像的更新处理(s312、s313)。在本变形例中，如上所述，以时间序列压缩包括关键帧的差分图像的运动图像数据，因此，以时间序列解压缩的运动图像数据被输入到
图像更新单元209。然后，图像更新单元209从结果数据存储单元205读取显像结果数据，并且将差分图像仅与其帧组中的关键帧相加。将其余帧替换为以时间序列压缩的运动图像数据中的相应帧。然后，将替换帧的组转换为mov格式的运动图像，并且将转换的运动图像作为新的结果图像存储在显像结果数据内。然后，更新的显像结果数据由图像显示单元210读取，并且在显示装置40上显示利用运动图像的新结果图像。
[0064]
以上是根据本变形例的图像处理系统中的处理的流程。在本变形例中，示出仅将关键帧替换为差分图像并进行存储的示例，但是也可以设计将除关键帧以外的帧也替换为差分图像并进行存储的配置。例如，也可以生成将所有帧替换为差分图像的运动图像(差分运动图像)。在这种情况下，图像更新单元209可以通过比较更新前的结果图像中的各帧和差分运动图像中的各帧并针对各帧计算这两者的总和来获得高质量的显像图像。此外，在本变形例中，示出以处理对象运动图像为单位进行各块之间的数据传输和接收的示例，但是也可以减少传输和接收数据的单位。例如，也可以通过将运动图像划分为小的运动图像或者以一帧为单位分离运动图像等来顺次进行数据的传输和接收以及图像处理。
[0065]
《变形例2》
[0066]
接着，将如下方面描述为变形例2：通过将差分图像划分为多个区域、并且仅存储与差分大的区域相对应的部分图像并进行该部分图像的发送和接收来减少数据量。如在变形例1中那样，系统的基本配置和处理的流程是相同的，因此，主要沿着先前所描述的图3中的序列图来说明不同点。
[0067]
特别地，在s301至s307的各处理没有不同，因此省略说明。在两种显像处理区域完成之后，本变形例的差分图像生成单元215生成指示第一结果图像和第二结果图像之间的差分的差分图像，并且在将差分图像进一步划分为栅格形状区域之后仅提取差分大的区域的部分图像(s308)。图8是说明将图像划分为多个栅格形状区域的方式的图。在图8中，为了便于说明，使用第二结果图像来代替差分图像，并且以重叠的方式在图像800上显示栅格。差分图像生成单元215评估针对各个划分的矩形区域801的差分的大小，并且提取包括具有大于或等于阈值的差分的区域(由图8的黑框所指示的矩形区域)802的矩形区域组803。可以通过将第一结果图像和第二结果图像中的像素的平均绝对误差、均方误差、误差的绝对值的最大值、误差的绝对值的众数等作为指标来评估差分的大小。然后，在本变形例中，对所提取的矩形区域组803的各矩形区域进一步进行尺寸调整处理。图9a至图9c是说明矩形区域的尺寸调整处理的图。图9a是在尺寸减少的情况下的说明图。在图9a中，矩形区域901包括差分的大小被确定为大于或等于阈值的像素组901a。对矩形区域901a进行用于减少矩形区域尺寸的处理，使得诸如矩形区域902等的较小面积可以包括像素组901a。另一方面，图9b是在尺寸增大的情况下的说明图。在图9b中，矩形区域911仅包括差分的大小被确定为大于或等于阈值的三个像素组910a至910c中的像素组910a。与矩形区域911一样，在差分的大小被确定为大于或等于阈值的像素组存在于其自身周围的情况下，增大尺寸以包括这些像素组。为了实现这一点，如图9c所示，按顺序测试具有多个尺寸和高宽比的矩形区域候选，并且选择能够包括具有较小面积的周边图像组的矩形区域。结果，如图9b所示，尺寸变为具有最小面积的矩形区域912。矩形区域尺寸的确定方法可以不是用于从候选中选择的方法，并且还可以用通过搜索来增加/减少尺寸的方法来确定尺寸。将指示区域的位置和尺寸的信息(区域信息)(这里是与矩形区域的左上方的坐标以及垂直方向上的像素数量和水
平方向上的像素数量(x，y，dx，dy)有关的信息)附加至与以这种方式进行了尺寸调整的矩形区域相对应的部分图像。区域信息的描述方法不限于此格式。例如，可以接受指示各矩形区域的左上点和右下点这两个点的位置坐标(x_
ul
、y_
ul
、x_
dr
、y_
dr
)。可选地，还可以通过与多个矩形区域相对应的掩模图像的格式来指定信息。此外，在矩形区域的尺寸和布置统一的情况下，还可以向各个矩形区域给出指示位置的id，并将该id用作区域信息。如上所述附加有区域信息的部分图像的数据由数据存储单元216存储。
[0068]
在此之后，在从客户pc 100接收到对差分图像的获取请求(s309、s310)的情况下，云服务器200将上述部分图像的数据传输到客户pc 100(s311)。在已经从云服务器200接收到上述部分图像的数据的客户pc 100中，在图像更新单元209中进行结果图像的更新处理(s312、s313)。在本变形例中，通过参考附加至所接收到的部分图像的区域信息，将各部分图像的像素值添加到更新前的显像结果中的相应位置。以这种方式添加了部分图像的更新的结果图像作为新的结果图像存储在显像结果数据内。然后，由图像显示单元210读取更新的显像结果数据，并且在显示装置40上显示新的结果图像。
[0069]
以上是根据本变形例的图像处理系统中的处理的流程。根据本实施例，可以进一步减少在云服务器和客户pc之间传输和接收的数据的容量。在本变形例中，示出将差分图像划分为栅格形状区域的示例，但是划分方法不仅仅限于此。例如，也可以使用除矩形以外的形状进行划分，或者通过分割进行区域划分。此外，在本变形例中，示出在空间方向上划分差分图像的示例，但是也可以在颜色分量的方向上进行划分。例如，在将差分图像划分为多个矩形区域之后，还可以将各矩形区域进一步划分为根据rgb颜色空间的三个颜色分量(r，g，b)或者划分为根据l*a*b*颜色空间的三个颜色分量(l，a，b)。此时的划分是在将差分图像转换为预定颜色空间之后进行的。然后，仅输出差分大的颜色分量就足够了。
[0070]
《变形例3》
[0071]
此外，还可以使得差分图像的各个像素仅具有与该像素自身原本不具有的颜色分量有关的信息。例如，在先前所描述的图5中，使得位于图像中央的r像素仅存储与g分量和b分量有关的信息。在这种情况下，图像更新单元209基于所接收到的差分图像将输入raw图像中不存在的颜色分量的像素值添加到各个像素。由此，可以进一步减少由云服务器200存储和传输的数据量。
[0072]
如上所述，根据本实施例，在服务器中对raw图像应用显像处理并将其结果提供给客户终端的图像处理系统中，可以减少存储在服务器上的图像数据以及从服务器传输到客户端的图像数据的容量。
[0073]
(其它实施例)
[0074]
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0075]
根据本技术的技术，在服务器中对raw图像应用显像处理并且将其结果提供给客户终端的图像处理系统中，可以减少传输到客户终端的图像数据的容量。
[0076]
尽管参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应给予最宽泛的解释，以便包括所有这样的修改和同等的结构和功能。