单张图像的逼真动态光照变化合成方法与流程

1.本技术涉及一种单张图像动态光照合成方法，特别涉及一种单张图像的逼真动态光照变化合成方法，属于单张图像的逼真动态光照变化合成方法技术领域。


背景技术：

2.光照分析和处理已成功运用于电影、游戏、3d动画等实际应用中，一些极具真实感的电影当中，光照技术的应用为场景的真实性提供了强有力的支撑。光照对于场景图像的生成重要意义，在不同光照作用下，场景中物体的光照明暗度、阴影、镜面高光等特征会相应发生变化，形成具有真实感的光照变化图像。
3.当前，大数据量纷繁复杂的图像信息已填充了人们生活的各个角落，大量的图像承载着非常多的信息，处理起来不仅需要复杂的硬件条件，还耗费大量的人力物力，亟需从单张真实光照图像入手，对图像中光照信息进行针对性的分析处理，获得单张图像的光源条件信息以及场景三维空间形构，然后在光源条件信息估算结果的基础上，适当改变光照条件信息，可渲染合成满足人类视觉、心理、真实的动态光照变化图像。
4.单张图像可以向人们提供场景布局、形构及物体形状特征等信息，还能根据物体表面光照明暗变化、场景中阴影投影方向等信息，提供给人们场景中光源的大致朝向。但仅凭单张图像的二维信息，不能直观得到类似于光源方向、光源位置及场景中物体深度信息等准确的三维信息。因而，基于单张图像的处理与运用充满着挑战和困难。在此之前，现有技术对单张图像的光照信息进行估算处理，大致分为四种：一是借助于光照探测针、探测球、偏振片等额外的设备进行光照条件的估算；二是针对特定的三维结构对光源进行估算；三是基于渲染的单张虚拟图像的光照条件估算；四是基于kinect的图像解构与渲染估算光照条件的方法。以上四种方法都能在粗略估算得到图像场景的光照条件信息，但这四种方法都存在很大的局限性，其中，最大的局限因素为采用额外的辅助设备，额外的辅助设备不具有普适性，因而，单张图像的光照信息估算具有重要意义和巨大的应用价值。
5.改变图像场景中光源信息的众多技术中，常见的有图像的重光照技术和基于空间结构的真实感图像渲染技术。重光照技术需要采用复杂的设备获取大量的图像，对场景中不同视角、方位进行光照变化模拟，然后通过改变光照条件，得到任意光照条件、视角变化下增强现实的图像，该技术虽然可以改变光照条件，得到真实场景光照变化的图像，但却不适用于单张图像场景光照的变化。作为一种图像生成方法，传统的真实感图像渲染需要在已知场景三维空间形构、光照信息、物体表面材质属性等信息的前提下，根据光照模型进行渲染，然后在后续的纹理映射、隐藏空间线面等操作下，才能得到具有真实感的光照图像，但单张图像的信息量太少，不足以获得真实感图像渲染的各种参数。例如场景三维空间结构信息，单张图像仅是一个视角下场景信息的呈现，对于估算整个场景的三维空间结构信息存在一定难度，因而，如何最大化的利用单张图像的信息来进行动态光照合成是一个极其充满挑战的工作。
6.现有技术关于图像中光照条件估算的方法有很多，其中，比较经典的是对有限距
离光照的物体表面反射属性和光源位置进行估算，采用了朗伯漫反射模型，运用迭代松弛方案来解构出镜面光和漫反射光以估算光源位置，但该方法具有一定的局限性，实现依赖于偏振滤波器，且要求场景中的物体具有相同的漫反射性质，且显得不够鲁棒。
7.现有技术基于简单空间形构的光照信息估算以及插入简单空间物体的场景渲染的方法，能够根据简单空间场景的人工交互得到准确的光源位置，但由于该方法光源是场景中固有的，因而不适用于光源移动的相关应用。
8.现有技术利用基于同一场景、同一视角、不同光照方向的多幅图像来对场景光源位置进行估算，该方法不是直接计算出光源的具体位置，而是运用数据减维技术从一序列的图像中提取出光源的流形位置，然后运用最小二乘法将抽取出来的光源位置进行球面拟合，以得到光源点在三维空间中的具体位置。该方法的数据采样过程很复杂，需要按照特定方式、采用专业的设备对场景物体进行打光操作，实验花销比较大，并且估算结果可能存在很大的误差。因而不适用于一般性的光照信息的估算。
9.关于图像中光照变化的应用，现有技术较常见的有图像的重光照技术。其中用到球面谐波理论，运用球面谐波函数的离散表示特性，可减少重光照需要采样的数据集数量，得到场景光照的球面谐波map图，从而可以通过改变该球面谐波函数，渲染合成光照变化的场景图像。但在进行图像生成的过程中要使用大量的图像分割技术，并且shape from shading对于物体表面属性有一定的约束条件，只适用于理想漫反射材质物体的问题求解。
10.除此之外，现有技术的图像光照变化合成方法也还存在不足，本技术的难点和待解决的问题主要集中在以下方面：
11.第一，现有技术单张图像的动态光照处理面临诸多困难，一方面传统的光照图像生成过程需要知晓场景的三维空间形构以及光照条件等信息，但根据图像成像原理可知，单张图像仅为三维场景信息在二维平面投影，依据该二维信息很难恢复出整个场景的三维空间形构；另一方面，目前针对单张图像光照信息的估算，一般采用光照探测设备的方法或者利用现有空间形构信息的方法，这两者都需要使用额外的测量设备，因而不适用于一般的图像光照变化合成工作；
12.第二，三维信息向二维信息的转换，这其中自然会损失大量的信息，由于视角的局限性，单张图像的信息往往不足以用来获得场景的深度信息，所以仅从一幅图像的信息一般难以恢复三维场景的空间形构。现有技术获得场景深度信息的方法一般采用微软公司研发的kinect扫描仪器，单张rgb
‑
d图像可获得整个场景的粗略三维空间形构信息，但它并不是任何人都可以随时随的使用，对没有kinect设备或其他特殊情况，获得单张图像的深度信息是很困难的事情，同时kinect获得的信息在精度和效率上也存在较大问题；
13.第三，对于单张图像的光源估算与应用，现有技术有基于光照探针、偏振滤波片等复杂的测量仪器的、有基于特殊空间布局形构的、有基于渲染的虚拟图像的等等，这些估算光源信息的关联工作要么需要借助额外的探测设备，要么是基于虚拟图像的，对于许多场景下的运用，都存在很大的局限性，现有技术缺少合适的单张图像光源估算与应用方法；
14.第四，现有技术需要依靠测量设备对光源信息进行求解，无法仅输入单张图像，必须使用额外的测量设备，同时也无法得到动态光照变化的逼真图像；没有利用反射模型进行图像渲染合成，没有充分利用图像解构与光照信息处理结果，无法合成具有真实感的光照变化图像，导致图像的渲染过程非常复杂，无法解决单张图像渲染过程中渲染参数信息
不足的问题，得到的光照变化图像不是动态效果，或者明显不够逼真，不具有广泛的应用前景，无法运用在制作单张图像的光照动画、实现虚实融合中图像光照一致性等。


技术实现要素：

15.为了解决以上问题，本技术关键的处理和明显的改进包括：一是单张图像中镜面高光成分的去除，不对光源进行假设，根据每次分离出来的镜面高光成分进行新一轮迭代的光源的计算，直到光源计算不变时停止迭代运算，从而得到接近于真实场景的光源颜色，以及优化的镜面高光成分的分离；二是基于rgb
‑
d训练样本集的单张图像深度信息的估算，采用训练样本集统计的方法求得单张图像大致的深度信息值，在进行训练集样本选取的过程中针对性的对样本集进行人工筛选，且在求得单张图像深度信息的基础上，根据对深度信息的观测和分析，采用交互式法，选择可靠性高的深度信息值进行数据拟合，得到规整的三维场景空间形构，在对单张图像的光源信息以及场景三维空间形构估算后，采取一种简洁的图像修复方法，修复含有镜面高光残留的区域，然后通过对光源信息改变光源位置、光源颜色、光照强度的关联编辑，得到光照变化的逼真图像合成结果。
16.为实现以上技术特征，本技术所采用的技术方案如下：
17.单张图像的逼真动态光照变化合成方法，估算得到单张图像场景中的光照信息以及三维空间形构信息，然后通过对光照信息进行渲染，编辑合成具有真实感的光照变化图像；
18.本技术分为三个部分对单张输入图像进行动态光照变化合成，分别为：基于三维空间形构的图像光照渲染、估算单张图像光照信息、编辑合成逼真动态光照变化图像，首先，基于rgb
‑
d数据集对单张输入图像进行深度信息的估算，估算得到场景的三维空间形构信息，然后，采用图像解构与图像渲染相结合的方法，估算得到场景的光照信息，最后，结合场景的三维空间形构信息和光照信息，通过对光照信息进行编辑，渲染合成具有真实感的光照变化图像；
19.(一)基于三维空间形构的图像光照渲染方法流程分为三大步骤：
20.步骤1，估算单张图像深度信息：基于rgb
‑
d图像集，得到单张图像的深度信息图，然后利用深度信息图得到场景的粗略三维空间形构，在光照的作用下，结合场景的三维空间形构得到渲染之后的镜面反射shading图、漫反射shading图，得到特定光照条件下粗略的shading图像；
21.步骤2，解构真实图像：将输入图像解构为镜面反射shading图、漫反射shading图、反射率图三个部分；
22.步骤3,根据步骤1和步骤2得到的图像，优化光源的位置信息，使得最后求解的光源位置信息能够同时满足镜面高光和漫反射shading的数据拟合；
23.(二)估算单张图像光照信息包括解构光照图像和估算光照位置信息，解构光照图像又包括解构镜面反射成分和解构漫反射成分；
24.(三)编辑合成逼真动态光照变化图像分为修复镜面高光区域的图像和编辑单张图像光源，首先从单张图像的深度信息图出发，根据shading图像的渲染式渲染得到镜面高光图像；然后，将漫反射图像进行镜面高光残留成分的去除，对镜面高光区域进行图像修补，得到修复好的理想漫反射图像；最后将渲染得到的镜面高光图像与理想的漫反射图像
基于反射模型进行反向线性合成，得到动态光照变化得逼真图像。
25.单张图像的逼真动态光照变化合成方法，进一步的，一种单张图像深度信息估算方法的过程为：
26.第一步：前置处理阶段，由已知数据集得到与输入图像在特征空间上最近似的备选图像：基于rgb
‑
d图像数据集，根据与输入图像的rgb空间特征近似度，选择最近似的若干图像作为备选图像，采用gist与光流特征对数据集当中的每张图像计算高层次的图像特征，并对所有数据集进行k
‑
nn最近邻域搜索，在进行k
‑
nn最近邻域搜索时将k设置为7，即取7张rgb空间特征与输入图像最近似的图像作为备选图像，并将其对应的深度图作为备选深度图像；
27.第二步：估算粗略深度图，得到输入图像的粗略深度图：将备选图像的深度信息图与输入图像进行初步的匹配形变：将备选图像进行形变，得到形变后的备选图像，然后对于输入图像的每一个像素块，将形变后的备选深度图像中对应像素块的深度值与之输入图像进行稠密的场景校准，得到输入图像粗略的深度信息图；
28.第三步：优化粗略深度图，得到平滑完整的深度图：对粗略深度信息图进行插值、平滑处理，得到优化后的深度估算结果，第二步的粗略深度图像素块与像素块之间空间上不平滑，深度信息的优化能量式为：
[0029][0030]
其中a是输入图像最后对应估算的深度信息图像，v是概率归一化常数，b
t
(a
i
)是备选深度数据项，b
s
(a
i
)是空间平滑项，b
p
(a
i
)是深度数据先验值，a、b是对应系数，数据项b
t
(a
i
)描述估算的深度信息图a与每一个形变的备选深度图之间的差异，即将备选的7张形变后的深度图与带估算的深度信息图求残差，b
s
(a
i
)空间平滑采用x和y方向的梯度值进行约束，b
p
(a
i
)是深度信息图像估算的先验项，且：
[0031]
b
p
(a
i
)＝φ(a
i
‑
x
i
)
ꢀꢀꢀ
式2
[0032]
其中，x
i
是数据集当中所有点p处的深度值的平均值，采用先验值进行引导。
[0033]
单张图像的逼真动态光照变化合成方法，进一步的，精简单张图像三维空间形构：对整个场景的三维空间形构进行数据拟合，成像平面坐标系统ipcs中的像素点坐标(x,y)，在摄像机坐标系统中对应坐标为n(x
c
,y
c
,z
c
)，其中，g是摄像机的焦距，大小为摄像机光心到成像平面的距离，本技术深度信息估算基于深度数据集，g取值为525mm得到接近真实情况的三维空间形构；
[0034]
在获得深度图像之后对场景中的主要平面进行拟合，拟合之后的平面paf为：
[0035]
d
i
·
x e
i
·
y s
i
·
z a
i
＝0
ꢀꢀꢀꢀꢀ
式3
[0036]
其中，d
i
,e
i
,s
i
,a
i
是三维空间中拟合的第i个平面的平面系数，假设真实场景中的主要平面不过原点(0,0,0)，即a
i
≠0，则式3精简为：
[0037]
d
i
·
x e
i
·
y s
i
·
z＝1
ꢀꢀꢀꢀ
式4
[0038]
如果n点在该平面上，则得：
[0039]
d
i
·
x
c
e
i
·
y
c
s
i
·
z
c
＝1
ꢀꢀꢀꢀ
式5
[0040]
根据平面坐标系到摄像机坐标系的转化公式，以及式3至式5，得成像平面点n在摄像机系统中n点处的三维坐标分别为：
[0041][0042][0043][0044]
得到平面上每一点在摄像机坐标系中的三维位置信息，得到整个场景大致三维空间形构。
[0045]
单张图像的逼真动态光照变化合成方法，进一步的，推算光照明暗图像空间形构：镜面反射shading为场景中的镜面高光，反射特性为式9：
[0046]
q
s，j
(x)＝w
s，j
·
j
l
·
(dot(uit))
ms
ꢀꢀꢀꢀꢀꢀ
式9
[0047]
其中，q
s,i
是对应像素点x第i个通道处镜面反射的辐射亮度值，w
s,i
是物体表面镜面反射系数，j
l
为光照强度，u是点x到视点的观察方向，t是光线在x点处的镜面反射光方向，ms是高光系数，描述镜面反射光的会聚程度，|u|＝|t|＝1，dot(u,t)是u向量和t向量的点乘；
[0048]
除去入射光强度和物体表面粗略程度以外，反射光照强度的大小与点x在三维空间中的位置相关，点x的三维空间位置由照相机的视点决定，考虑光照对点x的三维形构信息的影响，抽离出一个独立于光源和物体表面反射特性的空间形构，室内光源不是方向性光源，不可忽略距离对光源的影响，如果已确定光源的主方向，反射光的强度与光源本身方向m
l
与光源与点x之间的夹角相关，夹角越大，点x距光源的距离越远，该点处反射光的光强度越小，加上dot(m
l
,q
d
)的影响，其中n
l
为光源的方向，q
d
为光源点到物体表面点x的向量，且|q
d
|不一定为1，又根据镜面反射：
[0049]
t＝q
‑2·
dot(m,q)
·
m
ꢀꢀꢀꢀ
式10
[0050]
其中，q,t,m分别是点x处的入射光、反射光和法向量，且|q|＝|m|＝|t|＝1，融合镜面反射shading空间形构表达式为：
[0051][0052]
k为系数，结合光源点与物体表面点x之间的空间位置关系，漫反射光的空间形构信息描述为：
[0053][0054]
式12的||q
d
||4的系数4是基于式11的||q
d
||
k 1
系数k 1，通过实验求解验证的数值，得到合理的shading图像。
[0055]
单张图像的逼真动态光照变化合成方法，进一步的，解构镜面反射成分：本技术提出一种简洁有效的方法，对光照颜色不提出任何假设，快速分离出图像中的高光成分和漫反射成分，步骤为：
[0056]
第1步：假设光源初值颜色值为(255，255，255)，根据输入图像得到sf图像和msf图像：
[0057]
j
sf，i
(x)＝j
i
(x)
‑
j
min
(x)
ꢀꢀꢀꢀ
式13
[0058]
j
msf，i
(x)＝j
sf，i
(x) u
ꢀꢀꢀ
式14
[0059][0060]
j
msf，i
(x)在x点处，如果是漫反射成分，则保留该成分值，如果不是漫反射成分，则使用整幅图像每个像素点的最小通道值作为一个统计数据，得到一个大致的镜面反射成分的估算，式15中，mean(j
min
)是整幅图像每个像素点最小通道值的平均值，δ(j
min
)是对应的标准差，n为系数，取值范围为n∈[1，0]，将漫反射像素点和镜面反射像素点区分开来，根据检测到的镜面反射像素点，得到对应的mask图mask_i；
[0061]
第2步：设置变量t，通过最小二乘法使镜面反射成分和漫反射成分之间达到平滑过渡；
[0062]
第3步：根据mask_i将检测到的原图像中镜面反射成分像素点的rgb三通道的平均值作为光源的颜色值，且平均色度值mean(s
sp，i
(x))即为光源色度，即：
[0063]
j
i
(x)＝a
·
j
s，i
(x) b
·
j
d，i
(x)
ꢀꢀꢀꢀꢀ
式16
[0064]
使得其中：
[0065]
s
s，i
(x)＝mean(s
sp，i
(x))
ꢀꢀꢀꢀꢀ
式17[0066]
其中，j
s，i
(x)和j
d，i
(x)分别是构成图像点x处第i个通道像素值的镜面反射成分和漫反射成分，a，b分别是对应的几何因子，根据式17得到新的光源色度值，根据新的光源颜色归一化原始图像，且将归一化的原图像值范围扩展到(0
‑
255)，然后回到第1步，重新进行镜面反射成分和漫反射成分以及光源色度的计算，直到光源色度不再改变。
[0067]
单张图像的逼真动态光照变化合成方法，进一步的，解构漫反射成分：去除高光的基础上获得与光照关联的漫反射shading图，在解构得到的漫反射图像的基础上进行，因而输入图像为漫反射图，将漫反射图像解构成为漫反射shading图和反射率图，采用用户涂鸦法对漫反射shading图进行解构，设置三种画刷，一是彩色画刷：画刷的r、g、b三个通道的值各不相同，用这类画刷表示颜色一致性区域，每种颜色的画刷代表一个颜色一致性区域；二是灰度画刷：画刷的r、g、b三个通道的值成比例，用这类画刷表示亮度一致区域，每种灰度的画刷代表一个亮度一致性区域；三是红色画刷：画刷的r通道值为255，即图像中最亮但又非高光的区域，采用这三种画刷来对图像中各个区域的反射率图和shading图进行属性约束，以达到好的解构效果。
[0068]
单张图像的逼真动态光照变化合成方法，进一步的，估算光照位置信息：对光源在三维空间中的坐标进行估算，提出一个优化光照条件信息的方程式：
[0069][0070]
其中，a,b,c分别是镜面反射shading图、漫反射shading图以及光源位置残差项的权值系数，q0是估算的大概的光源初始值，c0和a0分别是由原图解构出来的镜面反射shading图和漫反射shading图在点x处的灰度值，c和a分别是根据式11和式12在光源位置为q时渲染得到的图像x点处的灰度值，整个能量方程式的作用就是求一个未知数q使得整个能量方程式取得最小值；
[0071]
本技术使用的光源为单个点光源，不计光源大小，光源照射到非均质物体表面时，
在某点处形成很亮的光斑，在进行初始值q0设定前，首先对场景中光斑峰值点进行检测，根据镜面反射定理获得大概的光源方向，采用图像解构中镜面shading图作为检测图像，根据高光点灰度值大的特点，设定临界值过滤掉非主要光斑处的像素点，得到一个圆形主光斑区域，进而确定圆形区域的中心点，即光斑峰值点；
[0072]
对于特定准确的深度图，求出与图像位置相对应的中心点像素的三维坐标和法向量，结合照相机视点根据镜面反射得到光源的大致方向，采用精简单张图像三维空间形构的方法，将数据进行拟合之后，得到平面方程，计算镜面光斑点的三维空间坐标及三维法向量，得到光源的大致初始方向；
[0073]
对于式18，求解一次能量方程，采用一个光源位置的优化方法，不断迭代求解光源位置q，当迭代达到一定次数，或||q0‑
q||小于临界值时，则结束整个迭代过程，最后求解出来的就是整个场景中的近似光源位置信息，具体的计算步骤如下：
[0074]
步骤一，基本数据获取阶段：针对一张输入图像，根据图像解构得到镜面反射shading图c0和漫反射shading图a0，根据训练集训练得到对应的深度信息图aim0，并对aim0进行平滑操作，得到平滑后规整的深度图aim
*
，针对于以上输入图像，根据已估算得到的图像的深度信息图，通过对其三维空间形构进行数据模拟，获得图像中每个点在三维空间坐标中相对于视点的坐标；
[0075]
步骤二，光源信息求解阶段：通过式18能量方程式进行最小二乘法计算，得到粗略的光源位置信息估算，其中取a＝1，b＝8，c的取值因每幅图像的不同而不同，得到第一次计算求解的光源位置；
[0076]
步骤三，迭代优化光源的位置：在一定的迭代次数和临界值约束的基础上，求解光源位置信息，得到近似正确的光源位置估算值。
[0077]
单张图像的逼真动态光照变化合成方法，进一步的，修复镜面高光区域的图像：利用输入图像和已求得的场景三维信息和光照条件得到光照改变的图像，即通过一张输入图像得到光照变换的图像，对分离过镜面高光的漫反射图像进行图像修复；
[0078]
单张图像镜面高光区域修复方法的步骤为：
[0079]
第(1)步，根据镜面高光区域存在的范围，手动选定待修复的图像区域；
[0080]
第(2)步，提取修复边界：当边界不为空时，计算边界像素块的优先权重，选出具有最大权值的目标块作为待匹配块；
[0081]
第(3)步，更新置信度，重复第(1)步和第(2)步，直到边界为空停止。
[0082]
单张图像的逼真动态光照变化合成方法，进一步的，编辑单张图像光源：单张图像的光源处理与编辑先进行图像的合成：
[0083]
j
i
(x)＝a
·
j
s，i
(x) b
·
j
d，i
(x)
ꢀꢀꢀꢀꢀ
式19
[0084]
其中，j
s,i
(x)和j
d,i
(x)分别是构成图像点x处第i个通道像素值的镜面反射成分和漫反射成分，a,b分别是对应的几何因子，镜面高光成分图像根据场景三维空间形构按照渲染式11获得；
[0085]
单张图像的光源编辑分为：
[0086]
第一类，移动光源位置：将光源按照左、右、远、近的移动方式进行移动；
[0087]
第二类，改变光源颜色；在一定范围内将光源的颜色变为常见的其它颜色；
[0088]
第三类，同时改变光源颜色和位置；
[0089]
第四类，在改变光源的同时给场景添加一个环境光，即根据图像解构的反射率图，得到场景的环境光：
[0090]
j
sur
＝t
·
j
light
ꢀꢀꢀꢀꢀꢀ
式20
[0091]
其中，j
sur
为环境光亮度值，t是反射率值，j
light
为环境光亮度值，给输入图像添加环境光，提升整个场景的亮度，呈现更好的视觉效果。
[0092]
与现有技术相比，本技术的创新点和优势在于：
[0093]
第一，本技术的主要创新点及贡献包括：一是提出了单张图像的动态光照处理与编辑方法，基于rgb
‑
d数据集训练和处理得到场景三维空间形构信息，结合图像解构技术，解决了需要依靠测量设备对光源信息进行求解的问题，整个实现过程中，输入仅为单张图像，不使用任何额外的测量设备，就能得到逼真的动态光照变化图像；二是提出了利用反射模型进行图像渲染合成的方法，充分利用图像解构与光照信息处理结果，合成具有真实感的光照变化图像，大幅精简了复杂的图像渲染过程，解决了单张图像渲染过程中渲染参数信息不足的问题；通过大量的实验结果验证了本技术所提方法的有效性，本技术具有广泛的应用前景，比如制作单张图像的光照动画、实现虚实融合中图像光照一致性等；
[0094]
第二，针对现有技术单张图像的动态光照处理面临诸多困难，光照图像生成过程需要知晓场景的三维空间形构以及光照条件等信息，但依据该二维信息很难恢复出整个场景的三维空间形构；另外，现有技术采用光照探测设备的方法或者利用现有空间形构信息的方法，这两者都需要使用额外的测量设备，因而不适用于一般的图像光照变化合成工作。本技术提出分为三个部分对单张输入图像进行动态光照变化合成，分别为：基于三维空间形构的图像光照渲染、估算单张图像光照信息、编辑合成逼真动态光照变化图像，首先，对单张输入图像进行深度信息的估算，估算得到场景的三维空间形构信息，然后估算得到场景的光照信息，最后，通过对光照信息进行编辑，渲染合成具有真实感的光照变化图像，得到的光照变化图像不仅动态效果好，而且逼真度高，具有广泛的应用前景；
[0095]
第三，估算单张图像光照信息后，得到图像场景粗略的三维信息及光源的颜色、方向和位置的初步信息，在此基础上对场景中的光源进行处理与编辑，得到具有真实感的光源变化的图像。本技术的光源变化的图像由漫反射图像和高光图像进行线性重建得到，相比于采用复杂设备进行各种表面属性的求解，本技术对于简单的真实场景有更好的处理效果，针对文物无用边缘和噪声的精简效果相比于现有技术具有很大优势；
[0096]
第四，本技术关键的处理和明显的改进包括：一是单张图像中镜面高光成分的去除，本技术不对光源进行假设，根据每次分离出来的镜面高光成分进行新一轮迭代的光源的计算，直到光源计算不变时停止迭代运算，从而得到接近于真实场景的光源颜色，以及优化的镜面高光成分的分离；二是基于rgb
‑
d训练样本集的单张图像深度信息的估算，采用训练样本集统计的方法求得单张图像大致的深度信息值，为解决单张图像深度信息估算准确率不高的问题，在进行训练集样本选取的过程中针对性的对样本集进行人工筛选，且在求得单张图像深度信息的基础上，为获得比较规整的场景三维空间形构，根据对深度信息的观测和分析，采用交互式法，选择可靠性高的深度信息值进行数据拟合，得到规整的三维场景空间形构，在对单张图像的光源信息以及场景三维空间形构估算后，在现有数据的基础上进行光源编辑的应用，现有技术不可能将单张图像中的镜面高光完全去除掉，本技术采取一种简洁的图像修复方法，修复含有镜面高光残留的区域，然后通过对光源信息改变光
源位置、光源颜色、光照强度的关联编辑，得到光照变化的逼真图像合成结果。
附图说明
[0097]
图1是基于三维空间形构的图像光照渲染方法流程图。
[0098]
图2是单张图像的深度图像估算结果示意图。
[0099]
图3是基于端点和直线特征概率模型的曲线间量化关系描述图。
[0100]
图4是估算光照位置信息的镜面光斑中心检测过程图。
[0101]
图5是镜面高光区域图像修复的流程图。
[0102]
图6是本技术三种编辑对应得到的镜面shading图像。
[0103]
图7是本技术实验一图像中光源的编辑效果示意图。
[0104]
图8是本技术实验二图像中光源的编辑效果示意图。
[0105]
具体实施方法
[0106]
下面结合附图，对本技术提供的单张图像的逼真动态光照变化合成方法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本技术并能够予以实施。
[0107]
本技术通过对单张图像进行分析与处理，估算得到单张图像场景中的光照信息以及三维空间形构信息，然后通过对光照信息进行渲染，编辑合成具有真实感的光照变化图像。
[0108]
现有技术单张图像的动态光照处理面临诸多困难，一方面传统的光照图像生成过程需要知晓场景的三维空间形构以及光照条件等信息，但根据图像成像原理可知，单张图像仅为三维场景信息在二维平面投影，依据该二维信息很难恢复出整个场景的三维空间形构；另一方面，目前针对单张图像光照信息的估算，一般采用光照探测设备的方法或者利用现有空间形构信息的方法，这两者都需要使用额外的测量设备，因而不适用于一般的图像光照变化合成工作。
[0109]
围绕上述问题,本技术分为三个部分对单张输入图像进行动态光照变化合成，分别为：基于三维空间形构的图像光照渲染、估算单张图像光照信息、编辑合成逼真动态光照变化图像，首先，基于rgb
‑
d数据集对单张输入图像进行深度信息的估算，估算得到场景的三维空间形构信息，然后，采用图像解构与图像渲染相结合的方法，估算得到场景的光照信息，最后，结合场景的三维空间形构信息和光照信息，通过对光照信息进行编辑，渲染合成具有真实感的光照变化图像。
[0110]
一、基于三维空间形构的图像光照渲染
[0111]
生成图像中的镜面高光、光照明暗度、阴影等都对光照条件的改变敏感，会随光照条件的不同而发生显著改变。因而，本技术从单张图像中提取与光照条件关联的特征图像，根据这些特征对光照信息进行约束，通过迭代计算出最后接近真实的光照条件信息。
[0112]
估算单张图像光照信息的算法流程如图1所示，基于三维空间形构的图像光照渲染方法流程分为三大步骤：
[0113]
步骤1，估算单张图像深度信息：基于rgb
‑
d图像集，得到单张图像的深度信息图，然后利用深度信息图得到场景的粗略三维空间形构，在光照的作用下，结合场景的三维空间形构得到渲染之后的镜面反射shading图、漫反射shading图，得到特定光照条件下粗略的shading图像。这一过程中，估算场景深度信息图是渲染图像的基础，估算的精细程度直
接影响后面空间形构图形的渲染，因而，步骤1的重点在于单张图像深度图像的估算和图像渲染；
[0114]
步骤2，解构真实图像：将输入图像解构为镜面反射shading图、漫反射shading图、反射率图三个部分，其中，反射率图是场景物体本身所具有的颜色，不会因光照条件的变化而发生变化，镜面反射shading图和漫反射shading图则不同，它们对光照条件敏感，随光照条件的变化而发生相应改变，得到这两种成分图有助于对光照信息的准确估算，即步骤2的任务是得到镜面反射shading图和漫反射shading图。
[0115]
步骤3,根据步骤1和步骤2得到的图像，优化光源的位置信息，使得最后求解的光源位置信息能够同时满足镜面高光和漫反射shading的数据拟合，步骤3的关键点在于每一步骤结果的准确性和初值条件的选取。
[0116]
(一)估算单张图像深度信息图
[0117]
三维信息向二维信息的转换，这其中自然会损失大量的信息。由于视角的局限性，单张图像的信息往往不足以用来获得场景的深度信息，所以仅从一幅图像的信息一般难以恢复三维场景的空间形构。
[0118]
现有技术获得场景深度信息的方法一般采用微软公司研发的kinect扫描仪器，单张rgb
‑
d图像可获得整个场景的粗略三维空间形构信息，但它并不是任何人都可以随时随的使用，对没有kinect设备或其他特殊情况，获得单张图像的深度信息是很困难的事情。
[0119]
针对kinect直接扫描法的局限性，本技术提出一种单张图像深度信息估算方法，过程为：
[0120]
第一步：前置处理阶段，由已知数据集得到与输入图像在特征空间上最近似的备选图像：基于rgb
‑
d图像数据集，根据与输入图像的rgb空间特征近似度，选择最近似的若干图像作为备选图像。采用120张rgb
‑
d图像数据集对作为样本集，其中rgb图像和深度图像各60张。训练集图像准备好之后，采用gist与光流特征对数据集当中的每张图像计算高层次的图像特征，并对所有数据集进行k
‑
nn最近邻域搜索，在进行k
‑
nn最近邻域搜索时将k设置为7，即取7张rgb空间特征与输入图像最近似的图像作为备选图像，并将其对应的深度图作为备选深度图像；
[0121]
第二步：估算粗略深度图，得到输入图像的粗略深度图：将备选图像的深度信息图与输入图像进行初步的匹配形变：将备选图像进行形变，得到形变后的备选图像，然后对于输入图像的每一个像素块，将形变后的备选深度图像中对应像素块的深度值与之输入图像进行稠密的场景校准，得到输入图像粗略的深度信息图。
[0122]
第三步：优化粗略深度图，得到平滑完整的深度图：对粗略深度信息图进行插值、平滑处理，得到优化后的深度估算结果，第二步的粗略深度图像素块与像素块之间空间上不平滑，深度信息的优化能量式为：
[0123][0124]
其中a是输入图像最后对应估算的深度信息图像，v是概率归一化常数，b
t
(a
i
)是备选深度数据项，b
s
(a
i
)是空间平滑项，b
p
(a
i
)是深度数据先验值，a、b是对应系数，数据项b
t
(a
i
)描述估算的深度信息图a与每一个形变的备选深度图之间的差异，即将备选的7张形变后的深度图与带估算的深度信息图求残差，b
s
(a
i
)空间平滑采用x和y方向的梯度值进行约
束，b
p
(a
i
)是深度信息图像估算的先验项，且：
[0125]
b
p
(a
i
)＝φ(a
i
‑
x
i
)
ꢀꢀꢀꢀꢀꢀ
式2
[0126]
其中，x
i
是数据集当中所有点p处的深度值的平均值，采用先验值进行引导。
[0127]
根据以上单张图像深度图估算方法得到相应的深度图，在训练集样本足够多、质量足够好的情况下，估算的深度信息比真实情况还要好，原因在于传感器误差和图像低分辨率会造成扫描出来的部分深度信息丢失，而在进行深度信息估算时先验深度图信息可补全丢失信息。
[0128]
图2为单张图像的深度图像估算结果，对比(a)图和(b)图的结果，可以看出(b)中有(a)场景的大致轮廓。因而，以上算法流程在对单张图像进行深度估算有正确性，并且，(a)图是在黑暗环境下仅使用单个点光源照射的图像，属于低分辨率的图像，kinect在暗的地方扫描得不到场景完整的深度图，并且对于距离很近的场景也得不到完整的深度结果。而本技术方法在低分辨率的情况下或在近景方面依然能得到较好的结果。
[0129]
(二)精简单张图像三维空间形构
[0130]
为得到接近真实情况的场景空间形构，对整个场景的三维空间形构进行数据拟合。成像平面坐标系统ipcs中的像素点坐标(x,y)，在摄像机坐标系统中对应坐标为n(x
c
,y
c
,z
c
)，其中，g是摄像机的焦距，大小为摄像机光心到成像平面的距离，本技术深度信息估算基于现有深度数据集，g取值为525mm得到接近真实情况的三维空间形构。
[0131]
由于单张图像深度估算图的部分深度信息不够准确，为获得接近输入图像的空间形构，本技术在获得深度图像之后对场景中的主要平面进行拟合，拟合之后的平面paf为：
[0132]
d
i
·
x e
i
·
y s
i
·
z a
i
＝0
ꢀꢀꢀꢀꢀ
式3
[0133]
其中，d
i
，e
i
，s
i
，a
i
是三维空间中拟合的第i个平面的平面系数，假设真实场景中的主要平面不过原点(0，0，0)，即a
i
≠0，则式3精简为：
[0134]
d
i
·
x e
i
·
y s
i
·
z＝1
ꢀꢀꢀ
式4
[0135]
如果n点在该平面上，则得：
[0136]
d
i
·
x
c
e
i
·
y
c
s
i
·
z
c
＝1
ꢀꢀꢀꢀꢀꢀ
式5
[0137]
根据平面坐标系到摄像机坐标系的转化公式，以及式3至式5，得成像平面点n在摄像机系统中n点处的三维坐标分别为：
[0138][0139][0140][0141]
得到主要平面上每一点在摄像机坐标系中的三维位置信息，从而得到整个场景大致的三维空间形构，该形构在后续的shading图像的渲染中有重要作用。
[0142]
(三)推算光照明暗图像空间形构
[0143]
镜面反射shading为场景中的镜面高光，反射特性为式9：
[0144]
q
s，i
(x)＝w
s，i
·
j
l
·
(dot(u，t))
ms
ꢀꢀꢀ
式9
[0145]
其中，q
s，i
是对应像素点x第i个通道处镜面反射的辐射亮度值，w
s，i
是物体表面镜
面反射系数，j1为光照强度，u是点x到视点的观察方向，t是光线在x点处的镜面反射光方向，ms是高光系数，描述镜面反射光的会聚程度，|u|＝|t|＝1，dot(u，t)是u向量和t向量的点乘；
[0146]
除去入射光强度和物体表面粗略程度以外，反射光照强度的大小与点x在三维空间中的位置相关，点x的三维空间位置由照相机的视点决定，考虑光照对点x的三维形构信息的影响，抽离出一个独立于光源和物体表面反射特性的空间形构，室内光源不是方向性光源，不可忽略距离对光源的影响，如果已确定光源的主方向，反射光的强度与光源本身方向m1与光源与点x之间的夹角相关，夹角越大，点x距光源的距离越远，该点处反射光的光强度越小，加上dot(m1，q
d
)的影响，其中n1为光源的方向，q
d
为光源点到物体表面点x的向量，且|q
d
|不一定为1，又根据镜面反射：
[0147]
t＝q
‑2·
dot(m,q)
·
m
ꢀꢀꢀꢀ
式10
[0148]
其中，q,t,m分别是点x处的入射光、反射光和法向量，且|q|＝|m|＝|t|＝1，融合镜面反射shading空间形构表达式为：
[0149][0150]
k为系数，结合光源点与物体表面点x之间的空间位置关系，漫反射光的空间形构信息描述为：
[0151][0152]
式12的||q
d
||4的系数4是基于式11的||q
d
||
k 1
系数k 1，通过实验求解验证的数值，该数据能够得到合理的shading图像。
[0153]
二、估算单张图像光照信息
[0154]
估算单张图像光照信息包括解构光照图像和估算光照位置信息。
[0155]
(一)解构光照图像
[0156]
本技术根据光照条件对场景生成图像的影响，将图像解构为与光照最相关的特征子图像，即将原图像解构为镜面反射shading图像和漫反射shading图像。
[0157]
1.解构镜面反射成分
[0158]
镜面高光成分存在于大部分的图像当中，本技术提出了一种简单有效的方法，对光照颜色不提出任何假设，快速分离出图像中的高光成分和漫反射成分，步骤为：
[0159]
第1步：假设光源初值颜色值为(255,255,255)，根据输入图像得到sf图像和msf图像：
[0160]
j
sf，i
(x)＝j
i
(x)
‑
j
min
(x)
ꢀꢀꢀꢀꢀ
式l3
[0161]
j
msf，i
(x)＝j
sf，i
(x) u
ꢀꢀꢀꢀꢀ
式l4
[0162][0163]
j
msf,i
(x)在x点处，如果是漫反射成分，则保留该成分值，如果不是漫反射成分，则使用整幅图像每个像素点的最小通道值作为一个统计数据，得到一个大致的镜面反射成分
的估算，式15中，mean(j
min
)是整幅图像每个像素点最小通道值的平均值，δ(j
min
)是对应的标准差，n为系数，取值范围为n∈[1,0]，实施例采用m＝7.0可以得到一个比较好的效果，将漫反射像素点和镜面反射像素点区分开来，根据检测到的镜面反射像素点，得到对应的mask图mask_i；
[0164]
第2步：设置变量t，通过最小二乘法使镜面反射成分和漫反射成分之间达到平滑过渡；
[0165]
第3步：根据mask_i将检测到的原图像中镜面反射成分像素点的rgb三通道的平均值作为光源的颜色值，且平均色度值mean(s
sp，i
(x))即为光源色度，即：
[0166]
j
i
(x)＝a
·
j
s，i
(x) b
·
j
d，i
(x)
ꢀꢀꢀꢀꢀꢀ
式16
[0167]
使得其中：
[0168]
s
s，i
(x)＝mean(s
sp，i
(x))
ꢀꢀꢀꢀꢀ
式17
[0169]
其中，j
s，i
(x)和j
d，i
(x)分别是构成图像点x处第i个通道像素值的镜面反射成分和漫反射成分，a,b分别是对应的几何因子，根据式17得到新的光源色度值，根据新的光源颜色归一化原始图像，且将归一化的原图像值范围扩展到(0
‑
255)，然后回到第1步，重新进行镜面反射成分和漫反射成分以及光源色度的计算，直到光源色度不再改变。
[0170]
本技术实验的输入图像为图3(a)，平均5次迭代之后，停止运行，光源的色度不发生改变。该组图像解构出来的镜面高光成分解构的结果如图3所示，(a)为输入图像，(b)(c)结果是采用本技术算法，归一化图像解构的结果，本技术不仅在视觉上有一定提高，而且通过本技术可得到近似的光照色度及颜色信息，并且通过迭代步骤可得到与光照无关的光照图像的解构，在求解光源颜色上具有较好的鲁棒性。
[0171]
2.解构漫反射成分
[0172]
去除高光的基础上获得与光照关联的漫反射shading图，在解构得到的漫反射图像的基础上进行，因而输入图像为漫反射图，将漫反射图像解构成为漫反射shading图和反射率图，采用用户涂鸦法对漫反射shading图进行解构，设置三种画刷，一是彩色画刷：画刷的r、g、b三个通道的值各不相同，用这类画刷表示颜色一致性区域，每种颜色的画刷代表一个颜色一致性区域；二是灰度画刷：画刷的r、g、b三个通道的值成比例，用这类画刷表示亮度一致区域，每种灰度的画刷代表一个亮度一致性区域；三是红色画刷：画刷的r通道值为255，即图像中最亮但又非高光的区域，采用这三种画刷来对图像中各个区域的反射率图和shading图进行属性约束，以达到好的解构效果。
[0173]
(二)估算光照位置信息
[0174]
根据已获得的信息，对光源在三维空间中的坐标进行估算，本技术提出一个优化光照条件信息的方程式：
[0175][0176]
其中，a,b,c分别是镜面反射shading图、漫反射shading图以及光源位置残差项的权值系数，q0是估算的大概的光源初始值，c0和a0分别是由原图解构出来的镜面反射shading图和漫反射shading图在点x处的灰度值，c和a分别是根据式11和式12在光源位置为q时渲染得到的图像x点处的灰度值，整个能量方程式的作用就是求一个未知数q使得整个能量方程式取得最小值。
[0177]
本技术使用的光源为单个点光源，不计光源大小，光源照射到非均质物体表面时，
在某点处形成很亮的光斑，在进行初始值q0设定前，首先对场景中光斑峰值点进行检测，根据镜面反射定理获得大概的光源方向，采用图像解构中镜面shading图作为检测图像，根据高光点灰度值大的特点，设定临界值过滤掉非主要光斑处的像素点，得到一个圆形主光斑区域，进而确定圆形区域的中心点，即光斑峰值点。
[0178]
对于特定准确的深度图，求出与图像位置相对应的中心点像素的三维坐标和法向量，结合照相机视点根据镜面反射得到光源的大致方向，但利用数据集训练得到的深度图并不能保证每个点处的深度信息值都正确。为减小因深度信息数据不准确带来的光源初始方向的估算问题，采用精简单张图像三维空间形构的方法，将数据进行拟合之后，得到平面方程，计算镜面光斑点的三维空间坐标及三维法向量，得到光源的大致初始方向。
[0179]
如图4所示，输入图像(a)和与之对应的深度图(b)，图(c)是对图(a)进行解构得到的镜面shading图，通过对图(c)进行光斑区域的检测，得到主要光斑的圆形区域，根据数据拟合得到的平面，通过检测到的光斑区域，可得到光斑中心在成像平面上的坐标位置，然后在对应的深度图(b)中找到对应像素的深度值，根据已知图像的焦距值得到像素点的相对于视点的三维空间坐标位置信息和该点处的三维法向量值。
[0180]
对于式18，求解一次能量方程，不一定能得到最优的光源位置信息。本技术采用一个光源位置的优化方法，不断迭代求解光源位置q，当迭代达到一定次数，或||q0‑
q||小于临界值时，则结束整个迭代过程，最后求解出来的就是整个场景中的近似光源位置信息，具体的计算步骤如下：
[0181]
步骤一，基本数据获取阶段：针对一张输入图像，根据图像解构得到镜面反射shading图c0和漫反射shading图a0，根据训练集训练得到对应的深度信息图aim0，并对aim0进行平滑操作，得到平滑后规整的深度图aim
*
，针对于以上输入图像，根据已估算得到的图像的深度信息图，通过对其三维空间形构进行数据模拟，获得图像中每个点在三维空间坐标中相对于视点的坐标；
[0182]
步骤二，光源信息求解阶段：通过式18能量方程式进行最小二乘法计算，得到粗略的光源位置信息估算，其中取a＝1，b＝8，c的取值因每幅图像的不同而不同，得到第一次计算求解的光源位置；
[0183]
步骤三，迭代优化光源的位置：在一定的迭代次数和临界值约束的基础上，求解光源位置信息，得到近似正确的光源位置估算值，实施例采用的迭代次数约束为30次。
[0184]
三、编辑合成逼真动态光照变化图像
[0185]
估算单张图像光照信息后，得到图像场景粗略的三维信息及光源的颜色、方向和位置的初步信息，在此基础上对场景中的光源进行处理与编辑，得到具有真实感的光源变化的图像。本技术的光源变化的图像由漫反射图像和高光图像进行线性重建得到，相比于采用复杂设备进行各种表面属性的求解，本技术对于简单的真实场景有更好的处理效果。
[0186]
(一)修复镜面高光区域的图像
[0187]
镜面高光成分的分离本身是一个复杂、有难度的问题，现有技术的算法都不能从单张图像中完全分离出镜面高光成分。本技术利用输入图像和已求得的场景三维信息和光照条件得到光照改变的图像，即通过一张输入图像得到光照变换的图像，对分离过镜面高光的漫反射图像进行图像修复。
[0188]
单张图像镜面高光区域修复方法的步骤为：
[0189]
第(1)步，根据镜面高光区域存在的范围，手动选定待修复的图像区域；
[0190]
第(2)步，提取修复边界：当边界不为空时，计算边界像素块的优先权重，选出具有最大权值的目标块作为待匹配块；
[0191]
第(3)步，更新置信度，重复第(1)步和第(2)步，直到边界为空停止。
[0192]
如图5所示为镜面高光区域图像修复的流程图，(a)为原始输入图像去高光之后的漫反射图像，通过(b)中手动选定待修复区域，得到(c)中修复的效果，(c)中场景材质比较均匀，整体上修复的效果较好。
[0193]
(二)编辑单张图像光源
[0194]
由于单张图像信息量有限和拍摄环境的局限性，单张图像的光源处理与编辑先进行图像的合成：
[0195]
j
i
(x)＝a
·
j
s，i
(x) b
·
j
d，i
(x)
ꢀꢀꢀꢀꢀ
式19
[0196]
其中，j
s,i
(x)和j
d,i
(x)分别是构成图像点x处第i个通道像素值的镜面反射成分和漫反射成分，a,b分别是对应的几何因子。镜面高光成分图像根据场景三维空间形构按照渲染式11获得。
[0197]
单张图像的光源编辑分为：
[0198]
第一类，移动光源位置：将光源按照左、右、远、近的移动方式进行移动；
[0199]
第二类，改变光源颜色；在一定范围内将光源的颜色变为常见的其它颜色；
[0200]
第三类，同时改变光源颜色和位置；
[0201]
第四类，在改变光源的同时给场景添加一个环境光，即根据图像解构的反射率图，得到场景的环境光：
[0202]
j
sur
＝t
·
j
light
ꢀꢀꢀ
式20
[0203]
其中，j
sur
为环境光亮度值，t是反射率值，j
light
为环境光亮度值，给输入图像添加环境光，提升整个场景的亮度，呈现更好的视觉效果。
[0204]
图6为以上各种编辑对应得到的镜面shading图像，其中，(a)为输入图像，(b)为(a)对应的镜面shading渲染图像，(c)和(d)分别对(a)更改光源进行移动的渲染结果，(e)和(f)是在(a)的基础上改变光源颜色，并且移动光源得到的渲染结果。由图6可以看出,本技术可以很好的运用估算得到的三维空间模型，编辑光源来渲染得到各种光源变化的镜面shading图像，该图像可用于后续的图像合成当中。
[0205]
四、实验结果及分析
[0206]
本实验展示单张图像光照变化的结果，针对于840
×
626大小分辨率的输入图像，单张图像深度信息估算平均耗时72s；镜面高光成分分离平均迭代5次，总耗时约1.08s；本征图像解构平均迭代100次，总耗时346s；光源估算平均迭代7次，总耗时约2.6s；渲染合成图像平均耗时0.48s；为了说明本技术的有效性和实用性，展示二组实验结果。
[0207]
第一组图像为典型的室内场景图像，该图像由实验室电脑桌、计算机构成，通过对图像中的光照条件进行编辑操作，得到一系列光照变化的图像。图中(a)为输入图像，(b)为由对应(a)中的光照信息、三维空间形构信息等渲染合成出来的图像。(c)为改变光源颜色的合成图像，(d)到(f)是移动光源位置得到的合成图像，且(f)图像是添加了环境光的结果。由(a)到(f)可以看到光源在场景里面的变化。由于本技术渲染合成的结果是按反射模型，将分离镜面shading成分之后的漫反射图像，以及渲染的镜面shading成分进行线性合
成的，考虑到镜面高光成分去除算法的局限性，为能够得到更加逼真的光照变化图像，输入为光照较弱的真实场景图像，这样采样结果能保证去除镜面高光之后的漫反射图像不会存在太多的高光残留，方便后续处理，不影响最后的图像合成效果。由图7中的光照编辑效果可知，本技术方法效果显著。
[0208]
第二组结果较复杂，主要由5个平面构成，且场景中的物体均由塑料或者纸质材质构成，本技术光照处理与编辑暂不考虑场景中阴影的变化，如图8所示，(b)是根据估算的光源信息与渲染的shading空间信息进行合成的结果，(b)图已经非常具有真实感，(c)至(e)是在(b)基础上移动光源位置的结果，其中，(d)图中有三个面有明显的光照效果，分别是绿色墙面，矿泉水纸盒子上平面的边缘处以及靠近蓝色墙面的阴影处。(f)至(h)是在(b)的基础上改变光源颜色合成的图像结果，(c)至(h)图像比(a)和(b)都要亮很多，原因是，这些结果图中都添加了环境光，使得整个场景的亮度提高了，产生了更好的视觉效果。