单张图像的逼真动态光照变化合成方法与流程

技术特征：
1.单张图像的逼真动态光照变化合成方法，其特征在于，估算得到单张图像场景中的光照信息以及三维空间形构信息，然后通过对光照信息进行渲染，编辑合成具有真实感的光照变化图像；本申请分为三个部分对单张输入图像进行动态光照变化合成，分别为：基于三维空间形构的图像光照渲染、估算单张图像光照信息、编辑合成逼真动态光照变化图像，首先，基于rgb
‑
d数据集对单张输入图像进行深度信息的估算，估算得到场景的三维空间形构信息，然后，采用图像解构与图像渲染相结合的方法，估算得到场景的光照信息，最后，结合场景的三维空间形构信息和光照信息，通过对光照信息进行编辑，渲染合成具有真实感的光照变化图像；(一)基于三维空间形构的图像光照渲染方法流程分为三大步骤：步骤1，估算单张图像深度信息：基于rgb
‑
d图像集，得到单张图像的深度信息图，然后利用深度信息图得到场景的粗略三维空间形构，在光照的作用下，结合场景的三维空间形构得到渲染之后的镜面反射shading图、漫反射shading图，得到特定光照条件下粗略的shading图像；步骤2，解构真实图像：将输入图像解构为镜面反射shading图、漫反射shading图、反射率图三个部分；步骤3,根据步骤1和步骤2得到的图像，优化光源的位置信息，使得最后求解的光源位置信息能够同时满足镜面高光和漫反射shading的数据拟合；(二)估算单张图像光照信息包括解构光照图像和估算光照位置信息，解构光照图像又包括解构镜面反射成分和解构漫反射成分；(三)编辑合成逼真动态光照变化图像分为修复镜面高光区域的图像和编辑单张图像光源，首先从单张图像的深度信息图出发，根据shading图像的渲染式渲染得到镜面高光图像；然后，将漫反射图像进行镜面高光残留成分的去除，对镜面高光区域进行图像修补，得到修复好的理想漫反射图像；最后将渲染得到的镜面高光图像与理想的漫反射图像基于反射模型进行反向线性合成，得到动态光照变化得逼真图像。2.根据权利要求1所述的单张图像的逼真动态光照变化合成方法，其特征在于，一种单张图像深度信息估算方法的过程为：第一步：前置处理阶段，由已知数据集得到与输入图像在特征空间上最近似的备选图像：基于rgb
‑
d图像数据集，根据与输入图像的rgb空间特征近似度，选择最近似的若干图像作为备选图像，采用gist与光流特征对数据集当中的每张图像计算高层次的图像特征，并对所有数据集进行k
‑
nn最近邻域搜索，在进行k
‑
nn最近邻域搜索时将k设置为7，即取7张rgb空间特征与输入图像最近似的图像作为备选图像，并将其对应的深度图作为备选深度图像；第二步：估算粗略深度图，得到输入图像的粗略深度图：将备选图像的深度信息图与输入图像进行初步的匹配形变：将备选图像进行形变，得到形变后的备选图像，然后对于输入图像的每一个像素块，将形变后的备选深度图像中对应像素块的深度值与之输入图像进行稠密的场景校准，得到输入图像粗略的深度信息图；第三步：优化粗略深度图，得到平滑完整的深度图：对粗略深度信息图进行插值、平滑处理，得到优化后的深度估算结果，第二步的粗略深度图像素块与像素块之间空间上不平
滑，深度信息的优化能量式为：其中a是输入图像最后对应估算的深度信息图像，v是概率归一化常数，b
t
(a
i
)是备选深度数据项，b
s
(a
i
)是空间平滑项，b
p
(a
i
)是深度数据先验值，a、b是对应系数，数据项b
t
(a
i
)描述估算的深度信息图a与每一个形变的备选深度图之间的差异，即将备选的7张形变后的深度图与带估算的深度信息图求残差，b
s
(a
i
)空间平滑采用x和y方向的梯度值进行约束，b
p
(a
i
)是深度信息图像估算的先验项，且：b
p
(a
i
)＝φ(a
i
‑
x
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式2其中，x
i
是数据集当中所有点p处的深度值的平均值，采用先验值进行引导。3.根据权利要求1所述的单张图像的逼真动态光照变化合成方法，其特征在于，精简单张图像三维空间形构：对整个场景的三维空间形构进行数据拟合，成像平面坐标系统ipcs中的像素点坐标(x,y)，在摄像机坐标系统中对应坐标为n(x
c
,y
c
,z
c
)，其中，g是摄像机的焦距，大小为摄像机光心到成像平面的距离，本申请深度信息估算基于深度数据集，g取值为525mm得到接近真实情况的三维空间形构；在获得深度图像之后对场景中的主要平面进行拟合，拟合之后的平面paf为：d
i
·
x e
i
·
y s
i
·
z a
i
＝0
ꢀꢀꢀꢀꢀꢀꢀ
式3其中，d
i
,e
i
,s
i
,a
i
是三维空间中拟合的第i个平面的平面系数，假设真实场景中的主要平面不过原点(0,0,0)，即a
i
≠0，则式3精简为：d
j
·
x e
i
·
y s
i
·
z＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式4如果n点在该平面上，则得：d
j
·
x
c
e
i
·
y
c
s
i
·
z
c
＝1
ꢀꢀꢀꢀꢀꢀꢀꢀ
式5根据平面坐标系到摄像机坐标系的转化公式，以及式3至式5，得成像平面点n在摄像机系统中n点处的三维坐标分别为：系统中n点处的三维坐标分别为：系统中n点处的三维坐标分别为：得到平面上每一点在摄像机坐标系中的三维位置信息，得到整个场景大致三维空间形构。4.根据权利要求1所述的单张图像的逼真动态光照变化合成方法，其特征在于，推算光照明暗图像空间形构：镜面反射shading为场景中的镜面高光，反射特性为式9：q
s，i
(x)＝w
s，i
·
j
l
·
(dot(u，t))
ms
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式9其中，q
s,i
是对应像素点x第i个通道处镜面反射的辐射亮度值，w
s,i
是物体表面镜面反射系数，j
l
为光照强度，u是点x到视点的观察方向，t是光线在x点处的镜面反射光方向，ms是高光系数，描述镜面反射光的会聚程度，|u|＝|t|＝1，dot(u,t)是u向量和t向量的点乘；除去入射光强度和物体表面粗略程度以外，反射光照强度的大小与点x在三维空间中的位置相关，点x的三维空间位置由照相机的视点决定，考虑光照对点x的三维形构信息的
影响，抽离出一个独立于光源和物体表面反射特性的空间形构，室内光源不是方向性光源，不可忽略距离对光源的影响，如果已确定光源的主方向，反射光的强度与光源本身方向m
l
与光源与点x之间的夹角相关，夹角越大，点x距光源的距离越远，该点处反射光的光强度越小，加上dot(m
l
,q
d
)的影响，其中n
l
为光源的方向，q
d
为光源点到物体表面点x的向量，且|q
d
|不一定为1，又根据镜面反射：t＝q
‑2·
dot(m,q)
·
m
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式10其中，q,t,m分别是点x处的入射光、反射光和法向量，且|q|＝|m|＝|t|＝1，融合镜面反射shading空间形构表达式为：k为系数，结合光源点与物体表面点x之间的空间位置关系，漫反射光的空间形构信息描述为：式12的||q
d
||4的系数4是基于式11的||q
d
||
k 1
系数k 1，通过实验求解验证的数值，得到合理的shading图像。5.根据权利要求1所述的单张图像的逼真动态光照变化合成方法，其特征在于，解构镜面反射成分：本申请提出一种简洁有效的方法，对光照颜色不提出任何假设，快速分离出图像中的高光成分和漫反射成分，步骤为：第1步：假设光源初值颜色值为(255,255,255)，根据输入图像得到sf图像和msf图像：j
sf，i
(x)＝j
i
(x)
‑
j
min
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式13j
msf，i
(x)＝j
sf，i
(x) u
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式14j
msf,i
(x)在x点处，如果是漫反射成分，则保留该成分值，如果不是漫反射成分，则使用整幅图像每个像素点的最小通道值作为一个统计数据，得到一个大致的镜面反射成分的估算，式15中，mean(j
min
)是整幅图像每个像素点最小通道值的平均值，δ(j
min
)是对应的标准差，n为系数，取值范围为n∈[1,0]，将漫反射像素点和镜面反射像素点区分开来，根据检测到的镜面反射像素点，得到对应的mask图mask_i；第2步：设置变量t，通过最小二乘法使镜面反射成分和漫反射成分之间达到平滑过渡；第3步：根据mask_i将检测到的原图像中镜面反射成分像素点的rgb三通道的平均值作为光源的颜色值，且平均色度值mean(s
sp，i
(x))即为光源色度，即：j
i
(x)＝a
·
j
s，i
(x) b
·
j
d，i
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式16使得其中：s
s，i
(x)＝mean(s
sp，i
(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式17其中，j
s，i
(x)和j
d，i
(x)分别是构成图像点x处第i个通道像素值的镜面反射成分和漫反射成分，a,b分别是对应的几何因子，根据式17得到新的光源色度值，根据新的光源颜色归一化原始图像，且将归一化的原图像值范围扩展到(0
‑
255)，然后回到第1步，重新进行镜面
反射成分和漫反射成分以及光源色度的计算，直到光源色度不再改变。6.根据权利要求1所述的单张图像的逼真动态光照变化合成方法，其特征在于，解构漫反射成分：去除高光的基础上获得与光照关联的漫反射shading图，在解构得到的漫反射图像的基础上进行，因而输入图像为漫反射图，将漫反射图像解构成为漫反射shading图和反射率图，采用用户涂鸦法对漫反射shading图进行解构，设置三种画刷，一是彩色画刷：画刷的r、g、b三个通道的值各不相同，用这类画刷表示颜色一致性区域，每种颜色的画刷代表一个颜色一致性区域；二是灰度画刷：画刷的r、g、b三个通道的值成比例，用这类画刷表示亮度一致区域，每种灰度的画刷代表一个亮度一致性区域；三是红色画刷：画刷的r通道值为255，即图像中最亮但又非高光的区域，采用这三种画刷来对图像中各个区域的反射率图和shading图进行属性约束，以达到好的解构效果。7.根据权利要求1所述的单张图像的逼真动态光照变化合成方法，其特征在于，估算光照位置信息：对光源在三维空间中的坐标进行估算，提出一个优化光照条件信息的方程式：其中，a,b,c分别是镜面反射shading图、漫反射shading图以及光源位置残差项的权值系数，q0是估算的大概的光源初始值，c0和a0分别是由原图解构出来的镜面反射shading图和漫反射shading图在点x处的灰度值，c和a分别是根据式11和式12在光源位置为q时渲染得到的图像x点处的灰度值，整个能量方程式的作用就是求一个未知数q使得整个能量方程式取得最小值；本申请使用的光源为单个点光源，不计光源大小，光源照射到非均质物体表面时，在某点处形成很亮的光斑，在进行初始值q0设定前，首先对场景中光斑峰值点进行检测，根据镜面反射定理获得大概的光源方向，采用图像解构中镜面shading图作为检测图像，根据高光点灰度值大的特点，设定临界值过滤掉非主要光斑处的像素点，得到一个圆形主光斑区域，进而确定圆形区域的中心点，即光斑峰值点；对于特定准确的深度图，求出与图像位置相对应的中心点像素的三维坐标和法向量，结合照相机视点根据镜面反射得到光源的大致方向，采用精简单张图像三维空间形构的方法，将数据进行拟合之后，得到平面方程，计算镜面光斑点的三维空间坐标及三维法向量，得到光源的大致初始方向；对于式18，求解一次能量方程，采用一个光源位置的优化方法，不断迭代求解光源位置q，当迭代达到一定次数，或||q0‑
q||小于临界值时，则结束整个迭代过程，最后求解出来的就是整个场景中的近似光源位置信息，具体的计算步骤如下：步骤一，基本数据获取阶段：针对一张输入图像，根据图像解构得到镜面反射shading图c0和漫反射shading图a0，根据训练集训练得到对应的深度信息图aim0，并对aim0进行平滑操作，得到平滑后规整的深度图aim
*
，针对于以上输入图像，根据已估算得到的图像的深度信息图，通过对其三维空间形构进行数据模拟，获得图像中每个点在三维空间坐标中相对于视点的坐标；步骤二，光源信息求解阶段：通过式18能量方程式进行最小二乘法计算，得到粗略的光源位置信息估算，其中取a＝1，b＝8，c的取值因每幅图像的不同而不同，得到第一次计算求解的光源位置；
步骤三，迭代优化光源的位置：在一定的迭代次数和临界值约束的基础上，求解光源位置信息，得到近似正确的光源位置估算值。8.根据权利要求1所述的单张图像的逼真动态光照变化合成方法，其特征在于，修复镜面高光区域的图像：利用输入图像和已求得的场景三维信息和光照条件得到光照改变的图像，即通过一张输入图像得到光照变换的图像，对分离过镜面高光的漫反射图像进行图像修复；单张图像镜面高光区域修复方法的步骤为：第(1)步，根据镜面高光区域存在的范围，手动选定待修复的图像区域；第(2)步，提取修复边界：当边界不为空时，计算边界像素块的优先权重，选出具有最大权值的目标块作为待匹配块；第(3)步，更新置信度，重复第(1)步和第(2)步，直到边界为空停止。9.根据权利要求1所述的单张图像的逼真动态光照变化合成方法，其特征在于，编辑单张图像光源：单张图像的光源处理与编辑先进行图像的合成：j
i
(x)＝a
·
j
s，i
(x) b
·
j
d，i
(x)
ꢀꢀꢀꢀꢀꢀ
式19其中，j
s,i
(x)和j
d,i
(x)分别是构成图像点x处第i个通道像素值的镜面反射成分和漫反射成分，a,b分别是对应的几何因子，镜面高光成分图像根据场景三维空间形构按照渲染式11获得；单张图像的光源编辑分为：第一类，移动光源位置：将光源按照左、右、远、近的移动方式进行移动；第二类，改变光源颜色；在一定范围内将光源的颜色变为常见的其它颜色；第三类，同时改变光源颜色和位置；第四类，在改变光源的同时给场景添加一个环境光，即根据图像解构的反射率图，得到场景的环境光：j
sur
＝t
·
j
light
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式20其中，j
sur
为环境光亮度值，t是反射率值，j
light
为环境光亮度值，给输入图像添加环境光，提升整个场景的亮度，呈现更好的视觉效果。

技术总结
本申请提出的单张图像的逼真动态光照变化合成方法，分为三个部分对单张输入图像进行动态光照变化合成，分别为：基于三维空间形构的图像光照渲染、估算单张图像光照信息、编辑合成逼真动态光照变化图像，首先，基于RGB


技术研发人员：王彬
受保护的技术使用者：王彬
技术研发日：2021.09.24
技术公布日：2021/12/7