一种室内场景设计中多风格图像迁移与渲染方法及系统与流程

本发明属于计算机图形学、三维图像渲染及室内计算机辅助设计，具体地说，涉及一种室内场景设计中多风格图像迁移与渲染方法及系统。

背景技术：

1、室内设计效果图通常由包含墙面、地面、顶面、柜体、软装及灯具等对象的三维场景渲染得到。为组合形成设计方案，设计人员往往分别从多张参考图像中选择墙面质感、木作颜色、织物纹理以及灯光氛围，并将来自不同参考图像的风格作用于同一目标室内三维场景。

2、现有技术可以对最终渲染图执行二维风格迁移，也可以将风格化结果写入三维模型的uv贴图、三维高斯场或辐射场。然而，参考图像中的像素外观通常是材质反射率、入射光照、遮挡阴影、镜面高光、相机曝光和色调映射共同作用的结果。若将该像素外观直接迁移为目标场景的材质外观，参考图像中的阴影和高光会被固定在材质中，目标场景自身的光源在再次渲染时又产生新的阴影和高光，从而出现固定阴影、重复高光及曝光叠加。

3、现有公开技术cn118967915b公开了一种基于2d先验的3d高斯场景风格迁移方法，其通过风格化图像监督三维高斯场的外观参数，能够改善不同视角之间的外观一致性，但作为监督目标的风格化像素仍耦合了材质和光照。cn113052972b公开了一种基于神经网络的灯光光照效果增强方法，其利用单光源单位光强渲染图的线性叠加求取光源强度和颜色，但其面向整体光照效果增强，未解决多张参考风格图像分别作用于不同表面域时对同一物理光源提出相反调整要求的问题。

4、在多风格组合场景中，来自暖色灯光环境的木纹、来自冷色日光环境的墙面以及来自高曝光展厅环境的石材可能同时位于同一客餐厅内，并实际受到同一吊灯和同一窗光影响。若各参考图像的原有色温、明暗梯度和高光均被保留在局部材质中，同一束光在相邻表面上将表现为互不一致的颜色和亮度；当设计人员调节吊灯色温、强度或视角时，贴图中的原有亮斑和阴影不会同步变化。

技术实现思路

1、为解决上述技术问题，本发明采用技术方案的基本构思是：

2、一种室内场景设计中多风格图像迁移与渲染方法，包括如下步骤：

3、步骤s1：对包含几何模型、表面材质参数、相机参数和可调光源参数的目标室内三维场景划分多个表面域和多个光源组，选取多个诊断视角，并在所述诊断视角下获取表面标识信息以及各光源组分别按照预设基准参数参与渲染时的光源响应数据；

4、步骤s2：对至少两张参考风格图像进行曝光归一和内在成分分解，得到各参考风格图像的材质反射载体和照明载体，将所述材质反射载体按照表面对应关系和风格权重映射至对应表面域，获得由多个诊断视角共用的表面材质参数；基于所述表面标识信息对所述光源响应数据进行表面域聚合，建立表面—光源影响关系，根据各表面域对应的照明载体和所述表面—光源影响关系求解各光源组的共享灯光参数，使同一光源组在不同表面域中对应同一组共享灯光参数；

5、步骤s3：确定多个表面域对同一光源组的有向调整要求，根据所述有向调整要求之间的方向一致性获得光源冲突信息，并根据所述光源冲突信息生成对相应共享灯光参数的更新约束和对相应照明载体的权重约束；采用所述表面材质参数和所述共享灯光参数对目标室内三维场景进行初步渲染，根据初步渲染结果和由所述材质反射载体及照明载体构成的风格目标获得渲染残差；

6、步骤s4：确定可调表面材质参数对应的材质响应关系和各光源组对应的光照响应关系，在所述更新约束和权重约束下对所述渲染残差进行材质域—光照域归因，将归因得到的材质增量写入对应表面域，将归因得到的光照增量写入对应光源组的共享灯光参数，并基于更新后的表面材质参数和共享灯光参数渲染至少一个目标视角下的室内场景图像。

7、作为本发明的一种优选，所述在诊断视角下获取表面标识信息以及光源响应数据，包括：针对每一诊断视角输出表面标识图、uv坐标图、法线图和深度图；保持目标室内三维场景的相机参数、几何模型和表面材质参数不变，将各光源组依次设置为单位强度或预设响应档位，并关闭其余可调光源组，以得到对应的单位光源响应图或分段光源响应图；

8、按照表面标识图确定各表面域在单位光源响应图或分段光源响应图中的像素集合，并根据像素可见度、视角重要度及响应亮度对所述像素集合进行加权聚合，以形成表征各光源组对各表面域实际贡献程度的表面—光源影响矩阵。

9、作为本发明的一种优选，所述对参考风格图像进行曝光归一和内在成分分解，包括：将参考风格图像转换至线性颜色空间，依据高亮度、饱和度、局部对比度和法线—视线关系中的至少两项形成高光掩膜；

10、在由材质区域边界及表面法线限定的平滑范围内，联合估计反射项和照明项，得到材质反射载体、漫反射照明载体以及视点相关高光载体；从所述视点相关高光载体中提取高光宽度、峰值、方向性和颜色中的至少一种作为目标表面粗糙度、金属度或镜面反射参数的约束，并阻止所述视点相关高光载体及局部投影阴影写入目标表面的基础色纹理。

11、作为本发明的一种优选，所述将材质反射载体映射至对应表面域，包括：针对每一表面域设置多个参考风格图像对应的非负风格权重，并使所述非负风格权重之和为1；按照参考材质块的纹理主方向、世界尺度、重复周期和边界裁切规则建立到目标表面域的映射；在uv坐标域或世界坐标材质域中融合经映射的材质反射载体，并对同一连续表面的多个uv岛设置拼接连续约束，对共用材质组的不同对象设置纹理尺度约束。

12、作为本发明的一种优选，所述求解各光源组的共享灯光参数，包括：从各照明载体提取至少包含归一化亮度、光照色度、主光—辅光比和空间亮度梯度之一的照明描述量；根据表面对应关系和风格权重获得各表面域的期望照明描述量；

13、在共享灯光参数的物理取值范围内，最小化由表面—光源影响关系确定的预测照明描述量与期望照明描述量之间的加权差异以及共享灯光参数相对于目标室内三维场景原灯光参数的偏移量，得到包含光源强度系数和颜色系数中至少一项的共享灯光参数。

14、作为本发明的一种优选，设第m个表面域对第g个光源组的有向调整要求为，第m个表面域的重要度为，所述光源冲突信息包括按照

15、确定的光源冲突系数cg，其中ε为正数；当光源冲突系数大于冲突阈值时，缩小相应光源组的共享灯光参数允许更新区间，降低相应照明载体的参与权重，并将光照响应关系中相应光源组对应的响应量乘以1－cg或冻结该响应量。

16、作为本发明的一种优选，所述材质响应关系由对基础色、粗糙度、法线强度和金属度中的至少一种可调表面材质参数执行扰动渲染或求取着色器解析导数而得到，所述光照响应关系根据所述光源响应数据及其颜色通道得到；所述材质域—光照域归因还受同一表面采样点在多个诊断视角下的去光照反射一致性约束及跨uv岛边界的材质连续性约束，并按照先固定共享灯光参数更新表面材质参数、再更新冲突低于阈值的光源组、最后联合微调的顺序迭代，直至渲染残差下降量、参数更新量或迭代次数满足预设停止条件。

17、作为本发明的一种优选，发明还还公开了一种室内场景设计中多风格图像迁移与渲染系统，包括：

18、场景响应获取模块，用于对目标室内三维场景划分多个表面域和多个光源组，选取多个诊断视角，并获取表面标识信息以及各光源组分别按照预设基准参数参与渲染时的光源响应数据；

19、风格载体分离模块，用于对至少两张参考风格图像进行曝光归一和内在成分分解，得到材质反射载体和照明载体；

20、表面风格绑定模块，用于将材质反射载体按照表面对应关系和风格权重映射至对应表面域，获得由多个诊断视角共用的表面材质参数；

21、共享光照求解模块，用于根据表面标识信息对光源响应数据进行表面域聚合以建立表面—光源影响关系，根据各表面域对应的照明载体求解各光源组的共享灯光参数，并根据多个表面域对同一光源组的有向调整要求之间的方向一致性获得光源冲突信息，以生成共享灯光参数的更新约束和照明载体的权重约束；

22、双域迭代模块，用于根据初步渲染结果获得渲染残差，根据材质响应关系和光照响应关系，在所述更新约束和权重约束下对渲染残差进行材质域—光照域归因，将材质增量写入对应表面域，将光照增量写入对应光源组的共享灯光参数；

23、以及统一渲染模块，用于基于更新后的表面材质参数和共享灯光参数渲染至少一个目标视角下的室内场景图像。

24、本发明与现有技术相比具有以下有益效果：

25、与直接迁移最终像素外观相比，本发明将从参考风格图像分离得到的材质反射载体写入表面材质参数域，将照明倾向用于求解共享灯光参数，能够降低参考光照被固化至目标材质后与目标光源重复叠加的风险。

26、本发明根据目标三维场景的光源响应数据建立表面—光源影响关系，该关系包含几何遮挡、表面法线、间接反射及实际渲染管线对光源贡献的影响；同一光源组由全场多个表面域共同求解并仅具有一组共享灯光参数，能够提高相邻表面的照明连续性。

27、本发明根据多个表面域对同一光源组的有向调整要求确定光源冲突信息，在冲突较大时同时限制共享灯光参数的更新和相应照明载体的权重，避免为匹配局部参考图像而破坏全场照明，并阻止局部阴影轮廓重新进入基础色纹理。

28、本发明利用材质响应关系和光照响应关系对渲染残差执行双域归因，材质增量与光照增量具有明确的写入位置；由更新后的三维场景参数统一生成全部目标视角，能够保持同一物理表面的跨视角材质一致性，并使阴影及高光随灯光或视角变化重新计算。

29、下面结合附图对本发明的具体实施方式作进一步详细的描述。