场景图像的风格化方法及装置与流程

本公开涉及图像处理，尤其涉及一种场景图像的风格化方法及装置。

背景技术：

1、基于图像的场景风格化是计算机视觉领域的研究方向之一，场景风格化是指将参考风格图像的风格特征迁移至三维场景中，得到具有该风格外观的三维场景。

2、相关技术中，将多张场景图像进行风格化转绘，得到风格化后的场景图像，再基于风格化后的场景图像进行三维场景结构重建，得到风格化三维场景；然而，风格化转绘会使场景图像中的物体边缘和线条产生改变，导致基于风格化后的场景图像重建得到的三维场景出现结构形变，场景结构体中的结构属性信息与实际场景不符。

技术实现思路

1、本公开提供了一种场景图像的风格化方法及装置，以解决相关技术中风格化转绘会使场景图像中的物体边缘和线条产生改变，导致基于风格化后的场景图像重建得到的三维场景出现结构形变，场景结构体中的结构属性信息与实际场景不符的问题。

2、根据本公开的第一方面实施例，提供了一种场景图像的风格化方法，包括：

3、从至少两张场景图像中提取至少两个内容特征，并将所述至少两个内容特征输入至结构处理网络进行处理，得到场景结构体的结构属性信息；

4、从风格图像中提取风格特征，并将所述风格特征及所述至少两个内容特征输入至风格处理网络进行处理，得到所述场景结构体的风格属性信息；其中，所述结构处理网络与所述风格处理网络相互解耦；

5、根据所述结构属性信息和所述风格属性信息，构建得到风格化场景结构体。

6、在本公开的一些实施例中，所述从至少两张场景图像中提取至少两个内容特征，包括：

7、将所述至少两张场景图像输入至内容编码器进行编码处理，得到所述至少两个内容特征；其中，所述至少两张场景图像为无相机位姿信息的场景图像；

8、在所述从至少两张场景图像中提取至少两个内容特征之后，所述方法还包括：

9、将所述至少两个内容特征分别输入至所述结构处理网络及所述风格处理网络。

10、在本公开的一些实施例中，所述将所述至少两个内容特征输入至结构处理网络进行处理，得到场景结构体的结构属性信息，包括：

11、将所述至少两个内容特征输入至所述结构处理网络中的结构解码器进行融合处理，得到融合后的结构特征；

12、将所述融合后的结构特征输入至所述结构处理网络中的结构模型进行结构处理，得到所述场景结构体及所述结构属性信息；其中，所述结构属性信息的确定不依赖于所述风格属性信息。

13、在本公开的一些实施例中，所述从风格图像中提取风格特征，包括：

14、将所述风格图像输入至风格编码器进行编码处理，得到所述风格特征；

15、在所述从风格图像中提取风格特征之后，所述方法还包括：

16、将所述风格特征输入至所述风格处理网络。

17、在本公开的一些实施例中，所述将所述风格特征及所述至少两个内容特征输入至风格处理网络进行处理，得到所述场景结构体的风格属性信息，包括：

18、对所述至少两个内容特征进行拼接处理，得到拼接后的内容特征；

19、将所述拼接后的内容特征与所述风格特征输入至所述风格处理网络中的风格解码器进行融合处理，得到风格化后的内容特征；

20、将所述风格化后的内容特征输入至所述风格处理网络中的风格模型进行风格处理，得到所述风格属性信息。

21、在本公开的一些实施例中，所述根据所述结构属性信息和所述风格属性信息，构建得到风格化场景结构体，包括：

22、将所述结构属性信息与所述风格属性信息进行组合，得到所述场景结构体的目标属性信息；其中，所述结构属性信息包括位置信息、朝向信息、尺度信息及透明度信息中的至少一种，所述风格属性信息包括颜色信息；

23、根据所述目标属性信息，渲染得到所述风格化场景结构体。

24、在本公开的一些实施例中，所述将所述至少两个内容特征输入至所述结构处理网络中的结构解码器进行融合处理，得到融合后的结构特征，包括：

25、以所述至少两个内容特征中第一视角的内容特征为查询，以所述至少两个内容特征中第二视角的内容特征为键和值，通过交叉注意力机制进行融合处理，得到所述融合后的结构特征。

26、在本公开的一些实施例中，所述将所述拼接后的内容特征与所述风格特征输入至所述风格处理网络中的风格解码器进行融合处理，得到风格化后的内容特征，包括：

27、以所述拼接后的内容特征为查询，以所述风格特征为键和值，通过交叉注意力机制进行融合处理，得到所述风格化后的内容特征。

28、在本公开的一些实施例中，所述方法还包括：

29、冻结训练后的结构处理网络的参数，采用风格损失和内容损失训练所述风格处理网络，得到训练后的风格处理网络。

30、根据本公开的第二方面实施例，提供了一种场景图像的风格化装置，包括：

31、第一提取单元，用于从至少两张场景图像中提取至少两个内容特征；

32、第一处理单元，用于将所述至少两个内容特征输入至结构处理网络进行处理，得到场景结构体的结构属性信息；

33、第二提取单元，用于从风格图像中提取风格特征；

34、第二处理单元，用于将所述风格特征及所述至少两个内容特征输入至风格处理网络进行处理，得到所述场景结构体的风格属性信息；其中，所述结构处理网络与所述风格处理网络相互解耦；

35、构建单元，用于根据所述结构属性信息和所述风格属性信息，构建得到风格化场景结构体。

36、在本公开的一些实施例中，所述第一提取单元，用于：

37、将所述至少两张场景图像输入至内容编码器进行编码处理，得到所述至少两个内容特征；其中，所述至少两张场景图像为无相机位姿信息的场景图像；

38、在所述从至少两张场景图像中提取至少两个内容特征之后，所述装置还包括：

39、将所述至少两个内容特征分别输入至所述结构处理网络及所述风格处理网络。

40、在本公开的一些实施例中，所述第一处理单元，用于：

41、将所述至少两个内容特征输入至所述结构处理网络中的结构解码器进行融合处理，得到融合后的结构特征；

42、将所述融合后的结构特征输入至所述结构处理网络中的结构模型进行结构处理，得到所述场景结构体及所述结构属性信息；其中，所述结构属性信息的确定不依赖于所述风格属性信息。

43、在本公开的一些实施例中，所述第二提取单元，用于：

44、将所述风格图像输入至风格编码器进行编码处理，得到所述风格特征；

45、在所述从风格图像中提取风格特征之后，所述装置还包括：

46、将所述风格特征输入至所述风格处理网络。

47、在本公开的一些实施例中，所述第二处理单元，用于：

48、对所述至少两个内容特征进行拼接处理，得到拼接后的内容特征；

49、将所述拼接后的内容特征与所述风格特征输入至所述风格处理网络中的风格解码器进行融合处理，得到风格化后的内容特征；

50、将所述风格化后的内容特征输入至所述风格处理网络中的风格模型进行风格处理，得到所述风格属性信息。

51、在本公开的一些实施例中，所述构建单元，用于：

52、将所述结构属性信息与所述风格属性信息进行组合，得到所述场景结构体的目标属性信息；其中，所述结构属性信息包括位置信息、朝向信息、尺度信息及透明度信息中的至少一种，所述风格属性信息包括颜色信息；

53、根据所述目标属性信息，渲染得到所述风格化场景结构体。

54、在本公开的一些实施例中，所述第一处理单元，还用于：

55、以所述至少两个内容特征中第一视角的内容特征为查询，以所述至少两个内容特征中第二视角的内容特征为键和值，通过交叉注意力机制进行融合处理，得到所述融合后的结构特征。

56、在本公开的一些实施例中，所述第二处理单元，还用于：

57、以所述拼接后的内容特征为查询，以所述风格特征为键和值，通过交叉注意力机制进行融合处理，得到所述风格化后的内容特征。

58、在本公开的一些实施例中，所述装置还包括：

59、冻结单元，用于冻结训练后的结构处理网络的参数，采用风格损失和内容损失训练所述风格处理网络，得到训练后的风格处理网络。

60、根据本公开的第三方面实施例，提供了一种电子设备，包括：

61、至少一个处理器；以及

62、与所述至少一个处理器通信连接的存储器；其中，

63、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面实施例所述的方法。

64、根据本公开的第四方面实施例，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面实施例所述的方法。

65、根据本公开的第五方面实施例，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述第一方面实施例所述的方法。

66、本公开提供的场景图像的风格化方法及装置，包括：从至少两张场景图像中提取至少两个内容特征，并将至少两个内容特征输入至结构处理网络进行处理，得到场景结构体的结构属性信息；从风格图像中提取风格特征，并将风格特征及至少两个内容特征输入至风格处理网络进行处理，得到场景结构体的风格属性信息；其中，结构处理网络与风格处理网络相互解耦；根据结构属性信息和风格属性信息，构建得到风格化场景结构体；结构处理网络输出的结构属性信息不受风格处理网络输出的风格属性信息的影响，所构建的风格化场景结构体中的结构属性信息与从至少两张场景图像中提取得到的结构属性信息一致，避免了风格化处理导致的场景结构体发生形变。

67、应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。