图像生成方法、装置、计算机设备及存储介质与流程

本技术实施例涉及计算机，特别涉及一种图像生成方法、装置、计算机设备及存储介质。

背景技术：

1、随着计算机技术的发展，对图像的处理方式也越来越多样，目前基于人工智能技术智能生成图像。例如通过指定对象，可以智能生成包括指定对象的图像。

2、相关技术中，在指定多个对象的情况下，通过提供各个对象的包围盒，可以控制生成的图像中多个对象的布局。但是，这种方式只能控制各个对象在图像中的位置，无法控制各个对象之间的遮挡关系，具有一定的局限性，导致生成图像的视觉效果不佳。

技术实现思路

1、本技术实施例提供了一种图像生成方法、装置、计算机设备及存储介质，能够在图像生成过程中精准控制图像中的多个对象之间的遮挡关系，提高了遮挡关系的可控性，增强了生成图像的视觉效果。所述技术方案如下：

2、一方面，提供了一种图像生成方法，所述方法包括：

3、获取多个对象的对象信息和所述多个对象之间的遮挡关系，基于所述遮挡关系，确定所述多个对象各自的上层对象，所述对象的对象信息用于描述所述对象，所述对象的上层对象是指遮挡所述对象的其他对象；

4、基于所述多个对象的对象信息，提取所述多个对象各自的第一对象特征；

5、基于所述多个对象各自的上层对象的第一对象特征，确定所述多个对象各自的可视特征，所述对象的可视特征表示所述对象的可视情况；

6、根据所述多个对象各自的可视特征，调整所述多个对象各自的第一对象特征，得到所述多个对象各自的第二对象特征；

7、基于所述多个对象各自的第二对象特征，生成对象图像，所述对象图像中包括具有所述遮挡关系的所述多个对象。

8、可选地，所述基于所述多个对象的所述投射特征、所述可视特征和所述第二加权参数，确定归一化参数，包括：

9、对于所述多个对象中的每个对象，将所述对象的所述投射特征、所述可视特征和所述第二加权参数相乘，得到所述对象的调整后的投射特征；

10、将所述多个对象的调整后的投射特征相加，得到全局投射特征；

11、将所述全局投射特征的倒数，确定为所述归一化参数。

12、可选地，所述第二图像生成模型包括第二特征处理网络和解码网络，所述第二特征处理网络包括交叉注意力层；所述基于训练后的所述第二图像生成模型，构建所述第一图像生成模型，包括：

13、基于所述第二特征处理网络中的交叉注意力层，构建m个第一特征处理网络，m为大于1的整数；

14、将训练后的第二图像生成模型中的所述第二特征处理网络替换为所述m个第一特征处理网络，得到所述第一图像生成模型。

15、另一方面，提供了一种图像生成装置，所述装置包括：

16、获取模块，用于获取多个对象的对象信息和所述多个对象之间的遮挡关系，基于所述遮挡关系，确定所述多个对象各自的上层对象，所述对象的对象信息用于描述所述对象，所述对象的上层对象是指遮挡所述对象的其他对象；

17、第一特征处理模块，用于基于所述多个对象的对象信息，提取所述多个对象各自的第一对象特征；

18、第二特征处理模块，用于基于所述多个对象各自的上层对象的第一对象特征，确定所述多个对象各自的可视特征，所述对象的可视特征表示所述对象的可视情况；

19、第三特征处理模块，用于根据所述多个对象各自的可视特征，调整所述多个对象各自的第一对象特征，得到所述多个对象各自的第二对象特征；

20、图像生成模块，用于基于所述多个对象各自的第二对象特征，生成对象图像，所述对象图像中包括具有所述遮挡关系的所述多个对象。

21、可选地，所述对象信息包括外观信息和位置信息；所述第一特征处理模块，包括：

22、第一提取单元，用于基于所述对象的外观信息，提取所述对象的外观特征；

23、第二提取单元，用于基于所述对象的位置信息，提取所述对象的投射特征；

24、第一融合单元，用于融合所述对象的外观特征和所述对象的投射特征，得到所述对象的第一对象特征。

25、可选地，所述装置通过第一图像生成模型执行，所述第一图像生成模型包括依次连接的m个第一特征处理网络，m为大于1的整数；所述第一提取单元，用于：

26、通过所述m个第一特征处理网络中的第1个第一特征处理网络，对噪声特征和所述对象的外观信息执行交叉注意力编码，得到所述对象的第1个外观特征；

27、通过所述m个第一特征处理网络中的第i个第一特征处理网络，对第i-1个图像特征和所述对象的外观信息执行交叉注意力编码，得到所述对象的第i个外观特征，i为大于1且不大于m的整数；

28、其中，所述第i-1个图像特征是融合所述多个对象各自的第i-1个第二对象特征得到，所述对象的第i-1个第二对象特征是通过所述m个第一特征处理网络中的第i-1个第一特征处理网络得到。

29、可选地，所述第一提取单元，用于：

30、通过所述第i个第一特征处理网络，将所述第i-1个图像特征映射为第i个查询特征；

31、通过所述第i个第一特征处理网络，将所述对象的外观信息映射为第i个键特征和第i个值特征；

32、通过所述第i个第一特征处理网络，融合所述第i个查询特征、所述第i个键特征和所述第i个值特征，得到所述第i个外观特征。

33、可选地，所述第二提取单元，用于：

34、将所述对象的位置信息转换为位置掩码特征；

35、通过所述第i个特征处理网络，将所述第i个查询特征和所述第i个键特征的转置相乘，得到第i个注意力特征；

36、通过所述第i个特征处理网络，将所述第i个注意力特征和所述位置掩码特征相乘，得到所述对象的第i个投射特征。

37、可选地，所述第一融合单元，用于：

38、通过所述第i个特征处理网络，将所述对象的第i个外观特征和所述对象的第i个投射特征相乘，得到所述对象的第i个第一对象特征。

39、可选地，所述第二特征处理模块，包括：

40、第一处理单元，用于对于所述对象的每个上层对象，基于所述上层对象的不透明度特征和所述上层对象的第一对象特征，确定所述上层对象的遮挡特征，所述上层对象的遮挡特征表示所述上层对象的遮挡情况；

41、第二处理单元，用于将所述对象的至少一个上层对象的遮挡特征映射为所述对象的可视特征。

42、可选地，所述第一处理单元，用于：

43、基于所述上层对象的不透明度特征，确定所述上层对象的语义密度特征；

44、将所述上层对象的语义密度特征与所述上层对象的投射特征相乘，得到所述上层对象的遮挡特征。

45、可选地，所述图像生成装置包括多次迭代过程，所述迭代过程是指基于上一次迭代过程中得到的所述多个对象的第二对象特征和所述多个对象的对象信息，确定本次迭代过程的所述多个对象的第二对象特征；所述第一处理单元，用于：

46、将所述上层对象的不透明度特征映射为所述上层对象的初始语义密度特征；

47、确定当前的迭代次数和总迭代次数，确定第一加权参数，所述第一加权参数与所述当前的迭代次数负相关；

48、基于所述加权参数对所述上层对象的初始语义密度特征执行加权操作，得到所述上层对象的语义密度特征。

49、可选地，所述第二处理单元，用于：

50、将所述对象的至少一个上层对象的遮挡特征相加，得到全局遮挡特征；

51、将所述全局遮挡特征的相反数执行指数运算，得到所述对象的可视特征。

52、可选地，所述第一图像生成模型包括依次连接的m个第一特征处理网络，m为大于1的整数；

53、所述第二特征处理模块，用于：通过所述m个第一特征处理网络中的第i个第一特征处理网络，基于所述对象的上层对象的第i个第一对象特征，确定所述对象的第i个可视特征，i为大于1且不大于m的整数；

54、所述第三特征处理模块，用于：通过所述第i个第一特征处理网络，根据所述对象的第i个可视特征，调整所述对象的第i个第一对象特征，得到所述对象的第i个第二对象特征，所述第i个第一对象特征是通过所述第i个特征处理网络得到。

55、可选地，所述图像生成模块，包括：

56、第二融合单元，用于融合所述多个对象各自的第二对象特征，得到图像特征；

57、解码单元，用于对所述图像特征执行解码操作，得到所述对象图像。

58、可选地，所述第二融合单元，用于：

59、对于所述多个对象中的每个对象，基于所述对象的不透明度特征，确定所述对象的语义密度特征，将所述对象的语义密度特征映射为第二加权参数，所述第二加权参数与所述对象的语义密度特征正相关；

60、基于所述多个对象各自的第二加权参数，将所述多个对象各自的第二对象特征执行加权融合操作，得到所述图像特征。

61、可选地，所述第二融合单元，用于：

62、基于所述多个对象各自的第二加权参数，将所述多个对象各自的第二对象特征执行加权求和操作，得到初始图像特征；

63、基于所述多个对象的所述投射特征、所述可视特征和所述第二加权参数，确定归一化参数；

64、将所述初始图像特征与所述归一化参数相乘，得到所述图像特征。

65、可选地，所述第二融合单元，用于：

66、对于所述多个对象中的每个对象，将所述对象的所述投射特征、所述可视特征和所述第二加权参数相乘，得到所述对象的调整后的投射特征；

67、将所述多个对象的调整后的投射特征相加，得到全局投射特征；

68、将所述全局投射特征的倒数，确定为所述归一化参数。

69、可选地，所述第一图像生成模型包括依次连接的m个第一特征处理网络和解码网络，m为大于1的整数；

70、所述图像生成模块，用于：通过所述m个第一特征处理网络中的第i个第一特征处理网络，融合所述多个对象各自的第i个第二对象特征，得到第i个图像特征，i为大于1且不大于m的整数，所述第i个第二对象特征是通过所述第i个特征处理网络得到；

71、所述图像生成模块，用于：通过所述解码网络，对第m个图像特征执行解码操作，得到所述对象图像。

72、可选地，所述装置还包括：

73、模型训练模块，用于获取样本对象信息和样本标签图像，所述样本标签图像中包括所述样本对象信息指示的对象；

74、所述模型训练模块，还用于通过第二图像生成模型，基于所述样本对象信息，生成样本目标图像；

75、所述模型训练模块，还用于基于所述样本目标图像和样本标签图像，训练所述第二图像生成模型，得到训练后的所述第二图像生成模型；

76、模型构建模块，用于基于训练后的所述第二图像生成模型，构建所述第一图像生成模型。

77、可选地，所述第二图像生成模型包括第二特征处理网络和解码网络，所述第二特征处理网络包括交叉注意力层；所述模型构建模块，用于：

78、基于所述第二特征处理网络中的交叉注意力层，构建m个第一特征处理网络，m为大于1的整数；

79、将训练后的第二图像生成模型中的所述第二特征处理网络替换为所述m个第一特征处理网络，得到所述第一图像生成模型。

80、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如上述方面所述的图像生成方法所执行的操作。

81、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如上述方面所述的图像生成方法所执行的操作。

82、另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序由处理器加载并执行，以实现如上述方面所述的图像生成方法所执行的操作。

83、本技术实施例提供的方案，对于多个对象中的每个对象，根据该对象的对象信息，可以确定该对象本身的第一对象特征，根据多个对象之间的遮挡关系，可以确定遮挡该对象的上层对象，而该对象的可视情况是由遮挡该对象的上层对象决定的，因此可以根据该对象的上层对象的第一对象特征，确定该对象的可视特征。那么，根据该对象的可视特征，对该对象本身的第一对象特征进行调整，即可得到该对象被遮挡后剩余的第二对象特征。进而，根据多个对象各自的第二对象特征，即可生成包括该多个对象的对象图像，且对象图像中能够呈现该多个对象之间的遮挡关系。因此，本技术的方案能够在图像生成过程中精准控制图像中的多个对象之间的遮挡关系，提高了遮挡关系的可控性，打破了图像生成过程中无法控制遮挡关系的局限性，增强了生成图像的视觉效果。