一种基于人机协同的文创IP形象多风格并行生成方法

本发明涉及图像生成，具体涉及一种基于人机协同的文创ip形象多风格并行生成方法。

背景技术：

1、随着数字文创产业的蓬勃发展，ip（intellectual property）形象作为文化创意产品的核心载体，在包挂伞（悬挂于箱包、背包等物品上的装饰性小伞）、盲盒、数字藏品等衍生品设计中发挥着日益重要的作用。在实际的文创ip形象设计场景中，设计师通常需要为同一ip形象生成多种风格版本（如国潮风、极简风、赛博朋克风等），以满足不同产品线、不同消费群体对视觉风格的多样化需求。

2、目前，基于深度学习的图像风格化生成技术已有一定发展。例如，中国发明专利cn122023559a公开了一种基于深度学习的图像油画风格化方法及系统，其技术方案包括：接收用户端输入的待转换图像及需求信息，通过语义识别输出包含艺术概念信息的转换意图信息；从预设知识库中筛选与艺术概念信息匹配的风格向量并融合至待转换图像，生成油画版草图；接收用户的修改需求信息，识别并提取艺术概念信息及关联的修改区域信息和修改类型信息；根据修改类型判断是否更换风格向量类型，若需要则筛选待替换风格向量进行融合替换，若不需要则调整对应区域的风格向量参数。该方案在一定程度上实现了图像风格化过程中的人机协同创作功能。

3、然而，上述现有技术及当前主流的图像风格化生成方法仍存在以下技术缺陷：

4、（1）生成架构效率低下。现有技术采用单一风格串行生成架构，当用户需要获得同一内容图像在多风格下的表现效果时，需针对每一种风格分别执行独立的生成流程，重复执行多次完整的图像生成操作，生成效率低下，难以满足文创ip设计中对多风格方案并行比对的实际需求。

5、（2）风格控制精度不足。现有技术将风格特征耦合为整体风格向量进行迁移和调整，风格特征内部各维度（如造型比例、色彩基调、纹理质感、装饰密度等）之间缺乏有效的解耦机制。用户在调整某一风格维度时，其他维度往往产生非预期的联动变化，导致用户无法对不同的风格维度进行独立、定向的精细化调控，限制了风格化生成的灵活性和可控性。

6、（3）跨风格一致性难以保证。现有技术中，用户的修改意图仅作用于当前正在编辑的单一风格分支。当用户对当前风格版本进行修改后（例如将ip形象的眼睛尺寸调大），若需将相同修改意图同步应用于其他风格版本，则需针对每一风格分支重复输入相同的修改指令，交互效率低，且多次重复修改过程中易引入操作偏差，导致同一修改意图在不同风格版本间的修改效果一致性难以保证。

技术实现思路

1、针对上述问题，本发明提出了一种基于人机协同的文创ip形象多风格并行生成方法，具体技术方案如下：一种基于人机协同的文创ip形象多风格并行生成方法，包括如下步骤：

2、s1、获取用户输入的创意意图描述，经文本化处理生成对应的自然语言文本，从中提取ip形象的身份属性信息及多种风格类型，并在提取结果存在信息缺失时进行补全。

3、s2、根据身份属性信息生成初始图像，基于风格解耦映射机制，将风格类型拆解为多个表征向量，并确定每一风格类型下各表征向量的设置参数。

4、s3、基于初始图像，按照各风格类型及其对应的表征向量设置参数，在并行生成网络中同时驱动多个风格分支执行图像生成，同步输出各风格下的候选图像。

5、s4、接收用户对指定风格下候选图像的修改意图描述并从中提取关键词，将所述关键词分别与身份属性信息中特征项及风格类型中表征向量各自描述词库匹配，确定修改维度为身份属性维度或风格类型维度，并获取修改内容。

6、s5、根据修改维度确定修改模式并执行对应修改操作：

7、若修改维度为身份属性维度，则采用协同修改模式，基于修改内容更新身份属性信息中对应的特征项并重新生成初始图像，基于该初始图像同步更新所有风格下的候选图像。

8、若修改维度为风格类型维度，则采用定向修改模式，基于修改内容对指定风格类型中对应的表征向量进行向量加法运算以更新其设置参数，并加载至该风格分支的生成网络，输出修改后的该风格下的候选图像。

9、若修改维度同时包含身份属性维度和风格类型维度，则采用混合修改模式，依次执行所述协同修改操作和所述定向修改操作。

10、s6、重复s4至s5直至满足修改结束条件，输出最终的多风格ip形象设计图集。

11、在上述实施例的基础上，文本化处理的方法包括：

12、获取所述创意意图描述的输入形式，所述输入形式为文字、语音和图片中的一种或多种组合。

13、若为文字输入，直接以输入文字作为自然语言文本。

14、若为语音输入，经语音转文字解析后作为自然语言文本。

15、若为图片输入，在预存的文创ip形象样例图库中检索与输入图片相同或相似的样例图片，并将该样例图片对应的创意意图自然语言文本作为图片输入下的自然语言文本。

16、汇总各输入形式对应的文本化处理结果，生成创意意图的自然语言文本。

17、在上述实施例的基础上，提取ip形象的身份属性信息及多种风格类型的方法包括：

18、提取创意意图自然语言文本中的关键词。

19、将提取的关键词与预设的身份属性信息中各特征项对应的描述词库进行匹配，所述特征项包括角色类型、姿态动作、表情特征和构图布局。

20、若关键词与某特征项的描述词库中词汇相同或互为近义词，则将该关键词归入该特征项下，统计各特征项下的关键词集合，生成ip形象的身份属性信息。

21、将提取的关键词与预设的各风格类型对应的标签词库进行匹配，若关键词与某风格类型的标签词相同或互为近义词，则将该风格类型归入ip形象的风格类型，统计得到ip形象的多种风格类型。

22、在上述实施例的基础上，判断提取结果是否存在信息缺失的方法包括：

23、若身份属性信息中任一特征项下无匹配的关键词，或者提取的所有关键词与预设的各风格类型对应的标签词库均不匹配，则判定提取结果存在信息缺失，并将该特征项或风格类型标记为缺失项，否则判定提取结果不存在信息缺失。

24、在上述实施例的基础上，在提取结果存在信息缺失时进行补全的方法包括：

25、将提取结果中除缺失项外的所有信息项记为已有项，获取所述已有项的组合。

26、遍历历史生成记录中用户输入的多条历史创意意图描述，逐条判断各历史创意意图描述的信息项中是否包含所述已有项组合。

27、若包含，则将该历史创意意图描述中与所述缺失项对应的信息项作为推荐填充内容。

28、若不存在包含所述已有项组合的历史创意意图描述，则统计每条历史创意意图描述中与所述已有项相匹配的信息项数量，将匹配数量最多的历史创意意图描述中与所述缺失项对应的信息项，作为推荐填充内容。

29、将所述推荐填充内容发送至用户端进行确认或修改，根据用户端的反馈确定填充结果，以补全所述缺失项。

30、在上述实施例的基础上，确定每一风格类型下各表征向量设置参数的方法包括：

31、构建风格解耦映射机制，将风格类型拆解为多个相互独立的表征向量，所述表征向量包括轮廓比例、色彩向量、纹理笔触及装饰密度，并按预设规则为不同风格类型配置各表征向量的设置参数。

32、根据所提取的ip形象的多种风格类型，调用所述风格解耦映射机制，对每一风格类型分别进行拆解，获取各风格类型下每一表征向量对应的设置参数。

33、在上述实施例的基础上，同步输出各风格下的候选图像的方法包括：

34、将初始图像分别输入并行生成网络中的多个风格分支，每一风格分支对应一种风格类型。

35、对于每一风格分支，将该风格类型对应的各表征向量设置参数加载至该分支的生成网络中，所述生成网络以所述初始图像为条件输入，将各表征向量设置参数作为风格控制条件。

36、经编码器与解码器逐层特征融合及图像重建后，生成符合该风格类型视觉特征的候选图像。

37、各风格分支在相同的时间窗口内并行执行上述生成过程，同步输出ip形象在各风格下的候选图像。

38、在上述实施例的基础上，确定修改维度的方法包括：

39、将用户选中的风格类型所对应的候选图像记为指定风格下的候选图像，获取用户对该候选图像的修改意图描述，经文本化处理生成修改意图自然语言文本，并提取该文本中的关键词集合。

40、若所述关键词集合中存在与身份属性信息中任一特征项的描述词库相匹配的关键词，则判定修改维度为身份属性维度，并将该特征项记为修改项，将该关键词所在语段记为该修改项的修改描述语段。

41、若所述关键词集合中存在与预设的风格类型中任一表征向量的描述词库相匹配的关键词，则判定修改维度为风格类型维度，并将该表征向量记为修改项，将该关键词所在语段记为该修改项的修改描述语段。

42、在上述实施例的基础上，获取修改内容的方法包括：

43、根据用户对指定风格下候选图像的区域选定操作，获取修改作用域。

44、从所述修改项的修改描述语段中提取调整方向及调整幅度。

45、基于所述修改作用域、修改项及其调整方向和调整幅度，生成各修改维度下的修改内容。

46、相对于现有技术，本发明所述的一种基于人机协同的文创ip形象多风格并行生成方法以下有益效果：

47、1.本发明采用并行生成网络架构，通过共享编码器对初始图像进行一次编码后，将统一的初始潜在特征张量同时输入多个风格分支解码器，各风格分支在相同的时间窗口内并行执行图像生成，同步输出多个风格下的候选图像。相比于现有技术中需为每种风格单独执行完整生成流程的串行方案，本发明大幅降低多风格图像生成的计算开销和等待时间，进而提升设计效率。

48、2.本发明构建了风格解耦映射机制，将风格类型拆解为轮廓比例、色彩向量、纹理笔触、装饰密度等多个相互独立的表征向量，并为不同风格类型分别配置各表征向量的设置参数。各表征向量之间保持独立，任一表征向量的参数调整仅作用于当前表征向量，不会触发其他表征向量发生联动变化。相比于现有技术中风格向量耦合的整体迁移方式，本发明使用户能够对ip形象在形态、色彩、质感和细节等不同风格维度上分别进行独立、精确的调控，能够提升风格控制的精细度和灵活性。

49、3.本发明区分了身份属性维度和风格类型维度两种修改意图，并对应设置了协同修改、定向修改及混合修改三种修改模式。当用户修改身份属性信息（如角色姿态、表情特征等）时，系统自动采用协同修改模式，基于更新后的身份属性信息重新生成初始图像，并同步更新所有风格分支下的候选图像。用户仅需输入一次修改指令，即可实现同一修改意图在所有风格版本中的一致性应用，避免了现有技术中需针对每一风格分支重复输入相同修改指令的繁琐操作，有效保障了不同风格版本间修改效果的一致性。

50、4.本发明支持用户以自然语言形式（文字、语音）或图片形式输入创意意图和修改意图，通过文本化处理、关键词匹配、近义词扩展等语义理解机制，将用户的自然语言表达自动转换为可量化的生成参数和修改指令，降低了用户对专业设计工具的操作门槛，实现了高效、直观的人机协同设计体验。