一种图像处理方法和系统与流程

摘要: 本发明涉及图像处理,更具体地,涉及一种图像处理方法和系统。背景技术:1、在图像编辑领域,对图像中的文字内容进行替换具有广泛的应用需求,如海报修改、广告文案调整、...
一种图像处理方法和系统与流程

本发明涉及图像处理,更具体地,涉及一种图像处理方法和系统。

背景技术:

1、在图像编辑领域,对图像中的文字内容进行替换具有广泛的应用需求,如海报修改、广告文案调整、界面文字更新等。随着多模态大模型技术的快速发展,通过自然语言提示词引导模型执行图像文字编辑已成为一种可行的技术路径。

2、目前,基于大模型的图像文字编辑主要采用以下方式实现。一种方式是用户直接向通用图像编辑模型输入手工编写的自然语言提示词,由模型理解提示词内容后执行文字替换。另一种方式是通过节点式工作流工具,由用户自行搭建包含图像加载、文字识别、提示词编码、图像生成等节点的编辑流程,将文字替换作为图像局部重绘的一个子任务来完成。此外,通过脚本模式,用户也可通过绘制蒙版圈选文字区域并结合手工提示词来实现文字替换。

3、然而,上述现有方案存在以下不足:用户每次编辑均需手工编写或调整自然语言提示词,提示词质量高度依赖个人经验,缺乏标准化机制来确保每次调用均包含完整的编辑约束条件;文字识别工具返回的识别结果无法直接输入模型,需人工将其转化为自然语言描述,这一转换过程不仅增加了操作步骤,还容易造成信息精度损失;当需同时对图像中多段文字进行修改时,需多次调用模型或拼接超长提示词,处理效率较低。

技术实现思路

1、本发明提供一种图像处理方法和系统,用于使用户无需手工编写完整的提示词即可完成对图像的处理操作。

2、根据本技术的第一方面,提供了一种图像处理方法,所述方法包括:

3、获取结构化编辑意图数据,所述结构化编辑意图数据是基于用户对所述待编辑图像的编辑意图生成的;

4、根据所述结构化编辑意图数据,生成图像编辑提示词;

5、将所述图像编辑提示词发送至图像处理模型;

6、接收所述图像处理模型根据所述图像编辑提示词对所述待编辑图像进行处理后的图像。

7、可理解的是,本技术通过获取基于用户编辑意图生成的所述结构化编辑意图数据,并基于所述结构化编辑意图数据自动生成供图像处理模型执行编辑的图像编辑提示词,使所述图像处理模型根据所述图像编辑提示词完成图像处理,得到处理后的图像。由于图像编辑提示词是根据结构化编辑意图数据自动生成,用户仅需表达编辑意图而无需自行编写完整的提示词,使用户无需手工编写完整的提示词即可完成对图像的处理操作,降低了用户操作门槛。

8、可选地,根据所述结构化编辑意图数据,生成图像编辑提示词,包括:

9、将所述结构化编辑意图数据作为第一提示词模板的输入,通过所述第一提示词模板渲染生成所述图像编辑提示词。

10、可理解的是,本技术通过将所述结构化编辑意图数据作为第一提示词模板的输入,利用所述第一提示词模板渲染自动生成所述图像编辑提示词,使所述图像编辑提示词的构造过程标准化、自动化。由此,每次调用均按照统一的模板生成提示词,避免了不同用户或不同场景下手工编写提示词所导致的格式不统一和质量参差不齐的问题,确保了图像编辑提示词结构的规范性和完整性。

11、可选地,所述结构化编辑意图数据包括至少一个意图编辑项;

12、通过所述第一提示词模板渲染生成所述图像编辑提示词,包括:

13、基于所述第一提示词模板,遍历所述结构化编辑意图数据中的所述意图编辑项,为所述意图编辑项渲染生成对应的图像编辑指令;

14、根据所有所述意图编辑项对应的图像编辑指令,构建所述图像编辑提示词。

15、可理解的是,本技术通过所述第一提示词模板遍历所述结构化编辑意图数据中的各意图编辑项,为每个意图编辑项分别渲染生成对应的图像编辑指令,并根据所有意图编辑项对应的图像编辑指令构建完整的图像编辑提示词。由此,当用户需要对待编辑图像中多段文字进行编辑时,单次渲染即可将全部意图编辑项一次性转换为对应的多条图像编辑指令,无需为每段文字单独构造提示词或多次调用模型,提升了多段文字编辑场景下的处理效率,同时避免了将多个编辑需求拼接到单一提示词中可能导致的指令混淆问题。

16、可选地,所述结构化编辑意图数据包括至少一个意图编辑项,每个所述意图编辑项包含所述待编辑图像中的原始内容、所述原始内容的待替换内容、所述原始内容在所述待编辑图像中的位置信息。

17、可理解的是,本技术将编辑意图抽象为包含原始内容、待替换内容和位置信息等字段的结构化数据格式,使内容识别输出的结构化信息与用户输入的待替换内容能够以统一的字段格式组织在一起,以独立字段的形式传递给后续流程。这使得原始内容的位置信息无需被嵌入自然语言描述中,避免了自然语言描述可能产生的歧义和精度损失,保证了编辑意图在从用户交互到模型调用的全链路中以结构化形式无损传递,提升了所述结构化编辑意图数据表达用户编辑意图的精准度。

18、可选地,所述图像编辑提示词包含以下约束提示词中的至少一种:

19、风格保持约束提示词,用于提示所述图像处理模型保持所述原始内容在所述待编辑图像中的风格;

20、特效保持约束提示词,用于提示所述图像处理模型保持所述原始内容在所述待编辑图像中的特效;

21、缩放适配约束提示词,用于提示所述图像处理模型在所述替换内容长度不同于所述原始内容长度时,对所述替换内容进行缩放以适应所述原始内容在所述待编辑图像中的位置;

22、区域保护约束提示词,用于提示所述图像处理模型保持所述待编辑图像中除所述原始内容外的其他内容不变。

23、可理解的是,本技术通过在所述图像编辑提示词中内置风格保持约束提示词、特效保持约束提示词、缩放适配约束提示词和区域保护约束提示词,由于约束提示词在每次模型调用时自动生效,无需用户在每次编辑时手工编写或确认,避免了现有技术中因用户遗漏约束提示词而导致的风格不一致、特效丢失、替换内容与原文区域不匹配或非编辑区域被误修改等问题,保障了编辑质量的稳定性和一致性。

24、可选地,所述方法还包括:

25、根据所述结构化编辑意图数据,生成自然语言展示词,其中所述自然语言展示词用于展示所述待编辑图像的编辑信息;

26、将所述处理后的图像和所述自然语言展示词推送给所述用户。

27、可理解的是,本技术基于同一份所述结构化编辑意图数据生成所述图像编辑提示词的同时,生成所述自然语言展示词,由于所述图像编辑提示词和所述自然语言展示词均来源于同一份所述结构化编辑意图数据,两者信息一致,将其推送给用户后,用户可以在获得处理后图像的同时能够通过自然语言展示词直观了解图像处理内容,提升了用户体验。

28、可选地,所述根据所述结构化编辑意图数据,生成自然语言展示词,包括:

29、将所述结构化编辑意图数据作为第二提示词模板的输入,通过所述第二提示词模板渲染生成所述自然语言展示词。

30、可理解的是,本技术通过将同一份所述结构化编辑意图数据作为所述第二提示词模板的输入,利用所述第二提示词模板渲染自动生成自然语言展示词。由于所述图像编辑提示词和所述自然语言展示词均来源于同一份结构化编辑意图数据,保证了机器指令与用户展示信息的一致性,避免了现有方案中因两套文本分别维护而导致的编辑意图信息不一致或不同步问题,消除了手工同步的成本和风险。

31、可选地,所述获取结构化编辑意图数据,包括:

32、获取用户的待编辑图像,并对所述待编辑图像进行内容识别,获得内容识别结果;

33、将所述内容识别结果发送至所述用户;

34、接收所述用户返回的待替换内容,所述待替换内容是所述用户针对所述内容识别结果输入的待替换内容;

35、根据所述内容识别结果和所述待替换内容,构建所述结构化编辑意图数据。

36、可理解的是,本技术通过获取用户的待编辑图像并进行内容自动识别,将内容识别结果发送至用户,并接收用户针对所述内容识别结果返回的待替换内容,然后根据内容识别结果和待替换内容自动构建结构化编辑意图数据。这使得用户仅需在界面上点选需要修改的内容区域并填入新内容即可完成编辑意图的提交,进而可以自动将用户的点选和输入操作转化为后续流程所需的结构化数据,用户无需了解底层模型名称、api格式或提示词的写法,也无需编辑完整的提示词,显著降低了提示词构建的技术门槛和操作复杂度。

37、可选地,所述内容识别结果包含至少一条识别记录,每条所述识别记录包含原始内容以及所述原始内容在所述待编辑图像中的位置信息;

38、所述待替换内容为所述用户针对至少一个所述原始内容输入的待替换内容。

39、可理解的是,本技术通过将所述内容识别结果组织为包含原始内容和位置信息的识别记录,使用户能够针对至少一条识别记录输入对应的待替换内容,且待替换内容与原始内容之间存在明确的对应关系。由此,当用户针对多个原始内容分别输入待替换内容时,均能够准确地将每个待替换内容与其对应的位置信息关联起来,保证了多段文字编辑场景下各意图编辑项的对应关系不会发生混淆,进一步提升了批量编辑的准确性。

40、根据本技术的第二方面,提供了一种图像处理系统,所述系统包括:

41、获取模块,用于获取结构化编辑意图数据,所述结构化编辑意图数据是基于用户对所述待编辑图像的编辑意图生成的;

42、生成模块,用于根据所述结构化编辑意图数据,分别生成图像编辑提示词和自然语言展示词,其中所述自然语言展示词用于展示所述待编辑图像的编辑信息;

43、第一发送模块,用于将所述图像编辑提示词发送至图像处理模型;

44、接收模块,用于接收所述图像处理模型根据所述图像编辑提示词对所述待编辑图像进行处理后的图像;

45、第二发送模块,用于将所述处理后的图像和所述自然语言展示词推送给所述用户。

46、根据本技术的第三方面,提供了一种电子设备,包括:

47、存储器,用于存储一个或多个计算机程序;

48、处理器,当所述一个或多个计算机程序被所述处理器执行时,实现上述第一方面所述的图像处理方法。

49、根据本技术的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现上述第一方面所述的图像处理方法。

50、基于上述任意一个方面,本技术实施例提供的图像处理方法、系统、电子设备及存储介质,其有益效果包括:

51、(1)申请通过获取基于用户编辑意图生成的所述结构化编辑意图数据,并基于所述结构化编辑意图数据自动生成供图像处理模型执行编辑的图像编辑提示词,使所述图像处理模型根据所述图像编辑提示词完成图像处理,得到处理后的图像。由于图像编辑提示词是根据结构化编辑意图数据自动生成,用户仅需表达编辑意图而无需自行编写完整的提示词,使用户无需手工编写完整的提示词即可完成对图像的处理操作,降低了用户操作门槛。

52、(2)本技术通过将所述结构化编辑意图数据作为第一提示词模板的输入,利用所述第一提示词模板渲染自动生成所述图像编辑提示词,使所述图像编辑提示词的构造过程标准化、自动化。由此,每次调用均按照统一的模板生成提示词,避免了不同用户或不同场景下手工编写提示词所导致的格式不统一和质量参差不齐的问题,确保了图像编辑提示词结构的规范性和完整性。

53、(3)本技术通过所述第一提示词模板遍历所述结构化编辑意图数据中的各意图编辑项,为每个意图编辑项分别渲染生成对应的图像编辑指令,并根据所有意图编辑项对应的图像编辑指令构建完整的图像编辑提示词。由此,当用户需要对待编辑图像中多段文字进行编辑时,单次渲染即可将全部意图编辑项一次性转换为对应的多条图像编辑指令,无需为每段文字单独构造提示词或多次调用模型,提升了多段文字编辑场景下的处理效率,同时避免了将多个编辑需求拼接到单一提示词中可能导致的指令混淆问题。

54、(4)本技术将编辑意图抽象为包含原始内容、待替换内容和位置信息等字段的结构化数据格式,使内容识别输出的结构化信息与用户输入的待替换内容能够以统一的字段格式组织在一起,以独立字段的形式传递给后续流程。这使得原始内容的位置信息无需被嵌入自然语言描述中,避免了自然语言描述可能产生的歧义和精度损失,保证了编辑意图在从用户交互到模型调用的全链路中以结构化形式无损传递,提升了所述结构化编辑意图数据表达用户编辑意图的精准度。

55、(5)本技术通过在所述图像编辑提示词中内置风格保持约束提示词、特效保持约束提示词、缩放适配约束提示词和区域保护约束提示词,由于约束提示词在每次模型调用时自动生效,无需用户在每次编辑时手工编写或确认,避免了现有技术中因用户遗漏约束提示词而导致的风格不一致、特效丢失、替换内容与原文区域不匹配或非编辑区域被误修改等问题,保障了编辑质量的稳定性和一致性。

56、(6)本技术基于同一份所述结构化编辑意图数据生成所述图像编辑提示词的同时,生成所述自然语言展示词,由于所述图像编辑提示词和所述自然语言展示词均来源于同一份所述结构化编辑意图数据,两者信息一致,将其推送给用户后,用户可以在获得处理后图像的同时能够通过自然语言展示词直观了解图像处理内容,提升了用户体验。

57、(7)本技术通过将同一份所述结构化编辑意图数据作为所述第二提示词模板的输入,利用所述第二提示词模板渲染自动生成自然语言展示词。由于所述图像编辑提示词和所述自然语言展示词均来源于同一份结构化编辑意图数据,保证了机器指令与用户展示信息的一致性,避免了现有方案中因两套文本分别维护而导致的编辑意图信息不一致或不同步问题,消除了手工同步的成本和风险。

58、(8)本技术通过获取用户的待编辑图像并进行内容自动识别,将内容识别结果发送至用户,并接收用户针对所述内容识别结果返回的待替换内容,然后根据内容识别结果和待替换内容自动构建结构化编辑意图数据。这使得用户仅需在界面上点选需要修改的内容区域并填入新内容即可完成编辑意图的提交,进而可以自动将用户的点选和输入操作转化为后续流程所需的结构化数据,用户无需了解底层模型名称、api格式或提示词的写法,,也无需编辑完整的提示词,显著降低了技术门槛和操作复杂度。

59、(9)本技术通过将所述内容识别结果组织为包含原始内容、位置信息的识别记录,使用户能够针对至少一条识别记录输入对应的待替换内容,且待替换内容与原始内容之间存在明确的对应关系。由此,当用户针对多个原始内容分别输入待替换内容时,均能够准确地将每个待替换内容与其对应的位置信息信息关联起来,保证了多段文字编辑场景下各意图编辑项的对应关系不会发生混淆,进一步提升了批量编辑的准确性。