一种图像处理方法及电子设备与流程

摘要: 本技术实施例涉及图像,尤其涉及一种图像处理方法及电子设备。背景技术:1、为了满足用户对于图像编辑的要求,修图软件或电子设备,如手机等提供的图像编辑工具越来越丰富...
一种图像处理方法及电子设备与流程

本技术实施例涉及图像,尤其涉及一种图像处理方法及电子设备。

背景技术:

1、为了满足用户对于图像编辑的要求,修图软件或电子设备,如手机等提供的图像编辑工具越来越丰富。图像编辑工具能够帮助用户实现图像编辑功能,如人像美颜,抠图,去除图像中的路人,调整图像亮度,在图像中增加贴纸等。

2、现有技术中,图像编辑工具的功能通常较分散,用户编辑一张图片需要操作多步。并且,部分用户不知道图像编辑工具的用法和具体功能,当用户有编辑图像的需求时,难以快速熟练的使用图像编辑工具达到图像编辑需求。

技术实现思路

1、本技术实施例提供一种图像处理方法及电子设备,用于帮助用户使用图像编辑工具,快速的对图像进行图像编辑。

2、为达到上述目的,本技术的实施例采用如下技术方案:

3、第一方面,提供了一种图像处理方法,该方法包括:

4、通过电子设备的语音助手获取待处理图像和图像编辑指令,该图像编辑指令用于指示对待处理图像进行图像编辑。其中,电子设备的语音助手处于唤醒状态。然后,在语音助手的交互界面显示编辑后的图像,编辑后的图像是语音助手基于图像编辑指令对待处理图像进行图像编辑后得到的图像。

5、在该方案中,语音助手在获取到待处理图像和图像编辑指令后,即可基于图像编辑指令对待处理图像实现图像编辑,获得编辑后的图像。一方面,图像编辑指令可以用于指示电子设备对待处理图像执行多项图像编辑操作,相较于用户需要一步一步对图像进行编辑操作的实现方式而言,通过上述方案的图像处理方式,用户只需输入一个图像编辑指令即可完成多项图像编辑操作,能够提高图像编辑的效率。另一方面,对于不熟悉图像编辑工具的用户而言,通过上述方式,通过语音助手即可完成对待处理图像的图像编辑操作,获得较好的图像编辑效果。

6、在第一方面的一种可能的实现方式中,在语音助手的交互界面显示编辑后的图像之前,上述方法还包括:通过语音助手获取图像编辑指令指示的第一图像编辑操作。即,图像编辑指令明确指示了具体的图像编辑操作。然后,通过语音助手对待处理图像执行第一图像编辑操作,获得编辑后的图像。这样,语音助手在获取到待处理图像以及图像编辑指令之后,即可对待处理图像按照图像编辑指令指示的图像编辑操作进行图像编辑。相较于现有方式而言,上述方式无需用户手动一步一步在众多图像编辑工具中找到想要用的图像编辑工具进行图像编辑,大大提高图像处理的效率。

7、在第一方面的一种可能的实现方式中,上述通过电子设备的语音助手获取待处理图像和图像编辑指令,通过语音助手对待处理图像执行第一图像编辑操作,获得编辑后的图像,可以在电子设备上实现。上述通过语音助手获取图像编辑指令指示的第一图像编辑操作可以是电子设备上实现,也可以在服务器上实现。

8、在第一方面的一种可能的实现方式中,电子设备通过语音助手获取待处理图像和图像编辑指令,然后可以将图像编辑指令上传至服务器。服务器通过语音助手获取图像编辑指令指示的第一图像编辑操作,然后服务器将第一图像编辑操作返回至电子设备。最后,电子设备通过语音助手对待处理图像执行第一图像编辑操作,获得编辑后的图像。这样,将用于获取图像编辑指令指示的第一图像编辑操作的模块部署在服务器上,能够减少占用电子设备的存储空间,也能够减少电子设备的计算量。

9、在第一方面的一种可能的实现方式中,在通过语音助手对待处理图像执行第一图像编辑操作之后,上述方法还可以包括:统计各图像编辑工具的使用次数。这样,便于在为用户推荐待处理图像可以执行的图像编辑操作时,能够推荐更加符合用户习惯的图像编辑操作。

10、在第一方面的一种可能的实现方式中,图像编辑指令为自然语言指令。语音助手中部署有预设模型。上述通过语音助手解析图像编辑指令,确定图像编辑指令指示的第一图像编辑操作,具体可以包括:通过预设模型,将图像编辑指令转换为预设格式的指令。其中,一个预设格式的指令用于指示一个图像编辑工具,一个图像编辑工具与图像编辑指令指示的一项第一图像编辑操作对应。在该方案中,通过语音助手对待处理图像执行第一图像编辑操作,获得编辑后的图像,包括:通过语音助手调用图像编辑工具对待处理图像执行第一图像编辑操作,获得编辑后的图像。

11、在该方案中,通过语音助手中部署的预设模型,将自然语言的图像编辑指令转换为预设格式的指令,确定出执行图像编辑指令所需要用到的图像编辑工具。之后,电子设备能够调用预设格式的指令中指示的图像编辑工具,对待处理图像执行图像编辑操作。

12、在第一方面的一种可能的实现方式中,预设模型包括第一模型,该第一模型具备将图像编辑指令转换为预设格式的指令的功能。

13、在第一方面的一种可能的实现方式中,第一模型为基于训练数据对虚拟大语言模型vllm进行训练确定的模型,或者第一模型为基于训练数据对大语言模型llm进行训练确定的模型。在该方案中,通过预设模型,将图像编辑指令转换为预设格式的指令,具体可以包括:将图像编辑指令输入第一模型,获取第一模型输出的预设格式的指令。

14、其中,训练数据中包括多组对应的输入数据和输出数据,输入数据为自然语言指令,输出数据为预设格式的指令。在该方案中,预先通过训练数据对vllm模型或llm模型训练确定第一模型,之后,直接将自然语言的图像编辑指令输入第一模型,即可获得第一模型输出的预设格式的指令。借助预先训练好的模型进行指令转换,可以提高指令转换的效率。

15、在第一方面的一种可能的实现方式中,预设模型包括第二模型,第二模型为大语言模型。在该方案中,上述通过预设模型,将图像编辑指令转换为预设格式的指令,具体可以包括:将图像编辑工具的工具说明书、指令转换示例和图像编辑指令输入第二模型,获取第二模型输出的预设格式的指令。其中,图像编辑工具的工具说明书用于指示对电子设备支持的图像编辑工具的作用。指令转换示例包括多组对应的输入数据和输出数据,输入数据为自然语言指令,输出数据为预设格式的指令。

16、在该方案中,通过向大语言模型输入工具说明书、指令转换示例和图像编辑指令,利用大语言模型对于语言文本的含义的理解能力,将图像编辑指令按照指令转换示例转换为预设格式的指令。这样同样可以实现指令格式的转换,且无需提前训练模型,实现简单,并且可以减少训练成本。

17、在第一方面的一种可能的实现方式中,预设模型包括第二模型,第二模型为大语言模型。在该方案中,上述通过预设模型,将图像编辑指令转换为预设格式的指令,具体可以包括:将图像编辑工具的工具说明书、指令转换示例和图像编辑指令输入第二模型,获取第二模型输出的预设格式的指令。其中,图像编辑工具的工具说明书用于指示与图像编辑指令关联的图像编辑工具的作用。指令转换示例包括多组对应的输入数据和输出数据,输入数据为自然语言指令,输出数据为预设格式的指令。

18、在该方案中,向第二模型输入的数据中的工具说明书仅包括与图像编辑指令关联的图像编辑工具的部分说明书。同样利用大语言模型实现指令格式的转换,但是在将数据输入大语言模型之前,先根据图像编辑指令对工具说明书进行精简,不仅能够减少输入大语言模型的输入数据的数据量,也能够使得输入大语言模型的输入数据更准确。这样,大语言模型根据精简后的工具说明书和指令转换示例,能够更准确的将图像编辑指令转换为预设格式的指令,提高指令格式转换的准确性。

19、在第一方面的一种可能的实现方式中,在将图像编辑工具的工具说明书、指令转换示例和图像编辑指令输入第二模型之前,上述方法还包括:从所有图像编辑工具的说明书中筛选出图像编辑指令关联的图像编辑工具的部分说明书。

20、在第一方面的一种可能的实现方式中,在电子设备的语音助手的交互界面显示编辑后的图像之前,上述方法还包括:通过语音助手分析待处理图像获得图像分析结果。该图像分析结果包括待处理图像中存在的待处理项。然后,通过语音助手基于图像编辑指令和图像分析结果,确定针对待处理图像的第二图像编辑操作,第二图像编辑操作用于对待处理图像中存在的待处理项进行编辑。最后,通过语音助手对待处理图像执行第二图像编辑操作,获得编辑后的图像。

21、在该方案中,图像编辑指令中也可以只是明确图像编辑意图,没有明确指示需要对待处理图像执行哪些图像编辑操作。具体的,通过语音助手分析待处理图像,能够确定待处理图像中的待处理项,然后针对该待处理项,语音助手可以推荐进行编辑的第二图像编辑操作。这样,用户只需要输入待处理图像,以及一个模糊的图像编辑指令,即便用户不熟悉图像编辑工具,也能够获得较好的图像编辑效果。

22、在第一方面的一种可能的实现方式中,上述通过语音助手基于图像编辑指令和图像分析结果,确定针对待处理图像的第二图像编辑操作,具体可以包括:通过语音助手根据图像编辑指令和图像分析结果,确定预设格式的指令。一个预设格式的指令用于指示一个图像编辑工具,一个图像编辑工具与第二图像编辑操作对应。在该方案中,上述通过语音助手对待处理图像执行第二图像编辑操作,获得编辑后的图像,包括:通过语音助手调用图像编辑工具对待处理图像执行第二图像编辑操作,获得编辑后的图像。

23、在该方案中,根据图像分析结果和图像编辑指令,可以确定出针对待处理图像可以执行的第二图像编辑操作。在确定的过程中,生成预设格式的指令,该预设格式的指令指示图像编辑工具。之后,电子设备能够调用预设格式的指令中指示的图像编辑工具,对待处理图像执行第二图像编辑操作。

24、在第一方面的一种可能的实现方式中,第二图像编辑操作中可以包括一项或多项图像编辑操作。

25、在第一方面的一种可能的实现方式中,通过语音助手根据图像编辑指令和图像分析结果,确定预设格式的指令,具体可以通过预设规则实现。预设规则中定义了图像编辑操作与图像编辑工具的映射关系,根据图像编辑指令可以确定用户期望对待处理图像进行图像编辑,而图像分析结果可以确定对于待处理图像哪些部分是可以进行优化的。之后,通过语音助手即可按照预设规则根据图像分析结果确定能够调用哪些图像编辑工具对待处理图像进行优化,并输出预设格式的指令。之后,电子设备能够调用预设格式的指令中指示的图像编辑工具,对待处理图像执行第二图像编辑操作。

26、在第一方面的一种可能的实现方式中,通过语音助手根据图像编辑指令和图像分析结果,确定预设格式的指令也可以通过模型实现。该模型具备根据图像编辑指令和图像分析结果,生成预设格式的指令的功能。

27、在第一方面的一种可能的实现方式中,上述通过语音助手分析待处理图像,获得图像分析结果,具体可以包括:通过语音助手调用图像分析模型,对待处理图像进行图像分析,获得图像分析结果。其中,图像分析模型包括以下至少一项:主体抠图模型,场景识别模型,人脸检测模型,光学字符识别ocr模型,主角定位模型以及人像实例分割模型。

28、在该方案中,可以借助图像分析模型实现分析待处理图像获得图像分析结果。不同的图像分析模型可以获得不同的图像分析结果。例如,主体抠图模型可以用于抠出待处理图像中的主体部分。场景识别模型可以用于识别待处理图像中的场景。人脸检测模型可以用于检测待处理图像中的人脸以及人脸所在的位置。ocr模型可以用于识别待处理图像中的字符。主角定位模型以及人像实例分割模型可以用于识别待处理图像中的主角和路人。

29、在第一方面的一种可能的实现方式中,第二图像编辑操作包括多项图像编辑操作,多项图像编辑操作按第一顺序排序。

30、在第一方面的一种可能的实现方式中,在通过语音助手对待处理图像执行第二图像编辑操作之前,上述方法还可以包括:根据各图像编辑工具的使用次数,将第二图像编辑操作中多项图像编辑操作的由第一顺序调整为第二顺序。其中,图像编辑工具与图像编辑操作一一对应。

31、用户使用图像编辑工具的次数越多,说明用户更喜欢或者说更习惯使用这一个图像编辑工具,也是用户在有图像编辑需求时更倾向于使用执行的图像编辑工具。因此,在该方案中,在确定待处理图像中可以执行的第二图像编辑操作之后,还可以结合用户使用各图像编辑工具的次数,对待处理图像中可以执行的第二图像编辑操作中多项图像编辑操作进行调整。这样,能够在之后对待处理图像执行图像编辑操作时,获得更加符合用户的喜好和习惯的图像编辑效果。

32、在第一方面的一种可能的实现方式中,在通过电子设备的语音助手获取待处理图像和图像编辑指令之前,上述方法还可以包括:显示第一界面,第一界面包括待处理图像。响应于第一操作,唤醒所述语音助手。其中,通过电子设备的语音助手获取待处理图像,具体可以包括:通过语音助手识别第一界面中的内容,以获得待处理图像。

33、在该方案中,用户可以在显示待处理图像的第一界面唤醒语音助手,这样,语音助手在被唤醒后可以直接从第一界面显示的内容中识别获取到待处理图像。用户无需再手动向语音助手输入待处理图像,操作更简单。

34、第二方面,本技术还提供了一种图像处理方法,该方法包括:

35、通过电子设备的语音助手获取待处理图像,电子设备的语音助手处于唤醒状态。在语音助手的交互界面显示针对待处理图像的候选操作选项。其中,候选操作选项用于指示针对待处理图像推荐的图像编辑操作。

36、在该方案中,通过语音助手接收到待处理图像之后,可以自动根据待处理图像推荐可以执行的图像编辑操作。从而,用户可以根据电子设备推荐的操作选项,确定需要对待处理图像执行什么样的图像编辑操作。即便用户不熟悉图像编辑工具,也能够根据推荐的图像编辑操作,对待处理图像进行图像编辑,获得较好的图像编辑效果。

37、在第二方面的一种可能的实现方式中,在语音助手的交互界面显示针对待处理图像的候选操作选项之后,上述方法还包括:响应于对目标操作选项的触发操作,在语音助手的交互界面显示编辑后的图像。其中,编辑后的图像是语音助手对待处理图像执行目标操作选项对应的图像编辑操作后得到的图像。目标操作选项是候选操作选项中的一个或多个操作选项。

38、在该方案中,用户可以通过选择候选操作选项中的一个或多个选项(目标操作选项),触发电子设备对待处理图像执行目标操作选项对应的图像编辑操作,获得编辑后的图像。通过这种方式,用户可以快速的对图像进行编辑,相较于用户需要一步一步对图像进行多步操作的实现方式而言,能够较大的提高图像编辑的效率。

39、在第二方面的一种可能的实现方式中,在通过语音助手,对待处理图像执行基于目标操作选项对应的图像编辑操作之后,上述方法还可以包括:统计各图像编辑工具的使用次数。这样,便于在为用户推荐待处理图像可以执行的图像编辑操作时,能够推荐更加符合用户习惯的图像编辑操作。

40、在第二方面的一种可能的实现方式中,在语音助手的交互界面显示针对待处理图像的候选操作选项之前,上述方法还包括:通过语音助手分析待处理图像,获得图像分析结果。其中,图像分析结果包括待处理图像中存在的待处理项。确定用于对待处理图像中存在的待处理项进行编辑的图像编辑操作。根据用于对待处理图像中存在的待处理项进行编辑的图像编辑操作,生成针对待处理图像的候选操作选项。

41、在该方案中,借助语音助手的图像分析能力,对待处理图像进行分析,可以获得待处理图像中可能存在的缺陷。在确定了待处理图像中包含的缺陷之后,即可确定针对该待处理图像可以执行什么样的图像编辑操作,能够获得较好的图像编辑效果。因此,通过上述方式可以确定出用于修复缺陷的图像编辑操作。然后,根据确定出的用于修复缺陷的图像编辑操作,生成候选操作选项,即可向用户推荐针对待处理图像可以执行的图像编辑操作。

42、在第二方面的一种可能的实现方式中,候选操作选项包括多个候选操作选项。在电子设备的语音助手的交互界面显示针对待处理图像的候选操作选项之前,上述方法还包括:根据各图像编辑工具的使用次数,确定候选操作选项的显示顺序。在语音助手的交互界面显示针对待处理图像的候选操作选项,具体可以包括:在语音助手的交互界面,按照显示顺序显示针对待处理图像的候选操作选项。

43、在该方案中,图像编辑工具的使用次数,能够从一定程度上反映用户使用图像编辑工具的习惯。根据图像编辑工具的使用次数调整候选操作选项的显示顺序,可以将用户更喜欢用到的图像编辑工具对应的候选操作选项显示在前面,这样使候选操作选项的推荐更加符合用户的习惯。

44、在第二方面的一种可能的实现方式中,根据各图像编辑工具的使用次数,确定候选操作选项的显示顺序,具体可以包括:按照使用次数由高到低的顺序,为图像编辑工具设置由高到低的权重。根据对应的图像编辑工具的权重由高到低的顺序,显示候选操作选项。

45、第三方面,本技术还提供了一种电子设备。该电子设备可以包括:显示屏、处理器和存储器。该存储器用于存储计算机执行指令,当该电子设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该电子设备执行如上述第一方面中任一项的图像处理方法,或者上述第二方面中任一项的图像处理方法。

46、第四方面,本技术提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面中任一项的图像处理方法,或者上述第二方面中任一项的图像处理方法。

47、第五方面,提供了一种包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备可以执行上述第一方面中任一项的图像处理方法,或者上述第二方面中任一项的图像处理方法。

48、第六方面,提供了一种装置(例如,该装置可以是芯片系统),该装置包括处理器,用于支持电子设备实现上述第一方面中所涉及的功能。在一种可能的设计中,该装置还包括存储器,该存储器,用于保存电子设备必要的程序指令和数据。该装置是芯片系统时,可以由芯片构成,也可以包含芯片和其他分立器件。

49、其中,第二方面至第六方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果,此处不再赘述。