一种图像处理方法、电子设备及存储介质与流程
本技术涉及终端,尤其涉及一种图像处理方法、电子设备及存储介质。
背景技术:
1、人工智能(artificial intelligence,ai)技术是一种能够模拟、扩展和增强人类智能行为的技术。ai技术能够在特定的环境或者任务中,通过感知、推理、学习和决策等能力,实现自主有效的行为表现,以解决复杂问题,完成特定任务。
2、电子设备通常会对部分应用程序(例如,游戏应用程序)的界面图像基于ai模型进行处理,以实现画质增强、画面风格转换、场景识别等功能。
3、若应用程序为高负载应用程序,则对该应用程序的界面图像基于ai模型进一步处理的过程中,会增大电子设备的负载压力,影响电子设备的系统性能。因此,在电子设备对界面图像基于ai模型进行处理的过程中,实现降负载是十分必要的。
技术实现思路
1、本技术实施例提供了一种图像处理方法、电子设备及存储介质,能够在电子设备对图像进行ai处理的过程中,减小电子设备的数据传输量,降低电子设备的负载。
2、第一方面,本技术实施例提供了一种图像处理方法,应用于电子设备,包括:获取第一应用程序中的第一图像;对第一图像进行画质损失程度预测处理,得到第一图像对应的第一损失值,第一损失值用于表示第一图像的画质损失程度;确定第一损失值对应的图像压缩算法;基于图像压缩算法,对第一图像进行图像压缩处理后,得到第一压缩图像;基于人工智能ai技术对第一压缩图像进行ai处理后,还原第一压缩图像,以得到ai处理后的第一图像。
3、本技术实施例提供的图像处理方法,基于预测画质损失程度的方式,确定合适的图像压缩算法,以对图像进行压缩,并将压缩后的图像进行ai处理,这样,在电子设备对图像进行ai处理的过程中,减小了电子设备的数据传输量,降低了电子设备的负载。
4、在一种实现方式中,获取第一应用程序中的第一图像之前,还包括:加载第一应用程序,第一应用程序包括游戏应用程序。采用本实现方式,电子设备可以在游戏场景下,基于预测画质损失程度的方式,确定合适的图像压缩算法,以对图像进行压缩,并将压缩后的图像进行ai处理,这样,在电子设备对图像进行ai处理的过程中,减小了电子设备的数据传输量,降低了电子设备的负载。
5、在一种实现方式中,对第一图像进行画质损失程度预测处理,得到第一图像对应的第一损失值,包括:获取第一图像的目标区域中的至少一个第一像素,其中,第一图像包括基于第一颜色空间创建的红绿蓝rgb图像,在第一图像为rgb图像的情况下,第一像素的像素格式为rgb格式;将目标区域由第一颜色空间映射至第二颜色空间,以使具有rgb格式的第一像素转换为具有亮度色度yuv格式的第二像素;将目标区域由第二颜色空间映射至第一颜色空间,以使具有yuv格式的第二像素转换为具有rgb格式的第三像素;将第一像素与第三像素之间的平均欧氏距离确定为第一损失值。采用本实现方式,电子设备可以实现画质损失程度的预测,以确定合适的图像压缩算法,进而对图像进行压缩,并将压缩后的图像进行ai处理,这样,在电子设备对图像进行ai处理的过程中,减小了电子设备的数据传输量,降低了电子设备的负载。
6、在一种实现方式中,确定第一损失值对应的图像压缩算法,包括:在第一损失值大于第一损失阈值的情况下,确定第一损失值与第一图像压缩算法相对应,第一图像压缩算法用于将图像压缩至第一精度;在第一损失值小于或者等于第一损失阈值的情况下,确定第一损失值与第二图像压缩算法相对应,第二图像压缩算法用于将图像压缩至第二精度,第一精度大于第二精度。采用本实现方式,电子设备可以选择合适的压缩算法,进而对图像进行压缩,并将压缩后的图像进行ai处理,这样,在电子设备对图像进行ai处理的过程中,减小了电子设备的数据传输量,降低了电子设备的负载。
7、在一种实现方式中,图像压缩算法包括颜色空间转换算法;第一图像压缩算法包括第一预设标准对应的第一颜色空间转换算法,第一颜色空间转换算法用于基于浮点数进行计算;第二图像压缩算法包括第二预设标准对应的第二颜色空间转换算法,第二颜色空间转换算法用于基于整数进行计算。采用本实现方式,示出了具体的图像压缩算法,以供电子设备选择。这样,电子设备可以对图像进行压缩,并将压缩后的图像进行ai处理,以在电子设备对图像进行ai处理的过程中,减小电子设备的数据传输量,降低电子设备的负载。
8、在一种实现方式中,在一种实现方式中,基于图像压缩算法,对第一图像进行图像压缩处理后,得到第一压缩图像,包括:在图像压缩算法为颜色空间转换算法的情况下,基于颜色空间转换算法,将第一图像由第一颜色空间映射至第二颜色空间;在第一图像中,分离第二颜色空间的亮度通道,以得到第一压缩图像。采用本实现方式,示出了电子设备对图像进行压缩的具体方式,这样,电子设备可以将压缩后的图像进行ai处理,以在电子设备对图像进行ai处理的过程中,减小电子设备的数据传输量,降低电子设备的负载。
9、在一种实现方式中,在第一图像中,分离第二颜色空间的亮度通道,以得到第一压缩图像,包括:在第一图像中,分离第二颜色空间的亮度通道和色度通道,并对色度通道进行线性插值处理,以得到第一压缩图像。采用本实现方式,示出了电子设备对图像进行压缩的具体方式,这样,电子设备可以将压缩后的图像进行ai处理,以在电子设备对图像进行ai处理的过程中,减小电子设备的数据传输量,降低电子设备的负载。
10、在一种实现方式中,基于人工智能ai技术对第一压缩图像进行ai处理后,还原第一压缩图像,以得到ai处理后的第一图像,包括:基于ai技术对第一压缩图像进行ai处理后,将第一压缩图像由第二颜色空间映射至第一颜色空间,以得到ai处理后的第一图像。采用本实现方式,示出了还原压缩图像的具体方式,这样,在电子设备对图像进行ai处理的过程中,电子设备可以实现对第一图像的压缩和还原,减小了电子设备的数据传输量,降低了电子设备的负载。
11、在一种实现方式中,加载第一应用程序,包括:第一应用程序调用渲染线程初始化预设的ai模型;第一应用程序将初始化后的ai模型配置于神经网络处理器npu;在完成ai模型的配置之后,第一应用程序确定第一图像对应的渲染方式,渲染方式包括前向渲染,或者,延迟渲染;第一应用程序将渲染方式配置于图形驱动;图形驱动基于渲染方式向图形处理器gpu下发第一渲染指令。采用本实现方式,示出了电子设备加载第一应用程序的具体方式,这样,电子设备在加载第一应用程序的过程中,完成对ai模型的配置,进而可以对压缩后的图像进行ai处理,以减小电子设备的数据传输量,降低电子设备的负载。
12、在一种实现方式中,第一应用程序调用渲染线程初始化预设的ai模型,包括:第一应用程序检测ai模型的运行环境;在运行环境检测完毕后,第一应用程序加载预设的ai模型,并对ai模型进行进行模型编译处理;在完成模型编译处理后,第一应用程序对ai模型进行内存配置,以使ai模型可被配置于npu。采用本实现方式,示出了电子设备对ai模型进行配置的具体方式,这样,电子设备可以对压缩后的图像进行ai处理,并在对压缩后的图像进行ai处理的过程中,减小电子设备的数据传输量,降低电子设备的负载。
13、在一种实现方式中,第一应用程序将初始化后的ai模型配置于神经网络处理器npu之后,还包括:npu异步启动ai模型。采用本实现方式,示出了电子设备启动ai模型的具体方式,这样,电子设备可以对压缩后的图像进行ai处理,并在对压缩后的图像进行ai处理的过程中,减小电子设备的数据传输量,降低电子设备的负载。
14、在一种实现方式中,获取第一应用程序的第一图像,包括:响应于第一渲染指令,gpu渲染第一图像;gpu在渲染完成第一图像之后,将第一图像存储于gpu的缓冲区。采用本实现方式,示出了电子设备获取图像的具体方式,这样,电子设备可以进一步基于预测画质损失程度的方式,确定合适的图像压缩算法,以对图像进行压缩,并将压缩后的图像进行ai处理。在电子设备对图像进行ai处理的过程中,减小了电子设备的数据传输量,降低了电子设备的负载。
15、在一种实现方式中,对第一图像进行画质损失程度预测处理,得到第一图像对应的第一损失值,包括:gpu获取目标区域中的第一像素,gpu将目标区域由第一颜色空间映射至第二颜色空间,以使具有rgb格式的第一像素转换为具有yuv格式的第二像素;gpu将目标区域由第二颜色空间映射至第一颜色空间,以使具有yuv格式的第二像素转换为具有rgb格式的第三像素;gpu将第一像素与第三像素之间的平均欧氏距离确定为第一损失值。采用本实现方式,电子设备可以实现画质损失程度的预测,以确定合适的图像压缩算法,进而对图像进行压缩,并将压缩后的图像进行ai处理,这样,在电子设备对图像进行ai处理的过程中,减小了电子设备的数据传输量,降低了电子设备的负载。
16、在一种实现方式中,确定第一损失值对应的图像压缩算法,包括:在第一损失值大于第一损失阈值的情况下,gpu确定第一损失值与第一图像压缩算法相对应;在第一损失值小于或者等于第一损失阈值的情况下,gpu确定第一损失值与第二图像压缩算法相对应。采用本实现方式,电子设备可以选择合适的压缩算法,进而对图像进行压缩,并将压缩后的图像进行ai处理,这样,在电子设备对图像进行ai处理的过程中,减小了电子设备的数据传输量,降低了电子设备的负载。
17、在一种实现方式中,基于图像压缩算法,对第一图像进行图像压缩处理后,得到第一压缩图像,包括:gpu基于颜色空间转换算法,将第一图像由第一颜色空间映射至第二颜色空间;gpu在第一图像中,分离第二颜色空间的亮度通道,以得到第一压缩图像。采用本实现方式,示出了电子设备对图像进行压缩的具体方式,这样,电子设备可以将压缩后的图像进行ai处理,以在电子设备对图像进行ai处理的过程中,减小电子设备的数据传输量,降低电子设备的负载。
18、在一种实现方式中,gpu在第一图像中,分离第二颜色空间的亮度通道,以得到第一压缩图像,包括:gpu在第一图像中,分离第二颜色空间的亮度通道和色度通道,并对色度通道进行线性插值处理,以得到第一压缩图像。采用本实现方式,示出了电子设备对图像进行压缩的具体方式,这样,电子设备可以将压缩后的图像进行ai处理,以在电子设备对图像进行ai处理的过程中,减小电子设备的数据传输量,降低电子设备的负载。
19、在一种实现方式中,基于人工智能ai技术对第一压缩图像进行ai处理后,还原第一压缩图像,以得到ai处理后的第一图像,包括:gpu将第一压缩图像映射至共享内存;npu访问共享内存,以将第一压缩图像作为ai模型的输入;npu基于ai模型对第一压缩图像进行ai处理后,将输出的ai处理后的第一压缩图像写入共享内存;gpu从共享内存获取ai处理后的第一压缩图像,并将ai处理后的第一压缩图像由第二颜色空间映射至第一颜色空间,以得到ai处理后的第一图像。采用本实现方式,示出了电子设备对图像进行ai处理的具体方式,这样,在电子设备对图像进行ai处理的过程中,电子设备可以实现对第一图像的压缩和还原,减小了电子设备的数据传输量,降低了电子设备的负载。
20、在一种实现方式中,gpu从共享内存获取ai处理后的第一压缩图像,并将ai处理后的第一压缩图像由第二颜色空间映射至第一颜色空间,以得到ai处理后的第一图像,包括:在ai处理后的第一压缩图像包括基于线性插值处理的色度通道的情况下,gpu从共享内存获取ai处理后的第一压缩图像之后,基于线性插值处理重建色度通道,以完成ai处理后的第一压缩图像由第二颜色空间至第一颜色空间的映射,得到ai处理后的第一图像。采用本实现方式,示出了电子设备对图像进行ai处理的具体方式,这样,在电子设备对图像进行ai处理的过程中,电子设备可以实现对第一图像的压缩和还原,减小了电子设备的数据传输量,降低了电子设备的负载。
21、在一种实现方式中,ai模型包括ai超分模型,ai超分模型是基于离线训练过程生成的。采用本实现方式,电子设备可以对界面图像进行ai超分处理,以提升界面图像的分辨率,电子设备支持在这一场景下对图像进行ai处理,以减小电子设备的数据传输量,并降低电子设备的负载。
22、第二方面,本技术实施例提供了一种图像处理装置,该图像处理装置包括获取模块,获取模块用于获取第一应用程序中的第一图像;预测模块,预测模块用于对第一图像进行画质损失程度预测处理,得到第一图像对应的第一损失值,第一损失值用于表示第一图像的画质损失程度;确定模块,确定模块用于确定第一损失值对应的图像压缩算法;压缩模块,压缩模块用于基于图像压缩算法,对第一图像进行图像压缩处理后,得到第一压缩图像;处理模块,处理模块用于基于ai技术对第一压缩图像进行ai处理后,还原第一压缩图像,以得到ai处理后的第一图像。
23、本技术实施例提供的图像处理装置,基于预测画质损失程度的方式,确定合适的图像压缩算法,以对图像进行压缩,并将压缩后的图像进行ai处理,这样,在电子设备对图像进行ai处理的过程中,减小了电子设备的数据传输量,降低了电子设备的负载。
24、第三方面,本技术实施例提供一种电子设备,该电子设备包括触摸屏、存储器和一个或多个处理器;触摸屏、存储器与处理器耦合;其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行如第一方面及其任一种实现方式提供的图像处理方法。
25、第四方面,本技术实施例提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种实现方式提供的图像处理方法。
26、第五方面,本技术实施例提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如第一方面及其任一种实现方式提供的图像处理方法。
27、可以理解地,上述提供的第三方面至第五方面提供的技术方案所能达到的有益效果,可参考第一方面及其任一种实现方式中的有益效果,此处不再赘述。
28、可以理解地,上述提供的第三方面至第五方面提供的技术方案所能达到的有益效果,可参考第一方面及其任一种可能的实现方式中的有益效果,此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com