图像处理方法、电子设备、存储介质及芯片系统与流程

本技术涉及终端，尤其涉及一种图像处理方法、电子设备、存储介质及芯片系统。

背景技术：

1、随着电子设备的硬件性能不断提升，以及屏幕分辨率和刷新率的不断提高，对电子设备的计算能力要求也越来越高。为了满足用户需求，电子设备既需要提升画面清晰度，有需要界面流畅不卡顿。这使得电子设备可能处于高功耗和发热状态，界面容易出现卡顿等情况。

技术实现思路

1、本技术提供一种图像处理方法、电子设备、存储介质及芯片系统，电子设备可以提供多种不同的优化渲染方案，通过评估不同优化渲染方案的画质和流畅度，从中选择最合适或相对较为合适的优化方案来动态调整渲染数据，使得在画质和流畅度之间进行更好的平衡，从而提升用户体验。

2、第一方面，本技术实施例提供一种图像处理方法，应用于电子设备，方法包括：

3、基于第n帧图像的第一渲染数据，和系统负载信息，确定一个或多个渲染方案，其中，n为正整数，不同的渲染方案对应不同的渲染数据，渲染数据中包括下述的一种或多种：分辨率、帧率、后处理特效的渲染方式；对一个或多个渲染方案的画质和流畅度进行评估；根据目标渲染方案，将第一渲染数据调整为第二渲染数据，其中，目标渲染方案是一个或多个渲染方案中画质最好和/或流畅度最好的方案，且目标渲染方案的预测功耗小于预设功耗阈值。这样，电子设备可以根据实际的应用场景和电子设备的负载状态及时优化渲染数据，使得在画质和流畅度之间进行更好的平衡，从而提升用户体验。

4、一种可能的实现方式中，对一个或多个渲染方案的画质和流畅度进行评估，包括：对一个或多个渲染方案中的m个渲染方案的画质和流畅度进行评估，其中，m个渲染方案的预测功耗均小于预设功耗阈值，m为正整数，m个渲染方案中包括目标渲染方案。这样，不需要对每一个渲染方案都进行画质和流畅度评估，在维持功耗稳定的情况下，还可以减少画质和流畅度评估的计算量，从而提升电子设备性能。

5、一种可能的实现方式中，目标渲染方案包括下述的一种或多种：调整分辨率、调整帧率、调整后处理特效的渲染方式；其中，调整帧率包括将帧率控制在预设帧率范围内，后处理特效包括下述的一种或多种特效：反射效果、阴影贴图分辨率、泛光、抗锯齿，调整后处理特效的渲染方式包括隔帧复用后处理特效的渲染方式。可以理解的是，降低分辨率可以减少电子设备需要处理的像素数量，在降低电子设备负载的情况下，可以有更流畅的显示效果。通过控帧可以动态调整渲染的帧率，以适应不同的硬件性能和用户需求。例如，在性能较低的电子设备上，可以降低帧率以保证游戏的稳定运行。在性能较高的电子设备上，可以提高帧率以获得更好的视觉效果。这样，可以在不同的电子设备和环境中提供更好的用户体验，使得应用既能正常运行，又能提供良好的视觉效果。隔帧复用的渲染方式使帧缓冲上的渲染数据仍然为上一帧渲染数据，当前帧可以复用上一帧的后处理渲染数据。隔帧复用可以减少每帧的计算量，降低电子设备的功耗，从而提升渲染性能。

6、一种可能的实现方式中，根据目标渲染方案，将第一渲染数据调整为第二渲染数据之前，还包括：识别第n帧图像的一个或多个渲染阶段；其中，一个或多个渲染阶段包括下述的一种或多种渲染阶段：主场景、用户界面、运动模糊、泛光；基于第一渲染阶段的引用关系，识别与第一渲染阶段关联的关联组，其中，一个或多个渲染阶段中包括第一渲染阶段，关联组中包括与第一渲染阶段共享帧缓冲附件或存在依赖关系的一个或多个渲染阶段；根据目标渲染方案，将第一渲染数据调整为第二渲染数据之前，包括：根据目标渲染方案，渲染阶段关联组中的一个或多个渲染阶段分别采用第二渲染数据进行渲染。本技术实施例中，在与第一渲染阶段存在依赖关系的情况下，可以考虑将第一渲染阶段和其他渲染阶段合并，以减少数据同步和数据传输的开销。这样，通过识别和使用适当的渲染阶段关联组，可以优化渲染性能，减少不必要的帧缓冲切换，提高渲染效率，降低gpu的工作负载和能耗。

7、一种可能的实现方式中，渲染阶段关联组中的一个或多个渲染阶段分别采用第二渲染数据渲染之前，还包括：基于第一渲染阶段的分辨率和帧缓冲附件，生成多个分辨率不同的帧缓冲附件，多个分辨率不同的帧缓冲附件所包含的附件纹理格式分别和第一渲染阶段的帧缓冲附件所包含的附件纹理格式相同；渲染阶段关联组中的一个或多个渲染阶段分别采用第二渲染数据渲染，包括：基于第二渲染数据中的分辨率，获取分辨率对应的帧缓冲附件；渲染阶段关联组中的一个或多个渲染阶段分别基于帧缓冲附件进行渲染。这样，在图形渲染过程中，渲染优化模块可以动态调整不同分辨率的fb附件，实现不同分辨率的图像渲染，从而合理使用渲染优化资源。

8、一种可能的实现方式中，识别第n帧图像的一个或多个渲染阶段，包括：若第n帧图像的分辨率大于分辨率阈值、帧缓冲附件大于附件阈值，且绘制指令的数量是一个或多个渲染阶段中数量最多的，则识别为主场景的渲染阶段。

9、可以理解的是，为了保证图像的清晰度和细节的完整呈现，主场景通常以较高分辨率进行渲染，从而提供较好的视觉质量。不同的渲染阶段可能对应不同的fb附件。例如，主场景的fb附件会包含颜色附件、深度附件、模板附件。此外，由于主场景通常包含较多的3d模型和复杂的几何结构，如建筑物、地形、植被、角色等。这些元素需要较多的顶点和面来描述，因此，主场景的dc数量往往最多，即主场景是多个渲染阶段中dc数量最多的渲染阶段。基于此，本技术实施例中，在判断主场景的渲染阶段时，可以判断分辨率是否大于或等于分辨率阈值，判断fb附件是否大于或等于fb附件阈值，以及判断dc数量是否为各个渲染阶段中dc数量最多的。

10、本技术实施例还可以识别用户界面、运动模糊、泛光等其他场景。这样，通过识别不同的渲染场景，可以灵活采取不同的渲染参数进行图像渲染，使得界面中呈现出更好的图像画质和图像效果。

11、一种可能的实现方式中，确定一个或多个渲染方案之前，还包括：在第n帧图像的预测功耗大于或等于预设功耗阈值的情况下，确定一个或多个渲染方案。本技术实施例中，可以不需要对所有的应用场景都进行渲染优化，这样渲染计算量较大，使得电子设备的功耗负载较高。而是对于一些复杂的场景、渲染元素较多的场景、数据计算量较大的场景，例如主场景、打斗场景、团战场景、释放技能场景等场景进行渲染优化。这样，可以根据实际的渲染场景和电子设备的功耗灵活进行渲染优化调整，从而减少渲染计算量，降低电子设备的功耗负载。

12、一种可能的实现方式中，确定一个或多个渲染方案之前，还包括：在第n帧图像为目标应用中的图像的情况下，确定一个或多个渲染方案，其中，目标应用为预设列表中的应用。不同的应用对应的功耗有所不同。本技术实施例可以通过预设列表对一些功耗较大的应用进行渲染优化。这样，可以更好地管理和优化应用程序的运行，更高效率的提升电子设备的性能，降低功耗。

13、第二方面，本技术实施例提供一种图像处理的装置，该装置可以是电子设备，也可以是电子设备内的芯片或者芯片系统。该装置可以包括处理单元。处理单元用于实现第一方面或第一方面的任意一种可能的实现方式中电子设备执行的与处理相关的任意方法。当该装置是电子设备时，该处理单元可以是处理器。该装置还可以包括存储单元，该存储单元可以是存储器。该存储单元用于存储指令，该处理单元执行该存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的方法。当该装置是电子设备内的芯片或者芯片系统时，该处理单元可以是处理器。该处理单元执行存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的方法。该存储单元可以是该芯片内的存储单元(例如，寄存器、缓存等)，也可以是该电子设备内的位于该芯片外部的存储单元(例如，只读存储器、随机存取存储器等)。

14、第三方面，本技术实施例提供一种电子设备，包括一个或多个处理器和存储器，存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器用于调用计算机指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

15、第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中所描述的方法。

16、第五方面，本技术实施例提供一种包括计算机程序的计算机程序产品，当计算机程序在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

17、第六方面，本技术提供一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。其中，芯片中的通信接口可以为输入/输出接口、管脚或电路等。

18、在一种可能的实现中，本技术中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元(例如，只读存储器、随机存取存储器等)。

19、应当理解的是，本技术的第二方面至第六方面与本技术的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。