一种图像处理方法和装置与流程

1.本发明涉及显示技术领域，尤其涉及一种图像处理方法和装置。


背景技术：

2.在利用显示装置显示图像时，输入的图像的质量可能相对较差，且输入的图像的格式可能与显示装置的输出格式有一定差异，例如，图像的分辨率、清晰度可能与显示装置的分辨率以及用户希望获得的清晰度有所差异。相关技术中，对于图像的处理效果较差。


技术实现要素：

3.本发明实施例提供一种图像处理方法和装置，以解决提高图像显示过程中对于图像的处理效果。
4.第一方面，本发明实施例提供了一种图像处理方法，应用于显示装置，包括以下步骤:
5.获取输入图像以及图像输出规格，所述图像输出规格包括图像输出质量、图像输出分辨率和图像输出格式；
6.确定对于所述输入图像的图像处理信息，其中，所述图像处理信息包括根据所述输入图像确定的第一格式调整信息和分辨率调整参数、根据所述输入图像和所述图像输出规格确定的画质优化信息、以及根据所述图像输出规格确定的第二格式调整信息和分辨率优化信息；
7.根据所述图像处理信息对输入图像包括的多帧图像并行进行图像处理，并按照所述多帧图像的排列顺序输出经过图像处理后的图像，其中，每一帧图像的处理过程包括依次进行的前处理进程、画质增强处理进程和后处理进程，所述前处理进程是根据所述第一格式调整信息和所述分辨率调整参数进行的，所述画质增强处理进程是根据所述画质优化信息进行的，所述后处理进程是根据所述第二格式调整信息和所述分辨率优化信息进行的。
8.可选的，所述确定对于所述输入图像的图像处理信息，包括：
9.获取所述输入图像的图像格式以及分辨率；
10.在所述输入图像的图像格式不为第一预设格式的情况下，选择将所述输入图像转换为所述第一预设格式的解码器作为所述第一格式调整信息；
11.在所述输入图像的分辨率不为标准分辨率的情况下，选择与所述输入图像的分辨率最接近的标准分辨率，作为所述分辨率调整参数。
12.可选的，所述前处理进程，包括：
13.在所述输入图像的图像格式不为所述第一预设格式的情况下，利用所述解码器将所述输入图像的格式转换为所述第一预设格式；
14.在所述输入图像的分辨率不为标准分辨率的情况下，将所述输入图像的分辨率缩放为所述标准分辨率。
15.可选的，所述获取输入图像以及图像输出规格之后，还包括：
16.判断所述输入图像的图像输入规格和所述图像输出规格是否发生变化；
17.在所述图像输入规格和所述图像输出规格中的至少一个发生变化的情况下，执行所述确定对于所述输入图像的图像处理信息的步骤；
18.在所述图像输入规格和所述图像输出规格均未发生变化的情况下，调用已有的图像处理信息。
19.可选的，所述根据所述图像处理信息对输入图像包括的多帧图像并行进行图像处理之前，还包括：
20.判断执行所述画质增强处理进程的计算资源是否发生变化，其中，所述计算资源包括npu资源、gpu资源和cpu资源；
21.在所述计算资源发生变化、存在可用的npu资源且存在可用gpu资源的情况下，将全部可用npu资源和gpu资源作为执行所述画质增强处理进程的候选计算资源；
22.在所述计算资源发生变化、存在可用的npu资源且不存在可用gpu资源的情况下，将全部可用npu资源作为执行所述画质增强处理进程的候选计算资源；
23.在所述计算资源发生变化、不存在可用npu资源且存在可用gpu资源的情况下，将可用的gpu资源中的一部分作为执行所述画质增强处理进程的候选计算资源；
24.在所述计算资源发生变化、不存在可用npu资源且不存在可用gpu资源的情况下，将可用的cpu资源中的一部分作为执行所述画质增强处理进程的候选计算资源。
25.可选的，所述确定对于所述输入图像的图像处理信息，包括：
26.确定所述候选计算资源中是否包括npu资源和gpu资源；
27.在可用的计算资源中包括npu资源和gpu资源中的至少一项的情况下，将用户设置的画质需求对应的画质等级作为所述画质优化信息的画质等级；
28.在可用的计算资源中不包括npu资源和gpu资源中的任意一项的情况下，确定用户设置的画质需求对应的画质等级；
29.在所述画质等级小于或等于第一等级阈值的情况下，将用户设置的画质需求对应的画质等级作为所述画质优化信息的画质等级；
30.在所述画质等级大于所述第一等级阈值的情况下，将所述第一等级阈值对应的画质等级作为所述画质优化信息对应的画质等级。
31.可选的，所述确定对于所述输入图像的图像处理信息，包括：
32.选取第一模型组，其中，所述第一模型组包括多个图像处理模型，且所述第一模型组包括的图像处理模型均能够处理分辨率为所述分辨率调整参数对应的图像分辨率的图像；
33.在所述第一模型组中选取第二模型组，其中，所述第二模型组中图像处理模型对应的画质等级为所述画质优化信息的画质等级；
34.在所述第二模型组中存在输出分辨率等于所述图像输出分辨率的图像处理模型的情况下，将输出分辨率等于所述图像输出分辨率的图像处理模型作为画质优化信息对应的目标图像处理模型；
35.在所述第二模型组中不存在输出分辨率等于所述图像输出分辨率的图像处理模型的情况下，将所述第二模型组中输出分辨率最高的图像处理模型作为画质优化信息对应
的目标图像处理模型。
36.可选的，所述画质增强处理进程包括：
37.利用所述目标图像处理模型对所述输入图像进行画质增强处理。
38.可选的，所述确定对于所述输入图像的图像处理信息，包括：
39.在所述目标图像处理模型的输出分辨率等于所述图像输出分辨率的情况下，选择同分辨率锐化处理作为所述分辨率优化信息，其中，所述同分辨率锐化处理对应的分辨率和所述图像输出分辨率相同；
40.在所述目标图像处理模型的输出分辨率小于所述图像输出分辨率的情况下，选择上采样处理作为所述分辨率优化信息，其中，所述上采样处理后得到的图像的分辨率与所述图像输出分辨率相同；
41.在所述图像输出格式与第一预设格式为不同的格式的情况下，确定将图像格式由所述第一预设格式转换为所述图像输出格式的编码器作为所述第二格式调整信息。
42.可选的，所述后处理进程，包括：
43.在所述目标图像处理模型的输出分辨率等于所述图像输出分辨率的情况下，对所述输入图像进行同分辨率锐化处理；
44.在所述目标图像处理模型的输出分辨率小于所述图像输出分辨率的情况下，对所述输入图像进行上采样处理，其中，所述上采样处理后得到的图像的分辨率与所述图像输出分辨率相同；
45.在所述图像输出格式与所述第一预设格式为不同的图像格式的情况下，利用所述编码器将所述输入图像的格式编码为所述图像输出格式。
46.第二方面，本发明实施例提供了一种图像处理装置，应用于显示装置，包括：
47.获取模块，用于获取输入图像以及图像输出规格，所述图像输出规格包括图像输出质量、图像输出分辨率和图像输出格式；
48.图像处理信息生成模块，用于确定对于所述输入图像的图像处理信息，其中，所述图像处理信息包括根据所述输入图像确定的第一格式调整信息和分辨率调整参数、根据所述输入图像和所述图像输出规格确定的画质优化信息、以及根据所述图像输出规格确定的第二格式调整信息和分辨率优化信息；
49.并行处理模块，用于根据所述图像处理信息对输入图像包括的多帧图像并行进行图像处理，并按照所述多帧图像的排列顺序输出经过图像处理后的图像，其中，每一帧图像的处理过程包括依次进行的前处理进程、画质增强处理进程和后处理进程，所述前处理进程是根据所述第一格式调整信息和所述分辨率调整参数进行的，所述画质增强处理进程是根据所述画质优化信息进行的，所述后处理进程是根据所述第二格式调整信息和所述分辨率优化信息进行的。
50.本发明实施例通过根据输入图像以及图像输出规格确定对于输入图像的图像处理信息，然后根据所确定的图像处理信息利用并行进行的前处理进程、画质增强处理进程和后处理进程对图像进行处理，同时，对多帧图像进行并行处理，能够提高对于图像的处理效率，同时，由于图像处理过程是并行进行的，能够充分利用显示装置的计算资源，有助于提高对于图像的处理效果。
附图说明
51.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
52.图1是本发明一实施例提供的图像处理方法的流程图；
53.图2是本发明一实施例提供的又一处理组的结构示意图；
54.图3是本发明一实施例中自适应处理过程的流程图；
55.图4是本发明一实施例中计算资源配置流程图；
56.图5是本发明一实施例提供的图像处理方法的又一流程图；
57.图6是本发明一实施例提供的自适应处理过程的又一流程图；
58.图7是本发明一实施例提供的图像处理装置的结构图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
60.本发明实施例提供了一种图像处理方法，应用于显示装置。
61.在一个实施例中，该图像处理方法包括以下步骤：
62.步骤101：获取输入图像以及图像输出规格。
63.本实施例中获取输入图像之后，进一步能够确定该输入图像的图像输入规格，该图像输入规格至少包括图像的分辨率和图像的格式。
64.图像的分辨率一般以图像的横向像素和纵向像素的乘积的样式标识，例如，分辨率3840x2160的图像代表该图像的横向像素为2840个，纵向像素为2160个。此外，分辨率还可以通用的替代性描述来标识，示例性的，540p的图像代表图像分辨率为960x540，720p的图像代表图像的分辨率为1280x720，4k一般指图像的分辨率为3840x2160，8k一般指图像的分辨率为7680x4320等。图像的格式可能是rgb(红绿蓝、一种颜色编码模式)、yuv(明亮度和色度，一种颜色编码模式)等现有的或改进的图像编码模式。
65.图像输出规格至少需要包括图像输出质量、图像输出分辨率和图像输出格式。
66.图像输出规格可能是显示装置默认的，也可能是用户设定并输入的，例如，在网络环境较好的情况下，用户可能选择高清晰度进行图像播放，而在网络环境相对较差的情况下，用户可能选择更为流畅的低清晰播放模式。
67.步骤102：确定对于所述输入图像的图像处理信息。
68.在确定了输入图像之后，输入图像的图像输入规格也就相应的确定了，进一步的，根据对于输出图像的要求的确定的图像输出规格，根据该图像输入规格和图像输出规格，确定对于出现进行处理的多个过程中的参数信息，该步骤也可以称作自适应处理过程。
69.本实施例中所需确定的图像处理信息具体包括根据输入图像确定的第一格式调整信息和分辨率调整参数、根据输入图像和图像输出规格确定的画质优化信息、以及根据
图像输出规格确定的第二格式调整信息和分辨率优化信息。
70.在其中一些实施例中，该步骤101之后，还包括：
71.判断所述输入图像的图像输入规格和所述图像输出规格是否发生变化；
72.在所述图像输入规格和所述图像输出规格中的至少一个发生变化的情况下，则执行所述确定对于所述输入图像的图像处理信息的步骤；
73.在所述图像输入规格和所述图像输出规格均未发生变化的情况下，调用已有的图像处理信息。
74.应当理解的是，图像的输入和输出过程可能并非一个孤立的操作，可以理解为对于同一显示装置来说，在使用过程中，可能存在多次图像播放操作，而每一次图像播放操作的输入图像的格式可能是相同的，也可能是不同的，此外，这些图像播放操作中，用户可能根据需要调整了图像输出需求，例如调整了图像播放清晰度或切换了播放图像的显示屏，从而导致图像的输出规格发生变化。
75.在显示装置首次播放图像时，可以通过执行上述步骤102确定图像处理信息，如果并非首次播放图像，则可以判断图像输入规格和图像输出规格相对于之前的图像播放过程是否发生变化。
76.如果图像输入规格和图像输出规格都没有发生变化，则可以直接调用已有的图像处理信息，能够简化处理过程。如果图像输入规格和图像输出规格中的任一项发生了变化，则需要通过上述步骤102进一步确定相应的图像处理信息。
77.步骤103：根据所述图像处理信息对输入图像包括的多帧图像并行进行图像处理。
78.本实施例中的设置了多个并行的处理组，以同时对多帧图像进行并行处理，处理组的数量根据显示装置的计算资源确定，这样，在对图像处理过程中，能够充分利用显示装置的计算性能，提高对于图像的处理速度和效果。
79.在一些实施例中，每一处理组包括第一处理单元、第二处理单元和第三处理单元中的一项或多项。其中，每一处理组中的第一处理单元、第二处理单元和第三处理单元的数量均为至少一个，换句话说，每一处理组可以包括一个或多个第一处理单元、一个或多个第二处理单元以及一个或多个第三处理单元。
80.如图2所示，图中in代表输入图像，out代表输出图像，n代表第n帧图像，m代表进行第m次数据处理过程，n代表共计构建了n个构建并行处理组。每一处理组包括至少三个处理单元，其中，pre代表第一处理单元，enha代表第二处理单元，post代表第三处理单元。
81.工作过程中，每次可以通过一个处理组处理一帧图像，这样，也就可以同时处理n帧图像，从而可以实现对于视频数据的连续并行处理，充分利用了硬件的性能，提高了对于图像的处理效果。
82.每一帧图像的处理过程包括依次进行的前处理进程、画质增强处理进程和后处理进程，前处理进程利用上述第一处理单元执行，前处理进程是根据第一格式调整信息和分辨率调整参数进行的，画质增强处理进程利用上述第二处理单元执行，画质增强处理进程是根据画质优化信息进行的，后处理进程利用上述第三处理单元执行，后处理进程是根据第二格式调整信息和分辨率优化信息进行的。
83.如图2所示，本实施例中，由于多个处理组是并行的，因此不同处理组的第一处理单元、第二处理单元和第三处理单元也可以理解为并行设置的，能够充分挖掘硬件资源的
计算能力。
84.示例性的，在一个实施例中，第一个处理组在通过第二处理单元执行对第一帧输入图像的图像增强处理进程的过程中，第二个处理组中的第一处理单元可以正在对第二帧输入图像执行前处理进行，这样，能够均衡的分配计算能力，避免多个处理组同时执行图像增强处理进程等需要占用较多算力资源的进程造成短时间内的计算资源紧张，或避免多个处理组同时执行图像执行前处理等占用算力资源较少的图像处理进程造成计算资源的浪费，有助于提高计算资源的利用率。
85.应当理解的是，本实施例中的各处理单元，例如上述第一处理单元、第二处理单元和第三处理单元，其数量均可以为多个且并行设置。例如，可以在每一处理组中设置两个第一处理单元执行上述前处理进程，这里，两个第一处理单元执行一次前处理进程中的不同步骤，也就是说，其运算内容是不同的。类似的，可以设置两个第二处理单元执行上述画质增强处理进程，设置两个第三处理单元执行上述后处理进程。
86.通过设置多个并行设置的处理单元，能够进一步充分硬件资源的计算能力，提高计算速度。
87.在通过并行处理多帧输入图像之后，按照输入图像的排列顺序，输出经过图像处理后的图像，也就是获得输出图像。
88.本发明实施例通过根据输入图像以及图像输出规格确定对于输入图像的图像处理信息，然后根据所确定的图像处理信息利用并行进行的前处理进程、画质增强处理进程和后处理进程对图像进行处理，同时，对多帧图像进行并行处理，能够提高对于图像的处理效率，同时，由于图像处理过程是并行进行的，能够充分利用显示装置的计算资源，有助于提高对于图像的处理效果。
89.在其中一些实施例中，上述步骤102的自适应处理过程包括：
90.获取所述输入图像的图像格式以及分辨率；
91.在所述输入图像的图像格式不为第一预设格式的情况下，选择将所述输入图像转换为所述第一预设格式的解码器作为所述第一格式调整信息；
92.在所述输入图像的分辨率不为标准分辨率的情况下，选择与所述输入图像的分辨率最接近的标准分辨率，作为所述分辨率调整参数。
93.该第一预设格式为rgb格式做示例性说明，如果输入图像为rgb格式，则输入图像的图像格式满足第一预设格式，如果该输入图像的格式为yuv格式，前处理进程中需要将输入图像的格式转换为第一预设格式，也就是rgb格式，相应的确定能够将yuv格式的图像转换为rgb格式的图像的解码器作为上述第一格式调整信息。
94.应当理解的是，为了提高图像处理的统一性，图像处理过程通常针对一些特定尺寸的图像。示例性的，一种的常用分辨率设置方式中包括一些常用的标准分辨率，例如540p(960x540)、720p(1280x720)、1080p(1920x1080)等。
95.如果输入图像的格式符合这些分辨率中的某一个，则不需要对输入图像的分辨率进行调整，此时，分辨率调整参数可以理解为输入图像的原分辨率。
96.如果输入图像的格式不为上述分辨率中的任意一个，则需要对输入图像进行处理，以使其分辨率符合要求。
97.本实施例中，确定与输入图像分辨率最接近的标准分辨率作为分辨率调整参数。
98.示例性的，如果第一图像的分辨率为960x544，则可以将540p(960x540)这一标准分辨率作为分辨率调整参数，又如第一图像的分辨率为1200x700，则可以将其转换为720p(1280x720)这一标准分辨率作为分辨率调整参数。
99.在其中一些实施例中，步骤103中的前处理进程，包括：
100.在所述输入图像的图像格式不为所述第一预设格式的情况下，利用所述解码器将所述输入图像的格式转换为所述第一预设格式；
101.在所述输入图像的分辨率不为标准分辨率的情况下，将所述输入图像的分辨率缩放为所述标准分辨率。
102.以第一预设格式为某一显示装置默认的rgb格式为例说明，在输入图像的格式不为rgb格式的情况下，根据第一格式调整信息，利用所确定的能够将yuv格式的图像转换为rgb格式的图像的解码器对输入图像进行解码，将输入图像解码为rgb格式，从而满足后续处理要求。
103.本实施例中，将格式符合第一预设格式的输入图像，以及由格式不符合第一预设格式，但是经过格式转换后符合第一预设格式的输入图像记做第一图像。
104.接下来，根据需要利用第一处理单元对第一图像的分辨率进行调整，使第一图像的分辨率符合标准分辨率。具体的，根据上述分辨率调整参数包括的标准分辨率，对输入图像进行缩放，使输入图像的分辨率为标准分辨率。
105.本实施例中，将分辨率符合标准分辨率的第一图像，或经过缩放之后分辨率调整为标准分辨率的第一图像记做第二图像。
106.在其中一些实施例中，步骤103之前，还包括：
107.判断执行所述画质增强处理进程的计算资源是否发生变化，其中，所述计算资源包括npu资源、gpu资源和cpu资源；
108.在所述计算资源发生变化、存在可用的npu资源且存在可用gpu资源的情况下，将全部可用npu资源和gpu资源作为执行所述画质增强处理进程的候选计算资源；
109.在所述计算资源发生变化、存在可用的npu资源且不存在可用gpu资源的情况下，将全部可用npu资源作为执行所述画质增强处理进程的候选计算资源；
110.在所述计算资源发生变化、不存在可用npu资源且存在可用gpu资源的情况下，将可用的gpu资源中的一部分作为执行所述画质增强处理进程的候选计算资源；
111.在所述计算资源发生变化、不存在可用npu资源且不存在可用gpu资源的情况下，将可用的cpu资源中的一部分作为执行所述画质增强处理进程的候选计算资源。
112.本实施例中，进一步确定可用的计算资源，作为候选计算资源，并在进行图像处理过程中，从候选计算资源中选择目标计算资源，调用该目标计算资源的计算能力(简称算力)进行图像处理。
113.npu资源指的是神经网络处理器(npu，neural network processing unit)提供的计算资源，gpu资源指的是图形处理器(gpu，graphics processing unit)提供的计算资源，cpu资源指的是中央处理器(cpu，central processing unit)提供的计算资源。
114.应当理解的是，一般来说，显示装置均包括cpu和gpu，显示装置还可能包括npu。cpu、gpu和npu的算力是由硬件结构决定的，具体而言，是由相应的cpu芯片、gpu芯片或npu芯片包括的核心数量和核心的种类决定的。其中，cpu芯片、gpu芯片或npu芯片可以为独立
的芯片，也可以集成设置。
115.可用计算资源可能收到不同的因素影响，例如与其他应用或服务共享硬件资源被其他应用或服务占用，npu计算棒被临时取出或故障导致的npu所能提供的计算资源减少等。
116.应当理解的是，如果显示装置的可用计算资源未发生变化，则不需要重新确定候选计算资源，而是基于目标的运行结果将历史上确认的候选计算资源作为当前的候选计算资源。如果可用计算资源发生了变化，则需要重新确认候选计算资源。
117.本实施例中，存在可用的npu资源指的是，显示装置中存在npu，且npu的算力未被全部占用，能够提供一定的计算资源；显示装置不存在可用的npu资源指的是，显示装置中未设置npu，或者显示装置中设置了npu，但是npu的算力被全部占用。
118.存在可用的gpu资源指的是，显示装置中存在gpu，且gpu的算力未被全部占用，能够提供一定的计算资源；显示装置不存在可用的gpu资源指的是，显示装置中未设置gpu，或者显示装置中设置了gpu，但是gpu的算力被全部占用。
119.一般来说，显示装置中均存在cpu，且cpu资源均会有一定的空余，因此，本实施例中认为，必然存在可用cpu资源。
120.针对图像处理进程来说，npu资源、gpu资源和cpu资源能够提供的算力依次降低，因此，本实施例中，优先调用npu资源作为候选算力资源。
121.当不存在可用npu资源的情况下，为了避免对显示装置的其他功能造成影响，仅将部分可用gpu资源作为候选算力资源，示例性的，可用将90％可用gpu资源作为候选算力资源。
122.在不存在可用npu资源和可用gpu资源的情况下，为了避免对cpu执行其他工作的进程造成影响，将部分可用cpu资源作为候选算力资源，示例性的，可用将80％可用gpu资源作为候选算力资源。
123.本实施例中，可用设定一比例阈值，例如80％，并根据该比例阈值调用相应的cpu资源和cpu资源，显然，该比例阈值可以根据需要设置为50％、60％、70％等不同数值但不局限于此。
124.在一个实施例中，显示装置中的计算资源较为充足，例如，包括20个可用npu，此处，20个npu具体指的可能是20个npu核心，也可能是20个npu芯片。本实施例中，将该20个npu加入候选计算资源中，当进行画质增强处理时，可以选定20个npu中的一部分，例如10个npu作为目标计算资源，并调用所选定的目标计算资源的算力进行画质增强处理。
125.在另一个实施例中，某一高优先级服务或进程占用了15个npu，这导致可用npu的数量剩余5个，此时，候选计算资源包括5个npu，在进行画质增强处理时，将这5个npu选定为目标计算资源，并调用所选定的目标计算资源的算力进行画质增强处理。
126.一般来说，npu的数量越多，对于图像的处理速度越快，在某一次测试过程中，当使用7个npu核心进行对视频图像进行图像处理时，耗时30毫秒，当使用一个npu核心对同样的视频图像处理耗时约80毫秒。
127.在其中一些实施例中，上述步骤102还包括：
128.确定所述候选计算资源中是否包括npu资源和gpu资源；
129.在可用的计算资源中包括npu资源和gpu资源中的至少一项的情况下，根据用户设
置的画质需求确定所述画质优化信息；
130.在可用的计算资源中不包括npu资源和gpu资源中的任意一项的情况下，确定用户设置的画质需求对应的画质等级；
131.在所述画质等级小于或等于第一等级阈值的情况下，将用户设置的画质需求对应的画质等级作为所述画质优化信息的画质等级；
132.在所述画质等级大于所述第一等级阈值的情况下，将所述第一等级阈值对应的画质等级作为所述画质优化信息对应的画质等级。
133.本实施例中进一步根据可用的计算资源确定画质优化信息中的画质等级。由于npu资源和gpu资源能够提供较高的算力，所以当候选计算资源中包括npu资源和gpu资源中的至少一项的情况下，候选算力资源能够满足各种画质等级的图像处理需求，此时，将用户设置的画质需求对应的画质等级作为画质优化信息的画质等级。
134.当候选计算资源中不包括npu资源和gpu资源的情况下，需要确定候选计算资源是否能够满足用户设置的画质需求对应的画质等级。如果用户设定的画质需求对应的画质等级过高，则候选计算资源难以满足图像处理需求，因此，将候选计算资源能够处理的最高的画质等级作为画质优化信息的画质等级，该画质等级对应上述第一等级阈值。
135.如果用户设定的画质需求对应的画质等级低于该第一等级阈值，则说明候选计算资源能够满足该画质等级的图像处理需求，因此将用户设置的画质需求对应的画质等级作为画质优化信息的画质等级。
136.示例性的，画质等级包括低清晰度、标准清晰度和高清晰度三种，第一等级阈值为标准清晰度。
137.在一个具体实施方式中，候选计算资源中包括npu资源和gpu资源，此时，画质优化信息对应的画质等级为用户设定的画质需求对应的画质等级。
138.在另一个具体实施方式中，候选计算资源中不包括npu资源和gpu资源。如果用户设定的画质需求对应的画质等级为高清晰度，则候选计算资源无法满足该图像处理需求，因此，将画质优化信息对应的画质等级为设定为标准清晰度。如果用户设定的画质需求对应的画质等级为低清晰度或标准清晰度，则候选计算资源能够满足图像处理需求，将用户设置的画质需求对应的画质等级作为画质优化信息的画质等级。
139.在其中一些实施例中，步骤102还包括：选取第一模型组；
140.在所述第一模型组中选取第二模型组；
141.在所述第二模型组中存在输出分辨率等于所述图像输出分辨率的图像处理模型的情况下，将输出分辨率等于所述图像输出分辨率的图像处理模型作为画质优化信息对应的目标图像处理模型；
142.在所述第二模型组中不存在输出分辨率等于所述图像输出分辨率的图像处理模型的情况下，将所述第二模型组中输出分辨率最高的图像处理模型作为画质优化信息对应的目标图像处理模型。
143.本实施例中，所选取的第一模型组包括多个图像处理模型，这些图像图像处理模型用于执行画质增强处理进程。其中，第一模型组中的各图像处理模型均能够处理分辨率为分辨率调整参数对应的图像分辨率的图像，也可以理解为第一模型组中的图像处理模型的输入分辨率等于上述分辨率调整参数对应的分辨率，这样，第一模型组中的各图像处理
模型均能够以对输入图像进行画质增强处理。
144.接下来，根据上述过程中确定的画质优化信息的画质等级从第一模型组中选取第二模型组。应当理解的是，图像处理模型在对图像进行画质增强处理后，可能生成高画质、中等画质或低画质等不同画质等级的图像，本实施例中，进一步根据所确定的画质优化信息对应的画质等级，选择相应的图像处理模型构成第二模型组。
145.同一视频图像可以在分辨率为4k(3840x2160)的65英寸显示面板上播放，也可以在分辨率为8k(7680x4320)的110英寸显示面板上播放，其中，上述显示面板的尺寸指的是显示面板的对角线尺寸，对于显示面板的尺寸度量可参考相关技术；不同显示转置支持的图像格式可能存在差异；用户在观看视频过程中，可能选择高清晰度，也可能选择低清晰度。上述特征即为需要确定的图像输出规格。
146.示例性的，实施时，全量的图像处理模型包括540p(960x540)、720p(1280x720)、1080p(1920x1080)等对应不同的图像输入分辨率的图像处理模型。
147.本实施例中，输入图像对应的标准分辨率为540p(960x540)，则选择图像输入分辨率为540p(960x540)的图像处理模型作为第一模型组。确定的画质优化信息对应的画质等级为高清，或称高等级，则从第一模型组中选择输出画质等级为高等级的图像处理模型作为第二模型组。
148.最后，从第二模型组中确定目标图像处理模型，作为画质优化信息。
149.第二模型组中包括的图像处理模型的输入分辨率均为540p(960x540)，且均能输出画质等级为高等级的图像，但其输出分辨率是不同的。
150.在一个实施例中，图像输出规格的图像输出分辨率为4k，第二模型组中包括输出分辨率为4k的4k处理模型，此时，将该4k处理模型作为目标图像处理模型。
151.在另外一个实施例中，图像输出规格的图像输出分辨率为8k，由于8k处理模型需要耗费较多的计算资源，显示装置的计算资源难以满足8k处理模型的使用需求，因此，所提供的图像处理模型中不包括8k处理模型。第二模型组中图像处理模型所能处理的图像最高分辨率为4k，此时，选择能够输出最高分辨率的图像处理模型，即4k处理模型，作为目标图像处理模型。
152.在其中一些实施例中，画质增强处理进程包括：
153.利用所述目标图像处理模型对所述输入图像进行画质增强处理。
154.在确定了目标图像处理模型之后，在对图像进行并行处理过程中，利用所确定的目标图像处理模型进行画质增强处理，其中，与画质等级对应的图像处理模型可以是神经网络模型，而与相对较低的画质等级对应的图像处理模型可以是对计算资源要求相对较低的常规画质增强算法。
155.在其中一些实施例中，上述步骤102包括：
156.在所述目标图像处理模型的输出分辨率等于所述图像输出分辨率的情况下，选择同分辨率锐化处理作为所述分辨率优化信息，其中，述同分辨率锐化处理对应的分辨率和所述图像输出分辨率相同；
157.在所述目标图像处理模型的输出分辨率小于所述图像输出分辨率的情况下，选择上采样处理作为所述分辨率优化信息，其中，所述上采样处理后得到的图像的分辨率与所述图像输出分辨率相同。
158.在所述图像输出格式与第一预设格式为不同的格式的情况下，确定将图像格式由所述第一预设格式转换为所述图像输出格式的编码器作为所述第二格式调整信息。
159.本实施例中，如果目标图像处理模型的输出分辨率和图像输出分辨率相同，则将同分辨率锐化处理作为所述分辨率优化信息，其中，同分辨率锐化处理指的是对图像进行锐化处理，其中，进行锐化处理后的图像的分辨率和锐化处理前的图像的分辨率相同。
160.如果目标图像处理模型的输出分辨率和图像输出分辨率不相同，则选择上采样处理作为所述分辨率优化信息，以提高输出图像的分辨率，其中，通过上采样处理获得的图像的分辨率提高为要求的图像输出分辨率。
161.当输出图像规格对于输出图像的格式要求与第一预设格式相同时，本实施例中，具体为rgb格式时，则不需要对图像进行格式转换处理。
162.如果输出图像规格对于输出图像的格式要求不为第一预设格式，例如，可能为yuv格式，则需要选择相应的将rgb格式转换为yuv格式的编码器，作为第二格式调整信息。
163.在其中一些实施例中，所述后处理进程，包括
164.在所述目标图像处理模型的输出分辨率等于所述图像输出分辨率的情况下，对所述输入图像进行同分辨率锐化处理；
165.在所述目标图像处理模型的输出分辨率小于所述图像输出分辨率的情况下，对所述输入图像进行上采样处理，其中所述上采样处理后得到的图像的分辨率与所述图像输出分辨率相同；
166.在所述图像输出格式与所述第一预设格式为不同的图像格式的情况下，利用所述编码器将所述输入图像的格式编码为所述图像输出格式。
167.在后处理进程中，利用所确定的分辨率优化信息和第二格式调整信息对图像进行处理，获得满足要求的输出图像。
168.如图5所示，本实施例的技术方案可以概括为，图像处理过程中，先对于输入图像进行自适应处理，然后对输入图像进行前处理、画质增强处理和后处理，前处理、画质增强处理和后处理的具体过程可参考上述实施例，图5中的并行处理指的是，对于构建多个并行处理组，对多帧图像并行进行前处理、画质增强处理和后处理。
169.如图6所示，本实施例中，对每一帧图像的自适应处理过程用于获取前处理进程、画质增强处理进程和后处理进程的配置参数。
170.前处理进程的配置参数的获取过程包括确定解码器和分辨率调整参数的步骤。
171.具体的，首先根据需要确定输入图像的图像格式，确定输入图像的图像格式是否满足第一预设格式，以该第一预设格式为rgb格式做示例性说明，如果输入图像为rgb格式，则该输入图像的图像格式满足第一预设格式，如果该输入图像的格式为yuv格式，前处理进程中需要将输入图像的格式转换为第一预设格式，也就是rgb格式，相应的，确定第一格式调整信息为将图像格式由yuv转换为rgb的解码器。
172.前处理进程的配置参数的获取过程还包括分辨率调整参数的获取过程。具体的，首先确定第一图像的分辨率是否为一个标准分辨率。标准分辨率指的是上述540p(960x540)、720p(1280x720)、1080p(1920x1080)等具有一定通用性的分辨率。
173.如果第一图像的分辨率为任一种标准分辨率，则不需要对其分辨率进行调整。如果第一图像的分辨率不为标准分辨率，则需要对其分辨率进行调整。以输入图像的分辨率
为1280*700做示例性说明，输入图像的分辨率不满足任意一种标准分辨率格式，因此，需要在前处理进程中，需要对输入图的分辨率进行转换，具体可以通过缩放操作等，将输入图像的分辨率调整为最接近的标准分辨率，本实施例中所确定的分辨率调整参数为与1280*700最接近的标准分辨率，具体为720p(1280x720)，作为分辨率调整参数。
174.在确定了分辨率调整参数之后，确定画质增强处理进程对应的画质优化信息。
175.具体的，首先根据所确定的分辨率调整参数选择与该分辨率相匹配的第一模型组，该第一模型组包括多个图像处理模型，每一图像处理模型至少包括其对应的输入分辨率、画质等级和输出分辨率。每一图像处理模型仅能处理对应分辨率的图像，并输出对应画质等级和输出分辨率的图像。
176.接下来，根据图像输出规格中的清晰度要求，从第一模型组中选择能够输出相应画质等级的图像处理模型，加入第二模型组。
177.接下来，确定图像输出规格对于输出图像的分辨率要求。以图像输出规格对于输出图像的分辨率要求为第一分辨率做示例性说明。
178.当该第二模型组中存在能够输出第一分辨率的图像的图像处理模型时，则选定图像处理模型，作为画质增强处理进程中使用的目标图像处理模型。进一步的，配置后处理进程为同分辨率的锐化处理操作，以提高输出图像的显示效果。
179.则在某些情况下，图像输出规格对于输出图像的分辨率要求超出了模型组中图像处理模型的输出范围。以第一分辨率为8k为例做示例性说明，模型组中图像处理模型所能输出的图像最高分辨率为4k，此时，选择能够输出最高分辨率的图像处理模型，本实施例中具体为选择4k处理模型作为画质增强处理进程中使用的目标图像处理模型。进一步的，配置后处理进程为4k到8k的上采样处理操作，从而提高输出图像的分辨率，提高显示效果。
180.后处理进程的配置参数还包括对于编码器的选择。
181.当输出图像规格对于输出图像的格式要求与第一预设格式相同时，本实施例中，具体为rgb格式时，则不需要对图像进行格式转换处理。
182.如果输出图像规格对于输出图像的格式要求不为第一预设格式，例如，可能为yuv格式，则需要选择相应的将rgb格式转换为yuv格式的编码器，对图像进行编码操作，以满足使用需求。
183.本发明实施例提供了一种图像处理装置，应用于显示装置。
184.如图7所示，在一个实施例中，该图像处理装置700包括：
185.获取模块701，用于获取输入图像以及图像输出规格，所述图像输出规格包括图像输出质量、图像输出分辨率和图像输出格式；
186.图像处理信息生成模块702，用于确定对于所述输入图像的图像处理信息，其中，所述图像处理信息包括根据所述输入图像确定的第一格式调整信息和分辨率调整参数、根据所述输入图像和所述图像输出规格确定的画质优化信息、以及根据所述图像输出规格确定的第二格式调整信息和分辨率优化信息；
187.并行处理模块703，用于根据所述图像处理信息对输入图像包括的多帧图像并行进行图像处理，并按照所述多帧图像的排列顺序输出经过图像处理后的图像，其中，每一帧图像的处理过程包括依次进行的前处理进程、画质增强处理进程和后处理进程，所述前处理进程是根据所述第一格式调整信息和所述分辨率调整参数进行的，所述画质增强处理进
程是根据所述画质优化信息进行的，所述后处理进程是根据所述第二格式调整信息和所述分辨率优化信息进行的。
188.在其中一些实施例中，所述图像处理信息生成模块702包括：
189.获取子模块，用于获取所述输入图像的图像格式以及分辨率；
190.第一格式调整信息确定子模块，用于在所述输入图像的图像格式不为第一预设格式的情况下，选择将所述输入图像转换为所述第一预设格式的解码器作为所述第一格式调整信息；
191.分辨率调整参数确定子模块，用于在所述输入图像的分辨率不为标准分辨率的情况下，选择与所述输入图像的分辨率最接近的标准分辨率，作为所述分辨率调整参数。
192.在其中一些实施例中，所述前处理进程，包括：
193.在所述输入图像的图像格式不为所述第一预设格式的情况下，利用所述解码器将所述输入图像的格式转换为所述第一预设格式；
194.在所述输入图像的分辨率不为标准分辨率的情况下，将所述输入图像的分辨率缩放为所述标准分辨率。
195.在其中一些实施例中，还包括：
196.第一判断模块，用于判断所述输入图像的图像输入规格和所述图像输出规格是否发生变化；
197.所述图像处理信息生成模块702，用于在所述图像输入规格和所述图像输出规格中的至少一个发生变化的情况下，确定对于所述输入图像的图像处理信息；
198.调用模块，用于在所述图像输入规格和所述图像输出规格均未发生变化的情况下，调用已有的图像处理信息。
199.在其中一些实施例中，还包括：
200.第二判断模块，用于判断执行所述画质增强处理进程的计算资源是否发生变化，其中，所述计算资源包括npu资源、gpu资源和cpu资源；
201.候选计算资源确定模块，用于在所述计算资源发生变化、存在可用的npu资源且存在可用gpu资源的情况下，将全部可用npu资源和gpu资源作为执行所述画质增强处理进程的候选计算资源；
202.所述候选计算资源确定模块，还用于在所述计算资源发生变化、存在可用的npu资源且不存在可用gpu资源的情况下，将全部可用npu资源作为执行所述画质增强处理进程的候选计算资源；
203.所述候选计算资源确定模块，还用于在所述计算资源发生变化、不存在可用npu资源且存在可用gpu资源的情况下，将可用的gpu资源中的一部分作为执行所述画质增强处理进程的候选计算资源；
204.所述候选计算资源确定模块，还用于在所述计算资源发生变化、不存在可用npu资源且不存在可用gpu资源的情况下，将可用的cpu资源中的一部分作为执行所述画质增强处理进程的候选计算资源。
205.在其中一些实施例中，所述图像处理信息生成模块702包括：
206.计算资源确定子模块，用于确定所述候选计算资源中是否包括npu资源和gpu资源；
207.画质优化信息确定子模块，用于在可用的计算资源中包括npu资源和gpu资源中的至少一项的情况下，将用户设置的画质需求对应的画质等级作为所述画质优化信息的画质等级；
208.所述画质优化信息确定子模块，还用于在可用的计算资源中不包括npu资源和gpu资源中的任意一项的情况下，确定用户设置的画质需求对应的画质等级；
209.所述画质优化信息确定子模块，还用于在所述画质等级小于或等于第一等级阈值的情况下，将用户设置的画质需求对应的画质等级作为所述画质优化信息的画质等级；
210.所述画质优化信息确定子模块，还用于在所述画质等级大于所述第一等级阈值的情况下，将所述第一等级阈值对应的画质等级作为所述画质优化信息对应的画质等级。
211.在其中一些实施例中，所述图像处理信息生成模块702，包括：
212.第一选取子模块，用于选取第一模型组，其中，所述第一模型组包括多个图像处理模型，且所述第一模型组包括的图像处理模型均能够处理分辨率为所述分辨率调整参数对应的图像分辨率的图像；
213.第二选取子模块，用于在所述第一模型组中选取第二模型组，其中，所述第二模型组中图像处理模型对应的画质等级为所述画质优化信息的画质等级；
214.目标图像处理模型确定子模块，用于在所述第二模型组中存在输出分辨率等于所述图像输出分辨率的图像处理模型的情况下，将输出分辨率等于所述图像输出分辨率的图像处理模型作为画质优化信息对应的目标图像处理模型；
215.所述目标图像处理模型确定子模块，还用于在所述第二模型组中不存在输出分辨率等于所述图像输出分辨率的图像处理模型的情况下，将所述第二模型组中输出分辨率最高的图像处理模型作为画质优化信息对应的目标图像处理模型。
216.在其中一些实施例中，所述并行处理模块703，用于利用所述目标图像处理模型对所述输入图像进行画质增强处理。
217.在其中一些实施例中，所述图像输出规格包括图像输出分辨率和图像输出格式，所述图像处理信息生成模块702包括：
218.分辨率优化信息确定子模块，用于在所述目标图像处理模型的输出分辨率等于所述图像输出分辨率的情况下，选择同分辨率锐化处理作为所述分辨率优化信息，其中，所述同分辨率锐化处理对应的分辨率和所述图像输出分辨率相同；
219.所述分辨率优化信息确定子模块，还用于在所述目标图像处理模型的输出分辨率小于所述图像输出分辨率的情况下，选择上采样处理作为所述分辨率优化信息，其中，所述上采样处理后得到的图像的分辨率与所述图像输出分辨率相同；
220.第二格式调整信息确定子模块，用于在所述图像输出格式与第一预设格式为不同的格式的情况下，确定将图像格式由所述第一预设格式转换为所述图像输出格式的编码器作为所述第二格式调整信息。
221.在其中一些实施例中，所述并行处理模块703包括后处理子模块。所述后处理子模块具体用于：
222.在所述目标图像处理模型的输出分辨率等于所述图像输出分辨率的情况下，对所述输入图像进行同分辨率锐化处理；
223.在所述目标图像处理模型的输出分辨率小于所述图像输出分辨率的情况下，对所
述输入图像进行上采样处理；
224.在所述图像输出格式与所述第一预设格式为不同的图像格式的情况下，利用编码器将所述输入图像的格式由所述第一预设格式编码为所述图像输出格式。
225.本实施例的图像处理装置能够实现上述图像处理方法实施例的各个步骤，并能实现基本相同或相似的技术效果，此处不再赘述。
226.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。