图像格式的转换方法、装置及系统、电子设备及存储介质与流程

1.本发明涉及图像处理领域，特别涉及一种图像格式的转换方法、装置及系统、电子设备及存储介质。


背景技术：

2.目前，广泛采用的数字图像传感器和模拟图像传感器的数据输出格式一般都为yuv格式，不同的采样方式例如yuv4:4:4、yuv4:2:2或者yuv4:2:0，以及不同的存储方式例如平面格式或者打包格式，造成了yuv数据存在多种格式。rgb数据主要用于面向硬件的设备，其被广泛应用于视频监视器、彩色摄像机或者打印机等。在rgb数据的使用过程中，每个像素点不同的位数以及r、g、b不同的排列方式，也造成了rgb数据有着不同的格式标准。
3.在采集的数据为yuv格式且显示设备支持rgb格式的情况下，将采集的数据传递到显示设备进行显示需要经过yuv到rgb彩色空间的转换。在采集的数据为rgb格式且显示设备支持yuv格式的情况下，将采集的数据传递到显示设备进行显示需要经过rgb到yuv彩色空间的转换。
4.目前，yuv与rgb之间的转换通常在cpu(central processing unit，中央处理器)中进行，由于yuv与rgb数据格式之间的转换涉及了大量的浮点运算与矩阵变换计算，所以针对嵌入式设备来说，在cpu中进行大量的数据格式转换，会造成嵌入式设备的cpu负荷变大，计算时间过长，最终导致yuv与rgb数据的格式转换时间变长，影响转换效果，严重情况下甚至会影响cpu中运行的其他实时性任务，从而使得cpu的性能降低。


技术实现要素：

5.本发明要解决的技术问题是为了克服在cpu中进行yuv与rgb之间的转换存在转换时间长、影响cpu性能的缺陷，提供一种图像格式的转换方法、装置及系统、电子设备及存储介质。
6.本发明是通过下述技术方案来解决上述技术问题：
7.本发明的第一方面提供一种图像格式的转换方法，包括以下步骤：
8.接收第一格式的图像数据；
9.将所述图像数据解析为三个通道的分量数据；
10.将三个通道的分量数据分别分割为m个第一数据组，其中，m为大于等于2的整数；
11.向图形处理器的m个计算单元发送3m个第一数据组，并接收所述计算单元发送的第二数据组，其中，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组，i为小于等于m的整数，所述第二数据组由所述计算单元根据第二格式对所述第一数据组中的分量数据进行格式转换得到，所述第二数据组与所述第一数据组一一对应；
12.对所述第二数据组中的分量数据进行组合，得到第二格式的图像数据。
13.可选地，在执行分割步骤之前，所述转换方法还包括：
14.若三个通道的分量数据的数量不一致，则根据预设存储空间对数量较少的分量数
据进行填充，以使得每个通道的分量数据的数量一致。
15.可选地，所述将三个通道的分量数据分别分割为m个第一数据组的步骤具体包括：根据图形处理器中计算单元的数量对每个通道的分量数据进行分割。
16.可选地，所述对所述第二数据组中的分量数据进行组合，得到第二格式的图像数据的步骤具体包括：
17.根据第二格式对与三个通道的第i个第一数据组对应的3个第二数据组中的分量进行组合。
18.可选地，所述第一格式为yuv格式，所述第二格式为rgb格式。
19.可选地，所述第一格式为rgb格式，所述第二格式为yuv格式。
20.本发明的第二方面提供一种图像格式的转换装置，包括：
21.接收单元，用于接收第一格式的图像数据；
22.解析单元，用于将所述图像数据解析为三个通道的分量数据；
23.分割单元，用于将三个通道的分量数据分别分割为m个第一数据组，其中，m为大于等于2的整数；
24.通信单元，用于向图形处理器的m个计算单元发送3m个第一数据组，并接收所述计算单元发送的第二数据组，其中，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组，i为小于等于m的整数，所述第二数据组由所述计算单元根据第二格式对所述第一数据组中的分量数据进行格式转换得到，所述第二数据组与所述第一数据组一一对应；
25.组合单元，用于对所述第二数据组中的分量数据进行组合，得到第二格式的图像数据。
26.可选地，所述转换装置还包括填充单元，用于在三个通道的分量数据的数量不一致的情况下，根据预设存储空间对数量较少的分量数据进行填充，以使得每个通道的分量数据的数量一致。
27.可选地，所述分割单元具体用于根据图形处理器中计算单元的数量对每个通道的分量数据进行分割。
28.可选地，所述组合单元具体用于根据第二格式对与三个通道的第i个第一数据组对应的3个第二数据组中的分量进行组合。
29.可选地，所述第一格式为yuv格式，所述第二格式为rgb格式。
30.可选地，所述第一格式为rgb格式，所述第二格式为yuv格式。
31.本发明的第三方面提供一种电子设备，包括存储器、中央处理器以及存储在存储器上并可在中央处理器上运行的计算机程序，所述中央处理器执行所述计算机程序时实现第一方面所述的图像格式的转换方法。
32.可选地，所述电子设备还包括与所述中央处理器通信连接的图形处理器，所述图形处理器包括至少m个计算单元。
33.本发明的第四方面提供一种图像格式的转换方法，包括以下步骤：
34.中央处理器接收第一格式的图像数据，并将所述图像数据解析为三个通道的分量数据，以及将三个通道的分量数据分别分割为m个第一数据组，并向图形处理器的m个计算单元发送3m个第一数据组，其中，向同一个计算单元发送的3个第一数据组分别为三个通道
的第i个第一数据组，m为大于等于2的整数，i为小于等于m的整数；
35.所述计算单元根据第二格式对所述第一数据组中的分量数据进行格式转换，得到对应的第二数据组，并向所述中央处理器发送所有的第二数据组；
36.所述中央处理器对所述第二数据组中的分量数据进行组合，得到所述第二格式的图像数据。
37.本发明的第五方面提供一种图像格式的转换系统，包括中央处理器和图形处理器，所述图形处理器包括至少m个计算单元，其中，m为大于等于2的整数；
38.所述中央处理器用于接收第一格式的图像数据，并将所述图像数据解析为三个通道的分量数据，以及将三个通道的分量数据分别分割为m个第一数据组，并向图形处理器的m个计算单元发送3m个第一数据组；其中，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组，i为小于等于m的整数；
39.所述计算单元用于根据第二格式对所述第一数据组中的分量数据进行格式转换，得到对应的第二数据组，并向所述中央处理器发送所有的第二数据组；
40.所述中央处理器还用于对所述第二数据组中的分量数据进行组合，得到所述第二格式的图像数据。
41.本发明的第六方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或者第四方面所述的图像格式的转换方法
42.本发明的积极进步效果在于：对第一格式的图像数据进行解析和分割处理，得到3m个第一数据组，并由图形处理器中的m个计算单元对3m个第一数据组进行并行计算，从而实现将第一格式的图像数据转换为第二格式的图像数据，极大地减少了格式转换的时间，提高了格式转换的效率。
附图说明
43.图1为本发明实施例1提供的一种图像格式的转换方法的流程图。
44.图2为本发明实施例1提供的一种将r通道、g通道以及b通道的分量数据进行分割后的示意图。
45.图3为本发明实施例1提供的一种将y通道、u通道以及v通道的分量数据进行分割后的示意图。
46.图4为本发明实施例1提供的一种图像格式的转换装置的结构框图。
47.图5为本发明实施例2提供的一种电子设备的结构示意图。
48.图6为本发明实施例3提供的一种图像格式的转换系统的结构框图。
具体实施方式
49.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
50.实施例1
51.图1是本实施例提供的图像格式的转换方法的流程示意图，该方法可以由图像格式的转换装置执行，该图像格式的转换装置可以通过软件和/或硬件的方式实现，该图像格式的转换装置可以包括电子设备的部分或全部。
52.如图2所示，本实施例提供的图像格式的转换方法可以包括以下步骤s101～s103：
53.步骤s101、接收第一格式的图像数据。
54.在步骤s101的具体实施中，接收的图像数据可以为从网络下载的图像数据，其格式可以为rgb格式，例如rgb4:4:4、rgb4:2:2等。接收的图像数据还可以为视频采集芯片输出的原始数据，其格式可以为yuv格式，例如yuv4:4:4、yuv4:2:2、yuv4:2:0等。其中，可以根据图像数据的具体属性判断图像数据的格式也即第一格式。
55.步骤s102、将所述图像数据解析为三个通道的分量数据。
56.其中，在第一格式为rgb格式的例子中，将所述图像数据解析为r通道的分量数据、g通道的分量数据以及b通道的分量数据。在第一格式为yuv格式的例子中，将所述图像数据解析为y通道的分量数据、u通道的分量数据以及v通道的分量数据。
57.在可选的一种实施方式中，若三个通道的分量数据的数量不一致，则根据预设存储空间对数量较少的分量数据进行填充，以使得每个通道的分量数据的数量一致。在具体实施中，可以根据数量最大的分量数据为每个通道申请相同的存储空间。此外，在数据填充的过程中，可以在对应的存储空间内填充0，以使得在进行数据填充之后每个通道的分量数据的数量保持一致。
58.步骤s103、将三个通道的分量数据分别分割为m个第一数据组。其中，m为大于等于2的整数。
59.步骤s104、向图形处理器的m个计算单元发送3m个第一数据组，并接收所述计算单元发送的第二数据组。其中，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组，i为小于等于m的整数。所述第二数据组由所述计算单元根据第二格式对所述第一数据组中的分量数据进行格式转换得到，所述第二数据组与所述第一数据组一一对应，也即第二数据组和第一数据组的数量相同，均为3m个。
60.图2用于示出一种将r通道、g通道以及b通道的分量数据进行分割后的示意图。如图2所示，r通道的分量数据、g通道的分量数据以及b通道的分量数据均被分割为m组，向计算单元1中发送r通道、g通道以及b通道的第1个第一数据组，向计算单元2中发送r通道、g通道以及b通道的第2个第一数据组，以此类推，向计算单元m中发送r通道、g通道以及b通道的第m个第一数据组。
61.图3用于示出一种将y通道、u通道以及v通道的分量数据进行分割后的示意图。如图3所示，第一格式为yuv4:2:0，在对u通道和v通道的分量数据进行填充之后，分别将y通道的分量数据、u通道的分量数据以及v通道的分量数据分割为4组，向计算单元1中发送y通道、u通道以及v通道的第1个第一数据组，向计算单元2中发送y通道、u通道以及v通道的第2个第一数据组，向计算单元3中发送y通道、u通道以及v通道的第3个第一数据组，向计算单元4中发送y通道、u通道以及v通道的第4个第一数据组。
62.在一些场景下，图形处理器中的计算单元也可称为gpu核心。
63.需要说明的是，向图形处理器中处于空闲状态的计算单元发送第一数据组，由于图形处理器中的计算单元可以专注于浮点运算和矩阵变换运算，因此，利用多个计算单元对第一数据组中的分量数据进行并行的格式转换计算可以提高格式转换的效率。具体地，计算单元将第一数据组中的分量数据转换为对应的第二数据组，其中，第二数据组中的分量数据分别对应第二格式的三个通道。其中，第二格式为计算单元进行格式转换的目标格
式。
64.在步骤s103的具体实施中，可以根据图形处理器中计算单元的数量对每个通道的分量数据进行分割。其中，处于空闲状态的计算单元的数量越多，就可以分割出越多的第一数据组。
65.需要说明的是，针对一个通道的分量数据，分割得到的第一数据组的数量需要小于等于图形处理器中计算单元的数量。
66.在第一格式为rgb格式以及第二格式为yuv格式的一个例子中，计算单元利用如下公式对第一数据组中的分量数据进行格式转换：
[0067][0068]
其中，i为小于等于m的整数，m为第一数据组的数量，a
r
为rgb格式到yuv格式的转换矩阵系数，b
r
为rgb格式到yuv格式的转换矩阵量化系数。其中，上述公式经过变形可以得到如下的表达式：
[0069]
y
i
＝a
r1
*r
i
a
r2
*g
i
a
r3
*b
i
[0070]
u
i
＝a
r4
*r
i
‑
a
r5
*g
i
a
r6
*b
i
b
r1
[0071]
v
i
＝a
r4
*r
i
‑
a
r5
*g
i
‑
a
r6
*b
i
b
r1
[0072]
其中，a
r1
、a
r2
、a
r3
、a
r4
、a
r5
、a
r6
均为转换矩阵系数a
r
中的元素，b
r1
为转换矩阵量化系数b
r
中的元素。需要说明的是，针对不同的rgb格式，转换矩阵系数a
r
以及转换矩阵量化系数b
r
中的元素不同。
[0073]
本例子中，参考图2，针对r通道、g通道和b通道的分量数据，进行分割后分别得到m个第一数据组。针对每个第一数据组，转换得到y、u、v分量均需要r、g、b三个通道的分量数据，因此，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组。以此类推，三个通道总共对应3m个第一数据组，需要发送至m个计算单元。
[0074]
在第一格式为yuv格式以及第二格式为rgb格式的一个例子中，计算单元利用如下公式对第一数据组中的分量数据进行格式转换：
[0075][0076]
其中，i为小于等于m的整数，m为第一数据组的数量，a
t
为yuv格式到rgb格式的转换矩阵系数，b
t
为yuv格式到rgb格式的转换矩阵量化系数。其中，上述公式经过变形可以得到如下的表达式：
[0077]
r
i
＝y
i
a
t1
*(v
i
‑
b
t1
)
[0078]
g
i
＝y
i
‑
a
t2
*(u
i
‑
b
t1
)
‑
a
t3
*(v
i
‑
b
t1
)
[0079]
b
i
＝y
i
a
t4
*(u
i
‑
b
t1
)
[0080]
其中，a
t1
、a
t2
、a
t3
、a
t4
均为转换矩阵系数a
t
中的元素，b
t1
为转换矩阵量化系数b
t
中的元素。需要说明的是，针对不同的yuv格式，转换矩阵系数a
t
以及转换矩阵量化系数b
t
中的元素不同。
[0081]
本例子中，参考图3，针对y通道、u通道和v通道的分量数据，进行分割后分别得到4
个第一数据组。针对每个第一数据组，转换得到r、g、b分量均需要y、u、v三个通道的分量数据，因此，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组。以此类推，三个通道总共对应4*3＝12个第一数据组，需要发送至4个计算单元。
[0082]
其中，在步骤s104的具体实施中，可以通过bus总线向图形处理器发送第一数据组，以及通过bus总线接收图形处理器发送的第二数据组。
[0083]
步骤s105、对所述第二数据组中的分量数据进行组合，得到第二格式的图像数据。在具体实施中，根据第二格式对与三个通道的第i个第一数据组对应的3个第二数据组中的分量进行组合。在以图3所示的例子中，根据rgb格式对y通道、u通道以及v通道的第1个第一数据组进行格式转换，得到对应r通道、g通道以及b通道的第1个第二数据组，并对这三个通道的第二数据组进行组合，以此类推，对所有的第二数据组进行组合后得到rgb格式的图像数据。
[0084]
本实施例中，对第一格式的图像数据进行解析和分割处理，得到3m个第一数据组，并由图形处理器中的m个计算单元对3m个第一数据组进行并行计算，从而实现将第一格式的图像数据转换为第二格式的图像数据，极大地减少了格式转换的时间，提高了格式转换的效率。
[0085]
本实施例还提供一种图像格式的转换装置40，如图4所示，包括接收单元41、解析单元42、分割单元43、通信单元44以及组合单元45。
[0086]
接收单元41用于接收第一格式的图像数据。
[0087]
解析单元42用于将所述图像数据解析为三个通道的分量数据。
[0088]
分割单元43用于将三个通道的分量数据分别分割为m个第一数据组，其中，m为大于等于2的整数。
[0089]
在可选的一种实施方式中，分割单元43具体用于根据图形处理器中计算单元的数量对每个通道的分量数据进行分割。
[0090]
通信单元44用于向图形处理器的m个计算单元发送3m个第一数据组，并接收所述计算单元发送的第二数据组，其中，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组，i为小于等于m的整数，所述第二数据组由所述计算单元根据第二格式对所述第一数据组中的分量数据进行格式转换得到，所述第二数据组与所述第一数据组一一对应。
[0091]
组合单元45用于对所述第二数据组中的分量数据进行组合，得到第二格式的图像数据。
[0092]
需要说明的是，本实施例中的图像格式的转换装置具体可以是单独的芯片、芯片模组或电子设备，也可以是集成于电子设备内的芯片或者芯片模组。
[0093]
关于本实施例中描述的图像格式的转换装置包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、
电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于基站或电子设备的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于电子设备内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于电子设备内部集成的处理器，剩余的部分模块/单元可以采用电路等硬件方式实现。
[0094]
实施例2
[0095]
图5为本实施例提供的一种电子设备的结构示意图。所述电子设备包括中央处理器以及与所述中央处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个中央处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个中央处理器能够执行实施例1的图像格式的转换方法。图5显示的电子设备3仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0096]
电子设备3的组件可以包括但不限于：上述至少一个中央处理器4、上述至少一个存储器5、连接不同系统组件(包括存储器5和中央处理器4)的总线6、图形处理器7、显示模块8。
[0097]
总线6包括数据总线、地址总线和控制总线。
[0098]
存储器5可以包括易失性存储器，例如随机存取存储器(ram)51和/或高速缓存存储器52，还可以进一步包括只读存储器(rom)53。
[0099]
存储器5还可以包括具有一组(至少一个)程序模块54的程序/实用工具55，这样的程序模块54包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0100]
图形处理器7，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。
[0101]
显示模块8用于显示图像、视频等。显示模块8包括显示面板。显示面板可以采用液晶显示屏lcd、有机发光二极管oled、有源矩阵有机发光二极体或主动矩阵有机发光二极体amoled、量子点发光二极管qled等。
[0102]
中央处理器4通过运行存储在存储器5中的计算机程序，从而执行各种功能应用以及数据处理，例如上述图像格式的转换方法。
[0103]
电子设备3也可以与一个或多个外部设备7(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口9进行。并且，电子设备3还可以通过网络适配器10与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图5所示，网络适配器10通过总线6与电子设备3的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备3使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
[0104]
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述
的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0105]
实施例3
[0106]
在实施例1的基础上，本实施例提供一种图像格式的转换方法，包括以下步骤：
[0107]
步骤s201、中央处理器接收第一格式的图像数据，并将所述图像数据解析为三个通道的分量数据，以及将三个通道的分量数据分别分割为m个第一数据组，并向图形处理器的m个计算单元发送3m个第一数据组，其中，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组，m为大于等于2的整数，i为小于等于m的整数；
[0108]
步骤s202、所述计算单元根据第二格式对所述第一数据组中的分量数据进行格式转换，得到对应的第二数据组，并向所述中央处理器发送所有的第二数据组；
[0109]
步骤s203、所述中央处理器对所述第二数据组中的分量数据进行组合，得到所述第二格式的图像数据。
[0110]
本实施例还提供一种图像格式的转换系统60，如图6所示，包括中央处理器61和图形处理器62，图形处理器62包括至少m个计算单元，其中，m为大于等于2的整数。
[0111]
中央处理器61用于接收第一格式的图像数据，并将所述图像数据解析为三个通道的分量数据，以及将三个通道的分量数据分别分割为m个第一数据组，并向图形处理器的m个计算单元发送3m个第一数据组；其中，向同一个计算单元发送的3个第一数据组分别为三个通道的第i个第一数据组，i为小于等于m的整数。
[0112]
所述计算单元用于根据第二格式对所述第一数据组中的分量数据进行格式转换，得到对应的第二数据组，并向所述中央处理器发送所有的第二数据组。
[0113]
中央处理器61还用于对所述第二数据组中的分量数据进行组合，得到所述第二格式的图像数据。
[0114]
本实施例中，通过中央处理器对第一格式的图像数据进行解析和分割处理，得到3m个第一数据组，并由图形处理器中的m个计算单元对3m个第一数据组进行并行计算，从而实现将第一格式的图像数据转换为第二格式的图像数据，极大地减少了格式转换的时间，提高了格式转换的效率。
[0115]
实施例4
[0116]
本实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行实施例1或实施例3中的图像格式的转换方法。
[0117]
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
[0118]
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行实现实施例1或实施例3中的图像格式的转换方法。
[0119]
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在电子设备上执行、部分地在电子设备上执行、作为一个独立的软件包执行、部分在电子设备上部分在远程设备上执行或完全在远程设备上执行。
[0120]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离
本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。