应用于图形处理器的视频花屏检测方法、设备、存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种应用于图形处理器的视频花屏检测方法、设备、存储介质。


背景技术：

2.在播放器对视频文件进行分离，解码，渲染并扫描输出到显示器时，如果gpu(graphics processing unit，图形处理器)出现解码和渲染等错误，会造成显示器上的画面出现撕裂，错位，色彩偏色等花屏现象，如图1所示。
3.现有的花屏检索方法中通过图像检测获取基准图像与待检测图像的直线条数量差值以及rgb(red green blue，红绿蓝)数据的偏色值，来达到检测花屏现象目的。
4.但是，现有方案能够检测出来的花屏类型比较单一，花屏现象的表现是多种多样的，不仅有常见的直线条状花屏，还会出现偏色，撕裂和错位等不规则的花屏类型。


技术实现要素：

5.为了解决上述技术缺陷之一，本技术提供了一种应用于图形处理器的视频花屏检测方法、设备、存储介质。
6.本技术第一个方面，提供了一种应用于图形处理器的视频花屏检测方法，所述方法包括：
7.获取视频的原始数据；
8.获取图形处理器渲染后的待检测图像；
9.对所述待检测图像进行色彩空间变换，得到变换后数据；
10.根据变换后数据和所述原始数据检测是否花屏。
11.可选地，所述获取视频的原始数据，包括：
12.获取视频文件；
13.对所述视频文件解码；
14.将所述解码后数据确定为原始数据。
15.可选地，所述待检测图像的色彩空间为rgb空间；
16.所述对所述待检测图像进行色彩空间变换，得到变换后数据，包括：
17.根据空间转换关系，将所述待检测图像的数据的空间转换为yuv空间，并将转换空间后的待检测图像的数据确定为变换后数据。
18.可选地，所述空间转换关系，包括：
19.y＝0.299*r 0.587*g 0.114*b；
20.u＝-0.147*r-0.289*g 0.436*b；
21.v＝0.615*r-0.515*g-0.100*b；
22.其中，r为转换前rgb空间中r通道值，g为转换前rgb空间中g通道值，b为转换前rgb空间中b通道值，y为转换后yuv空间中y通道值，u为转换后yuv空间中u通道值，v为转换后
yuv空间中v通道值。
23.可选地，所述根据变换后数据和所述原始数据检测是否花屏，包括：
24.根据变换后数据的u通道值和v通道值、所述原始数据的u通道值和v通道值，确定差值矩阵；
25.对所述差值矩阵进行二值化处理，得到二值化处理后的差值矩阵m1；
26.根据m1确定色调差异数目；
27.根据所述色调差异数目检测是否花屏。
28.可选地，所述根据所述色调差异数目检测是否花屏，包括：
29.若所述色调差异数目不小于花屏阈值，则确定检测结果为花屏；
30.若所述色调差异数目小于花屏阈值，则根据变换后数据的y通道值、所述原始数据的y通道值检测是否花屏。
31.可选地，所述根据变换后数据的y通道值、所述原始数据的y通道值检测是否花屏，包括：
32.确定变换后数据的y通道值和所述原始数据的y通道值之间的偏差数值；
33.根据所述偏差数值，采用局部结构相似性方法，对所述差值矩阵进行二值化处理，得到二维坐标矩阵m2；
34.以m2中坐标信息为区域起点，分别在变换后数据的y通道值和所述原始数据的y通道值中截取预设范围的区域；
35.根据截取的区域计算结构相似性指标；
36.若所述结构相似性指标不小于相似性阈值，则确定检测结果为花屏；
37.若所述结构相似性指标小于相似性阈值，则确定检测结果为非花屏。
38.可选地，所述根据截取的区域计算结构相似性指标，包括：
[0039][0040]
其中，ssim(x,y)为结构相似性指标，x，y为截取的区域，μ
x
为x的平均值，μy为y的平均值，为x的方差，为y的方差，σ
xy
为x和y的协方差，c1，c2为常数。
[0041]
本技术第二个方面，提供了一种电子设备，包括：
[0042]
存储器；
[0043]
处理器；以及
[0044]
计算机程序；
[0045]
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述第一个方面所述的方法。
[0046]
本技术第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上述第一个方面所述的方法。
[0047]
本技术提供一种应用于图形处理器的视频花屏检测方法、设备、存储介质，该方法包括：获取视频的原始数据；获取图形处理器渲染后的待检测图像；对待检测图像进行色彩空间变换，得到变换后数据；根据变换后数据和原始数据检测是否花屏。本技术提供的方法通过对待检测图像进行色彩空间变换，根据变换后数据和原始数据检测是否花屏，能有效
的完成线条状，偏色，撕裂错位等多种花屏现象的检测。
附图说明
[0048]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0049]
图1为一种花屏现象示意图；
[0050]
图2为本技术实施例提供的一种应用于图形处理器的视频花屏检测方法的流程示意图；
[0051]
图3为本技术实施例提供的一种根据变换后数据和原始数据检测是否花屏的方法流程示意图。
具体实施方式
[0052]
为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0053]
在实现本技术的过程中，发明人发现，现有的花屏检索方法中通过图像检测获取基准图像与待检测图像的直线条数量差值以及rgb数据的偏色值，来达到检测花屏现象目的。但是，现有方案能够检测出来的花屏类型比较单一，花屏现象的表现是多种多样的，不仅有常见的直线条状花屏，还会出现偏色，撕裂和错位等不规则的花屏类型。
[0054]
针对上述问题，本技术实施例中提供了一种应用于图形处理器的视频花屏检测方法、设备、存储介质，该方法包括：获取视频的原始数据；获取图形处理器渲染后的待检测图像；对待检测图像进行色彩空间变换，得到变换后数据；根据变换后数据和原始数据检测是否花屏。本技术提供的方法通过对待检测图像进行色彩空间变换，根据变换后数据和原始数据检测是否花屏，能有效的完成线条状，偏色，撕裂错位等多种花屏现象的检测。
[0055]
参见图2，本实施例提供的一种应用于图形处理器(gpu)的视频花屏检测方法的实现流程如下：
[0056]
101，获取视频的原始数据。
[0057]
具体的，
[0058]
1、获取视频文件。
[0059]
2、对视频文件解码。
[0060]
3、将解码后数据确定为原始数据。
[0061]
解码后数据的色彩空间为yuv(亮度色度)空间。
[0062]
102，获取图形处理器渲染后的待检测图像。
[0063]
103，对待检测图像进行色彩空间变换，得到变换后数据。
[0064]
其中，待检测图像的色彩空间为rgb空间，因此，本步骤在具体实现时，会根据空间转换关系，将待检测图像的数据的空间转换为yuv空间，并将转换空间后的待检测图像的数据确定为变换后数据。
[0065]
也就是说，本步骤中的变换后数据均为yuv空间的数据。
[0066]
其中，空间转换关系为：
[0067]
y＝0.299*r 0.587*g 0.114*b。
[0068]
u＝-0.147*r-0.289*g 0.436*b。
[0069]
v＝0.615*r-0.515*g-0.100*b。
[0070]
其中，r为转换前rgb空间中r通道值，g为转换前rgb空间中g通道值，b为转换前rgb空间中b通道值，y为转换后yuv空间中y通道值，u为转换后yuv空间中u通道值，v为转换后yuv空间中v通道值。
[0071]
例如，若待检测图像为r2g2b2，那么其转换空间后的待检测图像的数据为y2u2v2，则变换后数据为y2u2v2。
[0072]
其中，
[0073]
y2＝0.299*r2 0.587*g2 0.114*b2。
[0074]
u2＝-0.147*r2-0.289*g2 0.436*b2。
[0075]
v2＝0.615*r2-0.515*g2-0.100*b2。
[0076]
104，根据变换后数据和原始数据检测是否花屏。
[0077]
由于变换后数据和原始数据均为yuv空间数据，因此，本步骤的实现过程如下：
[0078]
1、根据变换后数据的u通道值和v通道值、原始数据的u通道值和v通道值，确定差值矩阵。
[0079]
2、对差值矩阵进行二值化处理，得到二值化处理后的差值矩阵m1。
[0080]
3、根据m1确定色调差异数目。
[0081]
4、根据色调差异数目检测是否花屏。
[0082]
例如，
[0083]
若色调差异数目不小于花屏阈值，则确定检测结果为花屏。
[0084]
若色调差异数目小于花屏阈值，则根据变换后数据的y通道值、原始数据的y通道值检测是否花屏。
[0085]
即1)确定变换后数据的y通道值和原始数据的y通道值之间的偏差数值。2)根据偏差数值，采用局部结构相似性方法，对差值矩阵进行二值化处理，得到二维坐标矩阵m2。3)以m2中坐标信息为区域起点，分别在变换后数据的y通道值和原始数据的y通道值中截取预设范围(如100*100)的区域。4)根据截取的区域计算结构相似性指标。5)若结构相似性指标不小于相似性阈值，则确定检测结果为花屏。若结构相似性指标小于相似性阈值，则确定检测结果为非花屏。
[0086]
其中，结构相似性指标
[0087]
其中，ssim(x,y)为结构相似性指标，x，y为截取的区域，μ
x
为x的平均值，μy为y的平均值，为x的方差，为y的方差，σ
xy
为x和y的协方差，c1，c2为常数。
[0088]
以图3为例，若变换后数据为y2u2v2，原始数据为y1u1v1，则
[0089]
1、计算u2v2与u1v1的差值矩阵，对差值矩阵进行二值化处理，得到m1，统计得到色调差异数目n1，判断是否小于设定阈值，若大于设定阈值则判定待检测图像存在花屏现象。
[0090]
2、如果差异数值n1小于设定阈值，对比y1，y2数据，获取亮度信息偏差数值。根据
偏差数值，采用局部结构相似性方法，对差值矩阵进行二值化处理，得到差异较大像素点的二维坐标矩阵m2，以m2中坐标信息为区域起点，分别在y1，y2中截取100*100的区域r1，r2，计算r1与r2的结构相似性指标ssim，判断是否小于设定阈值，若大于设定阈值则判定待检测图像存在花屏现象，若大于设定阈值则判定待检测图像不存在花屏现象。
[0091]
本实施例提供的应用于图形处理器的视频花屏检测方法，通过对待检测图像进行色彩空间变换，然后与原始数据对比uv数据和y数据，获得待检测图像与原始数据的色度偏差数值和结构相似性指标。
[0092]
本发明使用色彩空间变换进行视频花屏检测，通过对比yuv数据的差异，达到分别在色饱和度和图像纹理上检测的目的，解决了基于rgb数据差异对比在偏色花屏情况下检测效果较差的问题，能有效的覆盖线条，偏色，撕裂等花屏类型的检测。
[0093]
本实施例提供一种应用于图形处理器的视频花屏检测方法，获取视频的原始数据；获取图形处理器渲染后的待检测图像；对待检测图像进行色彩空间变换，得到变换后数据；根据变换后数据和原始数据检测是否花屏。本实施例提供的方法通过对待检测图像进行色彩空间变换，根据变换后数据和原始数据检测是否花屏，能有效的完成线条状，偏色，撕裂错位等多种花屏现象的检测。
[0094]
基于应用于图形处理器的视频花屏检测方法的同一发明构思，本实施例提供一种电子设备，该电子设备包括：存储器，处理器，以及计算机程序。
[0095]
其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现上述图2所示的应用于图形处理器的视频花屏检测方法。
[0096]
具体的，
[0097]
获取视频的原始数据。
[0098]
获取图形处理器渲染后的待检测图像。
[0099]
对待检测图像进行色彩空间变换，得到变换后数据。
[0100]
根据变换后数据和原始数据检测是否花屏。
[0101]
可选地，获取视频的原始数据，包括：
[0102]
获取视频文件。
[0103]
对视频文件解码。
[0104]
确定解码后数据的色彩空间。
[0105]
将解码后数据确定为原始数据。
[0106]
可选地，待检测图像的色彩空间为rgb空间。
[0107]
对待检测图像进行色彩空间变换，得到变换后数据，包括：
[0108]
根据空间转换关系，将待检测图像的数据的空间转换为yuv空间，并将转换空间后的待检测图像的数据确定为变换后数据。
[0109]
可选地，空间转换关系，包括：
[0110]
y＝0.299*r 0.587*g 0.114*b。
[0111]
u＝-0.147*r-0.289*g 0.436*b。
[0112]
v＝0.615*r-0.515*g-0.100*b。
[0113]
其中，r为转换前rgb空间中r通道值，g为转换前rgb空间中g通道值，b为转换前rgb空间中b通道值，y为转换后yuv空间中y通道值，u为转换后yuv空间中u通道值，v为转换后
yuv空间中v通道值。
[0114]
可选地，根据变换后数据和原始数据检测是否花屏，包括：
[0115]
根据变换后数据的u通道值和v通道值、原始数据的u通道值和v通道值，确定差值矩阵。
[0116]
对差值矩阵进行二值化处理，得到二值化处理后的差值矩阵m1。
[0117]
根据m1确定色调差异数目。
[0118]
根据色调差异数目检测是否花屏。
[0119]
可选地，根据色调差异数目检测是否花屏，包括：
[0120]
若色调差异数目不小于花屏阈值，则确定检测结果为花屏。
[0121]
若色调差异数目小于花屏阈值，则根据变换后数据的y通道值、原始数据的y通道值检测是否花屏。
[0122]
可选地，根据变换后数据的y通道值、原始数据的y通道值检测是否花屏，包括：
[0123]
确定变换后数据的y通道值和原始数据的y通道值之间的偏差数值。
[0124]
根据偏差数值，采用局部结构相似性方法，对差值矩阵进行二值化处理，得到二维坐标矩阵m2。
[0125]
以m2中坐标信息为区域起点，分别在变换后数据的y通道值和原始数据的y通道值中截取预设范围的区域。
[0126]
根据截取的区域计算结构相似性指标。
[0127]
若结构相似性指标不小于相似性阈值，则确定检测结果为花屏。
[0128]
若结构相似性指标小于相似性阈值，则确定检测结果为非花屏。
[0129]
可选地，根据截取的区域计算结构相似性指标，包括：
[0130][0131]
其中，ssim(x,y)为结构相似性指标，x，y为截取的区域，μ
x
为x的平均值，μy为y的平均值，为x的方差，为y的方差，σ
xy
为x和y的协方差，c1，c2为常数。
[0132]
本实施例提供的电子设备，其上计算机程序被处理器执行以获取视频的原始数据；获取图形处理器渲染后的待检测图像；对待检测图像进行色彩空间变换，得到变换后数据；根据变换后数据和原始数据检测是否花屏。本实施例通过对待检测图像进行色彩空间变换，根据变换后数据和原始数据检测是否花屏，能有效的完成线条状，偏色，撕裂错位等多种花屏现象的检测。
[0133]
基于应用于图形处理器的视频花屏检测方法的同一发明构思，本实施例提供一种计算机可其上存储有计算机程序。计算机程序被处理器执行以实现上述图2所示的应用于图形处理器的视频花屏检测方法。
[0134]
具体的，
[0135]
获取视频的原始数据。
[0136]
获取图形处理器渲染后的待检测图像。
[0137]
对待检测图像进行色彩空间变换，得到变换后数据。
[0138]
根据变换后数据和原始数据检测是否花屏。
[0139]
可选地，获取视频的原始数据，包括：
[0140]
获取视频文件。
[0141]
对视频文件解码。
[0142]
确定解码后数据的色彩空间。
[0143]
将解码后数据确定为原始数据。
[0144]
可选地，待检测图像的色彩空间为rgb空间。
[0145]
对待检测图像进行色彩空间变换，得到变换后数据，包括：
[0146]
根据空间转换关系，将待检测图像的数据的空间转换为yuv空间，并将转换空间后的待检测图像的数据确定为变换后数据。
[0147]
可选地，空间转换关系，包括：
[0148]
y＝0.299*r 0.587*g 0.114*b。
[0149]
u＝-0.147*r-0.289*g 0.436*b。
[0150]
v＝0.615*r-0.515*g-0.100*b。
[0151]
其中，r为转换前rgb空间中r通道值，g为转换前rgb空间中g通道值，b为转换前rgb空间中b通道值，y为转换后yuv空间中y通道值，u为转换后yuv空间中u通道值，v为转换后yuv空间中v通道值。
[0152]
可选地，根据变换后数据和原始数据检测是否花屏，包括：
[0153]
根据变换后数据的u通道值和v通道值、原始数据的u通道值和v通道值，确定差值矩阵。
[0154]
对差值矩阵进行二值化处理，得到二值化处理后的差值矩阵m1。
[0155]
根据m1确定色调差异数目。
[0156]
根据色调差异数目检测是否花屏。
[0157]
可选地，根据色调差异数目检测是否花屏，包括：
[0158]
若色调差异数目不小于花屏阈值，则确定检测结果为花屏。
[0159]
若色调差异数目小于花屏阈值，则根据变换后数据的y通道值、原始数据的y通道值检测是否花屏。
[0160]
可选地，根据变换后数据的y通道值、原始数据的y通道值检测是否花屏，包括：
[0161]
确定变换后数据的y通道值和原始数据的y通道值之间的偏差数值。
[0162]
根据偏差数值，采用局部结构相似性方法，对差值矩阵进行二值化处理，得到二维坐标矩阵m2。
[0163]
以m2中坐标信息为区域起点，分别在变换后数据的y通道值和原始数据的y通道值中截取预设范围的区域。
[0164]
根据截取的区域计算结构相似性指标。
[0165]
若结构相似性指标不小于相似性阈值，则确定检测结果为花屏。
[0166]
若结构相似性指标小于相似性阈值，则确定检测结果为非花屏。
[0167]
可选地，根据截取的区域计算结构相似性指标，包括：
[0168][0169]
其中，ssim(x,y)为结构相似性指标，x，y为截取的区域，μ
x
为x的平均值，μy为y的平
均值，为x的方差，为y的方差，σ
xy
为x和y的协方差，c1，c2为常数。
[0170]
本实施例提供的计算机可读存储介质，其上的计算机程序被处理器执行以获取视频的原始数据；获取图形处理器渲染后的待检测图像；对待检测图像进行色彩空间变换，得到变换后数据；根据变换后数据和原始数据检测是否花屏。本实施例通过对待检测图像进行色彩空间变换，根据变换后数据和原始数据检测是否花屏，能有效的完成线条状，偏色，撕裂错位等多种花屏现象的检测。
[0171]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0172]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0173]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0174]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0175]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0176]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。