花屏识别方法及相关装置与流程

1.本技术涉及显示技术领域，尤其涉及一种花屏识别方法及相关装置。


背景技术：

2.随着多媒体内容的增加，用户可以采用各种显示设备显示多媒体内容。例如采用智能电视观看网络节目。显示设备在显示内容时，由于各种原因会导致花屏，即显示的画面失真。花屏的类别如图1所示，可包括条纹状花屏(如图1中的a)、色块状花屏(如图1中的b)以及马赛克状花屏(如1中的c)。当然图1仅用于说明一些花屏类别，并不用于限定花屏类别。
3.为了实现对花屏情况的识别，相关技术中采用简单的神经网络进行识别，但是识别精度有限，经常造成误检。


技术实现要素：

4.本技术提供一种花屏识别方法及相关装置，用于解决相关技术中采用简单的神经网络识别花屏时，存在识别精度有限经常造成误检的问题。
5.第一方面，本技术提供一种花屏识别方法，所述方法包括：
6.获取待识别图像；所述待识别图像为显示设备的显示结果图；
7.将所述待识别图像输入并行卷积神经网络，对所述待识别图像进行分类处理，所述分类处理用于识别所述待识别图像是否为花屏图像；
8.其中，所述并行卷积神经网络包括依序串行设置的特征提取模块、多个并行卷积模块和分类模块，所述特征提取模块用于提取待识别图像的特征、每个并行卷积模块包括多个独立的特征提取通道和一个特征融合通道，所述特征融合通道用于对各特征提取通道提取的特征进行融合处理、所述分类模块用于提取待识别图像的分类特征并基于分类特征进行分类。
9.在一些实施例中，所述并行卷积模块中每个特征提取通道分别提取不同深度层次的特征，且不同特征提取通道用于提取出不同特征。
10.在一些实施例中所述并行卷积模块的每个特征提取通道中包括至少两个串联设置的卷积神经网络层，且每个卷积神经网络层的卷积核尺寸不同、且串联设置的多个卷积神经网络层的卷积核尺寸由小到大。
11.在一些实施例中，每个特征提取通道的首个卷积神经网络层用于提取不稀疏特征，其余卷积神经网络层用于提取稀疏特征。
12.在一些实施例中，所述并行卷积模块中包括第一特征提取通道、第二特征提取通道和第三特征提取通道，其中：
13.所述第一特征提取通道包括依序串联设置的第一卷积神经网络层、第二卷积神经网络层和第三卷积神经网络层；
14.所述第二特征提取通道包括依序串联设置的池化层、第四卷积神经网络层和第五
卷积神经网络层；
15.所述第三特征提取通道包括依序串联设置的第六卷积神经网络层和第七卷积神经网络层；
16.所述第一卷积神经网络层、所述第四卷积神经网络层和所述第六卷积神经网络层用于提取不稀疏特征，且所述第一卷积神经网络层、所述第四卷积神经网络层和所述第六卷积神经网络层的输出图像维度不同。
17.在一些实施例中，所述获取待识别图像，包括：
18.获取所述显示设备的屏幕截图图像作为所述待识别图像；或，
19.获取所述显示设备的录屏视频中的图像作为所述待识别图像。
20.在一些实施例中，所述第一卷积神经网络层、所述第四卷积神经网络层和所述第六卷积神经网络层的输入通道数相同，输出通道数不同，且输出通道数均小于输入通道数。
21.在一些实施例中，所述方法还包括：
22.当计时到更新周期，或新样本图像积累到指定数量，则对所述并行卷积神经网络进行更新操作。
23.在一些实施例中，对所述并行卷积神经网络进行更新操作所需的新样本图像是基于预设的图像接收接口获取的，所述图像接收接口用于获取误检图像、新花屏类别图像和非花屏图像中的至少一种图像。
24.第二方面，本技术还提供了一种电子设备，包括：
25.处理器；
26.用于存储所述处理器可执行指令的存储器；
27.其中，所述处理器被配置为执行所述指令，以实现如本技术第一方面中提供的任一方法。
28.第三方面，本技术一实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本技术第一方面中提供的任一方法。
29.第四方面，本技术一实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本技术第一方面中提供的任一方法。
30.本技术的实施例提供的技术方案至少带来以下有益效果：
31.本技术实施例提供的花屏识别方法，采用并行卷积神经网络来识别，该并行卷积神经网络中包括多个并行卷积模块，每个并行卷积模块包括多个独立的特征提取通道和一个特征融合通道，所述特征融合通道用于对各特征提取通道提取的特征进行融合处理。由此，在特征提取时，可以采用多个通道提取不同的特征然后进行特征融合，使得每个并行卷积模块在广度上提取的特征更加全面的描述待识别图像，多个并行卷积模块的设计，可实现在深度上增加特征，进而实现能够提取内容丰富的特征进行分类处理，从而提高分类的精度，提高花屏识别的准确性。
32.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
33.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为几种花屏图像的示意图；
35.图2为根据本技术一个或多个实施例的显示设备与控制装置之间操作场景的示意图；
36.图3为根据本技术一个或多个实施例的显示设备200的硬件配置框图；
37.图4为根据本技术一个或多个实施例的控制设备100的硬件配置框图；
38.图5为根据本技术一个或多个实施例的显示设备200中软件配置示意图；
39.图6为根据本技术一个或多个实施例的显示设备200中应用程序的图标控件界面显示示意图。
40.图7为本技术一实施例提供的应用场景示意图之二；
41.图8a为本技术一实施例提供的并行卷积神经网络的结构示意图；
42.图8b为本技术一实施例提供的并行卷积模块的结构示意图；
43.图8c为本技术一实施例提供的并行卷积模块提取的特征图的示意图；
44.图9为本技术一实施例提供的标注训练样本的示意图；
45.图10为本技术一实施例提供的花屏识别方法的流程示意图；
46.图11为本技术一实施例提供的并行卷积神经网络对待识别图像进行处理的流程示意图；
47.图12为本技术一示例性实施例示出的电子设备的结构示意图。
具体实施方式
48.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
49.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
50.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
51.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
52.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
53.图2为根据本技术一个或多个实施例的显示设备与控制装置之间操作场景的示意
图，如图2所示，用户可通过移动终端300和控制装置100操作显示设备200。控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信，无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。
54.在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。显示设备200，可以是液晶显示器、oled显示器、投影显示设备。显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。
55.图3示例性示出了根据示例性实施例中控制装置100的配置框图。如图3所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起到用户与显示设备200之间交互中介作用。通信接口130用于和外部通信，包含wifi芯片，蓝牙模块，nfc或可替代模块中的至少一种。用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
56.图4示出了根据示例性实施例中显示设备200的硬件配置框图。如图3所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、oled显示器、触控显示器以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
57.在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
58.在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
59.图5为根据本技术一个或多个实施例的显示设备200中软件配置示意图，如图5所示，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
60.图6为根据本技术一个或多个实施例的显示设备200中应用程序的图标控件界面显示示意图，如图6中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。直播电视应用程序，可以通过不同的信号源提供直播电视。视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。应用程序中心，可以提供储存各种应用程序。
61.图7为本技术实施例提供的另一种应用场景示意图，在图7中，显示设备200可以显示画面，例如显示网页、视频等任意画面。显示的画面可通过截图或录屏的方式得到显示结果传递给服务器400。服务器400对输入的数据进行处理，若输入的数据是屏幕截图则将屏幕截图直接输入给服务器400内置的并行卷积神经网络，若输入的数据是视频，则可以对视频进行分帧处理得到单帧图像，然后将单帧图像输入到并行卷积神经网络进行处理，以便于并行卷积神经网络识别输入的图像是否是花屏图像。若识别到花屏图像则说明显示设备存在花屏。
62.由此，本技术包括并行卷积神经网络的构建、训练以及应用几个部分。而且为了避免模型训练采用有限的样本导致模型面对新花屏类别无法适用的情况，本技术实施例还提供了模型的自动更新方式来优化模型。下面对以上几个部分分别进行说明。
63.一、并行卷积神经网络模型结构
64.提升神经网络的性能有两种方式一是硬件升级，二是加深网络的深度。但是硬件升级必然会导致成本的增加，而加深网络的深度，不仅容易造成过拟合的现象，而且网络参数也会随之增加，导致计算量的加大，当网络增加到一定深度，还会出现梯度消失的问题。所以本技术实施例提出了并行卷积神经网络，用于在广度和深度两方面提取特征进行花屏识别。如图8a所示，为本技术实施例中提供的并行卷积神经网络模型的结构框图。并行卷积神经网络模型包括依序串行设置的特征提取模块、多个并行卷积模块(如图8a中的并行卷积模块1、并行卷积模块n)和分类模块。
65.1)、所述特征提取模块用于提取待识别图像的特征，例如采用传统的卷积神经网络层、池化层等来搭建特征提取模块。
66.2)、并行卷积模块用于实现在深度和广度上提取出特征。广度上通过设置多个特征提取通道来实现在广度上获取更多的特征，每个特征提取通道可根据情况设置不同数量的神经网络层，实现在深度上提取出更多特征。如每个特征提取通道分别提取不同深度层次的特征，实现得到合适的深度上的特征。为了能够便于后续分类识别，本技术实施例中并行卷积模块中还包括特征融合通道，每个特征提取通道用于提取一路特征，特征融合通道对各路特征进行融合处理，得到融合特征；融合特征用于供后续的分类模块进行特征提取
和分类。
67.为了使得不同通道能够提取出较大差异化的特征，本技术实施例中不同特征提取通道需要差异化设计。差异化设计可体现在采用的神经网络层不同，采用的卷积核不同。如行卷积模块的每个特征提取通道中包括至少两个串联设置的卷积神经网络层，且每个卷积神经网络层的卷积核尺寸不同、且串联设置的多个卷积神经网络层的卷积核尺寸由小到大。这样，每个特征提取通道用成熟简单的卷积神经网络层来实现，设计简单，采用不同的卷积核尺寸实现对不同感受野不同深度层次的特征提取，实现对不同特征提取通道的差异化。
68.此外，本技术实施例中为了更好的提高分类识别的精度。基于稀疏特性来设置并行卷积网络。实施时，每个特征提取通道用于提取出不稀疏的特征和系数特征，这样能够得到待识别图像的更多特征以便于提高分类识别的准确性。实施时，每个特征提取通道的首个卷积神经网络层用于提取不稀疏特征，其余卷积神经网络层用于提取稀疏特征。由此实现每个通道分别对稀疏特征和不稀疏特征的提取，保证每个特征提取通道都能够尽可能提取更多的特征。
69.在实施时，综合考虑神经网络的深度和具体应用的需求，设计出轻量化的并行卷积神经网络。本技术实施例中，每个并行卷积模块包括三个特征提取通道，采用三个特征提取通道能够规避两个特征提取通道提取的特征不足的缺陷，也能够缓解因采用更多的特征提取通道导致的模型复杂度的提升，导致运算速度下降甚至对硬件的要求提高的问题。
70.每个并行卷积模块包括第一特征提取通道、第二特征提取通道和第三特征提取通道。
71.如图8b所示为并行卷积模块的结构示意图，其中：
72.所述第一特征提取通道包括依序串联设置的第一卷积神经网络层、第二卷积神经网络层和第三卷积神经网络层；
73.所述第二特征提取通道包括依序串联设置的池化层、第四卷积神经网络层和第五卷积神经网络层；
74.所述第三特征提取通道包括依序串联设置的第六卷积神经网络层和第七卷积神经网络层；
75.所述第一卷积神经网络层、所述第四卷积神经网络层和所述第六卷积神经网络层用于提取不稀疏特征，且所述第一卷积神经网络层、所述第四卷积神经网络层和所述第六卷积神经网络层的输出图像维度不同。
76.每个特征提取通道的卷积神经网络层的卷积核的尺寸不同，首个卷积神经网络层的卷积核尺寸为1*1用于提取不稀疏特征，且串联设置的多个卷积神经网络层的卷积核尺寸由小到大用于提取出不同的稀疏特征。这样设置每个通道的卷积核尺寸有利于逐步提取高层特征，得到低尺寸卷积核提取的不稀疏特征和高尺寸卷积核提取的稀疏特征。
77.例如，图8b所示，第一神经网络层的卷积核为1*1，第二卷积神经网络层的卷积核为3*3，第三卷积神经网络层的卷积核为5*5；这样，可提取出深度两种不同深度的特征。实施时，采用3*3卷积核可有效降低网络的参数量，提高网络的计算速度。
78.为了提取出与第一特征提取通道差异化的特征，所述第二特征提取通道包括依序串联设置的池化层、第四卷积神经网络层和第五卷积神经网络层；该池化层可以是最大池
化也可以是平均池化(如图8b所示采用了最大池化)，采用池化层不仅可以降低数据量，去除输入数据中的冗余信息，还可以使的第二特征提取通道提取的特征和其他两个特征其他通道提取的特征更加有区别。如图8b所述，第四卷积神经网络层的卷积核为1*1，第五卷积神经网络层的卷积核为5*5；这样，能够提出5*5卷积和深度的特征。实施时也可以设置其他的卷积核尺寸，如7*7或者11*11，由于5*5卷积核尺寸的参数小于7*7或者11*11卷积核的参数，且深度能够满足分类需求，故此设置成5*5卷积核尺寸即可。
79.同理，为了提取差异化的特征所述第三特征提取通道包括依序串联设置的第六卷积神经网络层和第七卷积神经网络层；如图6所示，第六卷积神经网络层的卷积和为1*1、第八卷积神经网络层的卷积核为3*3。
80.综上而言，采用1*1卷积核提取出不稀疏特征，采用其他不同尺寸的卷积核提取出系数特征。且为了降低模型的参数量本技术实施例中使用3*3卷积核和5*5两种卷积核即可实现深度上的要求，并行卷积模块采用的神经网络层数较少，满足轻量化的需求。
81.最后，并行卷积模块的特征融合通道如图8b中的h：concatenate，用于对三个特征提取通道提取的特征进行融合处理，该融合处理例如是对各个特征提取通道提取的特征进行拼接。
82.此外，本技术实施例中为了进一步减少计算量，每个特征提取通道的首个卷积神经网络层(如图8b中的第一卷积神经网络层、第四卷积神经网络层和第六卷积神经网络层)是输出通道数均小于输入通道数，且为了提取不同的特征，各特征提取通道的首个卷积神经网络层的输出通道数不同。假设输入通道数是192，可分别设置第一卷积神经网络层、第四卷积神经网络层和第六卷积神经网络层各自的输出通道数分别为64、96和128。
83.综上而言，本技术实施例提供的并行卷积模块存在以下特性：
84.(1)第一层都使用1*1的卷积核，可以将图像的特征信息聚集，可以在提取不同特征的同时通过降低输出通道数有效减少参数量，节省计算时间。
85.1*1卷积核后面跟着3*3和5*5的卷积，用于提取稀疏特征。需要说明的是，实施时卷积核可设置为奇数如7*7、11*11等也适用于本技术实施例。
86.(2)整个并行卷积模块中包含1*1、3*3、5*5三种卷积，使得网络可以学习到“稀疏(3*3、5*5)”以及“不稀疏(1*1)”的特征，既增加了网络的宽度，也增加了网络对尺度的适应性。可理解为本技术实施例中使用了三个并行的特征提取通道，相对于一个特征提取通道而言，增加了网络的宽度实现在广度上提取特征。网络尺度：是指物体尺寸大小对于提取特征产生的影响。本技术实施例中使用了三种不同尺寸的卷积核分别对同一张图像学习稀疏特征和不稀疏特征，可以得到三种不同的特征图像。相对于只使用一种卷积核提取出来的特征要更加全面丰富一些。所以对于网络尺度的适应性就要更好一些。
87.(3)网络中连续使用了多个并行卷积模块，在扩展广度的同时也加深了网络的深度，并且在concatenate层中将所有特征进行融合并向下传递，获得非线性属性。本技术实施例中为了简化网络且满足分类要求可使用两个并行卷积模块。
88.当三个特征提取通道的第一层1*1卷积核的数量分别为64、96、128，实现将图像的维度从输入的维度如192分别降低到了64、96、128。由此所述第一卷积神经网络层、所述第四卷积神经网络层和所述第六卷积神经网络层的输出通道数不同。这样，可有利于降低输入图像的维度，简化神经网络模型的计算量。
89.基于上述并行卷积模块的构思，本技术实施例提供的并行卷积神经网络的特征结构示意图如图8c所示。由图8c所示对提取的特征的可视化示意图，把并行卷积模块的中间处理出来的图像展示出来，图8c从可看出同一并行卷积模块内部的每个通道得提取到的特征都不一样。故此，本技术实施例提供的并行卷积模块能够实现提取出不同尺度的多种特征，包括稀疏特征和不稀疏特征，有利于提取更多有效的特征用于分类处理。
90.二、并行卷积神经网络模型的训练
91.在一些实施例中，并行卷积神经网络模型训练的目的是对输入的图像能够进行分类。分类处理可以为二分类，例如分类标签0表示正常图像，分类标签1表示花屏图像。当然，并行卷积神经网络模型的分类目的也可以是对花屏图像进行细分类，例如图9所示，为了使得模型能够识别不同类别的花屏，尽可能采集多种类的花屏样本，包括：马赛克花屏，其对应的分类标签可以为000；条纹花屏，其对应的分类标签为001；雪花花屏，其对应的分类标签可以为101；色块花屏，其对应的分类标签可以为011；全花屏(即整个屏幕都花屏)，其对应的分类标签为100；异常像素点花屏(如边缘处的像素点表现为点状花屏)，其对应的分类标签为101；以及正常图像(即未花屏的图像)其对应的分类标签为110。
92.在电视播放视频、切换通道、切换频道以及开关机时，可能由于信号或者片源等原因出现花屏现象。本技术中可实现识别这些场景下的花屏。例如，可实现设置对屏幕进行截图或者录屏的触发条件，例如在请求播放视频、切换通道、切换频道或接收到开关机的指令时，启动屏幕截图或录屏，然后将得到的屏幕截图或视频传输给云端服务器进行花屏识别。实施时，可获取以上各种情况下的训练样本。然后基于训练目的，本技术实施例中可采集训练样本，每个训练样本有相应的分类标签。然后基于训练样本训练并行卷积神经网络模型，可以在该并行卷积神经网络模型的识别精度满足精度要求时结束训练，也可也迭代训练指定次数后结束训练。训练好的并行卷积神经网络模型可用于对待识别图像进行分类识别显示设备是否存在花屏。
93.三、花屏识别
94.训练好并行卷积神经网络模型之后，可以采用如图10所示的方法进行花屏识别，如图10所示包括：
95.首先显示设备可以采集自己的截屏图像，或对自己显示的图像内容进行录屏，然后上传给云端服务器。然后云端服务器可以对视频进行分帧处理得到待识别图像，或者将截屏图像作为待识别图像，也即，待识别图像为显示设备的显示结果图。
96.如前文所述，可实现设置对屏幕进行截图或者录屏的触发条件，例如在请求播放视频、切换通道、切换频道或接收到开关机的指令时，开启启动屏幕截图或录屏，然后将得到的屏幕截图或视频传输给云端服务器进行花屏识别。
97.在步骤1001中，获取待识别图像。
98.在步骤1002中，将所述待识别图像输入并行卷积神经网络，对所述待识别图像进行分类处理，所述分类处理用于识别所述待识别图像是否为花屏图像。
99.如前文所述，本技术实施例中并行卷积神经网络采用多个并行卷积模块，每个并行卷积模块包括多个特征提取通道，不同特征提取通道提取出不同的特征，并采用并行卷积模块的特征融合通道进行特征融合后进行分类处理。
100.一些实施例中，分类识别结果可以为二值结果，如识别是否为花屏图像，在另一些
实施例中，分类识别结果还可以是具体的类别，例如识别出是具体何种类别的花屏图像。
101.由此，基于并行卷积神经网络的并行卷积模块能够在广度和深度上实现对图像特征的提取，基于丰富的特征，从而能够准确的识别出花屏情况。
102.为了便于理解并行卷积神经网络对待识别图像处理过程，如图11所示，为一种并行卷积神经网络进行花屏识别的示意图。如图11所示，待识别图像首先经过特征提取模块进行特征提取得到第一特征图，需要说明的是特征提取模块内部可包括多个神经网络层用于进行特征提取，神经网络层的数量不限制。而后，特征提取模块提取的第一特征图输入给第一个并行卷积模块，在该并行卷积模块中包括三个特征提取通道分别对第一特征图进行特征提取然后通过特融合通道对上特征提取通道的提取的特征进行融合处理得到第二特征图。之后第二特征图输入给第二个并行卷积模块，在该第二个并行卷积模块中同样使用三个特征提取通道分别对第二特征图进行特征提取，提取的特征由特征融合模块进行融合处理，得到第三特征图。第三特征图输入给分类模块实现分类处理，得到相应的类别。该类别可以是花屏的具体种类，也可以是是否为花屏图像。
103.四、模型更新
104.本技术实施例中，为了使得训练好的并行卷积神经网络模型能够适用不同的场景。例如训练时采用了条纹状花屏、色块状花屏和马赛克状花屏，但是后来出现新的花屏类别，可能已训练的并行卷积神经网络模型对该新出类别的识别精度不足。为了缓解该类问题，本技术实施例中可以对已训练好的并行卷积神经网络模型在使用过程中进行迭代更新，以使得该模型能够适用不同的场景需求。
105.在一些实施例中，可以采集并行卷积神经网络模型对待识别图像的识别结果，挑选出误检的图像用作新的训练样本。该误检的图像或者新的正常图像可自动存储到指定路径中。本技术实施例中并行卷积神经网络模型的构建、训练、识别和更新都由服务器400来执行。服务器400可提供图像接收接口，该接口可以获取误检图像、新花屏类别图像和非花屏图像中的至少一种图像。例如，人工筛选出用于迭代更新模型的训练样本，通过该接口传输给服务器存储到指定路径中。服务器可以设置定时任务，定时采用指定路径中的训练样本优化并行卷积神经网络模型。该定时任务例如每间隔指定天数执行一次，具体的执行周期可以根据实际需求设备，本技术实施例对此不作限定。
106.此外，除了定时任务，本技术实施例中也可以自动查询指定路径中的样本数量，若样本数据达到指定样本数量阈值，则可以启动更新流程，实现对并行卷积神经网络模型的更新。
107.由此，本技术实施例中并行卷积神经网络模型能够实现自主更新，以适用更多的场景。
108.基于相同的发明构思，本技术实施例还提供一种电子设备，如图12所示，该电子设备130以通用电子设备的形式表现。该电子设备可实施为图2和图7中的服务器400。该电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
109.总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
110.存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)
1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(rom)1323。
111.存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
112.电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
113.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器132，上述指令可由处理器131执行以完成上述花屏识别方法中的各个步骤，例如包括模型构建、模型训练、花屏识别和模型更新。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
114.在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器131执行时实现如本技术提供的花屏识别方法的任一方法。
115.在示例性实施例中，本技术提供的一种花屏识别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的花屏识别方法中的步骤。
116.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
117.本技术的实施方式的用于花屏识别方法的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在电子设备上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
118.此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
119.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
120.这些计算机程序指令也可存储在能引导计算机或其他可编程图像缩放设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
121.这些计算机程序指令也可装载到计算机或其他可编程图像缩放设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
122.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
123.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。