一种图像处理方法、装置、计算机设备及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及一种图像处理方法、装置、计算机设备及存储介质。


背景技术：

2.计算机视觉技术(computer vision，cv)是人工智能软件技术的重要方向之一，是指用摄像机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉。计算机视觉技术是指通过对某些深度学习模型研究使得输入至这些深度学习模型的图像智能地记性分类。
3.相关技术中，对于一些样本数据分布不平衡，特别是无法获得充足的样本数的小样本的图像数据或者少样本的图像数据而言，由于某一个类或者多个类的图像样本的分布数量少，且数量也不充足，会使这些深度学习模型对于这一类图像样本对应的图像的识别准确性不高，甚至无法识别。基于此，如何提高针对少样本或者小样本的图像数据的图像识别准确性以及识别率成为了亟需解决的技术问题。


技术实现要素：

4.本公开的目的在于提供一种图像处理方法、装置、计算机设备及存储介质，旨在提高针对少样本或者小样本的图像数据识别准确性以及识别率。
5.为了达到上述目标，本公开采用以下技术方案：
6.根据本公开实施例的第一方面，提供一种图像处理方法，包括：
7.获取待处理的目标图像；
8.根据第一模型以及所述目标图像，确定所述目标图像的语义信息，其中，所述第一模型包括：基于预设类型的第一图像样本集对第二模型进行迁移学习训练得到的模型，所述第二模型包括：使用第一图像数据库数据集训练得到的预训练模型，其中，，所述预设类型的所述第一图像样本集的图像数量在所述第一图像数据库数据集中的图像数量中所占的比例小于第一比例阈值；
9.根据所述目标图像的语义信息，确定所述目标图像是否为所述预设类型的图像。
10.上述方案中，所述方法还包括：
11.从第二图像数据库数据集中获取所述预设类型的所述第一图像样本集，其中，所述预设类型的所述第一图像样本的图像数量在所述第二图像数据库数据集中的图像数量中所占的比例大于第二比例阈值，其中，所述第二比例阈值大于所述第一比例阈值。
12.上述方案中，所述根据所述第一模型，确定第三模型，包括：
13.根据所述第一模型的模型参数分别对m个第四模型进行迁移学习训练，得到m个第五模型，其中，所述m为大于或者等于1的正整数，所述第四模型包括：使用云端数据库中的第二图像样本集训练得到的预训练模型；
14.对所述m个第五模型进行集成学习，得到所述第三模型；
15.利用所述第三模型对所述目标图像进行处理，确定所述目标图像的所述语义信
息。
16.上述方案中，根据所述第二图像样本集，训练得到所述第四模型，包括：
17.将所述第二图像样本集划分为第一正图像样本集和第一负图像样本集，其中，正图像样本集中的图像为所述预设类型的图像，负图像样本集中的图像不为所述预设类型的图像；
18.对所述第一正图像样本集进行数据增强处理，得到第二正图像样本集，以及对所述第一负图像样本集进行数据蒸馏处理，得到第二负图像样本集；
19.根据所述第二正图像样本集和所述第二负图像样本集，训练得到所述第四模型。
20.上述方案中，所述根据所述第二正图像样本集和所述第二负图像样本集，训练得到所述第四模型，包括：
21.响应于所述第二正图像样本集与所述第二负图像样本集的图像数量的比值小于比值阈值，对所述第二负图像样本集进行采样处理，得到第三负图像样本集，其中，所述第二图像样本集与所述第三负图像样本集的图像数据的比值大于或等于所述比值阈值；
22.根据所述第二正图像样本集和所述第三负图像样本集，训练得到所述第四模型。
23.上述方案中，所述第三模型能够将图像样本划分为正确分类样本集和错误分类样本集；
24.所述方法还包括：
25.响应于所述第三模型不满收敛条件，则对所述第三模型进行调整，直至调整后的第三模型满足所述收敛条件，其中，所述收敛条件为：利用第n
‑
1次调整后的第三模型对第 n
‑
1次错误分类图像样本集进行分类得到的第n错误分类图像样本集占第n
‑
1错误分类图像样本的占比小于占比阈值，其中，所述n为大于或等于1的正整数，且当所述n等于1时，所述第n
‑
1次错误分类图像样本集为第三图像样本集；
26.利用第n
‑
1次调整后的第三模型对所述第三图像样本集进行分类得到第n正确分类图像样本集，并将所述第n正确分类图像样本集作为所述第二图像样本集。
27.根据本公开实施例的第二方面，提供一种图像处理装置，包括：
28.第一获取模块，用于获取待处理的目标图像；
29.第一确定模块，用于根据第一模型以及所述目标图像，确定所述目标图像的语义信息，其中，所述第一模型包括：基于预设类型的第一图像样本集对第二模型进行迁移学习训练得到的模型，所述第二模型包括：使用第一图像数据库数据集训练得到的预训练模型，其中，所述预设类型的所述第一图像样本集的图像数量在所述第一图像数据库数据集中的图像数量中所占比例小于第一比例阈值；
30.第二确定模块，用于根据所述目标图像的语义信息，确定所述目标图像是否为所述预设类型的图像。
31.上述方案中，所述装置还包括：
32.第二获取模块，用于从第二图像数据库数据集中获取所述预设类型的所述第一图像样本集，其中，所述预设类型的所述第一图像样本集的图像数量在所述第二图像数据库数据集的图像数量中所占的比例大于第二比例阈值，所述第二比例阈值大于所述第一比例阈值。
33.上述方案中，所述第一确定模块，包括：
34.第一得到子模块，用于根据所述第一模型的模型参数分别对m个第四模型进行迁移学习训练，得到m个第五模型，其中，所述m为大于或者等于1的正整数，所述第四模型包括：使用云端数据库中的第二图像样本集训练得到的预训练模型；
35.第二得到子模块，用于对所述m个第五模型进行集成学习，得到所述第三模型。
36.第一确定子模块，用于利用所述第三模型对所述目标图像进行处理，确定所述目标图像的所述语义信息。
37.上述方案中，所述装置还包括：第三确定模块，用于根据所述第二图像样本集，确定所述第四模型；
38.所述第三确定模块，包括：
39.划分子模块，用于将所述第二图像样本集划分为第一正图像样本集和第一负图像样本集；
40.第三得到子模块，用于对所述第一正图像样本集进行数据增强处理，得到第二正图像样本集，以及对第一负图像样本集进行数据蒸馏处理，得到第二负图像样本集；
41.第三得到子模块，用于根据所述第二正图像样本集和所述第二负图像样本集，训练得到所述第四模型。
42.上述方案中，所述第四得到子模块，还用于：
43.响应于所述第二正图像样本集的数量与所述第二负图像样本集的图像数量的比值小于比值阈值，对所述第二负图像样本集进行采样处理，得到第三负图像样本集，其中，所述第二图像样本集与所述第三负图像样本集的图像数量的比值大于或等于所述比值阈值；
44.根据所述第二正图像样本集和所述第三负图像样本集，训练得到所述第四模型。
45.上述方案中，所述第三模型能够将图像样本划分为正确分类样本集和错误分类样本集；
46.所述装置还包括：
47.调整模块，用于响应于所述第三模型不满收敛条件，则对所述第三模型进行调整，直至调整后的第三模型满足所述收敛条件，其中，所述收敛条件为：利用第n
‑
1次调整后的第三模型对第n
‑
1次错误分类图像样本集进行分类得到的第n错误分类图像样本集占第n
‑
1错误分类图像样本的占比小于占比阈值，其中，所述n为大于或等于1的正整数，且当所述n等于1时，所述第n
‑
1次错误分类图像样本集为第三图像样本集；
48.处理模块，用于利用第n
‑
1次调整后的第三模型对所述第三图像样本集进行分类得到第n正确分类图像样本集，并将所述第n正确分类图像样本集作为所述第二图像样本集。
49.根据本公开实施例的第三方面，提供一种计算机设备，包括：
50.处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，实现上述任意所述的图像处理方法步骤。
51.根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述任意所述的图像处理方法步骤。
52.本公开的实施例提供的技术方案可以包括以下有益效果：
53.本公开的实施例中，通过获取待处理的目标图像；并根据第一模型以及所述目标
图像，确定所述目标图像的语义信息，这里的第一模型包括：基于预设类型的第一图像样本集对第二模型进行迁移学习训练得到的模型，第二模型则包括：使用第一图像数据库数据集训练得到的预训练模型，其中，所述预设类型的第一图像样本集的图像数量在所述第一图像数据库数据集中的图像数量中所占的比例小于第一比例阈值；最后根据所述目标图像的语义信息，确定所述目标图像是否为所述预设类型的图像。也就是说，本公开实施例会利用预设类型的第一图像样本集对使用第一图像数据库数据集预训练的预训练模型进行迁移学习的优化处理，得到学习有预设类型的第一图像样本集的样本特征的第一模型。如此一来，由于是通过第一模型对目标图像进行的语义信息的提取，且由于第一模型是：通过引入预设类型的第一图像样本集对第二模型进行迁移学习优化训练得到的模型，因此能够弥补第二模型针对预设类型的图像的语义信息的缺失，使得通过第一模型所提取的目标图像的语义信息能够更加准确，从而能够更加准确地基于目标图像的语义信息确定目标图像是否属于预设类型的图像。如此，能够使得在各个类型的样本数据分布不平衡和/或对于预设类型的样本数据不充分的情况下，提高针对预设类型的图像的图像识别的准确性，以及减少针对预设类型的图像的图像识别的失败率以提高针对预设类型的图像的图像识别率。进而提高了计算机设备的图像分类性能。
54.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
55.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
56.图1是根据一示例性实施例示出的一种柔图像处理方法的流程图；
57.图2是根据一示例性实施例示出的一种图像处理方法的场景示意图；
58.图3是根据一示例性实施例示出的一种图像处理方法的另一场景示意图；
59.图4是根据一示例性实施例示出的一种图像处理方法的又一场景示意图；
60.图5是根据一具体实施例示出的一种图像处理方法的流程图；
61.图6是根据一示例性实施例示出的一种图像处理的功能模块图；
62.图7是根据一示例性实施例示出的一种计算机设备的框图。
具体实施方式
63.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
64.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
65.机器学习(ml，machine learning)，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学
习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。本公开实施例的图像处理方法中，通过机器学习的方法训练获得图像识别模型，从而能够对待处理的图像进行更好地识别以便实现准确地分类。
66.深度学习(dl，deep learning)，是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标—人工智能ai。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。它是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术、数据挖掘、机器学习、机器翻译，自然语音处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器能够模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很多进步。
67.卷积神经网络(cnn，convolutional neural networks)，是一类包含卷积计算且具有深度结构的前馈申请网络(feedforward neural networks)，是深度学习(deep learning) 的代表算法之一。卷积神经网络具有表征学习(represntation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift
‑
invariant classification)，因此也被称为“平移不变人工神经网络(siann，shift
‑
invariant artificial neural networks)”。
68.需要说明的是，随着互联网技术的发展，用户可以在网络上获取或者发布各种各样的信息，且互联网上超过70％的数据为图像或视频数据。为了更好地为广大用户所使用，如何更好地区分所分布或者获取的图像或视频数据的类别成为了当前研究的主要课题。相关技术中，会通过引入深度学习模型对对互联网上获取或者发布图像进行智能分类，然而现有的深度学习模型的识别准确度与深度学习模型在训练时所使用的样本数据量有着十分紧密的关系。可以理解的是，如果用于训练该深度学习模型的某一类图像的样本数量不充足，势必会影响到该深度学习模型对于该类图像的识别。
69.本公开实施例旨在针对在某一些类型的样本不充足的情况下，提高机器学习中识别该类型的图像的识别准确性和识别该类型的图像的识别率。
70.本公开实施例适用但不限于网络图像数据的识别场景，例如，应用厂商针对用户发布或者获取的图像数据的审核，或者应用厂商针对用户发布的图像的智能分类，以用于分类展示图像，或者用于基于图像的分类进行智能搜索等。
71.图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，所述方法包括以下步骤：
72.步骤101：获取待处理的目标图像；
73.步骤102：根据第一模型以及所述目标图像，确定所述目标图像的语义信息，其中，所述第一模型包括：基于预设类型的第一图像样本集对第二模型进行迁移学习训练得到的模型，所述第二模型包括：使用第一图像数据库数据集训练得到的预训练模型，其中，所述预设类型的所述第一图像样本图像集的图像数量在所述第一图像数据库数据集中的图像数量中所占的比例小于第一比例阈值；
74.步骤103：根据所述目标图像的语义信息，确定所述目标图像是否为所述预设类型的图像。
75.这里，步骤101中，所述获取待处理的目标图像，可以包括：从计算机设备自身获取待处理的所述目标图像，即对计算设备自身的存储的待处理的目标图像进行相应处理。例如，在一些场景中，所述计算机设备可以是某个应用厂商的服务器，该方法可以用于对将要发布在该应用厂商的应用上的图像进行识别和分类，或者用于对将要发布在该应用厂商的应用上的图像进行智能分类。
76.在另一些实施例中，步骤101中，所述获取待处理的目标图像，还可以包括：从计算机设备自身以外的设备获取待处理的所述目标图像，即能够实现对计算机设备自身以外的设备的图像进行智能识别与分类。
77.这里，语义信息是指能够用于作为目标图像的语义表征，即能够表达出目标图像中所包含的对象。例如，如果目标图像为山水风景图像，则语义信息可以用于表征山水风景信息；如果目标图像为人物图像，则语义信息则可以用于表征人物信息。这里，语义信息可以用数字或字符进行表示，不同的语义信息对应所要表征的目标图像所包含的对象不同。
78.这里，预设类型可以是样本收集中比较难获取到的那一部分图像的类型。或者说，样本收集过程中预设类型的图像存在较少，难以达到能够训练好深度学习模型的数量要求，这里，能够训练好深度学习模型的数量要求是指：能够使得深度学习模型识别该类型的图像的准确率达到准确率阈值的样本数量要求。
79.这里，所述预设类型的图像在所述第一图像数据库数据集中的数量所占的比例小于第一比例阈值。其中，第一比例阈值，可以是针对预设类型的图像作为样本的数量与所有图像样本的数量的比例为，达到能够训练好深度学习模型的最小比例要求。这里，能够训练好深度学习模型的最小比例要求是指：能够使得深度学习识别该类型的图像的准确率达到准确率阈值的该样本数量的最小比例要求。
80.也就是说，如果预设类型的图像在所述第一图像数据库数据集中的数量所占比例小于能够训练好深度学习模型的最小比例要求的话，那么利用第一图像数据库数据集中训练的模型将无法正确地识别出预设类型的图像。
81.这里，第一图像数据库是指图像处理领域中用于作为存储图像样本的数据库，第一图像数据库数据集则为从第一图像数据库中随机或者按照预设规则获取到的一定数量的样本集。
82.在一些实施例中，第一图像数据库，可以是imagenet数据库。imagenet数据库是一个用于视觉对象识别软件研究的大型可视化数据库，超过1400万的图像统一资源定位器 (url，uniform resource loacator)被imagenet手动注释，以指示图片中的对象；在至少一百万个图像中，还提供了边界框。
83.实际上，即使采用imagenet数据库仍然会存在某些类型的图像样本的缺失或缺少。例如，对于一些低俗图像或者一些不常见的特殊领域的图像等而言，imagenet数据库中同样很少能够获取得到。因此，使用第一图像数据库数据集训练得到的预训练模型对于那部分缺少或缺失的图像类型的图像的语义信息的识别往往不够准确，甚至无法识别出来。
84.当然，在另一些实施例中，所述第一图像数据库也可以是其他的图像数据库，例如一些大型云服务厂商提供的图像数据库。总之，所述预设类型的图像在所述第一图像数据
库数据集中的数量所占的比例小于第一比例阈值。
85.这里，第二模型包括：使用第一图像数据库数据集训练得到的预训练模型。需要说明的是该第二模型具有能够获取图像的语义信息表达的能力。即通过将图像输入到第二模型中，能够输出图像的语义信息。
86.这里，迁移学习(tl，tansfer learning)就是把已训练好的模型(预训练模型)参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的，所以通过迁移学习可以将已经学到的模型参数通过某种方式来分享给新模型从而加快并优化模型的学习效率不同像多数网络那样从零学习。这里，通过基于预设类型的第一图像样本集对第二模型进行迁移学习，从而可以通过优化第二模型后生成的第一模型能够具有预设类型的图像的语义信息表达能力。
87.这里的第二模型可以是具有卷积神经网络cnn的深度学习模型，其中，卷积神经网络包括但不限于以下之一：残差网络结构(resnet，residual network)、深度神经网络的聚集残差变换网络结构(resnext
‑
aggregated residual transformations for deep neuralnetworks)、或卷积网络的可视化与理解网络结构(zfnet，visualizing and understandingconvolutional networks)。总之，第二模型是使用第一图像数据库数据集训练好的模型。
88.如此，通过引入了预设类型的第一图像样本集，即引入了针对第一图像数据库缺少或缺失的图像类型的图像样本集对第二模型进行迁移学习训练，可以使得通过引入预设类型的第一图像样本集训练进行迁移学习训练的模型能够更好地识别出图像的语义信息，减少针对预设类型的图像语义表征的缺失，为后续基于目标图像的语义信息对目标图像进行分类提供更为准确的分类基础。
89.在一些实施例中，所述根据第一模型以及所述目标图像，确定所述目标图像的语义信息，可以包括：
90.将所述目标图像输入到所述第一模型中，输出所述目标图像的语义信息。
91.可以理解的是，这里第一模型可以直接作为处理所述目标图像的处理模型，即直接通过第一模型可以识别出目标图像的语义信息。
92.本实施例中，通过直接采用第一模型对目标图像进行识别，由于第一模型是基于预设类型的第一图像样本集对第二模型进行迁移学习训练得到的模型，如此，通过第一模型能够减少对于预设类型的图像语义表征的缺失，提高图像识别的准确性，进而能够后续更好地为图像分类提供基础。
93.当然，在另一些实施例中，根据第一模型及所述目标图像，确定所述目标图像的语义信息，还可以包括：
94.将所述目标图像输入至与第一模型相关的模型中，输出目标图像的语义信息。
95.这里，第一模型作为间接输出目标图像的语义信息的模型，也同样由于第一模型的参与，使得该计算机设备针对预设类型的图像的识别更加准确。
96.如此，上述实施例中，由于第一模型包括：基于预设类型的第一图像样本集对第二模型进行迁移学习训练得到的模型，如此，可以对第二模型中对于预设类型的图像样本的数量较少的进行一定的纠正，使得通过利用预设类型的图像样本集进行了迁移学习训练得到的模型来确定目标图像的语义信息，即通过第一模型来确定目标图像的语义信息，能够
更有效的识别出目标图像的语义信息，减少目标图像针对预设类型的图像的语义表征的缺失，使得对目标图像的语义信息的识别更加准确，为后续基于目标图像的语义信息对目标图像进行分类提供更为准确的分类基础。
97.基于此，通过根据第一模型以及目标图像，确定出目标图像的语义信息，能够更加准确地得到目标图像的语义表征，减少针对预设类型的图像的语义表征的缺失，从而为后续基于目标图像的语义信息确定目标图像是否为预设类型的图像奠定基础。
98.可以理解的是，根据目标图像的语义信息，可以确定出目标图像所包含的对象，从而可以确定出目标图像的图像类型。
99.在一些实施例中，所述步骤103，即所述根据所述目标图像的语义信息，确定所述目标图像是否为所述预设类型的图像，可以包括：
100.根据所述目标图像的语义信息，确定所述目标图像所包含的对象信息；
101.根据所述目标图像所包含的对象信息，确定所述目标图像的类型；
102.根据所述目标图像的类型，确定所述目标图像是否为所述预设类型的图像。
103.这里，对象信息包括但不限于：目标图像所包含的对象的类型，各对象的数量、各对象所占目标图像的面积，以及对象在目标图像中的重要程度等。
104.在一些实施例中，所述根据所述目标图像所包含的对象信息，确定所述目标图像的类型，可以包括：
105.根据所述目标图像所包含的对象的类型以及各对象的数量、各对象所占目标图像的面积以及对象在目标图像中的重要程度的至少之一，确定所述目标图像的类型。
106.示例性的，所述根据所述目标图像所包含的对象信息，确定所述目标图像的类型，可以包括：根据所述目标图像所包含的对象的类型以及各对象的数量，将数量最多的对象对应的类型作为目标图像的类型。
107.示例性的，所述根据所述目标图像所包含的对象信息，确定所述目标图像的类型，可以包括：根据所述目标图像所包含的对象的类型以及各对象所占目标图像面积，将面积占比最大的对象对应的类型作为目标图像的类型。
108.示例性的，所述根据所述目标图像所包含的对象，确定所述目标图像的类型，可以包括：根据所述目标图像所包含的对象的类型以及各对象在目标图像中的重要程度，将重要程度最高的对象对应的类型作为目标图像的类型。
109.这里，各个对象在目标图像中的重要程序可以通过各个对象是否聚焦或者是否虚化来进行判断。可以理解的是，被聚焦的对象的重要程序大于被虚化的对象的重要程序。当然，各个对象在目标图像中的重要程序还可以通过其他的方式进行判断，在此不做任何限定。
110.本实施例中，通过根据目标图像的语义信息，确定出目标图像所包含的对象，从而可以确定出目标图像的图像类型，最后再确定目标图像是否为预设类型的图像可以更为准确地对目标图像进行分类。
111.上述实施例中，由于是通过第一模型对目标图像进行的语义信息的提取，且由于第一模型是：通过引入预设类型的第一图像样本集对第二模型进行迁移学习优化训练的得到的模型，因此能够弥补第二模型针对预设类型的图像的语义信息的缺失，使得通过第一模型所提取的目标图像的语义信息能够更加准确，从而能够更加准确地基于目标图像的语
义信息确定目标图像是否属于预设类型的图像。如此，能够使得在各个类型的样本数据分布不平衡和/或对于预设类型的样本数据不充分的情况下，提高针对预设类型的图像的图像识别的准确性，以及减少针对预设类型的图像的图像识别的失败率以提高针对预设类型的图像的图像是被率。进而提高了计算机设备的图像分类性能。
112.基于此，对于预设类型的图像为网络不被允许的或者法律所不被允许的类型的图像的情况下，通过本实施例所述方法，还可以提高审核时针对预设类型的图像的甄选的准确性，减少预设类型的图像流入网络中，为净化网络环境提供了有利的保障。
113.作为一可选的实施例，所述方法还包括：
114.从第二图像数据库数据集中获取所述预设类型的所述第一图像样本集，其中，所述预设类型的图像样本集，其中，所述预设类型的所述第一图像样本及的图像数量在所述第二图像数据库数据集中的图像数量中所占的比例大于第二比例阈值，所述第二比例阈值大于所述第一比例阈值。
115.这里，所述预设类型的图像在所述第二图像数据库数据集中的数量所占比例大于第二比例阈值，其中，第二比例阈值大于第一比例阈值，即第二比例阈值大于上述所述的达到能够训练好深度学习模型的最小比例要求的比例。
116.在实际应用中，该第二比例阈值远大于上述所述的达到能够训练好深度学习模型的最小比例要求的比例。所述第二图像数据库数据集可以本身是针对预设类型的第一图像样本集。
117.以预设类型的图像为低俗图像为例，所述第二图像数据库，可以是开源低俗图像数据集(nsfw，not safe for work)。nsfw意译为内容不适合上班时间浏览。通过开源nsfw 对预设类型的图像样本的提取，获取预设类型的第一图像样本集，为第二模型针对低俗图像的图像语义信息的学习提供了大量的样本，从而使得基于低俗图像的图像语义信息迁移学习后的第一模型，具备更好地针对低俗图像的语义信息的表达，使得第一模型能够准确地识别出低俗图像的语义信息。
118.上述实施例中，通过从预设类型的图像在所述第二图像数据库数据集中的数量所占比例大于第二比例阈值的第二图像数据库数据集中，得到预设类型的第一图像样本，从而可以弥补第一图像数据库数据集中对于预设类型的图像样本的不足，从而为训练第二模型提供更有利的预设类型的图像样本的保障，进而为第一模型能够准确地识别预设类型的图像的语义信息提供了基础。
119.正如前述所说，第一模型可以作为间接输出目标图像的语义信息的模型，使得该计算机设备针对预设类型的图像的识别更加准确。基于此，作为另一可选的实施例，所述根据所述第一模型以及所述目标图像，确定所述目标图像的语义信息，可以包括：
120.根据所述第一模型，确定第三模型；
121.利用所述第三模型对所述目标图像进行处理，确定所述目标图像的所述语义信息。
122.在一些实施例中，根据所述第一模型，确定第三模型，可以包括：利用第一模型的模型参数对识别模型进行训练得到第三模型。示例性的，识别模型可以是计算机设备自身存储的用于图像识别的深度学习模型，也可以是计算机设备从服务器或者云端中基于图像识别请求而获取的识别模型。这里的识别模型是通过云端中的大数据随机获取的图像作为
图像样本训练出来的模型。
123.如此，根据第一模型对现有的识别模型进行训练，得到能够更好地识别出预设类型的图像的第三模型，从而使得利用第三模型对目标图像进行处理，能够能够准确地确定出目标图像的语义信息。
124.在另一些实施例中，利用第一模型的模型参数对识别模型进行训练得到第三模型，可以包括：利用第一模型的模型参数对识别模型进行迁移学习训练，得到第三模型。
125.需要说明的是，根据第一模型，确定第三模型的形式不作任何限定，总之，根据第一模型所确定的第三模型拥有第一模型的识别功能，也就是说，根据第一模型确定的第三模型，能够使得第三模型能够具有对预设类型的图像的语义信息表达的能力。基于此，本公开实施例中，通过利用第一模型对现有的识别模型的调整得到的第三模型，再利用第三模型对目标图像进行处理，确定目标图像的语义信息，可以使得计算机设备不论是线上还是线下都能准确地识别出图像的语义信息，特别是能够准确地识别出预设图像的语义信息，进而更好地为图像进行分类，提高计算机设备的图像分类性能。
126.在一些实施例中，所述根据第一模型以及所述目标图像，确定所述目标图像的语义信息，可以包括：
127.根据第一模型的模型参数分别对m个第四模型进行迁移学习训练，得到m个第五模型，其中，所述m为大于或者等于1的正整数，所述第四模型包括：使用云端数据库中的第二图像样本集训练得到的预训练模型；
128.对所述m个第五模型进行集成学习，得到所述第三模型；
129.利用所述第三模型对所述目标图像进行处理，确定所述目标图像的所述语义信息。
130.需要说明的是，上述所述的通过云端中的大数据随机获取的图像作为图像样本可以训练得到一个识别模型，通过再次随机获取的图像作为图像样本的训练又可以得到另一个识别模型。可以理解的是，在一些实施例中，第四模型即为上述识别模型之一。本公开实施例为了能够进一步提高第三模型的识别准确性，可以对多个识别模型进行信息整合，得到更为稳定的识别模型，从而提供图像识别的准确性。
131.可以理解的是，在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型。但实际情况下往往不这么理想，有时我们只能得到多个有偏好的模型，即弱监督模型。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型。可以理解的是，集成学习后的模型中，即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。
132.在一些实施例中，对所述m个第五模型进行集成学习，得到所述第三模型，可以包括：将m个第五模型的模型参数平均化，从而得到第三模型的模型参数。
133.当然，对m个第五模型进行集成学习的方式还有很多，在此不限于平均化这一种手段。任何能够优化各个第五模型的模型性能的方式都属于本实施例所说的集成学习的方式。
134.上述实施例中，通过利用第一模型的模型参数分别对多个第四模型进行迁移学习，得到多个第五模型，再对多个第五模型进行集成学习所得到的第三模型，能够使得第三模型的识别准确性更高，更能有效地识别出预设类型的图像。
135.作为另一可选的实施例，根据所述第二图像样本集，训练得到所述第四图像模型，包括：
136.将所述第二图像样本集划分为第一正图像样本集和第一负图像样本集，其中，正图像样本集中的图像为所述预设类型的图像，负图像样本集中的图像不为预设类型的图像；
137.对所述第一正图像样本集进行数据增强处理，得到第二正图像样本集，以及对所述第一负图像样本集进行数据蒸馏处理，得到第二负图像样本集；
138.根据所述第二正图像样本集和所述第二负图像样本集，训练得到所述第四模型。
139.这里，第二图像样本集可以是上述所述的通过云端的大数据中随机抽取得到的图像样本集。当然，第二图像样本集可以是特定的服务器中得到的图像样本集。总之，第四图像模型是根据第二图像样本集训练得到的。
140.可以理解的是，正图像样本集即模型主要要找到的目标图像对应的样本集。负图像样本集即除去目标图像以外的图像对应的样本集。本实施例旨在将预设类型的图像识别出来，故，这里的正图像样本集中的图像可以为预设类型的图像，负图像样本集中的图像则不为预设类型的图像。
141.需要说明的是，由于预设类型的图像的数量较少，无法达到能够训练好模型的数量要求，而预设类型以外的类型的图像数量较多，从而会导致训练使用的第二图像样本集中的样本类型失衡。基于此，本实施例中，通过对第一正图像样本集进行数据增强处理，得到第二正图像样本集，以及对第一负图像样本集进行数据蒸馏处理，得到第二负图像样本集。如此，可以缩小预设类型的图像在整个图像样本集中的占比失衡。
142.在一些实施例中，对所述第一正图像样本集进行数据增强处理，包括：对所述第一正图像样本集中图像特征进行数据增强处理。
143.这里，对所述第一正图像样本集中图像特征进行数据增强处理，包括但不限于：对第一正图像样本集中的图像特征进行随机偏移，或者图像特征的随机角度旋转以及图像特征的随机比例缩放。示例性的，对第一图像样本集中的图像特征进行预定个数的像素，例如 15个像素的随机偏移，或者对第一图像样本集中的图像特征进行预定角度以外，例如10
°
以外的随机旋转，或者，对第一图像样本集中的图像特征进行预设范围倍数，例如0.9至 1.1倍的随机缩放。
144.示例性的，对所述第一正图像样本集中的图像特征进行数据增强处理，可以包括：对所述第一正图像样本集中的所有图像特征进行数据增强处理。如此，可以减少对第一正图像样本集中某些图像特征的遗漏，提高模型的准确性。
145.示例性的，对所述第一正图像样本集中的图像进行数据增强处理，还可以包括：对所述第一正图像样本集中的预定图像特征进行数据增强处理。这里的预定图像特征，可以是包含了预设类型的对象的图像特征。如此，通过仅对预定图像特征的增强可以减少其他图像信息的干扰，提高模型的学习效率。
146.示例性的，请参图2，图2是根据一示例性实施例示出的一种图像处理方法的场景示意图，如图2所示，以所述第一正图像样本集中的图像为低俗图像为例，本实施例对第一正图像样本中所有图像特征进行了预定个数的像素的向上偏移。
147.示例性的，请参阅图3，图3是根据一示例性实施例示出的一种图像处理方法的另
一场景示意图，如图3所示，同样以所述第一正图像样本集中的图像为低俗图像为例，本实施例对第一正图像样本中所有图像特征进行了预定角度的旋转。
148.在一些实施例中，对所述第一负图像样本集进行数据蒸馏处理，包括：对所述第一负图像样本集中图像特征进行数据蒸馏处理。
149.可以理解的是，数据蒸馏处理可以将大量的第一负图像样本集压缩成较少的数据，使得压缩后的数据作为数据样本同样可以起到原始数据的数据样本相同的训练效果。
150.可以理解的是，大部分的线上获得的第二图像样本都是第一负图像样本，为了使得第二图像样本中正图像样本与负图像样本之间极端不平衡的现象，本公开实施中，通过对第二图像样本中第一正图像样本集进行数据增强处理得到第二正图像样本集，以及对第二图像样本中第一负图像样本进行数据蒸馏处理得到第二负图像样本集，然后再基于第二正图像样本集和第二负图像样本，来确定第四模型，可以使得第四模型能够更有效地识别出正图像，即更有效地识别出预设类型的图像。
151.需要补充的是，有些时候，即使对第二图像样本集中的第一正图像样本集进行了数据增强处理，以及对第二图像样本集中的第一负图像样本集进行了数据蒸馏处理，所得到的第二正图像样本集的图像数量与第二负图像样本集的图像数量的比值仍然很小，无法满足第二正图像样本集对模型的训练。
152.基于此，在一些实施例中，根据所述第二正图像样本集和所述第二负图像样本集，训练得到所述第四模型，包括：
153.响应于所述第二正图像样本集与所述第二负图像样本集的图像数量的比值小于比值阈值，对所述第二负图像样本集进行采样处理，得到第三负图像样本集，其中，所述第二图像样本集与所述第三负图像样本集的图像数量的比值大于或等于所述比值阈值；
154.根据所述第二正图像样本集和所述第三负图像样本集，训练得到所述第四模型。
155.这里的比值阈值，可以是人工经验确定的可以用于训练的第二正图像样本集与所述第二负图像样本集的图像数量的比值。
156.本公开实施例中，若所述第二正图像样本集与所述第二负图像样本集的图像数量的比值小于比值阈值，对所述第二负图像样本集进行采样处理，可以进一步缩小所述第二正图像样本集与所述第二负图像样本集的图像数量差，降低所述第二正图像样本集与所述第二负图像样本集不均衡分布，使得训练得到的第四模型能够更有效地识别出正图像，即更有效地识别出预设类型的图像。
157.作为另一可选的实施例，所述第三模型能够将图像样本划分为正确分类样本集和错误分类样本集；
158.所述方法还包括：
159.响应于所述第三模型不满足收敛条件，则对所述第三模型进行调整，直至调整后的第三模型满足所述收敛条件，其中，所述收敛条件为：利用第n
‑
1次调整后的第三模型对第n
‑
1次错误分类图像样本集进行分类得到的第n错误分类图像样本集占第n
‑
1错误分类图像样本的占比小于占比阈值，其中，所述n为大于或等于1的正整数，且当所述n 等于1时，所述第n
‑
1次错误分类图像样本集为第三图像样本集；
160.利用第n
‑
1次调整后的第三模型对所述第三图像样本集进行分类得到第n正确分类图像样本集，并将所述第n正确分类图像样本集作为所述第二图像样本集。
161.可以理解的是，这里的第三模型包括：分类器，该分类器是指能够对样本进行分类，把其中错误分类的样本放入到负样本集和中再继续进行训练的分类器。通过该分类器可以将难分的样本剔除出来，放到下一轮的分类器中进行再训练。
162.示例性的，响应于所述第三模型不满足收敛条件，则对第三模型进行调整，直至调整后的第三模型满足收敛条件，可以包括：
163.响应于所述第三模型不满足收敛条件，利用第一分类器对第三图像样本集进行第一次分类，得到第一正确分类图像样本集和第一错误分类图像样本集；
164.响应于所述第一错误分类图像样本集的图像数量占所述第三图像样本集的图像数量的占比小于占比阈值，则将所述第一分类器作为调整后的所述第三模型。
165.示例性的，所述方法还包括：
166.响应于所述第一错误分类图像样本集的图像数量占所述第三图像样本集的图像数据的占比大于或等于所述占比阈值，则利用第s分类器对第s
‑
1错误分类图像样本集进行第 s次分类，得到第s正确分类图像样本集和第s错误分类图像样本集，其中，s大于或等于2；
167.响应于所述第s错误分类图像样本集的图像数量占所述第s
‑
1错误图像样本集的图像数量的占比小于所述占比阈值，则所述第s分类器作为调整后的第三模型。
168.本公开实施例中，通过对第三模型进行困难样本挖掘的迭代训练，可以第三模型的识别准确性更高，从而通过第三模型所识别的目标图像的语义信息更加准确，进而为基于目标图像的语义信息确定目标图像是否为预设类型的图像提供了基础。
169.需要补充的是，所述方法还包括：
170.响应于所述目标图像为所述预设类型的图像，对所述预设类型的图像进行图像处理。
171.这里，对预设类型的图像进行图像处理包括：对预设类型的图像进行全部图像特征的图像处理，或者对预设类型的图像进行预设图像特征的图像处理。
172.这里，图像处理，包括但不限于：隐藏处理或删除处理，其中，隐藏处理又包括但不限于打码处理。
173.需要补充的是，类激活映射(cam，class activation mapping)是卷积神经网络cnn 具有的一种能够针对图片中的关键部分进行定位的能力。这里，所述对预设类型的图像进行预设图像特征的图像处理，包括：首先对预设类型的图像进行cam处理，定位出预设图像特征；再对预设图像特征进行图像处理。
174.请参阅图4，图4是根据一示例性实施例示出的一种图像处理方法的又一场景示意图，如图4所示，仍以预设类型的图像为低俗图像为例，可以对低俗图像中的特定对象，即与预设类型对应的类型的对象定位出来，从而可以后续再对该图像特征的进行图像处理。图 4中左边为预设类型的图像，右边有定位出预设图像特征的预设类型的图像。
175.如此，通过卷积申请网络cnn的cam功能对预设类型的图像进行预设图像特征的定位，并对该定位的预设图像特征进行相应的处理，可以为净化已有预设类型的图像所在网络环境时，减少图像处理的数据量。
176.进一步地，本公开还提供一个具体实施，以进一步理解本公开实施例提供的图像处理方法。
177.随着互联网技术的发展，用于可以在网络上获取或者发布各种各样的信息，例如，搜索、浏览或者发布各种图片。但是对于部分类别的图片并不适合在网络上流传，例如低俗图片。对于识别网络上获取或发布的图片是否为低俗图片，发明人在相关技术中使用神经玩网络进行识别检测。但是现有的深度学习模型的识别准确度与深度学习模型在训练时所使用的样本数量有着十分紧密的关系，可以理解的是，如果用于训练深度学习模型的某一类图像的样本数量不够，势必会影响到该深度学习模型对于该类图像的识别，而可知地，对于低俗图片而言，用户能够找到的相关类别的图片作为样本的数量很少，因此，现有的深度学习模型对于低俗图片的识别准确性不高，甚至无法识别出来。而甄别低俗图像，净化网络环境已经成为了各大互联网巨头或者说互联网提供商在进行网络内容审核时必不可少的环节。
178.如何有效地甄别低俗图像，并将低俗图像从任意的图像中分类出来成为了亟需解决的技术问题。
179.请参阅图5，图5是根据一具体实施例示出的一种图像处理方法的流程图，如图5所示，所述方法包括：
180.步骤51：使用第一图像数据库数据集训练得到第二模型；
181.这里的第一图像数据库数据集可以为上述所述的imagenet数据集。
182.步骤52：从第二图像数据库数据集中获取低俗图像样本集。
183.这里的第二图像数据库数据集可以是上述所述的开源低俗图片数据集，这里的低俗图像样本集可以为上述所述的预设类型的第一图像样本集。
184.步骤53：基于低俗图像样本集对第二模型进行迁移学习训练得到第一模型。
185.步骤54：对第一预设图像样本集进行数据增强和数据蒸馏处理，且基于处理后的第二预设图像样本集对m个第一基模型进行训练，得到第二基模型。
186.这里的第一基模型则为上述所述的识别模型，这里的第二基模型为上述所述的第四模型；这里的第一预设图像样本集则为上述所述的第二图像样本集，这里的第二图像样本集则为上述所述的第二正图像样本集和所述第二负图像样本集。
187.步骤55：根据第一模型的模型参数分别对m个第二基模型进行迁移学习训练，得到 m个第三基模型。
188.这里的第三基模型，则为第五模型。
189.步骤56：对m个基模型进行集成学习，得到第三模型。
190.这里，对m个基模型的集成学习的方式与上述实施例所述的集成学习的方式相同。
191.步骤57：若第三模型不满足收敛条件，则对第三模型进行困难数据挖掘处理的迭代训练，直至第三模型满足所述收敛条件。
192.这里，对第三模型进行困难数据挖掘处理的迭代训练的方式与上述实施例所述的进行困难数据挖掘处理的迭代训练的方式相同。
193.本公开实施例，通过多重的迁移学习、数据蒸馏、数据增强、集成学习以及困难样本挖掘处理的迭代训练等联合训练得到的深度学习模型，能够很好地解决针对低俗图片这一类样本不充分，样本极端不平衡下无法识别低俗图像或者识别错误的问题。通过本公开实施例，能够将低俗图像的识别出来，并基于cam技术更好地解析出低俗图像的语义信息，并且基于这一语义信息能够更好地进行图像分类，提高了计算机设备的分类性能。
194.图6是根据一示例性实施例示出的一种图像处理的功能模块图。参照图6，该装置包括：第一获取模块61、第一确定模块62和第二确定模块63；其中，
195.所述第一获取模块61，用于获取待处理的目标图像；
196.所述第一确定模块62，用于根据第一模型以及所述目标图像，确定所述目标图像的语义信息，其中，所述第一模型包括：基于预设类型的第一图像样本集对第二模型进行迁移学习训练得到的模型，所述第二模型包括：使用第一图像数据库数据集训练得到的预训练模型，其中，所述预设类型的所述第一图像样本集的图像数据在所述第一图像数据库数据集中的图像数量中所占比例小于第一比例阈值；
197.所述第二确定模块63，用于根据所述目标图像的语义信息，确定所述目标图像是否为所述预设类型的图像。
198.在一些可选的实施例中，所述装置还包括：
199.第二获取模块，用于从第二图像数据库数据集中获取所述预设类型的所述第一图像样本集，其中，所述预设类型的所述第一图像样本集的图像数量在所述第二图像数据库数据集中的图像数量中所占的比例大于第二比例阈值，所述第二比例阈值大于所述第一比例阈值。
200.在一些可选的实施例中，所述第一确定模块62，包括：
201.第一得到子模块，用于根据所述第一模型的模型参数分别对m个第四模型进行迁移学习训练，得到m个第五模型，其中，所述m为大于或者等于1的正整数，所述第四模型包括：使用云端数据库中的第二图像样本集训练得到的预训练模型；
202.第二得到子模块，用于对所述m个第五模型进行集成学习，得到所述第三模型；
203.第一确定子模块，用于利用所述第三模型对所述目标图像进行处理，确定所述目标图像的所述语义信息。
204.在一些可选的实施例中，所述装置还包括：第三确定模块，用于根据第二图像样本集，确定所述第四模型；
205.所述第三确定模块，包括：
206.划分子模块，用于将所述第二图像样本集划分为第一正图像样本集和第一负图像样本集；
207.第三得到子模块，用于对所述第一正图像样本集进行数据增强处理，得到第二正图像样本集，以及对第一负图像样本集进行数据蒸馏处理，得到第二负图像样本集；
208.第四得到子模块，用于根据所述第二正图像样本集和所述第二负图像样本集，训练得到所述第四模型。
209.在一些可选的实施例中，所述第四得到子模块，还用于：
210.响应于所述第二正图像样本集的数量与所述第二负图像样本集的图像数量的比值小于比值阈值，对所述第二负图像样本集进行采样处理，得到第三负图像样本集，其中，所述第二图像样本集与所述第三负图像样本集的图像数量的比值大于或等于所述比值阈值；
211.根据所述第二正图像样本集和所述第三负图像样本集，训练得到所述第四模型。
212.在一些可选的实施例中，所述第三模型能够将图像样本划分为正确分类样本集和错误分类样本集；
213.所述装置还包括：
214.调整模块，用于响应于所述第三模型不满收敛条件，则对所述第三模型进行调整，直至调整后的第三模型满足所述收敛条件，其中，所述收敛条件为：利用第n
‑
1次调整后的第三模型对第n
‑
1次错误分类图像样本集进行分类得到的第n错误分类图像样本集占第n
‑
1错误分类图像样本的占比小于占比阈值，其中，所述n为大于或等于1的正整数，且当所述n等于1时，所述第n
‑
1次错误分类图像样本集为第三图像样本集；
215.处理模块，用于利用第n
‑
1次调整后的第三模型对所述第三图像样本集进行分类得到第n正确分类图像样本集，并将所述第n正确分类图像样本集作为所述第二图像样本集。
216.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
217.图7是根据一示例性实施例示出的一种计算机设备700的框图。例如，计算机设备 700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
218.参照图7，计算机设备700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(i/o)的接口712，传感器组件714，以及通信组件716。
219.处理组件702通常控制计算机设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720 来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
220.存储器704被配置为存储各种类型的数据以支持在计算机设备700的操作。这些数据的示例包括用于在计算机设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器 (eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
221.电力组件706为计算机设备700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为计算机设备700生成、管理和分配电力相关联的组件。
222.多媒体组件708包括在所述计算机设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当计算机设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能
力。
223.音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(mic)，当计算机设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704 或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
224.i/o接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
225.传感器组件714包括一个或多个传感器，用于为计算机设备700提供各个方面的状态评估。例如，传感器组件714可以检测到计算机设备700的打开/关闭状态，组件的相对定位，例如所述组件为计算机设备700的显示器和小键盘，传感器组件714还可以检测计算机设备700或终端700一个组件的位置改变，用户与终端700接触的存在或不存在，计算机设备700方位或加速/减速和计算机设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714 还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
226.通信组件716被配置为便于计算机设备700和其他设备之间有线或无线方式的通信。终端700可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda) 技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
227.在示例性实施例中，计算机设备700可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
228.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由计算机设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、 cd
‑
rom、磁带、软盘和光数据存储设备等。
229.一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行上述各实施例所述的图像处理方法。
230.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
231.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。