图像处理方法、装置、计算机设备及存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。


背景技术：

2.随着图像处理技术的发展，在工业产品的质检流程中，产品表面缺陷的像素级分割逐渐成为一项基础而富有挑战性的工作，这一工作也可称为产品图像的缺陷分割任务，也即从产品图像中识别缺陷所在的目标区域。
3.近年来，随着人工智能技术的发展，可以利用基于深度学习的语义分割算法来进行产品图像的缺陷分割任务，但由于语义分割算法通常人工预先标定出大规模的训练数据，然而受限于工厂的生产和排期，一次性获取所有产品的缺陷数据是不现实的，因此针对一些缺乏标注的产品，缺陷分割的识别效率低、准确度差。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、计算机设备及存储介质，能够提升缺陷分割的识别效率和准确度。该技术方案如下：
5.一方面，提供了一种图像处理方法，该方法包括：
6.获取第一图像和第一掩码图像，所述第一图像为第一产品的表面纹理图像，所述第一掩码图像用于标识所述第一图像中缺陷所在的目标区域；
7.在所述第一掩码图像中，对所述目标区域进行变换，得到第二掩码图像；
8.基于所述第二掩码图像，将所述目标区域与第二图像进行融合，得到目标图像，所述第二图像为第二产品的表面纹理图像；
9.基于多个所述目标图像和多个所述第二掩码图像，对初始分割模型进行参数调整，得到缺陷分割模型，所述缺陷分割模型用于识别第二产品的表面纹理图像中缺陷所在的目标区域。
10.一方面，提供了一种图像处理装置，该装置包括：
11.获取模块，用于获取第一图像和第一掩码图像，所述第一图像为第一产品的表面纹理图像，所述第一掩码图像用于标识所述第一图像中缺陷所在的目标区域；
12.变换模块，用于在所述第一掩码图像中，对所述目标区域进行变换，得到第二掩码图像；
13.融合模块，用于基于所述第二掩码图像，将所述目标区域与第二图像进行融合，得到目标图像，所述第二图像为第二产品的表面纹理图像；
14.参数调整模块，用于基于多个所述目标图像和多个所述第二掩码图像，对初始分割模型进行参数调整，得到缺陷分割模型，所述缺陷分割模型用于识别第二产品的表面纹理图像中缺陷所在的目标区域。
15.在一种可能实施方式中，所述变换模块用于：
16.从缺陷角度区间中，随机采样得到目标角度；
17.在所述第一掩码图像中，按照所述目标角度对所述目标区域进行旋转变换，得到所述第二掩码图像。
18.在一种可能实施方式中，所述变换模块用于：
19.从缺陷尺寸区间中，随机采样得到目标尺寸；
20.在所述第一掩码图像中，将所述目标区域的尺寸变换为所述目标尺寸，得到所述第二掩码图像。
21.在一种可能实施方式中，所述变换模块用于：
22.响应于所述第二图像与所述第一掩码图像尺寸相同，从所述第一掩码图像中随机采样得到目标位置；在所述第一掩码图像中，将所述目标区域平移至所述目标位置，得到所述第二掩码图像；或者，
23.响应于所述第二图像与所述第一掩码图像尺寸不相同，在所述第二图像中随机采样得到目标位置；将所述第一掩码图像的尺寸缩放成与所述第二图像相同的尺寸；在尺寸缩放后的第一掩码图像中，将所述目标区域平移至所述目标位置，得到所述第二掩码图像。
24.在一种可能实施方式中，所述装置还包括：
25.截断模块，用于响应于平移后的目标区域的边缘超出所述第一掩码图像的边缘，基于所述第一掩码图像的边缘对所述平移后的目标区域进行截断。
26.在一种可能实施方式中，所述融合模块包括：
27.获取单元，用于基于所述第二掩码图像，获取变换后的目标区域；
28.叠加单元，用于将所述变换后的目标区域叠加至所述第二图像，得到第三图像；
29.平滑单元，用于对所述第三图像进行平滑处理，得到所述目标图像。
30.在一种可能实施方式中，所述叠加单元用于：
31.对所述变换后的目标区域与所述第二图像进行泊松图像融合，得到所述第三图像。
32.一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的图像处理方法。
33.一方面，提供了一种存储介质，该存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现如上述任一种可能实现方式的图像处理方法。
34.一方面，提供一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得计算机设备能够执行上述任一种可能实施方式的图像处理方法。
35.本技术实施例提供的技术方案带来的有益效果至少包括：
36.通过利用第一图像和对第一图像进行标注后的第一掩码图像，通过对缺陷所在的目标区域进行变换和处理，能够在未包含缺陷的第二图像的基础上，合成出以第二图像为背景、以目标区域为前景的目标图像，这一目标图像不但包含缺陷而且也自然携带有对应的标注信息即第二掩码图像，从而不需要对第二图像引入额外的人工标注，极大地缓解了
对第二图像的标注信息的严苛要求，降低了缺陷分割模型的训练成本，从而有利于提升缺陷分割的准确度和效率。
附图说明
37.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。
38.图1是本技术实施例提供的一种图像处理方法的实施环境示意图；
39.图2是本技术实施例提供的一种图像处理方法的流程图；
40.图3是本技术实施例提供的一种合成目标图像的原理性示意图；
41.图4是本技术实施例提供的一种图像处理方法的流程图；
42.图5是本技术实施例提供的一种产品的表面纹理图像的示意图；
43.图6和图7是本技术实施例提供的一种性能对比实验的结构图；
44.图8是本技术实施例提供的一种图像处理装置的结构示意图；
45.图9是本技术实施例提供的一种计算机设备的结构示意图；
46.图10是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
47.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
48.本技术中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
49.本技术中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个第一位置是指两个或两个以上的第一位置。
50.本技术实施例涉及人工智能领域内的机器学习技术，因此在介绍本技术实施例之前，首先引入一些人工智能领域内的基本概念，下面进行介绍。
51.人工智能(artificial intelligence，ai)：人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
52.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
53.计算机视觉技术(computer vision，cv)：在ai领域内，计算机视觉技术是一个正
在快速发展的分支，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机等机器代替人眼对目标进行识别、跟踪和测量等操作，并进一步做图形处理，使机器处理得到更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉通常包括图像分割、图像识别、图像检索、视频语义理解、视频内容/行为识别、三维物体重建、光学字符识别(optical character recognition，ocr)、视频处理、3d(3dimensions，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，当然，还包括常见的人脸识别、指纹识别等生物特征识别技术。
54.机器学习(machine learning，ml)：机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
55.图像分割：将图像表示为物理上有意义的连通区域的集合，也就是根据目标与背景的先验知识，对图像中的目标和背景分别进行标记、定位，然后将目标从背景或其他伪目标中分离出来。图像分割在目标识别、对象跟踪、行为分析等图像理解应用中起承上启下的作用，使得其后的图像分析和识别等处理过程中所要处理的数据量大大减少了，同时又保留了有关图像结构特征的信息。在工业产品质检流程中，将缺陷(目标)从产品的表面纹理图像(背景)中分割出来，是一项基础而富有挑战性的工作，能够达到产品表面缺陷的像素级分割，从而实现自动化质检产品。
56.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本技术实施例提供的方案涉及一种基于机器学习的图像分割技术，用以进行自动化质检产品，通过如下实施例进行说明。
57.在工业产品的质检流程中，产品表面缺陷的像素级分割逐渐成为一项基础而富有挑战性的工作，这一工作也可称为产品图像的缺陷分割任务，也即从产品图像中识别缺陷所在的目标区域。
58.近年来，随着人工智能技术的发展，可以利用基于深度学习的语义分割算法来进行产品图像的缺陷分割任务，但由于语义分割算法通常人工预先标定出大规模的训练数据，然而受限于工厂的生产和排期，一次性获取所有产品的缺陷数据是不现实的，因此针对一些缺乏标注的产品，缺陷分割的识别效率低、准确度差。而尽管不同产品的表面纹理特征之间存在一定的差异，但是缺陷本身的纹理往往具有一定的稳定性，例如划痕、缺失等。
59.有鉴于此，本技术实施例提供一种图像处理方法，对于缺乏标注的新产品，能够基于已标注产品的缺陷数据(源域)，合成出携带标注的新产品的缺陷数据(目标域)，以训练出针对新产品的缺陷分割模型，以达成对新产品的表面缺陷分割工作，从而对推进自动化质检产品的规模化落地具有重大意义。
60.图1是本技术实施例提供的一种图像处理方法的实施环境示意图。参见图1，该实
施环境包括终端101和服务器102，下面进行说明：
61.终端101安装和运行有支持自动化质检产品的应用程序。可选地，终端101安装有应用程序，用户向应用程序中输入某一批次产品的表面纹理图像，该应用程序调用缺陷分割模型对该表面纹理图像进行缺陷识别，并输出该表面纹理图像中缺陷所在的目标区域。
62.终端101可以通过有线或无线通信方式与服务器102进行直接或间接地连接，本技术实施例在此不对连接方式进行限制。
63.服务器102用于为上述应用程序提供后台服务，服务器102包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。可选地，服务器102承担主要处理工作，终端101承担次要处理工作；或者，服务器102承担次要处理工作，终端101承担主要处理工作；或者，服务器102和终端101两者之间采用分布式计算架构进行协同图像处理。
64.可选地，服务器102用于训练上述缺陷分割模型，比如，服务器102根据已标注产品的表面纹理图像以及标注出的缺陷所在的目标区域，向待识别产品的正常(即不存在缺陷)的表面纹理图像中添加缺陷，以得到待识别产品的携带缺陷的表面纹理图像，且这些表面纹理图像中自带缺陷的标注信息，从而能够基于上述待识别产品的标注信息，对初始分割模型进行训练，得到缺陷分割模型。
65.在一些实施例中，服务器102是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
66.在一些实施例中，终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、mp3(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)播放器、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、电子书阅读器等，但并不局限于此。
67.本领域技术人员可以知晓，上述终端101的数量可以更多或更少。比如上述终端101可以仅为一个，或者上述终端101为几十个或几百个，或者更多数量。本技术实施例对终端101的数量和设备类型不加以限定。
68.图2是本技术实施例提供的一种图像处理方法的流程图。参见图2，该实施例应用于计算机设备，以计算机设备为服务器为例，该实施例包括：
69.201、服务器获取第一图像和第一掩码图像，该第一图像为第一产品的表面纹理图像，该第一掩码图像用于标识该第一图像中缺陷所在的目标区域。
70.该服务器可以是任一支持图像处理工作的计算机设备，服务器用于对初始分割模型进行训练，以得到缺陷分割模型，可选地，服务器将缺陷分割模型维护在云端，使得终端与服务器之间进行交互来完成产品质检工作，节约终端的计算资源，或者，服务器将缺陷分割模型以冷更新或热更新的方式下发至终端，使得终端能够在本地完成产品质检工作，节约工作的通信开销，本技术实施例对此不进行具体限定。
71.该第一图像是指第一产品的表面纹理图像，例如，该第一产品包括但不限于：手机、显示器、电脑、电视、收音机等。
72.在一些实施例中，服务器获取用户上传的该第一图像后，由技术人员对该第一图像进行标注，标注出该第一图像中缺陷所在的目标区域，进一步地，基于该目标区域的位置
和形状，生成该第一掩码图像，可选地，该第一掩码图像是一张二值图像，在二值图像中，缺陷所在的目标区域和其余部分的背景区域具有不同的像素值，例如，目标区域的像素值为1，背景区域的像素值为0，或者，目标区域的像素值为0，背景区域的像素值为1，本技术实施例对此不进行具体限定。
73.202、服务器在该第一掩码图像中，对该目标区域进行变换，得到第二掩码图像。
74.在一些实施例中，服务器可以基于下述至少一种方式来对目标区域进行变换，下面进行分别说明。
75.方式一、目标角度变换
76.可选地，服务器从缺陷角度区间中，随机采样得到目标角度；在该第一掩码图像中，按照该目标角度对该目标区域进行旋转变换，得到该第二掩码图像。
77.在一些实施例中，该缺陷角度区间可以是一个固定的数值区间，该数值区间由技术人员进行设定，可选地，该缺陷角度区间可以根据第二产品的特性而随之变化，比如，第二产品的特性不同会导致缺陷角度区间的取值不同，本技术实施例对此不进行具体限定。
78.可选地，假设缺陷角度区间为[
‑
θ，θ]，服务器从该缺陷角度区间[
‑
θ，θ]中随机采样得到一个角度作为目标角度，接着，在第一掩码图像中将该目标区域旋转该目标角度，得到该第二掩码图像。其中，θ为任一大于0的角度值。
[0079]
在上述过程中，由于同一类型的缺陷通常会在产品的表面纹理图像中以不同角度进行呈现，通过对目标区域进行旋转变换，能够丰富合成出的目标图像中缺陷角度的多样性。
[0080]
方式二、目标缩放变换
[0081]
可选地，服务器从缺陷尺寸区间中，随机采样得到目标尺寸；在该第一掩码图像中，将该目标区域的尺寸变换为该目标尺寸，得到该第二掩码图像。
[0082]
在一些实施例中，该缺陷尺寸区间可以是一个固定的数值区间，该数值区间由技术人员进行设定，可选地，该缺陷尺寸区间可以根据第二产品的特性而随之变化，比如，第二产品的特性不同会导致缺陷尺寸区间的取值不同，本技术实施例对此不进行具体限定。
[0083]
可选地，假设缺陷尺寸区间为[s1，s2]，服务器从该缺陷尺寸区间[s1，s2]中随机采样得到一个尺寸作为目标尺寸，接着，在第一掩码图像中将该目标区域缩放至该目标尺寸，得到该第二掩码图像。其中，s1为任一大于0的尺寸值，s2为任一大于s1的尺寸值。
[0084]
在上述过程中，由于同一类型的缺陷通常会在产品的表面纹理图像中具有不同的尺寸，通过对目标区域进行尺寸缩放，能够丰富合成出的目标图像中缺陷尺寸的多样性。
[0085]
方式三、目标位置随机化
[0086]
在一些实施例中，服务器响应于该第二图像与该第一掩码图像尺寸相同，从该第一掩码图像中随机采样得到目标位置；在该第一掩码图像中，将该目标区域平移至该目标位置，得到该第二掩码图像。
[0087]
由于需要将目标区域迁移至第二图像中，可选地，当第二图像与第一掩码图像尺寸相同时，服务器可以直接从第一掩码图像中随机采样一个位置作为目标位置，获取该目标位置的位置坐标，并在该第一掩码图像中对该目标区域进行平移，使得平移后的目标区域的中心坐标与该目标位置的位置坐标重合，得到该第二掩码图像。
[0088]
在一些实施例中，服务器响应于该第二图像与该第一掩码图像尺寸不相同，在该
第二图像中随机采样得到目标位置；将该第一掩码图像的尺寸缩放成与该第二图像相同的尺寸；在尺寸缩放后的第一掩码图像中，将该目标区域平移至该目标位置，得到该第二掩码图像。
[0089]
可选地，当第二图像与第一掩码图像尺寸不相同时，服务器可以从第二图像中随机采样一个位置作为目标位置，并获取该目标位置的位置坐标，进一步地，将该第一掩码图像的尺寸缩放成与该第二图像相同的尺寸，获取该目标区域的中心坐标，并在第一掩码图像中对该目标区域进行平移，使得平移后的目标区域的中心坐标与该目标位置的位置坐标重合，得到该第二掩码图像。
[0090]
在上述过程中，由于缺陷可能会出现在第二图像中的任何位置，通过对目标区域的位置进行随机化处理，能够丰富合成出的目标图像中缺陷所出现的位置的多样性。
[0091]
方式四、目标截断
[0092]
可选地，在服务器对该目标区域进行平移后，服务器响应于平移后的目标区域的边缘超出该第一掩码图像的边缘，基于该第一掩码图像的边缘对该平移后的目标区域进行截断。
[0093]
在一些实施例中，服务器在对该目标区域进行平移后，由于目标位置的位置坐标可能是第一掩码图像中的任一位置，因此当目标位置与第一掩码图像的边缘之间的距离小于目标区域的尺寸时，此时平移后的目标区域的边缘有可能会超出该第一掩码图像的边缘，这时需要对该平移后的目标区域进行截断，避免得到的第二掩码图像的边缘参差不齐。
[0094]
在一些实施例中，服务器设置如下截断条件：截断后的目标区域的面积至少大于或等于截断前的目标区域的面积的三分之一，这样能够确保缺陷的可辨别性；可选地，还可以设置如下截断条件：截断后的目标区域的面积至少大于或等于截断前的目标区域的面积的二分之一，同样能够确保缺陷的可辨别性，当然，还可以设置其余截断条件，本技术实施例对此不进行具体限定。
[0095]
在上述过程中，由于缺陷在第二图像中显示不全也是较为普遍的现象，例如自然场景中的半身照，通过将目标位置设置在靠近第一掩码图像的边缘、顶点等位置，能够合成出具有被截断的缺陷的目标图像。
[0096]
需要说明的是，服务器可以采取上述方式一至方式四中的任一项对目标区域进行变换，也可以采取上述方式一至方式四中至少两项的组合来对目标区域进行变换，本技术实施例不对此进行具体限定。
[0097]
203、服务器基于该第二掩码图像，将该目标区域与第二图像进行融合，得到目标图像，该第二图像为第二产品的表面纹理图像。
[0098]
在一些实施例中，服务器基于该第二掩码图像，获取变换后的目标区域；将该变换后的目标区域叠加至该第二图像，得到第三图像；对该第三图像进行平滑处理，得到该目标图像。
[0099]
可选地，由于第二掩码图像实际上指示了目标区域在第二图像中的位置、尺寸和形状，因此服务器可以基于该第二掩码图像所指示的尺寸和形状，对该目标区域进行相应变换，得到变换后的目标区域，并基于该第二掩码图像所指示的位置，将变换后的目标区域叠加至该第二图像中的对应位置，得到初步合成的第三图像，再对该第三图像进行平滑处理，得到目标图像。
[0100]
在一些实施例中，服务器在获取第三图像时，可以对该变换后的目标区域与该第二图像进行泊松图像融合，得到该第三图像。可选地，泊松图像融合是一种基于泊松方程而引入的泊松融合求解像素最优值的方法，在保留了第二图像梯度信息的同时，融合变换后的目标区域与第二图像。泊松图像融合方式根据用户指定的边界条件求解一个泊松方程，实现了梯度域上的连续，从而达到边界处的无缝融合。在泊松图像融合中，边界平滑方程可以表示为如下公式：
[0101][0102]
其中，ω表示第三图像中被变换后的目标区域所覆盖的区域，f为第三图像中被覆盖区域ω内的像素表示函数，为像素表示函数f的梯度场，v表示变换后的目标区域的梯度场。
[0103]
而保持边界一致的条件可以表示为如下公式：
[0104][0105]
其中，ω表示第三图像中被变换后的目标区域所覆盖的区域，表示被覆盖区域ω的边界，f为第三图像中被覆盖区域ω内的像素表示函数，f
*
为第三图像中被覆盖区域ω外的像素表示函数。
[0106]
在离散空间中，在满足保持边界一致的条件时，最小化边界平滑方程即可获得第三图像f。
[0107]
在一些实施例中，服务器在对第三图像进行平滑处理时，可以采取如下平滑方式：服务器基于二维高斯滤波函数，对该第三图像进行平滑处理，得到该目标图像。需要说明的是，本技术实施例所涉及的“平滑处理”或“平滑”均是指对图像所进行的平滑操作，也即修改一张待处理的图像中部分像素点的像素值，使得图像更加的平缓化和连续化，或者减少或删除图像中的噪点(或离群点)，例如，修改第三图像中变换后的目标区域的边界像素点，使得变换后的目标区域与其余部分的背景区域之间的过渡更加平滑、自然。上述平滑处理相当于低通滤波的过程，会突出图像的宽大区域、低频成分、主干部分，也会抑制图像噪声和高频干扰成分，能够使得图像亮度趋于平缓渐变，减小突变梯度，改善图像质量，但通常会导致图像边缘模糊化。
[0108]
可选地，二维高斯滤波函数g
(x，y)
的表达式如下：
[0109][0110]
其中，x和y表示卷积核中某个像素横坐标和纵坐标距离卷积核的中心点的距离，σ控制曲线的平缓程度，σ取值越大，曲线越平缓，最高点越低，通过设置σ的大小能够控制目标图像的模糊程度，σ取值越大目标图像越模糊。通过上述二维高斯滤波函数可以看出，当x＝0且y＝0时值最大，也即卷积核的中心点权重最大。
[0111]
在上述过程中，通过二维高斯滤波函数，相当于将变换后的目标区域(前景)与第二图像(背景)融合得到第三图像后，利用高斯滤波器对第三图像中失真的边缘进行噪声处理，模糊化第三图像中前景的边缘，以减弱图像失真所带来的负面影响。
[0112]
在一些实施例中，除了上述高斯模糊法之外，服务器还可以采用如下平滑处理的
方式：邻域平均法(均值滤波法)、超限像素平滑法、保边滤波法、中值滤波法、卷积法等，本技术实施例对此不进行具体限定。
[0113]
在一个示例性实施例中，服务器可以调用opencv库中的seamlessclone函数进行泊松图像融合，再调用opencv库中的gaussianblur函数进行高斯模糊处理，当然也可采用其他原生库中的相关函数，本技术实施例对此不进行具体限定。
[0114]
图3是本技术实施例提供的一种合成目标图像的原理性示意图，如图3所示，服务器获取第一图像300和第一掩码图像301之后，对无缺陷的第二图像302进行缺陷合成，将第一图像300中的缺陷所在的目标区域迁移至第二图像302中，得到目标图像303和第二掩码图像304，也即是说，能够将第一产品的表面纹理图像中的缺陷迁移至无缺陷的第二产品的表面纹理图像中，从而合成出第二产品的携带缺陷的目标图像，且这些缺陷的位置、尺寸、形状均是自身携带的，无需耗费人力进行额外标注。
[0115]
204、服务器基于多个目标图像和多个第二掩码图像，对初始分割模型进行参数调整，得到缺陷分割模型，该缺陷分割模型用于识别第二产品的表面纹理图像中缺陷所在的目标区域。
[0116]
在一些实施例中，服务器重复执行上述步骤201
‑
203，即可得到多个目标图像和对应的多个第二掩码图像，该多个目标图像和对应的该多个第二掩码图像可构成一个训练样本集。服务器将该多个目标图像输入至初始分割模型中，通过该初始分割模型对该多个目标图像进行语义分割，输出多个语义分割图像，该多个语义分割图像相当于初始分割模型对该多个目标图像的预测结果，而该多个第二掩码图像则相当于该多个目标图像的标注结果，通过该多个语义分割图像和该多个第二掩码图像之间的差异，获取本次迭代过程的损失函数值，响应于该损失函数值不符合停止条件，调整初始分割模型的参数后，迭代执行上述获取损失函数值的步骤，直到任一次迭代过程中的损失函数值符合该停止条件，停止训练，得到缺陷分割模型。
[0117]
在一些实施例中，该缺陷分割模型包括但不限于：fcn(fully convolutional networks，全卷积网络)、segnet(语义分割网络)、dilated convolutions(空洞卷积)、deeplab系列语义分割网络(v1&v2&v3)、pspnet(pyramid scene parsing network，金字塔场景分析网络)、upernet(unified perceptual networks，统一感知分析网络)等，本技术实施例对缺陷分割模型的结构不进行具体限定。
[0118]
在一个示例性场景中，将源域缺陷图像集(多个第一图像及对应的多个第一掩码图像所构成的数据集)记为{(s1，y1)，(s2，y2)，...，(s
n
，y
n
)}，将目标域合成图像集(多个目标图像及对应的多个第二掩码图像所构成的数据集)记为{(t1，z1)，(t2，z2)，...，(t
n
，z
n
)}。
[0119]
可选地，服务器可以利用源域缺陷图像集{(s1，y1)，(s2，y2)，...，(s
n
，y
n
)}训练得到该初始分割模型，再在初始分割模型的基础上，利用目标域合成图像集{(t1，z1)，(t2，z2)，...，(t
n
，z
n
)}通过微调(fine
‑
tuning)方式训练得到该缺陷分割模型，这种方式具有更高地针对性，能够提升对第二产品的表面纹理图像的缺陷识别准确度。
[0120]
可选地，服务器还可以直接将源域缺陷图像集{(s1，y1)，(s2，y2)，...，(s
n
，y
n
)}和目标域合成图像集{(t1，z1)，(t2，z2)，...，(t
n
，z
n
)}合并成一个统一的训练样本集，并在初始化的初始分割模型的基础上，从头训练得到该缺陷分割模型，这种方式使得缺陷分割模型具有良好的泛化能力，且在模型部署阶段的管理工作简单实用。
[0121]
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
[0122]
本技术实施例提供的方法，通过利用第一图像和对第一图像进行标注后的第一掩码图像，通过对缺陷所在的目标区域进行变换和处理，能够在未包含缺陷的第二图像的基础上，合成出以第二图像为背景、以目标区域为前景的目标图像，这一目标图像不但包含缺陷而且也自然携带有对应的标注信息即第二掩码图像，从而不需要对第二图像引入额外的人工标注，极大地缓解了对第二图像的标注信息的严苛要求，降低了缺陷分割模型的训练成本，从而有利于提升缺陷分割的准确度和效率。
[0123]
图4是本技术实施例提供的一种图像处理方法的流程图，请参考图4，该实施例应用于计算机设备，以计算机设备为服务器为例，该实施例包括：
[0124]
401、服务器获取第一图像和第一掩码图像，该第一图像为第一产品的表面纹理图像，该第一掩码图像用于标识该第一图像中缺陷所在的目标区域。
[0125]
上述步骤401与上述步骤201类似，这里不做赘述。
[0126]
图5是本技术实施例提供的一种产品的表面纹理图像的示意图，如500所示，示出了2个不同站点(即工厂)针对4款不同产品进行加工后得到的产品表面纹理图像，可以看出，不但同一工厂内不同产品的表面纹理图像存在较大差异，而且同一产品在不同工厂中进行加工后的表面纹理图像同样存在较大差异。
[0127]
402、服务器从缺陷角度区间中，随机采样得到目标角度。
[0128]
在一些实施例中，该缺陷角度区间可以是一个固定的数值区间，该数值区间由技术人员进行设定，可选地，该缺陷角度区间可以根据第二产品的特性而随之变化，比如，第二产品的特性不同会导致缺陷角度区间的取值不同，本技术实施例对此不进行具体限定。
[0129]
可选地，假设缺陷角度区间为[
‑
θ，θ]，服务器从该缺陷角度区间[
‑
θ，θ]中随机采样得到一个角度作为目标角度，其中，θ为任一大于0的角度值。。
[0130]
403、服务器在该第一掩码图像中，按照该目标角度对该目标区域进行旋转变换，得到第二掩码图像。
[0131]
可选地，服务器在第一掩码图像中将该目标区域旋转该目标角度，得到该第二掩码图像。
[0132]
在上述过程中，由于同一类型的缺陷通常会在产品的表面纹理图像中以不同角度进行呈现，通过对目标区域进行旋转变换，能够丰富合成出的目标图像中缺陷角度的多样性。
[0133]
在一些实施例中，上述步骤402
‑
403还可以采用如下方式进行替换：服务器从缺陷尺寸区间中，随机采样得到目标尺寸；在该第一掩码图像中，将该目标区域的尺寸变换为该目标尺寸，得到该第二掩码图像。
[0134]
在一些实施例中，该缺陷尺寸区间可以是一个固定的数值区间，该数值区间由技术人员进行设定，可选地，该缺陷尺寸区间可以根据第二产品的特性而随之变化，比如，第二产品的特性不同会导致缺陷尺寸区间的取值不同，本技术实施例对此不进行具体限定。
[0135]
可选地，假设缺陷尺寸区间为[s1，s2]，服务器从该缺陷尺寸区间[s1，s2]中随机采样得到一个尺寸作为目标尺寸，接着，在第一掩码图像中将该目标区域缩放至该目标尺寸，得到该第二掩码图像。其中，s1为任一大于0的尺寸值，s2为任一大于s1的尺寸值。
[0136]
在上述过程中，由于同一类型的缺陷通常会在产品的表面纹理图像中具有不同的尺寸，通过对目标区域进行尺寸缩放，能够丰富合成出的目标图像中缺陷尺寸的多样性。
[0137]
在一些实施例中，上述步骤402
‑
403还可以采用如下方式进行替换：服务器响应于该第二图像与该第一掩码图像尺寸相同，从该第一掩码图像中随机采样得到目标位置；在该第一掩码图像中，将该目标区域平移至该目标位置，得到该第二掩码图像。
[0138]
由于需要将目标区域迁移至第二图像中，可选地，当第二图像与第一掩码图像尺寸相同时，服务器可以直接从第一掩码图像中随机采样一个位置作为目标位置，获取该目标位置的位置坐标，并在该第一掩码图像中对该目标区域进行平移，使得平移后的目标区域的中心坐标与该目标位置的位置坐标重合，得到该第二掩码图像。
[0139]
在一些实施例中，上述步骤402
‑
403还可以采用如下方式进行替换：服务器响应于该第二图像与该第一掩码图像尺寸不相同，在该第二图像中随机采样得到目标位置；将该第一掩码图像的尺寸缩放成与该第二图像相同的尺寸；在尺寸缩放后的第一掩码图像中，将该目标区域平移至该目标位置，得到该第二掩码图像。
[0140]
由于需要将目标区域迁移至第二图像中，可选地，当第二图像与第一掩码图像尺寸不相同时，服务器可以从第二图像中随机采样一个位置作为目标位置，并获取该目标位置的位置坐标，进一步地，将该第一掩码图像的尺寸缩放成与该第二图像相同的尺寸，获取该目标区域的中心坐标，并在第一掩码图像中对该目标区域进行平移，使得平移后的目标区域的中心坐标与该目标位置的位置坐标重合，得到该第二掩码图像。
[0141]
在上述过程中，由于缺陷可能会出现在第二图像中的任何位置，通过对目标区域的位置进行随机化处理，能够丰富合成出的目标图像中缺陷所出现的位置的多样性。
[0142]
在一些实施例中，在服务器对该目标区域进行平移后，服务器响应于平移后的目标区域的边缘超出该第一掩码图像的边缘，基于该第一掩码图像的边缘对该平移后的目标区域进行截断。
[0143]
在一些实施例中，服务器在对该目标区域进行平移后，由于目标位置的位置坐标可能是第一掩码图像中的任一位置，因此当目标位置与第一掩码图像的边缘之间的距离小于目标区域的尺寸时，此时平移后的目标区域的边缘有可能会超出该第一掩码图像的边缘，这时需要对该平移后的目标区域进行截断，避免得到的第二掩码图像的边缘参差不齐。
[0144]
在一些实施例中，服务器设置如下截断条件：截断后的目标区域的面积至少大于或等于截断前的目标区域的面积的三分之一，这样能够确保缺陷的可辨别性；可选地，还可以设置如下截断条件：截断后的目标区域的面积至少大于或等于截断前的目标区域的面积的二分之一，同样能够确保缺陷的可辨别性，当然，还可以设置其余截断条件，本技术实施例对此不进行具体限定。
[0145]
在上述过程中，由于缺陷在第二图像中显示不全也是较为普遍的现象，例如自然场景中的半身照，通过将目标位置设置在靠近第一掩码图像的边缘、顶点等位置，能够合成出具有被截断的缺陷的目标图像。
[0146]
在上述过程中，示出了服务器在该第一掩码图像中，对该目标区域进行变换，得到第二掩码图像的多种变换方式，包括角度变换、缩放变换、位置随机化、目标截断等，本技术实施例不对此进行具体限定。
[0147]
404、服务器基于该第二掩码图像，获取变换后的目标区域。
[0148]
可选地，由于第二掩码图像实际上指示了目标区域在第二图像中的位置、尺寸和形状，因此服务器可以基于该第二掩码图像所指示的尺寸和形状，对该目标区域进行相应变换，得到变换后的目标区域。
[0149]
405、服务器对该变换后的目标区域与第二图像进行泊松图像融合，得到第三图像，该第二图像为第二产品的表面纹理图像。
[0150]
泊松图像融合是一种基于泊松方程而引入的泊松融合求解像素最优值的方法，在保留了第二图像梯度信息的同时，融合变换后的目标区域与第二图像。泊松图像融合方式根据用户指定的边界条件求解一个泊松方程，实现了梯度域上的连续，从而达到边界处的无缝融合。在泊松图像融合中，边界平滑方程可以表示为如下公式：
[0151][0152]
其中，ω表示第三图像中被变换后的目标区域所覆盖的区域，f为第三图像中被覆盖区域ω内的像素表示函数，为像素表示函数f的梯度场，v表示变换后的目标区域的梯度场。
[0153]
而保持边界一致的条件可以表示为如下公式：
[0154][0155]
其中，ω表示第三图像中被变换后的目标区域所覆盖的区域，表示被覆盖区域ω的边界，f为第三图像中被覆盖区域ω内的像素表示函数，f
*
为第三图像中被覆盖区域ω外的像素表示函数。
[0156]
在离散空间中，在满足保持边界一致的条件时，最小化边界平滑方程即可获得第三图像f。
[0157]
在一个示例性实施例中，服务器可以调用opencv库中的seamlessclone函数进行泊松图像融合。
[0158]
在上述过程中，也即是服务器将该变换后的目标区域叠加至该第二图像，得到第三图像的一种可能实施方式，泊松融合能够提升第三图像的融合自然感，降低合成的目标图像的失真度。可选地，服务器可以基于该第二掩码图像所指示的位置，将变换后的目标区域叠加至该第二图像中的对应位置，得到初步合成的第三图像。
[0159]
在另一些实施例中，服务器还可以不进行泊松融合，而是基于该第二掩码图像所指示的位置，直接将变换后的目标区域覆盖到第二图像中对应的位置，得到第三图像，从而能够简化图像融合流程。
[0160]
406、服务器对该第三图像进行平滑处理，得到目标图像。
[0161]
服务器在对第三图像进行平滑处理时，可以采取如下平滑方式：服务器基于二维高斯滤波函数，对该第三图像进行平滑处理，得到该目标图像。需要说明的是，本技术实施例所涉及的“平滑处理”或“平滑”均是指对图像所进行的平滑操作，也即修改一张待处理的图像中部分像素点的像素值，使得图像更加的平缓化和连续化，或者减少或删除图像中的噪点(或离群点)，例如，修改第三图像中变换后的目标区域的边界像素点，使得变换后的目标区域与其余部分的背景区域之间的过渡更加平滑、自然。上述平滑处理相当于低通滤波的过程，会突出图像的宽大区域、低频成分、主干部分，也会抑制图像噪声和高频干扰成分，
能够使得图像亮度趋于平缓渐变，减小突变梯度，改善图像质量，但通常会导致图像边缘模糊化。
[0162]
可选地，二维高斯滤波函数g
(x，y)
的表达式如下：
[0163][0164]
其中，x和y表示卷积核中某个像素横坐标和纵坐标距离卷积核的中心点的距离，σ控制曲线的平缓程度，σ取值越大，曲线越平缓，最高点越低，通过设置σ的大小能够控制目标图像的模糊程度，σ取值越大目标图像越模糊。通过上述二维高斯滤波函数可以看出，当x＝0且y＝0时值最大，也即卷积核的中心点权重最大。
[0165]
在上述过程中，通过二维高斯滤波函数，相当于将变换后的目标区域(前景)与第二图像(背景)融合得到第三图像后，利用高斯滤波器对第三图像中失真的边缘进行噪声处理，模糊化第三图像中前景的边缘，以减弱图像失真所带来的负面影响。
[0166]
在一些实施例中，除了上述高斯模糊法之外，服务器还可以采用如下平滑处理的方式：邻域平均法(均值滤波法)、超限像素平滑法、保边滤波法、中值滤波法、卷积法等，本技术实施例对此不进行具体限定。
[0167]
在一个示例性实施例中，服务器可以调用opencv库中的gaussianblur函数进行高斯模糊处理。
[0168]
在上述步骤404
‑
406中，服务器基于该第二掩码图像，将该目标区域与第二图像进行融合，得到目标图像。在一些实施例中，服务器也可以不进行泊松融合和高斯模糊，而是基于该第二掩码图像所指示的位置，直接将变换后的目标区域覆盖到第二图像中对应的位置，得到第三图像，将该第三图像作为目标图像，从而能够简化图像合成流程。
[0169]
407、服务器基于多个目标图像和多个第二掩码图像，对初始分割模型进行参数调整，得到缺陷分割模型，该缺陷分割模型用于识别第二产品的表面纹理图像中缺陷所在的目标区域。
[0170]
上述步骤407与上述步骤204类似，这里不做赘述。
[0171]
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
[0172]
本技术实施例提供的方法，通过利用第一图像和对第一图像进行标注后的第一掩码图像，通过对缺陷所在的目标区域进行变换和处理，能够在未包含缺陷的第二图像的基础上，合成出以第二图像为背景、以目标区域为前景的目标图像，这一目标图像不但包含缺陷而且也自然携带有对应的标注信息即第二掩码图像，从而不需要对第二图像引入额外的人工标注，极大地缓解了对第二图像的标注信息的严苛要求，降低了缺陷分割模型的训练成本，从而有利于提升缺陷分割的准确度和效率。
[0173]
在一个示例性场景中，以缺陷分割模型为upernet进行测试，保持源域缺陷数据(即多个第一图像及对应的多个第一掩码图像所构成的数据集)固定不变，分别采用三种不同的目标域缺陷数据进行对比实验，其中，三种不同的目标域缺陷数据包括：正常图像、本技术实施例提供的缺陷合成图像、全量标注图像(经过人工标注的图像)，采用的评价指标为miou(mean intersection over union，均交并比)，miou是一种语义分割的度量标准，为所有类别交集和并集之比的平均值。下面对四组对比实验进行说明：
[0174]
(1)基准实验:采用源域缺陷数据训练缺陷分割模型。
[0175]
(2)正常样本：采用正常图像作为目标域缺陷数据，由于目标域正常图像本身不存在缺陷，那么对应的缺陷掩码是背景类，因此不需要人工标注。将源域缺陷数据和目标域正常图像混合训练缺陷分割模型。
[0176]
(3)缺陷合成(本技术实施例技术方案)：基于本技术实施例提供的图像处理方法，利用源域缺陷数据和目标域正常图像合成出目标域缺陷数据，由于合成得到的目标域缺陷数据(即目标图像)的缺陷位置是确定的，因此也不需要人工标注。将源域缺陷数据和合成的目标域缺陷数据混合训练缺陷分割模型。
[0177]
(4)目标域缺陷数据：使用真实的(需要人工标注的)目标域缺陷数据和源域缺陷数据训练缺陷分割模型。这一实验的性能是缺陷合成方法实现域迁移分割方法性能的上限。
[0178]
当缺陷分割模型训练完毕后，基于相同的目标域测试集做评估对比。
[0179]
图6和图7是本技术实施例提供的一种性能对比实验的结构图，请参考600和700，可以看出，基于本技术实施例所提供的合成目标域缺陷数据的方法，显著提升了目标域的缺陷分割性能。并且，在同一站点的不同产品之间，相比于基准实验和只使用目标域正常图像，缺陷合成方法接近使用全量的目标域缺陷数据的性能。这充分验证缺陷合成方法的在域迁移分割上的巨大优势。此外，在同一产品的跨站点上相比于基准实验也有较为明显的提升。
[0180]
图8是本技术实施例提供的一种图像处理装置的结构示意图，请参考图8，该装置包括：
[0181]
获取模块801，用于获取第一图像和第一掩码图像，该第一图像为第一产品的表面纹理图像，该第一掩码图像用于标识该第一图像中缺陷所在的目标区域；
[0182]
变换模块802，用于在该第一掩码图像中，对该目标区域进行变换，得到第二掩码图像；
[0183]
融合模块803，用于基于该第二掩码图像，将该目标区域与第二图像进行融合，得到目标图像，该第二图像为第二产品的表面纹理图像；
[0184]
参数调整模块804，用于基于多个目标图像和多个第二掩码图像，对初始分割模型进行参数调整，得到缺陷分割模型，该缺陷分割模型用于识别第二产品的表面纹理图像中缺陷所在的目标区域。
[0185]
本技术实施例提供的装置，通过利用第一图像和对第一图像进行标注后的第一掩码图像，通过对缺陷所在的目标区域进行变换和处理，能够在未包含缺陷的第二图像的基础上，合成出以第二图像为背景、以目标区域为前景的目标图像，这一目标图像不但包含缺陷而且也自然携带有对应的标注信息即第二掩码图像，从而不需要对第二图像引入额外的人工标注，极大地缓解了对第二图像的标注信息的严苛要求，降低了缺陷分割模型的训练成本，从而有利于提升缺陷分割的准确度和效率。
[0186]
在一种可能实施方式中，该变换模块802用于：
[0187]
从缺陷角度区间中，随机采样得到目标角度；
[0188]
在该第一掩码图像中，按照该目标角度对该目标区域进行旋转变换，得到该第二掩码图像。
processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0208]
在一些实施例中，存储器902包括一个或多个计算机可读存储介质，可选地，该计算机可读存储介质是非暂态的。可选地，存储器902还包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器901所执行以实现本技术中各个实施例提供的图像处理方法。
[0209]
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间能够通过总线或信号线相连。各个外围设备能够通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
[0210]
外围设备接口903可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0211]
射频电路904用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。可选地，射频电路904通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路904还包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0212]
显示屏905用于显示ui(user interface，用户界面)。可选地，该ui包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号能够作为控制信号输入至处理器901进行处理。可选地，显示屏905还用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905为一个，设置终端900的前面板；在另一些实施例中，显示屏905为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，可选地，显示屏905设置成非矩形的不规则图形，也即异形屏。可选地，显示屏905采用lcd(liquid crystal display，液晶显示屏)、oled(organic light
‑
emitting diode，有机发光二极管)等材质制备。
[0213]
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和
后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还包括闪光灯。可选地，闪光灯是单色温闪光灯，或者是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，用于不同色温下的光线补偿。
[0214]
在一些实施例中，音频电路907包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风为多个，分别设置在终端900的不同部位。可选地，麦克风是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。可选地，扬声器是传统的薄膜扬声器，或者是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅能够将电信号转换为人类可听见的声波，也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还包括耳机插孔。
[0215]
定位组件908用于定位终端900的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。可选地，定位组件908是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
[0216]
电源909用于为终端900中的各个组件进行供电。可选地，电源909是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池支持有线充电或无线充电。该可充电电池还用于支持快充技术。
[0217]
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
[0218]
在一些实施例中，加速度传感器911检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911用于检测重力加速度在三个坐标轴上的分量。可选地，处理器901根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还用于游戏或者用户的运动数据的采集。
[0219]
在一些实施例中，陀螺仪传感器912检测终端900的机体方向及转动角度，陀螺仪传感器912与加速度传感器911协同采集用户对终端900的3d动作。处理器901根据陀螺仪传感器912采集的数据，实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0220]
可选地，压力传感器913设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，能够检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0221]
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。可选地，指纹传感器914被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商logo时，指纹传感器914能够与物理按键或厂商logo集成在一起。
[0222]
光学传感器915用于采集环境光强度。在一个实施例中，处理器901根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
[0223]
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
[0224]
本领域技术人员能够理解，图9中示出的结构并不构成对终端900的限定，能够包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0225]
图10是本技术实施例提供的一种计算机设备的结构示意图，该计算机设备1000可因配置或性能不同而产生比较大的差异，该计算机设备1000包括一个或一个以上处理器(central processing units，cpu)1001和一个或一个以上的存储器1002，其中，该存储器1002中存储有至少一条计算机程序，该至少一条计算机程序由该一个或一个以上处理器1001加载并执行以实现上述各个实施例提供的图像处理方法。可选地，该计算机设备1000还具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备1000还包括其他用于实现设备功能的部件，在此不做赘述。
[0226]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序可由终端中的处理器执行以完成上述各个实施例中的图像处理方法。例如，该计算机可读存储介质包括rom(read
‑
only memory，只读存储器)、ram(random
‑
access memory，随机存取存储器)、cd
‑
rom(compact disc read
‑
only memory，只读光盘)、磁带、软盘和光数据存储设备等。
[0227]
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得计算机设备能够执行以完成上述实施例中的图像处理方法。
[0228]
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，可选地，该程序存储于一种计算机可读存储介质中，可选地，上述提到的存储介质是只读存储器、磁盘或光盘等。
[0229]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和
原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。